于成龙从为官的那天起，终其仕宦生涯，他的生活一直是很清苦的，克勤克俭，以澹泊为乐。他无论走到哪里，无论在哪级官位上，都未尝有丝毫改变。
于成龙在罗城县长达七年，这段时间是他为官的三分之一，他生活在一个极其艰难的环境，却与当地百姓同甘共苦，不贪不占，将生活保持在最低的水平，赢得了人民群众的衷心爱戴。自黄冈同知任上及以后，他从穷乡僻壤逐渐迁向繁华之地，从破败的小县城迁至生活优越的大都市，他的政治与社会地位也迅速提高。虽然生活条件改善了，官职不断地提升，但是，他的生活却一如既往，始终保持着自己的节操，不与世俗同流。
于成龙远离家乡，长期在外做官，职务频繁变动，从不携带家眷，独自一人生活，一切从陋从简。他从黄州江防道前往福建上任按察使，快要开船了，他催仆人上岸买萝卜，多达数石。船家不解地问：“这是贱物，买这么多干什么？”于成龙说：“我沿途吃饭，全靠这些东西，还可以压船呢！”
康熙二十年（1681）十二月，康熙帝因于成龙“在直隶居官甚善”，“特简任江南总督”。按朝廷礼制，像于成龙这样的大员上任，沿途必有相应的接送，而他自己也要携带差役、随员一大批，以显示其崇高的地位和权威。但于成龙从河北到南京，一切排场和仪式全免，事先不做任何通知，为避免走漏风声，他不打扰驿站，不住沿途专设的公馆，而是自找宿店，自雇一辆驴车作为交通工具。正巧他的幼子来了，便陪他去上任。他身上仅带了制钱数十文，供沿途投宿之用。
南京方面，已知朝廷旨意，于成龙即将到任。各级官吏早已听说成龙为官清廉刚正，很敬畏他，又想巴结他。因此，至到任之日，都出城远迎。可是，直等到中午，还不见人来。正在猜疑不定时，巡逻的差役报告说：于总督早已单车入府了。于是，群吏争先进献宴席、各色礼物。成龙一概回绝，弄得一城官吏不知所措。
于成龙日常食用极为简陋，“日食粗粝”，“佐以青菜”。对他来说，最好的菜要算豆腐，他每天早晨，从市场上买回二斤豆腐，足够一日之用。在他的餐桌上，从无鸡鸭鱼肉，“终年不知肉味”。江南人传为“于青菜”。于成龙喜欢半夜饮酒，每次以半壶为限，其价钱不过五厘钱而已。他在湖北做官时，长子前来探望。儿子要回家时，成龙才买了一只腌鸭，只切了一半给儿子，供作途中食用。这些事传开，人们给他编了一首歌谣：“于公豆腐量太狭，长公临归割半鸭。半鸭于公过夜钱，五厘酒价何处拈。”南方人有喝茶的习惯，他的仆人也习以简朴，每天采摘衙门后院的老槐树叶当茶饮用。天长日久，槐树叶子都被采光了。他对自己的子女也是严格要求，从不准穿华贵的服装。他的子女冬天穿民用的褐衣，或木棉袍，未曾穿过一件珍贵的裘衣。他到了江南总督任上，虽然官位显赫，收入增多，可他的生活还是那么清苦，每天食用依然是粗食、青菜。遇有荒年，他继续降低自己的生活标准，日以屑糠加少许米做粥喝。即使家属探亲，或客人来，也是以此粥相待。他说：“如法行之，可留余米赈饥民也。”
于成龙轸念饥民之心，并非说说而已。江南习俗侈丽，讲究吃穿玩乐，特别是那些豪强地主、贪官污吏，竞相追求，大肆挥霍，从不顾及百姓的苦难死活。于成龙决心改变这种风气，他从自己做起，率先示范，大力倡导节俭。食用简陋，连他居住与办公的总督衙门也是如此。堂堂的总督府，空空荡荡，无一奢侈之物。据亲眼见过的人说，“几案间蛛丝鼠迹”，一个竹笥，装有他的朝服一件，一只锅，备烧饭用，再有文卷书册数十束，“此外都无一物”。他的同僚以及满汉大臣们都不得不叹服：“于公清苦天下第一也。”他自己做出榜样，便制定具体条例，严禁奢侈的各种表现。在他的倡导与强制下，“相率易布衣”，士大夫家减舆从，去排场，仪仗从简，毁掉涂有各种颜色的华丽装饰，婚嫁不用音乐。他到任才几个月，“政化大行”，社会风气有了明显的改变，有些豪族巨猾被迫携家远避。
于成龙为官清廉之名，朝野上下皆知。康熙帝对他十分赞赏。康熙十九年十月，这位英明的皇帝对大学士们说：“居官者，宜以清廉为尚，官皆清廉，百姓自得遂其生矣。今朝臣有如于成龙之清者否？”他把于成龙作为居官的榜样，让他的臣属们仿效，同时，要以于成龙为标准，去鉴别官吏的好坏。次年二月，康熙帝在懋勤殿第一次接见于成龙，称赞他说：“尔为今时清官第一，殊属难得。”又问起当年在黄冈剿抚“土寇”叛乱之事，再询问他的属吏中有无清廉的人，于成龙当即推荐知县谢锡兖、同知何如玉、罗京等人清廉。康熙帝又提到在此之前于成龙参劾知县赵履谦是正确的。于成龙回答说：“赵履谦过而不改，臣不得已而参之。”康熙帝很满意，最后说：“为政之道当知大体，小聪小察，不足为多。且人贵始终一节。尔其勉之。”接见后，特赏赐钱物、良马，以示鼓励。
康熙二十三年（1684），于成龙已六十八岁。康熙帝调江苏巡抚余国柱任左都御史、安徽巡抚涂国相任湖广总督，命成龙兼任江苏与安徽两巡抚事。不久，于成龙因病不治，至四月十八日死于任所。各将军、都统等地方大员及同僚、属吏都前来瞻仰遗容，只见室中空荡无物，仅在床头放着一个陈旧的方形竹制容器，里面装有一件绨袍，还有几只瓦罐，有的盛了一点粗米，有的盛了盐制的豆豉（此为大豆发酵后用盐泡制，供调味用）。仅此数物而已。
于成龙逝世的消息一传开，江宁（南京）市民百姓罢市，聚在一起痛哭，家家绘图像供奉祭祀。每天有数百、千人拥至衙舍哭拜，以至衙舍内外拥挤不堪。康熙帝得报，赐祭葬，根据他生前的为人和节操，谥“清端”。
于成龙逝世不久，内阁学士席（或写作锡）柱自福建、广东查勘海界回京复命，康熙帝还问到于成龙在江南居官时的表现。席柱以自己耳闻目见，如实作了回答。他说：“臣过江南，人俱说于成龙居官甚清。但因轻信，被属员欺罔。”康熙帝说：于成龙到总督任上，听说“居官不及前，变更素行。至病故后，始知其居官廉洁，甚为百姓所称。或于成龙素行梗直，与之不合者挟仇谗言，造作属下欺罔等语，亦未可定，是不肖之徒见嫉耳。”说到这里，康熙帝不禁感叹：“居官如于成龙者有几！”于成龙去世的同年十一月，康熙帝巡幸至江宁，召见江宁知府小于成龙，勉励他说：“务效前督于成龙，正直洁清，乃无负朕优眷之意。”他又对大学士等人说：“朕博采誉评，咸称于成龙实天下廉吏第一！”康熙帝回到北京，仍追念于成龙一生劳绩，于十二月，特加赠太子太保，荫一子入监读书。至雍正时，准于成龙入祀“贤良祠”。