张伯行是继于成龙之后又一个著名清官，他以廉洁、爱民、不畏权贵的“清白之名闻天下”，被康熙帝誉为“天下第一清官”。
体恤民情，重民命，封建统治者一向以此为标榜。然而，张伯行与一般官吏不同，他从政伊始，就身体力行，付诸实践，很得人心。他上任山东济宁道时，适值山东闹饥荒。他急灾民之所急，不等朝廷采取措施，便慷慨捐出河南家中的钱、粮、棉衣，分装数船，运往灾区，分发给运河标兵和灾民，“倾资广惠，众赖以济”。这时，朝廷下达旨意，指令当地官员开仓赈济。张伯行奉命赈济汶上、阳谷等县，先后动用仓谷二万二千六百余石。事后，布政使司指控他专擅，上疏弹劾。张伯行毫不畏服，据理申辩：“奉旨赈济，不发仓谷，坐视各州县之百姓流离死亡而不救，仓有余粟，野有饿殍，本道之罪，其可逭乎？”又写道：“今本道以擅动仓谷被参，理应顺受。第恐将来山东各官，以本道为戒，视仓谷为重，民命为轻，一任鹄面鸠形，辗转沟壑，害有不可言者矣。”张伯行驳斥得有理，朝廷没有追究，此事即作罢论。
康熙四十六年（1707）正月，康熙帝再次南巡，三月二十五日，在松江召见张伯行，对大臣们说：“朕至江南，访问张伯行居官甚清，此名最不易得。张伯行由进士历任按察使，不可以书生待之。”又对吏部说：“福建巡抚员缺，甚为紧要。张伯行为人笃实，即在行间，亦非退缩者，著升为福建巡抚。”康熙帝征求大学士和督抚们的意见，都“推奖无异词”。康熙帝非常高兴，说：“汝等何莫保举，朕保之。将来居官好，天下以朕为明君，若贪赃枉法，天下笑朕不识人。”当即又赐张伯行“廉惠宣猷”榜。
张伯行在江苏按察使任刚满十个月，即升为福建巡抚，从地方一个部门的负责官员一跃而成为地方最高行政长官。他深感责任之重，更加勤于政事，为地方兴利除弊。福建人多田少，一年所产粮食，不足一岁之用，市场米价昂贵，不法商人趁机牟取暴利。张伯行每年派官赴湖广、江西、广东等省采购粮食，以平价售出。他还广设仓储，积贮粮食，严防盗粮，禁止粮食出洋贸易或走私，从而保证了粮食供给，即使遇到荒年，粮食也无匮乏之虑。张伯行“终闽任，民无阻饥之患焉”。省城福州多崇信佛教，皆买贫家女髡发为尼僧，多至千百人。张伯行下令严禁，并将已出家为尼的人都由其家属赎回，择婿婚配。贫穷之家无钱的，由官府代为赎出。“数月之间，怨旷得所，舆情大悦。”
康熙中期以后，吏治由松弛而变法，贪风也日甚一日。诸如贪污、贿赂、徇私舞弊等已屡见不鲜。张伯行身在官场之中，保持自己清廉的节操，坚决抵制贪贿之风。还是从他补授山东济宁道时说起。他被任命后，入京进见康熙帝。吏部文选清吏司有一个姓陈的官员，明目张胆索要一份厚礼。张伯行拒绝送礼，因而不得进见，而与他同行的山东济东道馈以厚礼，陈某即准其先进见。张伯行怒目而视，被拒两月余。后经康熙帝查问，陈某才不敢不准张伯行进见。张伯行出任江苏按察使，按官场惯例，要向上司总督、巡抚馈送礼物，约合白银四千两。张伯行愤愤地说：“我为清官，岂能办此！”仅以价值数十金的茧�扇帕等小物分赠督抚。他们嫌礼物太轻，都不受。
康熙四十八年十月，张伯行调任江苏巡抚。他一到任，就以整肃官场贪风为目标，严禁徇私舞弊，不得上下互相馈送。为此，他向全省发布一道政令：
一黍一铢，皆民脂膏，宽一分，民受一分之赐；要一文，身即受一文之污。虽日交际之常，于礼不废，试思仪文之具，此物何来？本都院水蘖盟心，各司道亦激扬同志，务期苞苴永杜，庶几风化日隆。
这份通令，写得简练如歌谣，通俗易懂。广大士民交相传诵，无不欢喜称快。
张伯行严格约束全省各地属员，而他自己则率先示范，杜馈送，处处节俭。他到福州上任时，见衙署“铺设甚盛，金银器皿，锦绣帷幕，炫耀于目”。于是，他召见属吏询问为何如此铺张。属吏说：“往例抚院新任，行户协备。”他严肃地说：“吾生平未尝用此，岂可过分？况行户即百姓，可滥用乎？”下令将全部陈设撤除，如数奉还，只留下前任巡抚不用的旧物。调任江苏巡抚，先派旗牌官至苏，通令禁止官员科派百姓铺陈衙署。“及入署，四壁萧然，公（伯行）恬然安之。”伯行在外做官三十余年，“未尝携眷”，每次上任，所带随从人员很少。任济宁道时，随行只四人，在福建任上有二十余人，而到江苏任上仅十三人。他的家很富有，在河南所置田产，“跨三、四州县”。他“日用蔬菜米麦、寸丝尺帛，以至研麦磨石，曳磨之牛，皆自河南运载之”。张伯行一生为官，个人费用不取自官，而取自于家，始终廉洁朴素，声望日隆，谁不为之叹服！
张伯行廉洁做官，操行端正，为贪官所不容，屡遭攻击，甚至陷害。但他不畏权势，凭一身清正之气，同贪官们展开了不妥协的斗争。他与江南江西总督噶礼的斗争，突出地表现了其个人品质。
噶礼是满洲正红旗人，清开国勋臣何和礼的四世孙。他以勋臣之后，入朝为官。论才具，尚称能干。但他为人十分贪婪，纵容属员残虐百姓。康熙四十九年正月，他由山西巡抚擢升江南江西总督。他本已声名狼藉，一到江南，又大张威福，搜括财物，更无所顾忌。适逢三年一次考核外任各级官员优劣，噶礼对其属吏多所包庇，隐匿其劣迹。张伯行查出，尽行揭露革职。从此，噶礼心怀忌恨。康熙五十年九月，发生了科场舞弊案，两人的矛盾势同水火。
原来，此年江苏省举行乡试，副主考官赵晋等人内外交通关节，噶礼从中牟利，据传他索银五十万两。榜文公布，舆论哗然。苏州考生千余人共抬财神像入学宫，供奉明伦堂，辛辣讽刺官场钱能通神，以此表示他们的愤怒和强烈抗议。张伯行即上疏，据实报告事情经过。康熙帝即命户部尚书张鹏翮会同噶礼、张伯行及安徽巡抚梁世勋等在扬州会审，很快搞清了事实。案犯新中举人吴泌、程光奎通贿、副主考官赵晋等人作弊均供认不讳。事涉噶札，张伯行坚持穷追到底，把事情搞个水落石出。噶礼又气又怕，从中百般阻挠。主持会审的张鹏翮与噶礼关系密切，便停止审问，希图尽速结案。这时，已是康熙五十一年正月，张伯行上疏劾总督噶礼，揭露他“营私坏法”“数十事”及与考官为奸等罪状，要求将他解任，一并严审。他在疏中大声疾呼：惩办噶礼等人，“振千古之纲常，培一时之士气，除两江之民害，快四海之人心”。这一浩然正气的疏章很快传出，远近抄诵。张伯行不畏权势、刚直不阿的精神震动了朝野。噶礼见疏，惶惶不安，为了自保，也罗织罪名，上疏诬陷张伯行。督、抚互参，斗争愈加尖锐，问题也愈复杂。康熙帝下令督、抚都解任，交由钦差大臣审明。
福建、江苏百姓听说张伯行被撤职，纷纷罢市歇业。张伯行于扬州交印之日，数万人拥塞公馆院内及街道，哭声响彻全城，很多人要求赴京，向康熙帝申诉。次日，士民老弱又集公馆前，送上大量水果和蔬菜，张伯行皆谢绝。众人都跪在地上不起来，用膝盖爬行，恳求说：“公现任上止饮江南一杯水，今将去，无却子民一点心。”张伯行深为感动，仅收下豆腐一块，蔬菜一束。
及至张鹏翮审理督、抚互参案，有意偏袒噶礼，称张伯行“所奏全虚，应革职”；噶礼“所奏，有实有虚，应留任”。康熙帝发现张等人有意掩饰真相，给予斥责，又改遣户部尚书穆和伦、工部尚书张廷枢等前往扬州再审。噶礼心虚恐慌，指使一位姓李的官员私向张伯行说和，又以噶礼“党众”，如张伯行不退让“必遭害”相威胁。张伯行说：“圣明在上，我何惧焉。”穆和伦、张廷枢也抱着息事宁人的态度，开导两人互相让步，和气了结。张伯行严辞拒绝。于是，穆、张两大臣仍按张鹏翮原议上报。康熙帝很生气，说：“张伯行居官清正，天下之人无不尽知，允称廉吏。”而噶礼“办事敏练，而性喜生事，并未闻有清正之名”。他“屡次具参张伯行，朕以张伯行操守为天下第一，断不可参，手批不准，谕旨见在噶礼处。此所议是非颠倒”。命九卿、詹事、科道再议。第二天，康熙帝召见他们，说：“张伯行居官清廉，人所共知。……噶礼办事历练，至其操守，朕不能信。若无张伯行，则江南地方必受其朘削一半矣。”最后，康熙帝申明为“保全清官之意”，作出判决：将噶礼革职，张伯行革职留任。消息传到江苏，广大士民齐声欢呼，家家门上张贴祝文：“天子圣明，还我天下第一清官。”又云集圆妙观，焚香结彩，遥拜皇恩。在北京，江南人有数万，持香至康熙帝所居畅春苑，向康熙帝谢恩，表示愿各减寿一岁，添加给圣寿“万万岁”。康熙帝对此不胜欣慰。
张伯行复官后，“以海上有贼，欺君妄奏，监毙良民数人”之罪，被张鹏翮等屡次参劾，拟斩。康熙帝为保全张伯行，免罪，于康熙五十四年（1715）九月，命其来京。十二月，授为总督仓场侍郎，“戴罪效力”。后调任户部侍郎、充会试副考官。康熙六十一年（1722）正月，康熙帝赐满汉老臣参加“千叟宴”。在宴会上，康熙表彰张伯行，说：“凡为大臣，当仰体君心，惠爱百姓。如张伯行为巡抚时，凡地方情形，米麦价值，皆不时奏闻，是真能以百姓为心者也。”时年已七十二岁的张伯行，对此评价感到由衷的欣慰。