康熙二十三年五月，江宁巡抚出缺。六月下旬，康熙帝于北巡途中听扈从学士以九卿所会推员缺请旨时，沉思良久之后，亲自提名说：“朕观学士汤斌质朴耿直，与尔等同衙门，尔等以为何如？”有说“质直能事”者，有说“人品优长，平昔寡交”者。康熙帝说：“道学者必在身体力行，见诸实事，非徒托之空言。今视汉官内务道学之名者甚多，考其究竟，言行皆背。如崔蔚林之好事，居乡不善，此可云道学乎？朕观汤斌颇有实行。”并感慨地说：“精通道学自古为难！”提倡道学的康熙帝看到，在道学家争相竞伪之中，汤斌毕竟有与众不同之处。他说：“朕闻汤斌曾与河南姓孙之人相与讲明，如此尚于道学相近。且汤斌前典试浙江，操守甚善，著补授江宁巡抚。”
九月，汤斌赴任前陛辞。康熙帝说：“朕以尔久侍讲筵，老成端谨，江苏为东南重地，故特简用。居官以正风俗为先，江苏风俗奢侈浮华，尔当加意化导。移风易俗非旦夕之事，从容渐摩，使之改心易虑，当有成效。钱粮历年不清亦须留意。尔在内阁曾看章疏，在外督抚凡钱谷刑名大事多有舛错，致令驳察。尔到地方尤当留意。近日江南吏治稍稍就理，尔能洁己率属，自然改观。”在受命之际，汤斌心中非常清楚，这些都是江南向来难以解决的问题，他特为请示说：“地方之事，臣未受任，何敢妄奏。据平日所闻，江苏赋额繁重，历年不能全完，新粮旧欠一时并征，官民交困。不知作何区处为善？”康熙帝说：“赋额久定，但当清厘耳。”特赐汤斌白金五百两、表里十端、鞍马一匹。汤斌临行前遵旨入见，康熙帝撤御馔赐之，又赐御书三轴，并说：“今当远离，展此如对朕也。”
当时，康熙帝即将启程南巡，汤斌遂急速赴任。到任未几日，康熙帝便抵达长江岸边。汤斌同众官至江北迎驾，随至苏州后，康熙帝谕汤斌等说：“向闻吴阊繁盛，今观其风土，大略尚虚华，安佚乐，逐末者众，力田者寡。遂致家鲜盖藏，人情浇薄。为政者当使之去奢返朴，事事务本，庶几家给人足，可挽颓风。渐摩既久，自有熙皞景象。”第二天，康熙观览苏州惠山，又传谕汤斌说：巡行所需之物“皆自内府储备，秋毫不取之民间。恐地方有不肖官员借端妄派，以致扰害穷民，尔其加意严察。如有此等，即指名题参，从重治罪。其沿途供役纤夫及闻朕巡行至此远来聚观百姓，恐离家已遥，不能自归，尔逐一详察，多方区画，令其还家。尔巡抚率布政使即从此回，料理此等事，不必前送。”汤斌回奏说：“此番皇上巡行，所过地方钱粮尽行蠲免，凡需用诸物并不派取民间，又赏赍沿途穷苦人民，恩恤耆老，百姓莫不欢呼踊跃，引领以望皇上速临。至地方各官，臣已行严禁。”又说，“沿途供役纤夫已给工食。其人民愿睹天颜，从远方来者，亦各自备资给，无烦圣虑。皇上巡幸江南等处，实千载奇逢，臣愿送驾渡江始回，令布政使章钦文先还。”他一再恳奏，康熙帝方允其请。康熙帝又说：“苏州乡官汪琬原系翰林，为人厚重，学问优通，且居乡安静，不预外事，因此特赐御笔手卷一轴，尔遣人付与。不必令其来见，着即在家谢恩。”汤斌遂扈从至仪征，获赐御书一轴及狐腋蟒服而奉命还署。
前一年，江南淮扬一带水灾，前任江宁巡抚余国柱曾上奏说：“水退，田可耕，明年当征赋。”汤斌莅任后遣员测查，田地大部仍然水淹，而水退之田亦未耕种，特奏请免赋。部议令再勘查。汤斌仍如实上奏，遂停止征赋之议。
江苏地区田赋繁重，历年拖欠不清。地方官多因征收不力，上任不满一年便被罢职而去。所以官员多不自爱，赴任后即极力搜刮肥私，而上官多抓其把柄索贿，因此，侵吞公款而被拘禁者累累。汤斌针对这种弊端告诫下属说： “今与若更始，苟称职吾不吝荐引，即不能，以考成罢归，犹得完身名，守坟墓。奈何目坐堂皇引前官妻子对簿勘产，反蹈若为？”又告诫司道郡守不得向属吏索贿。他为整顿吏治，先后奏劾了有贪酷劣迹的苏州、扬州知府及句容、宜兴、如皋、睢宁、江都、金坛等县知县。而对廉法奉公者极力加以保护。如常州知府祖进朝，因失察属吏被降调，他奏请留任，部议不准。康熙帝特发谕旨说：“祖进朝既经巡抚汤斌保奏清廉，可从其请，仍留原任，以劝廉吏。”这时，吏部正进行行取之法，即从有政绩的知县中选授御史。汤斌疏言：“行取定例必钱粮胥完，而苏州、松江二府赋重役繁甲于天下。铨选得此，辄谓迁擢难期，颓然自放，或竟罔顾官箴。臣受任巡抚，首以察吏安民为念，遍告属员，圣上知人之明出自天授，苟能洁己爱民决不至久沉下位，故一时守令争取擢磨，操守廉洁，政绩表著者，实不乏人。然钱粮则万万不能十分全完，盖势处其难，智勇才力俱困。今若拘成例，势必以僻壤小邑易于藏拙者塞责，未足以光巨典。”他以吴县知县刘滋、吴江知县郭琇“廉能最著”，请求行取，“以励循良。俾繁剧与两邑相符者，亦知有登进阶，相率奋勉。”但疏下部议，仍以此二人都有钱粮未完之事，不予选授。最后，康熙帝下旨说：“汤斌既称为廉能最著，准其行取。”由于汤斌积极努力，于是“除耗羡、严私派、清漕弊、汰蠹役、行保甲、革盐商羡费。一切皆以身先，屏绝请托。”革除弊端、澄清吏治已见成效。
康熙二十四年四月，汤斌针对苏松等地赋额繁重，自康熙十八年以来，“异常灾荒，逋欠独多”，民“剜补无术”，一时难以征齐的实际，特上疏请求于二十四年起分年带征，以使“官免畏顾考成，挪新补旧之弊，民免累日并比，荒废农桑之苦”。他经过认真考察之后，又上疏详细分析了“土隘人稠”的苏松两府，“田不加广而可当大省百馀州县之赋，民力所以日绌”，“逋赋难清”的情形，指出官员顾惜功名，为完欠赋，多生“辗转苟且之计”，造成“种种弊窦莫可究诘”，请求“将苏松钱粮合盘打算，各照科则量减一、二分，定适中可完之实数，无存过重必欠之虚额。再将科则稍加归并，使简易明白便于稽核”。同时，他又接连上疏奏请蠲免苏、松等七府州十三年至十七年未完银粮，淮、扬二府十八、九年灾欠，宿迁九厘地亩款项及缺额丁粮，以及请将邳州未完钱粮缓至十年后分年带征，均下部议行。其中宿州的所谓九厘地亩款项，即明万历以来的三饷加派，至此才最后解除。
这年秋，淮、扬、徐三府水灾，汤斌将蠲赈事宜及紧急救灾措施上奏，请发帑银五万两以购买湖广之米赈济灾民。同时，咨请漕运总督徐旭龄、河道总督靳辅分赈淮安，他亲往清河、桃源、宿迁、邳、丰诸州县察赈。康熙帝准其奏并特命户部侍郎素赫往助督赈。
汤斌在澄清吏治、调整额赋的同时，作为一个封建卫道士，他为整顿所谓浇薄的风俗，端正人心，不遗余力。他命令各州县建立社学，宣讲《孝经》以及康熙帝圣谕，倡导礼义廉耻。他禁止妇女游冶、少年轻生好斗的所谓“打降”活动，胥吏倡优不许穿裘帛、严禁“坏人心术”的淫词艳曲的流行以及“一幡之值至数百金”的迎神社赛，并禁止火化及久停柩不葬之俗。一年后终于出现“寺院无妇女之游、迎神罢会、艳曲绝编、打降敛迹”，“一岁报葬者三万余棺”的景象。当时江南一带到处建有迷信惑众的五通祠，而苏州城西上方山的一座更是相沿数百年，远近之人奔走如鹜，“牲牢酒醴之飨，歌舞笙簧之声无时间歇”，俗称其山为“肉山”，山下石湖为“酒海”。凡年轻妇女偶尔患病，巫人便说五通神将娶之为妇，而不再治疗，致使患者神魂颠倒，往往病势加剧而死。每年因此而死者不下数十人，这比河伯娶妇更为惨酷。在汤斌严加禁止下，一时稍有收敛。但当他赴淮上视察灾情时又猖獗起来。汤斌遂下令捣毁苏州五通祠，将木偶付之一炬，土偶投之深渊，并下令各地凡有五通祠者尽行拆毁，其木料留修学宫及城楼之用，并奏请“赐特旨严禁，勒石山颠，庶可永绝根株”。康熙帝因此下令：“淫祠惑众诬民，有关风化，如所请，勒石严禁。直隶各省有似此者，一体饬遵。”于是江南一带风俗为之一变。
汤斌勇于任事，果断处理棘手案件。吴县监生王某有家仆窃资，逃出数年后，突然率领挟带弓刀者二十骑出现，自称投充到某亲王府，诟骂王某并勒索金钱，地方官不敢过问。汤斌得报后，立即下令擒拿，按律治罪。常熟县一奴仆持其主人所得南明隆武帝之札，要挟逼迫主人远逃，欲占据其家产、主妇。汤斌得知后大怒，说：“国家屡更大赦。此草昧时事，何足问，而逆奴以胁若主乎？”于是立焚其札，杖毙其奴。
汤斌廉洁奉公，不阿附，不受贿。当时明珠为大学士，柄权势盛，由江宁巡抚升擢左都御史的余国柱极尽谄媚能事。当清廷下令蠲免江南之赋时，余国柱使人对汤斌说：此皆明珠之力，江南人应有所报，意在索贿。汤斌却不予理睬。当三年考核官员时，外官纷纷向明珠送礼，其中惟独没有汤斌的属员。
汤斌在任巡抚期间，生活简朴，清廉自持。“其夫人暨诸公子衣皆布，行李萧然，类贫士。而其日给惟菜韭。”他从不接受任何礼物，生日时，地方绅士知其“绝馈遗，惟制屏为寿，公辞焉。启曰：汪琬撰文在上。公命录以入，而返其屏。”时人因将他比之于海瑞、周忱。
康熙二十五年三月初十，康熙帝对大学士等说：“苏州巡抚汤斌居官廉洁，甚著贤声，向在讲筵，朕素所优眷，此诚可以大用。尔等会同九卿议奏。至詹事府关系最为紧要，现在官员殊不副职任，着一并传谕。”第二天，大学士等遵旨回奏说：“汤斌居官廉洁，人品端方，允堪内召，以副大用。至于詹事府衙门，关系最为重大，自古以来无不慎简贤良以资辅导。“汤斌操履清正，情性和平，洵可翼赞东宫，应升为礼部尚书总管詹事府事。”康熙帝说：“尔等所议深合朕心，即写谕旨来看。”于是，授汤斌为礼部尚书，管詹事府事。
诏令下达后，汤斌立即起行。苏州百姓闻其离任，“聚哭辕门外叩留公，又设匦敛钱为路费，将诣阙保留公”。汤斌因出示晓谕说：“吾在外不能为父老德，往者屡请核减浮粮并为廷议阻，今入见天子且面陈之。”情词恳切，方得启行。苏州数万人“遮道焚香”送别，送者“逾千里不绝。公渡淮乃返”。他离任时带回的东西，除因“吴中价廉故”，购一部二十一史之外，仍是赴任时携带之物：“敝簏数肩”而“不堪一物”。