康熙二十五年（1686）闰四月，汤斌至京就任礼部尚书，陛见于乾清门。康熙帝说：“汝在江苏能洁己率属，实心任事。天下官有才者不少，操守谨慎者未能多见。汝前陛辞时，自言平日不敢自欺，今克践此言，朕用嘉悦，故行越擢，尔其勉之。”汤斌回奏说：“臣学识庸陋，蒙皇上简任江抚，奉职无状，惟陨越是惧。乃蒙皇上不次超擢，臣敢不勉竭心力，以图报称万一。”康熙帝详细地询问江苏年岁、风俗及地方吏治民生、缙绅居乡情况。汤斌一一具体回答。他说，水灾之后，经过蠲免赈济，民庆更生， “惟徐州所属地最荒瘠，水灾之后，今春民困较甚”。又说：“凤阳、蒙城一路饥民甚多。闻宿州、灵璧一带去年水灾，今春麦尚未熟，民间谋生无策。”将发生的问题如实奏报。康熙帝又特别询问了他对治理黄河的见解。治理黄河是关系国计民生的一件大事，康熙帝极为重视，但如何治理却大伤脑筋。原来按察使于成龙主张对黄河下游一带疏濬海口，以泄积水。河道总督靳辅却认为海口沙淤难清，主张筑高堤以束水入海。两人争持不下，久议不决。康熙帝虽然倾向于成龙的主张，但未轻易决策。特于去年命工部尚书萨穆哈、学士穆成额前往江苏会同汤斌等勘议。汤斌主张开濬下河入海口，认为“开一丈则有一丈之益，开一尺则有一尺之益”。萨穆哈等阿附明珠，偏袒靳辅，回奏时只说共议认为开濬无益，并不言及汤斌的主张。汤斌如实奏对完毕后，康熙帝命其至南书房，赐食。第二天，康熙帝于听政时追问治河之事，终于真相大白。
五月，汤斌奉命充经筵讲官。
六月初，大学士奉命传问九卿科道及淮、扬所属之在京官员共议开濬海口事上奏说：“汤斌原任江宁巡抚，所见必确，今称开海口有益，故复议应开。”康熙帝于是决定开海口，发帑银二十万两，遣工部侍郎孙在丰前往督修。尚书萨穆哈、礼部左侍郎穆成额以回奏失实故，均被革职。此事在朝中引起极大震动。
汤斌所管詹事府负教导太子之责。他特疏举荐候补道耿介，称其“赋质刚方，践履笃实，潜心经传，学有渊源，虽年逾六旬，精力尚健，乞征取引见，以备录用”。康熙帝因授耿介为少詹事，命与汤斌共同辅导太子。
汤斌清正不阿，已使朝中许多人忌恨不已。大学士明珠、前任江宁巡抚现任户部尚书余国柱尤其怀恨在心，伺机倾轧。当汤斌内擢回朝时，他们即摭拾其离苏州时告示中“爱民有心，救民无术”一语上奏，攻汤斌“市恩”，在康熙帝心中投下了阴影，而汤斌自己并不知道。汤斌入朝后给太子上课时讲《大学》中“财聚民散”的道理。康熙帝听说后对太子说：“此列国分疆时语也。若海内一统，民散将安之？试问之。”汤斌回答说：“土崩之势，甚于瓦解。”他列举秦朝、隋朝及明末敛财灭亡的事例后说，“一统而民散，祸更烈于分国时”。康熙帝对此虽然不甚愉快，但尚能谅解其忠。二十六年五月，久旱不雨，康熙帝诏令臣工直言朝政得失。灵台郎董汉臣上疏，以“谕教元良，慎简宰执”，指斥时事，揭发大学士明珠的过错。御史陶式玉上疏劾奏汉臣夸大其词，欺世盗名，请求逮捕严审。疏下内阁九卿会议。明珠听说康熙帝曾仔细阅读了董汉臣之疏，异常恐惧，而准备囚服待罪。大学士王熙却说：“市儿妄语，立斩之，则事毕矣。”汤斌说：“彼应诏言事尔，何罪？且所言早谕教崇节俭宜施行。大臣不言，小臣言之，我辈当自省。”大学士勒德洪、吏部尚书达哈嗒均赞同汤斌之议。奏上，康熙帝下令：董汉臣免议。明珠、余国柱等愧恨不已。不久，召令汤斌同达哈嗒、耿介共同辅导太子。汤斌以病具疏请辞。余国柱趁机上奏治其罪，康熙帝不听。继而余国柱又以汤斌于九卿会议时有“惭对汉臣”之语上奏，传旨诘问。汤斌回奏说：“董汉臣以谕教为言，而臣忝长宫僚，动违典礼，负疚实多。”康熙帝以其词含糊不清，令再回奏。他说：“臣资性愚昧，前奉纶音，一时惶怖，罔知所措，本欲自陈愆过，致语多牵混，罪何可辞。臣自念供奉以来并无正经善言，足以仰助万一。而臣动违典礼，循省自惭。年来衰病侵寻，愆过丛集，乞赐严加处分，以警溺职。”康熙帝认为他“遮饰具奏，仍不明晰”，大为不满，降旨严责。接着，左都御史璙丹、王鸿绪，副都御史徐元珙、郑重等劾汤斌“奉谕申饬，不痛自引咎”。又揭发他当离任苏州时文告中“爱民有心、救民无术”之语“为诽谤”。这时耿介以疾乞休，于是此又成为攻击汤斌的把柄。詹事尹泰、少詹事舒淑开、音布、翁淑元等弹劾耿介“侥幸求去，实无痼疾”，是“诈疾”。并劾汤斌“妄荐如尸之人”。事态扩大，问题愈加严重。正直的达哈嗒实在看不过去，遂独自上疏说：“臣奉命辅导东宫，数日之内负罪实多。以汤斌、耿介不能当其任，况庸陋如臣？乞准解退。”他挺身而出，这分明是为汤斌辨诬。于是部议：汤斌、达哈嗒、耿介俱应革职。康熙帝下令：汤斌、达哈嗒俱降五级留任，耿介听其休致。
不久，汤斌以继母疾乞求归省。康熙帝特下诏说：“卿何忍舍朕去，将赐第京师，命卿迎养耳。”汤斌以母老病重万不能来，乞请暂时归省，“复来以白衣领事”，仍不允其请。这时，京师纷纷谣传汤斌将隶旗籍，不少人为之同情而泣下，拟为呼冤，后得悉真相方罢。汤斌在劳神焦思之中患病，康熙帝遣太医诊视。汤斌因九卿议事时入讲未至，又被劾，议降级调任。康熙帝命降两级留任。
康熙二十六年（1687）九月，汤斌改任工部尚书。十月，往通州（今通县）勘察贡木回，突患寒病，自言“腹不宁”，于十一日夜半而逝。卒年六十一岁。康熙帝遣学士两人奠茶酒，命将灵柩驰驿归里，以尚书礼祭葬。
汤斌虽死，康熙帝仍不释于怀，他曾对廷臣说：“吾遇汤某特厚，而怨讪不休，何也？”众说没有此事。康熙帝说：“廷议董汉臣，彼昌言‘朝无善政，君多失德，大臣不言，故小臣言之。’尚不为怨讪乎？”众人乃知汤斌为明珠、余国柱所中伤。汤斌死后七年，康熙帝再提旧事说，侍读学士德格勒曾奏称：翰林院编修熊赐瓒“所学甚劣，非可用之人。朕欲辨其真伪，将德格勒、熊赐瓒等人考试。汤斌见德格勒所作之文不禁大笑，手持文章堕地，向朕奏云：‘德格勒文甚不堪。臣一时不能忍笑，以致失仪。’继而汤斌出，又向众言： ‘我自有生以来未曾有此一番造谎者。顷乃不得已而笑也。’使果系道学之人，惟当以忠诚为本，岂有在人主之前作一语，退后又作一语者乎？”这里竟对一向端谨的汤斌的忠诚表示怀疑，显系冤枉。本来早在七年前即康熙二十六年（1687）五月，康熙帝曾亲自考试熊赐瓒、德格勒及徐元文三人。汤斌奉命当众诵读三人之文，接着又奉命与尚书陈廷敬、侍郎徐乾学等传阅，分出等次。他们一致评议熊文为最，徐文次之，而德格勒“卷不成诗文，难置等第之内”。两天后康熙帝又令翰林各官传看，其见解与上述完全相同。后廷议时，大学士明珠奏言：“德格勒本系满洲而假借道学之名，深可厌恶，应交该部严加议处。”大学士王熙也说：“德格勒诗文全无文理。”可见，汤斌在当时的表现应是很自然的，他无需也没有任何必要作伪。此事作祟、陷害之迹显然。因而造成康熙帝对汤斌的怀疑与疏远，最终导致汤斌在无处申诉的凄惶之中病死。
尽管汤斌最后失宠，康熙帝疑怀不释，他仍允许地方之请，将汤斌入陕西、江西、江南名宦祠。后来，雍正十年（1723）诏入贤良祠。乾隆元年（1736）追谥文正。汤斌生平著作有后人编《汤文正公遗书》三十三卷，其中包括《拟明史稿》二十卷、《遗稿》五卷、《洛学编》五卷等。