康熙二十七年（1688）以后，靳辅进入了他个人生活的晚年。这时虽然只有短短几年，但跌宕起伏，惊心动魄，总的来看，已非当年可比。
首先使靳辅感到窘迫的是这年正月，江南道御史郭琇上疏劾靳辅治河多年，听命陈潢，今天议筑堤，明天议挑浚，浪费银钱数百万，没有终止之期。又指责他今天题河道，明天题河厅，以朝廷爵位为私恩，从未收到用人得当之效。还说他夺取民田，妄称屯垦，取米麦越境贩卖，特别是违背皇帝的旨意，阻挠开浚下河。疏中对陈潢抨击尤为激烈，斥之为“一介小人，冒滥名器”，提请严厉处分。在康熙帝处理完太皇太后的丧事，主持议论河工的会上，郭琇又对靳辅攻击一番。户部尚书王日藻反映，他与诸大臣讨论，屯田一事有累于民，可以停止实行，而在高家堰之外筑重堤，应如靳辅所请。康熙帝本人却坚持说靳辅主张筑重堤及屯田，皆属“困民”、“害民”之举，应行停止。二月，给事中刘楷又上疏劾靳辅用人不当，河工道厅之中杂职人员一百多人，而治河无成，每年只听报告冲决而已。御史陆祖修也劾靳辅“积恶已盈”，用舜殛禹做比喻，暗示应当杀了靳辅。一时之间，靳辅成了众矢之的。靳辅不服气，上疏为自己辩护。疏中说，他受命治河之日，正是两河极坏之时，而他昼夜奔驰，先堵高家堰，淮水方出清口；旋堵清水潭；挑挖运河，改移运口，迄今永远深通。其向来行运之骆马湖，淤浅不能行舟，他创开皂河，漕艘无阻。至于浚筑经费，原遣大臣估计六百万两，而他苦心节省，一切所用不及原来估计的一半。靳辅列举这些成功之后，对攻击他的人如郭琇、于成龙、慕天颜、孙在丰等，一一进行了驳斥，揭露他们阴谋陷害。如郭琇与于成龙久结兄弟，郭琇与孙在丰又是庚戌科同年，陆祖修是慕天颜的门生，刘楷、陆祖修也是己未科同年。最为彻底的是靳辅揭露出他之所以遭到猛烈攻击，原因在于那些人的田地在下河流域，他们都是当地的豪强地主，清丈隐占触犯了他们的利益，所以这些人“仇谤沸腾”。
康熙帝认识到奏劾靳辅的人有些不实事求是，不能据以定案，应给本人以陈辩机会。三月八日，康熙帝召集大学士、学士、九卿、詹事、科、道，总督董讷、巡抚于成龙、原任尚书佛伦、熊一潇、原给事中达奇纳、赵吉士等人当面进行讨论。靳辅以河道总督赴会。会上分为两派，一派如董讷等继续攻击靳辅，兼及陈潢；另一派如佛伦等，替自己开脱的同时，仍支持靳辅。两派争得不可开交。主要的对立面是靳辅和于成龙。靳辅重申主张筑重堤，于成龙则指责靳辅千方百计阻挠开下河。两人你一言，我一语，有来有往，越辩越起劲儿。最激烈之处是于成龙说，江南百姓恨靳辅，欲食其肉，靳辅反驳说：“臣为朝廷效力，将富豪隐占之地查出甚多，所以豪强怀恨，与百姓何干？”董讷感到至尊面前，如此争辩，成何体统，努力加以制止。第二天又继续争论，仍各持己见。于成龙又提出一个新的问题，说靳辅为治河向民间派柳枝不对。靳辅反问道：“柳枝不用于河上，将用于何地？”在这次讨论中，康熙帝看出于成龙的确不懂河务。但是靳辅固执己见，与众议不合，尤其康熙帝本人也不赞成靳辅的一些主张，所以讨论的结果决定给靳辅革职处分，以福建总督王新命代替他为河道总督，陈潢也被革去佥事道衔。
靳辅刚刚被革职，臣下立即向康熙帝报告了两件事，一是漕运道路阻滞，有人提出希望派靳辅去解决；另一个是中河已开通，实际是报靳辅之功。这两件事都使康熙帝为难。他同左右臣下谈话一再肯定靳辅治河有成绩，如修治上河，不能说不善，京城的官员们赖以为生的就是上河堤岸坚固，漕船能保证通行无阻。于成龙所云“河道已为靳辅大坏”，纯属无稽之谈。这时康熙帝惟恐新任河总完全改掉靳辅治河的成果，搞得前功尽弃。他说：“谓靳辅治河全无裨益，微独靳辅不服，朕亦不惬于心矣。”指出王新命如顺从于成龙将原工程尽行修改，就是各怀私愤。又派大臣前去调查，指示其已建闸坝堤埽及已浚引河，都应如靳辅所定章程，不必更改。这些人回来报告，基本肯定了靳辅的成绩。
康熙二十八年（1689）正月，靳辅被召扈从康熙帝南巡阅河。二十三日查看中河时，康熙帝问他：“尔当日如何筹画开浚中河？今又云何？”回答说：根据康熙帝以前巡视河工提出的任务想出来的，开浚之后看到不但可以解决水淹民田，还能通漕船，如令漕船由此通行，可免黄河一百八十里之险。现在看来，如再把遥堤进一步加修，更保险了。康熙帝听了靳辅的话，指示王新命继续完成中河善后事宜，强调先修遥堤及减水坝。三月，康熙帝根据南巡时江淮百姓、船夫处处称赞原来总河靳辅，念念不忘他的好处，又亲见靳辅所疏理的河道及修筑的上河一带堤坝，的确卓有成效，又见他实心办事，勤勤恳恳，觉得以前对他的革职处分太重，便下令恢复其从前的衔级。这是给靳辅恢复名誉，却不是官复原职。
靳辅第二次被革职以后，连续在家闲居三年。其间曾三次担负临时性的任务。第一次是康熙二十七年十一月，同工部尚书苏赫等查看通州运河，提出在沙河建闸蓄水，通州下流筑堤束水，都被采纳了。第二次是康熙二十八年，扈从康熙帝南巡阅河。第三次是康熙三十年九月，奉命同户部侍郎博际、兵部侍郎李光地等阅视黄河险工，行前康熙帝特别提到靳辅“于河务最为谙练”。第二年正月还奏，报告了黄河南北两岸无冲损的减水坝及应加培的单薄处，并绘图呈览，下九卿会议，令如靳辅所议实行。还有一次，康熙二十九年三月，漕运总督董讷以北运河水浅，拟尽引南旺河水北流，仓场侍郎凯音布也请浚北运河，康熙帝召靳辅咨询，靳辅提出从北运河两旁下埽束水，不必引南河北流。这时靳辅以治河专家发挥了作用。
康熙三十一年（1692）二月，运河同知陈良谟告发河道总督王新命勒取库银六万零七百两，康熙帝更加重视选择河总人选。他说：“倘河务不得其人，一时漕运有误，关系非轻。”他比较了几个可供任命的人选，还是决定罢免王新命，重新起用“熟练河务及其未甚老迈”的靳辅为河道总督。康熙帝说这可以解除他“数载之虑”。靳辅以体衰多病推辞，不许，命顺天府丞徐廷玺作为协理，帮助他，也就走马上任了。
靳辅这一次东山再起，尽管已年老体衰，却仍决心为治河贡献一切智慧和力量。他上任不久，陕西西安、凤翔地区遭灾，康熙帝下令截留江北二十万石漕粮，命从黄河运到山西蒲州（今山西永济县北）。靳辅接受这项任务以后，亲自督运，水路只能运至孟津（今河南孟津县东北），然后陆路运到蒲州。因做得出色，得到康熙帝嘉奖。但是他的病日益严重，就在这时他还连连上疏，复陈两河善后之策及河工守成事宜，对如何继续修治黄河、淮河及运河提出了宝贵的意见。他还上一疏，要求恢复已故陈潢的职衔及过去因讨论河工而受处分的尚书熊一潇等名誉。七月二十六日以后，因发烧不止，靳辅请求退休，被批准。十一月，这位为治河而作出了巨大贡献的专家逝世于任所，终年六十岁。清廷按例给予祭葬。康熙三十五年，清廷批准江南人民的请求，在黄河岸边为靳辅建祠。靳辅死后，被追赠为工部尚书。四十六年，康熙帝南巡之后，在一次对吏部官员的谈话中，对靳辅的治河作了全面的评价。他说：“康熙十四五年间，黄、淮交敝，海口渐淤，河事几于大坏，朕乃特命靳辅为河道总督。靳辅自受事以后，斟酌时宜，相度形势，兴建堤坝，广疏引河，排众议而不挠，竭精勤以自效，于是黄、淮故道次第修复，而漕运大通，其一切经理之法具在，虽嗣后河臣互有损益，而规模措置不能易也。至于创开中河，以避黄河一百八十里波涛之险，因而漕挽安流，商民利济，其有功于运道民生，至远且大。朕每莅河干，遍加咨访，沿淮一路军民感颂靳辅治绩者众口如一，久而不衰。”这位清代最有作为的皇帝为奖励靳辅的功劳和贡献，再一次决定给他加赠太子太保，予骑都尉世职。