靳辅的治河设想被基本通过以后，他就主持兴工了。浩大的工程一旦开始绝非易事，其间经常遇到困难和争论。幸运的是康熙帝以至高无上的权威认为靳辅忠诚、果敢、沉着、意志坚强，可以担当大任，以致力排众议而信任他。靳辅本人也非常感激皇帝的“知遇”，不怕艰难险阻，不计较个人得失，决心干出一番事业。
清口是黄河与淮河交汇的地方，云梯关又是淮河、黄河的入海必经之路。靳辅治河的工程是，首开清口烂泥浅引河四道，疏浚清江浦至云梯关的河道，创筑束水堤一万八千余丈，塞王家冈、武家墩大决口十六处。靳辅的治河有个理论，即欲使下流得治，必治好上流。根据这个理论，为防止黄河下流决口，又提出在上流建减水坝。于是在萧、砀、宿迁、桃源、清河等县河南北两岸，共建筑了十三座，其坝东西宽十二丈，南北长十八丈六尺，中间建立矶心六座，两旁俱用石墙，土内密钉排桩，灌以浆灰，上铺石板，用铁锭相联。每座坝各有七个洞，每洞宽一丈八尺，总计可以泄水之处为十二丈六尺。涨水时可用以宣泄。
靳辅治河之初，东南水患益深，漕道益浅，故提出“河、运宜为一体”的治理方针，他说：“运道之阻塞，率由河道之变迁。向来议治河者，多尽力于漕艘经行之地，其他决口，以为无关运道而缓视之，以致河道日坏，运道因之日梗。”根据运河自清口至清水潭，长约二百三十里，因黄水内灌，河底淤高，居民每遭水患，运船也被阻梗。他从康熙十七年（1678 年）三月以后督集人夫，对这段运河进行挑浚，一年之内完工。又堵塞清水潭、大潭湾决口六及翟家坝至武家墩一带决口。对清口也进行了深浚。康熙十七年为筑江都漕堤，塞清水潭决口，靳辅到了现场观察。清水潭靠近高邮湖，他就在湖中离决口五六十丈的地方筑偃月形堤，筑成西堤一，长六百五丈，又挑绕西越河一，长八百四十丈，原来工部尚书冀如锡估计这项工程需费五十七万，而靳辅仅费九万，第二年竣工。受到康熙帝的表彰，奏请新挑河名为“永安河”，新河堤名为“永安堤”。
改变运口是靳辅治河的一项重要内容。从明朝以来由于黄河的内灌，潘季驯治河时就将南运口移至新庄闸。但是这个运口距黄、淮交汇处仅二百丈，黄水仍不断内灌，运河垫高，年年挑浚不已。加上黄、淮会合，潆洄激荡，重运出口，特别危险。靳辅任河督以后，在康熙十八年一月至四月间，从新庄闸西南开新河至太平坝，又从文华寺永济河头开新河经七里闸，转而西南，亦至太平坝，皆至烂泥浅，移运口于烂泥浅之上。这个运口距黄、淮交会之处仅十里，从此再无淤淀之患，即使重运过淮，扬帆直上，也如履平地。
淮河为害由来已久，原因是黄河的变迁夺去了淮河入海的通路。这不仅影响淮河自身为害，也造成入淮诸水皆泛滥成灾。康熙十五年的一场大水，翟家坝淮河决口形成九条支河，清口却涓滴不出。靳辅督工堵塞决口，包括原冲成的九河及高良涧、高家堰、武家墩大小决口三十四个。自周家闸经古沟、唐埂至翟家坝南筑三十二里之堤。康熙十八年（1679）大浚清口、烂泥浅、裴家场、帅家庄引河，使淮水全出清口，会黄东下。靳辅上疏报告了这项治河工程的完成，同时提出山阳、宝应、高邮、江都四州县积水诸湖，逐渐干涸，他要广招农民开垦，下以使无地农民有田可耕，上则可以征收的赋税充实国库，所谓“上下均利”，但却引起了很大的争议。
北运口也经靳辅修治。康熙初，漕船到宿迁，由山东濮县南的董口北达。后董口淤塞，改为骆马湖。而漕船从七里闸出口，经骆马湖到窑湾，需走八十里。此段路程湖水浅，水面宽，夏秋则水涨，冬春则水涸，重运多受阻。靳辅主持在湖旁开浚一条皂河，长四十里，上接泇河，下达黄河，漕运从此不再受阻。这项工程刚提出时，清廷曾进行过讨论，工部尚书马喇等表示支持，左都御史魏象枢不大同意。康熙本人以关系漕运，也是同意的。
从康熙十七年起，靳辅就开始报告湖河决口尽行闭合，治河工程逐渐取得进展。同时他还就治河工作本身做了不少改革，如裁减冗员，加强属员责任感，严格赏罚，改河夫为兵，划地分守，按时考核，等等。但是一边修治，一边仍有水患，从而引起越来越大的争论。康熙帝在一次谈话中也问大学士们：“修治决口，费如此多的钱粮，不久复决，此事如何？”被问者都乏良策，只说靳辅提出的期限未到，应当让他继续督修。到了康熙二十年五月，限期已到，问题仍然没有解决，靳辅上疏说：“臣前请大修黄河，限三年水归故道。今限满而水犹未归，一应大工细册，尚未清造，请下部议处。”康熙帝当即下令给靳辅革职处分，但仍命他戴罪督修。这年七月黄河大涨，皂河淤淀，不能通舟。很多人主张仍由骆马湖，而靳辅坚持不可，亲自督工挑掘一丈多远，黄落清出，仍刷成河。随后又挑出张庄运口。
靳辅治河引起的空前大争论是在康熙二十一年。这年黄河在宿迁徐家湾决口，塞住了，又决萧家渡，争论就开始了。当时有一位名叫崔维雅的人，曾在河南、浙江等地任府州县官多年，参与治河，颇有成效。他著《河防刍议》、《两河治略》，对靳辅治河的一套办法多持否定态度。恰值这年五月，康熙帝派户部尚书伊桑阿等勘察河工。崔维雅以候补布政使身份奏上所著书，要求取消靳辅建减水坝的方法，主张顺水之性，疏导与筑堤并举。康熙帝令他与伊桑阿等随行，到现场同靳辅商议。这一行人遍察各项工程，到了徐州，让崔、靳进行讨论。靳辅说：“河道全局已成十之八九。萧家渡虽有决口，而海口大阔，下流疏通，腹心之害已除，绝不应改变计划，破坏已取得的成功，酿成后患。”这件大事，在地方上无法解决，伊桑阿等回到京城。十月，在一次廷议会上，工部尚书萨木哈等提出萧家渡决口应令靳辅赔修。康熙帝认为，一是修河需要钱粮甚多，靳辅赔修不起；二是如果真的赔修，万一贻误漕运仍不好办，所以他没有听取这个意见。这位重视实际的皇帝谈了他的看法，他说先看崔维雅的奏疏，觉得他列的条款似乎可取，而再看靳辅的回奏，又知道崔维雅提出的办法难以实行。又询问在座诸大臣有何良策，大家一致提出靳辅治河多年，应当听听他本人的意见，请他进京商议。康熙帝同意了这个建议。
康熙二十一年十一月二十三日，清廷大学士、学士、九卿、詹事、科、道官员开会，在靳辅本人参加下，讨论他的治河事宜。会上，康熙帝命令靳辅口头说明自己的意见。靳辅说：“臣受河工重任，不敢不尽心竭力，以期有朝一日大功告成。今萧家渡工程，至来年正月一定完工。其余河堤，估计用银得一百二十万，逐处修筑，可以完工。”康熙帝追问：“尔从前所筑决口，杨家庄报完，复有徐家沟；徐家沟报完，复有萧家渡。河道冲决，尔总不能预料。今萧家渡既筑之后，他处尔能保其不决乎？河工事理重大，乃民生运道所关，自当通盘打算，备收成效，不可恃一己之见。”靳辅主动转移议题，指出人事问题比自然灾害影响更大，“若人事既尽，则天事亦或可回”。康熙帝立刻命他对崔维雅的意见发表看法。靳辅就其两点大加反驳，一反对崔维雅计划每天用民夫四十万挑浚，因各省民夫远道而来，最为不便；二反对崔维雅提出建河堤“以十二丈为率”，指出河堤必因地势高下，有的应十五丈，有的七八丈，岂可一律规定丈尺。康熙帝当场也表示“崔维雅所奏无可行者”。五年后崔维雅逝世，议给恤典，康熙帝仍说他“系不端之人。当时曾议修河，若委以此任，不但工不得成，必至事体败坏”。
这次大争论以崔维雅的方案被否决而告终。靳辅被宽大免赔，仍按原计划督修。康熙二十二年四月，他上疏报告萧家渡合龙，河归故道，同时提出大滔直下，清口附近的七里沟等四十余处出现险情，天妃坝、王公堤及运河闸座，均应修筑。另疏请求让河南巡抚修筑开封、归德两府境内河堤，防止上流壅滞。康熙帝看到靳辅治河，“成与不成在此一举”，所以凡所请钱粮都要迅速解给。七月，当康熙再次向户部尚书伊桑阿、学士胡简敬等询问河道情况，他们都说河归故道，船只往来无阻。康熙帝高兴地说：“前见靳辅为人似乎轻躁，恐其难以成功。今闻河流得归故道，良可喜也。”十二月，靳辅得官复原职。