【建炎三年】五月，洪皓充通问使，高宗遗粘罕书，愿比藩臣。七月，胡寅请绝和议，乃上疏曰：“臣闻和之所以可讲者，谓两地用兵，势力相敌，可也；非强弱盛衰不相侔，所能成也。以使命之弊，为养兵之费，此乃晋惠公征缮立圉之策，汉高祖迎太公、吕后之谋也。以今观之，彼强我弱，势力不侔，若纳赂，则孰富于京室纳质，则孰重于二帝饰子女，则孰多中原佳丽遣大臣，则孰加于异意之宰执以此议和，徒堕虏计中，而为其所绐也。为今之计，莫若罢绝和议，一意自治，命将治兵，裕财足食，以图恢复，庶不虚老岁月，为虏所饵也。”胡寅疏入，吕颐浩恶其切直，罢之。
高宗因宗泽累表还京之请，至是时李纲入相，月余，边防军政已累就绪，高宗下诏修京城，乃曰：“朕欲统督六军，以抚京师及河东北路。已迎奉隆祐太后，津遣六宫及卫士家属，置之东南。朕与群臣独留中原。可缮修都城，择日还京。故兹诏示，想宜知悉。”
高宗虽下诏修京城，而还京之意终未决，车驾行幸未有定向。李纲谏曰：“今六飞纵未入关，当适邓、襄，以示不忘中原之意。近闻一二执政，劝陛下迁幸东南，果尔，则中原非我有矣！”高宗曰：“但奉迎六宫往东南尔，朕当与卿留中原。”
纲拜贺。故降前诏。汪伯彦、黄潜善从客言于上曰：“上皇之子三十人，今所在者惟圣体耳，可不为避狄计万一京师不守，则大事去矣！陛下试熟思之！”高宗又降手诏，谓京师今未可往，当幸东南为避狄计。李纲力争，以为不可幸东南，请驻邓、襄。乃诏修邓州城。舍人刘珏亦抗疏言：“当今之要，在审事机爱日力为急务。南阳密迩中原，易以号召四方；又有长江天险，可以固守。”士大夫多附其议。九月，谍报金虏犯河阳，迫近东京。乃下诏幸淮甸。从汪伯彦、黄潜善之请也。
【建炎二年】春正月，高宗幸扬州。虏陷徐州，守臣王复骂虏不屈。粘罕闻韩世忠守淮阳，乃分兵万人趋扬州，自以大兵迎世忠。世忠不能敌，遂陷淮阳。刘光世领军迎敌，未至淮而军溃。是时朝廷所用汪伯彦、黄潜善初无远略，东京委之御史，南京委之留台，泗州委之郡守，所报皆道听涂说之言。虏谍知朝廷不戒，诈称李成党以款我师。张浚率同列为执政言虏势猖獗，盍为之备。汪、黄二人笑而不答。当时天长军报金虏已至，高宗大惊，乃躬环甲胄，上马南巡。汪伯彦、黄潜善二相方会食中书堂，或告以虏至，二相以“不足虑”答之。堂吏呼曰：“驾行矣！”二相且惊愕，戎服鞭马以逐，与军民争门而出，死者不可胜数。大理寺黄锷至京口，军人以为潜善，骂之曰：“误国误民，皆汝之罪！”黄锷方与辨其非是，而首已断矣。季陵取九庙神主奉之，及出门，甲骑塞路，行数里，回望扬州城，烟焰涨天矣。后人有诗一首道，诗曰：