虽然在江西做出了非常出色的成就，但辛弃疾志不在此，他的理想是挥戈北上、重整山河。因此，他的词遍布愁云忧雨，流淌着悲情孤愤。
江西造口有座郁孤台，四十多年前，金兵入侵江西，残杀百姓无数，隆裕太后怀抱太子仓皇南逃，在造口弃船登陆，逃往赣州。金兵一路追杀掠夺，不知有多少百姓流离失所。孤独、失意的辛弃疾登上郁孤台，追往事，叹今昔，写下《菩萨蛮（书江西造口壁）》，寄托了对深受金兵蹂躏的百姓的同情和抗金杀敌、收复国土的强烈愿望。
郁孤台下清江水，中间多少行人泪。西北望长安，可怜无数山。
青山遮不住，毕竟东流去。江晚正愁余，山深闻鹧鸪。
－－菩萨蛮（书江西造口壁）
辛弃疾是一位不屈的歌手，一生都在为抗金复国高歌。然而朝廷始终让他担任着一些闲职，将他从江西调到湖北，期间还召回杭州做了一段大理少卿，让他失去了一个又一个抗金北伐的机会。
淳熙六年春（1179年），辛弃疾又接到调令，从湖北调往湖南。离前线更远了，辛弃疾痛苦万分，失望郁闷，在同僚置酒饯行之际，他笔走龙蛇，泪洒宣纸，写下这首缠绵悱恻的《摸鱼儿》。
虽然郁郁不得志，但每到一处，辛弃疾总能有所作为。来到湖南后，他结合当地情况，挑选精兵强将，组建了一支英勇威武的“飞虎军”。有人诬告辛弃疾浪费钱财，朝廷下金牌诏令他停止组建。这时“飞虎军”的军营即将完工，只是缺瓦，辛弃疾就把金牌藏起来，下令所辖居民每户上交几片瓦，终于艰难地完成了“飞虎军”的组建工作。此后许多年间，“飞虎军”都是当地最精锐的一支军队，成为维护湖南政局的军事支柱。
淳熙七年(公元1180年)，辛弃疾离开湖南，调任隆兴府知府兼江南西路安抚使。当时恰逢旱灾，粮价飞涨。辛弃疾到任后，立刻宣布如果有人囤积粮食，搞投机倒把，就地问斩。他还紧急从外地买入粮食，救济灾民，一个月内就稳定了粮价。
可惜的是，辛弃疾的这些行为触及了一些人的利益，没过多久，就有人弹劾他“杀人如草芥，用钱如泥沙”，说他“奸贪凶暴”、“惟嗜杀戮”。淳熙八年(公元1181年)，辛弃疾连闲职也干不了了，他退居江西上饶带湖，过了十年恬静自然的隐居生活。