江总字总持，是济阳考城人，晋散骑常侍江统的十代孙。五世祖名湛，是宋左光禄大夫、开府仪同三司，谧号忠简公。祖父名倩，是梁光禄大夫，在当时有名气。父亲名钚，是本州迎主簿，年轻时守父丧，哀伤而死，载在《梁书孝行传》上。
江总七岁就丧父，寄身在外婆家。小时聪明伶俐，有卓绝的品性。舅舅吴平光侯萧勘，在当时名望很高，特别钟爱他，曾经对江总说：“你的操守品行很特别，精神风采超人，以后出名，应比我强。”到长大了，苦学有文采，家裹有祖仁留下的朝廷所赐图书数千卷，江总日夜翻查阅读，不曾停止。十八岁时，步入仕途，任宣惠武陵王府法曹参军。中权将军、丹阳尹何敬容开建府署，设佐史，都用名门之后担任，就请他任敬容府主簿。调任尚书殿中郎。梁武帝撰写《正言》才完，作《述怀诗》，江总同作此题，帝看了江总的诗，深表赞赏。就调任他为侍郎。尚书仆射范阳人张缆，度支尚书琅邪人王筠，都官尚书南阳人刘之遴，都高才博学。江总那时年轻但很有名气，张缵等人都推许看重他，结成忘年友会。刘之遴曾赠给江总诗，诗大致写道：“上位居崇礼，寺署邻栖息。忌闻晓骝唱，每畏晨光艴。高谈意未穷，晤对赏无极。探急共遨游，休沐忘退食。曷用销鄙吝，枉趾觏颜色。下上数千载，扬榷吐胸臆。”他被学识渊博的人钦敬推许到了这种程度。调任太子洗马，又出京做临安令，回朝廷任中军宣城王府限内录事参军，转任太子中舍人。
等到与魏国通好，朝廷命江总和徐陵代理官职出使北魏，江总因病未去。侯景叛乱进犯京都时，朝廷诏令江总暂兼太常卿，守卫小庙。台城陷落后，江总避难一路艰辛，几年后到了会稽郡，住在龙华寺，就创作了《修心赋》，大致记述了当时的事。赋中写道：
太清四年秋七月，在会稽龙华寺避乱。这座寺庙，是我六世祖宋代尚书右仆射州陵侯在元嘉二十四年建造的。州陵侯的祖父是晋护军将军江膨，过去曾来这襄，居住在山阴都阳里，有传留子孙，终老于此的意愿。现在寺庙的占地就是旧宅的老基，左面是江右面是湖，前有山后有壑，东西有跨院相连，南北有回廊相通。且与清苦守节的高僧共度时日，早晨诵经修性，夜裹看看图书，安卧在风云中，闲居于水边月下。不料华夏陷入戎狄，朝廷倾覆，因而伤心，那种感情是可想而知了。涕泪浸笔，怎能舒展郁闷，希望后来的君子，能理解同情我的状况。遣裹是南斗的分野，东越的灵秘以这裹开始，韩诗中有《桧风》的记载，周代典籍中有主要山脉的记述。这裹藏有大禹的钟鼎金书，有暴秦的刻石文字，太史公来探过禹穴，钟离意走出山阴去揭开孔圣的方笥。如果竹箭会是宝物，怎么斌玖那样珍贵。献上对盛德的隆重祭礼，寄寓在安静修禅的古寺，这原是豫章的旧园圃，成了黄金胜地。于是深心静默，像对镜远远追寻，前面层峦叠嶂旷远迷茫，近处深深的湖水那么平静。山林优美，夜露渐重，挂悬在树上的猿早晨滑落地面，饥饿的鼯鼠夜裹发出叫声。果木成林药材成园，桃林中小径幽幽，橘树多得成林，树梢高入云霄遮掩日光，林中幽暗遍地成荫。喜爱自然的雅趣，轻视人间的烦杂，遥望岛屿萦回，江河交汇，长夜裹流水泛着粼粼月光，拂晓时雾霭飘来笼罩大地。清风引起了蝉唱，雨打丛林声音萧瑟，鸟儿渐渐狎玩近人，烟云无情自然收合。
这就修筑灵塔，建立庙宇，爱这宽广的园苑，乐此树木扶疏。走过草地。闲坐溪边，守持戒行，扶着禅杖，恬然度El，坚固林可作比况，寂灭场可以相喻。异曲奏毕忧伤起，悲愁非因落叶生，怎能委屈本意身受辱，不想显露才华去扬名。风雨聚集天地昏暗，也厌倦了聒耳的鸡鸣，幸而回避了尘世高隐在这裹，任他帝王降旨也不理。我为微妙的四辩所折服，悟到了三乘的奥妙禅理，抛开众多绳索的束缚，拂去了迷惑的尘滓，很久以来忘记了势利虚荣，希望忘掉拖累人生的妻子儿女，感喟昔日太重意气，寻觅知音的希望寄托于来年，为何远行的客人可悲，要知道哀怜自己怎有完毕。
江总的第九舅萧勃原先占据广州，江总又从会稽去依附他。
梁元帝戡平了侯景的叛乱，征用江总为明威将军、始兴内史，用郡级俸禄八百斛米给江总做路费。恰遇江陵失陷，就没有去，江总从此流落在鲎亩多年。玉塞四年，以中书侍郎的职务征召回朝，在中书省任职。屡次升迁做到司徒右长史，掌管柬宫管记，给事黄门侍郎，领南徐州大中正。又授任太子中庶子、通直散骑常侍，东宫、中正等职照旧。又调任左民尚书，转任太子詹事，中正职如旧。因为和太子长夜饮酒作乐，养良娣陈氏为女，让太子改装到江总的家襄舆陈旦幽会，皇上震怒免了逗总的官。不久任侍中，领左骁骑将军。又任左民尚书，领左军将军，未正式任命，就又因故免去。不久起用为散骑常侍、明烈将军、司徒左长史，升任太常卿。
后主即位，拜他为祠部尚书，又领左骁骑将军，参掌选事。转任散骑常侍、吏部尚书。接着调任尚书仆射，照旧参掌选事。至德四年，加封为宣惠将军，可按敷设置佐史。不久又授任尚书令，赐给他一部鼓吹乐队，加赐扶掖之人，其他职位照旧。策书上说：“呜乎，文昌整治根本，司会管治经济，韦彪被称为国家的关键，李固被比作北斗北极。何况五曹的总理，靠你主持调济，与冢宰的职责相同，专主台阁重任。由于你道德术业高超，器宇度量不凡，有美好的规行风范，仪表风度可以作为楷模，又是辞学的宗师，文明礼教能作士大夫的领袖。所以能率领六卿官员，众望所归，朝内八座重臣，以为模范影响深远，那整肃朝纲掌握政事，是我所希望的。过去我是很钦佩你的啊，请努力运用你高明的谋略，辅助我治理好国家，能不谨慎吗!”祯明二年，进封爵号中权将军。