黄帝的部队班师回朝时，路过云梦泽南边的大山，黄帝把祝融叫到跟前，故意问道：“这叫什么山？”祝融回答道：“这叫衡山。”黄帝又问。“你可知道这山的来历？” 祝融答道：“古老的时候，天地一片浑沌，像个鸡蛋。后来出了个盘古氏，开天辟地，才有了生灵。他活了一万八千年，死后躺在中原大地之上，头部朝东，变成了泰山；脚趾在西，变成了华山；腹部凸起，变成了嵩山；右手朝北，变成了恒山；左手朝南，就变成了眼前的衡山。”刚刚说完，黄帝紧接又问：“那么，为什么名叫衡山呢？”祝融马上答道：“这座山横亘云梦与九嶷之间，像一杆秤一样，可以称出天地的轻重，衡量帝王道德的高下，所以名叫衡山。”
黄帝见他对答如流，非常高兴，笑呵呵地说：“好啊！你这么熟悉南方的事务，我要委你以重任！”但黄帝并不说出是什么重任。
队伍在衡山驻扎下来了。黄帝登上最高峰接受南方各个部落的朝拜。当时许多氏族首领汇集一起，大家都很高兴，祝融一时兴起，奏起了黄帝自己编的曲子一一咸池之乐。黄帝的妃子嫘祖也踏着拍子，跳起舞来。大家见了，都围着黄帝跳了起来。
跳了个痛快以后，黄帝叫大家静下来，说：“我就位以来，平榆罔，杀蚩尤，制定历法，发明文字，创造音律，编定医书，又有嫘祖育蚕丝，定衣裳之制，现在天下一统，我奠定五岳：东岳泰山，西岳华山，南岳衡山，北岳恒山，中岳嵩山。从今以后，火正官祝融镇守南方。”祝融这时才知道，原来黄帝说的委以重任，就是这么回事。
黄帝走了以后，祝融被留在衡山，正式管理南方的事务。他住在衡山的最高峰上，经常巡视各处的百姓。他看到这里的百姓经常吃生东西，就告诉他们取火，教他们把东西烧熟再吃。他看到这里的百姓晚上都在黑暗中摸来摸去，就告诉他们使用火把和松明。他看到这里瘴气重，蚊虫多，百姓经常生病，就告诉他们点火熏烟，驱赶蚊虫和瘴气。百姓们都很尊敬他，每年秋收以后，就成群结队地来朝拜他。大家说：“祝融啊，我们人丁兴旺了，生活过得好了，都是你给我们带来了这么多的好处，我们感谢你，要尊你为帝。你以火施化，火是赤色，我们就叫你赤帝吧！”从此，祝融就被大家尊为赤帝了。
正当大家安居乐业的时候，不料来了一场祸事。有个叫共工的人，和别人争帝位，打起来了，他的头朝不周山撞过去，只听得“轰隆隆”一声巨响，撑天的柱子折断了，系住大地的绳索也绷断了。从此，天空向北倾斜，日月星辰都往西北方向落下去。大地向东南倾斜，江河湖泊的水也都往东南方向流过去。南岳衡山这块天，眼看着也要垮下来了，这块地也一晃一晃的，像要翻过去了。老百姓吓得不得了，一个个抱着大树，攀着岩石，哭了起来。祝融连忙使出自己的全身本领，像个大柱子一样撑住了天空，把最高峰也稳稳地扶住了。因为有祝融撑住天，衡山这个地方的天才没有垮，山才没有塌。后来有个诗人写出“地涌一峰秀，高撑南楚天”的诗句，就是写这事。
祝融在南岳山上活了好久才死去。百姓们把他埋在南岳山的一个山峰上，这个山峰就称为赤帝峰。他居住过的最高峰，就叫做祝融蜂。在祝融峰顶上，百姓们还修建了一座祝融殿，是为了永远纪念他的功德。