在浮山脚下有个农夫叫蔡大，种菜为生，每日挑新鲜菜去镇上卖时，经常路过这石洞，用这石洞流出的清泉水洗菜，洗过的菜更是鲜嫩好卖。因此也常见到洞中的南桃。两人熟悉后，蔡大常送些蔬菜给南桃，南桃也常邀蔡大去洞中饮酒聊天，一来二去成了好朋友。这蔡大有爱占小便宜的毛病。他看中了南桃的一套金制酒器，琢磨着如何弄到手。
一日，蔡大又送些新鲜蔬菜到洞中，临走时提出要借南桃金制酒器，说是家里来了客人想炫耀一下，南桃没有拒绝。第二天，蔡大将金制酒器送还。南桃刚一接过，就觉不对劲，重量轻了许多。南桃拿起酒器一一在手中掂着，后又细细瞧看，生气地说："蔡大呀，你这可不是大丈夫所为，这酒器虽也金光闪闪，但它重量明显过轻，这是铜制的。"蔡大见南桃发现了他用铜制酒器换下金制酒器的秘密，又被南桃指责，脸羞得像个蒸熟的虾子-通红，觉得没脸见人，一头栽进溪中变成了一条大鱼趴在水底。南桃一见蔡大为了一套金制酒器钻进溪中，也觉自己有点过分，懊悔不该当面揭短，送了一条性命，后来南桃也离洞而去。
很多年以后，有一天一个浮在脚下溪中打鱼的人见有一条大鱼钻入洞中，渔人也随之泅水入洞。见洞中溪水中有一群以前没有见过，也叫不出名的鱼。这鱼头较尖，嘴唇肥厚，有四对短须，小眼皮被皮膜所隐，光滑无鳞，全身鲜黄，背部带有斑彩，背鳍边缘有银齿。渔人顺手抓了两条带回。村里人看了都觉好奇。观者中有一老员外建议说："听说淮南磊刘家一生爱吃水鲜，识得各种鱼虾，何不献上?"
淮南王刘安收到渔人献上的这种鱼后，反复看过，说不出什么鱼。他命人用清水洗净，配上佐料清菡。不一会香味扑鼻。刘安再看，鱼肉似豆腐一样细腻，汁水如鸡汤一样鲜美，食之少细刺而鲜嫩，回味无穷。刘安连连夸赞"此乃上等名鱼"。从那以后，要地方官吏每日送上此鱼。
浮山石洞因南桃曾在此修炼，人称仙人洞。因蔡大钻入水中变成一条鱼后繁衍生息发展成群，而淮南王刘安喜食此鱼，人们称之为"淮王鱼"。
这淮王鱼在世界上绝无仅有，日本前首相田中和美国前总结尼克松访华时，都品尝过此鱼，赞不绝口。他们只知这鱼味鲜美，不知有此神奇的传说。