明朝成化、弘治年间，苏州城出了一个姓唐的才子，因他生于寅年、寅月、寅日、寅时，所以取名叫唐寅；又因寅为虎，故取字伯虎。唐伯虎天资聪颖，十六岁秀才考试便得了第一名，轰动了苏州城。人称“江南第一风流才子”。他博学多能，吟诗作曲，能书善画，名冠一时。正当他二十多岁春风得意之时，家庭突遭横祸，在不到一年的时间里，家里共死了五口人：先是父母相继下世，妹妹亡于夫家；接着是自己的爱妻娇儿也离他而去。巨大的打击，使他万念俱灰、一蹶不振。在苏州城西北桃花坞建一“桃花庵”，自号“桃花庵主”，整日放浪形骸，诗酒为伴。
这一天，春和景明，唐伯虎骑着毛驴，戴一顶破草帽，身穿旧衣布鞋，到郊野踏青冶游。他一边游山玩水，一边唱起了他自编的《桃花庵歌》：
桃花仙人种桃树，又摘桃花换酒钱。
酒醒只在花前坐，酒醉还来花下眠。
半醉半醒日复日，花落花开年复年。
……
恰在这时，有两个到省城赶考的举子也在前边赶路。他们见唐伯虎穿的破破烂烂，以为他是赶脚的，就要雇他的小毛驴驮行囊。唐伯虎想，反正自己也是游山玩水，消磨时光，跟两个举子一起走走也免得寂寞，就爽快地答应了。
三人同行，两位举子只顾自己谈笑风生，根本没把“赶脚的”唐伯虎放在眼里。晚上住店，两位举子又借口他俩夜里要攻读诗文、切磋学问，所以二人住在上等客房，请唐伯虎“自便”。言外之意是他们既然雇了毛驴，是要付脚力钱的，其它住店花销，当然是要和唐伯虎实行“AA制”，请唐伯虎自己想办法。唐伯虎一笑，要了一间本店最顶级的客房，并要店老板把好酒好菜尽管端到自己的客房来。
晚上，两位举子在他们的客房里吟诵诗文，唐伯虎在顶级客房里独酌豪饮。饮至半酣，唐伯虎突然想到自己今天出门，身上没带分文，酒后如何“自便”？要是现在就向二位举子讨要脚力钱，则有辱斯文，这怎么办呢？他眉头一皱，叫来了店老板，声言自己愿为店老板画一幅画抵房钱、酒钱。店老板看看唐伯虎，见他衣衫不整，蓬头垢面，心想他一个赶脚的能画出什么画？同时他又感到奇怪，就犹犹豫豫地拿来了文房四宝，要看看这个出苦力的人能捣鼓出什么东西！