隋炀帝三下扬州，在扬州建行宫数处，传观音山的迷楼即其中之一。他在长安有豪华宫殿，却闲置不用，而在扬州新建宫殿，以作他吃酒淫乐。

迷楼新宫，非常豪华，宫殿深幽曲折，机关重重，千门万牖，人入其中，就走不出来，隋炀帝叫大臣选了一百名美女，他每天换一个，整天迷恋于酒色玩乐之中。然而好景不长，就被部下杀死在江都宫中，后葬于雷塘，后人在迷楼的故址上建了“鉴楼”，此楼现仍在观音山正殿之西。