在桃花尖的东南方有一个高约10米，直径4米，由红、黄、绿、青、兰五色彩石组成的石礅。这个石礅突兀耸立，雄伟壮观，当地人叫它仙人墩。传说是嫦娥奔月前遗弃在人间的神座。

王母娘娘把一颗仙丹——不死之药给了嫦娥的丈夫后羿，叫后羿吃了可以升天成仙，算是对他射日除害的奖赏。后羿和嫦娥夫妻恩爱，舍不得离开嫦娥，没有吃下仙丹，并把仙丹交给爱妻嫦娥保管。嫦娥非常感动。

有一年，后羿的徒弟蓬蒙乘师父外出打猎之机，便威逼嫦娥交出仙丹。在争夺过程中，嫦娥不敌蓬蒙，不得已将仙丹含于口里误吞到腹中。

嫦娥知道吞了仙丹不久要升天成仙，离开后羿，这是非常不愿意的。她急忙跑到桃花尖寻找打猎的后羿。哪知后羿追赶猎物已离开桃花尖，不知去向。

桃花尖原名钟台山。此山是座神山，山神一直庇佑着山上的所有生灵。这天山神听到仙乐阵阵，看到祥光缭绕，瑞霭纷纷，一队队仙女手持宫灯，从天而降，来到桃花尖。说是迎接嫦娥升天。山神得知桃花尖出生的嫦娥要升天成仙，非常高兴，觉得这是钟台山的盛事。逐发动山鬼，披荆斩棘为嫦娥开路，自己到南山、北山采来五色彩石造神座送给嫦娥，想要嫦娥不离故土。

神座建好以后，山神请嫦娥坐在上面，带领一群山鬼敲起竹梆，大声呐喊，向嫦娥礼拜，这时满山桃花盛开，艳丽动人。

嫦娥感到身子轻飘飘的，欲欲上升。她留恋桃花尖旁边的小山村，盼望后羿出现，久久不愿离去。哪知嫦娥吃了仙丹，已得仙气，产生巨大的升力，身不由己离开神座。而神座还是人间一凡物，不能一同起飞。嫦娥一脚蹬开神座，奔向月亮，在神座上留下了自己一个深深的脚印。

清朝诗人董文枢根据这个美丽的传说写了一首《仙人墩》诗，并编入清同治年间的咸宁志。诗中写道：

钟台山下仙人墩，仙人足迹深数寸。

仙人飞去久不还，空山一足千年证。

广石如枰净如揩，夜深飞上看钟台。

山灵来往哀其苦，六丁开道挟风雷。

我欲取向案头供，以手撼之山骨动。

仙人一足如泰山，夸娥颠仆山灵哄。

天宮妙手雷斧痕，水火不烂风雨嗔。

终古山头叱不起，笑杀金华牧羊人。