传说，广东省广州，古时有五位仙人，身穿五色衣，骑着五色羊，带着每茎六穗的稻谷，来到越秀山上的楚庭（亭），口称“愿此闤阓，永无饥荒”，随即腾空而去。留下的五只羊则变化为石。故广州又有“羊城”、“穗城”之称。无独有偶。位于粤西的茂名，其地名的得来，同样与传说中的仙人有关。
传说，西晋末，在今高州一带有位道士潘茂名，他学易明诗，治病救人，后得道成仙，于西山（今观山）驾石船飞升仙游而去。后来，人们为了纪念他，把他活动过的地方叫茂名。历史上的潘州、茂名县，今天茂名市名的由来，无不陈陈相因，与他有关。明万历年间，曹知遇等纂修的《高州府志》记载有：“晋永嘉中，有潘茂名者，入山遇道土奕棋，立观久之。道士曰：‘子亦识此否?’对曰：‘入犹蛇窦，出似雁行。’道士可其说。因语之曰：‘子顶骨贯生门，命轮齐曰月，脑血未减，心影不偏，修炼则可轻举。’授以黄精不死之方。遂于东山炼丹而上升。”“后千有余年，孔镛来守高凉”，遇此仙人潘茂名于笔架山，因而在笔架山上创建了一座“潘仙亭”，以资纪异。并赋《石船丹灶》诗曰：共说丹砂可驻颜，仙翁何不久人间？石船藓合年年在，丹灶云封日月闲。亭宇已成新岁月，乾坤犹自旧江山。我来欲问长生诀，辽鹤何时海上还。
明成化元年(1465年)，任高州知府的孔镛还撰了《潘仙坡记》，立于“高凉郡东”，说“潘茂名学仙炼丹于此，尚存石船丹灶，今蔽于榛秽中，故名其坡曰：‘潘仙坡’”。明知县胥学韶曾于此建“仙迹亭”。明崇祯十年(1637年)，知府姚继舜更辟坡扩亭。亭首有丹灶遗迹，土微突起而坚硬，有二穴，穴口大如盆。据说，穴洞若被坭土杂物填塞，次日晨则完全消失，依然空洞如故。后废，换以砖石砌成八角形的丹灶，高约九尺，宽约六尺。丹灶旁有一大石块，以砖砌基础承了起来。那便是石船的遗迹。今高州城东门冼太庙左右仍有潘仙祠。丹灶已毁。明代万历年间，高州知府张邦伊有诗咏潘茂名在潘坡炼丹的《潘坡丹灶》：地有东郊胜，溪山信可夸。偶来因问俗，何意觅仙家。 洞倚千寻古，炉蒸五尺霞。至今流水上，时或见桃花。
清初，“岭南三大家”之一的屈大均志士写的《广东新语》卷五“石语”篇，记载有石船：高州潘仙坡有一石船。中污，两端微起若荷花叶。长八尺有半，广四尺。又有石篙一，在云炉洞，长二丈许。相传为潘茂名真人遗物。予有《石船铭》云：至人餐石，以刚为柔。至人乘石，以沉为浮。风将气御，水以神游。鞭蕖一瓣，泛泛如舟。 虚无之滓，为尔长留。屈大匀又有《后高凉曲》咏“潘仙石船”：不见仙人驾石船，鉴江秋水正连天。石篙撑折三千丈，愁绝蓬莱路渺然。石船经过多年风吹雨打，面目渐起变化。后被托儿所埋于地下，在建新楼时挖起破碎。现仅存一碎块，长约二尺，宽约一尺余，置于冼夫人庙门阶前。
“潘坡丹灶”和“石船苍藓”，是旧“高凉八景”中的两景。历代不少骚人墨客，对石船丹灶曾留有吟咏。如明郑阜义诗：仙家鸡犬去无存，丹灶空余火不煴。万古灵踪何处觅，淡烟荒草暗孤村。短棹孤帆远远开，潘仙何处问蓬莱。如今化作沧浪右，春雨年年长绿苔。相传潘茂名提炼丹膏时，对水要求十分讲究，为此，他在他的草药种植园内（今高州城东门外的荖园村）开凿一口水井，让它与龙山水脉相通，使井内流出的都是龙涎之泉，专作炼丹之用。宋《太平寰宇记》有载：“潘真人炼丹之水，味甚香美，煎茶试这，与诸水异。力士奏取其水归朝。”
传说潘茂名上东山取药，下潘坡炼丹时，烟通鉴江西岸观山上的玉井则为白烟，烟通观山稍北一里仙算岭上的金井则为黄烟。观山是潘茂名坐石船飞升处，故又名升真冈。“山旧有升真观，既圮，石香炉犹存。”明太守张邦伊即其遗址建观山寺。寺右为玉泉庵，玉井在焉。泉固井堙，久沦榛莽。崇祯二年(1629年)，邑人李为相睿复，构亭于其侧，以志灵迹”（见《茂名县志稿（上）》）。清嘉庆二十三年(1818年)，在观山之东建有潘仙殿以奉祀潘茂名。清高州府蒋应泰有《观山怀潘仙诗》等，雷州参将潘拱宸也有《观山有怀潘仙诗》，均见于旧《高州府志》或《茂名县志》。与观山隔江相对，有“仙易亭”，亦是纪念潘仙的遗迹，今已不存。清阮元监修的《广东通志》，对仙人潘茂名也有记述。
