据老谱书记载，青岛市内现居各处的潘姓都源于鳌山卫，元末明初高高始祖潘玛跟随朱元璋打天下，屡立战功，由百户官后官至指挥使；后高始祖潘义于洪武三十六年升滁州卫百户。明永乐二年高始祖潘义由滁州卫钦调鄱阳卫，永乐四年钦调山东都司鳌山卫任管军百户职事。一直世袭至清朝雍正年间。后潘姓陆续迁徙各处及外省或外地各方。