潘氏望出荥阳、广宗、河南三郡，根据1996年《箬川潘氏宗谱》所载，缙云潘氏出自姬姓，以荥阳为郡望。荥阳郡，相当于今河南郑州地区。
据宋名道元年，（1032）潘氏入缙云后第四世孙潘祚（976~1053）新撰《钱塘分八溪三派记》云，本支潘氏世居上谷，（今河南怀来一带）。唐武周时，潘济（622~716）以明经举为浙江提举，据钱塘样沙坊百花园。退职后放怀山水，寄情花鸟，因前往温州雁荡山，遇风雨迷离，停骖箬川，（今缙云大洋镇后村），数旬不得行。便自息性格怪癖，于世不和，宜敛迹深山，何不就此居之？遂构数椽，自筑书舍，名其室曰白云堂，馆曰幽风馆，自号飧霞道人，左琴右书，以为终年之娱，谢世之所”。 数载后由族人迎归钱塘。后潘济将离世，遗语儿孙，言自箬川返归钱塘，乃迫于族人之情，然“每形梦寐者，其无忘之”。越五世，有孙潘谋、潘泰二人，潘谋，（792~888），字存诚，官至金紫光禄大夫。黄巢攻占江，携家避乱于浙江处州括苍丁济林，后裔转迁本县沐溪、松阳敏溪、仙居横溪、苏州荆溪；潘泰（805~880），字存享，仕金陵太守，率兵抵御黄巢军，其子潘梦（824~905）、潘祥、潘瑞、潘兆四处逃避，潘梦感念祖先遗址，复迁箬川，即箬溪。潘祥迁景宁净溪，潘瑞迁永嘉华溪。潘兆之子潘仁居仙居东溪。后仁人称为“溪”。潘梦为迁缙一世祖。
pangl888 - 2006-4-30 20:11:00
潘梦有子潘升，字经廷，谱称其“志气磊落，才识过人，”因家丰饶裕兼之姻及在城便田产于邑之东杜桥居也”。
至南宋，潘祖十世存孙潘隆（1189~1284）字永盟，乔迁石亭。十一世潘合，（1204~？）幼时出继于白面（今白彦）陈氏及长迁梅溪。十二世潘乾潘坤迁于西乡（今新建一带），潘艮迁于方坑高沈，潘震迁于洲塘（亦称周塘），潘标迁于永嘉。十三世潘焕于弟潘坦迁于南溪。十三世孙潘中（1243~1312），谱载其为肃王驸马，然赵氏无子，既娶占氏，生潘惠、潘明、潘德三子，潘德迁居前村。潘惠（1278~1346），字均和，迁居台锋（为当今姓潘村）。其弟三子帮哲转迁上周。潘帮哲二子继青、继童又迁于南源。
明代以来，从后村前村迁出的有:潘梦17世孙潘道从(1335~1399)迁温州昆阳,潘道昌(1343~1396)迁苏州阊门。18世纪孙潘显佑永嘉上吴，潘显贞迁永康城西，27世潘德金（1577~？）避寇携母迁永嘉西岙。潘三院（1595~？）迁丽水花街。其后尚有迁于青田、武义新宅、歼阳麻沙镇和缙云县内五云镇、金梅亭、大黄、松树湖、下东方等地。
清代以来，从姓潘迁出的有：潘念11世孙潘明富（1637~？）迁壶镇前洋。12世孙潘黉（1681~1756）迁三溪，潘际矛（1690~1733）迁青田季宅，潘际福（1705~1758）迁石笕。13世孙潘琼（1699~1743），潘瑞雪（1700~1722），潘瑞？（1703~1756）等人迁双溪口，潘瑞凡（1744~1810），潘瑞华（1747~1799）兄弟迁楼坑。15世孙潘茂贤（1796~1863）迁张村。潘丙文（1801~1832）与兄弟丙之迁外前，16世孙潘丙烨（1711~1846）迁洪坑桥，潘秋兰（1781~1840），潘金余（1788~1835）迁金华岭下朱。潘惠后裔其后尚有迁居余公山，茶弄、小溪、金岭脚、前溪、土鱼坑及丽水大湾，兰溪乡头、建德鲁塘、仙居下陈等地。新中国后有潘君亮（1954？）潘君标（1955~？）等10余人迁居江西德兴花桥村。姓潘村为氏最大的聚居村落，1996年全村1839人，其中潘姓占绝大多数，其次为后村，全村850人，其中仪以潘姓为大多数，南溪1721人，双溪口村2100人其中潘氏为主要姓氏之一。其余各地多属散居，人数不多。
