唐天宝六年（公元747年），唐明皇李隆基赦令，改徽州黟山为黄山、改福建仙游山为霍童山，改巢湖东南岸的道人山为巢山，缘于上古圣贤巢父在此隐居。

《韩非子·五矗》记述：“上古之世，人民少而禽兽众，人民不胜禽兽虫蛇，有圣人作，构木为巢以避群害，而民悦之，使王天下，号曰‘有巢氏’。”有巢氏是传说远古发明巢居的人，这一传说反映了我国原始时代由穴居而进入巢居的情况。有巢氏既是有巢氏个人的称号，也是有巢氏及其子孙的氏族部落称号。据考证，有巢氏的聚落中心即在现今巢湖流域。

有巢氏部落的首领皆被尊称为“巢父”。他隐居之地，即后来被唐明皇赦封的巢山。

巢山有史可记的最初名字是墨山。

康熙、雍正年间的《巢县志》均记，巢山又称居巢山。“居巢山：在添保乡，县南八十里，原名道人山，又名墨山，其溪谷有石，研之如墨。”

走进巢山，展现在我们面前的这座山实是寻常。它既没有黄山的险奇雄峻云遮雾绕，也没有霍童山的山峦叠嶂幽岩邃壑，不过是凸起在巢湖东南岸平原地带，呈东高西低走势的一个岗原，但风韵独特，“相山风物似斜川，岑寂那知市井喧。岁旱但伤禾穗槁，秋饥犹喜栗皱繁。”宋代王之道隐居之时写下的此首诗，不但真实地描述了巢山的“斜川”地貌以及远离市井的“岑寂”，还向我们展示其山下有田可植、山中栗树成林的景况。