“衢山”之名始于清末，與朐山并用。
1923年《定海縣志》“定�？h總圖”“列島分圖五”載為“衢山”，1923年《定海縣志》冊一載為“朐山”：“在岱山東北二十五里許，長三十里，寬十里，居民三千余戶......亦稱衢山�！鼻骞饩w《定海廳志》卷十四：“國朝蓬萊鄉(xiāng)……光緒六年（1880）新增衢山�！�1923年《定�？h志》冊一：“（蓬萊鄉(xiāng)）初并五都為三都，分十六隩，后改五莊……光緒間增朐山，共六莊�！鼻逍y(tǒng)二年（1910）設朐山鄉(xiāng)（含今屬嵊泗縣的大洋山）。
1919年設衢山鄉(xiāng)，1945年設衢山區(qū)，轄衢一、衢二、長涂、黃龍、大羊5鄉(xiāng)，均屬定�？h。
1949年屬滃洲縣，分設島斗、乍門2鄉(xiāng)。
1953年改屬岱山縣。
1958年改設衢山人民公社。
1961年分島斗、太平、桂花、四平、萬良、鼠浪5個人民公社，屬岱山縣衢山區(qū)。
1962年以衢山區(qū)與嵊泗縣的大小洋山、灘滸、徐公等島合建大衢縣。
1964年撤縣復設衢山區(qū)，屬定�？h。
1983年島斗人民公社改為鎮(zhèn)。
1984年太平、桂花等4人民公社改為鄉(xiāng)。
1992年撤區(qū)，太平、桂花2鄉(xiāng)并入島斗鎮(zhèn)，鼠浪鄉(xiāng)并入萬良鄉(xiāng)。
2001年島斗鎮(zhèn)和四平鄉(xiāng)、萬良鄉(xiāng)合置衢山鎮(zhèn)，形成現(xiàn)今之政區(qū)范圍。