南朝梁時，屬難江縣。

明時，屬南江縣域。

清朝時，置桃源寺、白頭灘2場，屬崇清鄉(xiāng)。

川陜蘇區(qū)時期，建村，屬寨坡鄉(xiāng)蘇維埃。

民國二十四年（1935年），屬第一區(qū)官兩聯(lián)保。

民國二十九年（1940年），屬官兩鄉(xiāng)。

民國三十三年（1944年），析置桃源鄉(xiāng)。

民國三十七年（1948年），設桃源寺特編鄉(xiāng)，為鄉(xiāng)治所。

1951年6月，置桃源鄉(xiāng)。

1952年1月，桃源鄉(xiāng)析置槐樹鄉(xiāng)。

1958年9月，槐樹鄉(xiāng)改為槐樹公社，屬上兩區(qū)。

1966年12月，桃源更名桃園。

1984年3月，桃園公社改為桃園鄉(xiāng)。

1998年7月，槐樹、桃園2鄉(xiāng)合并為桃園鎮(zhèn)。

2005年3月，桃園鎮(zhèn)更名光霧山鎮(zhèn)。

2019年12月23日，撤銷寨坡鄉(xiāng)，劃歸光霧山鎮(zhèn)管轄。