南朝梁時(shí)，屬難江縣。

明時(shí)，屬南江縣域。

清朝時(shí)，置桃源寺、白頭灘2場(chǎng)，屬崇清鄉(xiāng)。

川陜蘇區(qū)時(shí)期，建村，屬寨坡鄉(xiāng)蘇維埃。

民國(guó)二十四年（1935年），屬第一區(qū)官兩聯(lián)保。

民國(guó)二十九年（1940年），屬官兩鄉(xiāng)。

民國(guó)三十三年（1944年），析置桃源鄉(xiāng)。

民國(guó)三十七年（1948年），設(shè)桃源寺特編鄉(xiāng)，為鄉(xiāng)治所。

1951年6月，置桃源鄉(xiāng)。

1952年1月，桃源鄉(xiāng)析置槐樹(shù)鄉(xiāng)。

1958年9月，槐樹(shù)鄉(xiāng)改為槐樹(shù)公社，屬上兩區(qū)。

1966年12月，桃源更名桃園。

1984年3月，桃園公社改為桃園鄉(xiāng)。

1998年7月，槐樹(shù)、桃園2鄉(xiāng)合并為桃園鎮(zhèn)。

2005年3月，桃園鎮(zhèn)更名光霧山鎮(zhèn)。

2019年12月23日，撤銷寨坡鄉(xiāng)，劃歸光霧山鎮(zhèn)管轄。