1949年解放初期，隸屬冷集區(qū)小墨山鄉(xiāng)。

1956年高級農業(yè)生產合作社時期以美好愿望命名為光明社隸屬縣轄雙橋鄉(xiāng)。

1958年人民公社時期更名為光明大隊，隸屬東風人民公社雙橋管理區(qū)。

1961年恢復區(qū)制，隸屬冷集區(qū)雙橋公社。

1975年撤區(qū)并社，隸屬冷集人民公社。

1981年根據縣政府第27號文件以當地地名命名為小墨山大隊，并分出吳家溝大隊。

1984年更名為小墨山村隸屬冷集區(qū)雙陽橋鄉(xiāng)。

1987年撤區(qū)建鎮(zhèn)，隸屬冷集鎮(zhèn)。

2002年吳家溝村合并到小墨山村至今。