清代，屬寧古塔副都統(tǒng)管轄。

清光緒二十九年（1903）設置綏芬廳后，屬由義社轄區(qū)。

清宣統(tǒng)元年（1909），改隸東寧廳管轄。

1917年隸屬東寧縣第二區(qū)。

1934年改為第五區(qū)，設老黑山保。

1939年設老黑山村。

1945年設置老黑山區(qū)，1948年10月改為第六區(qū)。

1956年5月，撤區(qū)劃鄉(xiāng)，分設老黑山、太平溝、二道溝3個鄉(xiāng)。

1958年，將3個鄉(xiāng)合并成立老黑山人民公社。

1983年，改為老黑山鄉(xiāng)。

1985年3月7日，改設老黑山鎮(zhèn)。

2001年1月，黃泥河鄉(xiāng)并入老黑山鎮(zhèn)。

名稱沿用至今。