清光緒二十九年（1903），中東鐵路建成通車，于此設(shè)山市站。

1913年，隸屬寧安縣自新鄉(xiāng)管轄。

1933年屬第五區(qū)，為山市保。

1939年改設(shè)山市村。

1946年8月劃歸新海縣，隸屬山市區(qū)。

1948年8月，新海、五林兩縣合并為海林縣后，仍隸山市區(qū)，1949年10月改稱第八區(qū)。

1956年3月撤銷海林縣，劃歸寧安縣，同年5月設(shè)置山市中心鄉(xiāng)。

1958年1月改稱山市鄉(xiāng)。

1958年9月，并入橫道河子人民公社。

1962年10月，劃歸新恢復(fù)的海林縣管轄。

1964年5月，從橫道河子公社劃出，成立山市人民公社。

1984年4月，撤銷山市公社改設(shè)山市鎮(zhèn)。

名稱沿用至今。