清光緒前，原是葦灘，人煙稀疏。

自左宗棠率軍收復(fù)新疆，始有部分湘軍留駐此地屯墾。

后漸有陜、甘、寧、湖、堿青一帶農(nóng)民相繼來(lái)此，拓荒建村，從事水稻種植。

民國(guó)時(shí)期，劃為乾德縣長(zhǎng)山子鄉(xiāng)。

解放后，1951年成立長(zhǎng)山子區(qū)，轄上梁頭、黑水、二灣、堿梁4個(gè)鄉(xiāng)。

1958年，公社化初期成立了紅旗人民公社。

1964年，公社駐地遷至吉三泉。

1978年更名為長(zhǎng)山子公社。

1984年，根據(jù)昌吉回族自治州人民政府文件《關(guān)于六戶地等七十一個(gè)鄉(xiāng)、民族鄉(xiāng)、鎮(zhèn)名稱的通知》昌州發(fā)（1984）199號(hào)文件建立長(zhǎng)山子鄉(xiāng)。

1994年撤鄉(xiāng)設(shè)鎮(zhèn)，沿用至今。