秦屬會稽郡婁縣。

梁天監(jiān)六年（507）屬信義郡信義縣，大同二年（536）屬昆山縣。

唐天寶十年（751）昆山縣治移此。

元朝為昆山州治。

清雍正二年（1724）分昆山縣置新陽縣，分屬2縣，為兩縣縣治所在地。

宣統(tǒng)二年（1910），分屬玉山市及巴城、周墅、陸家橋、正義、蓬閬等鄉(xiāng)。

1912年，屬昆山縣。

1929年，境分屬昆山縣第一、第二、第八、第九、第十區(qū)。

1945年，分屬鹿城區(qū)、蓬閬區(qū)、巴城區(qū)、正義區(qū)。

1947年，境分屬玉山鎮(zhèn)及城北、城南，茜步、正義、南星、夏溪等鄉(xiāng)。

1949年5月，屬昆山縣城區(qū)。

1956年9月，為縣屬玉山鎮(zhèn)。

1958年，城北、城南鄉(xiāng)與玉山鎮(zhèn)合并建馬鞍山公社。

1959年6月，撤馬鞍山公社分建玉山鎮(zhèn)。

1986年10月，城南鄉(xiāng)并入玉山鎮(zhèn)。

2000年8月，城北鎮(zhèn)并入玉山鎮(zhèn)。

2003年12月，正儀鎮(zhèn)婁江以南7個村和陸楊鎮(zhèn)西南部（楊林塘以南）3個村并入玉山鎮(zhèn)。

2012年，經(jīng)批準，昆山高新區(qū)與玉山鎮(zhèn)實行“區(qū)鎮(zhèn)合一、以區(qū)為主”管理體制，保留玉山建制鎮(zhèn)。