西漢屬郁秩縣；東漢屬膠東侯國；三國魏屬膠東縣；北魏皇興四年（470）屬長廣縣；隋仁壽元年（601）屬膠水縣；明洪武二十二年（1389）屬平度州；清屬李仙鄉(xiāng)徐里、龍山社和云山鄉(xiāng)及司家莊、王漢莊、曲村、梁莊社、尹府社；1928年屬平度縣舊店區(qū)；1931年屬第三區(qū)；1940年9月屬平度縣抗日民主政府第三區(qū)；1941年9月屬平北縣第三、第九區(qū)；1945年1月屬大田、龍山、舊店、兩目區(qū)；1950年5月屬平度縣大田、龍山、舊店、兩目區(qū)；1953年8月屬第七、第十一、第八、第九區(qū)；1956年2月屬崮山、舊店、兩目區(qū)；1958年2月屬大田、徐里、舊店、兩目、孟格莊鄉(xiāng)，同年9月屬崮山、大田、舊店、兩目公社；1976年1月析置龍山、石橋公社；1984年2月舊店由社改鎮(zhèn)。

1994年12月將石橋鄉(xiāng)北部21村并入舊店鎮(zhèn)，將石橋鄉(xiāng)南部10個(gè)村和兩目鄉(xiāng)組建祝溝鎮(zhèn)，將大田、龍山鄉(xiāng)合并組建大田鎮(zhèn)；2012年12月將大田、祝溝鎮(zhèn)并入舊店鎮(zhèn)。

清時(shí)屬平度州云山鄉(xiāng)流河社、宋家莊社、石碣社、曲埠社、尹福四社和李仙鄉(xiāng)李仙莊社和金錢鄉(xiāng)麻蘭社。

1931年屬平度縣第二區(qū)宋格莊鄉(xiāng)、曲哥莊鄉(xiāng)和第三區(qū)丈嶺鄉(xiāng)、黃洼鄉(xiāng)、小河子鄉(xiāng)、辛莊鄉(xiāng)、王格莊鄉(xiāng)、時(shí)格莊鄉(xiāng)、溫家鄉(xiāng)、宋格莊鎮(zhèn)、郭家寨鎮(zhèn)、祝溝鎮(zhèn)、鐵嶺莊鎮(zhèn)、酒館鎮(zhèn)。

1935年，屬平度縣第二區(qū)麻蘭鎮(zhèn)、蓬萊鄉(xiāng)和第三區(qū)崔召鎮(zhèn)、祝溝鎮(zhèn)、宋格莊鎮(zhèn)、辛莊鄉(xiāng)。

1941年9月平度分三縣時(shí)，云山屬平北縣第二區(qū)麻蘭鎮(zhèn)、蓬萊鄉(xiāng)和第三區(qū)崔召鎮(zhèn)、祝溝鎮(zhèn)、宋格莊鎮(zhèn)、辛莊鄉(xiāng)。

1945年1月平度分四縣時(shí)，屬平度縣云山區(qū)、洪山區(qū)。

1950年5月為平度縣云山區(qū)、平東縣洪山區(qū)和平東縣峰山區(qū)轄。

1953年8月平東縣并入平度縣后為平度縣第十區(qū)。

1956年2月蓼蘭縣并入平度縣屬平度縣兩目、崮山、麻蘭、古峴四區(qū)轄地。

1958年2月初撤區(qū)建鄉(xiāng)后屬云山、崮山、鐵嶺莊鄉(xiāng)轄。

1958年9月成立云山公社，轄40大隊(duì)。

1976年全縣區(qū)劃調(diào)整時(shí)將釣魚臺(tái)、大里、小里、泉北村等14個(gè)大隊(duì)劃入洪山公社，云山公社轄40個(gè)大隊(duì)。

1984年2月撤社建云山鄉(xiāng)轄區(qū)未動(dòng)。

1989年平度撤縣設(shè)市后為平度市云山鄉(xiāng)。

1991年由云山鄉(xiāng)改制云山鎮(zhèn)。

1994年12月全市區(qū)劃調(diào)整，將洪山鄉(xiāng)整建制的并入云山鎮(zhèn)。