從考察有關史跡、史料得知，青山區(qū)境內一直是中華民族生存發(fā)展之地，是漢族和北方游牧民族交融之地。

明朝中期至清朝初期，境內是蒙古族土默特部落建立的大明金國居地。

清朝時期，由蒙古族烏拉特部落占據。

清末民初，從山西、陜西、河北等地陸續(xù)遷徙來大量從事農業(yè)和手工業(yè)生產的移民，他們墾田建屋，逐漸形成公忽洞、狗攔圪缽、鐮片窯子等村落。

中華人民共和國成立后，內蒙古自治區(qū)于1954年廢除旗縣并存、蒙漢分治制度。

今青山區(qū)境蒙古族也劃屬包頭市管轄。

1953年，內蒙古一、二機廠在區(qū)境選址、定點。

1954年，全區(qū)陸續(xù)開始大規(guī)模建設。

1955年，包頭市委、市政府根據工業(yè)建設需要組建新市區(qū)（包括今青山區(qū)、昆都侖區(qū)）工作組，成立新市區(qū)辦事處。

1956年8月，包頭市人民委員會決定撤銷新市區(qū)辦事處，分別成立以內蒙古一機廠、二機廠廠區(qū)和住宅區(qū)為主的青山區(qū)和以包鋼廠區(qū)和住宅區(qū)為主的昆都侖區(qū)。

在其未完成選舉以前，先成立包頭市人民委員會青山區(qū)辦事處、包頭市人民委員會昆都侖區(qū)辦事處。

1956年8月18日，新市區(qū)辦事處正式結束，青山區(qū)辦事處正式成立。

1956年11月，召開青山區(qū)人民代表大會，選舉產生青山區(qū)領導班子，正式成立縣級青山區(qū)人民委員會（后相繼改稱青山區(qū)革命委員會、人民政府），隸屬于包頭市。

2005年1月，青山區(qū)黨政大樓遷至建設路189號。

其后，其隸屬關系未發(fā)生變化。