克山一帶，清代屬布特哈游牧地，清末添設(shè)民官，歸訥河直隸廳管轄。

中華民國成立后，1915年3月18日，于訥河縣屬三站地方設(shè)量克山設(shè)治局，隸屬龍江道管轄，衙暑初設(shè)二克山。

同年8月2日批準(zhǔn)，改設(shè)克山縣，后將縣署移駐三站（亦稱察霍鎮(zhèn).今克山縣城）。

1929年2月，裁撤龍江道，改由省直轄。

11月，將二克山一帶劃出設(shè)置克東設(shè)治局。

東北淪陷后，初隸黑龍江省，1934年12月劃歸龍江省管轄。

1939年6月，劃歸新設(shè)之北安省管轄。

1945年"九三"抗日戰(zhàn)爭勝利后，隸屬黑龍江省管轄。

1954年8月，松江、黑龍江兩省合并后，由省直轄。

1956年3月，劃歸嫩江專區(qū)管轄。

1960年5月至1961年10月，嫩江專區(qū)一度撤銷時，曾歸齊齊哈爾市領(lǐng)導(dǎo)。

1985年1月，嫩江地區(qū)正式撤銷，劃歸齊齊哈爾市領(lǐng)導(dǎo)。

名稱沿用至今。