臨武古屬楚地，戰(zhàn)國時期設臨武邑。

漢高祖五年（前202），置臨武縣。

新莽始建國元年（9），改名大武。

東漢建武元年（25），復稱臨武。

隋開皇九年（589），南平并入臨武。

五代后晉天福四年（939），臨武并入桂陽監(jiān)，南宋紹興十一年（1141），復置臨武縣。

明崇禎十二年（1639），劃臨武及桂陽各一部分，新設嘉禾縣。

1949年，臨武解放，屬郴縣專署。

1952年11月，撤郴縣專署，設湘南行政公署，臨武屬湘南行署。

1954年7月，湘南行署撤銷，臨武復歸郴縣專署管轄。

1961年7月，臨武縣恢復建制，隸屬郴州行署。

1994年12月17日，設立郴州市，臨武隸屬關系不變。