臨武古屬楚地,戰(zhàn)國時期設臨武邑。
漢高祖五年(前202),置臨武縣。
新莽始建國元年(9),改名大武。
東漢建武元年(25),復稱臨武。
隋開皇九年(589),南平并入臨武。
五代后晉天福四年(939),臨武并入桂陽監(jiān),南宋紹興十一年(1141),復置臨武縣。
明崇禎十二年(1639),劃臨武及桂陽各一部分,新設嘉禾縣。
1949年,臨武解放,屬郴縣專署。
1952年11月,撤郴縣專署,設湘南行政公署,臨武屬湘南行署。
1954年7月,湘南行署撤銷,臨武復歸郴縣專署管轄。
1961年7月,臨武縣恢復建制,隸屬郴州行署。
1994年12月17日,設立郴州市,臨武隸屬關系不變。