隋開皇十八年（598）始設南賓縣，縣治南賓寨（今舊州鎮(zhèn)），屬欽州。

唐貞觀十年（636），縣治移至峰子嶺南（今靈城鎮(zhèn)棠犁村）。

唐貞元十年（794），南賓縣改名靈山縣。

宋、元、明、清朝屬欽（廉）州府，隸廣東。

民國時期（1912～1949）先后屬廣東省欽廉道、廣東省欽廉綏靖區(qū)、廣東省南路綏靖區(qū)、廣東省第八行政區(qū)。

1949年12月1日屬廣東南路專區(qū)。

1950年8月30日屬廣東欽廉專區(qū)。

1952年3月28日屬廣西欽州專區(qū)。

1955年7月1日屬廣東欽州專區(qū)。

1965年6月26日屬廣西欽州專區(qū)。

1971年屬廣西欽州地區(qū)。

1994年6月28日屬廣西欽州市。