昔時名南溪。村被洪水沖沒后，在黃土山南麓重建，改名黃南。

附近山源盛產(chǎn)油茶籽，油茶樹排列成行，民國版《松陽縣志》卷一稱茶排。