元末明初，此地有玉皇、關(guān)帝廟兩座大廟，人們來(lái)此燒香求福者絡(luò)繹不絕。明洪武年間，先祖由山西洪洞縣遷此建村定居，取村名“雙廟”，亦稱“關(guān)爺廟”。

明成化年間，李姓兄弟三人，自山西省洪洞縣遷居此地，以造紙為主，取村名為紙房。后因村南潴龍河畔建寺院一座，將村名改為臨河寺。此后李姓為紀(jì)念其祖先，又復(fù)村名紙房。