宋時甘霖鎮(zhèn)屬桃源鄉(xiāng)。

清康熙時稱兩頭門鎮(zhèn)。

宣統(tǒng)三年（1911）實行地方自治制，甘霖與蒼巖合稱為霖蒼鎮(zhèn)。

民國元年，霖蒼鎮(zhèn)下轄桃源、白鶴、方升、平義四區(qū)，甘霖屬桃源鄉(xiāng)。

1946年甘霖從桃源鄉(xiāng)分出為甘霖鎮(zhèn)。

1956年以甘霖吳家田村建制甘霖鎮(zhèn)，1958年為甘霖人民公社桃源管理區(qū)；1961年為桃源人民公社；1981年1月經(jīng)省人民政府批準(zhǔn)設(shè)建制鎮(zhèn)，1992年撤區(qū)擴鎮(zhèn)并鄉(xiāng)，原剡北普義，蛟鎮(zhèn)鄉(xiāng)并入甘霖鎮(zhèn)。

2001年12月原博濟、蒼巖與甘霖合并為甘霖鎮(zhèn)。