春秋為魯中都邑地。

戰(zhàn)國齊置平陸邑。

秦屬薛郡。

西漢置東平陸縣。

南朝宋改名平陸縣，又于其西置平原縣，于故中都置樂平縣。

北齊徙平原縣離境，省平陸縣入樂平縣。

隋開皇十六年(596)改樂平為平陸。

唐天寶元年(742)改名中都縣。

金貞元元年(1153)改為汶陽縣。

泰和八年(1208)改汶陽縣為汶上縣。

沿用至今。

明屬兗州府東平州。

清屬兗州府。

1914年屬濟寧道。

1925年屬兗濟道。

1928年屬省。

1936年屬第一行政督察區(qū)。

1939年建立抗日民主政權，先后屬魯西行政區(qū)泰西專區(qū)(1940)、冀魯豫行政區(qū)第二專區(qū)(1941)。

同年9月因形勢惡化，汶上縣抗日民主政府轉移，至1943年2月重建汶上縣抗日民主政府，屬晉冀魯豫第十七專區(qū)；1948年屬魯中南行政區(qū)第七專區(qū)。

1950年屬泰安專區(qū)。

1953年屬濟寧專區(qū)。

1967年屬濟寧地區(qū)。

1983年屬泰安地區(qū)。

1985年屬濟寧市。