夏時，境內設任國，也稱“仍國”。商時，境內除任國外，還有奄、厥、卞明等封國。其中，奄曾為商王南庚的都城。

盤庚遷都于殷后，奄為商屬國。西周時，境內有任、厥、邾、極、茅、魯國。其中，魯乃為周武王滅商后，封其弟周公旦于奄的封國。

東周時，境內的任國，春秋時屬魯，戰國時屬宋又屬齊。魯國于公元前249年為楚所滅。此時，境內的封國還有茅、極、鄒、方與、胡陵等。

秦時，廢任國，置任城縣、亢父縣，屬薛郡。境內還設有魯郡。西漢時，文帝前元元年（公元前179年）境內置任城郡，景帝中元六年（前144年）改為濟東國。

武帝元鼎元年（前116年）為大河郡。宣帝甘露二年（前52年）改為東平國。東漢時，境內仍置東平國。

章帝元和元年（公元84年），析東平國置任城國。此外，還有魯國。三國時，魏文帝黃初四年（223年），任城國改為任城郡。

境內還置有山陽郡、魯郡。西晉時，境內置南平陽侯國。晉武帝咸寧三年（277年），又復為任城國。

此外，境內還置有高平國、魯國。東晉時，境內先后為后趙、前燕、前秦、后燕所據，曾置有任城郡、魯郡、高平郡。南北朝時，境內仍置高平郡。

宋永初元年（420年），任城并入亢父縣，屬高平郡。北魏神龜元年（518年），復置任城郡。隋時，境內先后置有高平郡、魯郡。

唐時，境內設魯郡，后又改為濟州、又為濟陽郡、泰寧軍。宋時，境內仍置濟陽郡、濟州。宋徽宗政和八年（1118年），境內的兗州升襲慶府。

金時，天德二年（1150年），原以巨野為治所的濟州遷往境內的任城。

濟寧風光(12張)元時，至元八年（1271年），境內的濟州升濟寧府。至元十六年（1279年）境內設濟寧路，置總管府，領3州7縣（州又領9縣）。明時，洪武元年（1368年），改濟寧路為府，仍治任城，領3州12縣。

洪武十八年（1385年），又改府為州，只領3縣。同時，升兗州為府，駐滋陽，領27州縣。清時，雍正二年（1724年），濟寧州升為直隸州，領3縣。

雍正八年（1730年）改為散州，不領縣。乾隆四十一年（1776年），又升為直隸州，仍領3縣。境內的兗州府，轄10縣；它和濟寧直隸州同屬于駐濟寧的“兗沂曹濟道”。

中華民國時，1912年改濟寧直隸州為濟寧縣。1913年1月，境內設岱南道。1914年6月，改為濟寧道，轄25縣。

1933年，境內改設山東省第一行政督察專員公署，轄11縣。1935年7月，又改為濟寧實驗區長官公署，轄14縣。1935年冬，再改為山東省第一區行政督察專員公署，轄10縣。

1938年3月，日軍侵占濟寧，在境內設偽魯西道，轄32縣。1940年7月，又改為偽兗濟道，轄12縣。這期間，國民黨山東“流亡政府”在境內設第二行政督察區，轄7縣，直至1942年。

而中國共產黨領導的抗日民主政權，則于1941年在境內設山東省第一行政主任公署。1944年，更名為魯南第一行政專員公署。抗戰勝利后，1945年9月，國民黨政府在境內設魯西辦事處（即第三辦事處），轄16縣。

1946年1月，中國共產黨領導的人民軍隊解放濟寧縣城，遂更名為濟寧市，3月升格為專區級市，直屬冀魯豫區。同年9月，濟寧市被國民黨軍隊短期占領，并設山東省第二行政督察專員公署兼保安司令部，轄7縣。1947年3月，又更名為第二行政督察區公署，仍轄7縣。

1948年7月，濟寧市再獲解放，改屬魯中南區。中華人民共和國建立后，1950年5月，濟寧市降為縣級市，改屬滕縣專區。1953年，滕縣專署和湖西專署合并為濟寧專員公署，并進駐濟寧市。

1954年10月，濟寧市曾改為省轄市，由濟寧專署督導。但不久，又改為縣級市，仍為專署駐地。1967年，濟寧專區改稱為濟寧地區。

1983年8月30日，經國務院批準，撤銷濟寧地區，濟寧市升格為省轄地級市。