阜陽歷史悠久，文化底蘊豐厚。在距今8000—6000年前的新石器時代早中期，阜陽境內(nèi)有原始先民活動，留下了臨泉王新莊、阜南臺家寺、太和倪邱、潁東岳家湖等遺址。

相傳夏禹治水成功之后，將天下分為九州，今阜陽屬豫州之地，約公元前2179年，境內(nèi)夔部落形成。武王克殷后，西周分封諸侯，境內(nèi)設(shè)有胡子國（今阜陽城附近）、慎（今潁上縣江口）等諸侯方國。

戰(zhàn)國時期，阜陽的歸屬迭有反復(fù)，曾先后為宋、齊、楚等占據(jù)，后期則屬楚所轄。楚國在此地設(shè)有胡（今阜陽市）、鉅陽（今太和縣原墻東北）、新郪（今太和縣倪邱）、寢丘（今臨泉縣）、慎等5個縣邑。

秦漢時期，阜陽境內(nèi)設(shè)置汝陰（今阜陽市區(qū)）、寢縣（今臨泉縣境內(nèi)）、新陽（今界首市境內(nèi)）3縣，屬陳郡。及至西漢，阜陽屬豫州刺史部汝南郡，境內(nèi)設(shè)鲖陽（今臨泉縣鲖城）、寢、慎、汝陰、富陂（今阜南縣境內(nèi)）、細陽（今太和縣原墻）、新郪、新陽等8縣。東漢承襲西漢舊制，阜陽仍屬豫州刺史部汝南郡，境內(nèi)設(shè)汝陰、鲖陽、固始（由寢縣改立）、富陂、原鹿（今阜南縣阮城）、細陽、宋（由新郪縣改立）、慎、新陽等9縣。

南北朝時期，境內(nèi)成為爭奪拉鋸之地，依次被北魏、南劉宋、南蕭齊、北魏、南梁、北齊、北周所屬，以北魏所屬時間最長。北魏孝昌四年亦即武泰元年（528年），在歷史上首次設(shè)置潁州。

北宋徽宗政和六年（1116年），因曾為神宗趙頊的封地，升為順昌府，治在汝陰縣（今阜陽市內(nèi)），下轄汝陰、泰和、潁上、沈丘四縣。南宋名將劉锜在順昌擊敗金軍，史稱“順昌大捷”。

清雍正十三年（1735年），升潁州直隸州為潁州府，原州地附廓阜陽縣。

1912年，廢州府而留縣，亳州改為亳縣，和渦陽、蒙城、潁上、太和、阜陽共6縣均屬安徽省。1914年，省下增設(shè)道一級行政機構(gòu)，阜陽、潁上、蒙城、太和、渦陽、亳縣6縣屬安徽省淮泗道（道尹駐鳳陽）。1932年，廢道，在阜陽設(shè)置安徽省第七行政督察專員公署，仍轄6縣。1934年，增置臨泉縣，上隸第七行署。1940年，第七行政督察專員公署改稱第三行政督察專員公署，轄縣未變。

抗日戰(zhàn)爭后期，中國共產(chǎn)黨領(lǐng)導(dǎo)的豫皖蘇邊區(qū)抗日民主根據(jù)地建置淮北二行署，其轄地包括亳縣、蒙城、渦陽3縣渦河以北地區(qū)。解放戰(zhàn)爭時期，中國共產(chǎn)黨領(lǐng)導(dǎo)的豫皖蘇邊解放區(qū)建置皖北專員公署第三分署，其轄地包括雪渦縣、渦陽縣、渦亳縣等縣。后期，隨著解放區(qū)的不斷擴大，又相繼建立第四、第六軍分區(qū)。

1948年，阜陽地區(qū)全境解放。1949年3月，中共阜陽地委、阜陽專員公署成立。轄阜陽、蒙城、渦陽、亳縣、太和、臨泉、潁上、鳳臺8個縣委和界首市委、阜南工委（1950年7月改稱阜南縣委）。1996年2月，撤銷阜陽地區(qū)及縣級阜陽市，設(shè)立地級阜陽市，原縣級阜陽市區(qū)域分為潁州、潁東、潁泉3區(qū)，全市轄3區(qū)、亳州市（縣級）和界首市（縣級）2市以及太和、臨泉、阜南、潁上、利辛、蒙城、渦陽7縣；1998年2月，亳州市劃出由安徽省直管；2000年5月設(shè)立地級亳州市，渦陽、蒙城、利辛3縣劃歸亳州市管轄。目前，阜陽市轄潁州、潁東、潁泉3區(qū)，太和、臨泉、阜南、潁上4縣和界首1市。