忽必烈就蒙古汗国长年所积弊政，在“祖述变通”的思想指导下，也着手进行政治变革。

改元立号，健全法度纪纲。成吉思汗建国，以部族名称为国号，即蒙古汗国。从铁木真到蒙哥，五代大汗均无年号，而以生相为纪年，如龙儿年、兔儿年等，有诸多不便。公元1260年农历三月，忽必烈称汗。在汉臣郝经等建议下，五月，建元“中统”，结束了蒙古汗无年号的历史。中统五年(公元1264年)八月，下诏改当年为“至元”元年。至元八年(公元1271年)十一月，忽必烈取《易经》“大哉乾元”之意，颁诏改国号为“大元”。

蒙古汗国创始以来，因各种制度不全备，弊端愈发明显。导致“法度废则纲纪亡，官制废则政事亡，都邑废则宫室亡，学校废则人才亡，廉耻废则风俗亡，纪律废则军政亡，守令废则民政亡，财赋废则国用亡。天下之器虽存，而其实则无有”(《郝文忠公文集》卷三十二)。这时，一些汉臣如姚枢、李治等直谏，请求立法度，正纲纪。具体措施为“立省部”，“使庶政出一”；“定法律，审刑狱”；“设监司，明黜陟”等。忽必烈都一一采纳，“动则见询”。令刘秉忠、许衡酌古今之宜，定内外之官。官署为中书省总政务，枢密院掌兵柄，御史台司黜陟，其庶务由寺、监、卫、府等分担；在外有行省、行台、宣慰司、廉访司，其治民者有路、府、州、县，长官由蒙古人充当，汉人、南人为卿贰。于是，“一代之制始备”。

忽必烈为了加快对汉地统治的改善，不时地将自己的统治中心南移。公元1256年，他令刘秉忠在桓州东、滦水北，建城郭于龙冈，名曰开平(今内蒙古多伦)，后称汗于此地。至元四年(公元1267年)，又命刘秉忠在金中都建筑宗庙宫室。于是，忽必烈定国都名为大都(今北京)，又称汗八里(蒙古语意为汗的城)。从此，大都成为全国政治、经济、文化的中心。

除世侯，削弱蒙古王公贵族的势力。蒙古统治者进入中原，仍袭祖制，分封诸王、功臣，划分一区为其领有，叫作“分地”，又称“食邑”，或曰“投下”，再分拨一定数量的百姓。这些私有领地子孙世袭，百姓为其私属民户。“自一社一民，各有所主，不相统属”(《中书令耶律公神道碑》)。诸王世侯“既有土地人民，凡事干其城者，各遣断事官自司”(《平章政事忙兀公神道碑》)。他们不仅自设官吏，私断刑狱，还征敛赋税，俨然是个独立王国。对中央集权统治十分不利。忽必烈采用了刘秉忠、宋子贞的建策，一方面，下令规定诸王不准自置官吏，不得私用刑法断案，亦不许擅自征收赋税，一切事务由朝廷处置。另一方面，将分封领地制度改为赐田。分地变赐田，即使蒙古王公贵族失去原有特权，成为只享租税的一般大地主。有利于加强中央对封地的管辖。过去五户征丝一斤，亦称作“五户丝”，分地征收权也归朝廷所有。这样就有力地抑制了诸王势力膨胀。

击豪强，解除汉族等军阀兵权和大地主武装。在灭金时，一批金朝的汉族、契丹、女真的将领归降了蒙古汗国，他们帮助蒙古贵族南征西战，立下汗马功劳。这批将领都拥有强大的武装力量，称雄一方，如大兴的史家，史天泽在真定，拥有河东、河北之兵；易州的张家，张柔在满城，将领燕南之兵；还有真定的董家，董俊、董文用；泰安的严家，严实、严宗济；济南的李家，李全、李璮〔tan坦〕等。他们“皆因其旧而命官”，如授史天泽为真定、大名、河间、济南、东平五路万户、河南经略使，授严实为金紫光禄大夫、行尚书省事；另外还授予他人为万户、元帅、副元帅、总帅等职衔，并依照官阶的高低领取数额不等的份地，世袭官职，形成割据势力，对中央政权构成了严重威胁。李全、李璮父子“专制山东者三十余年”，成为山东的一大军阀，朝廷数次征调其兵，“辄诡辞不至”。中统三年(公元1263年)，李璮据济南发动叛乱，又联合南宋，“一时间山东不复为元有”。忽必烈立即派史天泽将兵分几路进讨，围攻济南，城破，李璮被迫自杀，叛乱遂平。忽必烈鉴于李璮反叛的教训及各地汉将权势太重，决定解除汉将的武装，由朝廷统掌兵权。史天泽颇能理会蒙古主子的意图，上疏称：“兵民之权，不可并于一门。行之，请自臣家始。”忽必烈当即谕允。“史氏子侄即日解兵将者十七人”(《元史·史天泽传》)。易州张家、泰安严家等均照此办理。消除地方割据势力使元朝统治更加稳固。

罢去州县官世袭，实行选官制。自元太祖、太宗用兵沙漠，得一地即封一人，使之世守，其以所属来降者，亦即官其人，使之世袭。易地中原，亦行此法，所以元官多世袭。如石天禄为征行千户，死后，其子兴祖袭职。刘敏为郎中，年老，宪宗蒙哥令其子世享袭其职。时间久了，郡县官吏世袭专擅，吏治衰败。大臣廉希宪奏称：“国家自开创以来，凡纳土及始命之臣，皆令世守，至今将六十年，子孙皆奴视其部下，郡邑长吏，皆其僮仆，此前古所无。”宋子贞亦疏言：“州县官相传以世，非法赋敛，民不堪命。”姚枢上疏云：“当今慎铨选，则不专世爵而人才出。”于是，忽必烈令议行迁转法。至元二年(公元1265年)，忽必烈下诏“罢州县官世袭”。四年(公元1267年)，又“罢世侯，置牧守”(参阅《廿二史札记》卷三十《元初州县官多世袭》)。他先在原封地祁州、河南、陕西试点，设置安抚、经略、宣抚三司，选人居职，“始有吏治”。

广开言路，“政贵得人”。针对吏治不清，刘秉忠等人多次向忽必烈进谏：“君子以言废人，不以人废言，大开言路，所以成天下，安兆民也。”忽必烈“嘉纳之”。李治等也屡次上疏建言：“政贵得人，不贵官多。”这些建议都为忽必烈所采纳并付诸实施，裁汰冗官冗员，减并路、府、州、县官署。选官得人，“贤俊萃于一堂”，提高了行政办事效率。忽必烈汲取汉臣谋士良策，思想更加开阔，留意治道。他喜当唐太宗，让学士将《贞观政要》译成蒙古文批览，四处求访“如魏征者”。上述史实可见，忽必烈“固属开国英主”。