魏晋时期，政治形势总的特点是:分裂而不统一，动荡而不稳定。隋统一后，针对前一时期的积弊，进行了多方面的改革:
第一，建立三省的中枢管理体制。
在整个官制系统上，废除模仿《周礼》所置的六官体制，实行秦汉魏晋以来的传统官制。这就是《·百官志下》所说的:“高祖既受命，改周之六官，其所制名，多依前代之法。”在中央机构，废除丞相(相国)这一特殊官职，三师、三公虽置但不得开府辟僚属，也无实权。把中央的政务，集中于的秘书班子—三省。尚书省下属的列曹，统一厘定为六部。把集书省并入门下省，又将门下省管理皇室生活的事务划归新成立的殿内省，使门下省真正成为高级政务机构。内史省(即)废掉内史监一职，保留内史令。以尚书省的令、仆射，门下省的纳言，内史省的令为宰相，但有时又以三省长官以外的、黄门侍郎、御史大夫等加上“参掌朝政”、“参掌机密”等头衔为宰相之职。这些做法的主要目的，是把朝政实权集中于皇帝之手。
第二，建立十二卫府兵管理系统。中央不置都督中外诸军事和中领军、仁护军等高级武官。开皇中，置十二卫，统领禁卫兵。后改置为十六卫，以其中的十二卫分领全国府兵。十二卫各置大将军一人，将军二人。这时的大将军，不是最高统帅之职，仅有管理、训练之权。战时经皇帝任命方可统率临时征调来的府兵出征。
第三，裁并地方机构，实行州、县两级制。魏晋以夹。地方机构的设置既滥又多。开皇三年，采纳河南道行台杨尚希的建议，废掉郡一级，存州、县两级。《隋书·杨尚希传》说:“‘当今郡县，倍多于古，或地无百里，数县并置，或户不满千，二郡分领。具僚以众，资费日多，吏卒人倍，租调岁减。清干良才，百分无一，动须数万，如何可觅?所谓民少官多，十军九枚。……今存要去闲，并小为大，国家则不亏粟帛，选举则易得贤才，……’。帝览而嘉之，于是遂罢天下诸郡。”炀帝时，又曾改州为郡。从隋代起，州、郡变为同级机构的不同名称。
第四，废除高级长官自辟僚属的制度，官吏的任命权皆集于中央。《通典·选举典》说:“当时之制，尚书举其大者，侍郎栓其小者，则六品以下官吏，咸吏部所掌。自是，海内一命以上之官，州郡无复辟署矣。”隋代自九品至一品官，称为流内，不入九品的称为流外。京师官署吏员，多以流外官充任。
第五，废除九品中正制，实行科举考试制度。《通典·选举典》说:“隋氏罢中正，举选不本乡曲，故里阁无豪族，井邑无，衣冠，人不土著，萃处京哉。”《唐会要·制科举》又说:“场帝嗣兴，又变前法，置进士等科。”这里的进士科，是考试科目，而非察举科目。
第六，加强对官吏的管理、监督。对贪官污吏惩办很严。他常常派出亲信侦察内外百官，甚至秘密使人给官吏送贿赂，若被接受，立即处死。开皇十七年，诏令长官对犯有过失的属吏，可以杖罚。其诏日:“分职设官，共理时务，班位高下，各有等差。若所在官人不相敬惮，多自宽纵，事难克举。……其诸司论属官，若有愆犯，听于律外斟酌决仗。“