革旧鼎新
洪武初年，官僚机构基本上沿袭元代。在实践中，朱元璋渐渐感到其中的弊端，于是毅然借鉴历史上成败治乱的经验教训，大刀阔斧地进行整顿、改革。
朱元璋对国家的机构改革首先是从地方上开始的。元朝行中书省，总管一方的军政、民政、财政和司法等大权，权力很大。洪武九年（1376），朱元璋宣布废除行中书省，分设承宣布政使司、都指挥使司和提刑按察使司，分别担负行中书省的职责，这三个机构既各自独立，又互相牵制，这就防止了地方势力过重而闹独立的可能。
朱元璋在废除行中书省的当年，设立了浙江、江西、福建、北平、广西、四川、山东、广东、河南、陕西、湖广、山西十二个布政使司。洪武十五年（1382），又增加了云南布政使司，一共十三个。布政使司之下设府（州）县。
接着，又进行朝廷机构的改革。明初中书省总揽天下政务，在朝廷各个机构中位置最高，其行政长官左、右丞相，负有统率百官之责，位崇权重，极易与皇帝产生矛盾。洪武初年，朱元璋以李善长、徐达为左、右丞相。李善长为人处事向来以小心谨慎著称，徐达则较多时间是带兵征战在外，他们都没有与朱元璋发生大的矛盾冲突。但胡惟庸任相之后，事情就发生了变化，君权与相权的矛盾与日俱增。
胡惟庸是凤阳定远人，淮西集团重要人物之一。洪武六年（1373），由于李善长的极力推荐，胡惟庸由右丞相升左丞相。胡惟庸专权用事，“生杀黜陟，或不奏径行。内外诸司上封事，必先取阅，害己者，辄匿不以闻。四方躁进之徒及功臣武夫失职者，争走其门，馈遗金帛、名马、玩好，不可胜数。”皇权与相权的矛盾达到顶峰。朱元璋见大权旁落，自然不能容忍。洪武十三年（1380）朱元璋以“擅权植党”罪名诛杀了胡惟庸，趁机取消了中书省，废除丞相等官。朝廷政务由六部分理，提高六部的品秩，各部尚书直接听命于皇帝。丞相制的废除，宣布了中国一千多年宰相制度的终结，也使朱元璋成了历史上权力最大的皇帝。
同年，朱元璋也废除统管全国军事的大都督府，分中、左、右、前、后五军都督府，每府设左右都督二名，分别管理京师及各地卫所和都指挥使司。都督府的职权与兵部有明确的分工。兵部有颁发军令、铨选军官的权力，但不能直接统率军队。都督府负责军队的管理和训练，但无权调遣军队。每逢战事，由皇帝亲自任命军事统帅，兵部发布调遣令，都督府长官奉命出征。战事结束，军归卫所，主帅还印，这样二者互相制约，军权集于皇帝一身。
在军队的编制和训练上，朱元璋和刘基研究了历代兵制，创立了明代所特有的卫所制度。这种制度特点是：军籍世代沿袭，实行耕战结合，平时既屯耕，也训练。卫所制分卫、所两级，在全国军事重地设卫，次要的地方设所。大体五千六百人为一卫，长官为指挥使。每卫下面分五个千户所，每千户所辖一千一百二十人，长官称千户。千户下分为十个百户所，百户所辖一百一十二人，长官称为百户。百户下有总旗二，小旗十，每总旗领五小旗，每小旗十个军士，大小相连，比比成军。洪武二十六年（1393）全国共设有十七个都指挥使，下辖三百二十九个卫，六十五个守御千户所，军队一百二十万人，其精锐留驻在京师南京一带。十七个都指挥使分别隶于朝廷的五个都督府，这样使权力分散，便于皇帝控制。
洪武十五年（1382），朱元璋又对朝廷监察机构进行了改革。将御史台改为都察院，设左、右都御史。“都御史职专纠劾百司，辨明冤枉，提督各道，为天子耳目风纪之司。”其下有十三道监察御史，以一布政司为一道，共设御史一百一十人。监察御史负责监视、纠劾百官。出使到地方，则巡按、清军、巡盐、巡漕、巡关、提督学校等，其中巡按御史代替皇帝巡视，“大事奏裁，小事立断”，权力很大。这些御史官秩只有七品，但却可以以小制大。与都察院职责相似的，还有监督六部的六科给事中，称谏官，与都察院互相配合。
经过一番整顿，朱元璋的权力大大加强了，但政务也随之繁多起来。过去有丞相协助，现在全国大小政务都要他亲自处理，即使他“昧爽临朝，日晏忘餐”，整天批答奏章，也难以承担。洪武十三年（1380）九月，朱元璋设置四辅官，位列公侯、都督之次，协赞政事，但因不胜其职，不久相继致仕。洪武十五年（1382）朱元璋仿宋朝设殿阁大学士的办法，设置了华盖殿、文华殿、武英殿、文渊阁、东阁大学士，由品级比较低的编修、检讨、讲读等官来充任，帮助朱元璋阅读奏章，起草处理文书，这是明代内阁的肇端。
整肃吏治
朱元璋即位后，“惩元季吏治纵弛”，决心创立一个清正廉洁的朝廷。为此，他详定了官员考课办法，凡内外官员，根据他们的品秩，分别规定考察时间和内容，由吏部“综其称职、平常、不称职而陟黜之”。约束官员很为严格。同时，朱元璋还用严刑峻法来整顿吏治。他常说：“纪纲法度，为治之本。”因此他十分重视法律的制定。
吴元年（1367），在朱元璋的授意下，左丞相李善长任总裁官，开始了法律的制定工作。是年底初步编成，“凡为令一百四十五条，律二百八十五条”。但朱元璋觉得所定律令还不够完善，又下令修改，直到洪武三十年（1397），几经修改，才正式颁布了《大明律》。《大明律》共三十卷，分吏、户、礼、兵、刑、工六部。它以唐律为蓝本，但简于唐律，严于宋律。律文包括各项法律章程，其中对各级官吏的职权、任务以及应遵守的事项，都作出了详细规定，对官吏违法乱纪行为，也定出了具体惩处办法。
对官吏的贪污，处罚特别重。朱元璋认为：“吏治之弊，莫过于贪墨”，“此弊不革，欲成善政，终不可得”。他下令“凡是官吏贪污蠹害百姓的，都要治罪，不容宽贷！”官吏因枉法而贪赃的，一概发往北方边地充军，官吏贪污钱财六十两以上的，处以枭首示众、剥皮实草之刑。朱元璋把府、州、县衙门左面的土地庙，作为剥人皮的场所，叫做“皮场庙”。贪官被押到这里，剥下人皮，塞上稻草，再摆到衙门公座两旁，使官吏触目惊心，知所警惕。就连官吏因公乘坐官家的牲口、车船，携带私人物品超过规定重量的，也要处刑。如乘坐官府牲口，除随身衣物外，携带私物不得超过十斤，每超过五斤笞十杖，十斤罪加一等，最高杖六十；如果乘坐官家的船，携带私物超过三十斤的，每十斤笞十杖，每二十斤罪加一等，最重杖七十。
洪武十八年（1385），朱元璋颁布了《大诰》，以后又陆续颁布《大诰续编》、《大诰三编》、《大诰武臣》，汇集所诛杀官民的罪状，以警示臣民。朱元璋在《御制大诰序》中说道：“今将害民事理，昭示天下诸司，敢有不务公而务私，在外赃贪，酷虐吾民者，穷其原而搜罪之。”并令后代世世遵从。
明律的制定和实施，在洪武年间得到了认真的贯彻，即使朱元璋自己，也对制定的明律满怀信心，带头执行，执法相当严厉，这在中国古代封建皇帝中是少有的。他的女婿驸马都尉欧阳伦，是马皇后亲生女儿安庆公主的丈夫，因为贩运私茶触犯刑律，即被朱元璋赐死。开国功臣汤和的姑父“隐常州田，不输税”，也被朱元璋治罪。
朱元璋整顿吏治收到一定的效果，据《明史·循吏传》记载，“一时守令畏法”，“吏治焕然丕变矣！”然而在整个洪武年间，对违法乱纪、贪污受贿的官吏，除去平常的零星打击，还进行了几次大规模的清洗。典型的就是洪武十五年（1382）的空印案和洪武十八年的郭桓案。
明廷规定，每年各布政使司和府州都要派计吏到户部，报告地方财政收支情况。为了核算钱粮、军需等款项，必须报布政司，布政司再报部，层层上报，一直到户部审核数目完全符合，才算了结。但户部审核遇有钱粮有不符的地方，就要驳回重新填报。布政使司离京师远的六、七千里，近的也千里上下，所以为了减少来回奔走的麻烦，上计吏就带有事先预备好的盖过官印的空白文册，遇有部驳，随时填用。这本来是公开的秘密，不料到洪武十五年，朱元璋发现了这一情况，认为其中一定有舞弊行为，就下令严办，凡地方衙门主印长官一律处死，佐贰官杖一百充军边地。洪武十八年（1385），御史余敏、丁举廷又告发北平布政、按察二司官吏李彧、赵全德等人，伙同户部侍郎郭桓贪污舞弊，吞盗官粮，朱元璋抓住线索，下令司法部门严加追查，于是六部左右侍郎以下的官员统统被处死，各布政使司有牵连的官员也被逮捕入狱，各地卷入此案的官吏、富豪不计其数。这两案株连被杀的达七八万人。
朱元璋用重刑惩治贪官，虽对吏治清廉有一定作用，但又不免陷于滥杀，这当然与其性格的猜忌多疑有关，但从根本上还是出于对明朝长治久安的考虑。
斩除荆棘
随着明皇朝的建立和巩固，昔日与朱元璋枪林弹雨、风雨同舟的将领，成了新皇朝的显贵，他们以血战立功封公侯，拥有大量的土地、佃户、奴仆，享有政治、经济等各方面的特权。这些勋臣武将们无不把明朝的胜利当作自己的胜利，认为理所当然地应享受这个胜利所带来的一切财富、荣耀和权力，然而事实并非如此。或许在失望、失意之余，他们渐渐我行我素起来，恃功犯法的事也屡屡发生。这使朱元璋感到忧虑，他真担心这些权势烜赫的元勋重臣，将来某一天会做出背叛他的事，抢走他的皇帝宝座。时间的推移，更加重了他的疑虑。考虑到日后的大明江山，子孙万代的千秋功业，他只好向昔日曾经同甘共苦的兄弟们大开杀戒。
洪武十三年（1380），朱元璋以专权枉法的罪名杀了胡惟庸以后，胡案就成了他打击异己的武器。凡是心怀怨望的、行动跋扈的、对皇权有威胁的，都被罗织为胡党罪犯，处死抄家。以后又加胡惟庸以“通倭”、“通虏”和“谋反”的罪名，不断牵连扩大。胡惟庸被杀后十年，到洪武二十三年（1390），太师韩国公李善长也被牵连，七十七岁的李善长被赐死，家属妻女弟侄家口七十余人被杀。这次受牵连及坐诛的达三万多人，“乃为《昭示奸党录》，布告天下。株连蔓引，迄数年未靖云”。第二年有人上书为李善长辩冤，朱元璋不理，也没有治罪。
洪武二十六年（1393）又兴“蓝党”大狱。开国大将蓝玉，是洪武后期的主要将领，他麾下骁将十数人，威望都很高。洪武二十一年（1388），率大军十五万打蒙古，一直打到捕鱼儿海（今贝尔湖），俘获男女七万七千余人，大胜而回，被封为凉国公。徐达、常遇春死后，蓝玉继为大将，总军征战，在屡立战功的情况下，骄傲起来，专恣暴横。他霸占东昌民田，百姓向御史告状，御史依法提审，蓝玉一顿乱棍把他赶走。朝廷明令禁贩私盐，他却令家人私买云南盐一万余引，进行走私活动。他北征归来，夜过喜峰关，守关将士因为没有及时开关迎接，他竟纵兵毁关而入。洪武二十六年，锦衣卫指挥蒋■告蓝玉谋反，于是兴起党狱，发布《逆臣录》，“族诛者万五千人”，把军中骁勇之将几乎杀了个干净。
朱元璋利用胡、蓝之狱，前后十四年一共杀了四万五千人之多，“元功宿将相继尽矣！”在二案之外，朱元璋还鞭死亲侄朱文正，毒死亲外甥李文忠。廖永忠以僭用龙凤不法事赐死，朱亮父子被鞭死，胡美以犯禁死，周德兴以帷薄不修被杀。洪武二十七年（1394）杀王弼、谢成、傅友德，二十八年（1395）杀冯胜。传说开国功臣徐达在洪武十八年（1385）背生疽，经治疗已有好转时，“帝忽赐膳，魏公对使者流涕而食之”，不数日而死。经过朱元璋的大肆杀戮，开国功臣已寥寥无几。
对于朱元璋如此滥杀功臣的做法，皇太子朱标极力反对，他主张仁慈、宽大，君臣和睦相处，他曾对朱元璋说：父皇杀人太多，恐怕会伤了和气。朱元璋听后一言不发。到了第二天，他故意把一根长满刺的荆棘放在地下，叫太子拿起，皇太子面有难色，朱元璋说：你怕刺不敢拿，我把这些刺都给你去掉了，再交给你，难道不好吗？现在我杀的都是对国家有危险的人，除掉他们，你才能当好这个家。皇太子说：有什么样的皇帝，就会有什么样的臣民。朱元璋大怒，拿起椅子就朝太子扔去，太子只好赶紧逃走。这个故事或许是出自明朝野史的杜撰，不一定真实，但也反映了朱元璋为明皇朝的长治久安而颇费心机。他这样做的真正动机乃是为了让他的后代能坐稳江山。对此，朱元璋或许比谁都清楚，对于他的行为，他生前虽然没有公开忏悔过，然而在他即将离开人世时，却下令不准后人效法。
专制统治
洪武时期，有一事对后人影响很大，这就是朱元璋采取特务手段，侦缉臣僚私下的言行。这一方面是由于他处处猜疑多虑的性情所致，但更重要的是他出于控制臣僚的目的。身为一国之君，他不能容许臣僚对他有所欺瞒，他要求他们绝对忠诚。
早在明朝建立前，朱元璋就开始派遣检校从事这样的活动，其职务是：“专主察听在京大小衙门官吏不公不法，及风闻之事，无不奏闻。”有的人甚至专做告发人家隐私的勾当。钱宰被征编《孟子节文》，散朝回家，吟诗道：“四鼓冬冬起着衣，午门朝见尚嫌迟。何时得遂田园乐，睡到人间饭熟时。”第二天上朝，朱元璋问他：昨天作的好诗，不过我并没有“嫌”迟啊，改作“忧” 字如何？钱宰吓得出了一身冷汗，忙磕头谢罪。国子监祭酒宋讷在家独坐，面有怒容，第二天朝见时，朱元璋问他为什么生气，宋讷大吃一惊，照实说了，朱元璋把派人偷着给他画的像拿出来。吏部尚书吴琳告老还乡回黄岗，朱元璋不放心，派人去打听，等使者回来说吴琳正在家老实务农，朱元璋听了很喜欢。
洪武十五年（1382）四月，朱元璋出于打击元勋功臣的需要，他把自己身边负责警卫事务的亲军都督府的仪鸾卫改为锦衣卫，授以侦察、缉捕、审判、处罚罪犯等大权。这是一个正式的军事特务机构，有指挥、佥事、镇抚、千户、百户，所统率的人员有将军、力士、校卫，直接由皇帝控制。它下设镇抚司，掌本卫刑名，兼理军匠，有它自己的法庭和监狱，也就是民间所称的“诏狱”。朱元璋把重大案件交给锦衣卫处理，由自己亲自掌握，锦衣卫也只对皇帝负责。朱元璋让锦衣卫在朝廷上执行廷杖的刑法，使不少大臣惨死杖下。
在地方上，各府县的关津要冲之地，朱元璋还设置了巡检司，有巡检和副巡检，都是从九品官，带领差役、弓兵，警备意外，负责把关盘查、缉捕盗贼、盘诘奸伪。但是即使这样，似乎对广大民众仍不能达到约束的目的。于是里甲便被赋予执行检查的任务。里甲内的百姓不能随便外出，如果到百里之外，必须事先向地方政府领取路引（通行证），倘无文引，必须擒拿送官，而且里甲有责任了解所属百姓，对无正当理由外出的要报告官府，不报者以连坐处置。
这样，朱元璋通过这些机构布下了一张监视网络，从城市到乡村，从官僚到百姓，都处于严密的监视和控制之下。明初几起大狱的兴起，多与这些机构有关系，因此，不少达官重臣也难逃厄运。朱元璋尝说：“譬如人家养了恶犬，则人怕。”这就充分暴露了他专制帝王的嘴脸。
朱元璋利用特务手段，实行恐怖统治，对强化皇权一时颇有成效，然而他却同样不希望后人效法。洪武二十年（1387），处理胡案罪犯已近尾声时，朱元璋下令焚毁锦衣卫刑具，把犯人移交给刑部。又过了六年，待蓝玉案犯处理完后，他又再一次申明，以后一切案件交由朝廷三法司审理，内外刑狱公事不再由锦衣卫处理。
朱元璋试图以一个开国皇帝的能力，为子孙后代创造条件，以保证他们将权力的接力棒永久地传下去。可惜没过几年，他的四子朱棣以“靖难”成功，登上帝座，又重新利用锦衣卫来镇压建文帝的臣下，并且还设置了提督东厂，开了明代厂卫一起制造恐怖气氛的先河，对明朝政治造成极坏的影响，并且一直延续到明朝灭亡。
取士与文字狱
朱元璋出身贫寒，早年读书不多，但他很注意访贤纳士，吸纳知识分子，并虚心向他们请教，如李善长、陶安、宋濂、刘基等。他们给他讲经读书，参与军事密议，成为他的智囊谋士，这对建立明朝起了极大作用。
明朝建立后，朱元璋仍沿袭战争年代的做法，非常重视人才，洪武年间，他几次下诏访求贤才，如洪武六年（1373）朱元璋命令各级官吏荐举人才，其科目有许多种：聪明正直、贤良方正、孝弟力田、儒士、孝廉、秀才、人才、耆民等等。荐举来的人许多被授以大官，如尚书、侍郎、副都御史，地方上的布政使和府尹等官就更多了。
与荐举并行，还建立了科举取士制度，以进一步延揽人才。洪武三年（1370），朱元璋下诏设科取士，但到六年一度停止，十七年（1384）复设，后遂为永制。规定以八股文取士，以“四书”、“五经”为题，行文必须根据古人的思想来阐释，不许有自己的见解。考试分三级进行。规定每三年在省城举行乡试，中式的成为举人。乡试的第二年二月举人会考于京师，称作会试。会试后再经皇帝亲自复试，叫做殿试，取中的成为进士。进士分为一、二、三甲，一甲三人，称作状元、榜眼、探花，赐进士及第；二甲若干人，赐进士出身；三甲若干人，赐同进士出身。凡考中进士的，就可授以官职了。
另外，为了进一步培养新的统治人才，朱元璋还特别重视学校教育。早在至正二十五年（1365），朱元璋就在应天创办了国子学。洪武十五年（1382）改名国子监，这是朝廷的学校。在地方上，还设府、州、县学，洪武八年（1375）又在各地农村设学。国子监的学生，在学校结业的，可以直接做官，或者再通过考试做官。有些甚至被授以地方大员或朝廷官吏，至于州县地方官，更是大批任用。另外，在学的监生还常奉命巡行、监督水利、清丈田亩、在各衙门实习办事等等。由于明廷对兴办教育的重视，并且又从中大批选拔人才，充实朝廷机构，入学就可入仕，因此士人入学读书的积极性都很高，可以说，明初的学校比以往任何时代都更兴盛发达。
朱元璋出于统治的需要而延纳人才，扩大新皇朝的社会基础，但却仍有一部分地主文人不愿和朱元璋的新皇朝合作。他们认为朱元璋出身卑微，发迹于红巾军，不甘做他的忠臣。有的甚至采取自杀、自残肢体、逃往漠北、隐居深山等办法，躲避朱元璋的征调。典型的如贵溪儒士夏伯启叔侄俩，斩断手指，誓不出仕。朱元璋把他们逮到南京审问，他们还口口声声称红巾军为“红寇”，引起朱元璋大怒，下令把叔侄俩押回原籍，处以死刑。当时许多不愿和朱元璋合作的地主文人都落了个杀头没产的下场。
朱元璋对付这些不肯合作的地主文人，多采用严刑峻法，而这些人更不满意朱元璋的统治，这样双方的对立越来越显著。朱元璋痛恨这些人胆敢抗拒，用尽一切方法镇压，而且随着时间的推移，朱元璋的疑忌心越来越大。因为他曾经当过和尚，所以忌讳“光”、“秃”这些字眼，就连“僧”字也很刺眼，推而广之，连和“僧”同音的“生”字，也不喜欢了。他早年投身红巾军起义，最恨人说“贼”、“寇”，连和“贼”字形音相近的“则”字，看到也生气。明初地方官逢年过节、皇帝生日及皇家喜庆日子所上的表笺，都是歌功颂德的言辞，照例由学校教官代作，然而这小小的表笺，却使朱元璋屡次发怒，下令处死作者。如浙江府学教授林元亮替海门卫官作《谢增俸表》，中有“作则垂宪”一语，杭州府学教授徐一夔表文中有“光天之下”、“天生圣人，为世作则”等语，朱元璋牵强附会，硬说文中的“则”是骂他做过贼，“光”是光头，“生”是“僧”意，是骂他当过和尚。怀庆府学训导吕睿为本府作《谢赐马表》，有“遥瞻帝扉”，“帝扉”被读成“帝非”。尉氏县教谕许元为本府作万寿贺表，有“体乾法坤，藻饰太平” 八字，就更严重了，“法坤”是“发髡”，“藻饰太平”是“早失太平”。翰林院编修高启曾经作了一首名叫《题宫女图》的诗，其中有“小犬隔花空吠影，夜深宫禁有谁来”二句，被朱元璋认为是讥讽他的，从此怀恨在心。后来苏州知府魏观把知府衙门修在张士诚的宫殿遗址上，犯了忌讳，被人告发。正巧新房子的上梁文是高启写的“龙蟠虎踞”，朱元璋大怒，把高启和魏观均腰斩。
文字狱从洪武十七年（1384）闹到二十九年（1396），前后达十三年。其间，造成了朝野文人提笔怕文字狱，人人自危的恐怖局面。据说，有一年元旦之夜，朱元璋微服出巡。他忽然发现一个灯谜上画了一个女人，手里抱着一个大西瓜，安然地坐在马背上，马蹄故意画得特别大。朱元璋见了大怒。回宫后即命察缉，结果将做灯谜的杖死了。刑官执刑后，还莫名其妙，后来才明白，原来马皇后是淮西人，是个大脚，朱元璋怀疑灯谜是在暗讽马皇后，就这样一条小小灯谜，竟送了一条人命。
这些未必可信，据陈学霖先生考证，朱元璋极可能因个人好恶，或以政治关系需要铲除异己，故意断章取义，而罗织成狱，罪名虽谓干忤圣旨，事实或非如此。尽管这样，恐怕多多少少也能反映出朱元璋的专横和残暴。