明朝初期权力过度的集中，事无大小一切都由皇帝主宰的制度，也把皇帝推向处理政务的第一线。本来可以由宰相分担的事务，全都由皇帝一人承当，并以此作为王朝的祖制。洞悉驭臣之道的朱元璋认为，宰相居于一人之下，万人之上，这是最难驾驭的重臣。为了确保朱氏王朝子子孙孙的基业，他决心废弃宰相制，并留下政治遗嘱：“以后子孙做皇帝时，不许立宰相。臣下敢有奏请设立者，群臣即时劾奏，将犯人凌迟，全家处死。”正是因为朱元璋把宰相视为皇权独揽的最大威胁，才对宰相制深恶痛绝。但凡有设宰相的动议都要处以极刑，做臣子的何敢妄言其他！这一条禁令也拖累了朱元璋自己，根据《明太祖实录》的记载，朱元璋每天要批阅公文208件，处理公务424件，这还只是文本的，另外不时的汇报、请示，非文本的训话、口谕，更是难以统计。这样的文牍大海即便是三头六臂也难以承担，何况皇帝也是人。勤政的朱元璋所能承受的，后代未必能仿效；即使是能决大事、断大疑的英主，也未必都能事必躬亲。制度的设置与皇帝的承受力本身就有难以克服的矛盾，因而不得不沿用历史上曾有的内阁制，以协助皇帝处理公务。洪武十三年（1380年）废去丞相，永乐元年（1403年）翰林院侍读解缙、胡广等七人就陆续参与政务，但官阶不高，只是八九品，到正统七年（1442年）形成内阁制，正式有了皇帝秘书班子的出台，官阶也升至二三品，历经成化、弘治、正德、嘉靖四朝的发展，内阁权力不断提高。
从制度上说，内阁只是奉命“票拟”起草文件，不是一级行政机构，没有实权，更不能向六部发号施令，这与宰相制有根本的不同。取消有职有权的宰相，设置有职无权的内阁，是朱元璋防范大权旁落的特别举措。实际上，皇帝处理公务离不开内阁的操作，内阁既要有操作，又不能违反既定的规则。所以，内阁在代行皇帝意旨中不断发挥权力的作用，提升自己的地位。嘉靖初年文渊阁大学士张孚敬的朝位班次已在各部尚书之上，嘉靖末年严嵩主持的内阁更是权势炙人。按祖制，内阁不能统率朝臣，事实上又高居群臣之首，这就给朝野上下的党争带来各自的口实，“按祖制”成为言官打击阁臣的有力武器。由于皇帝的意旨号令，分别由内阁的“票拟”和司礼监的“批红”来实现，二者缺一不可，这就将皇权分置于不相统属的内廷和外廷两部分运作，这就带来外廷和内廷的牵制和摩擦。所以，明代内阁的纷争与内外廷的冲突，其根源在于制度上对内阁的限制与权力在事实上的扩张所发生的矛盾，这是朱元璋不合理的制度设置遗留给后代的无穷祸患。
这种体制性的缺陷，带来了无休无止的争斗与内阁首辅地位的不稳，官僚系统最高层处在分裂状态，有所举措都被内斗消耗了，又何以整肃百官？内廷和外廷，内阁与各部不相统属，而又相互争斗，长年不息。如果不从制度上弥合祖制的缺陷，无论怎样的高手也平复不了这种矛盾。高拱为收回司礼监的权力而栽了跟头，言官们对阁臣的弹劾，用得最多的就是不遵祖制，祖制已成为攻击对手的借口和压抑制度更新的磐石。生活在高度集权专制主义阴影下的官吏，不可能超越时代，搬掉这一磐石，就连张居正这样杰出的政治家也只能打着祖制的旗号以革新成规。反对祖制是行不通的，但弥补祖制的缝隙却是可能的。考成法即是张居正针对明王朝体制性弊端，进行正本清源的一大改革。
万历元年（1573年），张居正上《请稽查章奏随事考成以修实政疏》，这是他上台后的第一件大事。首先，他从诏令不行、有法不循的角度提出问题，以实施考成法来纠正弊端，具体而翔实地规定处理公文的过程。这就是由中央各部把拟办的公事一律登记造册，分别制成一式三份的公文簿：一本留部作底本；一本送六科备案；一本交内阁查考。大小事务根据轻重缓急，路程远近，严立期限，责令完成，逐一注销，如有欺瞒不实的，从严查处。按月进行考成，每年进行总结，吏部通过询事考言，以言核事，以事核效，评定官吏的勤惰，以督促公务，提高政府的办事效率和官员的执政能力。这一规定看似处理公文的流程，实际上是把那些不好把握、不易监督的处理方法具体化、明细化，使模糊的明确，使弹性的刚化，以实施制度的责任化，从制度建设中加大监督的范围和强度。
这一过程体现的是由内阁统领六部和都察院的新规则。明朝中央行政机构分设礼、吏、兵、户、刑、工六部，这六部又分别归相应的六科监察。部的尚书官阶可达二品，而科的长官给事中只是七品。但是，这七品官对于六部的公务却有封驳弹劾的权力。在明代的官僚体制中，大官统率小官，小官也可以牵制大官，甚至参倒国家的重臣。而六部和六科都直接向皇帝负责，内阁不得干预。张居正却通过考成法，改由内阁总其成，这表现在三方面：一是由内阁控制六科、都察院，进而控制六部，再由六部和负责监察的都察院控制地方政府、考察各级官员，使考察工作直接对内阁负责；二是对官僚机构和官员采取定期考勤和随事考核相综合的办法，检查名实，施行赏罚，奖廉惩贪，提高行政效率；三是处理公务分报三个机构审核，互相监督，以防范玩忽职守的现象。在《陈六事疏》中用尊主权和一号令来提高政府诏令的威权，以形成集权内阁的舆论。但这是思想性的，在法制上并未确认内阁居于百官之首的地位。考成法就通过处理公务的程序来改变明初内阁不干预六部权力的旧体制，通过六科的干预，使六部听命于内阁，各省抚按听命于六部，各省县令听命于各省抚按，从地方到中央的各级机构层层由内阁控制，加强中央政府的权力，权归内阁，从制度上提升了内阁的行政地位与监察责任，这就是“一方之本在抚按，天下之本在政府”的实质。
然而，让六科听命于内阁的举措，并非明朝的祖制，《大明会典》中明确规定由司礼监稽查章奏，统率六科，这有三个条款：一是凡六科每日收到各衙门公文，各具奏目，送交司礼监存档；二是各衙门已处理的文件，附写文簿，发落日期，在六科注销；三是各地方衙门，每年将注销的公事，填写底簿，送六科备考。司礼监通过六科掌控从中央六部到地方政府的监督权力，使外廷听命于内廷，这一程序突出的是宦官掌控六部的权力。实际上，在弘治十五年（1502年）修成的《大明会典》中并未有此规定，这些条款都是在宦官刘瑾当权的正德年间添加的，以此作为控制外廷的依据。由司礼监掌控六科，运作都在内廷，使其得以上下其手，暗箱操作，经常成为官场黑暗的策源地。考成法以考核官员、稽查章奏为形式，实施由内阁统率六科的新体制，从司礼监手中收回监督大权，一切政务都见诸章奏，使之公开化，增强行政的透明度，这是明后期政治体制中具有首创意义的改革，也是考成法的最大成效。张居正还力图把这一新体制载入明代法典，以取得合法地位。万历四年（1576年）时开馆重修《大明会典》，这一计划虽未完成，但在张居正实施考成法期间，内阁的地位大为提高，事实上已确立了辅弼的合法性。
失去监督的官吏，肆无忌惮地胡作非为，造成法度凌夷，纪纲颓废。官员们姑息怠惰，相互濡染，习已成风，其严重性远远超过唐末和宋末。主钱谷的不懂出纳，管监察的从来不弹劾贪官污吏，司刑名的不熟悉法律，等等。尸位素餐的混日子现象业已司空见惯。各种讽刺官员的民谣、笑话、故事在民间风行一时，这是历代王朝罕有的现象。
明代考核官吏，本有一套详尽的办法，任职三年要对政绩进行初考，六年再考，九年通考，考核结果分“称职”、“平常”、“不称职”三等，以决定职务的升、降、调、免。凡京官及外官，至三年、六年考满后，一律不再就任原职。此项以考核施行监督的规定到明后期已经名存实亡。为了恢复对官员的考察，张居正首先要求皇帝勤政，直接掌握官员的勤惰。万历二年（1574年），张居正联合吏部尚书张瀚和兵部尚书谭纶特制作屏风十二扇，绘制全国官员分布图，上粘浮帖，每十日更换一次，放置在文华殿皇帝读书的地方，以便随时掌握各地官员的升迁、调任，不论皇帝是坐是卧都可以一目了然。对于官员的章奏，则要求简明扼要，简化上报和处理的手续，务使上下及时通达。当时，万历皇帝还是小孩，不可能事必亲览。但这项勤政制度的确立，力纠晚明君臣怠惰之风，对皇帝有教育意义，对官场有警示作用，体现了张居正考核官员必须从上层做起，使上下同步改革的思想。
在对官员的各种考核中，以什么为准则是具有导向性的问题。古人素来以立德、立言、立功为三不朽，以忠孝伦理为准则。以军功业绩为准则的、以著书立说为准则的，都在激励官员方面起过积极作用，而张居正却提出“以钱谷为考成”的主张，明确提出以理财作为考核官员的准则，这在君子耻言利的时代是一个创举。
理财是推行考成法重要目的之一，张居正当政后，迫在眉睫的问题是要解决财政危机。官场上历来通行的是政府要增加赋税，就向小民搜刮，不敢提出督缴正赋田税的主张，因为隐田瞒税的都是不法权贵，追缴欠税是在太岁头上动土，谁也不敢出这个头。以理财为中心审核官员的业绩，促使官员想方设法去追缴欠税，凡是追缴欠税不足九成的都要受到批评、调离甚至撤职。这可是自讨苦吃的举措，要知道当官的虽然爱财，但作为官场的表面文章，莫不以施仁政、省刑罚、薄赋敛为立身的招牌，这一下赤裸裸地以追索田粮作为评定任职优劣的标准，对士大夫重义轻利的传统是一大震动。许多文人学士搬出仁义道德的说教攻击这项指令，张居正予以严正驳斥：“今为侵欺隐占者，权豪也，非细民也，而吾法之所施者奸人也，非良民也。”这是从实际出发的由衷之言。地主向王朝缴纳田赋，虽然取自农民的田租，但地主的隐田瞒税并不意味少收地租，减轻农民负担，倒是挖了国家的墙脚，使王朝财政收入受到莫大的损失。所以，封建王朝同这些欠税地主的矛盾，是地主阶级内部争夺剥削农民收益的矛盾。考成法运用行政力量督缴赋税，也就是要官吏严格执行国家的法令，迫使地主把欺隐漏缴的田赋再吐出来。当然，这种做法也可能会损害一部分有地的自耕农的利益，官吏追索太急免不了会骚扰农民。张居正对此采取的办法是责成吏部悉心查访，遇有弄虚作假、剥下奉上、沽名钓誉的，一律置于下等给予严格制裁。同时，又在适当时期减免积欠，以示恩赦，逐步做到当年赋税当年清。对于官衙的日常用度，大力裁减，节省开支，利用考成法之机，扫除积弊。所以，以钱谷为考绩，制止了权贵地主的违法活动，惩戒了受贿的贪官，不用加税就增加了国家的财源，填补了国家的亏空，做到了“民不加赋而国用充足”。因此，这是一项成功的经验。
张居正在考察中充分发挥监察机构的作用，规定京官与外官分别以三年、六年考满，称职者提升，平常者复职，不称职者罢免。知府、知县六年一迁，遇有不宜于官或官不宜地的，都要量情更换。各地大员如布政使、按察使三年一迁，中央科道部曹六年一迁。这三年与六年的期限，使得从中央到地方的官员既不久任，又有相对的稳定性，既能随事随时进行短线考察，又能长线追踪功业名实。各级官员感受到不断被考察的压力，不敢不奉公守法，尽职尽力。内阁依据实绩裁汰冗滥，精简机构。根据《国榷》记载，在改革深入进行的万历九年（1581年），中央裁员419人，地方裁员902人，这在明王朝可谓是一桩大刀阔斧的举措。正因为有这样的大手笔，各级官府才能不断地吐故纳新，使官僚系统保持了一定的活力，有效地遏制了贪污腐败和玩忽职守的不正之风。
张居正最为恼火的是地方官吏隐瞒民情，不能据实上报。有法不依、司法混乱是嘉靖、隆庆时期的一大公害，对于种种不法现象，人们都已习以为常，在世人都已见怪不怪的情况下，张居正拍案而起，痛加斥责。江淮发生多起盗案，地方隐瞒不报；凤阳官银被盗，查无下落，诬指吏员侵匿；苏州治安不良，地方官闪烁其词，曲意隐匿。张居正愤怒地指出，凡有隐匿不报者“必从重治”。官场的惯例，都把治安的不良归罪于盗贼的横行。张居正却认为，地方动乱的祸根不在盗贼，而是“吏不恤民，驱而为盗”，是官吏作恶迫使民众沦为盗贼，这才是“酿祸之根”。所以，他强调：“致理之要，在于安民，欲民之安，责在守令。”治安的良莠不在民而在官，这是非比寻常的看法！为此，他运用的是非常手段，即以凌厉的威力、严厉的法规，整肃官府，雷厉风行地纠正怠玩之风。对地方官是如此，在考察京官时更是一丝不苟，重申各种戒令，以图荡涤官场积习，大力扭转社会风气。他认为：“人心陷溺已久，宿垢未能尽除，若不特行戒谕，明示正大光明之路，则众心无所适从。”为此，张居正特地代拟皇帝救谕《请戒谕群臣疏》，要求官员恪尽职守，倘有疏怠，决不宽恕。在《请戒谕群臣疏》中，还对选将练兵、积饷修守等军务提出具体要求，如有因循怠玩，沿袭旧例敷衍了事的，都拿来“治以重罪，决不轻肴”。他还推出历史上的先贤典范，要求各级官员学习孙武、诸葛亮严明执法的精神，在朝廷重申法令之后，倘再有约束不明，申令不熟的，一律严惩不贷。在执法中，张居正有一句名言：“法所当加，贵贱不有，事有所枉，疏贱必申。”这已成为赏罚严明的经典名言。
在一个法制不明的社会，要做到赏罚公正并非易事。在明代，有功名的士大夫犯罪往往有各种借口为之减免，平民告官也很难获胜。张居正深知其弊，对于犯法的官员与平民一视同仁。山东鱼台县有平民屈深状告乡官违法，这乡官还是告状者的老师。神宗认为该案是弟子告师长，要惩办告发人。张居正为此上疏，认为此案要公开审讯，如果告发属实，应将乡官问罪，若有不实之处，自当按诬告处理，重要的是让平民敢于说实话，讲出民间真正的隐痛，这在崇尚“为尊者讳”的时代，是不可多得的见解，一度反对他的赵世卿也不得不承认。张居正当国执政尚严，不合格的官吏都受到惩罚。时人评论说：“江陵用事，以严肃佐之。内外吏莫不惴惴。”这一句“内外吏莫不惴惴”的评论，说明考成法确实对不法官员具有震慑力。