还在隆庆年间，入阁不久的张居正就在首辅徐阶和内阁重臣高拱的支持下，主持了巩固边防的工作。为了激励将领兵士的积极性，张居正大刀阔斧地改革赏不当功、罪不当罚的积弊，重奖有军功的将士。宣府总兵马芳在隆庆元年（1567），转战宣大、威宁、黑山，战功卓著，获得荫子千户及银币的赏赐；陕西延绥总兵赵苛，曾经防御失利，后戴罪立功，在塞外大战中杀敌三百余人，夺马一百多匹，官升至大同总兵，荫子千户。这超常的奖励，遭到文官的抵制，连兵部都不敢做主。张居正愤怒地指出，不给重赏谁肯冒死为国拼杀？并执意破格奖赏。
万历年间，沿海的倭寇虽然已经解决，但北方的鞑靼贵族很不安分，不时骚扰边疆，对明朝构成很大威胁。这个时候张居正想起了抗倭名将戚继光。为了加强边防的实力，张居正调用谭纶的老搭档戚继光总理蓟州、昌平、保定三镇的练兵事务，各路总兵由其统辖，这在军队是一个创举。因为戚继光被任命为总理，这就在三镇总兵以外又增设一职，与原有体制不合。加上当时舆论普遍认为戚继光是南方军人，以水战见长，把他放到陆路和把一条鱼从水里拿出来没什么两样，朝廷大多持抵制态度。因此这一职务被总兵们认为是“缀疣”。但张居正认定了他的选择，在他看来问题出在“人心不一，论议烦多，将令不行，士气难作”，他坚决以特旨的名义任命戚继光为蓟州镇总理练兵事务兼镇守，这既保留了戚继光总理练兵事务的头衔和节制三镇总兵的大权，又让他拥有了直接管辖蓟州军务的权力。张居正还把工作做到细处，为了平息舆论，他请出素有威望的凌云翼说服众将领。正是因为张居正的决心和斡旋，才使得戚继光得以在北方再展雄风，从此改变了以文制武的传统军制，这是一个突破常规的做法。
戚继光也是不负众望，干得相当出色，他在山海关到居庸关的长城上搞了三千多座堡垒，鞑靼屡屡无功而返，拿他没什么办法。戚继光两栖作战的本领让朝廷内部的聒噪也停了。
从乌纱帽开始
张居正的改革是在统治机构近乎解体，财政濒于破产的局面下，自上而下发动的一场自救运动。改革是触动社会体制的变革，这虽然是在同一社会制度下的推陈出新，自我完善，但却是“变”字当头，改变某些不合时宜的规章、制度和政策，与渐行渐变不同的是，改革是带有矛盾的集中性、突破性和体制性的改变，集中表现为法制的推陈出新，所以又被称为变法运动。
作为一个有着雄才大略的政治家，张居正对明王朝所面临的问题有深刻的认识。他认为当时国力匮乏和盗贼横行都是由于吏治不清造成的。官吏贪污，地主兼并，使部分人钱包大鼓，公家却是囊中羞涩，穷光蛋一个；加上皇帝太不像样，挥霍无度，百姓因此吃不饱睡不好，无奈之下上山当了草寇。张居正很高明地把了国家的脉象，政不通，社会问题就得不到解决，本来这些年经济就不好，再加上一群不干正事、中饱私囊的贪污蛀虫，不帮百姓解决问题，还搜刮他们的脂膏，国家能不乱吗？
基于上述看法，张居正决定从整顿吏治开始他的改革。万历元年(1573)十一月，张居正上疏对官员实施绩效考核，即“考成法”，以便明确职责。封建社会的行政系统运转，主要靠公文的传递、落实来维系，但公文维系的行政系统，极容易滋生形式主义和文牍作风，上面的文件发下去了，下面也就简单地再往下转发。至于公文所提的要求，办理得怎样，是否完成任务，上面就很难控制了。有些朝廷来的公文，一耽搁就是好几年，形同一纸空文，往往出现“上之督之者虽谆谆，而下之听之者恒藐藐”的拖拉现象，有点老子急得要死，儿子却左耳进右耳出，没当回事的意思。
张居正针对这种弊端，上书皇帝改革公文办理，皇帝当然照准。他以六科控制六部，再以内阁控制六科。朝廷的六部、都察院，其奏疏凡得到皇帝批准的事项，转行到各衙门，根据事情的轻重缓急，地方的路途远近，限定办理的期限，每月底清点。另外造两册账簿，上面记录事情的概要和规定的期限。一册送主管监察的六科，随时掌握办理的进程，一册送到内阁备查。六科的监察官员将执行情况随时记入账簿，半年再复查一次，对拖延的追究责任，向上参奏。如果地方巡抚、巡按拖延，由六部中分管的衙门举报；而六部有拖延、欺骗、蒙蔽的，由负责监督的六科给事中举报揭发；如果六科的监察官员自己拖延、欺蔽，就由内阁来监督、检举。事情办得怎样就靠这条线层层监督，一只眼逐级盯下去，评定官员的一个指标就是办事的效率和质量。
张居正在施行考成法时，将追收逋赋作为考成的标准。万历四年规定，地方官征赋不足九成者，一律处罚。同年十二月，据户科给事中奏报，地方官因此而受降级处分的，山东有十七名，河南两名；受革职处分的，山东两名，河南九名。这使惧于降罚的各级官员不敢懈怠，督责户主们把当年税粮完纳。由于改变了拖欠税粮的状况，使国库日益充裕。据万历五年官方统计，全国的钱粮数目，年收入达435万余两，比隆庆时同比增长了74％。财政收支相抵，还结余85万余两，扭转了长期财政亏空的状况。正如张居正自己所说的：“近年来，正赋不亏，府库充实，皆以考成法行，征解如期之故。”
考成法的实行，提高了各级部门的办事效率，而且明确责任，赏罚分明。全国各地，即使是鸟不拉屎的地方，中央也能掌控得到。整饬吏治的目的主要还是富国强兵，这红线贯穿于他改革的始终，实行考成法的最大收获也正在于此。实行考成法虽是一种政治改革，但它对整顿田赋、增加国家财政收入起了很大作用。
绩效考核直接和头顶的乌纱帽挂钩，捕蝉的螳螂后面有麻雀，官员们都得实打实干。官场上，什么都还可以考虑放一边，但官帽最重，不可懈怠。明朝残坏的管理系统，好像得到了有效整修，运转起来快了许多。
勒紧裤腰带
靠考成法增加的收入仍是有限的，国家的支出和王公贵族的无限挥霍仍很庞大。“古之理财者，汰浮溢而不骛入，节漏费而不开利源”，理财还是要以节用为主，双管齐下效果才会更明显。张居正所进行的一系列改革几乎都在围绕这个中心进行。
他通过加强对官吏的考核，裁减冗员，节省朝廷的俸禄开支。三公九卿大小官员无论级别高低全都在考核范围内，滥竽充数的一一让他们卷铺盖滚蛋，靠关系爬上去的无能之辈同样要交出公家的铁饭碗。张居正还通过各种途径削减朝廷的军费开支：一方面与鞑靼人修好，通贡互市，保持边境安定，减少战争费用；另一方面也大量削减抚赏开支。他还通过减客兵、清粮糗的办法减少支出。到万历二年，北边三镇两年中只花了万余两，省了一百多万两。
这还不够，减少了人头的开支，留下来的官员也得一一节省开支，皇帝也不例外。张居正要求万历皇帝勒紧裤腰带，和百姓、广大官员一起过紧日子，能少花就少花，能不花就不花，节用爱民，以保国本。当时的国家还没有说穷到叮当响的地步，但是钱这东西，要是没有足够的储备，月月花光，万一突然有事，口袋没钱，借都没门，还不是得盘剥老百姓，由此将造成恶性循环。所以在皇室的奢侈性花费上，张居正也抓得很紧。万历七年，神宗向户部索要十万金，以备光禄寺御膳之用，张居正上疏说，户部收支已经入不敷用，万一边疆有事，一时难以支付得来，希望皇帝能节省“一切无益之费”。结果，不仅免除了这十万两银子的开支，连宫中的上元节灯火、花灯费也全部列入非开支名单。在张居正的力争下，皇帝还停止重修慈庆、慈宁二宫及武英殿，节省服御费用等。他还请求将为明神宗日讲的时间放在早上，可以免晚上的灯火费用。大帝国的奢侈消费现象有所收敛，皇帝非常听话，带头勒紧了裤腰带，下面的人谁还敢肆无忌惮地花天酒地。
张居正自己更不例外。纂修先皇实录，照规矩得吃喝一场，张居正提出反对意见，毕竟一场宴会就得花掉不少银两。张居正对家属也严格要求：儿子回江陵应试，他吩咐儿子自己雇车；父亲生日，他让仆人带着寿礼，骑驴回乡祝寿。万历八年，次弟张居敬病重，回乡调治，保定巡抚张卤例外发给“勘合”(使用驿站的证明书)，张居正立即交还，并附信说要为朝廷执法，就得以身作则。张居正确实是难得的治国之才。他早在内阁混斗、自己政治生命岌岌不保的时候，写过一偈：“愿以深心奉尘刹，不予自身求利益。”他的确做到了。
掐着指头过日子对于一个家庭来说是必要的，治国如理家，铺张不得。张居正节俭治国深入到国家的每一个缝隙，上自皇帝的衣食住行，下到普通官员的出行开支，无一例外。节俭之风的提倡和深入对明王朝来说是个好现象，人民得到喘息的机会，国力逐渐恢复。张居正以一种廉价的方式节约国家走向强盛的成本，此时倒有点像历代王朝开国时的拮据理财，舍弃了种种诱惑来积累财富，但不叫开国盛世，而是王朝中兴。
整理农民的命根子
作为明朝杰出的理财专家，张居正深知只顾节流尚不足以解决问题。水库里的水有出无进，总有一天也要流光。要彻底改变国家的财政状况，还需要进一步开辟财源，增加收入。但张居正反对通过“开利源”来理财，因为在他看来，“夫天地生财止有此数，设法巧取，不能增多”。他早年曾较多接触下层人民，深深懂得安民养民后国富的道理。那么，如何才能增加国家财政收入呢？当时小小的田赋背负着帝国蹒跚前行。帝国开支有增无减，田赋收入因土地兼并和负担不均迟迟难有增加。田赋就像压在广大农民身上的重负，稻米谷畜载不动泥泞中的帝国。土地，从来都是农民的命根子，现在命根子越来越少，生存都成了一大问题。农民的命根子没了，他还有什么好怕的，一个人要是到了什么都不怕的地步那将非常可怕。当官的最怕的不就是群众的力量吗？为此，张居正连打三张大牌：惩办贪污、清理欠赋和清查田亩，尤以清查田亩最为有力，最得民心，效果最好。
万历六年(1578)，张居正选取福建当试验点，清丈田地，群众对试验的结果非常满意。有了成功的案例和强大的舆论支持，万历八年，张居正在全国陆续展开清丈工作，并在此基础上重绘鱼鳞图册。