隆庆元年，张居正和陈以勤入阁。徐阶的同乡胡应嘉弹劾高拱，高拱怀恨在心。后来高拱利用胡应嘉与吏部尚书杨博的斗争，联合同乡郭朴参倒了胡应嘉，随即遭到言官集团的反扑，进而计划为徐阶高拱两集团的斗争。结果高拱郭朴先后致仕，徐阶大获全胜。
隆庆二年，穆宗爱玩，徐阶屡次劝谏，于是在张齐的弹劾下，得罪了太监集团的徐阶也下台了，李春芳为首辅。徐阶的三个儿子在老家作威作福，徐阶临行前不得不托付张居正。在抵御鞑靼的问题上，张居正重用徐阶的门生抗倭大将谭纶俞大猷戚继光，与他们发展了很深的关系。
隆庆三年，老资格赵贞吉入阁，他曾经被严嵩打压，难免高傲，张居正很不以为然。十二月，杨博致仕，高拱再入阁兼任吏部尚书，赵贞吉也兼掌都察院。高拱策动了对言官集团的报复，又指示手下弹劾赵贞吉，赵贞吉决定致仕。后来司礼监李芳因忤旨被充军，高拱因推荐陈洪得罪了冯保。
