1978年12月，党十一届三中全会上，黄克诚被增补为中央委员，并当选中央纪律检查委员会常务书记，时年76岁的黄克诚以年纪大为由想请辞，邓小平却一定要他担任领导，直言要的就是他这个名字，为何邓小平如此看重黄克诚呢？

在开国将帅之中，许多人都是以能征善战著称，唯独开国大将黄克诚是刚直正派著称，黄克诚一生敢讲真话、仗义执言，他一生遭过10次批斗，始终威武不屈，中央称黄克诚为“共产党人的楷模”。

黄克诚一出山，就开始致力于对党内重大历史问题的审查，为此邓小平亲自同中纪委的常委们谈话，交代他们要把大的历史问题弄清楚，邓小平特别提出，当年把刘少奇同志打倒，是不合法律程序的。

中央决定把“两案”的工作和平反冤假错案的工作交给中纪委办理，这是关系大批干部命运和前途的大事，黄克诚深感责任重大，为了调查清楚刘少奇的案子，中纪委和中组部成立联合调查组。

黄克诚亲自指导调查组进行工作，甚至派出工作人员到开封了解刘少奇去世的情况，经过多方调查求证，找到了大量的证据证明刘少奇是被冤枉的，最终在1980年2月，为刘少奇平反，撤销了强加给刘少奇的罪名。

成功为刘少奇平反意义重大，随后许多老同志的平反工作都得以顺利进行，黄克诚慎重对待冤假错案，即使一些老同志已经去世了，或是无人申诉的，他都主动调查清楚，为他们进行平反。

黄克诚尽职尽责的态度，让蒙冤20余年的粟裕看到了希望，众所周知，在1958年的军委扩大会议上，粟裕受到了彭老总的严厉批评，没想到场面失去控制，粟裕的问题被扩大化，导致他被扣上了“极端个人主义”的帽子。

粟裕在会后被撤销了总参谋长的职务，调任到军事科学院担任副院长和党委副书记，同年9月9日，粟裕正式到军事科学院工作，此后几十年粟裕都被“帽子”压得喘不过气，刘少奇被平反之后，也让粟裕看到了平反的希望。

为此粟裕亲自给黄克诚递过多次申诉材料，黄克诚对此也十分重视，可是审查一直没有得到落实，1984年2月5日，粟裕在北京病逝，他的问题仍没有得到解决，之后粟裕的家人代为申诉。

粟裕昔日的老部下，开国中将王必成等人也多次代为向中央申诉，可是迟迟没有结果，以至于有人说黄克诚曾是彭老总的老部下，当年也参与过批评粟裕，因此对粟裕的平反没有尽力。

这种想法和说法太狭隘了，低估了黄克诚的心胸，黄克诚以刚直正派著称，即便当年他参与批评粟裕，那也是对事不对人，他对粟裕没有私人恩怨，更何况彭老总在晚年也承认当年批评粟裕是错误的。

黄克诚拖着年迈的身体，亲自安排人对粟裕的问题进行调查，可是申诉材料送到总政治部后就被搁置了，粟裕去世的2年后，1986年12月28日，黄克诚也去世了，享年84岁。

粟裕的问题一直到1994年12月25日才得以解决，时任军委副主席的张震和刘华清一起发表了一篇《追忆粟裕同志》的文章，文中明确指出了之前对粟裕的批评是错误的，是历史失误，粟裕正式得到平反。