1959年，在庐山会议上，会议前期周总理为了解决具体的经济问题，连续召开了三次座谈会，然而就在周总理进行调整的过程中，彭德怀上了庐山，导致开了一半的会议突然调转风向了。

7月14日，彭德怀给毛主席送去了一封信，在信中指出了“大跃进”的一些错误和经验教训，提出了中肯的意见，这封信却令会议和谐的气氛开始逆转，导致彭德怀成为了众矢之的。

彭德怀在受到众多人的错误批评之后，就一直想找毛主席当面谈话，当时在庐山上毛主席住在180号，彭德怀住在176号，两间屋子相距过不200米，一天晚上彭德怀打算到住处找毛主席面谈。

事有凑巧，一向习惯晚睡的毛主席由于这几天太过劳累，提前入睡了，彭德怀到了主席的门口，卫士告诉彭老总，主席昨晚一夜没睡，刚刚才躺下休息，彭德怀只好怅然而归，由此错过了一次取得毛主席谅解的机会。

在战争年代，彭德怀多次为了紧急的事情，“硬闯”到毛主席卧室，掀开毛主席的被窝和主席谈事情，那个时候毛主席开玩笑说：“只有你彭德怀才会有人家睡觉的时候进来提意见！”

可现在不是当年了，彭德怀失去了与毛主席面谈的机会，在之后的会议中，许多人站出来批评彭老总，这些错误的批评给彭老总扣上了“帽子”， 成为了被“斗争”的对象，彭老总的处境变得非常不好。

彭老总的处境变化，在下庐山的时候就有所体现，离开庐山的时候参会人员都要到九江机场乘坐专机，飞机是每隔15分钟一趟，轮到彭老总的时候，竟然无人与彭老总乘坐同一架专机。

后来张爱萍将军主动上前，与彭老总同机回到北京，回到北京之后彭老总被免去了国防部长，之后搬出了中南海，住到了北京西郊的吴家花园，在家中整日无事，彭老总消瘦了不少。

10月13日的清晨，毛主席的秘书打来电话，让彭老总到中南海见面，彭老总不顾上吃早饭就去了，彭德怀一进颐年堂就见到了等候在那里的毛主席，当时朱德、陈毅李富春等人早就到场了。

彭德怀向大家致意后坐了下来，毛主席直接说:“我们一起商量一下你今后一段时间的工作、学习问题”，毛主席叮嘱彭德怀说：“你年纪大了，就不要去人民公社劳动了。”

在毛主席说完之后，没人接话，似乎都在等着彭老总说话，可是彭德怀却默不作声，最终在毛主席做完一些安排之后，就散会了，之后彭德怀在吴家花园度过了许久无人问津的日子。

1965年9月21日，彭德怀写信给毛主席，请求回农村去种地，23日的早上，毛主席就让秘书打电话叫彭德怀来中南海谈话，这一次毛主席和彭德怀握手，说：“几年不见，你显老了”。

简单打招呼之后，毛主席步入正题，建议让彭德怀到“三线建设”中去工作，之后邓小平、彭真等人也到了，劝说彭老总去“三线建设”工作，这次谈话进行了5个多小时，大家一起吃了午饭。

可是彭老总却始终没有主动解释庐山会议的问题，第三次错过了机会，饭后大家都离开，彭德怀依依不舍地和毛主席告别，不久之后彭德怀离开北京去了四川，彻底失去了取得毛主席谅解的机会。