“左”文件的事情，一下子在开始于5月21日的北京会议上传得沸沸扬扬。刘少奇听到传言后，就在大会上严厉地批评了胡乔木。
和毛泽东之间的个人谈话内容，怎么突然就传开了呢？胡乔木无法想明白，也无力去追问。
刘少奇的批评，无疑使胡乔木遭受巨大的精神压力，他的老毛病——严重的神经衰弱症更加严重了，严重到无法再拿笔写文章的地步。
前年，在上海会议上毛泽东因陈云的建议问题批评了他。如今，在北京会议上刘少奇又因同类事件批评了他。如此一来，中共中央最高的两位领导都对其进行了严厉的批评，他受的精神压力可想而知！
胡乔木觉得自己实在撑不下去了，等北京会议一结束就给主持中央工作的邓小平打了请假报告。邓小平很快批准了胡乔木的报告，让他好好休息一下。8月17日，胡乔木又给毛泽东写了封信，报告自己在北戴河休假的情况。
毛泽东收到胡乔木的来信后，在8月25日给胡乔木回信，对胡乔木的病休表示肯定，并建议他“须长期休养，不计时日，以愈为度”，要“作一、二、三年休养打算，不要只作几个月的打算”，“如果急于工作，恐又将复发”。
毛泽东的信，言辞恳切，既有对胡乔木发自内心的关怀，也不乏某些善意的忠告。其中，毛泽东建议胡乔木“须长期休养”“不要只作几个月的打算”的建议，其言外之意，聪明的胡乔木自然不难领悟。
只不过，令胡乔木没想到的是，他这一病不只是“一、二、三年”，却是10多年。以毛泽东的这封信为标志，他和毛泽东之间的角色也开始有了实质上的变化——名义上胡乔木仍然是毛泽东的政治秘书，实际上却从此离开了毛泽东身边，并逐渐淡出了毛泽东的视野。
此后，尽管胡乔木通过诗书与毛泽东仍保持着一定的联系，但这时连见上毛泽东一面都难。1966年6月，胡乔木在杭州好不容易见到了毛泽东。见到毛泽东后，胡乔木一时乱了思路，原本想好了要向毛泽东诉说的话，一句也没有说出来。而毛泽东这边，话语也很简单：“你回到北京，少说话，多看看，多了解情况。”言语之中，仍见关怀。
胡乔木欣慰感激之余，更多的是无可弥补的遗憾：他没有想到，这竟然是他与毛泽东的最后一次面谈。而这一次别离，也为他的毛泽东的政治秘书一职彻底地画上了句号。