胡乔木又受到刘少奇严厉的批评，他患了严重的精神衰弱症，几乎无法工作，邓小平批准了他的请求，让他好好休息一段时间。
会后，毛泽东要胡乔木、陈伯达和吴冷西他们3人组织几个工作组，到人民公社进行调查研究，以“驳斥国内外敌人和党内右倾机会主义分子，或者不明真相抱着怀疑态度的人们，对于人民公社的攻击、诬蔑和怀疑”，“长自己的志气，灭他人的威风”，并答应将亲自撰写万言长序，痛驳全世界的反对派。
陈伯达、吴冷西等陆续送上材料，但毛要写万言长序的诺言却没有实现。
胡乔木下去调查是在一年以后的事，所以当他的报告送到毛泽东那里时，已是60年代的第二个暮春之际。当然，那时已然是另外的景象，另外的氛围了。
1960年，胡乔木奉命参加《毛泽东选集》第4卷编选工作。到选集杀青时，已是冰雪满天了。
胡乔木参加了1960年底和1961年初举行的中央工作会议。与会者心情很沉重，毛泽东也不例外。毛讲了话，中心意思是要求恢复实事求是的优良传统，加强调查研究，搞一个实事求是年。教训是沉痛而深刻的，鉴此，毛泽东指出，一要情况明，二是决心大，三是方法对。这里情况明是第一条则是一切的基础。情况不明一切都无从谈起，这就要搞调查研究。毛泽东接着说，近几年来不大了解情况，大概是官做大了，摸不了底了。我这个人就是官做大了，从前在江西那样的调查研究，现在就做得少了。请同志回去大兴调查之风，一切从实际出发，没有把握，就不要下决心，调查研究这种事极为重要，要教会许多人。1961年要成为调查研究年，搞一个实事求是年。
会后，毛泽东命胡乔木起草《关于认真进行调查工作问题的指示信》，经毛泽东少量修改后，发至地方县级、军队团级、城市区级与大工厂级、大学党委、大报党委。
1月底，田家英转来一封信，是毛泽东写给田家英的。
田家英同志：
(一)《调查工作》这篇文章(指《反对本本主义》)，请你分送陈伯达、胡乔木各一份，注上我请他们修改的话(文字上，内容上)。
(二)已告陈、胡，和你一样，各带一个调查组，其三个组，每组组员六人，连组长共七人，组长为陈、胡、田。在今、明、后三天组成。每个人都要是高级水平的，低级水平的不要。每人发《调查工作》(1930年春季的)一份，讨论一下。
(三)你去浙江，胡去湖南，陈去广东。去搞农村。六个组员分成两个小组，一人为组长，二人为组员。陈、胡、田为大组长。一个小组(三人)调查一个最坏的生产队，另一个小组调查一个最好的生产队。中间队不要搞，时间十天至十五天。然后去广东，三组同去，与我会合，向我作报告。然后，转入广州市作调查，调查工业又要有一个月，连前共两个月。都到广东过春节。
毛泽东
一月二十日下午四时
胡乔木写完文件，已是2月下旬。3月初，胡乔木遵命赴湘调查。
50年代末，毛泽东构筑一个理想国，他是在进行一场巨大的实验。而这场实验给中国社会带来的灾难性后果，不置身其中，是很难体察的。
望着凋敝的三湘大地，胡乔木不禁黯然神伤。他清楚地知道，这是毛泽东的家乡啊!
当胡乔木返回北京时，已是盛夏季节。尽管一路劳累，胡乔木还是赶紧去毛泽东那里报告调查情况。谈话中，胡乔木为庐山会议纠“左”未能持续下去而深感遗憾，他还谈到庐山会议时的一件事，就是当时刘少奇曾经想提出写个反“左”的文件的建议。形势已经如此，毛泽东自然说不出什么，他只是说：“啊，有这回事!”此事后来传了出去。
5月，中央召开工作会议，由刘少奇主持。在小组会议上，胡乔木作了《大跃进中理论宣传的几个问题》的发言。发言中，刘少奇不时插话。在胡乔木谈到了《人民日报》在报道和宣传上的失误时，刘少奇说，“全国许多事情是中央领导一半，人民日报领导一半”。
刘少奇接着说，“把先进的口号当做当前的政策，把前途教育当做当前的政策教育，是错误的。”刘还谈到，“当前的困难，天灾人祸两个都有，且在很多地方，天灾不是主要的，人祸是主要的，你讲天灾，群众不承认”。
刘讲的，尤其是关于天灾人祸的那些话，深深地刺激了毛泽东。但当时，毛泽东也没有作什么表示。
也就是在这次会议上，胡乔木向毛汇报庐山会议期间刘准备建议搞一个反“左”文件的事传了出去。这件事引起刘对胡极大的反感。在会议上，刘严厉地批评了胡乔木。
从前年上海会议到现在的两年多时间里，受了中共最高的两位领导人的严厉批评，这给胡乔木带来的压力难以想象。
胡乔木的老毛病又犯了，患了严重精神衰弱症，头疼得厉害，几乎无法工作。他深深感到，自己该休息一段时间了。胡乔木给主持中央工作的邓小平打了报告。邓小平很快批准了胡乔木的请求，让他好好地休息一段时间。
胡乔木哪里知道，这一休息竟是10多年！
8月25日，中办送来一封信，他拆开信封时，毛泽东那熟悉的草书展现在眼前。乔木同志：
八月十七日信收到，甚念。你须长期休养，不计时日，以愈为度。曹操诗云：盈缩之期，不独在天。养怡之福，可得永年。此诗宜读。你似以迁地疗养为宜，随气候转移，从事游山玩水，专看闲书，不看正书，也不管时事，如此可能好得快些。作一、二、三年休养打算，不要只作几个月打算。如果急于工作，恐又将复发。你的病像陈云、林彪、康生诸同志，林、康因每年休养，病已好了，陈病亦有进步，可以效法。问谷羽好。如你转地疗养，谷宜随去。以上建议，请你们二人商量酌定。我身心尚好，顺告，勿念。
对于胡乔木的政治生涯来说。这封信显然具有标志意义，随着时间的流逝，表现得越来越明显。严格地说，从这时开始，胡乔木开始逐渐远离毛泽东的政治路线，开始自己独特的政治命运。
从l941年到现在，整整20年过去了。在这20年里，胡乔木一直以饱满的政治热情追赶着毛泽东的步伐，追赶着时代的步伐，就此而言，胡乔木是成功者。但是，最近几年，胡乔木感到毛泽东的思维明显地加快了，他简直无法继续追赶毛泽东飞快的思维、飞快的步子。胡乔木感觉很累。
医生诊断是神经衰弱，其实何止是身体罹疾！还是毛泽东了解胡乔木。