“有一分精力，就要为党多做一点工作。”这是罗荣桓经常说的一句话。多年来，他在担负繁重的工作的同时，一直在同疾病进行顽强的斗争。有的医生劝他注意养生之道，他回答说：“注意养生当然很重要，不过对于革命者来说，养生不是人生的目的，所以不能用清静无为的办法来解决养生问题，应该把养生当作保证工作效能的一个条件。争取长寿，是为了在革命事业上给后代做出更多的成果。”一九六一年，医生曾根据他的病情建议他最好在一个比较长的时期内离开工作，完全休息。他听了这个建议，好几天心情不愉快。他说：“我这个病既然是长期的，就应该长期对待。长时期一点事情不做，怎么过得下去呢？到哪一天为止呢？其实多少做些工作，精神反而好些，身体也会好些。”中共中央和毛泽东考虑到罗荣桓的身体状况，决定他每天接见干部不超过两批，每批不超过一小时。
因此，他虽然重病在身，仍然要找人谈话，批阅文件，读书看报。医生劝他多搞点娱乐活动，听听音乐、打打扑克，可是他对这些都不那么感兴趣，总是摇摇头谢绝了。有时医生为了转移他的注意力，反复动员他。他便带着几分歉意地笑一笑说：“我是个不会休息的人，在娱乐方面没什么爱好，这是一个缺点。青年人可不要学我。”接着他又说：“娱乐是必要的，可是你们也要注意适可而止。乐而忘返乃至玩物丧志就不好了。”
在战争年代，有时战友们打扑克，三缺一的时候，他推脱不掉，也只好过去摸两把。但是他的注意力怎么也集中不到牌上来，加上眼睛不好，有人就当他的面在牌上做手脚，而他往往是浑然不觉，发觉了也是一笑置之。新中国成立以后，他除了偶尔同孩子们玩两把“憋七”外，基本上就不打扑克了。
对于罗荣桓的健康，同他住地相邻的贺龙十分关心。贺龙去看望他时，常对他热情地宣传钓鱼对身心健康的好处。罗荣桓一开始不想去，贺龙又邀来聂荣臻一道劝驾。盛情难却，罗荣桓便去了。贺龙一路上向他讲解钓鱼的ABC，到了龙潭湖后，又帮他撒鱼饵做窝子、往鱼钩上装饵……罗荣桓下竿不久，就有一条大鱼上钩了，咬着鱼钩拼命往深水里钻。罗荣桓没有思想准备，被猛地拉了一个趔趄。贺龙见状，忙放下自己的钓竿，一边说着“老罗，莫慌，我来我来”，一边便以同他的年龄很不相称的敏捷跑过来，接过罗荣桓的钓竿，一面放线一面说：“这叫放长线，钓大鱼。”罗荣桓站在岸上，兴致勃勃地看着贺龙放线收线，反复多次，经过二三十分钟，才把鱼钓上来。一称，有十七斤。罗荣桓为钓上这么大的鱼而感到兴奋和新奇，可又怕龙潭湖公园吃了亏。当他了解到每季度交几十块钱钓鱼费，鱼钓多了就交给公园时，才解除了这个顾虑。从那以后，罗荣桓开始对钓鱼发生兴趣了。但是他钓鱼时，有时思考问题，常常是鱼咬钩了都忘了提竿。贺龙便诙谐地对他说：“老罗，姜太公钓鱼是愿者上钩。可是你呀，鱼咬钩了也不提竿。”罗荣桓听了也不禁哑然失笑。比较起来，他最喜欢的仍然是工作。有一次，他为疾病所苦，几乎是坐卧不宁。服药之后，比较好些，但仍然很不舒服，林月琴给他打开收音机，拿来画报，都解除不了他的苦恼。忽然，外面有通信员送文件来了，他立刻喜形于色，高兴地说：“对喽，快拿文件来看吧！”文件到手，他马上忘记了病痛，沉浸在工作的愉快之中。
罗荣桓认为，同疾病作斗争最好的办法就是运动。多年来，不论在什么地方，他都坚持黎明即起，在清晨新鲜的空气中散步一小时。开始有的医生担心他活动量太大，他就在每次散步之后量量血压脉搏，用事实证明适当的活动对身体并没有坏处，来说服医生。遇上雨雪天气不能到外面去，他也要在室内做一做自己编的一套体操。管理部门知道他有每天散步的习惯，准备将他住地院内的一排平房改造一下，搞一条走廊。但是他坚决不同意。只是在他病重住院后，管理部门才乘机将走廊修好。然而，这条走廊却一次也没有响起过他的足音。
做为一个住医院的病人，罗荣桓是最自觉、最守纪律的。他尊重医护人员，积极配合治疗，而且处处为医护人员着想。经常为他看病的保健医生大都是一些刚刚从学校毕业不久的青年人。罗荣桓总是鼓励他们大胆工作，从来不提出请专家教授专门来给他看病，也不要求用什么特殊的药物。他经常心绞痛，可是一用硝酸甘油就又引起头痛。医生遇到这种情况，用药有思想顾虑。他说：“没关系，该用什么药就用什么药嘛！”医生、护士为他做点事，他总是很不安地说：“我病了，使你们得不到休息，真对不起。”一九六二年，罗荣桓病情越来越重。但他仍然尽量注意不麻烦医护人员。他很少按床头的电铃呼叫医护人员。一到晚间，他就叫医护人员去休息。一些本应由医护人员做的事，比如搀扶去盥洗室等等，都是由林月琴做。在同疾病进行顽强斗争的过程中，他同医护人员结下了深厚的友谊，他精神好一些的时候，常常和医生、护士谈心，讲自己青年时代怎样由相信读书救国转变到信仰共产主义，走上革命的道路；鼓励大家保持革命精神，努力学习，做出更大的贡献。他还对护士们说：“在医疗战线上，护士是在第一线。这项工作需要细致、耐心、热心，没有高度的政治觉悟和责任心，真是不行啊！我看，如果把这项工作做到了家，也确实是了不起的专家。你们既是战士又是专家。”医护人员都非常敬重这一位坦诚待人的长者。
一九六三年九月二十八日，罗荣桓因病情严重再次住进北京医院。这次不只血压不稳，心脏不好，肾功能也不行了。他以无比坚强的毅力同疾病进行着最后的斗争。
肾功能衰竭引起尿毒症，非蛋白氮指数高达110 、120 （一般超过100 人就要昏迷）。当时医院没有人工肾的设备，只能采取腹膜透析的办法，就是向腹内注射一千毫升生理盐水，停半小时再抽出来。盐水注进去，肚子胀得象鼓一样，看的人都觉得受不了，他却一声不吭，默默地忍受着。由于尿中毒，浑身奇痒，有时把皮肤挠破了也止不住。为了止痒只好做热敷，常常烫出泡来，他也一句话不讲，更不责怪别人。
最痛苦的是尿毒刺激肠胃，不能吃饭，吃了就吐。医生想尽一切办法，也不能制止呕吐。人不吃饭怎么行呢？他以坚强的意志，把饭一口一口吞下去，一面吃一面和旁边的人谈话，以分散精神，减少痛苦。吃下去又吐出来，吐完了再继续吃。一顿饭有时要吃四五次。每当勉强吃下一点东西没有再吐的时候，他就带着胜利的笑容说：“又打了一个胜仗。看起来，对于病也得要抗，不抗是不行的。”
随着病情的发展，他已经很难起床了，但是他还是一次一次地挣扎着要坐起来，反复地说：“让我坐起来，站起来，能站起来就胜利了。”那时医院里设备还很不齐全，为了能使他下床活动，林月琴把家里的一把旧靠椅装上四个轮子，搬到医院里让他坐，推着他在走廊里转一转。走廊里静悄悄的，过惯了戎马生涯和紧张生活的元帅，是多么想从这里走出去，再投身到火热的斗争中去啊！千千万万的战士是多么盼望他继续率领大家向现代化进军啊！
病痛的折磨常常使他陷入昏迷状态。同志们焦急万分，可是他醒过来却宽慰大家说：“人总是要死的，这是新陈代谢，自然规律嘛！”他的许多老战友，党和国家的领导人，元帅和将军们络绎不绝地来看他，他都关心地嘱咐他们要保重身体，为党多做一些工作。朱德来到病床前，满怀期望地说：“荣桓同志，你还要继续和疾病作斗争啊！”他望着这位老领导、老战友，平静地说：“是要和疾病作斗争，可是这一次恐怕是斗不赢了。实在斗不过去，也只好这样了。”
十二月一日，哈尔滨军事工程学院领导通知罗东进立即返京，罗东进的脑子嗡地一下，他顿时紧张起来。他想，以往父亲多次发病，可从来没让自己请过一天假。罗东进心情沉重地连夜赶回北京，当他来到罗荣桓的病床前时，罗荣桓已陷入昏迷状态。由于缺氧，他的手和嘴唇都紫了。罗东进在床前守候着，半晌，罗荣桓醒了过来。他睁开眼睛，认出了儿子，便有几分不悦。他带着责问的口气十分吃力地说：“为什么没有放假就回来了？我的病有医生护士照顾，你要安心学习，不该请假回来看我。”东进含着眼泪解释说，别的同学父母病重，也是允许请假回家探视的。医生护士也在旁边说，应该回来看看。可是罗荣桓还是摇摇头说：“东进，你是革命干部的孩子，对自己应当要求更严格……”
自从罗荣桓病重住院以来，林月琴就在病房临时搭了一张小床，日夜守在那里。焦虑和劳累使她变得憔悴多了。看着二十多年风雨同舟、携手并肩的战友和亲人受着疾病的折磨，林月琴的心都要碎了。可是她还是要强忍着悲伤，以自己的坚强意志和体贴入微的照顾给亲人以安慰和力量。罗荣桓很理解妻子的心情，他以同样的坚强意志忍受着病痛，以减轻亲人的忧虑。
在最后的日子里，罗荣桓仍然挂念着国家大事和党的工作。十二月十四日，周恩来和陈毅访问阿拉伯联合共和国启程后，罗荣桓问身边的同志：“周总理他们到了没有？”当别人告诉他已经到达开罗时，他微笑着点点头。在这一刹那，他好象完全忘掉了自己的病痛。由济南军区调来北京担任炮兵司令员的吴克华来看望他。他一见吴的面就高兴地说：“啊，你来了。我前天还在想，怎么你现在还没有到呢？”因为他清楚地记得吴克华的调令是二十天以前下的。吴克华连忙回答：“我已经来了十天了，因为你身体不好，所以没来看你。”罗荣桓吃力地点点头，再三叮嘱吴克华：“来了好好工作，组建好部队。”政治学院院长莫文骅等人来看望老院长。他拉着莫文骅的手说：“我恐怕不行了，你们一定要把政治学院办好。”十二月十五日，他的病情更为恶化。自从他报病危以来，毛泽东、刘少奇、朱德、陈云、邓小平对他的病情都非常关切，指示医院大力组织抢救。十二月中旬，为了准备给他输血，总参、总政许多身体健康，血型为“O”型的青壮年军官自愿组织起来守候着……下午，罗荣桓又苏醒过来，看看床前的林月琴和孩子们，他拉着林月琴的手，对这位经过长征的红军女战士，他没有更多的话要嘱咐了，只是说：“我死以后，分给我的房子不要再住了，搬到一般的房子去，不要特殊。”他又慈祥地一个一个看看自己的孩子，嘱咐他们说：“我一生选择了革命的道路，这一步是走对了，你们要记住这一点。我没有遗产留给你们，没有什么可以分给你们的。爸爸就留给你们一句话，坚信共产主义这一伟大真理，永远干革命。”随后又昏迷过去。昏迷中，他还在不断地重复着说：“我革命这么多年，选定一条，就是要跟着毛主席走。”
“跟着毛主席走！”这个口号曾经起到团结全党夺取革命胜利的历史作用，但又易于被曲解以至带上个人崇拜的色彩。到了六十年代，究竟怎样才算得上是“跟着毛主席走”，仍是各有各的理解。是坚持学习和掌握毛泽东思想的精髓和实质--实事求是，还是对毛主席搞个人崇拜，搞“背警句”、“活学活用”那一套？这个争论当时并没有解决。罗荣桓坚定地相信，他的主张是符合毛泽东思想的，是正确的。因此，他在弥留之际，还要反复地强调这一点。
听着罗荣桓对妻子林月琴和孩子们的嘱咐，在他身边的工作人员无不热泪盈眶。当时主持他的医疗工作的中央保健局长黄树则后来写道：
罗荣桓同志病危之时，对其子女，谆谆告诫。现按其意，写为短诗。
我尽力争取不死，
继续为革命奋斗，
如果死已经来临，
我也决不畏惧，绝不发愁。
我给你们留下的只是党的事业，
别的什么都没有。
我的遗嘱是一句话，
永远跟着共产党走，
跟着毛主席走！
一九六三年十二月十六日，凛冽的北风不时呜咽着、呼啸着掠过古城。下午二时三十七分，中国人民伟大的儿子、无产阶级忠诚的战士罗荣桓，在他的战友贺龙、张爱萍、甘泗淇、梁必业、萧向荣以及他的夫人林月琴和孩子们的守护下，心脏停止了跳动。
这天晚间，毛泽东在中南海颐年堂会议室召集会议听取聂荣臻等汇报十年科学技术规划。开会前，毛泽东提议大家起立为罗荣桓默哀。默哀毕，毛泽东说道：“罗荣桓同志是一九○二年生的。这个同志有一个优点，很有原则性，对敌人狠，对同志有意见，背后少说，当面多说，不背地议论人，一生始终如一。一个人几十年如一日不容易，原则性强，对党忠诚。对党的团结起了很大的作用。”
出席这次汇报会议的罗瑞卿随即打电话给他的夫人郝治平，传达了毛泽东讲的话，叫她转告林月琴，劝林珍摄节哀。
会后，毛泽东悲痛逾常，几天内夜不能寐，写成七律《吊罗荣桓同志》：
记得当年草上飞，
红军队里每相违。
长征不是难堪日，
战锦方为大问题。
斥鷃每闻欺大鸟，
昆鸡长笑老鹰非。
君今不幸离人世，
国有疑难可问谁？
罗荣桓逝世，引起全党全军全国人民的巨大悲痛。许多人纷纷写悼诗、挽联，写信、发电报以表示悼念之情。
朱德在《悼罗荣桓同志》中写道：
起义鄂南即治军，
忠诚革命贯平生，
身经百战摧强敌，
留得丰功万古存。
叶剑英写道：
毕生战斗明敌我，
人类庄严一典型。
大业方兴公竟逝，
哀歌声里起雷霆。
叶剑英是一九六一年四月三十日军委常委会的出席者之一，他亲眼看到罗荣桓挺身而出反对林彪那一套的情景。后来到了一九七五年，邓小平从江西回来以后，叶剑英在他的寓所请邓小平、聂荣臻、林月琴和贺龙夫人薛明吃饭。席间，他和邓小平、聂荣臻几次提到林彪是靠小本本起家的，罗荣桓反对林彪是完全正确的。他在一九七八年的全军政治工作会议上又回忆说：“罗荣桓同志在世时，就同林彪作过针锋相对的斗争。罗荣桓同志对我军的政治工作有重大建树，是我们总政治部的一位好主任，是我们大家学习的榜样。”
一九六三年十二月十九日，毛泽东、刘少奇、朱德、董必武、邓小平，以及在京的中共中央政治局委员、书记处书记、人大常委会副委员长、副总理、政协和国防委员会的副主席以及解放军的高级将领，来到北京医院，向安卧在白菊花和长青草中的罗荣桓的遗体告别。赋闲住在京郊挂甲屯的彭德怀，也特地赶来向自己的老战友的遗体鞠躬致敬。处于当时的情况，他去吊唁没有见报。接着，从一九日到二十一日，首都各界六万多人络绎不绝地来到设在劳动人民文化宫的罗荣桓的灵堂吊唁。
十二月二十二日，首都各界在人民大会堂举行隆重的公祭大会。会场上布满了苍松翠柏和花圈挽联。在肃穆、悲哀的气氛中由中共中央副主席、国家主席刘少奇主祭，中共中央总书记邓小平代表中共中央、国务院和人大常委会致悼词。悼词说：
罗荣桓同志的一生，是一个光荣的共产党员战斗的光辉的一生。在他英勇奋斗的三六年中，在长期的革命战争中，在社会主义革命和社会主义建设的斗争中，他始终坚定不移地高举马克思列宁主义的旗帜，站在以毛泽东同志为代表的正确路线方面，坚决维护党的利益，维护党的团结，反对右的和“左”的机会主义，表现了共产党员的高度原则精神。
罗荣桓同志是人民解放军的杰出的领导人之一。在长期的革命战争中，在中国人民解放军进一步革命化、现代化的建设中，他都始终坚决地贯彻了毛泽东同志的政治路线和军事路线，贯彻了毛泽东同志的人民战争、人民军队的光辉思想，为中国人民革命的胜利，为我军政治工作的建设，树立了不朽的功勋。最近几年来，在进一步贯彻毛泽东同志全民皆兵的思想和大办民兵的工作方面，也取得了卓越的成就。
罗荣桓同志在一生的工作和斗争中，充分体现了马克思列宁主义的党和人民革命军队的作风，他从来相信人民群众的伟大力量，最善于动员、组织群众和依靠群众，最善于团结干部。他对革命胜利具有无限的信心和高度的革命乐观主义精神。不论是在艰苦斗争的岁月里，还是在和平建设时期，他总是和人民群众、和广大士兵同呼吸、共命运，表现了无产阶级革命战士的高贵品质，在我党我军中享有很高的威信。
罗荣桓同志对中国人民解放事业的不可磨灭的贡献，全党全军和全国人民都将永远不忘。他的坚定的无产阶级立场、伟大的革命斗争精神和深入实际、联系群众、艰苦朴素的作风，永远值得全党、全军和全国人民学习。
……
安息吧，罗荣桓同志！