1955年9月27日，毛泽东主席在中南海怀仁堂给徐向前等授勋隆隆的礼炮声，送走了黑暗的时代，迎来了新中国的诞生。徐向前没能参加天安门隆重的开国大典。此时，他因病魔缠身，在青岛海滨休养。他和夫人黄杰一起收听开国大典的盛况，特别是听到毛泽东主席庄严宣布中华人民共和国诞生的声音，更是心潮起伏，思绪万千，几十年的愿望终于实现了！
从中国工农红军创立，到新中国诞生，徐向前经历了22年战争生活，即使负伤和生病，他都没有离开过战场和指挥部。解放战争中，他抱病从延安到了晋冀鲁豫军区，在病中指挥部队，克临汾、扫晋中、战太原，终因顶不住疾病的一欢次袭击，在太原前线，肋膜炎严重复发，连续高烧不退，不得不向中央请求，辞去十八兵团的领导职务，作较长时间的休养。1949年6月，徐向前偕夫人、孩子和几个警卫人员，乘车到石家庄，打算去青岛休养。因为国民党撤退时，炸断了潍河大桥，去青岛的路不通，只好在石家庄住了一个月，待潍河大桥修复，才启程去青岛。路经济南，小住3天。这时，许世友任山东军区司令员，见到老首长分外亲热。康生任山东分局书记、山东省政府主席，特地招待徐向前一行观看杜近芳主演的《孔雀东南飞》。
7月中旬，徐向前抵达青岛，住山海关路十七号。这是一座不太惹人注目的小院，位于八大关海滨疗养区。依山傍海，绿树葱葱，风景秀丽，气候宜人。
刚到青岛，正遇上十二级台风，加上青岛才解放半个多月，社会秩序乱糟糟的。农村清算地主、恶霸，这些人纷纷跑往城里。有些人跟着国民党跑了，没有来得及跑的，都留在青岛。台风过后，山海关路前面用纸箱子搭起一些棚子，涂上蓝颜色，住着那些逃亡分子。每天晚上，有部队干部战士乘着汽车巡逻，还算安全。
1949年9月21日至30日，中国人民政治协商会议第一届全体会议在北平召开。这是一次中国共产党和各民主党派、各人民团体、人民解放军、各地区、各民族、海外华侨及其他爱国人士代表的盛会。徐向前和任白戈是第十八兵团出席全国政协会议的代表。徐向前因病未能到会。会议通过起临时宪法作用的《共同纲领》，选举中央人民政府委员会，毛泽东当选为中央人民政府主席，朱德、刘少奇、宋庆龄、李济深、张澜、高岗当选为副主席。
徐向前被选为第一届全国政治协商会议全国委员会委员、中央人民政府委员。10月19日，又被任命为人民革命军事委员会总参谋长。
徐向前没有出席会议，事先也不知道关于自己的任用。他深深体会到了中央、毛主席对他的信任和关怀。他身负重任，却不能赴职，心急如火。经多方治疗，身体未见好转。头疼病发作时，疼得在床上打滚，脑盖骨似乎要炸开一般。并发的呕吐，使他无法进食。
徐向前以顽强的毅力同疾病作斗争。经过半年左右的治疗，病情大有好转。1950年5月，他去北京参加了中共中央七届三中全会。这是建国后他第一次到北京。看到才解放半年的北京各方面的工作已经走上正规，感到十分欣慰。会议只开了4天，时间安排相当紧张。会上，毛泽东主席作了《为争取国家财政经济状况的基本好转而斗争》的书面报告和《不要四面出击》的讲话，刘少奇作了《关于土地改革问题的报告》，陈云作了《关于财政经济问题的报告》，周恩来作了《关于外交与统一战线工作的报告》，聂荣臻作了《关于人民解放军整编问题的报告》，安子文作了《关于党的组织情况与发展和巩固党的组织问题》的报告。
自1949年11月起，人民解放军就在苏联顾问的帮助下，开始组建空军、海军。此次会议确定，继续进行整编，并削减一部分兵员。作为新中国成立后的第一任总参谋长的徐向前，因病不能担负更多繁忙的事务，只能会前会后或制定文件时，谈些想法，提出军队建设的意见。中共中央的各位负责人，都关心徐向前的身体，一再嘱咐他安心休养，早日恢复健康。总参谋部的日常工作，中央军委指定由聂荣臻代行，徐向前只好向他说：“聂总，你多辛苦了！”聂荣臻理解徐总的心情，回答说：“大事共同研究，请示中央。日常工作就请徐总放心好了。”
徐向前返回青岛后，首先精简了身边的工作人员。有的人回十八兵团归建，有的复员还乡，有的转业地方工作。这些人临行前，徐向前给有关部门写了信，并分别和他们谈话，勉励他们努力工作、努力学习。这些人跟随徐向前多年，战争年代，出生入死，同甘共苦，建立了深厚的感情，大家都依依不舍。有的还表示，以后有机会，再回首长身边工作。有位去学汽车驾驶的警卫员，后来果真又要求调回当了司机。
徐向前在身体稍好一些的时候，出门到外面走走，一是锻炼腿脚和体力，二是看看青岛这座古老的城市。一天清晨，他独自一人走到海边，去看“观海楼”。据说，这是侵略者德国总督为他的女儿盖的别墅，后因蒋介石和宋美龄曾登楼观赏过海景而得名。当时，旭日东升，那座空无一人、石壁斑剥发黑的古堡，在万道金光直射下，犹如照妖镜下颓然孑立的怪物。看到这种景象，徐向前不禁吟出了“群魔已为浪淘尽，此地空余观海楼”的诗句。
中国革命战争胜利后，军队中有些人以功臣自居的情绪滋长起来，有些人经不起“糖衣炮弹”的侵蚀而堕落。身为军队总参谋长的徐向前，常常思虑着如何保持人民军队的本色。他严格要求部队和下级，更严格要求自己。
他遵循中共七届二中全会的决议，保持艰苦朴素的作风，保持战争年代与士兵同甘共苦的品质。只要身体能下得了床，就和大家一桌就餐，不许为他单独做菜；并且经常过问生活需用的开支情况，他不让买价钱稍高的食品，还常常告诫管理人员和市委派来负责采购的职工：“钱是人民的，是公家的，不能乱花！”他从不提出，也不允许下边的人要这要那。市委招待所送来东西，以及影剧院招待券，他都不让收下。他散步时看到院子里的路灯开多了，便亲手把大部分路灯关掉，并教育警卫人员说：省下电力，好让工厂多出产品。在他的影响下，山海关路十七号院子里的所有工作人员，都十分注意保持人民军队艰苦朴素、谦虚谨慎的光荣传统。
徐向前总参谋长的文件，仍放在一个连油漆都没有上过的木板箱子里。
1950年5月，徐总长去北京参加中共七届三中全会时，秘书觉得这个箱子又笨又难看，建议买一个文件包。他看了一下木箱子说：“我看这就行啦，不必买了。国家财政还很困难，去年好多地方闹了灾荒，需要政府救济，我们能节省一点就节省一点。”
还有一件小事，使当时在场的工作人员终生难忘。一天，有个老战士在换发新式制服时，见另一个成了干部的警卫员领到四个兜的上衣，而自己的是两个兜，大发牢骚。徐向前听说后，把他叫到自己的屋里，拿出节省下来的一套干部服，说：“待遇是党和人民给的，自己不应说什么，如果你感到没穿上四个兜不高兴，我这套没穿过的送给你穿倒是可以的。”见对方光摇头摆手不吭声，便又说：“我们不能进了大城市就忘记打仗牺牲的同志，要比待遇首先要和他们比。你回去好好想想这个问题。这套衣服，你愿要送给你。”那警卫员回去想了想，第二天就向他承认闹情绪发牢骚不对。徐向前高兴他说：“认识了就是好同志。我们是革命来了，不是为吃为穿。”随即又翻开一本画报，指着上面穿战士服装的朱总司令视察部队时的照片说：“你看，朱老总都喜欢两个兜的嘛！”事后这个老战士在党小组会上作了检讨。
直到许多年之后，他还牢记着这件事。
徐向前在病中，总还是以战略家的眼光注视着世界风云。他在北京出席中共七届三中全会回到青岛后，脑子里不断思考爆发战争的可能性。不出所料，6月25日，朝鲜爆发了战争。美国政府先是唆使李承晚集团向朝鲜民主主义人民共和国发动军事进攻，接着于27日，悍然派兵参战，把侵略的魔爪伸向朝鲜，并派海军第七舰队侵占中国领土台湾。在一场新的战火燃烧到祖国东北边境的严峻时刻，徐向前于9月初离开青岛迁至北京。
没有房子，他暂时住在颐和园内一处僻静的小院里。朱德总司令、董必武、贺龙、康克清等相继来探望他。谈话的中心自然是朝鲜的局势。朱总司令多次和他就军事方面作好应变准备的问题交换了意见。他们一致认为：打了几十年仗，打出了个新中国，不希望再打仗了，但是美帝国主义又要打仗，那就得奉陪到底。徐向前虽然仍在病中，但中共中央、中央军委和国务院的重要会议，他都坚持参加，每一次都提前进入会场。9月下旬的一天，徐向前又到中南海参加会议，刚坐在政务院总理办公室旁边一间会议厅的后排，周总理走进来，扫视了一下会场，指着身边一张空着的沙发说：“向前同志，你是病人，来，换个座位！”此刻，所有在场的人，都和徐向前一样，为日理万机的周总理这样细心和无微不至地关怀别人而深深感动。
这次会议，是在特定范围内先行传达党中央关于中国人民应当参战，必须参战的决定。10月8日，毛泽东主席代表中央军委，命令东北边防军改为中国人民志愿军，彭德怀任司令员兼政治委员，立即向朝鲜境内出动，协同朝鲜人民军与侵略者作战。19日晚，中国人民志愿军高举“抗美援朝，保家卫国”的旗帜，跨过鸭绿江，开始了伟大的抗美援朝战争。
当此全国军民同仇敌代，展开抗美援朝运动之际，徐向前十分希望能奋力工作。可是入冬以后，他的病情又有反复，时常发烧，头痛更是剧烈。他躺在病床上，想起6月初开会期间，毛主席见他的健康状况有了好转，曾高兴地说，可以先看一些文电，考虑一下军队建设的问题，等再过些时间，养好身体，就可以工作了。可是，没料到过了几个月，还是这个样子。他不但肩负人民解放军总参谋长的重任，还兼任华北军区副司令员。考虑到身体的状况和军队的建设，一天，当聂荣臻和薄一波来看他时，便提出华北军区的工作需要加强，他所兼任的华北军区的职务，应建议中央免除。聂荣臻便给毛泽东、朱德、刘少奇、周恩来写报告。11月1日，毛主席在报告上批示：“征求向前同志同意，如果向前同意的话，可以这样办。”同时还写了以下一段话：“向前同志：前次见面时，我说可抄一些报给你看。后来我觉得你还是静养，不看电报为好。故未叫机要处抄给你。”
毛主席的关怀，使徐向前异常感动。他当即向毛泽东、朱德、刘少奇、周恩来写了回信，说他兼华北军区副司令员的职，也是挂了个空名，实际自己又不能到军区做一点点工作，因此由别的同志担任这一职务为好。并提出聂荣臻、薄一波的意见他完全同意。因聂老总也忙于军委工作，对军区工作必然放松，若由其他同志任副司令员后，军区工作即可加强。
尽管中共中央和中央军委许多人一再关照，要徐向前少工作，静心养病。
然而，他不能不为战局分心，为军队的现代化建设操劳。并且经常接待一些在北京工作或是来北京开会、出差而前来探望他的老战友、老部下，实际上很难休息好。朱总司令了解到这一情况，一天，特地交待医护人员：“你们要保证徐总长充分休息好，来探望的客人，要婉言谢绝。你们的治疗、护理工作，也要精心做好，让他尽快康复，这是党交给你们大家的任务，希望大家认真负责完成。”
徐向前在焦急、希望和期待中送走了又一个寒冬。
春天，给万物以活力，也给徐向前的身体带来了生机。天气转暖，他的气色就好多了，体力也强壮了许多。大家都期望他早日康复，一个新的使命在等待着他。
1951年5月25日。在北京通往莫斯科的列车上，总参谋长、中华人民共和国兵工代表团团长徐向前正闭目凝思。他正肩负着毛主席赋予的重大使命前往苏联。
徐向前这一次出访，是毛泽东亲自安排的。那是“五一”节之后的一个夜晚，徐向前和夫人黄杰正在庭院里散步，忽然，中央办公厅通知，毛泽东主席约见徐向前。毛主席深夜约见，定有要事。徐向前急忙驱车前往中南海。
毛主席正在办公室和统战部长李维汉谈工作。见徐向前到来，中断了谈话，迎到客厅门口，一边招呼他坐下，一边亲切他说：“近来身体好一些吗？
我看气色比上回好一些喽！“
徐向前回答说：“天气一暖和，就好多了。我感到可以工作啦。”
毛主席微笑着说：“那你就作一次长途旅行吧，跑得远一点，坐趟火车去莫斯科。好象你还没有出过国吧。以前我也没有出过国，前年底去莫斯科住了两月，还是头一回哩，那是冬天，很冷，现在已经立夏，你去身体不要紧吧？”
徐向前说：“没有问题，请主席尽管放心，交给我任务，一定努力完成。”
毛主席讲了中共中央的决定和意图，要徐向前去苏联谈判：一是购买武器装备；二是多搞点技术项目，发展自己的兵工厂。并说代表团人员组成及具体方案，由政务院负责组织准备，具体细节问题，他们会向你汇报的。
毛主席习惯夜晚工作，看样子还有许多事，工作很忙，徐向前不便过多地打扰，领受了任务，就匆匆告辞了。
新中国成立后，人民解放军进行了大规模的剿匪斗争，相继解放了舟山群岛、万山群岛。国内战争基本结束，海军、空军和各军兵种机构相继组建；开始了向正规化、现代化进军。而在朝鲜战场上，大战方酣。在这样的形势下，中央决定，准备向苏联购买一部分步兵常规武器装备，同时商请苏联政府给予某些技术转让，以及帮助中国建设新的兵工厂，并使新工厂能及时投入某些统一制式武器装备的生产。经与苏联政府交涉，双方达成协议，由中国派出代表团，前往苏联进行谈判。徐向前是政务委员，又是总参谋长，并且在国防兵工建设方面提出过很好的建议。因此，中央在研究赴苏谈判代表团团长提名时，首先就想到了他。只是对他的身体状况是否适宜还有所顾虑。
为此，朱德征询过医生的意见。医务人员作了慎重研究，认为徐向前的身体比以前好多了，出国一趟是可以的。
在毛主席那里谈话之后，徐向前径往彭德怀处，商谈了代表团组成及有关事宜。
经过一个短时间准备，代表团正式组成，定名为“中华人民共和国中央人民政府兵工代表团”，团长徐向前，团员有长期从事军工工作的机械工业部副部长刘鼎、科技专家钱志道、总参作战局副局长张清化、炮兵参谋长贾涛，中国驻苏使馆商务参赞江泽民和武官吉合等。
火车剧烈的冲撞声，打断了徐总的思绪。他眺望窗外，见麦浪滚滚，丰收在望，甚感欣慰。他首次出国，又是第一次到中国东北地区。出于习惯，他十分留意地形及沿途风情。从他的两段日记中可以见到一斑：5月25日，代表团从北京出发。火车由西而东，穿山海关，到沈阳时，高岗、贺晋年到车上来见，谈及东北正在讨论厂长制和党委制哪种制度较好，尚未得出结论。火车续行过哈尔滨，见松花江以北，一直到海拉尔，平原广阔，人烟稀少，而兴安岭以东则气候较热，土肥水丰，农民多种水稻。
28日，过满州里。风沙颇大。这里是中苏两国交界处，铁丝网重叠，我国境内，张作霖和日本人修筑的工事遗迹，仍然依稀可见。
进入苏联境内，村庄稀少，沿线高大的样木林遮天蔽日。到赤塔，西伯利亚俄罗斯人的中式木屋，别具一格。过贝加尔湖时，铁路依悬崖峭壁迤行，可俯视贝加尔湖。山顶积雪未化，平原地冰雪消融。湖边停泊捕鱼小木船。
当地产松柏木黄鱼，味道鲜美可口，别有风味。伊尔库茨克位于安加拉河两岸，水清林绿，风景佳美，工业发达。过西伯利亚时，气温较低，经鞑靼斯克、鄂木斯克、秋明到雅尔，改为莫斯科时间，时差较大，北京时间夜12时，仍见太阳之霞光。
6月4日上午10时，徐向前一行抵达莫斯科，受到苏联总参谋长什捷缅科大将的热烈欢迎。代表团下榻莫斯科大旅馆。
下午，徐向前率领的代表团到苏军总参谋部，说明代表团的任务，商讨工作日程。苏方对此次谈判十分重视，组成了以什捷缅科大将为首，包括副总参谋长马兰金等人的代表团。什捷缅科说：斯大林给苏军总参谋部的任务，是要帮助中国把军队建设好。并说，这个任务，主要由他负责。
什捷缅科身材魁梧，标准的军人风度。卫国战争时期，他主持苏军总参谋部，参与了重大战役计划的制定，以办事干练、效率高，受到斯大林的赞赏和器重。
双方代表团经过3天紧张、友好的协商，拟定了七项工作程序，具体项目由双方代表团的专家们磋商，重大事项举行高一级的谈判。
双方总参谋长一级的谈判，举行了3次。那时中国军队的现代化尚未举步，因此谈判的方案准备得比较粗略。苏方十分重视军队的编制问题，谈判之初，什捷缅科大将详细阐述了对中国人民解放军兵团、军、师编制的初步意见。强调以师为单位，重点是师的编制。苏方认为，现代化战争，必须有强大的火力和健全的后勤组织，依据当时情况，还不可能做到完全机械化，师的火炮以汽车牵引，团以下的火炮以骡马驮载。师必须编坦克自动炮团，如财力有限，宁肯少编几个军，也应将师的坦克团编起来，等等。
据此，徐向前电告中央，提出是否参照苏方对中国人民解放军步兵师的编制意见，初步确定军队的编制方案，以便通盘考虑购置装备的问题。6月下旬，中共中央派高岗赴莫斯科，带去了60个师的装备订货单，由徐向前转交苏方。
此后，关于军事订货、转让兵器技术资料、援建军工工厂等问题的多次会谈，均几经周折，断断续续，直至10月中旬才达成协议。在此期间，因朝鲜战场的急需，国内经常给徐向前发电，指示代表团向苏方要求增加或变更定货项目。苏方往往不能及时答复，会谈竟拖了数月之久，徐向前心里着急，曾发报向毛泽东反映。毛泽东复电：“不管怎样，耐心等待，要把技术学到手”。
9月底，徐向前又受国内委托，同苏方商谈了向苏联派遣军事留学生的有关问题，如供应标准、服装及结算办法等等。
1954年，徐向前任中央人民政府人民革命军事委员会副主席
徐向前事前没有想到，谈判会变成马拉松式的。大概是因为紧张的缘故，当时腰酸背疼，头疼也常常发作。直到10月份，装备定货单才正式定下来。
60个师的定货，除1951年运交10个师的外，其余50个师的，从1952年初起，每月运1个半师的，到1954年上半年，计划分34个月全部运完。兵工生产一事，因为牵涉的问题多，比较复杂，苏方迟迟未作答复。10月3日，苏方才答复于10月下旬派一为数五、六个人的兵工专家小组来中国考察。国内电告，徐向前代表团中的兵工人员，可以同他们一道回国。
兵工代表团在苏联谈判期间，苏方曾邀请徐向前等去各处参观。他们参观了冬宫以及工厂、博物馆、院校，瞻仰了列宁逝世前住过的小山村，观看了苏联艺术家的表演，有时也到野外郊游，到莫斯科河畔散步，还到了列宁格勒、斯大林格勒、斯维尔德洛夫斯克及中亚细亚海滨等地。
徐向前所到之处，处处可以看到苏联人民在反法西斯战争中所作出的巨大牺牲，看到苏联人民为医治战争的创伤所作的努力。战争中，苏联牺牲了2000万人。陪同代表团的军事顾问柯道夫中将，两个儿子都在战争中牺牲了，只有两个女儿留在莫斯科。旅馆、博物馆的接待人员多是妇女和残疾人员，有的断臂，有的跛腿，都是战争带来的苦难。战争刚结束五年多，国家的经济建设和人民生活都有许多困难。代表团到斯大林格勒参观，看到的是一片断垣残壁，工厂刚开始兴建。人民群众吃的是黑面包，还要排长队购买。
到工厂参观，送给看门人一支香烟，他就高兴得不得了。在十分困难的情况下，苏联政府仍然承担起支援世界各国革命的国际主义义务，是令人钦佩的。
代表团身居莫斯科，深深感受到，苏联人民对中国人民是友好的。代表团每到一地，都受到热情欢迎和接待。苏联人吃的是黑面包，给中国代表团成员吃白面包。招待代表团的香烟，七八个卢布一盒，真可说是上等招待了。
有的地方包饺子招待中国客人，皮很厚，还拌有酥油，味道不怎么样，但却体现了主人的盛情。布尔加宁曾接见徐向前和高岗，当时，金日成首相也在座。布尔加宁在谈话中表示，愿意为中朝两国人民的抗美斗争提供援助。只要能办到的，一定援助。同时，也暗示，他们也有困难，不能满足要求的地方，希望能够谅解。
代表团成员中，有人对苏联对中方要求迟迟不作答复有意见。徐向前对代表团的成员们说：“人家也有人家的困难，我们所提要求，也有过高过急的地方，也有不切实际之处，对人家的困难应该体谅。”
代表团参观了苏军斯大林装甲学院和战术射击学院。苏联战后十分重视院校建设。斯大林装甲学院规模很大，教学设备齐全，有藏书百万册的图书馆。徐向前参观得很细，从上午11时，一直参观到下午3时半，才看了三分之一。徐向前对这些学院理论与实践并进的教学方法十分欣赏。因此，他向中央建议，多派一些留学生去苏联学习。
整个谈判期间，徐向前坚持友好方针，以大局为重，以团结为重，对苏方个别人的傲慢行为，也进行了有理、有节的斗争。
苏联是最先建立的社会主义国家，在反法西斯战争中作出了突出的贡献，因而受到各国人民的敬仰，因此也助长了某些人的骄傲情绪。在谈判中，有的人表现出大国主义态度。有一次谈判，什捷缅科对王秉璋（因需要谈判而增加的代表团成员）回答问题不满意而当面出言不逊。徐向前团长十分生气。回到住地，就把柯道夫找来，严厉指责了对方的无礼行为，让他回去向上级转达。柯道夫也没有办法，只好当“和事佬”。
10月24日，徐向前结束了苏联之行，率代表团由莫斯科回国。11月6日，进入满州里，在列车上举行酒会，庆祝十月革命节。由于长时间劳累，徐向前感冒发烧，继而并发肋膜炎，车到长春，他就住进了长春空军医院。
周总理得悉后，当即派卫生部副部长傅连璋率医疗组乘专机到长春，将徐向前接回北京医院治疗。徐向前的莫斯科之行，圆满完成了中共中央赋予的任务。双方代表团签署的各项协议，为中国人民解放军的正规化建设奠定了初步基础。代表团也是新中国派往苏联的第一个军事代表团，为增进中苏两国军队的友谊作出了积极的贡献。
中华人民共和国成立后，中国人民解放军开始了由低级阶段向高级阶段转变的历史进程。军队正规化、现代化建设的任务提上了议程。在中国人民政治协商会议第一次会议上，毛泽东就庄重地提出，“我们将不但有一个强大的陆军，而且要有一个强大的空军和一个强大的海军。”1953年底召开的全国军事系统党的高级干部会议，确定了把军队建设成一支优良的现代化正规化革命军队的总方针和总任务。徐向前领兵作战20多年，就是在战争极度紧张的年代，他都把军队建设、军事素质的提高视为不容忽视的大问题。如今新中国成立了，军队既要保卫国家的社会主义建设，又要加快自身的革命化、现代化、正规化建设。他十分关心着军队发展的方方面面。可是，自从去苏联回国，他几乎是一病不起，肺病、肋膜炎、偏头疼症接连发作。在1952年到1953年这2年多内，他先后在北京、武汉、杭州治疗养病，以极大的耐心，和多种疾病作斗争。按医生的话说，病情总算稳住了，但彻底好转要很长的时间。1954年9月，中共中央决定成立军事委员会，由毛泽东、朱德、彭德怀、林彪、刘伯承、贺龙、陈毅、邓小平、罗荣桓、徐向前、聂荣臻、叶剑英等12人组成，毛泽东任主席。在毛泽东主持的第一次军委会议上，决定建立军委集体领导制度，一般情况下，每周举行一次例会，由彭德怀主持。
徐向前身体极度虚弱，头疼病发作起来，不能吃饭，不能睡觉，两手抱着脑袋满屋走。战争年代，他头疼发作时，常常拿着手枪柄敲击头部，敲得麻木了，才得安静；如今那办法不灵了，就吃点止疼片，在地上走走，走得身体累了，躺下喘息一会才慢慢安静下来。就是这样的身体，他仍象战争年代一样“任务重于生命”，军委的例会很少请假，积极参加治国安邦、整军建军的伟大事业。有时开会中实在支撑不了时，才到休息室休息一会儿，吞片药，继续参加讨论问题。彭德怀发现了徐向前被病折磨得不轻，劝他说：“徐总，不必硬顶着啊，身体实在不行，我替你请假嘛。”徐向前说：“谢谢彭总，不能参加会我会请假的。”话是这么讲，事实上他几乎是每会必到。会议的大多数议题是理顺军队机构、建立和完善各种规章制度。徐向前经过深思积极提出意见。
全国军事系统党的高级干部会议，曾就军队的组织编制、加强部队的训练、加强党委的集体领导和首长分工负责制，以及实行义务兵役制、薪金制、军衔制等问题进行过讨论。军委成立后，经过深入讨论，一项项落实。从1955年军队开始实行义务兵役制度、军官服役制度、军衔制度和勋章奖章制度。
徐向前参加了这些制度的制定研究。
徐向前在参加军委集体领导的同时，还分工管空军防空军的工作。1955年4月12日、13日，他在中南海居仁堂主持会议，研究防空军与空军的组织机构及作战指挥、组织协同问题。出席会议的有副总参谋长陈质、空军司令员刘亚楼、防空军司令员杨成武，防空军副司令员谭家述，总参作战部部长王尚荣、总参军务部部长苏静，以及苏联总顾问彼得鲁塞夫斯基将军及防空、空军首席顾问。会议强调建设防空军的重要性，提出防空区的划分因地制宜，不要强求和大军区的划分一致。大体与空军一致。需要的加强，暂时不需要的，可以建一个小的防空机构，逐步予以加强。武汉地区的防空没有基础，可先建一个防空师。防空军干部奇缺，除从军区选调一批，以配齐主管干部外，要调整几所学校给防司，加强干部的培训。军区空军、防空军由军区和军委空司、防司双重领导，军区首长全面负责。当时，飞机很少，防空军没有自己的航空兵，因此，除地面防空由防司负责外，歼击机的使用，由军区防司和空司协调，或设联合指挥所，或由防司提供情报，空军指挥歼击机。这仅是在飞机少的情况下，在指挥上采取的临时措施。会议解决了空军、防空军组织机构和指挥关系上迫切需要明确的问题。
1955年9月27日，在北京中南海怀仁堂隆重举行授予元帅军衔及勋章典礼。朱德、彭德怀、林彪、刘伯承、贺龙、陈毅、罗荣桓、徐向前、聂荣臻、叶剑英荣获元帅军衔和八一勋章、八一奖章。中华人民共和国主席毛泽东亲自为元帅们授衔授勋。
徐向前是人民解放军的缔造者之一，卓越的军事家。但他谦虚谨慎，从不居功。从被授予元帅那天起在以后许多年，他常说：“我们这些人是幸存者，许多战友牺牲了，如果他们不牺牲，元帅、将军应该是他们的。”他抱着多病的身躯，拼全力工作，在生活上不要过高的照顾，把配发的两部车退回一辆，听说三座门招待所要买地毯，他把家中的新地毯让人卷了送去。因病要加强营养，组织拨给些补助金，他命人退回。他唯一的要求，是能为军队建设多做些工作。
从新中国成立到1956年，在党的过渡时期总路线的指引下，国家的社会主义建设取得了辉煌的成就。徐向前在中共八大的发言中，高度评价了党的总路线和建国以来取得的成就。他说：“我们党在民主革命彻底胜利以后又及时地提出了社会主义革命阶段的总路线。这个总路线既反映了从资本主义过渡到社会主义的一般规律，也反映了在中国条件下所存在的某些特殊的局部的规律。因此，他同样是马克思列宁主义的普遍真理与中国革命具体实践相结合的产物。几年来我国社会主义改造与社会主义建设的巨大成就充分证明了这个总路线的正确性。”在国家建设稳步发展的同时，军队现代化、正规化建设也全面开展。军队的建设，在健康的轨道上稳步前进。一系列规章制度健全起来，部队的编制、体制逐步理顺，武器装备也逐步配套、更新，部队的现代化建设展现了新的面貌。以后许多年徐向前常说彭德怀主持军委工作的这个时期体制是合理的、高效率的。
从1957年开始，军队的现代化正规化建设走上了曲折的道路。先是整风运动和反“右派”斗争扩大化，而后是“大跃进”运动。“左”的指导错误和许多“左”的行为，给军队建设带来了严重危害。这期间，徐向前肺病虽然好转，偏头疼症仍不断发作。他很少去外地，住在北京东城区史家胡同一座不起眼的小院里。全军的干部战士，很少能从公开的报刊上见到徐向前元帅的名字。1957年3月，总政治部公开出版的《解放军战士》杂志上，刊出记者的一篇专稿《在徐向前元帅家里）。文中从一些生活小事，介绍了这位元帅的艰苦朴素生活和严格的家风，透露了徐向前身体不好的情况。作者有这样一段描述：“……当我从徐向前元帅家里出来的时候，望着门前小巷口走过的人们，心里禁不住想：过路的人们，你知道吗？在这个普普通通的住宅里，住着我们国家的一位元帅，他，日夜关怀着人民生活，军队的建设；操劳着国家大事。但是，他又和我们国家一个普通的公民一样，度着极为俭朴的生活……”
这篇文章，在全军引起了强烈反响。40多天里，编辑部收到400多封信件，干部战士纷纷赞扬徐帅的高尚品质，表达向老帅学习的决心。一些当年跟随徐向前南征北战的老部下，也纷纷写信向徐帅转达他们的敬意和问候。5月20日，病中的徐向前亲笔给《解放军战士》编辑部写信，信中表达了对大家的希望和勉励之后，写道：“我虽因病魔缠身，暂时不能和同志们一起担负起我应负的责任，但我的心，一时一刻也没有离开过同志们！”
1958年5月27日至7月22日在北京召开的军委扩大会议，错误地批判了所谓的“教条主义”。1959年8月的庐山会议和中共八届八中全会，又错误地批判彭德怀。军队工作中“左”的错误不仅得不到纠正，而且愈演愈烈。
林彪就在这种形势下，出任国防部长并开始主持军委工作。1959年9月，中共中央政治局决定成立新的军委。主席毛泽东，副主席林彪、贺龙、聂荣臻；军委常委为：毛泽东、林彪、贺龙、聂荣臻、朱德、刘伯承、陈毅、邓小平、罗荣桓、徐向前、叶剑英、罗瑞卿、谭政；军委秘书长为罗瑞卿。军委日常工作由林彪主持。根据林彪的提议，刘伯承、徐向前分工管理战略问题的研究，在军委之下成立一个战略问题研究组，刘伯承、徐向前任正、副组长。
这个战略小组一直延续到文化大革命（粉碎“四人帮”后成立军委战略委员会，徐向前任主任）。在军委常委之下，设立一个由罗瑞卿、谭政、杨成武、肖华、邱会作、肖向荣等6人组成的办公会议机构，负责处理军委日常事务。
以后又增补张爱萍为办公会议成员。
徐向前分管战略研究工作后，大部分精力放在战略问题研究上。总参作战部战略研究办公室派了专门的联络员，经常向他汇报作战方面的情况。有关战略方针问题、战争准备（包括人力物力动员）问题、战场建设问题，徐向前都积极慎重地提出意见。每一条意见和设想方案，都关系到国家的命运、军队的成败。因此，徐向前常常为一个问题彻夜不眠，这不能不使他的病体受到损害。但是，他往往忘记了自己是个病人，常常不听医生劝告，为军队的建设呕心沥血。1962年10月，他住进301医院后，在病床上仍关心着前线的情况，多次听取总参作战部的汇报。在保卫祖国边疆的斗争中，在人民解放军革命化、现代化、正规化建设进程中，每一胜利，每一步都凝聚着徐向前无帅的心血和智慧。
“我们的反侵略战争，只能是人民战争。民兵在人民战争中，具有十分重要的战略地位。它既是正规军的补充源泉，又是正规军的得力助手。在平时生产建设、抢险救灾、维护社会治安等方面，它是一支组织起来的突击力量。”①徐向前在《历史的回顾》中，对民兵的地位和作用作了这样的论述，这是他军事思想中的重要方面，也是他长期主持民兵工作的经验总结。
新中国成立后，中央军事委员会确立了野战军、地方武装和民兵三结合的国防体制。1958年，毛泽东针对美帝国主义在台湾海峡制造紧张局势和台湾国民党当局“反攻大陆”的叫嚣，向全党、全国发出了“大办民兵师”的号召，在北戴河召开的中央政治局会议上，通过了《中共中央关于民兵问题的决定》，作出了“全民皆兵”的重要决策。1959年11月，中央军委决定成立民兵工作组，罗荣桓任组长，张爱萍、甘泗淇任副组长，以加强对民兵工作的领导。1960年4月，在北京召开规模盛大的全国民兵代表会议，到会代表6000余人。1961年7月，军委又决定将民兵工作组扩大为军委人民武装委员会，罗荣桓任主任，张爱萍、甘泗淇、傅秋涛任副主任。
在“大办民兵师”方针的指导下，中国的民兵建设蓬勃发展。到六十年代初，全国民兵发展到1. 6328亿人，武装基于民兵达456万余人。工厂、农村、大专院校普遗建立了民兵组织，民兵工作逐步走向制度化、普遍化、经常化。民兵，已成为一支“召之即来，来之能战”的强大后备力量。
但是，“大办民兵师”、“全民皆兵”在当时也不能不受“大跃进”的影响，许多地区一哄而起，采取了高速度、高指标、强迫命令的办法，民兵数量水分很大，工作并不踏实。所以从1959年末开始，中央军委采取了一系列纠正偏差的措施。
1962年，毛泽东到中南地区视察时指示：民兵工作要做到组织落实、政治落实、军事落实；民兵武器要修理好。天上掉下来的，地下冒出来的，怎样对付，要有些办法。民兵组织一定要搞好，班、排、连、营编组好，要有强的干部；民兵在政治上一定要可靠，特别是基干民兵，要搞些训练。一有情况，能呛喝拢来。
为贯彻落实毛泽东主席的指示，总参谋部、总政治部先后召开了沿海七省民兵工作会议、少数民族民兵工作会议、城市民兵工作会议。正当全军深入贯彻“三落实”指示时，1963年12月，罗荣桓元帅因病逝世。中央决定由徐向前主管民兵工作。1964年8月，正式任命徐向前为军委人民武装委员会主任。
1964年，农村的“社会主义教育运动”已经全面铺开。中共中央要求，把整顿民兵组织，作为这一运动的一项重要内容，认真解决民兵组织不纯的问题。毛泽东多次发表讲话，强调指出：地方党委要搞军事，不可只管文不管武，只管钱不管枪；搞“四清”要把民兵搞好。刘少奇主席也指出：要通过社会主义教育整顿民兵。因此，徐向前主管民兵工作后，即要求各省军区、军分区抽调足够数量的干部，积极参加社会主义教育运动，在社会主义教育运动中搞好民兵“三落实”工作。为结合运动切实贯彻“三落实”的要求，1964年10月，总政治部召开了全军民兵政治工作会议。次年5月，徐向前在军委①徐向前：《历史的回顾》。解放军出版社1988年第一版，第817页。
作战会议上，作了关于民兵工作的发言。7月，总参谋部、总政治部又召开了全国民兵工作会议。各大军区、省军区、军分区、县人民武装部，以及各地方党委和人民武装委员会都做了大量的民兵工作。深沉地思考，不断地调查研究，徐向前敏锐地发现，一些地方，特别是农村，在贯彻“大办民兵师”
的口号下，出现了一些脱离实际的做法。农村以村为单位，基本上是“村自为战”，不可能经常把各村的民兵组织在一起；但是，有的地方“大办民兵师”搞成了县长兼民兵师师长、县委书记兼民兵师政委；民兵组织实际上搞成了一些空架子。徐向前深思熟虑，明确提出“民兵工作应当以班、排、连为基础”，“民兵主要还是搞基层”。这个思想，与当时耳濡目染、习以为常的要“大办民兵师”显然有别。这在当时政治斗争已经相当复杂的情势下，如果缺少敢于坚持真理的勇气，或者稍微抱有一点个人得失的考虑，那是难以做到的。关于“大办民兵师”的问题，徐向前和主管民兵工作的副总长彭绍辉等有过详细谈话。他说：“这个问题，我想了很久。毛主席说要‘大办民兵师’是个口号，并不是把‘师’都搞起来。县长当师长、书记当政委，靠两个人抓什么东西？师长政委解决什么问题？主要靠省军区、军分区，由他们来储备干部。民兵能搞到营，能把整营整营拉出来，也就不错了。空架子，抓不到。真正有事，能以连为单位拿出来就很好。民兵很分散，他们的活动，主要在基层，在班、排、连。以师为单位的活动很困难。正规军也不能成师在一块活动。平时不能搞那么多师团架子，战时也不需要搞两三千个师。苏德战争时，苏联只有300个师，只要不断补充就行了。民兵工作的中心任务是搞好生产，不能妨碍生产，要促进生产，把它搞大了，反而妨碍生产。”彭绍辉和总参谋部几位分管民兵工作的干部听了徐帅的谈话，认为问题重要，讲得合情合理，应该向军委正式反映意见。
1964年10月24日，徐向前正式向军委作了报告。军委常委会议通过决议：“同意徐向前同志意见，民兵工作现在还是抓基层为主。”
1964年，山东省民兵大比武，显示了民兵训练的优异成绩和民兵的强大威力。但在这之后，大比武之风有向全国蔓延的趋势。各省、各军区都积极筹备举行规模庞大的比武活动。12月30日，总参动员部领导人在广州向徐帅汇报工作时，谈到了1965年的比武安排。徐帅说：“明年各大军区、各省都要比武好不好？基础没有打好就盖大楼，行不行？”“我的意见是反对，现在不能搞比武，过两三年后再搞。究竟大军区搞不搞比武，值得研究。”
总参谋长罗瑞卿认为徐帅的意见好，表示完全同意，批示说：“民兵比武，明年不搞，以后也不要搞。”
徐向前坚信“兵民是胜利之本”，坚信民兵在未来反侵略战争中的伟大作用，坚信搞好民兵建设是社会主义事业发展必不可缺的。在他的关怀下，民兵工作健康地发展。工作的缺点和失误得到纠正，好的经验得到推广，一些全国驰名的老典型有了新的发展。如被华北局和北京军区授予“红旗民兵营”称号的河北无极县郭庄民兵营；被中南局和武汉军区授予“英雄民兵营”
称号的河南济源县留庄民兵营；被中南局和广州军区授予“港口英雄民兵连”
称号的广东惠阳县港口区基干民兵连；被华东局和南京军区授予“红旗民兵团”称号的江苏海安县角斜民兵团，连续几年被评为民兵工作“三落实”先进单位。他们的共同特点是思想作风好、组织队伍纯、军事技术精。在老典型的带动下，各地掀起了比、学、赶、帮的热潮，涌现了一大批先进单位。
如江苏南通地区开展“学角斜，赶角斜”的活动，使全分区26个公社112个大队民兵组织的落实情况，基本上达到先进单位的水平。据不完全统计，经过整顿，民兵组织落实或基本落实的达到百分之八十到百分之九十。
1965年5月，军委召开作战会议。徐向前作了关于民兵工作的专题发言。
7月，又在民兵工作会议上发表讲话，系统地阐述了民兵工作的重要原则。
他强调巩固民兵工作“三落实”的成果，保证持续稳定的发展。他说：“整个四清运动是个历史阶段，不管它分几批，我们军队都要坚决地派人参加，要以主要的精力去抓民兵工作，并且始终如一，坚持到底。”“我们好多工作，一下轰动起来很容易，但是过了一个时期气就慢慢地下去了，像皮球一样，放久了它就慢慢地软下来了。这是不合乎战备要求的，所以搞起来以后，还要研究怎样巩固它，这是个很重要的问题。”他对大军区领导说：“希望你们的两只手，一只手狠狠地抓正规部队，一只手狠狠地抓民兵；两只眼睛，一个眼睛看正规部队，一个眼睛看民兵。要眼观四面，耳听八方。
只有这样，打起仗来，一声号令就有了部队。他对有些单位民兵工作脱离生产的倾向提出了严肃的批评。他说：“青岛有个工厂，那里的民兵，有的一年用一百好几十天，甚至三分之二的时间，去搞民兵活动，不参加生产。他们原来是‘三好工人’，‘五好工人’，‘红旗标兵’，成份也好，思想意识也好，所以就挑他当民兵。可是，从搞民兵以后，把生产忘记了。结果怎么样呢？到评先进人物时，他原是先进人物，却评不上，群众不拥护，反对。
评奖励，群众也反对。他们没有参加生产，怎么能发什么奖呢？“”民兵主要是把生产搞好，要把这个摆在第一条。我们做民兵工作的同志，永远不要忘记这一条。“”民兵训练主要是小型的、分散的，要利用农闲的时间，或者假期。“”大型的训练尽可能少搞，不要常搞。“他引用总参动员部长傅秋涛蹲点的江苏新安镇的例子，说明民兵工作要带动生产的发展：”新安镇三千多户，原来很落后。四清以前，那个地方种地瓜，农民的收入，每人一年平均只有七块钱，粮食有时不够吃，三四年来靠国家补贴。那里的民兵也很复杂，搞不起来。这次去搞好了，主要把民兵组织起来了。抓起民兵来就带动了生产，搞了几千亩稻田，生产面貌大大地改变了，群众也大大进步了。“
他要求省军区、军分区、武装部给地方党委当好参谋。经常注意蹲点，搜集材料，研究问题，提出建议；他要求总政治部为省军区、军分区配备一些身强力壮的干部：鼓励民兵利用假日搞点义务劳动，建点简易仓库，把民兵武器保管好；要求各地办好报纸、刊物和广播，搞好民兵的宣传工作。1965年11月，徐向前率领工作组到浙江；12月，又到广东等地视察民兵工作。在视察和调查研究中，他亲自了解杭州工厂的民兵工作情况，解剖了三个“麻雀”：一个是“四清”以前和以后一直搞得比较好的闸口发电厂；一个是“四清”前只是纸上编兵，“四清”后民兵的组织和政治比较落实的海潮橡胶厂；一个是“四清”前民兵工作有名无实，“四清”后草率地动员、简单编组了事，需要补课的轴承厂。在广东，着重了解了花县的民兵工作。他在接见浙江省地市县武委会主任会议部分代表时发表了讲话。他首先讲了国际形势，谈到毛泽东在中央工作会议上提出的“备战、备荒、为人民”的方针。他强调：我们就是要做到“寓兵于民”、“藏粮于民”。
1966年3月，广州军区召开省军区系统四级干部会议，检查贯彻毛主席关于民兵工作“三落实”指示的情况，总结交流经验教训。徐向前到会作了指示。他指出，1964年毛主席提出民兵工作“三落实”以后，各级党委既抓文又抓武，民兵工作大大向前推进了一步，起了质的变化。经验证明，要搞好民兵工作“三落实”，就要依靠党，依靠群众，抓基层、刻样板，点面结合，以点带面，这是最高明的领导。这个讲话，正是几年来抓民兵工作“三落实”的经验总结。
正当民兵工作克服一哄而起带来的弊端，稳步向前发展的时候，“文化大革命”开始了。在十年动乱中，民兵建设受到了严重的摧残，陷入混乱、瘫痪状态，有的甚至为林彪、江青反革命集团所利用。直到1976年粉碎“四人帮”后，民兵工作才又走上了健康发展的轨道。