政协会议确定了军党分立、军政分治、以政治军的整编原则，并责成军事三人小组尽速商定全国军队的整编办法。根据这一安排，政协会议结束后，在重庆上清寺的尧庐，国民政府参军长办公厅和蒋介石待卫处的所在地开始了三人军事小组会议。
军事三人小组由周恩来和张治中、马歇尔组成。
整军谈判是在马歇尔主持下开始的。三方人员在一大方桌前成门字形就座：马歇尔坐中，张治中和周恩来分坐左右。马歇尔只带一名华裔翻译，周恩来也只带了翻译章文晋；而张治中则带了随员郭汝瑰和廉壮秋，还有翻译皮中阈。
堪称马拉松式的整军谈判每天上午8 时开始到中午12时休会，中间休息一次，略备茶点；下午2 时开会到4 时结束。
整军谈判围绕着马歇尔所提出的整军方案进行。国共双方争论的主要问题有三个，即国共军队的比例、整编的时间和程序、整军方案的名称。
国共军队的比例问题，是抗战以来国共两党长期争论的焦点。在重庆谈判期间，赫尔利曾建议国共双方按5 ：1 的比例整编彼此的军队，但被国民党方面拒绝。随后周恩来又表示，中共愿按6 ：1 的比例进行整编，但国民党方面仍不同意。结果，重庆谈判未能就这一关键问题达成协议。
马歇尔来华后，试图突破国共保留军队数量比例的难题。在整军谈判开始之前，马歇尔经反复研究修改后，曾提出了一份整军方案草案，规定整编后国共军队的比例为5 ：1 ，即在第一期整编时，国民党军队编90个师，中共军队编18个师；第M 期整编时，国民党军队编50个师，中共军队编10个师。但中共方面对马歇尔所提之比例并不完全赞同。1946年2 月8 日，中共中央指示周恩来，在第一期整编时至少坚持中共军队编20个师，而且要力争编7 个军，并为东北部队增编三四个师。同时强调：“中国军队问题是最重要的问题，必须谨慎处理。”
2 月门日，军事三人小组召开预备会议。周思来就整军问题分十五个方面扼要地阐明了中共的立场。在谈到军队的数目问题时，他说，政府拟将中央军缩编为90个师的计划已在政协会上作过报告，关于中共部队的改编问题，在双十会谈纪要上曾载明，政府愿考虑缩编中共部队为20个师，因此，第一期整编双方军队应按90个师和20个师的数目进行。但考虑到中央军之改编为叨个师和中共军之改编为20个师原本是两件独立的事，是政协会在讨论政府改组之事时将这两个原无联系的问题联到一起了，而此事又曾使政府代表感到处境困难，因此，为了解除政府代表的这种困难，周恩来在会谈中同时还表示，他个人可以负责向延安建议：“（一）在第二期整编时不再依此比例，而另商办法；（二）愿由三人小组来商定第二期整编时国共军队的比例数。”这样，周恩来既贯彻了中共中央关于第一期整编时至少坚持20个师的指示精神，同时又暗示中共方面在军队数目问题上最终是可以让步的。
然而，张治中根本不接受周恩来所提出的方案。他认为，政府军队保留254 个师时，中共军队可编为20个师，若政府军队缩编至叨个师，中共军队应低于20个师。他提出，国共军队的比例应为6 ：1 ，即中共军队保留15个师，第二期整编时仍按此比例进行，无需另行商定。结果在三人小组预备会议上，国共双方便在军队的数目问题上发生了激烈的争执。
2 月14日，整军谈判正式开始。谈判开始前，周恩来找马歇尔谈话，转达中共中央关于军队比例的最新意见。他说，昨天有几位同志从延安来，带来了中共中央的意见，希望已规定的20个师不变更，因这已宣布了很久；但在第二期整编时，愿意维持5 ：1 的比例，即中央军为50个师，中共军为10个师。
从下午4 时起，军事三人小组正式讨论整军问题。会谈以马歇尔草拟的整军方案为基础进行。当讨论到国共军队的比例问题时，国共代表再次激烈交锋。张治中坚持他原来的意见。他声称，在重庆谈判期间，周恩来曾提出国共军队的比例为6 ：1 ，而赫尔利大使甚至提出7 ：1.虽然当时政府方面没有承认国共军队永远按6 ：1 的原则，但这的确是周恩来去年的希望。政府方面当时虽未应允这个比例，但现在可以同意。张治中说这番话的意图显然是要表明，相对重庆谈判而言，国民党方面现在所作的让步是很大的，中共应当知足了。但周恩来不为所动，仍坚持中共军队至少编为。20个师。不过，为了解决问题，他也提出了一个折衷方案，即中共军队可以加快整编的速度，而国民党军队仍照原计划进行整编，例如，国民党军队整编为叨个师需12个月，中共军队整编为20个师可缩短到9 个月。但张治中仍表示不能接受。
在双方争执不下的时刻，素有“眼前飞过的苍蝇都能判断其雌与雄，轻与重”之称的马歇尔经过揣摸双方代表的心思后，又提出了一个折衷方案，即在整编第一阶段的前9 个月，国民党军队缩编为105 个师，中共军队缩编为20个师，到第12个月、国民党军队缩为90个师，中共军队为18个师。
为了推动谈判进程，周恩来率先表示同意马歇尔所提之方案。经反复讨价还价，张治中最后表示接受按5 ：1 的比例整军。于是，三人小组就军队数目问题达成协议，商定目前国民党军队裁编为叨个师，中共军队裁编为18个师；整编全部完成后，全国军队编为60个师，其中国民党军队50个师，中共军队10个师。根据这一方案，整编第一阶段结束时，中共军队比原提之数少编2 个师，但到全部整编完成时，中共军队则比国民党所提之6 ：1 的比例多一个半师。应该说这一方案基本上是公平合理的。但蒋介石却认为，允许中共军队统编为18个师，是“政府最大之损失”。
整编的时间和程序问题，是马歇尔在整军谈判中最为关心的问题。他的基本原则是“快编”。在2 月1 日和4 日的非正式会谈中，马歇尔曾向周恩来提过他的统编原则，主张在整编第一阶段就以师为单位混编国共军队。其具体做法是，一部分军由两个中共师和一个政府师组成，军长由中共将领担任，另一部分军由两个政府师和一个中共师组成，军长由国民党将领担任；司令部则均由双方人员组成。
周恩来不赞成在整编第一阶段就混编国共军队，而是主张先平行整编。但他也没有完全否定马歇尔所提之方案。他认为，马歇尔提出的统编办法是公平的，基本上是可以接受的。周恩来在给中共中央的电报中曾说：“只要我们有信心、有魄力、有办法，以一个军长、两个师长，还怕不能影响其余一个师？至少亦不会被消灭，如此可保住6 个军。另一方面，我们抽出6 个师参加他们6 个军也可影响其一部，而不致被消灭。”所以，周恩来主张在第二期整编时逐渐试行马歇尔的办法。
但是，此时中共中央有自己的考虑。中共中央虽然准备在整军问题上执行政协决议，并打算以自己的让步来换取中共军队的合法化和国家政治的民主化，但考虑到军队问题在中国所具有的特殊意义，主张对马歇尔所提之统编办法谨慎从事，强调整编要有一个过程，最后解决需要拖一段时间。2 月8 日，中共中央指示周恩来转告马歇尔，现在只能决定第一期整编计划，第二期整编计划待第一期整编完成后再作决定。
中共中央的上述指示由于与周恩来的考虑有所不同，作为周恩来这位首席谈判代表，他既不能漠视中共中央的命令，亦无法完全拒绝马歇尔的方案。因为相对张治中所提之不分程度和级别的混编办法而言，马歇尔的方案还算是公平，且对中共也无大碍。若一口回绝马歇尔的方案，则有使马歇尔倒向张治中一边的可能，这显然会使中共在谈判中处于不利境地。在进退两难之时，周恩来巧妙地作了变通处理。在2 月11日举行的三人小组预备会议上，他以个人名义表示同意马歇尔所提之统编办法，同时也表示，由于种种原因，他不能赞成马歇尔在这次会谈中提出的整编开始三四个月后即进行混编的办法。与此同时，周恩来又于2 月11日再次致电延安，建议中共中央接受马歇尔所提之办法，以推动谈判进程。他认为如此做有两个好处，一是试验，不吃亏的话，可以继续统编；若有被吞并或形同吞并之迹象，则可以此为借口拒绝统编。这样，其曲在彼而不在我，有利于揭露国民党消灭我军之阴谋，有利于赢得舆论之同情。
中共中央在经过认真研究后，于2 月1 日复电周恩来，表示原则上同意马歇尔所提之统编办法，但同时也强调这只能在整编第二阶段进行。次日，周恩来向马歇尔转述中共中央的意见，并说明其原因是：“（一）政府军缩编至90个师需要相当时间，我方要裁减100 万人也需要时间；（二）教育问题也不简单，需要统一教育才能使统编事做得好，因此需要在第一阶段有充分的准备。”
尽管中共中央作了让步，但国民党却得寸进尺。2 月15日、16日的三人小组会议上，张治中提出了一个办法，即：国共军队整编为60个师之后，即应完成混编，即只有一支国家军队，而不应再有国军与共军之分。这实际上是想把中共军队“混一”到国民党军队中去，取消中共军队。对此，中共方面当然不会同意。而马歇尔虽表示可在整编开始6 个月后再进行统编，但仍主张在整编的第一阶段（即头12个月内）就统编国共军队。
周恩来在会谈中首先驳斥了张治中之所谓的“混编”意见，明确表示反对使用“混编”一词。他说，政协决议中只规定第一期整编时应有一定数量的政府军，说中共军队应当整编；而对第二期整军也只使用了“统编”这个概念，因此，与“军队混编”相比，我们宁愿使用“统编军”这个词，否则容易造成误解。这从表面上看似乎仅仅是名词的转换，但实际上从根本上否定了张治中之所谓的“混编”主张。因为这两个词的含义大相径庭，“统编”可以理解为统一编制，并不等于把国共军队混合，而“混编”的含义则是不分程度和级别的混合编组国共军队。几经争论之后，三人小组最终敲定，在整军协议中使用“统编”一词。
随后，针对马歇尔所提之整军进行6 个月后即开始统编国共军队的主张，周恩来在会谈中再次重申了分阶段逐步完成统编的意见。他说，在整军的第一阶段即头12个月内，国共军队应各自完成复员整编的任务，而国共军队之统编应在此后的第二阶段进行。理由是国共两党的军队在经历了18年的敌对之后，要统一在一个旗帜下并非易事，急于求成将会遇到难以克服的困难，而且，中共军队缺乏正规训练，需要准备一段时间，方能达到正规化的标准。
周恩来的发言有理有据，给马歇尔留下了“非常深的印象”。他说：“我必须承认，今天我对统编中涉及的困难比两个月前有了更深的印象。我想，关于中共军整编和训练的种种困难，关于使他们获得与已经装备齐整、训练有素的政府军的师有相同装备的问题，我承认比我在此已经谈到的还要多。”
马歇尔虽然没有理由反对周恩来所提出的分阶段逐步统编的建议，但他决不同意无限期地拖延统编的时间。在2 月16日举行的三人小组会议上，他又提出一个折衷方案：整编开始6 个月以后，先以军为单位混编，从第7 个月开始，每月编成1 个集团军，每个集团军由国共各1 个军组成，共编组4 个集团军，驻扎于华北地区；从整编开始后的第13个月起，再以师为单位混合编组。至于中共军队的正规化训练问题，马歇尔表示，美军可在解放区选定地点，举办军事训练学校，培训中共军队的下级军官，以避免影响统编的进度。
由于军队问题事关重大，周恩来对马歇尔新提之统编方案未作明确答复。当时他只是说：“我非常感谢马歇尔将军提出的构想，我们将尽最大努力统编中国军队，而不是让他们处于不受约束的地位。我们将不遗余力寻求解决办法。至于你的建议，我个人愿意给予考虑，并还要向延安呈送报告。”而张治中当时却明确表示，只要中共方面接受马歇尔所提出建议，他将尊重马歇尔的建议和看法，这就把球踢到了周思来一边。鉴于这种态势，周恩来于2 月19日飞回延安，向中共中央汇报近期谈判情况并请示对策。
中共中央认为，马歇尔所提之新方案混编级别比较高，对中共军队的影响不会太大，起码不至于发生被国民党控制或吞并的危险，而且又是在半年以后才开始实行，中共也有充分的时间观察形势和预作准备。因此，中共中央同意军队分两步统编的步骤。
这是中共又一次较大的让步。2 月21日，周恩来返回重庆。当天他便向马歇尔转述了中共中央的意见。他说：“这次回延安曾把你告我的话报告延安和毛主席。他谢谢你的好意，谢谢你努力把中国的事弄好，使中国的军队现代化，使中国走上民主的道路。延安方面相信你能把中国两方面的军队带到一个水平上合作起来。他们信任你。毛主席也赞成美国的朋友在技术方面和水平方面帮助我们的军队。关于你分两步来进行统编的建议，他们也愿意在原则上接受，即7 个月后采取集团军的办法，12个月后开始军的统编。所以你前次交我的修正案，原则上是愿接受的。”
由于国共双方都同意马歇尔所提之统编办法，军事三人小组遂就整军的时间和程序问题达成了协议。
在会谈中，周恩来还主张将宪兵问题列人讨论方案，因为这种宪兵实则就是特务，对中国民主政治危害颇深。他指出：“在整军方案中必须规定保护‘民政，使之不受宪兵之干扰，还要规定其职责以军事为限。”但张治中坚决不同意。周恩来一针见血地指出：“我不是注意宪兵力量的大小和对比，而是注意宪兵制度。宪兵到处干涉和骚扰人民。中国民主何以实现？”最后，马歇尔支持了周恩来的意见，请中共提出书面意见。在马歇尔看来，特务统治是蒋介石一党专政的表现形式，这正是他希望加以改革的。
关于整军方案的名称，是国共双方在整军谈判中争论的最后一个主要问题。马歇尔最初所拟之整军方案草案的名称是“整编中共军队并使之合编为中国政府军队的基本方案”。周恩来不同意使用这个名称。在2 月对日举行的三人小组会议上，周恩来提出，整军方案的名称应改为“军队国家化的基本方案”。理由是原名称不能包括方案中的全部内容，而且也不符合政协会议关于军事问题的决议。他说，建立军事小组是为了讨论整编中国军队，此种目的已在三人小组向蒋介石委员长和毛泽东主席所提出的建议中陈述明白，其后又被批准，这种对军事小组的解释也已在政协决议中提出；自三人小组会议以来，到目前为止，已经完成了整编中共军队为20个师的规定，而且也完成了整编部分国民党军队的规定，这实际上是一个整编中国军队的计划，而马歇尔原拟之整军方案名称与三人小组现在讨论的情况没有多大关系，涵括不了所有的内容，故宜废止，而代之以能够反映小组会谈的明白措词和协定实际内容的名称，即“军队国家化的基本方案”。
张治中拒绝作此修改，理由是这种改动违反了《双十协定》第九条的规定。他指着《双十协定》文本的第九条说，这是建立军事小组的基本原则，该条规定其职责是讨论中共军队的改编计划。其实《双十协定》第九条的标题是“关于军队国家化问题”，军队国家化当然是指中国的所有军队，国民党军队自不能例外。关于这一点，张治中本人也很清楚。早在军事三人小组会谈之初，他私下曾向马歇尔表示，他愿“使小组会议的讨论扩展到并包括整编中国一切军队的问题”。如今他之所以在整军方案的名称问题上横生枝节，诚如马歇尔在一份报告中所评论的：“会谈过程中，国民政府代表总是小心地避免使用危及国民政府军队合法地位的名称，希望强调协定的目的是为了整编和统编共产党军队。”
马歇尔见状遂又提出，名称是否可改为“中国军队复员和统编为国家军队的基本方案”。周恩来当即表示同意，但张治中仍持反对意见。张治中说，毫无疑问，周恩来会同意，但他却“不得不面临许多困难”。周恩来希望他“宽宏大量些”，而张治中又发表了一通长篇大论。张治中说：“国共谈判确定了这个军事三人委员会的权限，在已发表的会谈公报第九条中规定，由军事三人委员会草拟整编中共部队方案。在目前的会议上尽管将整编纳人这个计划，但这是政府方面的一大让步。因而，对这个问题张将军没有把握他本人是否能决定这一条。”
鉴于国共双方争执不下，马歇尔建议休会，并望着张治中那沮丧的神情幽默地说：“很对不起，张将军不得不开完这个气氛不好的会。非常希望他明天感觉好点。”
2 月22日，军事三人小组继续会商整军方案的名称问题。会谈一开始，张治中就建议将整军方案的名称定为“改编中共军队为国民政府军的基本方案”，并自我感觉良好地声称，用这个名称能使人产生“极好的印象”，即“我们正在进行军队整编，以废除任何只属于单一政党的军队，国民政府军队即将产生。”其理由是，国民党军队现在是合法政府的军队，若赞成对其进行与共产党部队同样意义的统编，将会危及国民党军队的地位。按照张治中的逻辑，‘国民党军队仅仅是缩编，不存在整编的问题，军队国家化只是将中共部队统编到国民党军队中去。
张治中的要求，中共方面根本不能同意。
周恩来又施展开了其谈判大师的水平。周恩来指出，中国武装部队的国家化不仅包括中共部队，而且包括政府方面的部队，这在政协会议的决议中说得很清楚，没有什么可争议的，张治中接受这一点应该没有什么困难，因为政协决议已为蒋委员长本人和政府其他代表所接受。再说，三人小组会议所通过的建议中也说，基本计划的制订，应包括对中国武装部队的整编，对此张治中不必负任何责任。因此周恩来表示仍旧同意使用马歇尔昨天所建议之名称，并强调，如果张治中不顾上述基础，仍认为接受这一名称有困难，那也可以不要任何名称，因为人们在阅读各段时，都能看清整军方案的内容，所以名称就不必要。但张治中仍认为周恩来这只是“非常勉强地做了极小的让步”，拒不接受周恩来的建议。
这时，马歇尔建议使用“军队复员及统编中共部队为国军之基本方案”作为整军方案的名称。虽说这个名称仍不理想，但整军谈判已接近尾声，为了避免国民党方面长时间纠缠，周恩来遂以此为基础提出折衷办法，建议将整军方案定名为“军队整编及统编中共部队为国军之基本方案”。由于这个名称照顾了各方面的利益，较为合情合理，所以得到了马歇尔的赞同，张治此时也不便反对，整军方案名称问题遂这样决定了。
2 月25日，周恩来和张治中、马歇尔在重庆上清寺尧庐正式签订了《关于军队整编及统编中共部队为国军之基本方案》。
在有三方人员和中外记者的签署仪式上，三将军均发表了演说。周恩来和张治中都表示“百分之百”实行整军方案，都盛赞马歇尔为整军方案做出了巨大贡献。张治中甚至把马歇尔称之为“和平团结之接生婆”和“政府与中共合作之媒人”。至此，整军谈判划上了句号。