为彻底纠正“招兵买马”的错误扩军方式，对新扩充部队进行整顿，解决组织不纯、成分不纯等问题，东北局领导人提出了实行新老部队合编的建军原则。
关于“新老合编”问题，彭真、程子华早有意识，因此，提出得最早。还在1945年10月19日即注意到了。如在《关于黄部与新部队合编等问题的电示》中他们就曾指出：运昌：……黄永胜所属教2 旅之第1 团留锦州与新部队混编，并由你们具体商定。
彭、程10月19日但此时的新老合编方式主要是采取混编的形式，即新老部队均按原建制混合编成，故“招兵买马”而来的部队因此保留了下来，这就留下了叛乱的基础。“
10月23日，中共中央领导人在关于黄（永胜）、张（秀山）所率两个团留热河开展工作给林枫的指示中因看到了新扩充部队成分太杂等问题，也提到了新老合编问题。该电说：承德、平泉之线苏军已撤，我在热河尚无主力并无人主持；国民党军队已到北平，可能很快向古北口、承德进攻，如热河被国民党控制，对我整个局势将极不利。因此，决定黄永胜、张秀山及其所率之两个团，并干部200 人，即留热河，迅速与新发展之部队合编，并建立政权，发动群众，准备作战。
根据中共中央以上指示，热河区分委于10月26日部署了新老部队的合编工作。该部署具体内容为：……热河主力为两个旅，共约9000人（地武在外），大部是新发展起来的，老基础只1000多人，又因干部太弱，不易掌握，不能很快执行战斗任务。
……黄张带过来的两个团，均为老部队，基础很好，急需人员和武器装备。
……为此，我们准备以黄张之两个团为基础，同原热河两个旅合并，以充实和加强这两个旅作为机动部队。
10月四日，承德地区的新扩部队也在积极着手整编工作。并表示：“……我们同意军队整编，热河野战军加强地方军骨干的指示，……我新扩部队已有前部发生拖抢逃跑叛变事，我们现正准备迅速整编军队，加强保卫热河之动员工作，为正确执行新老合编的有关原则和规定，11月1 日，林彪、彭真发出关于整编军队与扩兵问题的指示。该指示指出：”……战胜顽军和争取确保东北的中心一环是整编已有之兵团，成为强有力的野战军，并且继续放手地大规模地扩兵。
“……扩大新兵的办法有两种：一种是由老部队一个个扩来补充各连队，用这种办法来扩大是很慢的。另一种是找到工人农民学生中的群众领袖或用新兵去扩兵，扩来一班即编一班，扩来一排一连一营即编为一排一连一营等。他们的领袖即任班排连营长或副的，另由老的干部或战士任正的或副的，并派政委教导员指导员等。经验证明这样便可以极迅速地获得扩大，这些扩兵英雄，这些新的正的或副的排连营团长等也许不是党员或党龄很短，但他们是群众领袖与战士群众与当地居民有血肉联系，其中大部分很快地可以培植为优秀的干部，老部队外来干部与他们一结合便可以很快地在当地生根。
“……新老部队合编是使新的兵团迅速成为有力野战兵团的主要方法之一，但合编时老部队不应过于分散或平均混编，致令合编后丧失其突击力量和倡导作用，但也不应过于集中，这样便不能迅速巩固与提高多数新的部队。
“……例如，以一个老团与二至三个新团合编时应该以两个老的营为基础把一个最差的新的团补充进去，成为一个主力团，另以一个营作基于扩编为一个次等的主力团再由老团中抽调干部去加强另一个新的团领导，这样来编成的旅很快即可以成为一个有突击力的野战兵团。
“……上述指示各级首长须切实研究传达，并切实执行。”
12月8 日，东北局为与敌长期斗争，建立根据地，就合编新老部队的具体布置，发出致林彪、陈云、高岗、吕正操。彭真并报中央电，该电指出：我们独占东北目前已不可能，沿长春路各大城市将为国民党所接收。我在北宁线作战，因主力初到已不可能阻止国民党沿北宁线之进逼。因此我们同顽军的斗争应该有长期的准备，同时为了解决目前主力没有后方与广大的阵地作依托之困难，以及加强新编兵团之作战指挥能力起见，……将主力与新成立兵团合并指挥单位，组成野战兵团并成立军区基干兵团及县的武装……因此提出以下布置：（一）以黄克诚师与李运昌部合并指挥单位，担负山海关至锦州大凌河以西沿线之作战，由李、黄负责另组成一地方性之基于兵团以共同创造热边根据地。
（二）暂以梁、杨、罗三师组成一纵队与李黄均直接归林指挥。以李、吕组成之后方为后方，担负由大凌河以东至奉天沿北宁线之作战，并协助创造辽西根据地。此一纵队将留作为作战重点转移之机动力量。
（三）邓克明旅、赵承金旅与24旅直属于吕、李指挥，除参加沿北宁线作战外，首先必须集中力量解决新民、彰武、法库之土匪并负担掩护根据地工作之开展。
（四）有近登陆之罗舜初部（约1.4 万人），将置于沈阳以南辽阳以西地区（包括辽阳鞍山）。同程。曾、唐部合并指挥单位，担负沈阳东北、铁岭、清源线，以及沈阳以南及辽河以东广大地区……保安3 旅即作为该区域之地方基干兵团。
（五）万毅部与聂、张部合并359 旅与周保中部合并，除留相当数量建立地方基干外，组成两个纵队（至少5 个旅），统归高、周、陈指挥……
（六）萧华部（包括吴克华）就现划定地区创造安东沈大——山区根据地，并以适当的力量控制安东至普兰店之线确保各海口外，应加强海城至营口线之机动作战力量，……
（七）北满、西满各军区之划分地方部队之组成及作战重点之确立，请高、陈、李、吕作具体布置，并电告我们。
以上一类的“新老合编”措施，尽管取得了明显的效果，但仍然未从根本上解决新部队的哗变问题。
12月14日，林彪基于从10月起不断发生的新部队哗变以及不断采取的“新老合编”措施成效欠佳的实际，向中共中央及东北局发出请示电，该电指出：中央、东北局、李、吕。
……在东北新成立之10多个旅，成分皆极坏，皆缺乏政治认识，流氓。土匪、宪兵、警察、伪军甚多，真正的工农成分亦被带坏，这些部队，则全无战斗力，对群众纪律极坏，不但不能发动群众，反而成为群众对我之不满，不但不能消灭敌人，反助长敌人之士气，不但不能打土匪，且受土匪之勾引，对此种部队如单独成为纵队及旅，皆须极长时期安定环境的训练，不断成为有力的战斗部队，我军既无此种客观条件，则此种纵队与旅将来有逐渐垮台下去的可能，我意应将此种部队以团为单位配属于华中与山东来之各旅，使每旅成为四团，而将新部队之旅以上的指挥员担任指挥老部队。
林彪1945年12月14日23时林彪的上述合编方式，已比前两类合编方式有了明显的进步。其实际上是采取了将新部队以团为单位配属于八路军和新四军的旅级部队，并限每旅只配一个新部队的团的办法，来影响改造新扩部队。12月16日，林彪对新老合编问题有了新认识，遂又致电东北局和中央，指出：我真亥及元十时两电谅达。鉴于中央苏区时李德成立新的师与新的军团的教训。故提议将新部队以团为单位配置各旅，我军的新部队，士兵成分远逊于江西苏区，而老的骨干亦远逊于苏区时新部队的老骨干，故必须采取取消团以上的新指挥单位。
林彪1945年12月16日14时这个将新发展的部队团以上指挥单位取消的办法，最终成为真正有效的新老合编办法。中共中央及东北局很快接受了林彪的这一建议。
11月20日，刘少奇在（关于西满分局统一领导及当前工作任务）给林彪、黄克诚、李运昌、东北局、吕正操、李富春等的指示中说：“……西满一切新老部队立即合并编制。由一个至两个老旅配两个或一个新旅编为一个纵队，然后再以一个至两个老团配两个或一个新团编为一个旅。老营与新营的配合编制亦可以采用。”
根据刘少奇的这一指示，东北新老部队的合编工作不断深入开展起来。
在部队的新老合编工作中一条根本的任务就是各级指挥员的训练。为抓好这项工作，林彪于12月27日提出了对成批参军之连长、排长等一类干部之处理方法的建议。全文如下：彭、罗：在扩军中间有由排长、连长等成批带来者，此种排长、连长、副连长等一类人，在扩军时诚然有作用，但在同国民党斗争时，此种人没有充分的政治觉悟，在情况稍紧张时，即煽动逃跑叛变，我意最好通知各部将这一类的小干部及士兵中间的有活动能力而缺政治认识的人，一概断然集中起来加以训练，分别进行淘汰与争取，盼你们注意。
林彪1945年12月27日2 时林彪关于集中训练和筛选新扩部队中旧有军官的做法是极富有见地的，完全符合当时的实际情况，此举对于整编部队，加强人民军队建设是完全必要的。
尽管东北开创之初，在军队建设上出现了这样或那样的缺点和错误，但是经过东北局和各级党政军的努力，东北人民自治军在数量上仍然有了较大的发展。
12月22日，林彪致电中央军委并东北局，再次告之各部驻地及实力，其电文如下：军委、东北局：（一）各部驻地：梁兴初师驻阜新西20里之海州，罗华生师驻北镇，杨国夫师驻黑山，黄克诚师师部在阜新，7 旅在清河边门，8 旅在阜新西北40里之王府（贝子府），10旅驻义州，独立旅驻新邱，冀热辽军区军直驻北票，22旅驻北票朝阳一线，27旅驻朝阳，30旅驻锦州西北山地。
（二）各部实力：梁师3 个团3016人；罗师3 个团6238人；杨师3 个团5127人；归杨师之39旅2123人；黄师7 旅3 个团6800人；8 旅6000人；10旅3 个团6900人；22独立旅5716人；师直4835人；冀热辽军区：军直2247人；22旅3 个团（新部队）4500人；27旅4500人；30旅4200人；炮兵旅2250人。
林1945年12月22日12月25日，彭真。罗荣桓、萧劲光向林彪通报了最新统计的东北部队实力及分布情况。电文如下：林：我军实力各分布如下：（一）龙江军区刘锡增部8500余人，枪3000支，分布于龙江、嫩江。开通一带。
（二）辽北军区倪部1.2 万人，枪8400支，重机（枪）40挺、轻机（枪）115 挺、各种炮10门，该部分布于黎树、西安一带。
（三）辽西军区邓陶部1 万人，分布于康平、法库一带。
（四）吉林军区万周部3.8 万人，枪2.4 万支，分布于长春附近海龙城、梅河口一带。
（五）延吉军区罗文涛部8000人，枪3000支，分布于延吉周围。
（六）滨北王聂部1.4 万人，分布于滨北。
（七）孙光2000余人，分布于佳木斯。
（八）吴克华部二万人，山野炮4 门，步平速射炮13门，迫炮14门，掷弹筒120具。重机枪64挺，轻机枪120 挺，步马枪8005支，分布于海城。
营口、盖平一带。
（九）萧华2000人分布于安东、貌子窝沿海一带。
（十）359 旅8000人向北满前进中。
（十一）辽宁军区程罗部4 刀82万人，分驻于抚顺、本溪、辽阳、鞍山。
（十二）杨部2 万人。
（十三）总直5000余人，分驻本溪附近。上列各部再加梁、罗、杨、黄、李、陈合计人数27.3万人。
彭、罗、萧1945年12月25日在部队整编扩编的基础上，为加强军区和政权建设，东北人民自治军于12月底，建立了12个军区，并将有关纵队。旅、军分区等分别划归有关军区建制领导。
这12个军区是：辽宁军区，以张学思为司令员，白坚为政治委员，辖本溪地区，下属1 个军分区，保安第3 旅和3 个保安司令部，约1 石万人。辽东军区，以萧华为司令员兼政治委员，辖南满地区，下属第2 、第3 纵队及5 个支队2 个旅1 个警备司令部，共3.64万人。辽西军区，以邓华为司令员，陶铸为政治委员，辖沈阳以西和阜新地区，下属第1 、第2 、第3 军分区及保安第1 旅和工人训练总队，约1 万人。吉林军区，以周保中为司令员，张启龙为政治委员，辖吉林地区，下属东北挺进纵队，以及批东军区，共约3 石万人。辽北军区，以倪志亮为司令员，郭述申为政治委员，辖梨树地区，下属3 个军分区约1 万人。松江军区，以聂鹤亭为司令员，张秀山为政治委员，辖哈尔滨地区，下属哈东、哈西、哈南、哈北4 个军分区，约1.4 万人。三江军区，以孙景宇为司令员，李范五为政治委员，辖佳木斯和合江地区，下属特务团、新兵团，共2000人。嫩江军区，以王明贵为司令员、刘锡五为政治委员，辖油河、泰来、挑南、白城地区，下属4 个军分区，警备第1 、第2 旅，约8500人。北安军区，以叶长庚为司令员，王鹤寿为政治委员，辖北安地区，下属3 个支队和1 个军分区，共约8000人。牡丹江军区，以李荆噗为司令员，李大章为政治委员。此外，东北人民自治军总部直辖第1 、第2 、第3 、第7 师，黄克诚第3 师、第359 旅、警备第3 旅、第25旅，第16军分区共6.83万人。
至1945年底，东北人民自治军发展到12个军区、3 个纵队、5 个直辖师、17个旅，总兵力为27.49 万人。比较12月25日彭、罗、萧的统计实力及分布数字还有增加。
然而此时的东北人民自治军的发展，仅仅是形式上、规模上的发展，还没有在质量上真正提高。由于没有真正提高部队建设的质量，在此后国民党军大举进攻下，出现了不少严重的问题。
为解决部队存在问题，1946年1 月4 日，林彪又发出成排、成连参加我军的干部应迅速集中教育的指示，其主要内容是：各兵团在扩军中，成排、成连地参加我军的，班排连长等一类人，扩兵时还有作用，但在与国民党斗争情况紧张时，因无政治觉悟，多发动逃跑、叛变，对此种干部，又在士兵中有活动的能力，而缺政治保证的人，应一概迅速断然集中起来，加以训练，分别进行教育。
上述建议和指示，在新老合编工作中起到了明显的成效。
1946年1 月14日，‘根据中央军委命令。东北人民自治军改称东北民主联军。林彪任总司令，彭真任第一政治委员，罗荣桓任第二政治委员，程子华任副政治委员，吕正操、李运昌、周保中任副总司令，萧劲光任副总司令兼第一参谋长，伍修权任第二参谋长，陈正人任政治部主任，周桓任副主任，叶季壮任总后勤部部长，杨至诚任总后勤部政治委员。同时将原来的12个军区合并为东满、南满、西满、北满4 个军区，重新调整了M 级军区、军分区。各主力部队除山东第1 师仍归总部指挥外，其余大部划归各军区指挥，大力充实发展地方武装。北满军区司令员高岗，政治委员陈云，下辖合江、牡丹江、松江、嫩江、龙江5 个军区，并指挥由冀热辽第19旅同原山东和7 师合编的第7 师，辖第19、第20、第21旅。还有新组建的嫩江军区警备第1 、第2 旅，龙江军区警备第1 、第2 、第3 旅。西满军区司令员吕正操（后黄克诚），政治委员李富春。辖辽西、嫩南两个军区以及新四军第3 师，辖第7 、第8 、第10旅、独立旅和3 个特务团，及原晋绥第32团一部和冀热辽第15团扩编而成的保安第1 旅。南满军区司令员程世才，政治委员萧华，辖安东军区及由原山东第3 师、警备第3 旅与冀热辽第16军分区第21、第23旅合编组成的第3 纵队；以原东北人民自治军第2 、第3 纵队合编为第4 纵队。东满军区亦称吉辽军区，司令员周保中，政治委员林枫，辖吉东、通化、辽北3 个军区及新改编的第22、第23、第24旅和由山东滨海支队扩编组成的第7 纵队（辖第19、第20旅），吉黑纵队（相当旅）和警备旅第1 、第2 旅等。各部队在各军区领导下认真贯彻了东北民主联军总部要求，抓紧整训，加强“一点两面’、”三三制“、近战夜战战术和单兵四大技术训练。组建不久的航空学校。炮兵学校、军政大学等学校，特种兵和总部后勤机关，也转移至牡丹江、佳木斯为中心的后方基地全力发展。
随着新老合编工作的开展，1946年2 月17日，林彪总结了前一段合编工作的经验，向东北局提出了《新老部队合编原则》的建议。该建议说：“根据数月来的经验，在新老部队的合编问题上，绝对不可将三个老团拆散，混在新部队中，否则，必造成战斗力降低，而不能突破敌人，解决战斗。因此，你们必须保持3 个老团在一个建制内，另拨一个新团成为第4 个团，而在每个老团之内，给他一个补充营成为第4 个营。另外对原来老的连队充实其名额，对其他新部队则集中练兵，学习政治和技术与战术。你们必须严格执行这一方针，切不可改变，否则将来战斗力上要吃大亏。”
这一新的建议无疑是巩固新老合编成果的一个重要的举措。
东北局、东总在根据地创建之初，地方武装尚未巩固，干部骨干缺乏，基层领导力量薄弱的情况下，实行新老部队合编的办法，尤其是1945年底至1946年初最终实施的新老合编办法，取得了一定成绩，为下一步彻底解决扩军建军中领导不纯、干部骨干不纯、兵员不纯的问题，打下了基础。