戴笠痛击陈诚一顿之后，决定鼓其余勇，乘胜前进，将中统组织也彻底击垮，使其不再是军统的对手。戴笠认为，陈立夫在朝中盘根错节，势力雄厚，一时难以扳动，退而求其次，可以先从徐恩曾下手。如果能将其拉下马来，也就等于打垮了中统。戴笠从1943 年开始逐渐调整布置力量，开展倒徐活动。果然，只用了2 年不到的时间就将徐恩曾整垮。这在CC 系内部及中统上下引起了一片恐慌。
徐恩曾雄踞中统组织长达15 年之久，在中国现代史上是与戴笠齐名的一代特工大头目，他的倒台，既有戴笠不遗余力的攻讦所致，也有他自己的诸多举动触犯了蒋介石的大忌而自取。
就出身来说，徐恩曾生于浙江吴兴，与国民党官僚陈果夫、陈立夫、朱家骅、张静江等都是小同乡，并且与二陈有表亲关系。这与毫无背景的戴笠是不可同日而语的。但是，也正是因为这一点，徐恩曾既受到二陈、朱、张等人的许多援手，也受他们的制约，中统的一应大事，都要先向二陈等人报告，得到他们同意后，才能签报蒋介石，有一些事情，只能通过二陈等人代转代达，徐难以亲自面蒋报告。这就使徐恩曾与蒋之间隔了一层，蒋、徐的关系也就难以亲密。比较之下，戴笠对军统的一应大事，均直接面蒋汇报，不容他人插手，久而久之，蒋、戴之间形成默契，自然是徐恩曾所望尘莫及的了。
就文化程度来说，徐恩曾比戴笠要高出一大截。徐于20 年代初即毕业于上海市南洋大学电机系（上海交通大学前身），旋即自费留学美国麻省理工学院，学习电机工程，回国后，初任南京交通技术学校办公室主任，以后才得陈立夫的援引进入中统。而戴笠仅上了1 年高中即被开除，并且是个品质很差的坏学生。这与当时重视学历的国民党用人体制来说，徐恩曾自然比戴笠更有一种优越感，其思想深处当然也不仅仅以当一名特务为满足。戴笠在相当长的一段时间内不但安心于本职工作，而且对蒋有一种知恩图报之感，因而在蒋的心目中，始终把戴笠看成是比徐恩曾更优秀的特工人材，着意进行培养。
在开创特务工作的事业方面，戴笠完全是靠自己在最艰难的条件下的拚搏奋斗，才开创了军统的一代盛世。因而戴对军统发展的每一步经历都有一种亲切温馨的回忆，他把军统组织看成自己的化身和禁裔，是决不肯离开或由他人插足的。徐恩曾经营中统组织则是得力于陈立夫、叶秀峰等人的开创，他与中统的关系在思想深处是可去可留的。
徐恩曾是喝过海水留过洋的新派人物，思想深处有一定的民主意识。他外表也是温文尔雅，前额宽阔，戴金丝边眼镜，面孔白皙，微笑时面部还有酒涡，看上去完全是一个大学教授的模样。徐操上海方言很重的普通话，对懂英语的人则喜欢用英语谈话，冬季则爱穿长袍，平时则穿中山装或西装。
徐恩曾在驾驭特务的手法中多少还能照顾尊重特务的人格，对部属很少发脾气骂人，尤其对叛徒很“谦和”，中统特务们都认为徐是“温厚长者”。不像戴笠，则是一副魔王的尊容，凶狠霸道、飞扬跋扈，对下属动辄训斥打骂，甚至关押枪杀，毫无体恤怜悯心理。但是，也正因为这一点，戴笠更能适应蒋介石那种对特务工作的家奴式的统治驾驭方法。蒋对戴或打或骂，跪地板、扇耳光，可以随心所欲，发泄内心怒气，而毫无顾忌，加之蒋戴都是出身江湖，脾气、性格、气质相近，说话办事容易投机。但对徐恩曾却不能做到这一点。由此，蒋的亲疏之感，也就立见分晓。
徐恩曾是一个很复杂矛盾的人物，一方面，他受过西方民主制度和新科技的教育，崇尚现代文明；一方面又有浓厚的法西斯主义思想，甘心作蒋的忠实鹰犬。在徐恩曾的寝室内，除堆放满英美出版的科技书刊外，最显眼的就是《曾文正公全集》。他有时也还在中国工程师学会的刊物发表文章，并对国际新科技的发展了然于胸。平时，他既会开车，也会修车。由此可见，徐恩曾既是一个浑身浸透了封建主义毒汁的人，又是一个向往资产阶级科技文明的人。这就导致徐对蒋的效忠，是区分场合的。在政治上是死心塌地，绝无贰心。但在生活上，则保持一定的独立性，不肯完全失去自己的个性。
徐的第三房妻子费侠，是留俄学生，中共叛徒。当初，二陈反对他们结合，徐则非要娶她不可。二陈见不能改变徐的主意，则搬出蒋来。蒋问徐：“你有把握吗？她是受共产主义理论毒害很深的人，能说会道，你不要看简单了。”徐竟拂逆蒋意，表示宁愿不做官，也要娶费侠。蒋见此，想想自己也有过3 房妻子，将心比心，此事不在公事之内，不好过于勉强，也就由他去了。相比较下，戴笠对世界新科技一窍不通，对资本主义的民主制度也不以为然，亦不知人性、人格为何物。而他对希特勒、墨索里尼、希姆莱这些法西斯主义分子以及中国历史上的许多封建暴君、奸雄却有浓厚的兴趣。戴笠对蒋介石的忠诚不讲任何条件，无论是政治上、生活上，只要是蒋的好恶，他无不反复揣摸，以求一宠。
徐恩曾与戴笠最大的区别在于：徐恩曾虽然长期从事特务工作，但内心却看不起特务这个职业。平时，他宁愿特务们称呼他为“徐先生”，而不愿被称呼为“徐局长”。自当上交通部政务次长，他又很喜欢特务们称他为“徐次长”，一些有来头的特务刚进中统，徐在接见时常说：“调查统计这个名词，没有什么不好，但很多人不愿进调查局；将来你们如不愿意长期在局内工作，我可代为安排到经济部或交通部、邮政储金局等一些部门。”这说明徐恩曾不但自己以特工为耻，而且对别人不安心于特务工作表示同情、理解，并甘心提供帮助。而戴笠不但以干特务工作为荣，把全部身心投入到特务活动中去，且最痛恨特务跳槽，规定所有特务都要把特务工作做为终身职业，声称“生的进来，死的出去”。
由于徐恩曾内心看不起特务工作，导致他企图通过向上爬达到能摆脱中统的目的，并表现出对政治的浓厚兴趣。这就又犯了蒋的大忌。从而注定了徐迟早必垮台的命运。事情缘起于1941 年春，经侍从室三处主任陈果夫、中央党部秘书长吴铁城推荐，徐就任交通部政务次长。当初，蒋为此召见徐，明确告诉他，这个安排是要求他利用职务之便，推进特工活动。但徐恩曾不听招呼，居然企图以此作为进身之阶，向政界发展。同时，二陈也认为徐恩曾此举是一种“猎官”的离心倾向，有背叛CC 系之嫌，也不肯再为他在蒋面前说话。本来，徐恩曾在国民党五全大会上以仅次于陈立夫的高票当选为中央委员，早已使CC 圈子里的人为之侧目。加之，徐恩曾因“猎官”的需要，放松了对内部的控制，兼任中统局长的中央党部秘书长朱家骅与另一位中统副局长郭紫峻联手向蒋参了徐恩曾一本，更使徐在中统内部处于不利地位。
因而，早在1943 年，蒋就已经有意撤换徐恩曾，后由陈布雷通过徐的好友侍从室第四组组长陈方传出话来，要徐专心中统工作，毋触蒋怒。徐也为此安心了一段时间，这才避过风头。不过，这时蒋已不放心徐，在徐身后又安排了顾建中、郭紫峻两个大特务任副局长，以便对徐起抑制作用。与徐的心猿意马相反，戴笠不但安心军统工作，而且谢绝加入国民党，谦让中央委员，多次向蒋解释“过去一心追随校长，不怕衣食有缺，前途无望，入党不入党，决不是学生要注意的事，高官厚禄，非我所求”。并说“只要校长信任，就感到莫大的光荣了”。一切“唯校长信任是图，‘党官’二字是无所谓的”。
蒋由此深为感动，也就对戴放松了一些戒备。以至军统局始终只安排了戴笠1 位副局长，以便使他能全权负责。唐纵的帮办其实更多的只起监视作用，并不与戴分权。况且唐纵以侍六组的工作为主职，对军统活动只是当戴不在重庆时兼顾一下。于此可见蒋对徐、戴不同的态度。
除了政治上的原因以外，徐在经济上的所作所为也与戴笠大相径庭，因而也加速了他的垮台。抗战时期，大后方物价飞涨，国民党机关的一般小职员仅靠薪水生活也是相当清苦的。即使中统机关，也不能幸免。徐恩曾又没有戴笠的那些有利条件去搞走私、贩毒品、印假钞，当然也是囊中羞涩。偏偏徐恩曾又是个极势利、极吝啬的小人，处处在经济上算计中统特务，以贪污自肥。他在中统搞什么“联谊会”，从特务们的工资中强制扣发百分之十的月薪作为基金。结果这些钱被徐弄去办农场、商场，所得全部落入徐的腰包。平时，徐和费侠出差途中在外饮食，叫下属掏腰包，而自己一毛不拔。
徐的这些所作所为，导致了中统内部的离心离德，不少有真才实学的特务自谋出路，跳槽到其它部门，还有的中统特务则暗中向蒋或二陈告发徐的劣行，弄得蒋很有些看不起徐的品行。在这一点上，戴笠的做法恰恰与徐恩曾相反。
戴对手下的特务虽然严厉，但在生活上却十分关照，工资定得相当高，额外津贴、奖金也十分优厚，平时更是注意抓伙食改善，以至经常抽出时间下厨房，检查特务们的膳食情况，或者亲自到大厨房与特务们一起就餐等等。如此，特务们不但不肯离开军统，而且都能拼命工作，以求得到更多的奖金和津贴。因此，即使徐恩曾的个人生活享受，比起戴笠来，简直有天壤之别，但是，徐的内外名声却比戴笠更为恶劣。
徐恩曾并非庸人，他与戴笠一样，十分工于心计，阴险毒辣，不在戴笠之下。因此，就内部驾驭来说，徐虽然一派儒雅气质，言谈举止全无戴笠那种张牙舞爪的样子，但中统的高级骨干仍然对徐十分畏惧，原因就在于特务们十分了解徐的为人，一言不合，就可能带来后患。就外部环境来说，徐恩曾经营中统10 余年，因30 年代反共有功，蒋介石初时对他的信任不下于戴笠，在CC 系内部，他与二陈的关系之深，也是CC 系其他分子不能比及的。
可谓根底雄厚，实力很大，然何以失宠于蒋，一败如斯。从根本上来说，徐恩曾的这些性格特点不能见容于蒋。蒋所需要的是戴笠的那种家奴式驯顺的法西斯主义鹰犬。况且戴笠早就在暗中搜集整理材料，在关键时刻，数次给徐恩曾以痛击，徐败下阵来，是可以预料的。
戴笠的倒徐活动首发于一起“假钞案”。1943 年，军统重庆三斗坪检查哨截获中统1 辆满载钞票的专车，经送中国银行验明，这批巨额钞票的票号早在抗战初期即已全部注销作废。原来，1938 年10 月，国民党政府西迁重庆，水、陆、空运输一时十分紧张繁忙。当时，中国银行1 辆满载新钞票的大卡车，在中途经湖北某地一个村庄时，风闻日军将至，押运人员于惊慌失措中竟然弃车徒步逃走。辗转到达重庆后，向中国银行谎报汽车备油已经耗尽，不能继续行驶，已将钞票全部焚毁，等等。中国银行信以为真，乃将该车所载全部钞票号报请财政部注销，并通报各分支银行备查。岂料该批钞票以后被中统湖北省调查统计室发现，乃报请局本部指示处理办法。徐恩曾是见钱眼开之人，接到报告后不加思考，指示湖北省调统室派专人将所有钞票向重庆运送，结果落入军统手中。戴笠闻报这是一批已经注销的假钞票，大喜过望，立即以“中统局偷运假钞案”向蒋亲上签呈。1943 年10 月，由蒋下手令给宪兵司令部军法处，将押运员判处死刑。徐恩曾意识到此案如果不搞清楚，无异是落在军统手中的把柄，戴笠日后决不会善罢干休，迟早是一个祸害。于是向中国银行查询钞票既非伪造，何以又注销。经中国银行询问原押运员和司机后，才弄清原委。恰在此事之前不久，中统重庆区行动特务闯进经济部捕人，被翁文灏部长向蒋告发，蒋极为恼火，认为中统行动粗鲁，不讲究策略，影响了国民党的威信，下令中统今后“不得捕人”，并将徐恩曾找去严加申斥。现在又凭空冒出个假钞案，徐恩曾如何敢到蒋面前去申诉，只好转请二陈出面斡旋。二陈老于江湖，熟知蒋的脾气，深知蒋已有戴笠的先入为主之见，还牵涉到中国银行、财政部一系列人的失职问题，故迟迟不敢向蒋进言。一直拖到押运员死刑执行期限的最后一天，才硬着头皮趁蒋出席中央党部总理纪念周大会后的机会，向蒋陈述了假钞案的来龙去脉，蒋方才同意从轻发落。
谁知一波未平，一波又起。假钞案刚刚处理结束，中统的伪钞案又被军统抓住。1943 年底，军统浙江省缉私处长赵世瑞发现从杭州来的两艘商船满载私货，内中且夹带200 万元膺品新法币，商船并持有中统局的证明文件。
赵世瑞暗中早已得到戴笠的指示，但凡发现中统方面涉嫌走私的线索证据，一律扣留，严加审查。赵世瑞于是不管三七二十一，将该船连人带货全部截住，一边向戴笠报告，一边把钞票送中国银行检验，结果确认这些钞票又是伪币。戴笠闻报又是一阵兴奋，立即指示对押运员、中统特务高子文、夏伯良、程憾严刊讯问，押运员如实具报钞票是中统安徽屯溪场口利通公司经理沈春霖等人命令运到后方的，至于钞票的来源，只知领取地点，具体来源不详。戴笠不肯放松，下令赵世瑞长时间反复调查，始终无法核实。后由戴笠转请杜月笙运用通济公司上海负责人徐采丞与日方上海特务机关的关系，才弄清原先上海中华书店代国民党中央银行印制钞票的10 元法币铜版，在上海沦陷前运到香港中华书局保存。香港沦陷后，铜版被日本特务机关得到，又再次运到上海进行仿印。印成的钞票由日军特务机关的渊上用1 元伪储币比40 元膺品法币的价格，一次出售给中统利通公司上海安利办事处200 万元。
再运回重庆，交徐恩曾。戴笠把这件事又是原原本本汇报给蒋，蒋一方面命戴笠把中统押运员高子文、夏伯良、程憾及具体负责购买伪币的中统运用人员程士范等4 人关进重庆土桥军法执行总监部看守所，一方面把徐恩曾找去又是一顿大骂，严令他彻查此事，心中又再次动起撤免他的念头。
1944 年，国民党中央党部内发现“总裁不裁，中正不正”的标语，蒋介石闻报更为震怒，令徐恩曾彻查具报。徐恩曾使尽浑身解数，终一无所获。
蒋介石申斥徐恩曾工作不力，有失职守，并认为这是他多年来企图“猎官”、“不务正业”，见异思迁，导致中统工作质量下降的结果。加之在当年的一次“官邸甲种会报”中，蒋介石突然向徐恩曾、戴笠询问河北、山东等省敌后解放区的情况，徐恩曾因事先无备，结果张口结舌，支支吾吾，昏昏然不知其所以然，反之，戴笠却在事前通过唐纵掌握了蒋的腹案，做了充分准备，当即夸夸其谈地说出了一大套，至此，蒋认为徐已毫无可用之处。
徐恩曾在这段时间里多次受到蒋的面斥，这是过去中统的全盛时期从来没有过的。徐已知自己升官无望，灰心之余，转而按其妻费侠的主意。他凭其权势大搞不花本钱的生意，挪用中统的特别费在重庆开办了酱园、豆腐坊，在郊区办农场，在成都、昆明等地创办汽车公司搞运输，在中印缅国境线走私物资。徐的这些活动，却被戴笠详加调查，一一具报给蒋。
徐彻底垮台的导火索源于前妻和子女走私案。徐恩曾的3 房妻子中，原配是一位旧式妇女，抗战期间一直住在上海。二房叫王素卿，是东北人，本在国民党中央组织部任干部，1938 年因费侠而与徐恩曾离异。对于徐恩曾来说，与费侠的结合，不单纯是一种男女色情关系，也还具有一种政治关系。
费表面上不参予徐的“公事”，实际上是徐的一个重要幕后参谋，徐的很多主意皆出自费的策划，也有很多活动由费一手组织实施，因而，徐自感费是他的“贤内助”。然而，许多事情是利弊相连、祸福相倚的。对于徐来说，一些事情得之于费，亦失之于费，其中最大的失策是为了能与第二房妻子王素卿办理离婚手续，对王做了许多让步。王本是一个很厉害的知识妇女，在中央组织部工作，各方面的人事关系熟悉，很有些“两肋插刀”的壮士愿为她打抱不平，徐恩曾平时就惧怕她几分。在办理离婚手续时，为了能取得王的允诺，不免作了许多让步。王素卿与徐离异后，即带着自己的子女居住成都，在徐恩曾部属的协助下，倚仗徐的权势，大搞走私贩运，囤积居奇，放高利贷等种种违法活动，牟取暴利。徐本来是知道王素卿的这些活动的，但因自己把王抛弃，内心有愧，也就对此事眼睁眼闭，听其胡作非为，以求心理平衡。
然而到1944 年，王素卿利用徐恩曾交通部政务次长的名义，成立了一个汽车运输公司，用自备的货车走私进口西药、五金、布匹等国家短缺物资，大搞投机倒把活动。王的这些活动早被戴笠布置的特务一一搜罗整理起来。
又因这时，为王素卿经营走私物资的1 名汽车驾驶员因酗酒伤人致死，在社会上引起公愤，戴笠把这些事统统密报于蒋，攻击徐恩曾暗中指使王素卿利用交通部的权力，走私国家战略物资，扰乱市场，并纵容手下爪牙弄权作势，伤人致死，有损党国和领袖的声誉等等。徐恩曾本来气数已尽，怎经得起如此数案并发。1945 年1 月，蒋勃然大怒，立下手令免去中统局副局长徐恩曾的“本兼各职”，“永不录用”，并立将手令交中央党部秘书长吴铁城和中央组织部长陈立夫去执行。中统局上下听完吴、陈二人的传达后，有的感到愤怒，有的感到沮丧，全局上下议论纷纷，惶惶不可终日，更有的特务不知所措，嚎啕大哭。
蒋戴之为人做事历来都是不留后患的，徐的中统局副局长、交通部政务次长被撤免后，开始尚留1 个中央执委的空衔。与徐相交甚好的吴铁城出于怜悯照拂的心理曾派徐恩曾以中央执委的名义去贵阳等地视察，并出席贵州省党部“纪念周”，在会上讲了话。戴笠为防止徐东山再起，他将“徐恩曾用中央党部名义在外招摇撞骗”的材料通过侍从室的渠道向蒋密报，蒋看到这份材料，立将吴铁城申斥一番，并下令由吴铁城将徐召回，并严厉规定“今后徐恩曾不得再作任何政治活动”。随后在国民党召开的六全大会上，蒋以总裁身份正式提出六届中央执监委候选人名单时，除叛国投敌及死亡者外，其余百分之九十九的五届中央执监委员都列入六届候选人名单，独特徐恩曾圈掉，而以张国焘接替。至此，徐恩曾才知道15 年的反共之功已不能平息蒋的震怒，自己在政治上的道路已走到头了。
戴笠倒徐成功，本该庆幸一番，然而戴笠倒徐后，内心不喜反忧。一方面，徐恩曾垮台，中统迅速衰落，戴笠顿失对手，工作起来反而缺乏过去那种源源不断的激情；另一方面，戴笠从徐恩曾的垮台亦联想到自己今后的命运，担心自己的下场反不如徐恩曾的幸运。只怕蒋介石到时为了杀人灭口，以应付舆论，借自己的脑袋一用也未可知。如此一想，戴笠不禁起了兔死狐悲之感，心中始终有种说不清、道不明的情绪难以排遣发泄，并开始认真思索起自己的退路来，这就是戴笠后来有打算出国考察的最初想法。