陆徵祥请假时，内阁总理由内务部总长赵秉钧代理。赵在唐内阁和陆内阁中，都是独立特行的，他不参加国务会议，遇事直接向老袁请示。国民党成立后，他受袁的密令，接受黄兴的邀请，加入国民党。袁既然向黄兴大送秋波，要请黄的好友沈秉坤出任总理，黄兴投桃报李，遂向袁推荐赵秉钧组阁，因为赵是袁的死党，又是国民党员，自然是过渡时期理想的人选。
赵既然已经代理了总理，如今由代理而真除，在袁世凯来说，应是正合孤意。可是黄兴更向袁推荐沈秉坤出任内务总长以接替赵的遗缺，这却不为袁所接受，因为内务部在赵时代已形成了一个极有实权的机构，具有民政权和警察权，袁当然不会把这个主要机构交出来的。
民国元年9月22日，袁世凯向临时参议院提出任命赵秉钧为内阁总理，得到参议院的顺利通过。为什么参议院会顺利通过呢？这完全因为有黄兴的疏通调和。可是袁并没有接受黄的推荐以沈秉坤主内务，却派沈为浦口商场督办，另以袁的死党朱启钤继任内务总长。
赵秉钧组阁时。袁放出空气说：“赵秉钧是国民党党员，国民党所主张的政党内阁已经实现了。”其实，这是一个张冠李戴的政党内阁。
天下事有许多奇怪的，也不可解的，譬如说陆徵祥以擅长外交来组织民国的第二届内阁，可是在他任国务总理期间，却没有什么大的外交事件让他一显身手，麻烦的却是内政。先有张振武案发生，其后则是孙、黄入京，四巨头发表政纲，这一连串的大事都使陆徵祥尸位素餐，幸而他因病入住医院，落得一个不闻不问。至于赵秉钧组织第三届民国内阁时，赵一直负责内务部，从清宣统年间到民国，应算是一个内政专家了，可是他一上台，麻烦就出在外交上，那便是轰动一时的库伦问题。俄国阴谋掠占外蒙古所发生的“俄库问题”。
陆徵祥原已答应继续留任外务总长，但其后又变了主意，坚决不干，于是赵秉钧的内阁中，外交总长乃由梁如浩继任，陆徵祥则被袁世凯聘为总统府的高等外交顾问。
赵秉钧内阁成立后，外交团中忽然传出一个骇人的消息，说是中国政府已经和各国断绝外交关系了。这当然是个谣言，谣言从何而起呢？原来是这么一回事：当梁如浩接任外交总长后，认为依照各国通例，所有各国使节应该依例前赴外交部道贺，所以乃发表一封通函给各国使馆，略谓本总长已于某月某日接任，特此通知，并希望贵公使于某日某时来署，以便接见云云。这个通知在外交团中引起了波折，因为外交团的看法不一样，他们的解释是：前清时代，外务部尚书到任，都是先拜使馆，然后各国使节才前往回拜。今日的外交总长，就是前清时的外务尚书，依此而言，宜由外交总长先来拜望，然后各国使节才可赴外交部。外交团这种意见实在是错误的。前清的外交部是总理各国事务衙门，最高负责人是奕劻，他一直负责了十几年，至于下面的尚书，实际上是辅助官。这些尚书到任时倒是真的先赴各使馆拜望，然后再由各使回拜。外交团以这一个例子来衡量民国时代的外交总长，实在是不恰当的。各国使节答复梁总长就任和约会函很简略，只云：“接到贵总长来函通告接任，聆悉一是”。竟不提约会，也不赴约，还有几个国家竟只字不复，实属可恶之至。其中只有法国公使曾赴梁的私宴一次。各国使节遂和赵内阁的外交总长毫无往还，凡有事故，各国使节由参赞随员和外交部次长颜惠庆交涉。这就是中国和各国断绝邦交谣言的真实原因。梁如浩的外交总长坐了月余，外交上毫无办法。民国元年10月24日突然发生俄库密约事，梁仓皇无措，乃于25日至东交民巷遍拜各使，当然毫无要领。俄库密约发生后，梁如浩蒙在鼓里，一无所知。要知道外交活动要讲历史渊源和关系，在这方面，梁不只比不上陆徵祥，也比不上他的次长颜惠庆，所以库伦问题一发生，梁当然手足无措了。
库伦问题的发生，是俄前任驻华公使柯索维茨到库伦活动的最高峰。路透社电讯说柯使已向库伦交付正式承认书，“库伦”政府元首哲布尊丹巴活佛及蒙人对柯使予以盛大欢迎云云。这则电讯震动了北京朝野，总统府和国务院均分别召开紧急会议，与会人士面面相对，拿不出一个办法来。因为任何人都不知道俄蒙勾结的实际内容。北京政府和库伦之间的接触，多是间接的，库伦电报局已被接收。中国外交部也曾采取行动，电令驻俄代办向俄国外交部询问，俄国答复说：“中国现已与各国断绝邦交，所以我国没有意思答复。”这所谓的断绝邦交就是梁如浩上台后未去拜访各国驻北京使节。
北京的中国记者，曾赴俄使馆访问，俄使的答复说：“现在我们还没有正式公报发表，不过蒙古问题我们曾在六个月前就和中国交涉，可是中国方面概不答复，好像不屑和俄国交涉。现在中国权力既然不能及于蒙古，俄国为了交涉便利计，所以派遣专使赴库伦与蒙人直接接触，同时就蒙古问题作通盘地调查。正式承认是可能的。”
当俄国派赴库伦的专使动身时，外电传说俄使已赴库伦，于是外交部内有人主张向俄方提出抗议，质问柯索维茨到库伦何为？梁如浩反对提抗议，认为此事真实情形尚不知道，贸然先提抗议，俄人撕破了脸承认下来更难办了。其后人言啧啧，俄库勾结已是呼之欲出，梁乃把抗议书提交国务会议讨论，结果大家意见也主张稍缓。可是路透社电讯证实了一切，梁如浩到东交民巷拜访各国使节，由于这是他上任后初次接触，这种官式接解，自然是完全得不到要领的。11月7日，总统府外交顾问陆徵祥亲自出马，径赴俄国使馆访问，俄使乃透露了俄库确已签约，俄国将来会承认蒙古独立。
陆徵祥证实了俄库勾结已有行动，使得北京政府震惊万分。外交部这时才提出一种形式上的抗议，略谓蒙古是中国领土，没有和外国签订任何条约的权利，倘有任何条约，中国概不承认。这种毫无行动和实力为后盾的抗议，实在是隔靴搔痒，因早在陆徵祥任外交总长时就已通告过俄国和其公使了。
民国元年11月8日傍晚，俄国驻华公使库朋斯基偕翻译阿里索福至外交部晤见梁如浩总长，这突然的造访显示有不平凡的事故。俄使说：
“本人奉俄国政府命令前来拜望贵总长。俄国政府命令本人将此次柯索维茨在库伦与哲布尊丹巴活佛所定条件面交贵总长。柯索维茨此次赴库伦，有其不得已的情形，因为俄国提议和中国政府商量蒙古问题，为时已经年余，而贵国始终不允和俄国开议，俄国在蒙古商务及其他利权甚大，不能不加以保护。现在哲布尊丹巴政府为外蒙古实际上之政府，所以俄国必需承认现实，和这个政府订立条约。不过条约内的文字甚为谨慎，始终未提及蒙古独立和脱离中国字样，深望中国政府对于这个俄库条约表示同情和追认，如果不幸不能得到贵国的赞成，俄国也必然要维持条约中的主题，这主题不外是过去屡次向贵国提议的三点，就是中国不得在外蒙殖民、驻兵、派官。”
俄使说完，梁如浩总长致答，梁说：
“本人听到贵使的话深感震惊和遗憾。外蒙古为中国的一部分，绝对的没有和外国订立条约的权力。中俄邦交素来融洽，俄国此次私自和外蒙订约，在中国看来，实在不是友好举动。中国政府希望世界各国在中华民国甫告成立的幼儿时代，各种交涉格外和平，不应该乘中国多事之秋表现攘夺和乘人于危的举动。外蒙古是中国的一部分，外蒙古有任何打算，都是中国内政问题，中国政府自会处理，第三国出而干预就不是友好行动。据我们所得情报，这次外蒙古闹独立，实在是有人怂恿和阴谋促成，贵国在这时候，应该避免嫌疑，免为中国人民的敌人。贵使云及俄国已和库伦签订条约，实在是非常不适当的举动，有违国际道德。本部昨日已以正式照会声明，现在我再告诉阁下，外蒙古是中国领土，其傀儡政权和任何外国签定的任何条约，中国都不会承认。至于贵使今天所送来的俄库条约，我们需要研究后才能表示中国政府的态度。”
俄使答说：“贵总长所言各点，本使当会电告本国政府。”
俄使把《俄库条约》全部俄文稿交付梁总长后，即行辞出。外交部在第二天始全部译成中文，中国政府才算获悉俄库所签条约的全文，可是这时在北京由日本人所办的《顺天时报》已经喊卖号外发表全文了。由于俄使先一天已将此条约文分别通知各国驻北京公使，《顺天时报》当然是在日本公使馆内得到的。当时中国政府外交活动的迟缓，由此可见，实在言之痛心。
俄人利用中国革命，在外蒙古进行阴谋，是得到日本和英国相互同意的，英人欲吞吃西藏，日本则打算吞吃北满，所以俄蒙勾结，列强坐视。清宣统末年，应付革命尚来不及，民国成立，政府尚未组织巩固，俄国此举完全是乘人于危。所以在俄人振振有辞说是多次要求和中国谈判蒙古问题，中国没有理会，其实不是中国不理，实在是来不及理，也不知该如何应付。
俄国要求和中国谈蒙古问题，有三个原则：一是中国不得在蒙古用兵；二是中国不得把蒙古改为行省；三是中国不得向蒙古移民。如果中国同意这三个原则，俄国愿负责督促蒙古取消独立。这样的谈判基础，中国自然无法同意，因此中国政府只好装聋作哑，不予理会了。
库伦问题发生后，总统府开会，国务院开会，总统府国务院开联席会，总统府开高等军官高等顾问会，袁世凯和梁士诒单独计议，讨论来讨论去，不外战争与和平两条路，可是最后的结论是，既不能战又不能和！
京中和战不决，也无具体意见答复俄方，而库伦消息陆续传来。据说库伦已组成政府，元首是哲布尊丹巴活佛，内阁总理是松彦光汗，他并兼任财政部尚书，内务部尚书是雀伦琦迷，外务部尚书是杭达，工部尚书是图什公，陆军部尚书是达赖贝子，刑部尚书是那木萨斯。又传说俄人自和哲布尊丹巴订立协约后，陆续派驻内外蒙古之军队有加无已，张家口至恰克图之间2400里电线，俄库双方已占有四分之三，中国政府对该区情况完全不明。
梁如浩当俄使正式通知俄库已签条约的第三天，未经请假径赴天津。正当外交情势万分紧迫之际，外交总长表现如此，各方为之大哗，议院攻击尤烈。梁在天津因之不敢回北京，函请辞职。北京当局亦觉梁不能胜任外交总长，于是袁世凯邀请陆徵祥重作冯妇，返任外交总长，陆亦欣然接受，毫不推卸。当陆徵祥继任外交总长的一案提交参议院时，竟以全票通过。这时的陆徵祥，大有“公不出山如苍生何”之慨，参议院已完全忘了三个月前否决陆阁阁员给陆难堪的一幕了。
陆徵祥复任外交总长后，即电告俄外交部，通告再任外交总长，并希望彼此在睦邻敦谊互相尊重的基础下，开始商谈两国有关问题。俄国外交部立即复电，表示两国友谊素睦，最近虽有蒙古问题发生，但其事甚小，不难在友好空气中谈判解决。陆徵祥乃亲赴俄使馆，要求开始谈判，同时电告俄外交部，表示既然俄政府愿意在友好空气中恢复谈判，则希望俄方先将《俄库条约》取消。俄方对此则没有答复。
陆徵祥以曾任国务总理的身份，当外交情势紧迫而毅然降格出任外交总长，在一般人心目中，顿然成为一个可尊敬可称赞的政治人物，在北京的中外记者亦纷纷函请陆要求约晤，一谈外交形势。陆完全是西化的作风，他复给各报记者这样一封信：
“……祥以孱躯，重膺繁剧，日与外交团会晤及赴国务会议等处，几无片晷之暇得以从容谈话。兹内人拟于星期日五点钟在寓接见宾客，倘承惠顾，即请驾临，是所企盼。此颂台祺。陆徵祥启。”
这样一封约会信，在50多年前北京那个半新半旧的社会中，实在是很特殊的。原来陆徵祥的夫人是法国人，且为出名的“外交界之花”。约会的一天，陆夫人在客厅正中一张楠木雕花椅上坐着，陆总长把客人介绍给她，她用纯粹的巴黎话与来宾寒暄。然后记者们围了陆徵祥大谈外交情势。陆表示到任后已和俄使晤谈四次，正谈双方撤兵事，其他谈判无进展。法国公使康悌系以私人身份出面调停，至于国际情势因巴尔干风云紧急，故大家注意力集中欧洲，对中俄纠纷乃不甚注意。
陆徵祥所谓已和俄使谈判四次，据新闻记者从侧面探悉四次谈判情形为：第一次乃系陆徵祥要求俄国取消俄蒙条约，而俄使则要求中国承认俄蒙条约；第二次是俄使谓俄于蒙古已得有实权，并无中国承认之必要，不过俄方尊崇睦谊所以才和中国谈商；第三次是陆徵祥表示中俄谈判须以不损害中国之领土权及主权为范围，俄使则谓中国承认蒙古之自治权，俄国愿承认中国之领土权；第四次是俄使据科布多领事来电谓中国进兵科城，于是双方乃决定谈判如何撤兵。