与孙中山“共患难同生死”的蒋介石被孙中山正式认命为黄埔军校校长，兼任粤军总司令部参谋长。要塞炮台前竖起一面大红旗，旗上写着斗大的“蒋”字。蒋介石披着一件拿破仑式的斗篷，前呼后拥，威风凛凛。廖仲恺被刺，蒋介石抓住良机，联合汪精卫，排挤许崇智、胡汉民，奠定了在国民党内部的地位。
1924年3月2日蒋介石给孙中山写了一封长信，重提昔日永丰舰上“共患难同生死”的一幕，希望孙中山能像当年对陈其美那样深信和重用他，不但要让他专心办学，而且要让他过问军事政治。
孙中山对蒋介石的不满情绪并不介意，并满足了他的一些要求。3月ZI日黄埔军校入学考试时，孙中山仍任命蒋介石为入学考试委员会委员长，蒋介石不在广州，暂由李济深代替，同时派许崇智到奉化劝蒋介石。
孙中山之所以如此器重蒋介石，是因为缺乏军事人才，而且蒋介石已受命考察过苏联军事；再就是永十舰蒙难之时，蒋介石的出色表现深得孙中山的好感和信赖。
后来蒋介石发现再不赴广州上任，其职位就可能被他人占去，于是动身，4月21日到达广州，26日入军校办公。5月3日，孙中山正式任命蒋介石为黄埔军校校长，兼任粤军总司令部参谋长。9日廖仲恺被任命为军校中国国民党党代表。校长和党代表之下，分设政治。教练、教授三个部和军需。管理。军医三个处。
从5月5日新生开始陆续入学，到6月16日正式开学这段时间里，蒋介石多次对学生进行“精神训话”。训话内容主要是讲革命与做人的意义，军校的教育方针，遵守纪律，团结同志和爱护百姓等。为了树立他个人威信，使学生和官兵养成对他个人崇拜，他大谈自己创办这所军校的艰难，以及他过去的光荣经历，当然免不了要提及永丰舰上与孙中山“共患难同生死”的光荣历史。
长洲要塞与黄埔岛毗邻，防务一并归属黄埔军校，蒋介石兼任长洲要塞司令。要塞炮台前竖立一面大红旗。旗上写着斗大的“蒋”字，如同中国封建时代的将帅旗。从要塞司令部到军校的距离不足一里路，而蒋介石每天上下班，总是戒备森严。他披着一件拿破仑式的斗篷，前面有副官开道，四个武装整齐的士兵跟在其后，步伐整齐，威风凛凛。如果学生、官兵在路上遇见他不敬礼，他一定要给予处分。
军校刚开始一个时期，蒋介石经常亲自检查教官、学生的训练与生活情况。尤其是早晨起床号吹过后，他会突然闯人教官或学生的卧室巡视，如发现没有出操而偷睡懒觉者，便给予训斥和重罚。他常亲临训练场地监督训练。为了在生活上不显示特殊化，他在校时必到餐厅与教职员一起就餐。
蒋介石是靠办黄埔军校起家的，但是在军校刚刚建立之初，在军事技术、经费、军械等方面都要靠苏联的支持，所以他不便站在右派一边，反对孙中山的联俄、联共政策，而常以不偏不倚的中间面目出现。与国民党一些元老们相比，蒋介石算资历最浅的了，而这些元老正是蒋介石通向党、政、军权力道路上的绊脚石。为了提高自己的身价，与国民党元老们一决雌雄，蒋介石迫切需要得到苏联顾问和中国共产党人的支持。因此，蒋介石往往又以比较左的面目出现。
1924年1月16日，蒋介石在考察完了苏联后，回到广州，把对苏联考察情况向孙中山做了口头报告。在此之前，蒋介石在上海还寄给了孙中山一份《游俄报告书》，在蒋介石的书面和口头报告中，蒋介石赞成利用俄援和以苏联红军为样板办校建军，但他本人对苏联持怀疑态度。在《游俄报告书》中，他写道：
“俄共政权如一但臻于强固时，其帝俄沙皇时代的政治野心之复活并非不可能。则其对于我们中华民国和国民革命的后患，将不堪设想。”
1924年3月，蒋介石辞去黄埔军校筹备委员会委员长在奉化溪口居住期间，于3月14日给廖仲恺写了一封信，信中称：
“尚有一言，欲直告于兄者，即对俄党问题是也。对此问题，应有事实与主义之别，吾人不能因其主义之可信，而乃置事实于不顾。以弟观察，俄党殊无诚意可言，即弟对兄言俄人之言只有三分可信者，亦以兄过信俄人，而不能尽扫兄之兴趣也，至其对孙先生个人致崇仰之意者，非俄国共产党，而乃国际共产党员也。至我国党员在俄国者，对于孙先生惟有低毁与怀疑而已。俄党对中国之帷一方针，乃在造成中国共产党为其正统，决不信吾党可与之始终合作，以互策成功者也。至其对中国之政策，在满、蒙、回、藏诸部，皆为其苏维埃之一，而对中国本部，未始无染指之意。凡事不能自立，而专求于人，而能有成者，决无此理！……彼之所谓国际主义与世界革命者，皆不外恺撒之帝国主义，不过改易名称，使人迷惑于其间而已。所谓俄与英、法、美、日者，以弟视之，其利于本国而损害他国之心，则五十步与百步之分耳。至兄言中国代表总是倒霉，以张某作比者，乃离事实太远，未免拟于不伦。其故在于中国人只崇拜外国人，而抹杀本国人之人格。如中国共产党员之在俄者，但骂他人为美奴、英奴与日奴，而不知其本身已完全成为一俄奴矣。吾兄如仍以弟言为不足信，而毫不省察，则将来恐亦不免堕落耳。”
以后，蒋介石在《苏俄在中国》一书中写道：
“在我未往苏联之前，乃是十分相信俄其对我们国民革命的援助，是出于平等待我的至诚，而绝无私心恶意的。但是我一到苏俄考察的结果，使我的理想和信心完全消失。我断定了本党联俄容共的政策，虽可对抗西方殖民主义于一时，决不能达到国家独立自由的目的；更感觉苏俄所谓“世界革命”的策略与目的．比西方殖民地主义，对于东方民族独立运动，更危险。”
蒋介石内心里虽然极力反俄反共，对孙中山的联俄联共政策也深为不满，但在表面上，他却积极支持孙中山的联俄联共政策。
1925年4月9日，他在黄埔军校入伍生的一次讲话中中声称：
“俄国共产党为什么能成功呢？因为俄国共产党重在纪律，又是组织严密，他的党员服从党的命令，遵守党的纪律，丝毫不能自由的。他们为甚么甘愿牺牲个人的自由呢？因为他们明白主义，都有决心牺牲各个人的自由，来救全人类的自由，所以他们成功就那么快。我们要党成功，主义实现，一定要仿效俄国共产党的办法．才能使大家知道做党员的责任、本分。”
不久，在广州商界召开的一次联欢会上，蒋介石又讲到了学习苏联、联合苏联的问题，他说：
“俄国人来帮助我们，是为求中国之自由平等。因为要中国能够做到自由平等，才可以打倒帝国主义，俄国才不至于再受帝国主义的牵制和压迫，全世界的弱小民族才可以解放起来。”“我们现在的党军完全是学习俄国的军队那样编制的。我到俄国研究赤卫军那样能守纪律，不骚扰人民，完全是为人民做工夫的，和人民大众很相亲相爱的--人民同他们好，那么团结，这样的军队有甚么打不胜的仗呀！所以我回国之后，就决定了，如果使军队真个能为人民求自由安乐去打仗，真个
能为党实行三民主义打仗，非用俄国赤卫军这种编制不可，故此实行仿照这样方法训练我们的党军。”
对于共产党，蒋介石表面也是非常称赞的。1925年9月13日，黄埔军校特别党部举行第三届执行委员会选举大会，针对当时黄埔军校内国共两党学生矛盾比较尖锐的情况，蒋介石说：
“现在我们学校里，常常有共产党和国民党之争，我以为这种现象，适足以使我们总理在地下痛苦。……国民党员也不可反对共产党，反对共产党就是违背了总理定下来的方针和主张。这样就是信奉三民主义，能做总理的信徒，反不如不信三民主义的好……。共产党真正革命的同志们，实在不比我们国民党少，加入了国民党，实在能替国民党求进步求发展，促进本党的革命精神。所以总理能下这么大决心，不为众论所动摇、并且总理说：‘如果国民党的党员，反对共产党，我便要自己去加入共产党！’……。我们要晓得，‘反共产’这句口号，是帝国主义者用来中伤我们的。如果我们也跟着唱‘反共产’的口号，这不是中了帝国主义的毒什么？……。总理容纳共）“’党加入本党，是要团结革命分子，如果我们反对这个主张，就是要拆散革命团体，岂不是革命党罪人？……。我一个人的意思，我们国民党，现在只有左派与右派之分，不能有共产党与非共产党之分，更不可有国民党与共产党之分，如果国民党员有这种见解，那是无异于削弱自己革命的元气。”
蒋介石在内心里是既反苏，也反共的，在黄埔军校学生的面前，能讲出这么多必须坚持国共合作的道理，实在是有难言的苦衷。
1925年3月，孙中山在北京病逝。7月，广东国民政府改组，汪精卫被推举为国民政府主席、国民革命军军事委员会主席，蒋介石只被选为军事委员会委员。汪精卫所以能人选要职，不仅是因为他是国民党元老，孙中山遗嘱的起草和承递人，而且是因为他在政治上表现左倾，被誉为左派形象出现，同时要击败国民党右派元老胡汉民及军界前辈许崇智。
许崇智是蒋介石的顶头上司，也是他的结拜兄弟。蒋介石在许崇智门下受到重用，才得以在军界崭露头角。许之所以重用蒋介石，是因为蒋介石手中没有军权，不怕蒋介石对自己构成威胁。但是随着蒋介石利用军校而提高了在军中的威望，许崇智、蒋介石二人的矛盾才逐渐突出。
当时许崇智以粤军总司令兼国民政府军事部长和财政监督，一手控制军权、财权。许崇智纵容部下包烟截税，把持财政克扣军饷，中饱私囊。黄埔军校的经费常被无理扣压。国民政府成立后，蒋介石以军事委员身份，提出统一军事，统一财政的建议，其矛头就是针对许崇智的，目的是把军权从许崇智手中收归军委会。蒋介石的建议得到汪精卫的支持，并在军委会上通过。但是蒋介石要想扳倒国民党实力派人物许崇智，取而代之，却并非易事。
真是天助蒋介石。1925年8月，著名国民党左派领袖廖仲恺被暗杀。国民党中央成立以汪精卫、许崇智、蒋介石为首的特别委员会，全权应付，追查此案。经查明，此案是帝国主义和国民党右派指使人做的。胡汉民、许崇智均涉足此案。胡汉民被迫辞职离粤。许崇智被蒋介石软禁，后被迫离粤去沪。
9月，蒋介石第二次率军东征，直捣陈炯明的老巢惠州，使广东全境得到了统一和巩固。
这一系列的事件使蒋介石声誉倍增。1926年1月，国民党第二次全国代表大会在广州召开。蒋介石以“东征英雄”的身份，当选为中央执行委员，成为仅次于汪精卫的国民党领袖人物。
蒋介石知道在当时的形势下，没有什么口号比“革命”更高的了。为了谋取更高的权力，蒋介石此时伪装得比谁都革命，口号喊得比谁都响。但他内心里则是彻头彻尾的反苏反共，反对革命的。因此即使在他最最革命之际，也不曾放松打击革命势力。
早在第二次东征之时，蒋介石即召集连以上军政人员联席会，要求把所有在黄埔军校以及在军队的共产党员的名字都告诉他。事后，又个别找周恩来谈话，提出：为了保证黄埔军校的统一，共产党员或退出共产党，或者退出黄埔军校与国民党。这种无理要求当即遭到了周恩来的严词拒绝。
但蒋介石并没有放弃这种想法，他在等待着机会。