1924年2月1日，孫中山任命王柏齡、李濟深、沈應時、林振雄、俞飛鵬、宋榮昌、張家瑞等為軍校籌備委員會委員。軍校籌備委員會正式辦公，推進各項具體籌備工作。其間，蘇聯軍事顧問小組也對軍校籌辦給予了熱情的指導與幫助。2月3日，國民黨中央任命蔣介石為中國國民黨本部軍事委員會委員。
第一次籌備委員會議
1924年2月7日，軍校籌備委員會召開第一次會議。2月8日，籌備委員會在廣州市南堤設立籌備處，其下分設教授、教練、管理、軍需、軍醫五個部門，暫定王柏齡、李濟深（由鄧演達代理）、林振雄、俞飛鵬、宋榮昌為各部主任，分管各部籌建。
從2月8日至5月9日，陸軍軍官學校籌委會前后召開了32次會議，明確了辦學宗旨為“本校希望對于軍隊有徹底的改良進步，故擬使全國熱心有志堪以造就之青年，得有研求軍事學術之機會，并教以三民主義，俾養成良好有主義之軍人，以為黨軍之下級干部”，并研究討論了軍校的各種規章制度、教練計劃、教職員的甄選、學生的招考以及修建校舍等各項事宜，制訂第1期的教學計劃，決定全校師生必須加入國民黨，選定服裝和教育書籍式樣、種類及購置辦法等。在學校籌備委員會第七次會議上，廖仲愷受孫中山委托列席了會議，他說：“創辦本黨軍官學校事，近日在剛剛結束的全國代表大會上獲一致通過。這次大會，確定了‘聯俄、聯共、扶助農工’的各項政策，決議在蘇俄幫助下，接受中國共產黨以個人身份加入本黨共同奮斗……同志們，中國共產黨之加入本黨，與本黨攜手聯合奮斗，這在中國革命的歷程上，是一件開天辟地的大事情，我們所期望的中國革命的高潮已經來到了。在這個高潮中，本黨軍官學校的籌辦，將是涌于潮頭的最為引人注目的一朵浪花，它將更有力、更迅速地推動這個潮頭澎湃向前。”
修繕校舍
2月14日，管理部主任林振雄率士兵和工匠入駐黃埔島，對校舍、教學場地、道路進行修繕整理，工程歷時兩個多月。蔣介石聘請建筑設計師鄭校之（當時稱“畫測師”，曾擔任過大元帥府參軍處技師）為籌備員，帶多數辦事人員同往黃埔校址勘驗，校內工程“概歸鄭校之擔任”。4月17日，校舍基本修繕完畢，校園內建筑煥然一新，道路也變得平坦整潔。“以前蛇鼠叢眾之墟，一變而為躍馬談兵之地，于是彈丸孤島之黃埔，遂為本黨武力發祥之地矣。”經過修繕的軍校校舍“內可容學生300余名”，但是教員及辦事人員，仍要到前海軍學校住宿，因此黃埔軍校自開學之日起，就面臨校舍緊張的問題。為解決校舍問題，軍校曾在大操場四周臨時用蘆席搭成棚子作為校舍。此后，軍校還陸續在長洲島上及廣州市內建設房舍，設立分駐地。短短3年間，校舍就從扯旗山下擴展到本島的平崗炮臺、蝴蝶崗炮臺、大坡地炮臺，以及珠江對岸的魚珠炮臺、沙路炮臺和廣州北較場、陳家祠、曾家祠、四標營以及虎門等地。1927年，學校修筑大俱樂部和動工興建東征陣亡將士墓時，黃埔島上的校舍格局才基本定型。
開展招生工作
由于軍校籌備委員會7名委員之一的李濟深還負責粵軍第1師和西江講武堂事務，工作繁忙，便呈請第1師第3團團長鄧演達代理負責軍校籌備工作，得到孫中山的批準。隨著招收、考試工作日益緊張，孫中山又任命鄧演達為籌辦黃埔軍校入試委員會委員，“專司負責制定各種招考辦法及各項具體考試事宜”。籌委會很快制定了《考選學生簡章》：
一、本校為養成革命軍干部軍官，完成國民革命起見，特續招入伍生，施以軍事預備教育。
二、入伍生期限6個月，期滿后甄別及格者，升入本校為學生，修習軍事學術，一年畢業。
三、投考者須于8月25日以前，持二寸半身相片3張，中學或與中學相當之學校畢業文憑，及黨證或各地區黨部之介紹書，分赴廣州“中國國民黨中央執行委員會本校駐省辦事處”，上海“中國國民黨上海執行部”報名（黨證報名時驗畢發還，文憑試畢發還）。
四、投考者之資格如下：A.年齡：18歲以上，25歲以內。B.學歷：舊制中學畢業及與中學相當程度之學校畢業。C.身體：營養狀態良好，強健耐勞，無眼疾、痔疾、肺病、花柳病等疾害。D.思想：中國國民黨黨員，能了解國民革命速須完成之必要者，或具有接受本黨主義之可能性，無抵觸本黨主義之思想，有本黨黨員之介紹者。
五、試驗之種類：A.學歷試驗：按舊制中學修了之程度出題，求筆記之答案。B.身體試驗：準陸軍體格檢查之規定，分身長、肺量、體重、目力、聽力等項。C.性格試驗：用口試法，觀察對于三民主義了解之程度和性質，志趣、品格、常識、能力等項之推斷，及將來有無發展之希望。
六、在廣州投考者，無論從何地來試，錄取與否，均不發給川資；在上海、開封取錄者，則給予川資來粵。
七、入隊后，服裝、書籍、食費、零用，概由本校供給。
八、本簡章之外，關于試驗手續、課目調制、成績等，另有細則。
約在此時，何應欽向蔣介石建議：“中級以上人員，只能依賴各方舉薦，經考察后，凡革命意志較堅強者，多予任用；中下級干部則需要經過選考和培訓。”蔣介石表示同意。軍校籌委會于23日發布《陸軍軍官學校采用下級干部布告》，公開招考區、分隊長等教官。10日，軍校籌委會確定第1期招生324名，并給各省、各軍分配了招生名額：東三省、熱河、察哈爾共50名；直隸、山東、山西、陜西、河南、四川、湖南、湖北、安徽、江蘇、浙江、福建、廣東、廣西，每省12名，共168名；湘、粵、滇、豫、桂五軍，各15名；本黨先烈家屬20名，尚余11名；另招備取生30至50名。
在軍校籌備過程中，蔣介石突然于2月21日呈文辭去籌委會委員長職務。廖仲愷雖然不是軍校籌備委員，但他是大本營指定籌辦軍校事務的負責人。第二天，廖仲愷來到籌備處，明確表示：“黃埔軍校是孫中山先生親自要辦的，是黨要辦的，不是某個人的奇想。第一，軍校肯定要辦，不管蔣先生他來不來當校長，不管他個人意見如何，我們都要辦。第二，你們許多同志都是蔣先生找來的，同蔣先生共事多年。君子愛人以德，你們要從大處愛他。他走了，我們照常辦，照常開學，爭取他能回來與我們共同工作，這才是道理。如果黨要辦，蔣先生不辦，或因此而致軍校辦不成，蔣先生要開罪于全黨，開罪于天下。將來，他如果又想回來參加革命，怕也很困難了。大元帥讓我轉告各位，現在我們不但不能因蔣先生離去，有半點懈怠，而且，各項籌備工作還須進一步加快。”2月23日，孫中山正式委派廖仲愷代理籌備委員會委員長。廖仲愷一面奉勸蔣介石復職，并派鄧演達到上海勸告蔣介石，一面領導籌備工作繼續進行。