1925年11月21日，中共廣東區委在肇慶組建了隸屬于國民革命軍第4軍的34團（后改稱獨立團），由葉挺任團長。該團骨干由黃埔軍校的共產黨員、共青團員組成，是中國共產黨直接領導下的第一支正規武裝。獨立團的成功組建，是中共廣東區委執行中共“三大”制定的統一戰線方針，在軍事上實行國共合作的成果。

　　第一次國共合作期間，由陳延年任書記的中共廣東區委和黃埔軍校淵源頗深。在廣東國民政府改造舊軍隊的過程中，中共廣東區委決定建立一支由共產黨人直接領導的正規軍隊。經過研究，中共廣東區委決定在肇慶組建一支團級單位的部隊，隸屬于國民革命軍第4軍第12師，由第4軍參謀處長葉挺任團長。究其原因，主要考慮到第4軍副軍長兼12師師長陳可鈺原是孫中山警衛團長，副師長張發奎原是警衛團3營營長，而葉挺曾是警衛團2營營長，他們之間有很深的交往。而建團選點在肇慶，主要原因有三：一是肇慶當時是第4軍的后勤部所在地，副軍長陳可鈺負責后勤部的工作，部隊給養充足，水陸交通方便，便于與設在廣州的中共廣東區委聯絡；二是肇慶是軍事重鎮，是兩廣水陸交通要沖，扼西江之咽喉，地形險要；三是當時西江一帶農民運動剛開始，農會力量薄弱，而反動的民團猖獗,部隊成立于肇慶，有利于支援西江的農民運動。

　　1925年秋，中共廣東區委陳延年、周恩來等人經過和國民政府負責人、黃埔軍校黨代表汪精衛,黃埔軍校校長蔣介石,國民革命軍第4軍軍長兼黃埔軍校副校長李濟深等人商議，決定建立34團，財政來源由軍部、師部直接供給。9月中旬，周恩來、陳延年向葉挺傳達了這一計劃，葉挺“毫不遲疑地接受了黨所托付的這一光榮任務”。

　　34團的骨干成員很大一部分來自“建國陸海軍大元帥府鐵甲車隊”（孫中山逝世后，改名為“國民政府鐵甲車隊”）。1924年11月，黃埔軍校政治部主任周恩來和中共廣東區委在取得孫中山同意之后，從黃埔軍校第1期畢業生中抽調部分黨團員作為骨干，在廣州組建了建國陸海軍大元帥府鐵甲車隊（簡稱鐵甲車隊），徐成章（黃埔軍校特別官佐）為隊長，廖乾吾（黃埔軍校政治部教官）為黨代表，周士第為副隊長，趙自選為軍事教官，曹汝謙為政治教官。鐵甲車隊所屬成員的配備與調動，都是由中國共產黨廣東區委書記陳延年和區委軍事部長周恩來決定的。第二次東征期間，鐵甲車隊官兵被派到深圳附近的沙魚涌和投靠陳炯明的羅坤、鄧文烈部展開激戰。1925年11月，鐵甲車隊從沙魚涌返回廣州后，近百人調到肇慶組建葉挺獨立團，并提級使用。周恩來又親自從黃埔軍校調來許繼慎、楊寧等一批軍事骨干到獨立團，并在湖南、廣東、廣西招收了一批農民，及由工廠、礦山的中國共產黨組織介紹來的部分工人，作為部隊的基本成分。

　　1925年11月21日，在國民革命軍第4軍獨立旅擴編為第12師時，第4軍第12師第34團在肇慶成立，團部設在肇慶閱江樓，下轄3個營和直屬部隊，共2000余人。據周士第回憶：“該團連以上干部絕大部分是共產黨員和共產主義青年團員，班、排長一部分是共產黨員和共產主義青年團員。”

　　在34團建立的同時，中共廣東區委決定設立中共黨支部，隸屬中共廣東區委，支部領導不叫支委會而稱支部干事會。建團之初，有中共黨員20多人，后來發展至100多人。黨支部下設黨小組，第1、第2、第3營，直屬隊(兩個)共6個黨小組。34團的行政和軍事方面由中共廣東區委直接領導，排以上干部的任免和調動、部隊人員的補充及重大的軍政訓練計劃等，都由中共廣東區委決定。其中，連以上干部都由周恩來挑選優秀共產黨員擔任，有的黨員士兵也由周恩來親筆簽寫意見派到獨立團來。據當事者饒衛華回憶：“獨立團在組織上屬廣東區委組織部領導。組織部長是穆青，我當秘書。穆青同志每月都要去肇慶兩三次，到獨立團參加他們的組織生活，回來后我們談及很多事情。穆青同志根據周恩來的指示，對獨立團進行政治建軍。”

　　為了使獨立團成為一支剛強有力、無堅不摧的革命軍隊，葉挺在全團實施苦練計劃。他改軍隊慣常的“三操兩講”為“四操三講”，即：早晨以連為單位進行一次長跑訓練；上午和下午各進行一節軍事操練或一堂政治及軍事課；晚上進行一次集體健身操，熄燈前一個小時進行列隊講評。軍官的訓練安排與士兵訓練同一時間穿插進行。

　　團長葉挺以身作則，每天一個連隊一個連隊地視察，發現問題他就給連隊的官兵做示范。一個月后，部隊的素質有了顯著提高。葉挺曾搞了一次全團20公里越野急行軍，20公里下來，全團沒有一個掉隊的，行軍速度比原來“整整提高了1小時30分”。

　　葉挺還注重紀律建設，派出由官兵組成的督察隊，專門檢查軍紀，嚴禁軍紀敗壞、欺辱百姓的行為，并抓住典型事例在干部中開展反貪污、反打罵士兵的斗爭。在他的指導下，全團開展“三反”活動(反貪污、反打罵、反報假)，并頒布諸如軍官不得搞特殊化、另設小灶；經濟公開，定期公布收支賬目；嚴禁體罰為內容的三條軍紀。經過葉挺的訓練，34團在駐防肇慶期間，一掃舊軍隊的惡習，從思想上、組織上、軍事上奠定了具有堅強戰斗力的革命軍隊的基礎。

　　34團在組建之初，武器是老舊的粵造七九式步槍，全團僅有兩挺重機槍，到1925年年底，中共中央成立了中央軍事機構，為34團籌集了一筆可觀的經費，為他們作補充彈藥刺刀等軍需之用。1925年底，國民革命軍第4軍第12師副師長張發奎率第35、36團到海南作戰，34團留粵。此后，第12師在瓊崖整編部隊時，另成立了一個第34團(團長許志銳)。1926年1月，34團正式改名稱為國民革命軍第4軍獨立團，團長葉挺。后來，人們因此稱之為葉挺獨立團。

　　1926年5月，葉挺獨立團出師北伐，后來根據作戰需要，又成立了特別大隊和補充營，特別大隊（大隊長劉明夏，中共黨員，黃埔1期）下轄三個隊，分別由蔡晴川、張堂坤、符節（中共黨員，黃埔3期）任第1、第2、第3隊隊長；補充營（營長符克振，中共黨員，1924年進入黃埔軍校）下轄兩個連，分別由孫以棕(黃埔1期、中共黨員，后接任第1營營長)、鄒范(中共黨員、黃埔1期)任第1、第2連連長。該團在北伐戰爭中勇當先鋒，在汀泗橋、賀勝橋、武昌等著名戰役中，屢建奇功，為其所在的國民革命軍第4軍贏得“鐵軍”的殊榮，團長葉挺被譽為“北伐名將”。在整個北伐戰爭中，獨立團傷亡約1000人，其中犧牲600多人。由于干部減員過多，黃埔軍校的畢業生如彭干臣、吳光浩、林彪、陸更夫、李天柱等共產黨員陸續被派往獨立團補充。

　　1927年5月，國民革命軍第4軍獨立團擴編為7個團，即國民革命軍第11軍第24師（70、71、72團）、第25師（73、74、75團）和國民革命軍第2方面軍警衛團。葉挺先后任第24師師長和第11軍軍長。1927年8月，第11軍作為主力參加了南昌起義。