1928年4月，國民革命軍開始二次北伐，張宗昌的直魯聯軍不敵北伐軍節節敗退，率殘部被迫結束山東。隨著張宗昌的敗退，原本依附於張宗昌的軍隊立即樹倒猢猻散，散布在魯東地區。
由於北伐軍一路北上，無暇顧及這裏的直魯聯軍部隊，劉珍年正是利用這一時期的混亂局面，站穩腳跟發展了起來。
當時在魯東地區主要有這麽幾支部隊，分別是方永昌的第4軍、劉誌陸的第13軍以及孫殿英的第14軍，其中劉珍年為第13軍參謀長並兼任旅長。張宗昌在撤離山東前，曾委任資歷最深的劉誌陸為膠東防禦總司令，以圖東山再起，方永昌見張宗昌大勢已去就把部隊交給劉珍年管理，自己則去了大連。
但劉誌陸早就和南京方面扯上了關系，決定率部掛上青天白日旗參加「革命」，於是就以召開軍事會議的名義計劃把方永昌部的4個旅長通通拿下。劉珍年事先已經察覺出這是個陰謀，拒絕參加會議，果不其然參會的3個旅長都被劉誌陸軟禁了起來。
此時方永昌部群龍無首，只有劉珍年的官最大，在劉珍年的鼓動下，對劉誌陸的部隊發起了進攻。劉誌陸被劉珍年打敗，殘部退守平度，劉誌陸以去南京找蔣介石尋求援軍的名義離開了部隊。劉誌陸走後，劉珍年把部隊從4個旅擴編成了5個師，隨著劉珍年勢力發展了起來，到了1928年9月，蔣介石就把劉珍年所部改編為暫編第1軍。
劉珍年畢竟資歷淺，手下的嫡系部隊也不多，除劉親自兼任的第1師外，只有第3師師長何益三支持他，另外的3個師根本不服劉珍年。其中的第4師劉選來和第5師師長施中誠更是經常派人與已經下野的張宗昌和褚玉璞聯絡，希望張、褚二人來膠東主持大局。
張宗昌
1929年初，流亡在大連的張宗昌、褚玉璞在日本人的支持下，與孫殿英、劉選來、施中誠聯合起來組成了所謂的同盟軍第2方面軍，由張宗昌擔任總司令。同年3月，張宗昌集結大軍向駐守在煙台地區的劉珍年部發起了進攻，當時劉珍年名義上雖有第1師和第3師及其他零散部隊，但實際人數不足6000人，面對兵力強大的張宗昌，劉珍年率部退入事先已經存放有大量武器彈藥和糧食的牟平城內。
為了守住牟平城，劉珍年把部隊合並成1個師，編成4個旅分別防守東西南北四門，騎兵團、教導團作為預備隊待機而動。而來勢洶洶的張宗昌部，番號又多又雜，實際兵員並不充實，且各部隊還互相勾心鬥角。
劉珍年鼓勵部隊說：「我軍人數雖少，但是百戰百勝之師，像一個鐵蛋，張、褚之輩，雖然人數眾多，但卻是烏合之眾，向一籃雞蛋，我師以鐵蛋必將粉碎敵人之雞蛋。」空有口號當然是不夠的，劉珍年還準備了幾十萬元獎勵守城的部下，根據戰功大小拿錢，功勞大的幾千、幾百，少的也有幾十塊。
張宗昌和劉珍年的牟平之戰在1929年3月28日正式打響，張宗昌知道自己新拼湊部隊的水平並不想強攻，決定先用大炮轟城。在開炮前，張宗昌親自勸降說：「儒席（劉珍年的字）老弟，快出城吧，自己人打什麽仗，北方人快沒飯吃了，快出城合作吧！我以前不知道我的部下還有你這樣的人才，老弟你出城後我就把部隊交給你指揮！」
但劉珍年根本不慌，張宗昌有大炮，他劉珍年也有大炮，而且劉珍年早年就是以玩炮出名的，對於使用迫擊炮、山炮頗有心得。張宗昌的大炮雖然很多，但是命中率很低、炮彈質素差，對劉軍的威脅並不大，而劉珍年的大炮射擊非常精準。在一次炮戰，劉珍年透過望遠鏡發現了張宗昌的指揮部，親自操作大炮一炮命中，張宗昌當時差點就被炸死。
張宗昌見劉珍年不怕他的大炮，一計不成再生一計，於是命令部下挖地道攻城。劉珍年與士兵同吃同住，每天晚上都要親自繞城一周，因此張宗昌的坑道一開始便已經被劉珍年發現了。每當坑道挖到城墻附近時，劉珍年就命令迫擊炮轟擊坑道，炸死炸傷不少張宗昌部隊的工兵。
雙方就這樣一直相持了二十多天，張宗昌的部隊圍城時間一長，就松懈了下來。劉珍年於是組織梁立柱的第3旅和教導團共2000多人趁此機會偽裝成國民革命軍出城，事先已經賄賂了張宗昌部一個營長提前在戰線上開一個口子。
第二天，這2000多人出其不意出現在張宗昌後方，被張宗昌的部隊誤以為是來增援劉珍年的國民革命軍，一時間軍心大亂。此時劉珍年又親自率部出城發動反擊，張宗昌部瞬間作鳥獸散，全線潰散，在劉軍的圍追堵截下大部繳械投降。
牟平一戰，劉珍年以數千大敗張宗昌的數萬大軍，一戰成名奠定了其統治膠東的基礎。1929年5月，國民革命軍進行統一編遣，劉珍年部被縮編為新編第3師，劉珍年擔任師長，何益三擔任副師長，原部被合編為第1旅、第2旅、第3旅，第1旅由劉珍年兼任旅長；第2旅由梁立柱任旅長；第3旅由張鑾基任旅長，這就是劉珍年的班底。
