在應天府自稱吳王后，朱元璋初步建立衛所制度

元至正二十一（元1361年）正月，朱元璋被小明王封為吳國公。

此後，朱元璋模仿元朝的中央機構體制，對所轄機構進行改造。

元朝在京師設立中書省，總領百官，處理全國政務；在地方設立行中書省，掌管轄區內的軍政事務。

元朝的樞密院“掌天下兵甲機密之務”（《元史·志·百官》），是全國最高軍事機構，地位低於中書省，“秩從一品”（《元史·志·百官》）。而中書省設右丞相、左丞相各一名，均為正一品。

明史劉伯溫傳原文及翻譯

元朝初期有徵伐之事，才在地方設立行樞密院，不過只是臨時機構，屬於戰時編制，“事已則罷”（《元史·志·百官》）。

元至正二十一（元1361年）三月，朱元璋改江南行樞密院為大都督府，是當時最高軍事機構，任命侄子朱文正為大都督，“節制中外諸軍事”（《明太祖實錄》）。

朱元璋把先前設立的分樞密院為改中書分省，陸續調一批高階武將入中書省，邵榮為中書省平章政事，徐達為中書省右丞，鄧愈、常遇春為中書省參政，湯和為中書左丞；由行中書省統轄地方軍隊。

元至正二十二年（公元1362年 ）二月， 朱元璋改中書分省為浙東等處行中書省，任命李文忠為左丞，統率衢州、處州、廣信、嚴州、諸全的兵馬。

元至正二十四年（公元1364年 ）正月，朱元璋在應天府自稱吳王，設定中書省，封李善長為右相國、徐達為左相國，均為正一品；此時與元制一樣，右在左上，李善長在徐達之上。常遇春和俞通海被封為平章政事；三月，湯和被封為平章政事。平章政事為從一品，參知政事從二品。

三月，朱元璋確立大都督府官制，大都督從一品，左右都督正二品，同知都督從二品，副都督正三品，僉都督從三品，經歷從五品，都事從七品。

確立各行省官制，平章政事從一品，左右丞正二品，參知政事從二品；與中書省平章政事、左右丞、參知政事的級別相同，這一點也與元制一樣。

確立都鎮撫司官制，都鎮撫從四品，副鎮撫從五品，知事從八品。

確立金吾侍衛親軍都護府官制，都護從二品，經歷正六品，知事從七品，照磨從八品。

確立統軍元帥府官制，元帥正三品，同知元帥從三品，副使正四品，經歷正七品，知事從八品，照磨正九品。

確立各萬戶府官制，萬戶正四品，副萬戶從四品，知事從八品，照磨正九品。

確立各衛親軍指揮使司官制，指揮使正三品，同知指揮從三品，副使正四品，經歷正七品，知事從八品，照磨正九品；千戶所正千戶正五品，副千戶從五品，鎮撫、百戶正六品。各衛下轄一定數量的千戶所，這是一種駐防體系，而非戰時編制。

下令廢置設在各地的翼統軍元帥府，設立武德、龍驤、豹韜等十七衛親軍指揮使司。後來，隨著朱元璋勢力範圍的不斷擴大，在各地陸續設衛。

不久，朱元璋任命統軍元帥郭子興（不是朱元璋的岳父）為鷹揚衛指揮使，傅友德為雄武衛指揮使，左翼右副元帥金朝興為龍驤衛指揮同知。

四月十一，朱元璋又下令改各門總管府為千戶所，設正副千戶各一名。

針對歸降將領仍沿用舊官職造成的混亂，朱元璋規定部伍法，部下滿五千者為指揮，滿一千者為千戶，滿一百者為百戶，滿五十者為總旗，滿十人為小旗。

十月，省都鎮撫改隸於大都督府，秩從四品，掌調各門守禦千戶所。撤掉金吾侍衛親軍都護府、統軍元帥府、萬戶府，相應職責歸於大都督府，“革金吾侍衛親軍都護府、統軍元帥府、萬戶府、並都護府斷事官、知事於大都督府”（《明太祖實錄》）。設定拱衛司，負責統領校尉，隸屬於大都督府，正七品。

大都督朱文正派遣參政何文輝、指揮薛顯等人征討新淦鄧仲謙，令平章湯和率兵征討江西永新諸山寨。雖然大都督和中書省平章都是從一品，但統兵權在大都督手裡，平章湯和受大都督朱文正的指揮調遣。

元至正二十七年（公元1367年 ）十月朱元璋下令改百官禮儀，不再與元制相同，左在右上。

調整大都督府的官制，大都督府不再設大都督一職，左右都督正一品，同知都督從一品，副都督正二品，僉都督從二品，參議正四品，經歷斷事官從五品，都事正七品，照磨從七品。

自此，大都督府左右都督與中書省左右丞相的級別相同，均為正一品。

調整內外各衛指揮使司的官制，僉事、宿衛、鎮撫從四品，各衛鎮撫從五品，千戶所鎮撫從六品，各衛知事正八品，宿衛、知事從八品，斷事官、提控案牘的級別由各行省規定，其餘官職的級別不變。

綜上所述，自稱吳王后，朱元璋調整軍事機構，規定各級軍事機構官制，確立嚴明的等級制度和隸屬關係，初步建立衛所制度。衛所制度是明朝最主要的軍事制度，朱元璋這次對軍事制度的全面改革影響深遠。