1897年4月28日生,原名葉宜偉,字滄白。廣東省梅縣人。1917年入云南講武堂。曾參與籌建黃埔軍校,任教授部副主任。1926年任國民革命軍新編第二師師長,后任四軍參謀長。1927年加入中國共產黨。1927年12月率領所部教導團參加廣州起義,任軍事指揮部副總指揮。1928年赴莫斯科學習。1930年回國。1931年到江西中央革命根據地,歷任中華蘇維埃共和國中央革命軍事委員會委員兼總參謀長,中央軍委總參謀長兼紅一方面軍參謀長,西北軍委會參謀長兼紅一方面軍參謀長,工農紅軍學校校長,瑞金衛戍區司令,閩贛及福建軍區司令員。參加了長征,任一縱隊司令員、前敵總指揮部參謀長。到陜北后參加和平解決西安事變。抗日戰爭時期,曾任八路軍參謀長,并協同周恩來在國民黨統治區做統戰工作。1941年2月任中央軍委參謀長。解放戰爭時期,歷任華北軍政大學校長,國民革命軍第十八集團軍參謀長,中國人民解放軍總參謀長,北平軍事管制委員會主任,北平市市長。1946年任北平軍事調處執行部中共首席代表。1948年12月—1949年8月任中共北京市委第一副書記。
建國后,歷任廣東軍區司令員兼政治委員,廣州市軍事管制委員會主任,廣州市市長、市委書記,華南軍區司令員兼政委,中南軍區副司令員、代司令員,中共中央中南局代書記。1949年10月當選為中蘇友好協會總會理事、中央人民政府華僑事務委員會委員、中央人民政府人民革命軍事委員會委員。1949年12月—1953年1月任中南軍政委員會副主席。1950年4月任廣東省政府主席。1950年9月—1954年7月任廣東省政府財經委員會主任(兼)。1953年1月任中南行政委員會副主席。1954年6月任中央人民政府革命軍事委員會副主席。1954年9月任國防委員會副主席。1954年11月任中國人民解放軍武裝力量監察部部長。1958年3月任軍事科學院第一任院長兼政委。1959年4月、1965年1月任國防委員會副主席。1965年1月當選為第四屆全國政協副主席。1975年1月任國防部部長。1978年3月當選為第五屆全國人大常委會委員長(1983年辭)。1982年9月任中共中央軍事委員會副主席。1983年6月任中華人民共和國中央軍事委員會副主席。 還曾任中國釣魚協會名譽主席,第八屆中央政治局委員、中央書記處書記,第九屆中央政治局委員,第十、十一屆中央副主席,第十二屆中央政治局常委。是中共第七屆中央委員, 第一至三屆全國人大常委會委員,第四屆全國人大代表(解放軍)。
1985年9月經中共全國代表會議同意不再擔任中央委員,同年辭去黨、國家和軍隊領導職務。
1955年被授予元帥軍銜,并獲一級八一勛章,一級獨立自由勛章,一級解放勛章。1982年獲哥倫比亞眾議院授予的特級大十字民主勛章。
1986年10月22日在北京逝世,終年89歲。