原名葉啟亨，曾用名葉琛。原籍福建省南安縣。1914年5月7日生于菲律賓奎松省一個華僑小商人家庭。1918年歸國。1926年起先后就讀于廈門中山中學和省立第十三中學。1928年5月加入中國共產主義青年團，年底離校從事秘密革命工作。1929年起任共青團福建省委宣傳部部長和代理書記、福州中心市委書記。其間曾被捕入獄。1932年3月轉入中國共產黨。后到閩東地區參與創建蘇區和建立游擊隊。1934年3月在中共福建省委遭到破壞、與中共中央失去聯系的情況下，以特派員的身份，果斷地主持召開會議，重建中共閩東特委，并成立中國工農紅軍閩東獨立師。1935年起任中共閩東特委書記、閩東軍政委員會主席兼紅軍閩東獨立師政治委員，領導軍民堅持了極其艱苦的三年游擊戰爭。其間先后率部在閩浙邊取得沙埕、桃杭等戰斗的勝利，多次挫敗國民黨軍的“清剿”，并在閩東地區恢復和重建了多塊游擊區。
抗日戰爭爆發后，任新四軍第3支隊6團團長，率部進入皖南敵后開展游擊戰爭。1939年5月奉命率團與無錫、江陰等地游擊隊合編為江南抗日義勇軍，任副指揮。6月指揮夜襲滸墅關車站，使寧滬鐵路線一度中斷。繼于7月下旬突襲上海虹橋日軍機場，燒毀敵機4架。后與丹陽游擊縱隊合編為新四軍挺進縱隊，任縱隊政治委員兼副司令員，旋即北渡長江，在揚州、泰州地區開展抗日斗爭，參與開辟蘇北抗日根據地。1940年7月任新四軍蘇北指揮部第1縱隊司令員兼政治委員。10月在黃橋戰役中，率部適時出擊，經3小時激戰，全殲國民黨頑固派軍隊韓德勤部獨立第6旅，并協同兄弟部隊殲滅韓部主力第89軍。1941年皖南事變后，任新四軍第1師第1旅旅長兼政治委員和蘇中第3分區中共地委書記、副師長，參與指揮蘇中地區反“掃蕩”、反“清剿”和反“清鄉”作戰。1944年3月指揮車橋戰役，以圍點打援的戰法，殲滅日偽軍近千人，打通了與蘇北、淮南、淮北地區的戰略聯系。1945年起任第1師師長兼蘇中軍區司令員和中共蘇中區委書記、蘇浙軍區副司令員，參與指揮天目山反擊戰。解放戰爭初期，任山東野戰軍第1縱隊司令員，率部收復泰安、大汶口，參加膠濟路反擊戰和宿北、魯南戰役。1947年2月起任華東野戰軍第1縱隊司令員兼政治委員、第1兵團副司令員兼第1縱隊司令員，率部參加了萊蕪、孟良崮、豫東、濟南、淮海等重要戰役。1949年2月任第三野戰軍第10兵團司令員。4月參加渡江戰役，率部解放丹陽、常州、無錫和蘇州。5月參加上海戰役后，率10兵團進軍福建，先后發起福州、漳（州）廈（門）戰役。8月兼任福建軍區司令員，組織指揮部隊清剿國民黨殘余武裝和土匪。
1953年起任中共福建省委第二書記、第一書記，福建省省長，福建省政協主席，南京軍區副司令員，福州軍區司令員兼政治委員，中共中央華東局書記處書記。在主持福建省工作期間，與其他領導一起帶領廣大干部群眾，建立了第一批新興工業基地，并大力發展農業、交通運輸、水利電力和文化教育事業。同時致力于鞏固海防和加強海上軍事斗爭，組織指揮了東山島戰斗和炮擊金門。1975年1月出任國家交通部部長，全面整頓生產秩序，努力振興國家交通事業。1979年調任人民解放軍海軍第一政治委員。1980年1月至1982年8月任海軍司令員。
是第一至第三屆國防委員會委員，中共第八屆中央候補委員、中央委員（1966年遞補），第十屆中央候補委員，第十一、第十二屆中央委員，第六、第七屆全國人大常務委員會副委員長和人大華僑委員會主任委員，全國僑聯第三屆委員會名譽主席。
1955年被授予上將軍銜，獲一級八一勛章、一級獨立自由勛章和一級解放勛章。1988年獲一級紅星功勛榮譽章。
1999年4月18日在北京病逝。
著有《葉飛回憶錄》等。
