抗日戰爭爆發後，任八路軍第129師師長，和政治委員鄧小平一起，率部奮戰在太行山上。面對不可一世的日本侵略軍，他經常用“勇是男兒頭上的桂冠”、“無角綿羊受欺壓，有蟄的黃蜂不可侮”等話語來激發將士們的對敵鬥爭信心。他指揮部隊先後進行了夜襲陽明堡、設伏七亙村以及長生口、神頭嶺、響堂鋪、晉東南反“九路圍攻”、冀南反十一路“掃蕩”、百團大戰中的正太榆遼等一系列著名戰役戰鬥，給侵華日軍以沉重打擊，創建了晉冀魯豫抗日根據地。他堅決執行中共中央、xx的戰略方針，積極組織正規軍、游擊隊和民兵相結合的遊擊集團，並組建大量武裝工作隊，實行“敵進我進”，向敵佔區、交通線廣泛出擊，粉碎了日偽軍的頻繁“蠶食”和殘酷“掃蕩”。與此同時，他率部多次反擊國民黨頑固派對根據地的進犯，牢牢把緊太行山這道華北抗日根據地的“南大門”，使“平遼半壁山”得以免遭敵寇的蹂躪塗炭。
1942年，他與鄧小平領導根據地軍民實行生產自給，減租減息，精兵簡政，度過了抗日戰爭最為艱苦的歲月。1943年9月赴延安參加整風運動。1945年6月當選為第七屆中央委員。
日本投降後就任晉冀魯豫軍區司令員，於1945年9—11月率部發起上黨戰役和邯鄲戰役，殲北犯的國民黨軍近6萬人，並爭取其第十一戰區副司令長官兼新編第8軍軍長高樹勛率部起義，有力地配合了中共在重慶與國民黨的談判，打破了蔣介石北進的戰略企圖，為實現黨中央“向北發展，向南防禦”的方針作出重要貢獻。