1937年7月7日，盧溝橋事變爆發，日本帝國主義全面侵華戰爭開始了。徐向前為“七七事變”的槍聲所震動。盧溝橋的一聲槍響，民族仇恨超越了階級對立，他積極擁護中共中央確定的國共合作、建立民族統一戰線、共同抗日的方針，決定放下舊仇，共雪民族之大恥。在8月召開的洛川會議上，紅軍改名為“國民革命軍第八路軍”，徐向前任129師副師長。會後，毛澤東對徐向前説：“你是山西人，和閻錫山是同鄉，下一步，你和周恩來同志去太原，做做閻錫山的工作。”這樣，徐向前隨同周恩來、朱德、彭德懷等人來到了太原。徐向前和周恩來一樣，夜以繼日地工作，會見各界人士，深入羣眾，利用一切機會宣傳共產黨的抗日主張，在周恩來領導下，同閻錫山的談判進展順利。閻錫山同意成立第二戰區民族革命戰爭動員會，並答應為八路軍建立晉察冀抗日前線提供方便。
從此，徐向前與劉伯承、鄧小平一道，大刀闊斧地展開了創建以太行山為依託的晉冀豫抗日根據地的工作。在三個月的時間裏，取得了顯著成績：建立了抗日民主政權，迅速發展了抗日武裝，積極開展游擊戰，打擊了日軍的囂張氣焰。在劉伯承、鄧小平、徐向前的領導下，129師先後取得了鳳凰山戰鬥、長生口伏擊戰、神頭嶺戰鬥、反六路圍攻、響堂鋪戰鬥和晉東南反九路圍攻戰役的勝利，累計殲敵近7000人。戰後，日寇被趕出了晉東南，以太行山區為中心的晉冀豫抗日根據地基本形成了。
1938年4月，毛澤東給劉伯承、鄧小平、徐向前發了電報，要他們在河北平原開展游擊戰爭。徐向前接受了任務，告別了劉伯承、鄧小平，率部隊挺進冀南，來到了一馬平川的河北大平原。徐向前從戎十餘載，多在山區轉戰，對山地的作戰指揮可説已駕輕就熟。來到大平原後，沒有了大山的依託，游擊戰爭怎麼展開是擺在徐向前和戰士前面的一個新課題。徐向前並沒有被困難嚇倒。他親自調查冀南的民情、民俗，找幹部、羣眾談話，並與宋任窮、劉志堅等領導人研究如何開展平原游擊戰爭問題。最終他與幹部的思想不謀而合：人民羣眾才是最高的山，最大的森林，要堅持抗戰，要生存發展，就要依靠人民羣眾，在平原上造“人山”。徐向前寫了《開展河北的游擊戰爭》一文，闡述了建立“人山”的思想。這是一篇開展平原游擊戰爭的精闢論著，處處閃爍着毛澤東軍事思想的光輝。它不僅對冀南有直接的指導作用，也為全黨提供了堅持和發展平原游擊戰爭的重要經驗。
徐向前在冀南一年多的時間裏，與宋任窮、劉志堅、楊秀峯等同志親密合作，打開了冀南的抗日局面，妥善處理了許多複雜問題。根據地發展到西起平漢路、東至運河、南起豫北、北至滹沱河以南的廣大地區，人口逾800萬。
1939年6月初，徐向前奉命赴山東，任國民革命軍第18集團軍第1縱隊司令員，統一指揮山東和蘇北、皖北八路軍各部隊，堅持抗日遊擊戰爭。在此期間，他聯合抗日民族力量，並與國民黨頑固派展開摩擦與反摩擦鬥爭，廣泛建立地方政權，有力地抗擊了日寇對山東的新“掃蕩”。