当日军将主要注意力集中于正面战场上的常规战时，八路军已经深入到山西从事游击战争。山西太原失守后，八路军开始集中力量以山西各处山区为基地创建抗日敌后根据地。第一个也是国民政府惟一正式承认的八路军创立的敌后根据地是晋察冀抗日根据地，它是由聂荣臻将军率领第一一五师近3000人以五台和阜平为中心艰难开辟的。接着，第一二九师刘伯承部开创了晋冀鲁豫抗日根据地，第一二〇师贺龙部开辟了晋绥抗日根据地等。

这些根据地都是在不断粉碎日军的进攻中建立起来，在经受日军反复扫荡后而得到巩固的。

1938年春以后，八路军不再局限于山地作战，还果断地向被认为不适宜开辟游击战争的山东与河北等省的平原地区发展，建立敌后抗日武装和根据地。

敌后根据地的创立牵制了日军大量兵力，在战略上有力地配合了正面战场上友军的作战，迫使日军将主要注意力转到巩固占领区的统治，而暂时停止了在正面战场的战略进攻。

太原失守后，八路军主力开始分兵各处，深入敌后，创建山区根据地。平型关战役以后，第一一五师主力转往晋东南作战，副师长聂荣臻则率领1个独立团、1个骑兵营和两个不完整的连，约3000人驻扎在山西东北部五台山一带。当时，晋东北完全处在日军的包围之中，官兵们在大雪纷飞的日子里行军，只穿单衣单裤，晚上就在四处透风的破庙里胡乱地睡上一觉。到达五台一带时，发现各县官员已南逃，只有五台县县长宋劭文、孟县县长胡仁奎还在本县坚持职守。在他们的协助下，八路军摧毁各地伪政权，建立了以五台为中心的晋东北抗日游击根据地。聂荣臻部花费一个多月的时间，先后占领了察南、冀西的10多个县，形成了以阜平为中心的冀西游击区。在冀中，东北军第五十三军六九一团在团长吕正操率领下拒绝南撤，在晋县小焦镇举行誓师大会，以“人民自卫军”的名义坚持作战，占领了安平、高阳、博野等县城，开辟了冀中抗日根据地。1937年11月，各根据地联合成立晋察冀军区，由聂荣臻任司令员兼政委，下辖4个军分区。稍后成立的以吕正操为司令的冀中军区归晋察冀军区统一指挥。

晋察冀根据地以阜平和五台为中心，边区政府与军区司令部设在这里。这一带地区有恒山、五台山等山脉，道路崎岖难行，易守而难攻。

1937年11月下旬，日军由平绥、正太、平汉路分兵8路围攻晋察冀边区，但均被击退，日军死伤1000余人，经此一战，根据地得以稳定与巩固。晋察冀地区成立抗日民主政权的条件已经成熟。

1938年1月10日至15日，晋察冀边区军政民代表大会在阜平召开，国共两党代表，各部队的代表，各群众团体、少数民族、包括五台山的僧侣代表参加会议，用民主选举的办法成立了晋察冀边区临时行政委员会，推举宋劭文、胡仁奎为正、副主任委员。边区政府得到了国民政府的承认，开始正式办公。根据地内陆续设立了银行、邮电局，还有兵工厂，能自制步枪、子弹和手榴弹。

晋察冀边区地处平绥、平汉、同蒲、正太铁路之间，日军将晋察冀根据地视为心腹之患，日伪报纸称：以价值论，汉口、五台各为国民党军及共产军之根据地，日军决心一面围攻武汉，一面进剿五台。1938年10月以后，日军对华北敌后抗日根据地发起攻击，占领了除阜平以外的晋察冀的所有县城，但很快被根据地军民击退。外国曾就敌后作战的情形电询国民政府外交部，当时的外交部长王宠惠作了如下回答：“我军仍在华北敌后坚持，五台山根据地依然屹立。”晋察冀边区是最早和最大的敌后抗日根据地，边区政府是华北敌后建立的第一个政权组织，具有与省级政府同等权力，它也是惟一得到重庆方面承认的中共敌后抗日政权。

到1938年底，晋察冀边区包括冀中、冀西、晋东北、察南70多个县，面积几乎等于河北省，人口近1200万人。