侵华日军华北方面军按照大本营的《一号作战纲要》，开始制订平汉路作战计划。华北方面军司令官冈村宁次，是个杀人魔王，在中华大地上犯了滔天大罪。他从自己的辖区抽调出65个大队的兵力，企图血洗河南中原大地。主力军为第62师团、第110师团和战车第3师团、骑兵第4旅团和4个独立旅团。

日本陆军建制单位从大到小依次为：总军、方面军、军、师团、旅团、联队、大队、中队、小队。小队相当于排，中队相当于连，大队相当于营。联队相当于团，旅团相当于旅，师团相当于加强师或军。这是同中国军队的建制相比较而言的，一般来说，日军的建制都比中国军队的人数多，比如大队是营级，但日军一个大队人数都在千人以上，并且是多兵种的配置，战斗力远远超过中国军队。在通常情况下，中国军队要以六倍的兵力才能取胜。

中原河南地区中国军队，隶属第一战区。司令蒋鼎文，副司令汤恩伯，共有8个集团，1个兵团，17个军，41个师，总兵力大约在40万人以上。而侵华日军华北司令官冈村宁次指挥的攻击日军不过6万人马。按照常规，中国军队对于河南会战是有胜利把握的。

但是当日军在河南附近频繁调动的时候，第一战区副司令汤恩伯竟然没有弄清日军的战略意图。用李宗仁的话说，汤恩伯是个草包。在火烧眉毛的这一刻，他既没有周密的作战计划，也没有切实的应变措施。第一战区汤恩伯的这种状态，是受最高统帅部错误判断形势所造成的。

美国驻重庆的武官认为，日军在河南的攻势，只不过是春季演习，日军很快便可退回原来的防地。史迪威断言，日军没有具备在华大举进攻的能力。蒋介石也有如此的判断，世界反法西斯战场接连取得胜利，中国军队配合盟军大反攻的日子不会太远了。他在上个月的军事会议上说，中国军队在完成准备后即发起进攻，必须堂堂正正地实行反攻，并把反攻的时间定在1944年的五六月间。

蒋介石基于这样的判断，从第一战区抽调兵力去新疆维护社会治安，还抽出部分兵力去陕甘宁围困共产党的中央机关。但是战争的局势发展却证明美国军事顾问部和中国最高军事统帅部犯了很大的错误，他们显然低估了日军孤注一掷发动全面攻势的决心和能力。

日军的意图，早已被八路军总部侦察到，他们从大局出发，及时向第一战区长官司令部通报敌情，同时多次向国民党中央军事委员会通报，以期引起蒋介石的重视。然而他们对八路军总部传来的情报置若罔闻，无动于衷。

1944年4月16日，日本大军兵临郑州。17日夜，日军第12军首先从河南中牟县发起攻击，战至18日凌晨，守军暂编第27师被打垮，阵地被突破。日军马不停蹄，兵分两路向郑州、新郑推进。19日拂晓，日军占领郑州车站，当晚郑州守军第15军弃城突围。

日军另一路大军在邙山下同中国守军进行激战。第11师1个营坚守阵地，全部牺牲。邙山一线被日军突破后，黄河铁路大桥正面守军第85军只得后撤，正面防线随之洞开。

蒋介石这个时候开始着急了，他想改变远征军入缅甸作战计划，把驻扎在西南边境的远征精锐部队调回来，把守东线，加强湘桂防御。蒋介石的这个想法遭到美国的拒绝，特别是驻华美军总司令史迪威的坚决反对，不仅不能调回部队，就连美国的军火，也不许用于东线战场作战。蒋介石和史迪威是一对冤家对头。

万般无奈的蒋介石，深深知道弱国的下贱地位。他只好匆匆忙忙调整部署，以图补救。4月20日，蒋介石电令第一战区：

一、汤兵团对窜犯许昌附近之敌应予严重打击；对密县之敌，暂行监视，佯动牵制。

二、孙集团军应加强出击兵力，对当面之敌攻击。

汤恩伯鉴于日寇到处攻击，打算在禹县附近集中有力部队给予打击。

蒋介石同意，并指示应该用一个军死守禹县，尽力吸引、牵制日军，以支持许昌的守军，这样也便于在禹县与日军决战。

日军侵略军在占领郑州地区大片县城后，于4月26日在新郑召开参战部队各师团长、旅团长军事会议，下达了下一阶段作战命令：第62师团前进到许昌西南，切断国民党守军向西南的退路；第37师团，独立混成旅，战车第3师团的一部，进攻许昌；第27师团进攻郾城，与北上的11军会合。各进攻部队任务完成后，分别向禹县、临汝推进。

4月29日，第62师团首先开始了行动，一举突破了中国军队颍河防线，从而保证其他部队进入攻击位置。第二天进攻许昌的战斗打响了，守军第29师拼死抗争，激战至黄昏。日军从西、南两方向突入城内，师长吕公良阵亡，守军伤亡惨重，剩余人员从城东北角突围。5月1日，许昌失陷。

日军完全控制了北起黄河铁桥，南至信阳以北的长台关铁路。实现了计划的第一步，打通了平汉路。此时，第一战区组织第13军向被日军占领的密县反击。日军深知第13军是第一战区的精锐，只要歼灭该军，就可以彻底打垮第一战区。这是日军最渴望寻求的机会。冈村宁次立即向第12军下达命令，日军第12军行动迅速，甚至不等许昌完全占领，便急忙调头向登封转进。第110师团由北向南，第62师团由东向西，战车第3师团和骑兵第4旅团，他们像饿狼一样，全都朝第13军扑了过去。第一战区指挥官慌了神，急令85军迅速驰援。

国民党军的行动总是慢半拍，日军第110师团先期到达登封外围，切断了登封与偃师的联系。战车第3师团也抢在第85军之前攻占了临汝，它的先头部队还进到了洛阳龙门附近。这样一来，中国军队的第9军和第13军遭到日军分割。第9军开始向外突围，但遭到日军沿途截杀，溃不成军，同时第13军趁黄昏开始向临汝撤退。一路上不断遭到日军战车师团的攻击，损失惨重。

5月8日，登封地区的主阵地全部被日军占领。第二天日军第69师团开始攻占渑池，并缴获中国军队大量的粮食和弹药等物资，切断了陇海铁路，致使洛阳陷于孤立。日军十分精明，他们把洛阳监控起来后，便分头追击汤恩伯的主力部队。日军在中国关内战场上唯一的机械化兵团，在中原广阔的平原上大显威风。第3战车师团如入无人之境，一路追杀，长驱直入，不几日便占领了洛阳外围县城。这时的洛阳，完全被日军合围。

中国最高军事统率部为挽回战局，争些面子，命令第五战区、第十战区和第一战区的部队向日军反击，虽说有所收获，但却遭到日军的堵击。

日军在阻击外围的同时，加紧对洛阳的进攻。

守卫洛阳城的是国民党第15军和第94师，共有7个团的兵力，但他们打得十分顽强。进攻洛阳的日军连连受挫，三次进入洛阳城关，都被中国军人逐赶出城。中国守军伤亡惨烈，第94师只剩下1700余人，仍同日军进行巷战。

在敌强我弱，没有外援的支持下，第15军军长武庭麟便下令突围。守卫部队残部趁黑夜撤出洛阳，少数部队没有接到突围命令，仍在继续坚持战斗，直至战斗到最后一人。5月25日，洛阳完全被日军占领。

河南会战中，最为狼狈的要数第一战区司令长官部。他们被日本军队追赶得鸡飞狗跳，一退再退，几乎被赶出河南省界，最后落脚在新乡东南的官庄。第36集团军总部在陕县张家河遭到日军伏击，总司令李家钰在激战中殉国，这是抗战中中国军队阵亡的最高级别的将领之一。6月22日，国民政府追赠他为陆军上将。

河南会战以洛阳失陷而告终。至此日军不仅打通了平汉铁路，还控制了陇海线。日军的进攻行动没结束，这只是他们“一号作战”的第一步。

其中一部日军正朝长沙、衡阳奔去，准备参加湘桂作战。

蒋介石在河南会战中投入兵力40万，欲给日军以沉重打击，然而40万国民党大军却在日军5万多人的进攻下，接连败退，溃不成军。整个战斗历时40天，丢掉包括郑州、洛阳、许昌等中等重镇在内的城市38座，中国军队战死37500多人，被俘15000多人。日军战死850余人，伤2500多人。

河南兵败，全国一片哗然，国民群情激愤。几十万大军一败涂地，汤恩伯罪责难逃，许多人上书请求处分他，甚至有人提出斩汤以谢国人。汤恩伯的处境极为不利，幸得蒋介石的宠爱，汤恩伯没有受多大的委屈。鉴于第一战区的惨重失利，为平民愤，第一战区司令长官蒋鼎文和副司令长官汤恩伯均被撤职。

蒋介石心里有数，河南兵败，不能把责任推到战区司令官的身上，主要原因是对日军攻势估计不足，对形势判断错误，误认为日军主攻方向是在湖南和粤汉线，河南的作战只不过是日军牵制性的佯动。蒋介石心里想，这个亏吃大了。自己犯下的错误，如同哑巴吃黄连，有苦说不出，教训太深刻了。