徐州会战期间，驻守武汉的军事统帅部在兰封、商丘、砀山之间的陇海铁路沿线地区集结了大量部队，特别是蒋介石的嫡系部队，其中有黄杰、宋希濂、俞济时、桂永清、胡宗南、李汉魂等部，这样大规模的集结仅次于淞沪会战。中国军队的目标是围歼土肥原贤二的第十四师团，蒋介石亲赴郑州督战，由薛岳任第一兵团司令，负责战役的具体指挥。

土肥原贤二是日本的中国通，长期在中国从事特务工作，是日本侵华过程中的一个重要角色。他率领第十四师团从河南东北部南下，抵达兰封附近，威胁陇海铁路。

5月下旬，中国军队各部在兰封附近的罗王砦、三义砦一带连续围攻土肥原贤二部，反复不下10多次，给日军以沉重的打击。但日军负隅顽抗，中方各路围攻部队却也无可奈何。由于其他日军前来增援，于5月28日攻陷归德，黄杰部开始西撤。第一战区司令长官程潜决定全线向平汉铁路以西地区撤退。6月4日，土肥原部攻击著名古都开封，开封守军一四一师于6日晨撤离。

日军在中原大平原上使用机械化部队，意图快速夺取开封、郑州，然后从平汉线南下快速攻占武汉。为延缓日军凶猛的攻势，蒋介石无奈之余，决定掘开黄河大堤，以水代兵，蒋介石下令新八师师长蒋在珍督促部下在郑县花园口关帝庙西挖掘黄河大堤。9日用炸药炸毁了堤内斜面石基，并用平射炮发射几十发炮弹轰击缺口。黄河之水从缺口处奔腾咆哮而下，堤岸不断自行崩塌。黄河下游地区尽成泽国。中国军队经常涉水作战，或者乘帆船在洪水泛滥的地区行动。洪水泛滥将日军第十四师团及第十六师团困在中牟等地动弹不得，中止了向郑州的前进。进至新郑的日军骑兵联队的一个支队因后路已断，被第一战区军队全部消灭。日军用火车运载汽艇、弹药、给养援助被困日军，被困日军则纷纷征集门板及各种渡河工具，向东逃窜。

黄河水淹没地区从西北至东南，总计400多公里，流经豫、皖、苏三省44个县，形成了区域很宽广的黄泛区，使日军的机械化部队难以发挥威力。至此以后，双方军队隔着黄泛区一直对峙到1944年。黄河泛滥虽然换得军事上一时喘息之机，但数百万中国平民为这一决策付出了惨重的代价，许多人葬身洪水，更多的人的房屋田产均受灭顶之灾，黄泛区灾民大批流亡。

在黄泛区内，粮食颗粒无收，导致了以后的长期灾荒。