1937年12月，进攻华东的日军攻占南京后，第13师团北渡长江，进至安徽池河东岸的藕塘、明光一线；进攻华北的日军第2集团军从山东青城、济阳间南渡黄河，占领济南后，进至济宁、蒙阴、青岛一线。日本大本营为打通津浦铁路，使南北战场联成一片，先后调集8个师另3个旅、2个支队约24万人，分别由华中派遣军司令官烟俊六和华北方面军司令官寺内寿一指挥，实行南北对进，首先攻占华东战略要地徐州，然后沿陇海铁路西取郑州，再沿平汉铁路南夺武汉。中国军队由第五战区司令长官李宗仁指挥，先后调集64个师另3个旅约60万人，以主力集中于徐州以北地区，抗击北线日军南犯，一部兵力部署于津浦铁路南段，阻止南线日军北进，以确保徐州。

1938年1月26日,日军第13师团向安徽凤阳、蚌埠进攻。守军第11集团军第31军在池河西岸地区逐次抵抗后，向定远、凤阳以西撤退。至2月3日，日军先后攻占临淮关、蚌埠。2月9日、10日，日军第13师团主力分别在蚌埠、临淮关强渡淮河，向北岸发起进攻。第51军与日军展开激战，伤亡甚重，12日向浍河方向撤退。第五战区以第59军军长张自忠率部驰援，进至固镇地区，协同第 51军在淮河北岸地区阻击日军。同时在淮河南岸，以第21集团军第48军固守炉桥地区，第7军协同第31军攻击定远日军侧后方，迫日军第13师团主力由淮河北岸回援。第59、第51军乘势反攻,至3月初恢复淮河以北全部阵地。第21集团军和第31军旋由淮河南岸向北岸集中。双方隔河对峙。

2月下旬，日军第2集团军开始分路南进。东路第5师团从山东潍县(今潍坊)南下，攻克沂水、莒县、日照,直扑临沂。第3军团第40军等部节节抵抗。第59军奉命驰援,3月12日到达临沂北郊的沂河西岸，协同第40军实施反击，激战5昼夜，日军伤亡惨重，被迫向莒县撤退。西路日军第10师团长濑支队从济宁地区西渡运河，向嘉祥进攻，遭第3集团军顽强抵抗,进攻受挫；矶谷支队 沿津浦铁路南进，3月14日由邹县以南的两下店进攻滕县。守军第22集团军第41军英勇抗击，伤亡甚重，苦战至17日, 该军守城的第122师师长王铭章殉国，滕县失守。

矶谷师团长未待在蚌埠的增援军北上支援，即直扑台儿庄，企图一举攻下徐州，打通津浦路。此时，装备德军配备的汤恩伯军团在津浦线上与日军作拉锯战，未久即退入抱牛岗东南的山区，重炮营调回台儿庄运河南岸。日军见汤恩伯部队退守，舍汤军团于不顾，尽其所有，沿津浦路支线南下，直扑台儿庄。日军总数约有四万人，拥有大小坦克车七、八十辆，山野炮和重炮百余门，轻重机枪不计其数，更有大批飞机助战。徐州及铁路沿线桥梁车站，被日机炸的一塌糊涂。三月二十三日，日军冲到台儿庄北泥沟车站，徐州城内已闻炮声。守卫台儿庄的中国军队是国军第二集团军，总司令为孙连仲。

三月二十四日，日军开始猛烈炮轰中国军队防卫工事，战斗激烈期间，第二集团军阵地每日落炮弹竟达六、七千发。炮轰之后，日军又以坦克车为前导，向国军阵地猛攻。台儿庄外围阵地工事被悉数摧毁，日军步兵随后越过战壕，步步向前推进。国军因武器太差，仅能以血肉之躯与日军炮火、坦克车猛烈搏斗，当坦克车突入战壕时，不少中国士兵腰缠炸药包，与日军坦克同归于尽。日军猛攻三昼夜，才冲入台儿庄城内，与国军发生激烈巷战，第二集团军至此已伤亡过半，渐有不支之势，孙连仲总司令死守待援。自二十七日起，双方军队在台儿庄寨内作拉锯战，情况异常惨烈。

在此危急时刻，汤恩伯军团奉命迅速南下，夹击日军，然此时台儿庄的守军已伤亡殆尽。至四月三日，全庄三分之二已为日军占据，日军电台宣称已将台儿庄全部占领，孙连仲第二集团军此时处境已极其危险，军事指挥部以汤恩伯援军即将到达督促坚守并鼓舞士气。

日军原定在次日拂晓发动总攻击，孙连仲部队在军事指挥部督促下，于夜间组成数百人的敢死队，分组向敌逆袭，冲进敌阵。仇敌在前，孙部各自为战，手持大刀，向日军砍杀，奋勇异常。日军血战经旬，已精疲力竭，不料战至最后，中国军队还能乘夜追击。日军此时仓惶应战，乱作一团，血战数日为敌所占领之台儿庄市街，竟在一夜巷战中，被孙军一举夺回四分之三，日军死伤无数，退守北门，与国军激战通宵。

这时长官部夜半得报，汤恩伯军团已向台儿庄以北迫近，天明可到。午夜以后，第五战区司令李宗仁前往台儿庄郊外，亲自指挥对矶谷师团的歼灭战。黎明之后，台儿庄北面炮声渐密，汤恩伯已在日军背后出现，敌军撤退不及，陷入重围。台儿庄一线中国军队全线出击，杀生震天。日军血战经旬，弹药汽油用完，机动车辆多被击毁，其余也因缺乏汽油而陷于瘫痪，吓得魂飞魄散，狼狈突围逃窜，国军士气如宏，全军向敌猛追，如疾风扫落叶，锐不可挡。

日军遗尸遍野，被击毁的各种车辆、弹药、马匹遍地皆是。矶谷师团长率残部万余人突围窜入附近峄县城，闭门死守，已无丝毫反功能力，台儿庄之战遂成就中国军队全胜之局。

战后清点战场，掩埋日军尸体近万，敌军总死伤在两万以上，坦克车被击毁30余辆，缴获武器无数，这次胜利，可能也是日本新式陆军建立以来的第一次惨败。捷报传出后，中国举国欣喜若狂，前线军队士气大振。