就在张之洞为创办汉阳铁厂奔忙时，战争的阴云又笼罩到了中国头上.
公元1894年(光绪二十年)，这一年是旧历甲午年，朝鲜爆发了东学党起义，朝鲜政府请求清廷协助镇压，日本便乘机出兵侵占朝鲜.7月下旬，日本军舰公然击沉了中国驶往朝鲜的运兵船“高升”号，清政府被迫在8月1日向日本宣战，日本也在同一天向中国宣战，中日甲午战争爆发了.
9月17日，北洋舰队在黄海海面遭遇日本联合舰队，双方展开了一场激战.北洋海军参战的大大小小十三艘军舰当中，有两艘逃走，其中一艘还撞沉了自己的一艘舰，有三艘被日军击沉.其余7艘，包括旗舰“定远”号在内，都遭到不同程度的创伤.“致远”号管带（舰长）邓世昌、“经远”号管带林永升壮烈殉国.这一战，可真的使李鸿章吓破了胆.
1894年9月，北洋舰队退回旅顺港修理.一个月以后，李鸿章等舰队修理完毕，就命令它开到威海卫躲起来，不许出海.旅顺遭日本军队进攻时，丁汝昌曾经请求李鸿章，让他带领舰队去援助，不料被李鸿章大骂一顿.李鸿章说：“你只要在威海卫好好地守住你的几条船，别的事不用你管!”就这样，北洋舰队只好躲进威海卫军港内，轻易地丢了制海权.
第二年1月下旬，当日本人探知北洋海军的动向后，就出动舰艇二十五艘，军队二万多名，从成山头登陆，然后兵分两路，向威海卫大举进犯.面对日军的攻势，负责山东防务的巡抚李秉衡，防备不足，使得威海卫南北两岸的炮台相继失守.
在这同时，日本舰队也从海上对威海卫军港实施围攻.停泊在港内的北洋舰队完全处于日军南北夹击的劣势，几乎成了瓮中之鳖.面对危急的形势，北洋舰队的爱国官兵在丁汝昌、刘步蟾等指挥下，奋起抵抗，开始了艰苦的刘公岛防御战.
日本舰队司令伊东佑亨见正面强攻没有效果，就冒险利用鱼雷夜袭.2月4日晚，一艘日军鱼雷艇以夜色作掩护，进港偷袭，抢在“定远”舰发现前施放了一枚鱼雷，把这艘旗舰炸成重伤.第二天晚上，日军如法炮制，“来远”、“威远”舰中弹沉没.
北洋舰队接连失去了几艘舰只，实力大大削弱.伊东佑亨见围歼北洋舰队的时机已经成熟，便在7日向威海卫守军和北洋舰队发起总攻.这一天，双方的激战惊心动魄.北洋舰队和炮台守军苦战一整天，终于打退了日军的进攻.然而，就在这一天，北洋舰队的十艘鱼雷艇和两艘汽艇冲出西口，自顾自逃命，结果有的触礁沉没，有的中弹炸毁，有的被日舰俘获，严重地动摇了守军的士气.
还在威海之役打响之前，伊东佑亨就写信给丁汝昌，劝他率舰队投降.丁汝昌在复信中
斩钉截铁地说：“我决不投降，今天惟有一死报国”，并将伊东来信上交朝廷，表明心迹.
在日军围攻的日子里，丁汝昌没有丧失抵抗的决心.他相信，只要陆上援军赶到，还是可以转危为安的.为此，他还派了一名水性好的水手拿了密信潜水去烟台求援.
11日，是战斗最为艰苦的一天.丁汝昌接到水手的报告，说是李秉衡由烟台撤往莱州，陆路援兵已无指望，丁汝昌固守待援的希望破灭了.这时，日军水陆两路的进攻更加猖狂，炮火非常猛烈，刘公岛简直成了一团火球，威海港也成了一片火海.北洋海军苦撑几天，伤亡日益增加，弹药也已供应不上，实在难以支撑下去.
事已至此，与其坐以待毙，倒不如来个
鱼死网破.当夜，丁汝昌召集各舰管带和外国顾问开会，命令残余舰只全力突围，但遭到外国顾问和威海营务处提调牛昶(ｃｈǎｎｇ)炳等人的抵制.他又下令用水雷将“镇远”等舰炸沉，以免落入敌手，还是没人响应.
会后，牛昶炳勾结洋顾问指使一些兵痞，拔刀逼迫丁汝昌同意向日军投降.牛昶炳甚至冲了上去，持枪对着丁汝昌，狂叫道：“你身为提督，置北洋舰队万人生命而不顾，你想死，我们还想活哩!你再不下命令，我牛某人就不客气了!”
局面坏到这种地步，丁汝昌悲愤万分，但又无可奈何.他不愿意活着落入敌手而玷污了自己的名声，更不愿意向日军举手投降，在遥向京城跪拜之后，便服毒自尽.
第二天，美国顾问浩威和民族败类牛昶炳，盗用丁汝昌的名义向伊东佑亨求降.
17日，日本舰队由威海卫西口耀武扬威地进港，太阳旗随之飘扬在刘公岛上.牛昶炳像条哈巴狗，在伊东佑亨面前乞怜摇尾，率残存的十艘北洋海军舰只和五千多名中国陆海军官兵投降.至此，李鸿章耗费巨资、
惨淡经营的威海卫基地陷落，北洋水师全军覆没.