七月，日本遂宣战，误击沈高升英船。时日本寓华商民，属美领事保护，中国寓日商民，亦讬美保护，美使调停无效。及战事起，提督叶志超、卫汝贵守平壤牙山，先溃，左宝贵阵亡，海军继败。于是日军渡鸭绿江，九连城、凤凰城、金州、海城、大连、旅顺、盖平、营口、登州次第失守，又破威海卫，袭刘公岛，降提督丁汝昌，海军舰尽熸。
初，日人志在朝鲜，至是并欲中国割地赔费，指索台湾，又提出四条件：一，派大员往东洋议约；二，赔兵费五万万；三，割旅顺及凤凰城以东地；四，韩为自主之邦。二十一年正月，命张廕桓、邵友濂赴日本议和，拒不纳，乃再以李鸿章为全权。鸿章至日本，日本派伊藤博文、陆奥宗光为全权大臣，与鸿章会议于马关，月馀不决。鸿章旋为日本刺客所伤，又命其子李经芳为全权帮办，卒订约十一款：认朝鲜独立，割辽南及台湾，赔款二万万，且许以内地通商、内河行轮、制造土货等事，暂行停战。
张之洞、刘坤一等闻之，亟电力争。俄国亦约法、德劝日让还辽南。日索交台湾益亟，朝旨命台湾巡抚唐景崧交台，台民汹汹欲变，并引公法力争。政府不得已，又因王文韶、刘坤一电阻，乃谕之曰：“新定和约，让地两处，赔款二万万，日人坚执非此不能罢兵。连日廷臣来奏，皆以和约为必不可准。目前事机至迫，和战两事，利害攸关，即应主断。”命直陈。又命李鸿章覆电伊藤展期。鸿章以原议批准电知，若改约另议，適速其决裂，请暂行批换。乃派道员伍廷芳、联元等往烟台换约。初限期四月十四日。及伍廷芳等至烟台，日使伊东美久治请速换约，限十四日申刻。廷芳駮以停战至十四夜子刻为止，乃听稍缓。亥刻换讫，伊东美久治即行。会台湾民变，将劫唐景崧、刘永福守台，别求各国查照公法，从公剖断。于是日派水师提督桦山资纪赴台，限日交割。政府乃派李经芳为交付台湾大臣。经芳之澎湖，与桦山指交于舟次。自是台湾属日矣。
寻议还辽，日派林董为全权，与李鸿章议商，辩论久不决。嗣定议分为六款：一，还辽南地；二，偿兵费三千万；三，交款三个月以内撤兵；四，宽贷日本军队占踞之间所有关涉日本之中国臣民；五，汉文、日本文遇有解译不同之处，以英文为凭；六，两国批准自署名盖印之日起，遂在北京互换。复订专条，于定议五日内互相达知，以期迅速。是为中日辽南条约。
先是中日新约第六款所列各条，如苏州、杭州、重庆、沙市等处添设口岸，听其任便往来；第二条，日本轮船得驶入各口搭客运货；第三条，日本臣民得在中国内地购买经工货件若自生之物；第四条，日本臣民得在中国制造各项工艺，又得将各项机器装运进口，止交进口税，日本在中国制造一切货物，即照日本运入中国货物一体办理等节：朝廷因损失利权，欲挽救之。又值通商行船章程将开议，乃命中外臣工筹议。廖寿丰、谭继洵、鹿传霖均有论奏，而张之洞言尤切直，并拟办法十九条，电总署代奏：“一，宁波口岸并无租界名目，洋商所居地在江北岸，即名曰洋人寄居之地，其巡捕一切，由浙海关道出费雇募洋人充当。今日本新开苏、杭、沙市三处口岸，系在内地，与海口不同，应照宁波章程，不设租界名目，但指定地段纵横四至，名为通商场。其地方人民管辖之权，仍归中国，其巡捕、缉匪、修路一切，俱由地方官出资募人办理，不准日人自设巡捕，以免侵我辖地之权。二，制造货物，自系单指通商口岸而言，华文有含混内地之意，须更正。‘任便’两字太宽，宜议定限制。三，出示晓谕产货地方，须先完坐贾釐捐，方准售卖。无论洋商、华商，一律办理。日本人在内地购买土货，只可暂行租栈存放，不准自行开行，及自向散户收买，以免夺我产货地方坐贾釐税，且杜华商影射洋票漏釐。四，内地收买土货，准其租栈暂存，不准购买房地、悬挂招牌。所买土货，务须运载出口，不得在内地转售。洋货运入内地，须大宗贩卖，不准零售。租栈应给地方公举费用，须照华民房屋一律摊派。五，日本人在内地制造土货，出厂后即完正税一道，运出通商地界，无论行销内地及运出外洋，均须再完半税一道。六，通商章程善后条约第二款所载各项器用食物进口，通商各口皆准免税，原为洋商在各口岸自用。若作货物转售，应照值百抽五纳税，不得藉口家用杂物蒙混免税。七，日本轮船不准贩运食盐。八，米穀、铜钱不准贩运出洋。九，军火禁贩，非有官买执照，不准进口。十，日本轮船不准拖带民船，免致影射漏釐。十一，日本行内河轮船，尺寸大小、时刻早晚，须有限制，以免伤碍民船。十二，日本轮船只准到指定口岸装卸人货，不准沿途起卸搭载。十三，内河轮船应收船钞，须较长江加多，以备修理河道之费。十四，日本人入内地办货卖货，不准薙发改为华装，违者查出即作华人照奸细治罪。十五，雇用华民工作，须按日给值，听其自原，不得立约限期，抑勒作工，鞭挞虐待。十六，装运机器，制造各物，须无伤民命，方能照准，不得以‘任便’两字藉口。十七，船只非日本商人购置，行户藉日本商资本不得悬挂日本旗，若有冒名包庇，查出即行充公。十八，制造各厂，如有藏匿犯法华人，一面由地方官知照领事，一面即派人到厂缉拏，厂主不得袒庇。如厂主确知为好人，须照洋例存银作保，到审讯日交出候审。十九，厂内如有华工滋闹，毁伤机器厂屋，地方官只能办犯，不能赔偿。若仅罢工细故，应由厂主自行调停，官不与闻。”于是派张廕桓为全权大臣，与日本使臣林董议商约。林董交约稿四十款，之洞致总署请駮辩，即由全权另拟约本与林董议，屡延不决。是年开苏州商埠，日人欲即行船，总署以租界未定，税关未设，行船不便。日本又欲于租界设巡捕、立工程等局，总署援宁波章程，复不允。
二十二年正月，商约开议，张廕桓将日使原稿駮删九款，駮改七款。惟第三十四款，日本官商财产，遇有办理案件，均照相待最优之国一律；第三十五款，日本商民所有事件，均照中国臣民、中国船、中国货并相待最优之国臣民、船货一律相待；第三十六款，他国国家官员、船货、人民得有利益，日本一律同获其美：此三款日本旧约皆不得与各国均霑，不能过拒，乃照英约第二十四款，改作一条，删此三款。遂定议。初，马关约准开四口，本有均照向开海口及内地镇市章程办理之言。中国欲以宁波办法为程，日本欲取法上海章程专管租界之条，乃不得不允矣。
是年开四口租界。初开沙市租界，因地洼下，要中国筑堤，中国以与各国通例不符，却之。又索汉口城外德国租界起沿江之地长三百丈作租界，中国以所索地在中国兴办铁路应用限内，不许，惟许在德界千丈以外，偪近铁路，让给租界三百丈。因声明两条入条款：“一，偪近铁路江岸，日本一年须自筑堤岸，以资保障；二，所给界内轨道穿过之处，已为铁路购用，若干方数内，应仍归铁路总公司管业，两不相碍”等语。二十四年三月，日使至总署，请沙市租界未定以前，日商运货暂免釐金，许之。
是月侨寓沙市湘人，因与招商局起衅，延烧日本领事馆，驻沙日领事永泷诉于日本公使矢野，要求五事；已，复提四条：一，索赔一万八千两；二，以八万六千馀两作沿江堤费，两国各半；三，专界内道路免价豁租；四，界内租地价酌行核减。张之洞即电总署，谓：“一条索赔一万八千两一节，拟允给一万两。第二条以八万六千馀两作沿江堤费两国各半一节，彼此两益，事属可行，当照允。第三条专界内道路免价豁租一节，其租可免，地价未便不给。第四条界内租地价酌行核减一节，可行，当照允。”案旋结。五月，准中国商民居住日本专界，援德界例也。六月，驻沙日领事请地价减一半，道路沟渠地价认十分之一，许之。七月，命派学生游学日本。十月，日使矢野又请中国南北洋、湖北三处各派武备学生前往肄业。“)