唐军的一次胜机被断送后，双方又在城墙内外相持争夺。日子一天天地过去，转眼已到九月。辽东之地向来比内地早寒，数场北风刮过，满目皆是黄色的枯草，气温骤降，唐军兵士身着单衣，站在野外冷得浑身发抖。
李世民此时已没有了入辽东时的豪情万丈。他知道，此次征伐之事只好半途而废，再想挥师东进取平壤，眼见是不可能之事。他召来众将，说道：“辽东早寒，马上就要草枯水冻，兵马难以久留，且粮食将尽，我们必须立刻班师。”
众将默察眼前之状，早已明白班师之事已成定局。然出征高丽是皇帝钦定，李世民不说班师，他们皆不敢先出声。现在李世民终于提出要班师回家，悬在众人心中的一块石头方才落到地上。
李世民接着道：“我们要从容班师，不给高丽人留下机会。二位高卿，你们可以先行，将辽州、盖州、岩州人口尽数迁往内地。”唐军攻下辽东城、盖牟城和白岩城，李世民下诏将此三城改为辽州、盖州、岩州。
高惠真、高延寿躬身接旨。
李世民又转对李世、李道宗道：“这名安市城主委实不错，朕要与他对话一番。道宗，你将朕的意思写成一书，然后射入城内。明日辰时三刻，朕到城下与其对话。”
李道宗忧心道：“我们既然要班师，不可打草惊蛇。万一他们尾随追击，对我军从容归去实在不利。”
李世民慨然道：“朕明日明明白白告诉安市城主，我们即日就要班师，他若有胆，尽可来追。对了，我们班师之际，所有将士须绕城一周，然后大大方方离去。”
李道宗领命前去布置。
第二日一早，朝阳驱散了晨雾，高大的城墙在阳光下巍然耸立，护城河面淡淡地泛着一些水汽。李道宗射入城内的书中，申明唐军今日后撤半里，请安市城主到护城河桥侧与李世民相见。
李世民乘坐辂车来到桥边，身边仅有李世、李道宗、阿史那社尔、执失思力、薛仁贵等人护卫。只见那名安市城主也在数人护卫下等在对面，李世民缓步下车，可以看见这名安市城主个子不高，然须发甚浓，有些英武之气。
李道宗大喝道：“安市城主，皇帝陛下驾临，赶快拜见。”
安市城主闻声躬身一揖，朗声说道：“高丽草民拜见大唐皇帝，迎接来迟，望乞恕罪。”
李世民也朗声说道：“安市城主，你很好嘛。朕征战一生，攻城无数，独你安市城岿然不动。我们虽为敌手，然朕服你之能，高丽有人如此，实在幸甚。”
安市城主躬身说道：“草民所以如此，只因忠诚于君。由此使大唐之兵在此困顿许久，我深感不安。唯盼皇帝陛下与高丽重修旧好，从此不动干戈。”
李世民厉声道：“盖苏文弑主悖逆，又侵凌他国，朕不可坐视不管。朕明日就要班师，你可转告盖苏文，终朕一生，定然还要前来兴兵问罪。”
安市城主为一睿智之人，明白高丽非中国敌手，若中国全力来攻，高丽实属危矣。他无法回答，只好默然不应。
李世民又说道：“朕念你守城有功，忠于汝国，特赐缣一百匹以示奖赏。”
长孙无忌将手一挥，后面的抬缣之人快步过来，将一百匹缣放在护城河侧。
安市城主觉得李世民果非凡人，自己固守城池与其相抗，按说他应该满腔怒火，不料今日得其一番夸赞不说，还得到百匹缣的奖励。他想到这里，衷心说道：“鄙人累皇帝陛下亲征劳顿，不敢奢望陛下赏赐。陛下能知鄙人忠心事主，则我心足矣。”说完，他躬身相谢。
李世民伸手摇了一摇，说道：“人能尽忠义之心，朕不分敌我，一样敬重。安市城主，明日为九月十八日，我军尽数西归，你为尽本分，尽可放兵来追。”
安市城主熟知这里的气候，他算着唐军的粮食也耗得差不多了，知道唐军班师也就在这几日。令他想不到的是，李世民竟然能明言自己的归期，可见他不惧本国兵来追。安市城主知道，安市所以被唐军久攻不下，无非占了安市城倚山而建的便宜，若高丽兵与唐兵一对一在野外对攻，高丽兵断然不是对手。想到这里，安市城主显得更加谦恭有礼，躬身说道：“鄙人不敢。明日陛下西归时，鄙人定会立在城墙上以目恭送，并戒约手下不得出城一步。”
李世民不再说话，转身登上辂车，缓缓回归中军帐。
第二日，依旧是一个晴天。李世民令李世、李道宗带领步骑四万殿后，他们二人此时各带领二万人的方阵排列于安市西门之前。其余唐兵依令绕城一周后，开始列队向西进发。安市城主不违诺言，其带领属下立于城墙之上，任唐兵耀威而去，并将城门紧闭，不放一兵一卒出城。
李世民此次出征高丽，共攻破玄菟、横山、盖牟、磨米、辽东、白岩、卑沙、麦谷、银山、后黄十城，其间斩首高丽兵四万余级。高延寿、高惠真此去迁徙辽、盖、岩三州人口，使中国又增加七万余户口。总观此战，起初还算顺利，只是后来与安市城相持日子太长，以致延误日期入了冬季，使此战功败垂成。
大队人马入了辽州，休息一日后，就起身开赴辽水。此时，朔风日劲，有时吹得人马东倒西歪，兵士们毕竟衣衫单薄，满眼所及，皆是嘴唇乌青之人。长孙无忌为前锋，观见此状，号令全军加快行军速度。
大军渡过辽水之后，又遇到那片方圆数百里的泥淖。若让阎立德依旧法儿布土成桥，眼瞅着寒气一日冷于一日，衣衫单薄的将士难以撑持下去。长孙无忌此时急中生智，号令数万人同时打草，然后填草成道，遇到水深处将车辆等辎重填入水中。李世民此时也舍车骑马，并且亲自驱马负草以填路。众人看到皇帝如此，顿时干劲倍增，浑忘了自己身处寒天之中，周身似乎感觉不到寒冷。他们如此上下同心，终于在泥淖上铺出一条草路来，使大军得以通过。只是大军的一应辎重，从此损失殆尽。
唐军自九月十八日离开安市，其间停驻辽州，又渡辽水，再过泥淖，待行到一个名为蒲沟的地方，时间已进入十月。此时，寒风如刀，吹得唐兵瑟瑟发抖。李世民此时号令全军，加快行军速度，早日赶赴营州，并说道：“朕已在营州为大家备好十万余套棉衣。”
疲惫不堪的唐兵闻听有棉衣可穿，无不抖擞精神，加力前奔。然天不遂人愿。这日寒冽的冬风袭来，一直刮了两个时辰，到了晚间，暴风裹挟大雪而至，将行走的唐兵遮得如同雪人。一路上，一些兵士渡辽水、过泥淖时，征衣尽湿此时未干，他们遭遇暴风雪，竟至冻毙。
李世民闻知此情，即令长孙无忌派人集来柴薪，然后燃火于道，让衣湿之人向火取暖，将衣烤干。大军如此艰难前行，终于到达营州。李世民看到将士们换上棉衣，心中的石头方才落了地。
安市城主看到唐军离去，一面让人整修城池，一面抚恤伤亡之兵士。二日后，他也打点行装，前往平壤面见盖苏文。
此时，安市城主的大名哄传国内，被视为高丽英雄。盖苏文听说他要入都城，即备下隆重的欢迎之礼，并亲自出城迎接。盖苏文当初谋逆之时，独安市城主不听号令，惹得盖苏文亲自带兵去讨，然攻城多日不能拿下。盖苏文无奈之间，只好修书入城，承诺只要安市城主愿意归附，可以保其位，并让他永镇安市。安市城主见大势难挡，只好答应。盖苏文从此对安市城主另眼相待，既敬其耿直，又厌其不听招呼，心中无可奈何。他此次出城迎接倒是一片真心，毕竟，因安市固守之功，免了平壤血光之灾。
盖苏文设盛宴招待安市城主，席间，盖苏文意气风发，对席上人说：“哼，唐朝皇帝不知好歹，想那隋朝皇帝数次来攻，皆闹个铩羽而归，他认为自己比隋朝皇帝更强硬吗？我这里的一个安市都攻不下，何谈其他呢？”
座中之人纷纷附和，恭颂盖苏文不已，说的话竟至肉麻。
安市城主不以为然，他待众人语歇，方才说道：“莫离支不可小觑大唐皇帝，其此次失误在于被安市绊住手脚。我听说其间有人向其献计，让其围困安市，再发奇兵与其舟师相会，大举进攻平壤，惜其不听，使我国免了此厄。”李世民班师之际，也下令舟师班师，李大亮和程名振率领手下登船返回莱州。
盖苏文仍不以为然：“哼，他来攻平壤，平壤是好攻的吗？”
安市城主摇摇头，说道：“大唐国力举世难匹，我们这一次侥幸不败，无非是占了城池坚固和气候的便宜。莫离支，我以为我国今后要与大唐修好，不可僵持下去。我听说，唐朝皇帝不以武力侵逼四周，唯以德化感之，可见其出征我国非其初衷。希望莫离支不要再侵新罗，那唐朝皇帝没有口实，我国即可免了刀兵之厄。”
盖苏文见安市城主替唐朝说话，心里有气，然碍于安市城主的面子，不敢造次。他默然半天，仅仅说出三个字来回应安市城主：“知道了。”
唐军到了营州，立即更换棉衣，军中医生忙碌地为冻伤之人治伤。大军自四月入高丽境，一直忙于作战，李世民下令，让全体兵士在此休整五日，然后返回各自驻地。
长孙无忌派人检点回国人数，发现此战共战死和冻死兵士三千余人，所携马匹损失八成，一应辎重丢失殆尽。李世民闻讯，默然半天，然后下手诏道：“辽东道战亡人骸骨，并集柳城东南，有司设太牢以祭之。”
到了致祭之日，李世民带领众将穿素衣白袍，亲往致祭。他念罢祭文“呜呼哀哉”一句，已是泪流满面，泣不成声。看得出来，他对此次征辽之役非常不满意，心中感到非常窝火，又感到有些窝囊。此情此景，与其出征时的豪言壮语相比，不啻有天渊之别。
薛仁贵此时被恩准随侍在李世民身侧，看到李世民如此伤心，他急忙走过去搀扶李世民。此时祭奠已罢，李世民随薛仁贵一起走向辂车，他边走边说道：“仁贵，朝中诸将皆老，朕一直想寻觅年轻骁勇者为将以代之。此战你脱颖而出，朕心甚慰。”
“臣以士卒之身，得陛下重用如此，臣唯感激万分。”薛仁贵衷心说道。
李世民仰头说道：“仁贵，朕不喜得辽东，仅喜得骁将。大唐疆域甚广，若无人护持，别说再拓疆土，连已有的土地也会失去，你明白这个道理吗？”
薛仁贵连连点头。
李世民又柔声道：“仁贵，朕此次回京，欲取道并州。你经过龙门时，可将你那在寒窑苦候的贤妻接到京中。还有，你也把改葬父母的事一同办了。”
薛仁贵见皇上关心自己如斯，禁不住热泪盈眶。这薛仁贵后来一直在玄武门守卫，及李治即位，其领兵破高丽、攻铁勒、挡吐蕃，成为一代名将。
那日李世民向薛仁贵表白“朕不喜得辽东，仅喜得骁将”，其实为无奈之言。数千名唐兵战死在辽东战场上，一应马匹、辎重损失殆尽，在李世民的征战生涯中，这样的结果实在不多，何况是他御驾亲征？他此时的心情，有未能取得完胜的失落，有对盖苏文的愤怒，更有必须拿下高丽的决心。诸般心情纵横交织，在其心中翻腾不已。数日后，李世民车驾离开营州，开始向定州进发。想是因为天气寒冷，李世民不慎受寒，竟然积下一病。此病与其郁闷心情交织在一起，致使病情越来越重。一开始，他还能骑马而行，后来只好乘步舆缓缓行走。
李世民一向身体健壮，即使身体偶有不适，也能很快痊愈。如今此病来势汹汹，是多年没有的事。群臣得知皇上得病，纷纷前来探视，看到皇上那有气无力的样子和蜡黄的脸儿，许多人流下了眼泪。长孙无忌劝李世民，不如暂缓行走，就近寻一州府好好将息。李世民摇头不许，说道：“还是慢慢走吧。我的病，我心里最有底，要不了命。我们这样缓缓行走，可能行到中途，病也许就会好了。”
长孙无忌看到李世民依旧穿着那身破烂的褐衣，遂取来一袭新袍，劝李世民更换。李世民摇头不许，说道：“我未见治儿之面，此衣坚决不换。”
长孙无忌明白李世民的心情，遂不再硬劝，转而嘱人好好看顾李世民。大队这日行到易州地面，易州司马陈元寿进献碧绿的蔬菜供皇上享用。北方入冬之后，蔬菜难活，李世民已多日未食新鲜的蔬菜，他食罢觉得滋味甚美，因问此菜来历。长孙无忌派人将陈元寿叫来询问，陈元寿跪在李世民所乘的步舆前，奏道：“眼下天气寒冷，地面上万物难活。臣派人挖掘地室，然后在地室内笼上小火，使室内温暖如春，此时再将菜籽种上，月半乃成。”
李世民闻听种此菜如此费工夫，因问道：“北方之地，冬日里百姓皆是如此种植吗？”
陈元寿老老实实答道：“百姓冬日里食菜，皆是秋末时将菜腌入缸内，然后逐日取食。似这样在地室里种菜，毕竟费时费物，他们都不肯如此种植。”
李世民心中又升起怒火，问道：“如此说，你家在冬日里可以一直食用如此新鲜蔬菜吗？”
“臣不敢。臣听说陛下从高丽班师，算着时间，陛下定近日经过易州地面。陛下今年在前线征战，入冬后肯定难食活蔬，臣因此令人在地室内蓄火种植，以待陛下来此食用，也算尽了易州臣民的一点心意。”
李世民听罢心中更怒，转对长孙无忌说：“无忌，你看看，这就是我朝的好官！这番心计，你能想得出来吗？”
长孙无忌明白李世民的心意，就对陈元寿喝道：“还不快滚！等着皇上治你的罪吗？”
陈元寿顿时吓得面无人色。
李世民在步舆上撑起身来，手指陈元寿道：“你这狗官，不思勤政爱民，专思献媚取宠。你取得司马之位，大约也是钻营所获。你回去吧。从今日开始，这官儿就不用做了。”
陈元寿苦心侍候李世民，不料弄巧成拙，反丢了现有的官职。他闻言如五雷轰顶，连滚带爬仓皇而去。
李世民余怒未息，召来许敬宗道：“你速速拟旨一道发往京城，好好问问房玄龄：朕征辽东不过一年，这国内的吏治竟然败坏如斯？他们在京城都做了些什么？可让大理卿孙伏伽带人巡查四方，重点查处刺史、县令以下官员之劣行，要从重从严予以处理，绝不姑息。”
按照惯例，各级官员由吏部负责其年度考绩。现在李世民雷霆一怒，已经忘了这些规制，转而急令大理寺立刻查处。李世民此旨被驿传至京城，房玄龄等人不敢怠慢，急忙拟出六条规定，依此派人到各地明察暗访，发现官员劣行立刻处理。数月之后，全国有近千名官员被贬黜。其中有许多人口称冤枉，道路相连前往京城喊冤，由此可见孙伏伽处置之严，已大违贞观年间以来的“宽法慎刑”之本意。
李世民的这些言行被群臣瞧在眼里，心中各有想法，私下里不免悄悄议论。李道宗问长孙无忌道：“皇兄近来怎么了？动辄发火，实在是大违了往日沉静的性子。”
长孙无忌叹了一口气道：“这还不是明眼的事吗？他年初出京之时，豪情万丈，视克定高丽为坦途，不料功败垂成，他向来为高傲的性子，心内能够平静吗？”
李道宗点头道：“不错，那名糊涂的司马不识好歹，赶着来邀宠，不料把现有的官职也丢了。”
“此一人事小，那道旨发往京城之后，不知又有多少人撞上了刀口呢！唉，看来人之性子，其实难料啊。”
李道宗点头称是。
太子李治闻听父皇班师，遂与辅臣相商，他们一起出定州向北行，以迎接李世民的车驾。李治带人行到临渝关，李世民的车驾恰好亦至。李治带领辅臣跪伏道侧，三呼万岁，拜迎李世民。
李世民倚在步舆上，看到李治带人兼程来迎自己，心中升起了一团暖意，遂唤众人平身。李治抬头看到李世民依旧穿着那身褐衣，衣既破旧又显污秽，与其憔悴的神情相映，愈显凄败，遂眼中流出眼泪，哽咽道：“父皇有病，儿臣未及时在身边侍奉，儿臣心甚不安。父皇啊，天气如此寒冷，您怎能穿着如此破旧的衣衫，让儿臣更加心寒呀。”