降服高延寿、高惠真后，李祐下令大军齐聚，围攻安市。安市城险兵精，李祐先投三万人搭云梯登城，试敌深浅，安市人早有准备，滚木礌石，泼雨般地打下，李祐只好命令部队暂且撤下。
李祐陪太宗站在一个高坡之上，瞭望敌城，筹划攻城方案。安市人望见黄罗伞盖，知御驾在此，便聚集城头，大声鼓噪，太宗以为安市人骂他，勃然大怒，把手中御鞭一折两断，恨恨地说：
“东鄙跳梁小贼，敢对朕无礼！”
李祐弯腰奏道：“请陛下准于克城之日，将城中男女尽俘之！”
太宗点头认可，并传令三军，务必尽力，拿下安市。但安市人听说李祐要尽俘安市人，守城愈固，城中男女老少一齐上阵，抵御唐军。李祐挥兵连攻三日，均徒劳无功。时高延寿、高惠真已分别被任命为鸿胪卿、司农卿。两人知安市急切难打，因向太宗奏道：“奴既委身大国、不敢不竭诚献悃，愿天子大功早成。安市城坚兵勇，顾惜其家，人自为战，未易猝拔。乌骨城傉萨、老耄无用，若王师朝临，城可立克。此外当道小城，则不战自克，然后因粮进兵，长驱直入，平壤必不可守！”
群臣一听，也觉此主意甚妙，纷纷赞同道：
“此主意可行。张亮兵在沙城，召之，一夜可至。乘高丽惶惧，合力拔乌骨城，渡鸭绿水，可一举拿下平壤。”
太宗正在沉吟间，长孙无忌站出来，挥手表示不赞同，说：“天子亲征，与别将不同，总须计出万全，不宜行险侥幸。今建安、安市两城，兵犹有十万，若我军进攻乌骨城，敌蹑我后路，岂不棘手？依我之见，不如先取安市、建安，而后长驱而进，夺取平壤，方是万全之策。”
太宗尊贵，已为皇帝，终不似当初为将的时候，为了求稳，便依允了长孙无忌的建议。
十余万唐兵分为几拨，轮番作战，日夜攻打安市不停。白天炮车飞石，犹如雨下，打坏安市城堞无数次，但安市人连夜抢修，至天明时平好如初。唐军始终占不得一点便宜。
安市久攻不下，太宗难以成眠，夜深了还在御帐中苦思攻城之法，这时，安市城中传来猪狗乱叫声，声音在夜里非常清晰。太宗当即披挂而起，率一千禁卫兵冲向城下。李祐闻皇帝深夜驰往前沿阵地，来不及披挂，即穿中衣催马赶来。此时太宗已到城下，命禁卫兵严加警戒，并做好战斗准备，而后对李祐说：
“围城日久，城中烟火渐稀，晚间鸡狗声喧，定是飨土，敌必出城袭我，应严兵戒备！”
话音刚落，就见前面黑乎乎的城墙上，有许多更黑的黑影缒城而下，悄悄向唐军阵地运动。太宗命禁卫兵埋伏不动，待敌近前时，一举歼灭之。黑影已到跟前，太宗大喝一声，一马当先，冲了出去，慌得李祐催马紧紧跟随，前后左右瞭望，以保太宗。禁卫兵见圣上亲战，也都拼命地冲了过去，击杀偷袭的高丽兵。太宗马快，冲入敌兵中间，还未施展刀法，即一个趔趄，险些从马上栽下来，李祐眼见一支箭镞在皇上背上颤动，大惊失色，知皇上受伤，急令随从侍卫将皇上拥了下去。战斗很快就结束了，几百名偷袭的高丽兵无一漏网。太宗背部箭伤似无大碍，敷一些御制金创药后，太宗已感觉活动自如，群臣自是虚惊一场，纷纷上谏，不让皇上再临前沿。
安市城坚兵勇，冲车炮石、云梯皆奈何不得。太宗和诸将商议后，只得采用土办法，发士卒筑土山，从山顶上临安市城，以便进攻。平地里起一座山，高过城墙，工程极为浩大。江夏王李道宗指挥士卒，昼夜不息地劳作，用人工五十万，费时两个月，终于把土头筑得与城墙比肩。但高丽兵也不示弱，也在加高城墙，弄得交战双方比赛似的，你比我高，我还得比你高，山头和城墙突兀而起，高耸入云，颤颤巍巍，十分吓人。
江夏王在督工时，跑前跑后，不小心崴伤了脚，脚面子肿得跟发面馍似的，太宗命他去御营治疗，江夏王只得命果毅傅伏爱替他带兵屯山顶，以防备敌人。
太宗熟读过《明堂针灸书》。也会扎针一、二，他挽起袖子，捻一根金针，亲自为江夏王针灸，江夏王推辞不掉，感动得热泪盈眶，听凭太宗给他针灸。
果毅傅伏爱多日不下山头，心里焦躁，他见江夏王走了，也悄悄溜下山头，想回后营一趟，找点酒喝。傅伏爱刚到山脚平地上，就听上面“轰隆”一声，山头因过于陡峭而崩溃，无数方土石顺坡而下，滚滚压向城墙，一下子把城墙压出一个大缺口。敌人城墙破，这可是个发兵进攻的绝妙好机会，把守土山的近千名唐兵若冲进缺口，巩固阵地，后续部队闻讯跟进，何愁安市不拔。但兵无将不行，果毅傅伏爱擅离职守，土山猛然一塌，守备的兵士们不知所措，正在愣神间，数百名高丽兵手持武器，从缺口中冲出，一阵猛打猛冲，竟然将唐兵赶下山头。高丽兵随即巩固阵地，筑堑而守，将唐兵辛辛苦苦筑成的土山据为己有。太宗闻得土山崩响，等和诸将赶过来时，土山已落入敌手，太宗大怒，将傅伏爱立斩阵前，命诸将从速夺回土山。
土山陡峭，高丽兵以此为堑，增加了许多有效的防御措施，唐军不惜血本，蜂拥而攻，但终难奏效，三天三夜竟然连山半腰也未登上。江夏王用人不当，难逃其咎，只得赤着双足，一瘸一拐来到御营伏首请罪，太宗说道：