消灭东突厥后，唐太宗又把目光放在了吐谷浑。吐谷浑也是我国境内比较古老的一个民族，他们居住在青海一带，其首领为伏允可汗。唐初高祖曾派使者出使吐谷浑，与其和好，并相互来往，贸易不断。但后来伏允可汗臣服于西突厥，并开始强大。之后吐谷浑入侵河西走廊地区，不但威胁西域与中原的经济文化交流，甚至阻碍了中亚地区的正常交流。
贞观八年（634），伏允可汗受其大臣的教唆，派兵入侵兰州、廓州等地，使唐通往西域的咽喉河西走廊受到威胁，不仅如此，伏允可汗还扣押了唐朝的使臣赵德楷。太宗屡屡督促伏允可汗放人，可伏允不听。六月，太宗遣西海道行军总管、左骁卫大将军段志玄率军反击，大败吐谷浑，伏允携众远遁，唐军追至青海湖后班师。不久，吐谷浑又兵犯凉州。唐太宗大为震怒，下决心大举征伐吐谷浑。十二月初三，太宗重新启用已致仕的右仆射李靖为西海道行军大总管，统帅兵部尚书、积石道行军总管侯君集、刑部尚书任城王、鄯善道行军总管李道宗、凉州都督、且末道行军总管李大亮、岷州都督、赤水道行军总管李道彦、利州刺史、盐泽道行军总管高甑生和归唐的东突厥及契苾何力等诸多将领进击吐谷浑。
贞观九年四月，李道宗在库山击败吐谷浑军。伏允烧尽野草，率领轻兵退入沙漠。唐军诸将认为，马没有粮草，已很疲弱，更不可能深入大漠去追击敌人。唯独侯君集主张吸取段志玄的教训，主张乘胜追击。侯君集说：“今天大败伏允，他们丢盔弃甲已经完全没有斗志，加上他们还有内乱，如不趁机追击，彻底消灭他们，那以后就没有机会了！”李靖采纳侯君集的意见，分兵两路追击，亲率李大亮、薛万均等部由北路切断其通往祁连山的退路，并迂回至伏俟城；侯君集、李道宗等部由南路追截南逃的吐谷浑军。侯君集、李道宗率兵穿越两千多里的茫茫草原，非常辛苦。虽然是五月的夏天，但是草原上却依然到处是积雪和冰块，非常寒冷。经过破逻真谷的时候，侯君集、李道宗带领的人马没有水喝，于是士兵拿起冰块放到嘴里融化解渴，而马则吃雪止渴，经过千难万险，他们终于到达乌海。南路唐军也是在杳无人烟地区行军两千多里，条件非常艰苦，他们于五月间在乌海追上伏允，大破其众，俘其名王骁将。伏允向西败走，准备渡突伦川，投奔于阗。二十三日，李靖部将薛孤儿在曼头山大败吐谷浑军，斩其首领，俘获大批牲畜。二十八日，李靖率军在牛心堆击败吐谷浑军，接着又在赤水源再次获胜，共俘斩名王数十人。李靖督诸军，经积石山河源迫至且末这个地方。李靖部将契苾何力闻伏允逃至突伦川，遂率骁骑千余追击，因沙漠中几乎没有饮水，将士不得不剌马饮血，终于追上伏允，袭击其牙帐，歼数千人，俘虏了伏允的妻子和儿女，缴获二十多万头牲畜，伏允侥幸脱逃，后在走投无路的绝境中自缢身亡。侯君集率部进逾星宿川，至柏海与李靖军合师。伏允之子大宁王慕容顺斩天柱王，率部归唐，被封为可汗、西平郡王，吐谷浑成为唐朝属国。吐谷浑之役为统一高昌和控制西域使西突厥归附，奠定了良好的基础。
