从高宗统治时期开始，“西域”的地理所指再度西挪。
“西域”所指范畴的西迁，伴随着唐朝边境的不断向西拓展。
高宗显庆二年（657年）冬，苏定方率唐军击败西突厥沙钵罗可汗（阿史那·贺鲁），沙钵罗逃至地处中亚的石国，唐将萧嗣业衔尾而至，兵围石国国都。在唐军兵威之下，石国国王献沙钵罗臣服。
次年，龟兹国（今新疆库车）内部陷于纷争，高宗召龟兹王布失毕与龟兹相那利入朝。二人到长安后，将那利囚禁起来，放回布失毕主国政。
但布失毕归国途中，龟兹大将羯猎颠带兵堵住国境，不许其回国，布失毕悒悒而死。
高宗以左屯卫大将军杨胄领兵击之，一战而擒羯猎颠，尽诛其同党，遂立布失毕之子白素稽为王。
唐朝在龟兹设龟兹都督府，管辖九个羁縻州。显庆三年五月，迁安西都护府于龟兹，以旧安西都护府为西州都督府，守高昌故地。
至此，南疆沙漠绿洲地区的宗主权，由西突厥可汗王庭转至唐朝囊中。
《唐通典》有记，“龙朔元年661，吐火罗置州县使王名远进《西域图记》，并请于阗以西、波斯以东十六国分置都督府及州八十、县一百、军府百二十六，仍于吐火罗国立碑，以纪圣德。帝从之。”
注意此时，王名远所进的《西域图记》里，西域的范围只有“于阗（今新疆和田）以西、波斯以东”的地区。
不但不包括北疆的伊、西、庭三州，甚至就连南疆的龟兹、于阗、焉耆、疏勒并称的“安西四镇”，也不在其内。
可见，此时唐朝虽未在安西四镇驻军（每镇五百人的兵额，实在谈不上驻军，当警察维持治安还凑合），但在从行政级别上说，安西都护府已等同于唐朝的直辖州。
“西域”之名再次向西延伸，于阗以东的土地均为唐境，不再纳入西域之内。
但必须要承认，受限于南疆广袤的沙漠地形，唐朝对此地的控制力度非常薄弱。如果说北疆伊、西、庭三州的“镇抚结合”以“镇”为主，那南疆则明显是以“抚”为主。
因此，南、北疆所设的羁縻州在实际意义上，并不完全相同。而安西四镇的设置，则呈现一种介于州县制与小邦国王间的过渡形式，是胡汉并存统治方式的具体表现。
正是由于以“抚”为主，几无驻军的的特点，安西四镇设置之初，多次出现易手。
咸亨元年670，吐蕃大军进攻西域，先占于阗，又陷龟兹拨换城今阿克苏，唐朝罢四镇，安西都护府撤回西州。
上元元年674年十二月，于阗王伏阁雄击走吐蕃，唐朝以于阗为毗沙都督府，同时，唐朝又增设了疏勒、焉耆二都督府，安西四镇得以恢复。
上元二、三年675676，唐朝又把西域南道上的两个重镇——鄯善和且末划归沙州直辖，改称石城镇和播仙镇。塔里木盆地的东南区域，变成与西、伊、庭三州一样的唐朝直辖领地。
仪凤初年676677，西突厥联合吐蕃，再次攻占四镇。
调露元年679，唐将裴行俭以送波斯王子泥涅师归国为幌子，奔袭突厥十姓可汗阿史那·都支王帐，尽擒其首。再复四镇，并以碎叶代焉耆为四镇之一。
武周初年，东突厥复兴，再度成为唐朝北患。吐蕃借唐朝无暇西顾之机，大举进军南疆。
武则天被迫以“务在仁不在广，务在养不在杀，将以息边鄙，休甲兵，行乎三皇五帝之事者也”为由，于垂拱二年686十一月，罢黜四镇。
直到长寿元年692十月，在西州都督唐休璟请求下，武则天以王孝杰、阿史那·忠节为将，领唐军十八万（《旧唐书·王孝杰》所记数量）大败吐蕃军，“克复龟兹、于阗等四镇，自此复于龟兹置安西都护府，用汉兵三万人