丁零在南北朝时期（公元420－589年）被称为“铁勒”、“敕勒”或“高车”。当时铁勒各部在今土拉河（今蒙古国境内）以北，西至西亚里海的广大地区上，过着逐水草而迁徙的游牧生活。铁勒的主要部分则集中在土拉河和鄂尔浑河（今蒙古国境内）流域活动。铁勒有许多部落，大的有仆固、同罗、韦纥、拔野古、思结、浑、斛薛等。其中，韦纥（即《魏书‧高车传》中的袁纥）就是唐代的回纥。
六世纪中叶，包括回纥在内的铁勒诸部，受强大的突厥汗国统治。回纥人能骑善射，作战勇猛，突厥汗国利用他们的人力和物力来雄据大漠南北。公元583年，突厥汗国分裂，铁勒诸部便分隶于东、西突厥。七世纪初，西突厥的处罗可汗对铁勒诸部实行残暴统治。公元605年，处罗可汗率兵突袭铁勒各部，掠取马、羊等财产。事后，处罗可汗恐怕铁勒各部怨恨，竟以议事为名，召集各部首领百余人，并将他们全部杀害。于是，西突厥统治的铁勒诸部如契苾部、薛延陀部，以及东突厥治下的回纥部等，都起而反抗。回纥的首领时健俟斤在这次反抗中，被东面的铁勒各部推举为君长。
唐朝政府为了对付北方大敌突厥，于是联络从阿尔泰山（位于今新疆维吾尔自治区北部与蒙古国西部交界地区）西南山脚迁回漠北的薛延陀部，以及回纥等部一同对抗东突厥。公元627年，东突厥以10万大军进攻回纥，竟被回纥首领菩萨率领的5,000兵马所败。公元629年，唐太宗命大将李靖、李绩率大军北征，配合薛延陀、回纥等部夹击东突厥。次年，东突厥灭亡，回纥与薛延陀等铁勒诸部便摆脱了东突厥的控制。