Bir müddet sonra bu ilk Kırgız Devleti yıkılmış ve Kırgızlar, Töles boyları başta olmak üzere diğer bazı Türk boyları ile birlikte Hun İmparatorluğu'nun idaresinde yaşamaya başlamıştır. Takibeden bir kaç asırlık dönemdeki kaynakların yetersizliği nedeniyle tarihler çok net bir şekilde belli olmamakla birlikte, Hun İmparatorluğu'nun giderek gücünü kaybetmesi sonucunda M.S. 2. ve 3. yy'larda bu Türk boylarının Hun idaresinden çıkarak, bölgede dağınık bir şekilde yaşadığı anlaşılmaktadır.