初战失利，桓阶开始有些信心动摇了。
同样的兵放在刘琦手中，战斗力感觉就会成倍增长。
步兵如此！
骑兵也是如此！
区区千骑突骑，就能突破他的重兵防御。
短短十数日，汉寿失守、孱陵失守、临沅失守、沅南失守
挫败的战报如雪花般飞向酌桓阶的手中。
居武陵者有雄溪、樠溪、辰溪、酉溪、武溪，谓之五溪蛮。
失败，可不仅仅会让地盘丢失，兵士的减员才是桓阶最最无法承受的损失。
孤立无援的他已经无路可退了。
无奈之下，他选择了向沅陵方向撤兵，妄图寻求五溪蛮族的帮助。
何为“五溪”？历史上有多个不同的注释，从众多的古文献所注释归纳起来，指的就是沅水中上游地区的几条主要支流。
何为“五溪蛮”？文献上指的就是两汉时期，武陵郡内所属“五溪”地域中的蛮夷。因此古文献又称他为“武陵蛮”，“五溪蛮”，或“武陵五溪蛮”。
东汉“光武中兴，武陵蛮特盛。”西汉末至东汉初，朝庭，官府过重的赋徭，迫使武陵郡内的蛮夷纷纷起来反抗。
这时期的武陵郡，其郡治设在溆浦县城南三里，当时的武陵郡管辖地域很广，它北至湖北宜昌以南，西连四川、贵州的东部，南达广西的三江、龙胜，以及湖南境内的沅水和澧水流域的十三县。武陵蛮夷，就是指这一广阔地域内的蛮夷。
东汉初，占据在湘西，沅陵、辰阳、溆浦之间的蛮夷，其反抗斗争非常激烈。swisen.com自东汉建武十九年公元43年至建武二十四年公元48年，五溪蛮夷在短短的几年时间里，多次打败朝庭的镇压大军，攻郡克县，占领了武陵郡下辖的许多县城，并也攻占了武陵郡治所在地的义陵县城。
这次战争，迫使东汉朝廷着出了迁郡废县的重大决定。据溆浦县志载：“后汉建武六年公元30年，废县即义陵县，县界与夷接，为所攻破，至是移武陵郡东出治索县今汉寿，遂废地，属辰阳。”县志中所指的“夷”就是“五溪蛮夷。”
把武陵郡治搬迁到洞庭湖畔的汉寿，同时还废了郡治所在地的义陵县，把义陵县地划归辰阳管辖。这在东汉初期应该是一件重大的历史事件，从而标志建于汉高祖五年前20年的武陵郡治与义陵县在溆浦彻底消失。
由于这时期的义陵被五溪蛮夷所占领，朝庭在多次遣大军镇压无功而返的情况下，汉光武帝才令伏波将军马援率中郎将马成、耿舒、刘匡、孙永等率四万大军征五溪蛮。
为了这次进攻的路线，马援与所属部将有所争议。马援传载：“初，军次下隽，有两道可人，从壶头则路近而水险;从“充”则涂夷而运远。“当时耿舒主张从“充”道，而马援主张从“壶头”。
按耿舒的主张，应该是沿澧水而上，首先攻打五溪蛮首领相单程的老巢“充”，;马援则主张逆沅水而上，首先在沅陵、辰溪一带，打掉五溪蛮的主力，然后直捣溆浦，收复被五溪蛮所占领的武陵郡治义陵县城。
可惜马援在征讨五溪蛮时染病身亡，最后汉王朝也没把五溪蛮怎么样。官军来了，我退进大山你撤走，我又出来攻掠县城。
官府管不了，百姓苦不胜言。只好往没有蛮人捣乱的地方迁移。
这时的五溪蛮夷主力基本都集中在溆浦一带。
桓阶现在已是骑虎难下之局。
往北不能，南郡已全部被刘琦控制