47年），汉王朝派出军队征剿“武陵蛮”，迫使苗族再次离乡背井，一部分进入黔东北地区（今铜仁一带），一部分南下广西融水，后又溯都柳江而上到达榕江、雷山、台江、施秉等地。苗族在数次大迁徙中，分化成了许多不同的分支。其中，柳氏族、西氏族、尤氏族、苟氏族等几乎是同时到达贵州榕江，由于西氏族在榕江多处辗转，到达西江的时间晚于柳氏族。西氏族到达西江的年代约在600多年以前，但在西氏族到达以前，这里已经居住着苗族“赏”氏族。西江地名中的“西”指西氏族，“江”通“讨”，即西江是“西”氏族向“赏”氏族讨来的地方，“西江”因此而得名。“西”氏族到达并定居在西江以后，陆续又有其他苗族分支迁来，形成以“西”氏族为主体的苗族融合体。传说西江有千年以上历史。西江苗族和苗族先祖蚩尤之间有着密切的关系。根据《林荫记》中记录的西江苗族子连父名的世系谱，从蚩尤到1732年间共有284代，说明生活在西江的苗族是蚩尤的直系后裔。
春秋战国时期，雷山属牂牁国与且兰国之边地，战国时属大夜郎国，秦时属象郡且兰县边境，西汉时处且兰、毋敛两县之间，东汉时属毋敛县，三国属蜀国之牂牁郡辖之边地，魏晋时期属牂牁郡宾化县境，唐朝时属于罗恭县，五代至宋朝属夔州路绍庆府羁縻州，元初属“管外苗族地区”，元朝中期属湖广省播州宣慰司，明属管外苗族地区。
清乾隆年间，清政府为了管理苗疆，对苗族人民实行编户定籍，强行取消苗族子连父名的传统，用苗名的谐音来定汉姓，西江境内苗族的蒋、唐、侯、杨、董、宋、顾、龙、陆、李、梁、毛、陈、金、吴等姓就是由此而来。从秦汉到元、明、清初，雷公山大山区朝廷的设置虽有涉及，但郡县制、羁縻州对这一地区的统治极弱，甚至没有直接治理，在历史上多被称为“蛮荒之地”、“生苗”、“生界”等。
雍正七年（1729年），贵州巡抚张广泗开辟苗疆，设“新疆六厅”，置丹江厅，下辖丹江卫和凯里卫，西江属丹江卫。
乾隆三年（1738年），丹江卫设置了分土司，包括黄茅岭司、鸡讲司、乌叠司，鸡讲司就位于现西江西南附近的营上村，从此西江被列入中原政权的治理范围。
西江千户苗