其他各地均降于大唐。
面对这座建在山顶的险要石堡，唐军屡攻不下。刘仁轨思索良久，在百济降将中想到了一个合适人选，黑齿常之！
黑齿常之是百济西部人，身高体壮，骁勇有谋，曾担任百济郡将，相当于大唐刺史。
当初苏定方攻克百济，他率部归降。后来苏定方放任士卒在百济劫掠，杀死不少成年百姓。黑齿常之看不惯，带着身边十余名亲信逃了出来，收拢被打散的部众，在任存山上结寨自保，不到月余就集结起三万多人。苏定方多次派人攻打，均被黑齿常之所败。苏定方撤军后，黑齿常之与他的将领沙吒相如归附了福信。这次百济战败，黑齿常之再次降于大唐。
孙仁师听了刘仁轨的想法，有些担心的说：“这些人纯属人面兽心，不能轻信啊！”
刘仁轨笃定的说：“我观察过他们很久，这两人都是有勇有谋、重信守诺的人，只是没跟对人罢了。现在正是他们知恩图报之时，不用怀疑！”
见刘仁轨这么说，孙仁师也就不再坚持，刘仁轨当即把攻打任存城的任务赋予了黑齿常之、沙吒相如。
二人果然没让刘仁轨失望，很快攻陷了任存城，迟守信弃城逃往高句丽。
百济第二次归于大唐！
高宗下诏让刘仁轨率军镇守，召孙仁师、刘仁愿回国。
百济全境罹患战火，房屋残破，僵尸遍野，满目凄凉，需要做的事情千头万绪。而这恰恰是当过多年县丞的刘仁轨所擅领域，他有条不紊的带领众人掩埋骸骨、统计户口、聚合村落、任命官员、开通道路、架设桥梁、修补堤坝、鼓励耕种、赈济贫困、抚养孤老，全面颁行大唐历法。没过多久，百济在他的领导下逐渐恢复过来，百姓各安其业。
做完这些工作，刘仁轨指挥兵众修建屯田，储存粮草，训练士卒，以待来年征讨高句丽。
再说刘仁愿，他回到朝廷述职，高宗随口问他：“我看了你在百济时呈报的各类文书，不仅叙事清晰，而且很有文采。朕知道你是武将，没怎么读过书，你是怎么做到的。”
刘仁愿不假思索的说：“这都是刘仁轨所写，臣可没这本事。”
高宗对他的诚恳非常满意，当即任命刘仁轨为带方州刺史，享受从