最终也得以参加了大破王仙芝于申州东，而追斩于黄梅的那场决定性战役；虽然未曾获得阵斩王贼的首功，但也亲手袭破擒获一名贼酋刘彦全，而迫降残部三千余；是以积功得表为武卫中郎将兼忠武军左厢兵马使。
但是好景不长，正值壮年的恩主兼上官张自勉，很快就因为功高而为朝中党争所攀诬，以侵吞逆贼所获为由入罪，虽然有宰相郑畋当庭力保之，但是还是不免黯然求去自此归隐信州（江西省上饶市）故里；
作为麾下的得力大将曾衮，原本也是没能幸免而很快被追及去职；但是后来重新拜求在这位远房族叔曾元裕的门下，才得以保住了武卫中郎将头衔，但是自此无缘领兵而只能在牙帐内充作门面。这一次求请远出沦陷贼域的安南而力图光复的行举，也是他这一生最大的冒险和那身价前程孤注一掷的投机了。
而作为他族叔的曾元裕，也只是给了他一叠空白告身和一千匹绢充为行资，而允诺在事成之后自会在朝廷方面运作追认为交州刺史兼安南讨击使；相比之下反而是另一位使相崔安潜私下给予的帮助更多，不但私下赠与资粮、甲兵和壮士，还默许他在蜀地以自己的余泽继续筹募所需。
但他不免得陇望蜀而想要的更多，比如将这个静海军节度留后，变成更加名正言顺的静海节度使，乃至身兼安南都护。
静海节度使虽然只是新设未久的小军镇，但好歹也是个生杀专夺开府建衙的节度使，比起内陆的荆南、江西等地在权柄上多少有所折扣的观察和经略们，可是不择不扣的藩镇之属；理论上只要地方财力允许的话，可以多多益善的自募军伍和自任官属的。
再加上安南都护名下征抚四夷的例行权柄，可谓是比国中的大多数藩镇更像是藩镇了。或又是藉此行摄岭西、岭东之地。
但是安友权所部的覆灭，让他这番的指望彻底落了空；要知道这支好不容易拼凑出来的兵马，可是他用来扫荡交州周边和威慑群蛮的凭据，而自己正好坐镇交州城中收拾后续局面和整合资源，却不想一朝就覆灭在那些草贼手中了。
虽然如今城中号称还有上万人马可用，但其中有大半都是他所兼并而人心尚未完全归附的土兵；剩下的又有近三千从各地收拢回来的戍卒和团练，又有城中大户、富商家强行收编而来的杂色武装；实际真正属于他直接掌握的核心人马只有不到一千多人，其中只有小部分是他一路带过来的蜀兵，还有大半数都是就地投献的部旧；
原本城中，还有三千乃是静海节度使名下残存的行营兵，两千在地方收拢起来的戍卒；却因为随他亲信大将安友权出阵失利之后，就基本损失殆尽了；因此在以轻驭重而之下，他宁愿将那些有所不稳迹象的土团，分批派出去试探贼势为名变相的消耗掉，却是万万不能再让这点用来弹压局面的核心力量，有丝毫的折损和闪失了。
虽然他还可以以守土为名从城中再强制征发起数倍于此的青壮来，但是在刀枪的监督下驱使他们协助守城尚可，但是指望他们出城与贼溺战不乱，就实在是想的多了。
如今尤其是如今攻守易势之后，他并没有足够把握和信心，城中那些已经被压下去的异己之声和反对者，就不会藉此反弹和乘机起来作乱。毕竟，相比那些兴师动众而来准备相对充足的草贼，他真正所能凭据的实不过是那数百亲从而已；
而对城中坐观前后事态的大多数人家而言，一旦失却了足够实力为凭据之下，他所秉持的朝廷大义名分也就是那么回事了。但是被他快刀斩乱麻式铲除掉的那些都护府上层，却是在地方有着各种盘根错节的渊源。
那些人虽然暂且无力与他正面对抗，但是在暗中