赵构贴身侍卫，南宋七王之一，独掌禁军三十年，却被人骂为阉人！(7)

完成神武军的军队建设，只是重建军制最表面的一层，是为中央提供可以控制的武装力量。而重整“三衙”体制，才是重建军制的核心部分。
所谓“三衙”，是宋代掌管禁军的机构；殿前司、侍卫亲军马军司、侍卫亲军步军司，合称三衙。以三衙配合枢密院，枢密使有发兵之权，而无统兵之重；三衙有统兵之重，而无发兵之权，以此来避免武将坐大，是北宋有效的统兵机制。北宋灭亡，南宋建立，“三衙”体制在金人的铁蹄中已经不复存在，南宋中央能掌握的军队只剩下一个神武军有限的兵力。

绍兴五年十二月，赵构开始重整“三衙”的计划，任命杨沂中主管三司之一殿前司公事，原来的神武军并入殿前司，在赵构的支持下，杨沂中的所属部队不断兼并其他军队，由三军增为五军，总兵力达到七万人，超过了在外的其他大将所掌握的军队。“由是殿前司兵籍为天下冠！”
绍兴六年，杨沂中任龙神卫四厢都指挥使，正式成为禁军军官。十月，杨沂中率领禁军精锐在安徽定远西南的藕塘重创伪齐军队，史称“藕塘大捷”！藕塘一战，禁军殿前司名震南宋诸军，杨沂中也迎来了他的人生巅峰。
赵构对杨沂中的表现十分欣慰，特任命其为保成军节度使，殿前司都虞候、侍卫马军司都指挥使、侍卫步军司都指挥使，禁军三衙之权柄全系于杨沂中一人之手，有宋一代如此情况仅此一人，即使是宋初的外戚重臣李重进，也不过是一人兼侍卫亲军司马、步军都指挥。杨沂中上疏推辞，认为一人独揽三衙，有违祖制，但即使这样，赵构依旧不改任命。