“左右羽林军”可以说是“北衙禁军”之首，它的产生比较复杂。它可以说是唐朝第一支真正意义上的“北衙禁军”，它的独立建制，标志着北衙禁军独立并壮大的过程的开始。
“北衙禁军”指的是屯驻于宫城以北，以保卫皇帝和皇家为主要职责的皇帝私兵；与国家军队“南衙府兵”相对。
北衙禁军是伴随着军队国家化的完成而出现的，是皇帝私人需求凸显的产物。真正意义上的北衙禁军形成于贞观十二年，以招募制和私属化为基本特色，这两个特点决定了前期北衙禁军发展的整体思路。
宗时，于玄武门置“左右屯营”，成份混杂，统属复杂；唐高宗龙朔二年，改“北门玄武门左右屯营”为“左右羽林军”；垂拱元年五月十七日羽林军正式独立建制，取消了以往以南衙诸卫将军检校羽林军的制度，羽林军正式升格为行政系统上独立的北衙禁军，定额兵士六千人。
两朝羽林军的建立和官署的完善使北衙禁军在建制上脱离南衙十二卫，这种走向与同时期“关中本位政策”的瓦解以及皇权的强化紧密相连。
这一时期，北衙禁军开始大规模消解府兵的职任和人员，在中央宿卫方面承担了主要角色。
再往后，北衙禁军成分越来