军队质量的提高，除了选兵的时候严格把关外，更重要的是有赖于平常加强训练。太祖意识到这一点，他对大臣说，晋汉以来，卫士不下数十万，然而可用者极少，原因就在于缺乏严格的训练。太祖多次检阅军队，去除冗弱。又亲自考试他们的击刺骑射武艺，把精锐士卒留下来制订训练计划，要求按时令的差异进行针对性的训练。他还经常亲临校场，检查士兵的训练情况，发现武艺不符合要求的就除其兵籍，另外安置。
宋太祖对军队的将领要求很严，严禁他们超额占用士兵。各地方曾一度出现长官占用役使士兵的现象，对训练有一些不利影响，太祖知道后，立即下令禁止更不允许。高级将领严禁培植亲兵。有一次，有人报告说殿前都指挥使韩重赟私自选取亲兵作为心腹。太祖得知后十分愤怒，准备处死韩重赟。赵普劝谏说，陛下必定不可能自己带领亲兵吧，需要选择将领率领。如果韩重赟因谗言而遭诛杀，那么人人自危，还有谁敢做陛下的将领!经赵普再三劝说，太祖才没有诛杀韩重赟，令他出镇为节度使。但是，宋太祖对高级将领及边将却另眼看待，不仅姑息他们的违法行为，还给予他们许多的特权。太祖这样做是为了确保边境安全。但是，心怀异志者不在其中。