在变电站的整个生命周期内会随机出现多种重要程度各不相同的维修任务。不同种类的维修任务通常需要不同类型的维修备件，而同一类维修备件往往可以用于多种维修任务中。结合知识迁移和折扣方法，提出了一种基于近端策略优化的高效强化学习算法，并将该算法在一系列大型变电站维修备件库存系统上进行了测试，结果表明在大多数条件下，由该算法生成的库存控制策略始终优于其他文献中的先进启发式算法。