Andrej Karpathy澄清了强化学习（RL）在AI发展中的核心地位：RL不是被替代的阶段，而是构建通用人工智能（AGI）不可或缺的“第三层”。他将现代AI的发展分为三层：
1. 基础模型自动补全（Layer 1）
2. 指令微调，形成风格化助手（Layer 2）
3. 强化学习，优化采样循环，驱除幻觉和循环重复，提升推理能力（Layer 3）
Karpathy认为，这三层都会保留，但AGI的终极配方还需要第四层、第五层甚至更多层的创新。人类行为的复杂性昭示了RL作为工具的重要性，但未来的AI系统必须融入更多层次的机制，比如记忆反馈、社会对齐以及系统层面的智能协同。
社区反响热烈，许多专家和开发者认同层叠模型设计的必然性，强调RL的适用范围和局限性，期待更复杂的智能系统架构出现。有人补充，未来AI不应仅是单一模型，而是多模型、多层次、多系统协作的智能生态。
强化学习依然是AI进化的重要一环，但未来的AGI构建需要多层次、多维度的技术叠加与系统整合，形成更具适应性和广泛应用的智能体系。这不仅是技术挑战，更涉及文化、伦理和社会结构的融合创新。
原推文链接：x.com/karpathy/status/1979932716423680137
