TTT-Discover – 斯坦福、英伟达推出的测试时强化学习方法

TTT-Discover的主要功能

• 测试时持续学习：在解决具体问题时动态更新模型权重，使AI从失败尝试中实时积累经验，实现定向进化。
• 科学发现优化：针对数学、工程、算法、生物等领域的开放问题，寻找超越现有知识的最优解。
• 高效搜索策略：通过熵目标函数聚焦高奖励动作，结合PUCT机制智能重用历史状态，平衡探索与利用。
• 低成本高性能：使用开源模型即可在多项任务中达到SOTA，单问题训练成本仅需几百美元。

TTT-Discover的技术原理

• 熵目标函数：优化目标为 Jβ​(θ)=E[logE[eβR]] 。当$\beta \to \infty$ 时，目标收敛于最大化最大奖励而非平均奖励，确保模型专注寻找单一极优解。采用自适应$\beta (s)$ 控制KL散度，维持训练稳定性。
• PUCT启发状态重用：维护历史解缓冲区，用评分函数Q(s)+c⋅P(s)⋅1+n(s)1+T​​ 选择初始状态。其中$Q(s)$ 取子节点最大奖励（非平均值），$P(s)$ 为基于奖励排名的先验，兼顾高潜力状态利用与多样性探索。

TTT-Discover的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2601.16175

TTT-Discover的应用场景

• 数学研究：优化Erdős最小重叠问题、自相关不等式等开放数学问题的边界值，发现新的构造性证明。
• GPU内核工程：帮助自动生成高性能计算内核，如AlphaFold的TriMul算子、DeepSeek的MLA解码，速度超越人类专家。
• 算法竞赛：TTT-Discover能解决AtCoder等编程竞赛中的NP-hard优化问题，如几何计算、生产规划等复杂任务。
• 生物信息学：TTT-Discover能改进单细胞RNA测序去噪算法，提升基因表达数据分析精度。