PKU-DAIR实验室两项成果被NeurIPS2026录用

NeurIPS 2026 将于 2026 年 12 月 6 日至 12 日在澳大利亚悉尼举办，另于 12 月 9 日至 13 日在美国亚特兰大和法国巴黎设置卫星会场。PKU-DAIR实验室的论文《Tree-Structured Synergy of Large Language Models and Bayesian Optimization for Efficient CASH》和《PolySplat:Workload-Regime-Aware Rasterization for 3D Gaussian Splatting》被 NeurIPS 2026 录用。

《Tree-Structured Synergy of Large Language Models and Bayesian Optimization for Efficient CASH》提出 LB-MCTS 框架，将蒙特卡洛树搜索（MCTS）的树作为共享状态，把算法选择、参数优化和 BO–LLM 协作组织为一条条可追踪的优化轨迹。搜索树包含三类节点：根节点表示完整的 CASH 任务；下一层的算法节点分别对应一个候选算法；更深层的超参数节点记录具体配置及其验证性能。每轮搜索先通过 PUCT 策略选择一个算法，综合考虑已有表现、改进趋势与探索机会。选定算法后，再由 BO 或 LLM 生成新配置。评估结果沿路径回传，更新节点统计量，引导后续预算分配。这样，算法选择与配置细化便能在同一个搜索过程中相互影响。

LLM 提议器沿树选择一个基准配置，再结合任务描述、相关历史和本轮搜索指令提出调整。初始化时，LLM 利用先验知识生成起点；进入优化阶段后，Exploitation 指令鼓励局部细调，Exploration 指令鼓励尝试新的区域。LB-MCTS 引入选择性调优记忆（Selective Tuning Memory，STM），每条经验都包含父配置、子配置、调整前后的性能，以及相关反思，使 LLM 能够同时看到参数改动与对应反馈。STM 只从当前算法的子树中取用历史，并结合两类记忆：局部记忆保留通向当前配置的祖先路径，说明这一步是如何走到的；全局记忆则综合起点相似度与结果质量，从同一算法的历史尝试中筛选有参考价值的经验。对探索或利用得到的新配置，LLM 还会在评估后分析本次调整的效果，将反思写回节点，供后续搜索使用。

BO 为每个算法维护独立的高斯过程代理模型，在该算法自己的超参数空间中进行定量建模。它同时生成随机候选与局部扰动候选，通过期望改进（EI）选择下一次评估的配置：随机候选开启新的路径，局部候选则接在原配置节点之后。两类提议器生成的配置都进入共享树。LLM 找到的新配置会成为 BO 的训练观测；BO 产生的参数调整及其结果，也可以作为 STM 中的经验供 LLM 使用。一条优化路径因此能够交替承接语义推理与数值搜索。至于下一步交给谁，LB-MCTS 会分别检查各算法代理模型的可靠性：通过交叉验证，衡量代理模型能否正确预测配置的性能排序，并据此调整选择 BO 的概率。观测较少时，搜索更多借助 LLM 的先验；随着代理模型更加可靠，BO 承担更多配置提议。

在 AutoML Benchmark（AMLB）的 104 个数据集上评估 LB-MCTS，其中包括 71 个分类任务和 33 个回归任务。 分类与回归分别设置了包含 8 种算法的 CASH 搜索空间，共涉及 45 和 46 个超参数。 每种方法均使用 300 次配置评估预算，主实验的 LLM 为 GPT-4o-mini。 主实验获得最佳平均排名。 在 300 次评估后，LB-MCTS 的平均验证排名为 2.16，优于第二名 RB 的 3.49。

从约 70 次评估开始，LB-MCTS 的平均排名持续领先于全部基线。 测试集上保持领先。 将各方法根据验证集选出的最佳配置用于独立测试集评估，LB-MCTS 仍获得最佳平均排名 3.05，说明其优势能够延续到未参与配置选择的数据上。 消融实验支持树结构与动态协作的作用。 在 10 个代表性数据集上，树结构消融中，LB-MCTS 的平均排名为 1.5，移除超参数优化树、仅共享平面历史的 LB-Flat 为 3.4；

在另一组提议器协作消融中，动态策略的平均排名为 1.6，优于固定 50:50 调用 BO 与 LLM 的 2.3。 LLM 调用成本较低。 在论文采用的 GPT-4o-mini 设置及实验时的 API 单价下，每个数据集完成 300 次配置评估的平均 LLM API 费用约为 0.127 美元。 该数字仅计 LLM 的输入、输出 token 费用，不包含下游模型训练与评估的算力开销。

论文附录展示了 cmc 分类任务上的一次 AdaBoost 调优。当前路径曾同时增大学习率和弱学习器数量，验证表现出现下降；STM 又检索到其他历史尝试，其中包含 BO 和 LLM 分别提出的调整，显示较低学习率与适当模型规模的组合值得继续尝试。结合这些经验，LLM 将当前配置的 learning_rate 从 0.045 调整为 0.038，将 n_estimators 从 350 调整为 300，并保留 SAMME 与 max_depth = 5。随后，验证集上的平衡准确率从 57.47% 提升至 59.24%，提高约 1.77 个百分点。这个案例展示了共享轨迹的具体价值：当前路径上的失败记录提供了调整背景，同一算法下的其他尝试提供了参考，而新配置的评估与反思又成为下一步可用的经验。BO 与 LLM 产生的历史由此能够在后续优化中共同发挥作用。