最近的NeurIPS 2023 （Annual Conference on Neural Information Processing Systems），2023年神经信息处理系统大会开完了，这是一个充满创新和探索AI极限的业内大会。也是人工智能（AI）和机器学习（ML）领域最重要的年度盛会之一。NeurIPS 2023是一个跨学科的会议，汇集了机器学习、神经科学、统计学、优化、计算机视觉、自然语言处理、生命科学、自然科学、社会科学等领域的研究者。

今年的NeurIPS大会于2023年12月10日至16日在美国新奥尔良的Ernest N. Morial会议中心举行。这个会议汇集了来自全球的顶尖研究者，他们在这里分享最新的研究成果，探讨未来的发展方向，以及解决当前面临的挑战，还接受了58个研讨会。

今年的大会还设立了一系列比赛，包括“机器反学习竞赛”、“隐私保护联邦学习文档视觉问答竞赛”等。这些比赛旨在推动AI/ML技术的发展，同时也为研究者提供了一个展示自己研究成果的平台。

其中机器反学习竞赛，这是我们所知的首个关于机器反学习的竞赛。反学习是一个迅速发展的研究领域，应对深度学习中的一个重大挑战：允许用户行使被遗忘的权利。这在深度模型的背景下尤其具有挑战性，因为这些模型倾向于从训练数据中记住信息，从而威胁到隐私。缺乏标准化的评估协议阻碍了反学习的发展，这是一个相对新的研究领域。他们的挑战旨在填补这一需求。他们提出了一个现实的场景，用于反学习人脸图像。

在论文方面，今年的大会收到了大量的论文在大约3500篇论文中，大约1000篇论文的作者还提供了他们的代码或数据。其中一些论文的研究成果非常引人注目。其中，两篇获得主轨道杰出论文奖的论文分别是：

"Privacy Auditing with One (1) Training Run": 这篇论文由Thomas Steinke、Milad Nasr和Matthew Jagielski撰写。他们提出了一种用于审计差分隐私机器学习系统的方案，该方案只需要进行一次训练运行。这利用了能够独立添加或删除多个训练示例的并行性。他们使用差分隐私和统计泛化之间的联系来进行分析，从而避免了群体隐私的成本。他们的审计方案对算法的假设最小，并且可以在黑盒或白盒设置中应用。可以大大提高效率，同时还能保护用户的隐私。这可能会推动更多的公司和研究机构采用差分隐私技术，从而更好地保护用户数据。这项研究还可能推动隐私保护技术的发展，使其更加实用和易于实施。"Are Emergent Abilities of Large Language Models a Mirage?": 这篇论文由Rylan Schaeffer、Brando Miranda和Sanmi Koyejo撰写。他们对大型语言模型的所谓“突现能力”进行了研究。突现能力是指在小规模模型中不存在，但在大规模模型中存在的能力。他们提出了一种替代解释：对于特定任务和模型家族，当分析固定模型输出时，突现能力是由于研究者选择的度量，而不是由于模型行为随规模的基本变化。具体来说，非线性或不连续的度量产生了明显的突现能力，而线性或连续的度量产生了平滑、连续的可预测的模型性能变化。这项研究提出的观点可能会引导研究者重新考虑如何衡量和解释大型语言模型的性能，从而可能会推动这个领域的研究方向和方法的改变。这项研究还可能影响到AI伦理和政策的讨论，特别是关于AI系统的能力和限制的理解。

微软在NeurIPS 2023上有超过100篇被接受的论文，并且提供了18个工作坊。微软的一篇论文"DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models"获得了杰出的基准轨道论文奖。论文提出了一种全面的信任度评估方法，专注于GPT-4和GPT-3.5的大型语言模型，考虑了多种角度，包括毒性、刻板印象偏见、对抗性鲁棒性、分布外鲁棒性、对抗性示例的鲁棒性、隐私、机器伦理和公平性。

谷歌在NeurIPS 2023上有超过170篇被接受的论文，两场主题演讲，以及通过组织支持和参与20多个工作坊和教程对更广泛的研究社区做出了额外的贡献。谷歌DeepMind团队在会议上展示了他们在全球天气预报、材料发现和AI生成内容水印等领域的最新AI模型。

全球天气预报：Google DeepMind开发了一种名为GraphCast的AI模型，用于更快、更准确地进行全球天气预报。GraphCast能够在不到一分钟的时间内提供10天的天气预报，其准确性超过了行业的黄金标准天气模拟系统——欧洲中期天气预报中心（ECMWF）的高分辨率预报（HRES）。GraphCast还可以提供极端天气事件的早期预警。它可以更准确地预测未来的飓风路径，识别与洪水风险相关的大气河，以及预测极端温度的开始。这种能力有可能通过更好的准备来挽救生命。材料发现：Google DeepMind的一个项目，名为Graph Networks for Materials Exploration（GNoME），专注于扩展机器学习方法来解决材料科学的核心任务。他们最近公布的结果是，他们发现了381,000种新的稳定材料，这将有助于推动更广泛的材料科学社区进行新的研究。AI生成内容水印：Google DeepMind开发了一种名为SynthID的工具，用于对AI生成的图像或音频进行水印标记和识别。这种水印对人类是不可察觉的，但可以用于识别。这种工具的目标是帮助人们识别AI生成的内容是否被假冒为真实的，或者帮助保护版权。

这些研究成果不仅展示了AI/ML技术的强大能力，也会为我们的生活带来了实际的改变。

NeurIPS 2023标志着对AI/ML研究审查流程的一次重大变革，特别是在道德审查方面。今年，大会首次实施了新的道德审查指南，这不仅强调了NeurIPS对道德和伦理问题的重视，也反映了整个AI/ML领域对社会责任的增强认识。这些新规定的推出始于道德守则的发布，正式在会议框架内为道德立下了基础。

与去年相比，被标记为需要进行道德审查的论文数量略有增加，达到502篇，占所有提交论文的3.77%。尽管如此，与2022年相比，被标记的论文比例实际上有所下降，从4.37%降至3.77%。这表明NeurIPS正在努力平衡严格的道德标准与研究自由之间的关系。

然而，新的道德审查流程并非没有争议。其中一个主要问题是审查过程的设置方式，并没有为技术审查者提供添加评论或标记的原因的机会，这有时会导致道德审查者难以确定问题所在。这反映了在执行道德标准时，如何维持审查的透明度和公平性仍是一个挑战。总的来说，NeurIPS 2023的这些变化旨在更好地考虑到AI/ML研究可能带来的负面社会影响，同时也引发了关于如何有效实施这些新标准的广泛讨论。

总之，NeurIPS 2023大会今年应该是格外活跃了，它展示了AI/ML领域的最新进展，也为我们揭示了未来的可能性。大会的还有多场内部讲演，我们没能找到更多有价值的信息，后面会保持关注，希望我们目前找到分享的这些信息对你有点用。