【长期主义】第286期智能说：苹果AI史诗级升级，Pika专访纪要

北京时间2024年6月11日凌晨1点，苹果2024年全球开发者大会WWDC正式开幕，公布多项重要更新与新功能。苹果发布iOS 18、iPadOS 18、macOS Sequoia、visionOS 2等软件更新；推出个人化智能系统Apple Intelligence，将适用于iPhone、iPad、Mac等操作系统；Siri语音助手在AI加持下表现显著增强，用户可要求系统调用ChatGPT进行回应等。

2024年6月5日，美国文生视频初创企业Pika，宣布完成8,000万美元B轮融资，累计融资额达1.35亿美元，较2023年末，公司投后估值翻倍至4.7亿美元。2023年11月，Pika1.0问世，以令人惊艳的视频生成效果，迅速席卷硅谷AI圈，引发文生视频领域激烈竞争。Pika成立1年来，团队从3人扩大至13人，预计2024年底前，将带来新一代产品更新。

本期长期主义，选择苹果2024年全球开发者大会WWDC盘点、Pika团队最新专访纪要，智东西、机器之心发布，六合商业研选精校，分享给大家，Enjoy！

正文：

全文15,484字

预计阅读31分钟

苹果AI一夜颠覆所有，Siri史诗级进化，内挂ChatGPT-4o，Sam Altman来了，马斯克怒了

时间：2024年6月11日

来源：智东西

字数：8,960

苹果WWDC 2024大会在苹果总部举行，苹果AI正式交卷，苹果构建全新AI帝国，个人化智能系统Apple Intelligence诞生，智能助手Siri迎来诞生13年以来史诗级进化，打通苹果全家桶系统。

今天加州现场阳光明媚、热烈，将衣服晒得滚烫。动感暖场音乐后，库克出来跟现场观众交流互动，之后整个Keynote所有现场媒体与开发者，围坐在一起看录播视频。

主题演讲开始，苹果上来先甩核弹，中国国行版Vision Pro 2024年6月14日开始预定，6月28日在中国上市。目前国内苹果官网页面已经上架Vision Pro，售价29,999元起。

长达100分钟主题演讲中，苹果相当会吊胃口，明知大家最关心AI，把AI与Siri压箱底，开场1小时后才开始密集上猛料，猛料一上就是40多分钟，包括iOS支持通话录音，上新语音转写等。

Siri能免费调用ChatGPT，还能关联GPT-4o。Siri变聪明了，能更自然回答问题、读懂模糊表达、理解多轮对话，还将能够识别屏幕、总结信息、个性化定制、跨应用操作、在APP中执行数百项操作等。

其他全新生成式AI功能，包括创建生成式AI表情包、草图秒生更丰富图像、AI创作图像深度嵌入信息，AI修图、视频搜索、AI视频创作也将嵌入苹果图库。

苹果全家桶六大系统全面升级

MVP是iPadOS 18计算器APP。一发布，就引起全场巨大欢呼。超酷的手写数学笔记功能，备忘录上线全量计算器功能。

iOS 18大改屏幕图标、控制中心与照片APP设计，新增卫星短信、游戏模式、地图离线徒步路线记录。

iOS 18把金钱流失具象化，2个iPhone一碰，钱就如流沙般流到另一部手机账户里。

苹果AI这么猛，我们什么时候能用上？苹果公布信息，Apple Intelligence英语试用版，将于2024年夏天推出，2024年秋天在iOS 18、iPadOS 18、macOS Sequoia中落地Beta版。

要用上最新苹果AI，门槛不低：支持iPhone 15 Pro、配备M1芯片的iPad与Mac以及后续机型，用AI刺激新品销量。

今天OpenAI CEO Sam Altman亲自来到WWDC现场，距离上次来WWDC，已经过去16年。

左：2008年Sam Altman参加WWDC、右：2024年Sam Altman参加WWDC

马斯克作为Open AI曾经的发起人之一与现在的死对头，不但抨击苹果AI面临数据隐私安全问题，还直接在库克X平台推文下方留言道：不想要。

马斯克还不忘恶搞一下，以一张表情包表达了内心的真实想法：

主题演讲后，特别环节在乔布斯剧院进行，苹果机器学习与AI战略高级副总裁John Giannandrea、苹果公司软件工程高级副总裁Craig Federighi在接受采访时透露说，苹果在iPhone上运行的大语言模型有大约30亿个参数，确认苹果与其他第三方大模型供应商合作计划，称期待在未来与其他模型进行集成，比如谷歌Gemini，现在没有什么可宣布。

苹果个人AI系统来了：AI贯穿系统每个角落、所有APP

AI是这次WWDC最重要主角，这次苹果正式发布个人化智能系统Apple Intelligence，这是具有里程碑意义的时刻。

生成式AI与大语言模型发展，带来更多新的强大AI功能。苹果落地这些功能过程中，希望符合苹果核心原则，苹果今天正式公布自己做AI的5大关键原则：

1、强大，能在各种要紧事上帮到你。

2、直观易用。

3、深度整合到产品使用体验中。

4、懂你，并以你个人情境为基础。

5、从设立之初，就注重隐私保护。

基于这些原则，苹果正式发布Apple Intelligence，苹果全新的个人化智能系统，也就是苹果AI核心系统。苹果高级副总裁Craig特别提到，苹果要做的是更懂你的个人化智能系统。

Apple Intelligence将生成式AI模型，置于iPhone与iPad核心中，根据个人情境来提供智能的协助。

苹果从功能、架构、体验三个方面，深入介绍Apple Intelligence。

首先是功能Apple Intelligence，可以让iPhone、iPad、Mac理解并生成语言与图像，还可以代替用户执行操作，简化跨多个APP进行操作的流程。

Apple Intelligence真正独特之处，能够理解用户个人情境。Apple Intelligence内置大语言模型，可以深刻理解自然语言，让日常生活中各种大小事都做得更快、更轻松。

比如用户iPhone可以为通知设定优先的次序，减少不必要干扰，又不会错过重要信息。Apple Intelligence能帮用户重写校对、提取文字摘要，协助写文章、写帖子、提炼想法，分享给同学或者检查马上要发到网上的评论。

这些功能，贯穿邮件、备忘录、Safari浏览器、Pages、Keynote，甚至是第三方的APP。

除语言之外，Apple Intelligence支持图像相关AI新功能。Apple Intelligence可以识别用户照片图库中人物，比如给朋友发生日祝福时，AI可以生成一张朋友图像，让用户祝福更带感。

当用户想告诉妈妈，她是自己心中超人时，用户可以发一张身穿超人披风的照片。生成图像有三种风格：素描、插图、动画。

这种体验，不仅限于信息APP，系统中所有APP都适用，比如备忘录、无边记、Keynote、Pages。

Apple Intelligence另一个重要能力，是跨多个APP执行操作，用户可以开口说，调出上周Joe给自己发的文件、看看妈妈与自己所有照片、播放前几天太太发给自己的播客。

Apple Intelligence能实现数百种复杂操作。

Craig重点提到，个人化智能还有一个极其关键要素，深刻理解用户个人情境。Apple Intelligence运作基于用户个人信息与情境，它不仅能从用户各种检索中分析相关度最高的内容，还会参考用户屏幕上的内容，比如正在查看的邮件或者日程日历。

比如有一场会议改到傍晚，用户想知道开完这场会，还能不能赶上女儿演出，Apple Intelligence会处理相关个人数据来给用户提供协助。

首先它知道用户女儿是谁，以及她前几天发来的演出，也知道用户会议的时间、地点，预估用户从公司到剧院交通状况。

Craig特别提到，能够理解这些个人情境，才能提供真正实用的智能技术，做法必须要注重隐私。

端侧设备处理，是Apple Intelligence核心，苹果将它深度整合到iPhone、iPad、Mac中，苹果无需收集这些数据，就可以实现这些功能，这离不开苹果独特软硬件整合能力。

苹果对芯片多年投入，让苹果芯片可以支持端侧AI处理。苹果特别提到，苹果先进的Apple芯片，包括A17 Pro与M系列芯片，给Apple Intelligence提供坚实算力基础。

Apple Intelligence，包含专为日常活动而设计的大语言模型与图像生成扩散模型，能飞快的根据用户当前的活动进行调整；内置端侧语义索引，可以整理与提炼各种信息。

当用户提出请求，Apple Intelligence就会通过语义索引来识别相关个人数据，传输给生成式模型，这些模型可以根据用户个人情景，更好协助用户。

大多数这类模型，都能在完全的端侧运行，有时用到的模型大到无法放在随身携带的设备，这时候服务器可以产发挥作用。传统的服务器会储存用户数据，苹果创造私密云计算技术Private Cloud Compute，让智能系统能够扩展引入更大基于服务器的模型，来处理更复杂需求，妥善保护数字隐私安全。

这些服务器基于苹果芯片，可以提供与iPhone相同的芯片级别隐私与安全保护。Apple Intelligence，会分析用户发出的请求能否在设备端运行，如果需要更强算力，可以借助私密云计算仅将与任务相关的数据，发送给采用苹果芯片的服务器。

Craig说，数据不会被存储，苹果也无法访问，数据只会为了用来执行请求。苹果通过加密形式，确保iPhone、iPad、Mac可以拒绝与服务器对话，除非这个服务器的软件已经得到公开的安全标准认证。可以说，在个人数据隐私保护上，苹果死磕到底。

在大家关心的落地时间与机型方面，Apple Intelligence将随iOS 18、iPadOS 18、macOS Sequoia免费提供，在iPhone 15 Pro、配备M1芯片的iPad与Mac，以及后续机型上提供。

Apple Intelligence，将于2024年夏天推出英语试用版，2024年秋天Beta版将作为iOS 18、iPadOS 18、macOS Sequoia的一部分推出。

另外的功能与其他语言、平台的支持，将在2024年陆续推出。

苹果智能免费可用，给Siri换脑子，交互更自然、更个性化

基于Apple Intelligence，Siri交互变得更自然，上下文理解力更强，用户使用也将更个性化。

首先，Siri具有更丰富语言理解能力，用户表达不清楚，它也能理解意思；可以在对话时联系上下文，比如知道用户说的那里，是之前提到的一个地方。

Siri支持用户切换语音与文字交互方式，当不想出声时，用户可以打字给Siri，让它实现定闹钟等功能，选择适合场景的交互方式。

Siri掌握大量关于功能与设置信息。当用户想知道如何在iPhone、iPad、Mac上做某事时，即使不知道某个功能确切名称，用户也可以简单描述它，Siri能明白用户所说的功能是什么。

接下来1年里，苹果将推出更多功能，使Siri更加个性化与强大。Apple Intelligence将为Siri提供屏幕感知能力，支持针对屏幕信息采取行动。

例如，一个朋友从消息中发短信写到新地址，用户可以让Siri把这个地址添加到他联系人卡片上。

Siri将可以理解用户在APP中很多操作，能在APP内及跨APP执行数百个新操作，包括一些利用苹果新的写作与图像生成功能的操作。

比如当用户对Siri说找到某张照片，要求对这张照片优化，Siri将能够去照办。

这些功能将通过APP Intents实现。这个框架，允许一系列针对Siri与其他系统体验的操作，不仅限于苹果自有应用程序。

开发者将能够通过APP Intents API，在他们应用程序中引入Apple Intelligence。这只是开始，随着时间推移，Siri将能够理解，并在更多应用程序中采取更多行动。

Siri还将拥有一组很酷功能，它将可以感知用户个人背景，包括照片、日历日程与文件等语义索引，藏在消息与电子邮件中的信息，预测用户接下来要做的事，不会泄露隐私。

比如新的Siri，是个找东西好帮手。用户要求下，Siri可以帮用户找到驾驶证号，填写到表格里。

比如它能参考邮件里航班到的时间，告诉用户要接的人什么时候到达，参考用户在备忘录中写的用餐地址，在要求下帮用户计算能否按时到达。

2024年，标志着Siri新时代开始，所有这些Siri的更新，会同步iPad与Mac。

AI文本润色、图像生成潜入应用程序，还支持录音转文字、自动生视频

Apple Intelligence被用到整个系统其他地方，比如Apple Intelligence提供重写Rewrite功能，帮用户在各种应用中优化写作内容。写作工具也可以帮用户校对内容，检查语法、字词及句子结构，提供编辑建议。

Apple Intelligence支持智能回复邮件，用户轻点几下，就可以完成操作。现在，用户可以从电子邮件列表中看到摘要，快速了解邮件内容，获取优先级信息。

除了邮件，用户几乎可以在任何地方，访问系统范围内写作工具，包括第三方应用程序。Apple Intelligence，支持用户进行AI图像生成，第三方应用程序也支持这种体验。

消息中最有趣的沟通方式之一是表情符号，苹果推出Genmoji表情生成，支持用户通过自然语言描述生成表情符号，比如挑选相册里一个人创建与他非常相似的表情符号，添加到消息等应用中。

图像生成方面，苹果进一步推出Image Playground图像游乐场，这是一种在几秒内创建有趣图像的新方式，将内置在消息等应用中。

不需要复杂的描述词，用户可以从主题、服装、配饰、地点等一系列概念中进行选择，并添加至Image Playground，几秒钟后，用户将看到Apple Intelligence创建自己想要的图像，用户也可以输入具体描述进行图像生成。

苹果构建Image Playground API，支持开发者将图像生成功能，集成到他们应用中。为深入理解与创建图像，苹果推出全新笔记应用程序工具Image Wand图像棒，可以将粗略的草图变成精致的图像，补充笔记，增加可视化效果。

Apple Intelligence帮助用户充分利用不断变大的照片库。修图、搜索照片与视频，都变得更加容易。

Apple Intelligence还将支持自动视频创作，当用户想使用照片与视频，自己创作一部电影时，比如输入学钓鱼，Apple Intelligence会挑出适合素材，自动生成一段视频，画面伴随自动匹配的配乐。

除此之外，Apple Intelligence开启很多其他有用的功能。比如，笔记应用中，用户可以录制与转录音频，提供智能摘要；该功能将进入其他应用，当用户在实时通话中开始录音时，参与者会自动收到通知，实时通话转录。

联手OpenAI尘埃落定，无需注册、Siri实时调用GPT-4o

苹果AI在合作方面的一些进展，苹果也在今天做重要官宣。除了自家大模型，苹果还将Siri变成使用外部模型的入口，这些外部模型的能力，会全部融入用户使用体验中。苹果与OpenAI此前盛传已久的合作终于尘埃落定，苹果首选GPT-4o作为外部大模型之一。

首先，Siri支持调用ChatGPT，例如需要菜品灵感、家装建议等，都可以让ChatGPT直接给出答案，不止文字、照片，就连文档、PPT、PDF都可以直接提问。值得注意的是，每次调用ChatGPT出场时，Siri都需要征求用户同意，再将相关信息分享给ChatGPT。

苹果将ChatGPT，融入全系统适用的书写工具中，编写功能让用户分分钟搞定带插图的睡前小故事。

苹果对于大模型的调用，将免费、方便贯彻到底，用户不必创建账户就可免费使用ChatGPT，ChatGPT订阅用户也能关联自己账户，并在苹果设备中使用相关产品时接入付费功能。

ChatGPT将集成在iOS 18、iPadOS 18、macOS Sequoia中，2024年稍晚推出。未来，苹果还会增加对其他AI模型支持。

对于开发者，大模型更新也大有裨益。苹果以全新API与框架更新SDK。例如，开发者在Image Playground中，只需要添加几行代码，就能加入自己APP，Bear Notes这类APP，自动支持用户对笔记进行重写、校对、摘要。

苹果还在努力打造更多实现途径，让用户直接在各种APP中使用Siri执行指令。苹果在快捷指令框架APP Intents中，将海量APP与Apple Intelligence关联起来，并在所有操作系统中定义新的Intent机制，将经过预定义、训练、测试的Intent，免费提供给开发者。

例如用户直接口述提出给昨天XX拍的照片，应用电影效果预设的指令，可以直接让Siri执行。

这些都只是SDK更新的冰山一角，未来开发者可以将各种实用、智能的功能，添加到自己APP中，打造适用于每一个人的AI时代。

iOS 18来了：支持主屏自定义及应用锁，卫星通信上iPhone，游戏模式来了

上述各类AI新功能，都已融入到苹果各大OS中，首先我们来看看iOS。

这次iOS 18，为开发者提供更多方式定制iPhone，让设备保持连接，以及让用户重温重要时刻。

1、定制iPhone：主屏幕个性化定制，控制中心可扩展

主屏幕开始，用户已经可以使用自己喜欢的壁纸、应用程序与小部件自定义主屏幕，现在可以做的更多。

用户可以设置自己喜欢的照片为壁纸，自定义APP图标的位置、颜色与风格，比如深色模式的风格会随之变化，用户可以根据主题照片自定义APP图标色调。

苹果将更高阶的自定义与功能，带进控制中心。用户用手指扫向屏幕右下角，控制中心出现，增加媒体播放、家居控制等更多控制项，支持便捷添加更多其他控制项。iOS 18增加控制中心的可扩展性，支持调整布局与大小。

隐私方面，用户有时会把手机给别人使用，iOS 18支持开启隐私模式，锁定某个APP或者隐藏某个APP。

在用户与APP共享信息方面，iOS 18将用户与APP共享哪些联系人的控制权，交给用户，用户还能更强控制设备配对。

2、保持连接：信息增加个性化表情符号，支持卫星通信

iOS 18对用以保持连接的应用程序，进行重大增强。信息功能上，iOS 18为用户解锁新的表情符号与贴纸，增加设置信息稍后发送的功能。

用户可以使用一些文字效果，强化信息语气，比如通过文本斜体、下划线等格式，强调词句，通过视觉放大强调某个信息点，让某个词语震动等。

没有网络时，iOS 18支持通过卫星提供信息服务。现在，用户可以使用iPhone 14、后续机型的卫星功能，连接到距离地球数百英里的卫星，发短信给亲友，这些信息均经过端到端加密。

邮件APP，增加新的类别功能，提供全新摘要模块，帮用户将同类信息汇集在一起，信息交互变得更容易，该分类功能2024年晚些时候推出。

地图APP，提供新的地形图，包含详细的步道网络与远足路线，都可以保存到用户手机。

钱包APP，推出Tap to Cash新功能，这是一种快速、私密的支付方式，用户无需共享电话号码或电子邮件地址，即可兑换苹果现金。

用户将2个手机靠近，就能进行支付。

对于游戏玩家来说，游戏模型将登陆iPhone，支持在游戏时维持更高帧率，大大提高AirPods与手柄反应速度。

3、重温回忆：图片APP最重磅升级，视图大更新

iOS 18在重温回忆方面升级，主要是指图片APP，带来迄今最重磅更新。图片APP，首页已统一为一个视图，顶部是照片网格，下面是按主题组织的图库。当用户想要快速跳转到特定日期时，照片网格支持直接跳转。

用户可以自定义下部图库的主题，将看重的主题放在显著位置。图片APP，也将新增全新栏目，右扫可以出现照片轮播，支持用户自定义添加喜爱的照片。

visionOS 2发力内容生态，相册所有照片一键3D化

OS方面，今天苹果上来，直接先讲苹果的第6大操作系统visionOS的更新，正式发布visionOS 2。

对大家最关心的Apple Vision Pro销售问题，库克今天正式宣布，Vision Pro将于6月28日开始在中国等8个国家开始销售。

2024年，针对visionOS 2，苹果做的最关键的就是一件事：内容。

苹果高管宣布，现在已经有2,000多款专门为Apple Vision Pro打造的APP，兼容iPhone与iPad的APP已经超过150万个，Vision Pro应用生态成长速度非常快。visionOS 2，这次首先升级空间照片，图库里现有照片可以直接通过机器学习技术，从2D升级为3D。

苹果可以直接把相册里所有2D照片，一键变成3D，用户再也不用担心没有3D内容可看。

Mac在Vision Pro上的投屏，可以变成超宽屏，相当于2台4K显示器并排摆放，也就是用户熟悉的超宽带鱼屏。

苹果直接帮用户免费升级Mac显示屏，苹果在强化Vision Pro作为虚拟大屏的作用。

visionOS 2一系列新的API与架构，会给开发者们提供各种各样开发便利。佳能甚至直接推出新的空间镜头，一些新的专业软件将更好分享空间视频。

总体来说，苹果直接把整个3D空间视频工作流打通，让用户可以更好拍摄3D空间视频，分享3D空间视频。

iPadOS甩王炸应用，数学笔记惊艳全场

iPadOS 18中，有很多跟iOS 18相似功能，比如个性化主屏幕、自定义控制中心等，苹果这次特别推出几个王炸级新APP与功能。

这次苹果iPadOS 18，终于有计算器，苹果称之为神迹。计算器针对iPad的大屏，做了一些优化与适配，加入历史记录、单位转换。

这次苹果发布的数学笔记新功能，是真正王炸，可以直接用Apple Pencil写各种公式，就像在纸上一样，只要写下等号，就会马上跳出计算结果。

用户可以实时修改等号前计算过程，结果会实时改变，非常神奇，这个功能引起现场观众一片欢呼。

当用户要计算一系列数字总和时，只需要在这些数字下面画一条横线。在解决数学问题时，改变题目中任何数字，计算结果也会实时改变。

系统可以直接根据方程式，直接创建坐标图像，当用户想了解题目中不同参数，对这个图像影响，可以直接点击参数，实时调整预览。

这个数学笔记，是惊艳全场的新功能。

苹果还给备忘录增加Smart Script功能，可以随着书写，自动美化笔记，端测机器学习模型可以根据用户以往笔记，来重建用户手写体。

生成的字体看起来更像，会写得更端正。备忘录中，用户可以对写好的内容进行补充，只需要轻点按住文字，就会流动的调整，从而腾出更多空间。想删除，就直接划掉，整个体验更高效、更流畅，更易读。

人人都可以化身笔记达人。除了王炸应用与新功能，基础体验方面，iPadOS 18新的悬浮标签页栏，可以让用户更轻松导览到APP不同位置，内容铺满屏幕。

标签栏与边栏，可以自由转换，用户可以自定义标签页，将标签页都留在手边，这种体验贯穿整个系统所有应用，所有系统动效都十分精美。

Share Play中屏幕共享功能，这次支持通过屏幕轻点或者手绘，向对方示范应该如何操作的功能。

用户可以直接出手帮助，也可以要求对方远程操作他的iPad，这对帮助父母来说，应该是非常有用的功能。

macOS：支持iPhone镜像，推出密码管理应用

苹果推出macOS Sequoia操作系统，这是将可以提高用户生产力与创造力的重要版本。用户将可以快速平铺窗口，获得更大工作空间，新iPhone镜像iPhone Mirroring功能，允许用户无线使用iPhone，Safari大规模更新，可帮助用户轻松浏览网页，还有一系列新游戏也将进入Mac。

聚焦iPhone镜像功能，支持用户在Mac电脑上接收iPhone信息，无缝操作iPhone，即使在iPhone锁屏情况下，也能实现Mac大屏协作、多屏协同。

Safari浏览器方面，macOS Sequoia将使用户更轻松发现内容、简化浏览。基于机器学习技术，Safari将可以自动检测相关信息，并将网页中重要信息突出显示。

macOS Sequoia在密码管理等方面，有较大更新。苹果推出密码Passwords新应用，将使得用户更轻松访问密码，采用先进加密技术，将密码存储在安全位置，从验证到安全预警都十分完备，该程序将上线Mac、iPad、iPhone、Vision Pro、Windows。

macOS Sequoia开发者测试版，将于今天推出，公共测试版将于2024年7月推出，所有操作系统版本将在2024年秋季向用户提供。

watchOS：实时运动打分，打造手腕上的私人运动管家

Apple Watch，已经成为用户运动健身不可或缺的一部分。watchOS 11更新，围绕运动、健康、连接三大核心。

watchOS 11新增训练负荷功能，让用户对运动与自己身体关系更加了解，原理是将心率、配速、高度这些热量值数据，结合用户年龄、体重等个人数据，通过新算法，自动将传感器数据转为对用户训练的1-10耗能评分，1代表轻松，10代表竭尽全力。

耗能评分与锻炼时长，将用于计算用户训练负荷，让用户在运动过程中更能了解自己身体状况。

运动过程中，用户会有不同身体指标关注点，这次iPhone端健身APP页面可以自定义选择摘要。

用户可以把自己心率、步数等，放在最显眼位置。日常运动中，通过完成健身圆环获得运动奖章，可以激励用户保持日常习惯，现在健身目标更加灵活。

用户可以对一周中某一天自定义健身圆环的闭合目标，或者暂停一天、一周或更久，都不会影响获得运动奖章。

为了让用户更快速直观查看身体各项关键指标，watchOS 11推出一项新功能Vitals APP，会同步显示用户心率、睡眠呼吸、手腕温度等，并将当前各项指标与用户此前正常指标进行对比，超出正常范围指标会高亮显示，多项指标超出，还会有专门信息通知用户。

对孕妇，现在经期跟踪还会显示孕龄，跟踪心率等各项指标。2023年，Apple Watch新增小组件的智能叠放功能，如今这一功能可以自动识别当前用户状态，从而调整位置。

比如马上下雨，就会有降水概率组件、出国旅行就有翻译组件，用户直接使用听写功能就能在手表上看到，并听到翻译内容。

另一个体现是，实时活动可以在Apple Watch上看到，新增与朋友互动的平安确认功能。

开发者可以自定义双指互点两下API的操作，比如追踪婴儿睡眠时间。watchOS 11智能识别评估精选最佳照片以自定义表盘，同时调整图像与时间的前后关系。

音频&家居：耳机点头就能与Siri交互，个性化空间音频进军游戏

AirPods重点更新，围绕两大重点，交互更简单、听得更清晰。

交互方面，日常佩戴AirPods，接收到Siri来电提醒时，用户不方便开口回应，只需要轻微点头与摇头，就能听松回应，无需在面对大风天气或公共场所，大声与Siri交流的尴尬局面。

听方面，为了确保声音在大风天气清晰，AirPods Pro新增Voice Isolation功能，这一功能可以基于计算音频消除背景噪音。个性化空间音频模式，扩展到游戏领域，苹果构建新的Personalized Spatial Audio API，腾讯游戏与EA联合出品的Need for Speed Mobile将成为首批采用个性化空间音频技术的游戏，2024年秋天推出。

家居领域，观看电视节目时，InSight功能能，实时将演员信息显示出来，还能将电视中正在播放的BGM添加到Apple Music列表中。

tvOS在音频领域发力，增强对话功能，利用机器学习提高人声清晰度，确保演员对话清晰。

智能提供字幕功能，当用户静音或跳回时，字幕就会出现在屏幕上。

tvOS更新，还包括新增对21:9投影支持、史努比屏保。

结语：苹果AI史诗级升级，软硬件生态全面出击

苹果Apple Intelligence发布，标志苹果AI 全面进化，Siri助手升级、各类重磅AI能力，在苹果生态全家桶中打通与应用，苹果系统级AI能力构建，都给行业树立新的AI体验标准。

相似的AI功能，在安卓、Windows阵营中，已经见过不少，苹果可以说后来居上，在功能丰富度、体验完善成度上更有优势，微软、谷歌、国内众多安卓手机厂商将如何接招，值得期待。

Vision Pro，此前在美国市场销售遇冷，新一轮全球发售必将给XR产业注入新一轮动能，visionOS 2在内容生态方面大力推动也极具价值，苹果再次给空间计算时代的到来按下一次加速键。

整体看，苹果发布会干货满满，此前诸多爆料信息，都得到印证，苹果真正将这些大招亮出来时，还是给人十足惊艳感，引发产业内广泛热议，苹果正式跟上AI大部队，冲在最前面。

独家专访Pika：Sora is not very hard to beat，我们的算法能够以小胜大

时间：2024年6月10日

来源：机器之心

字数：6,524

Sora已经强势炸过场，Pika还是再次带着硅谷一众明星资方的投票，回到舆论中心。

2024年6月5日，Pika宣布完成8,000万美元B轮融资，总融资额达1.35亿美元，较2023年末，公司投后估值翻倍至4.7亿美元。

4个月前，OpenAI Sora重新洗牌视频生成赛道。Sora以长达60秒连贯视频、高清画面质感、连贯的镜头移动、运动方式等优点，拉高整个视频生成赛道的技术水平，引发全球对视频生成的狂热。像LLM领域一样，视频生成开始变成追赶OpenAI的游戏。

2023年11月，Pika1.0产品出色、令人惊艳的视频生成效果，支持用户实时进行视频编辑与修改的突破性功能，快速走红，一路斩获众多硅谷科技界明星人物背书与投资。

成立5个月，Pika仅有3人的团队，一举成为当时视频生成赛道龙头Runway最大竞争对手。

2024年4月，Adobe在自己视频编辑工具 Premiere中，嵌入三大外部合作商，分别是Pika、Runway、OpenAI，视频生成赛道已是三足鼎立局面。

OpenAI暴力美学下，Pika如何评估Sora带来的竞争压力，如何找到自己超越路径，成为值得期待的问题。

伴随这次融资敲定，Pika在投资领域已经拿出足够有说服力的答案，这个答案会是什么？

融资正式敲定后，Pika团队接受我们独家专访。这场访谈中，我们对谈Pika团队多名核心成员，包括联合创始人郭文景Demi Guo、孟辰霖Chenlin Meng，创始工程师陈思禹Karli Chen、Pika算法工程师王熠鹏。

如果你用AI来总结下面访谈，企图回答这个问题，他或许会用结构化的回答告诉你，Pika拥有的是强大的团队、高效的算法、明确的目标以及产品力。

Pika团队透露，2024年底之前，Pika将发布最新一代产品更新，新产品将展现Pika在可控性上进步。

Sora is not very hard to beat

机器之心：首先恭喜Pika时隔半年，再次完成新融资，我们先来聊聊这轮融资情况，用途主要是什么？

Pika：这轮融了8,000万美元，估值相比2023年12月融资翻了1倍，现在是4.7亿美元。

之后我们要训练自己视频大模型，融资是为帮我们加速这件事发展，一方面是获取更多模型需要资源，另一方面我们希望能招更多人，加入我们视频大模型团队，不论是算法研究，还是工程师。

机器之心：能否介绍下你们目前团队，希望扩张的规模与具体方向？

Pika：过去1年，Pika团队从3人扩张到13人，人才是我们重要的优势。

工程方面，我们拥有6个IOI国际信息学奥赛金牌获得者，超过AI工程师Devin的幕后公司cognition AI （5个金牌获得者，10个金牌），一共有9块国际奥赛金牌，3个 IOI世界第一，2个putnam fellow （美国大学最高的数学奖项）。创始团队Demi Guo是IOI银牌，美国队十几年来唯一的女国家队队员。

科研方面，创始人孟辰霖是DDIM、Img2Img、Model Distillation作者，这些方法能将扩散模型推理速度，提高几十到上百倍不等。

谷歌视频大模型Lumiere项目一作Omer Bar-Tal，在sora发布第2周选择加入Pika。

斯坦福AI实验室主任Chris Manning，最有名的扩散模型研究教授之一Stefano Ermon，两次奥斯卡获得者、参与过加勒比海盗、星球大战等电影特效制作的Ron Fedkiw，都是Pika公司顾问团队。

我们目前open to 不同背景聪明人，base不限，不论是数据、系统、模型算法研究、应用算法研究等方面的人才，都非常欢迎。

机器之心：2024年2月份，OpenAI推出Sora，改变视频生成赛道格局，你们怎么看待Sora？

Pika：对Sora，我觉得大家第一眼看上去，觉得印象特别好，从来没有见过这样视频生成质量。

我们仔细分析了一下，它并不是非常novel新颖的东西，包括模型、算法、结构，都是现有的。

对于它的结果，效果更好，告诉我们一个道理：用更多机器、更多数据，暴力Scale up，可以达到更好效果。

在此之前，可能大部分人在说，我要不断提高算法，调优模型，大家低估了Scaling up重要性。这个对大家来说，是非常积极的信号，等于告诉大家，只要用相同数量的卡、相同好的数据，理论就可以达到Sora效果。

机器之心：你们会怎么理解自己跟Sora之间差距？

Pika：我感觉是，Sora is not hard to beat，只是说scaling很重要。

机器之心：对于Sora而备受关注的DIT架构，你们会觉得这就是视频生成的确定性路线吗？

Pika：我们认为还没有到DIT，就是确定性路线的时候。这是很开放的问题，或者换句话说，我认为以目前视频生成的行业阶段看，还没有到说一种架构，一定能够比另一种架构有更清晰优势的时候，我觉得格局没有发生本质改变。

机器之心：你们用的不是DIT架构？

Pika：我们内部会有不同方向探索，细节不便透露。我们考虑这个问题，角度不会单一，我们需要从系统性方面衡量这个问题。

科研上，我们会对结构效率做进一步研究，这也是未来潜在研究方向。目前我认为，重要的点，一是可控性，其次是效率问题，这是容易被忽略的，任何结构它需要将效率摆在第一位。

机器之心：效率具体指的是，训练还是推理，还是一起？

Pika：指的是用户使用成本效率，基本可以等同于推理效率，训练效率包括其中，也很重要。

机器之心：有观点认为，Sora效果，一部分需要归功于背后调用自己GPT系列模型去做用户语言理解，这个方面Pika怎么看？

Pika：文字理解的准确性，非常重要，但是否调用GPT系列模型，这个在视频生成赛道不构成竞争点。

市面上也有很多开源或闭源模型，可以实现跟它差不多效果。

竞争看，OpenAI在视频生成上拥有的所有东西，都不是绝对性的优势。

机器之心：这轮融资里，是否有投资人问，跟OpenAI相比，你们公司一些优势是什么？你们是怎么想的？

Pika：我们跟OpenAI有差异，我们目标不是做AGI，而是做服务创作者的产品，这是本质区别，我们目标是帮助大家实现自己创意。

视频生成模型上，我们之间有相似性，我们认为自己不会让步。我们肯定要对标、超越，在产品上做自己的努力。

机器之心：对标、超过Sora，会有一个大概时间表吗？

Pika：Later this year，2024年晚些时候。

Pika路径：Smart、高效、Not only text based

机器之心：如果你们要实现更好效果，意味着要去做更大Scaling？

Pika：Scaling是有上限的，我们不可能一下子从几百张卡scale到几万张卡，这个很不现实。

GPU本身在内存等硬件方面，也都有上限。如果说大家scale到一定程度，是无法一直scale下去，接下来需要看大家其他方面技术实力。

如果我们参考OpenAI与Anthropic，我们会发现，OpenAI资源最多、数据最多，这并不妨碍别人用更加smart方法，用稍微少一点数据达到更好效果。

机器之心：sora出现后，你们有去买更多卡吗？

Pika：我们有非常多的卡，目前为止，我们的卡非常充足。

机器之心：现在你们想要做的更好，采取的方法是什么？

Pika：我们内部有一套自己方法，非常重视研究与创新，我们文化是重视大家智慧，要把东西做到最Smart。我们核心点是要用非常前沿与可靠的算法，打造我们模型，让它能够做到，第一非常Scalable、第二可以以小胜大，用更少一点资源，得到更好效果。

机器之心：具体在视频生成，你们会怎么做，实现以小胜大，有明确技术方法吗？

Pika：我们有明确技术方法实现它，我可以分享一下high level的想法：

视频是一种高维数据，比如说对每秒24帧的1080P视频，分辨率是1920×1080，这个数据每秒维度是：1920×1080×3×24=155,520,000。

这个维度非常大，对于AI来说处理起来非常困难。如果说再乘上时间，60秒，就更大，这个维度非常高。

AI中大家都知道维度诅咒curse of dimensionality，指随着数据维度增加，数据变得越来越稀疏，导致模型训练与预测变得更加困难，就是说维度越高，需要的数据量越大。

随着1080P视频时间增加，需要的数据量会指数增长，视频中每一帧都包括大量信息，随着时间推移，帧的数量也会增加，导致所需数据量指数级别增加。

现实中，这是不切实际的。一个高清视频，视频越长，存在的数量越少，这是非常有趣的dilemma困境。

好处在于，视频有点像低维流形 low dimensional manifold，一种数学概念，指维度较低的特殊空间结构，嵌入在高维空间中，也就是说它每一个维度相互关联。

比如，我们想生成一个人在路上走路10秒的视频。我们只需要知道第一个帧信息，比如这个人走路背景、穿着等细节，后面的帧就不再需要完整画面，可能只需要一些很小信息，比如这个人走路姿势、或者说是背景当中汽车在移动。

这个是我们这边一个insight，有一种成功的算法，可以让这个高维数据投影到低维空间。用这个方法，首先可以绕过the curse of dimensionality，其次可以让生成视频的效果变得更好，以及由于维度变低，训练模型的效率与成本大大降低。

这是我们花了很多精力的一种高效架构与数据压缩方法，这种算法能够去掉90%冗余信息，帮助降低数据维度。

比如原本有几百页文档，经过处理后，现在需要处理数据只有几十万，大大节省算力。这是一种更加紧凑的表达方式，维度越大，需要的参数越多，难度更大，我们使用这个方法，所需要的参数应该是比较低的，不管是从数据效率、训练效率、推理效率上，都实现了更加高效。

机器之心：这个算法的底层思路可能是怎样的？

Pika：本质上，我们是希望让我们模型能够像人类一样思考。

比如说人看这个视频，可能只需要很少信息，第一比如只需要第一帧中这个人背景、周围环境、穿着等各方面细节。第二，可能需要一个动作引导，比如这个人是以这样姿态、这样速度在走路。

我们发现的一个情况是，应用场景下，市场上有很多文生视频Text to video，真正运用起来没人在乎是不是Text to video，核心是大家更希望能够生成一个能够可控的视频。

比如有人说想生成一个人以这样姿势走路，很难用语言描述，如果给他提供一个引导，比如一个参考视频，说这人是这样姿势走路。或者说，希望这人穿这样衣服，也不知道怎么描述，可能就给他提供第一帧。

我们想建立一个模型，让它能够像人类一样思考，我们想超越文本的交互形式，让人类可以很好控制它。

当我们能够把运动先验motion prior（表示对常见运动模式或行为的先验理解，这些先验信息可以帮助模型更好理解与预测视频中运动）、图像先验image prior嵌入到我们模型里，这个模型自然可以更好理解人类，会学到更好的连续表示。

机器之心：你意思是，可能更高效的视频生成指令，不一定是text这种形式？

Pika：是的，我们发现用户不在乎是不是text to video。我们也发现，text based会让我们模型受到更多约束。我们打算用来自不同形式的先验Prior，比如运动、风格，去帮助用户表达，这也体现我们比较以用户为中心的理念。

机器之心：我看你们已经上线style、lipstick这些组件，之后会拓展更多类似这样的组件吗？

Pika：对，这样能够反过来使我们模型更能像人类一样思考。主要就是，这些动作或者信息，它是很难用语言描述，像我们该怎么去告诉AI，说我希望它的嘴唇是怎么运动，很难。我们采用Prior形式，它是有效的，之后我们还会有更多这方面更新。

机器之心：你们之前提到过，产品最终目标是希望做interface for creator，听起来这些组件像是对这个界面的完善。

Pika：我们把interface理解成人与机器交流的语言，人与机器不能直接交流，经过训练后的interface，可以让人向机器传达想法。

这个界面可以让系统串联起来，为目标服务，我们产品会解释模型，模型促进产品实现。我们不会局限一种表达方式，如果用户需要一种应用，我们就会调整模型，调整表达方式，推荐给用户。

我们跟自己用户走的很近，像今天上线的style、lipstick，都是在充分吸收用户建议后上线的。

视频生成行业仍在70分阶段，可用性还没有得到本质解决

机器之心：开年以来，大家一直在说，2024年是视频生成的爆发之年，你们认同吗？

Pika：关注度讲，是认同的。sora发布之后，得到很多关注。我觉得OpenAI产品发布，让更多人认识到这样一个领域存在，也是一件非常好的事情，行业知名度是爆发的。

技术上讲，是否是2024年爆发，很难预测。各家都在做努力，我们相信量变会引起质变。

应用上看，我认为现在有点像LLM领域ChatGPT出现之前的火爆，比如GPT-3出现的时候，大家也是很兴奋，它没有一个很好落地场景，现在视频生成也在这个阶段，可能还是需要在模型迭代之后，更多人用起来，大家实现观念上转变，这个可能是一个真正的爆发。

就像我们已经习惯掏出手机，用一些应用修图，未来几年，我们可以相信，生成与编辑视频，也是跟现在用手机P图一样简单。

我相信就是在未来的一个时刻，肯定视频这样一个模态，是会有它非常重要的使用场景，我相信它是可以实现一个真正的爆发，可能未必是2024年会有一个非常确定的一个时间线。

机器之心：如果说，评价视频生成行业技术阶段，从不成熟到成熟对应0-100分，你认为行业现在处于几分？

Pika：我认为是70分左右，拿Sora来讲，现在它更多是概念验证产品，没有真正解决问题。

我们从别人分享的使用过程里看到，比如当时有个关于气球的生成视频，作者写了一篇很长帖子，讲它的历史表现不是特别好，可能要试几百个视频，才能实现生成满意的视频，如果直接生成高清视频，分辨率非常低，他们可能是生成一个低清的，再用人工的超分辨率方法，做超分辨率处理后放上去。

它的效率非常低，需要很长时间，12 分钟才能做出一个成品，这个距离真正能够毫无压力商用，还是有一定差距，我认为整个行业差不多在 60~70 分左右范围。

机器之心：在60~70分阶段，要迈向100分，可能中间比较重要的待解决问题是什么？

Pika：第一是准确性，怎么可以把用户意图准确表达出来；第二是可控性，怎么按照用户意图对视频进行控制，你可以看到现在即使在图片领域，也没有做的很好；其次是效率问题，怎样迅速生成视频。

机器之心：那在这几个方面，你们会横向去对比其他公司吗？标准可能是怎样的？

Pika：我感觉就是这个行业可能就像我说的，大家都差不多60~70分，可能现在有些人稍微领先有,1~2分，大家都没有本质解决这些问题。

现在的这个对比，不是特别有价值。最核心的可用性方面，以及刚刚提到几个点，都还没有得到本质解决。现在谈一些很细致的对比，没有特别大意义。

尤其是从用户层面，可能从技术层面，可以提出各种各样指标来评价一个模型好坏。我们想我们公司想做的，不仅只是停留在技术层面。

我们希望AI是真的能为Creator所用，希望用户觉得这是可以使用的产品。这个角度看，我认为，目前阶段可能还是在内部把模型与产品打磨更加完善，才是第一要义。

机器之心：像这些问题，会scaling而逐步解决吗？

Pika：可控性这个点，以后不会仅停留在文本控制生成视频层面，会需要更加精细控制。这也不是只做Scale就可以解决的，就像Sora也有可控性问题。

这个可能不能仅从AGI角度看，而是要从真正产品角度想。我们新发布的很多功能，基本都是从实际用例出发，而不是仅从模型进展。

机器之心：Pika在这几个问题上思路与优势是什么？

Pika：我们团队非常有优势，团队很多成员有对应专业背景，他们很多工作，也是当前这个领域最核心的一些相关工作之一。

具体到在可控性方面也是，我们有一部分成员，之前就是专业做这方面研究，他们的论文也是这个领域。

基础模型上，我们既有资深的人，也有新生代有想法的人。这些方面的问题，我们从人才上看，是非常有信心攻克。

可控性的具体思路，我们之前谈到，丰富与拓展更多元的交互方式，就是模拟人思考的过程，这种方法也是增强可控性的有效手段。

更细节的思路，可能2024年底之前，我们会有产品出来，在用户交互界面上有一个比较大的升级，到那时我们可以全部公布。

将更aggressive做视频大模型

机器之心：2023年底的时候，你们立过一个flag，希望2024年技术能够达到商业上的标准，这个标准是什么？进度如何？

Pika：我觉得这个领域，还有很多东西没有定义。未来AI到底是怎么样？用户到底该怎么跟AI模型做交互，交互方式还是待定义。我们希望自己可以去参与定义这个商业板块，希望我们能在2024年取得进展。

这个标准，我认为可能也不仅是技术上标准，不仅是说模型生成的分辨率有多高、或者说效果有多好，最终还是要回到用户可用性有多强。

机器之心：对于产品力，你们怎么构建它？

Pika：我们是想做最好的模型，不仅是做视频模型，而是想做最有用的视频模型，这个就是我们所认为的产品力。

我们不仅是要做一个技术载体，比如技术极客之类会感兴趣，更重要是做一个有用的视频模型，不一定是技术上最强势，给到创作者，你能够去编辑视频、定义场景与人物，不仅能用文字、还能用声音、视频、图片交互。让这个用户能够真正意义上，控制这个视频生成与编辑。

机器之心：现阶段，像模型能力提升与产品力提升，对你们来说，这两件事哪件是更重要？

Pika：模型是产品基石，我们对界面定义，也是需要基于成功的模型，我觉得可能模型研发，目前是稍微更重要的一点的。

机器之心：模型层面提升上，哪些性能是最关注的？

Pika：还是回到那三点，准确性、可控性、效率。

机器之心：时长会是一个重点吗？

Pika：时长会是一个重点，我们下一个新版本中，我们会做提升，提升多少，我们现在还无法公布。

机器之心：我看到你们说，自己会更aggressive去做模型层面研究与工程，这具体会表现在？

Pika：第一加大力度招人，另外就是现在团队会往这方面倾注更多精力。

机器之心：目前商业化上探索情况，怎样？

Pika：我们现在已经在赚钱，主要来自C端订阅费用，B端，我们会跟一些演唱会或者企业在创意上合作，也会对外提供API，目前都在探索路上。

【长期主义】栏目每周六、与长假更新，分以下系列：

宏观说：全球各大国政要、商业领袖等

社会说：比尔·盖茨等

成长说：洛克菲勒、卡内基等

科学说：历年诺奖获得者、腾讯科学WE大会等

科技说：马斯克、贝索斯、拉里·佩奇/谢尔盖·布林、扎克伯格、黄仁勋、Vitalik Buterin、Brian Armstorng、Jack Dorsey、孙正义、华为、马化腾、张小龙、张一鸣、王兴等

投资说：巴菲特、芒格、Baillie Giffrod、霍华德·马克斯、彼得·蒂尔、马克·安德森、凯瑟琳·伍德等

管理说：任正非、稻盛和夫等

能源说：曾毓群等

汽车说：李想、何小鹏、王传福、魏建军、李书福等

智能说：DeepMind、OpenAI等

元宇宙说：Meta/Facebk、苹果、微软、英伟达、迪士尼、腾讯、字节跳动、EpicGames、Roblox、哔哩哔哩/B站等

星际说：中国国家航天局、NASA、历年国际宇航大会，SpaceX、Starlink、蓝色起源、维珍银河等

军事说：全球主要航空航天展等

消费说：亚马逊、沃尔玛、阿里、京东、拼多多、美团、东方甄选等

每个系列聚焦各领域全球顶尖高手、产业领军人物，搜集整理他们的致股东信、公开演讲/交流、媒体采访等一手信息，一起学习经典，汲取思想养分，做时间的朋友，做长期主义者。

幸福双城资讯网

【长期主义】第286期智能说：苹果AI史诗级升级，Pika专访纪要

科技有六合