百度世界大会剧透:如何在上万张照片中1秒找到你的“人生封面”?

Oneline科技 2023-10-06 11:01:09

国庆小长假即将进入尾声,不少出游者拍摄的几百上千张“打卡照”几乎占满手机内存,想凑个九宫格当一回“朋友圈王者”时,却犯起了愁:

“我国庆当天和孩子看升旗的照片在哪?”,“故地重游,我两年前带小狗在海边的照片呢?”,“我在大熊猫基地看小熊猫的视频怎么翻不到了?”……. 脑子里能想到那张照片、那段视频,手机里却翻不到、搜不着,甚至显示“无结果”。这样的搜索难题也存在于日常生活之中。但如果你把照片存入百度网盘,这件事就变得非常容易。

据了解,“百度世界2023”将于10月17日在北京首钢园召开,作为下半年最值得期待的科技大会,李彦宏将现场演示百度基于文心大模型所重构的一系列AI原生应用,这其中的一大亮点就是百度网盘。

(“百度世界2023”将展示多个AI原生应用)

现在,当你使用结合大模型升级的百度网盘,再次搜索小狗照片时,不仅能找到「幼年期小狗」、「樱花树下的狗」,甚至能理解包含日期、位置等复杂信息的指令,直接找到「2019年我和小狗在海边的合影」。

(百度网盘可理解复杂指令,并准确搜索照片)

何为智能搜索?简单来说,就是能理解包含时间、地点、人物、事件等诸多要素的组合搜索语句,用户脑子里怎么想,就怎么搜。以搜索单个词汇为例,输入“比耶”、“挤眉弄眼”、甚至是“修狗”这样的网络热词,百度网盘都可以秒懂。在单个词汇之外,当我们输入“春日阳光下的女生”这类长句复杂指令,也可搜索到相关图片,甚至是视频。在人类已经能和AI流畅对话的今天,百度网盘让找照片、视频等文件不再是个费力的“提示词工程”。用户和网盘聊聊天,给一个“prompt”,就能快速找到自己网盘世界里的一切,这也与本次百度世界大会的主题“PROMPT THE WORLD”不谋而合。

(“比耶”、“挤眉弄眼”、“修狗”,均可准确搜索)

想要打造优质的用户体验,就要解决传统图片搜索“搜不到、搜不准、搜不快、搜索方式单一”四大问题。搜不到,简单来说主要是内置搜索引擎没有真正将图片和文字之间的“含义”关联起来,换言之就是“文不对图”。百度网盘通过海量图片和文本数据,对文心的多模态大模型VIMER-ViLP进行了训练,实现基于向量的语义搜索,同时由于中文数据更多,搜特殊中文名词也会更准确,例如,在博物馆内拍摄的文物“中华第一龙”,网盘也能直接理解搜索词并准确找到。

(理解特殊中文名(理解特殊中文名词,准确搜索)

解决“搜不准”的问题上,百度网盘基于语义理解实现了组合查询,也就是用AI将输入文本和照片拍摄数据进行对应,相当于做了个翻译。例如输入“前年”,语义理解就会自动提供2021年拍摄的所有照片。

而“搜不快”,主要是由于图片建立索引、查询使用大模型都会消耗大量算力及成本。因此在索引上,百度网盘通过端云融合的语义检索系统,可以首先用云端算力进行向量计算,再用终端设备部署本地索引并检索。在算力上,开发了一套统一管理CPU、GPU等异构资源的调度系统,充分利用“闲置”资源来计算云盘上的数据。这样一来,即使你的网盘中珍藏了10万张照片,搜索用时也在毫秒级——不到1秒就能找到想要的图像。

为了让搜索体验更加多样化,百度网盘还引入了以图搜图、OCR和视频检索等AI技术,搜到想要的图形后,还可找全网相似图、链接百科、甚至识别并提取图片中的文字。

其实,智能搜图、搜视频,只是百度网盘变革的开始。如今在大模型加持下,网盘具备的AI和数据处理能力被彻底激发出来,将彻底成为用户的智能助理。百度网盘“云一朵”,便是国内首个基于大模型打造的网盘智能助理,在前不久面向大众开放使用后,截止9月初累积使用人数已经超过600万,而未来,诸如智能搜图搜视频、对文档进行知识总结、翻译、甚至是二次内容创作,都可以通过“云一朵”来完成。

(“百度网盘云一朵”为视频添加字幕、提炼标题)

大模型的加持,让网盘不再是一个“存储工具”,而是朝着人类“第二大脑”的方向演变,新百度网盘,也将用AI再度定义网盘行业。据了解,百度世界2023现场,李彦宏也将“手把手教你做AI原生应用”,不仅会分享“百度网盘云一朵”的最新进展,还将展示百度如何重构地图、如流、文库、搜索等一系列AI原生应用,与每一个用户、开发者、企业伙伴,共同“生成未来”。

0 阅读:1

Oneline科技

简介:随便写写