在数字化时代，图像编辑已成为创作表达的重要手段。但你是否曾在编辑图片时感到束手无策，因为不知道如何描述你想要的效果？现在，一项新的技术：MimicBrush，正为图像编辑带来不一样的体验。
零样本学习，释放创意潜能由香港大学、阿里巴巴集团和蚂蚁集团的研究人员共同开发的MimicBrush，是一种基于零样本学习的图像编辑技术。它允许用户通过简单的操作——指定要编辑的区域，并提供一张展示期望效果的参考图像——来实现创意编辑。MimicBrush能够自动捕捉源图像和参考图像之间的语义对应关系，以前馈网络的方式完成编辑任务。
自监督学习，智能捕捉对应关系MimicBrush的核心在于其自监督学习框架。它通过从视频片段中随机选取两帧，对其中一帧的特定区域进行遮罩，然后利用另一帧的信息来恢复这些遮罩区域。这一过程无需额外的文本或跟踪注释，完全依赖于视频数据的一致性和变化性，使得模型能够自我学习并捕捉到不同图像间的对应关系。
双扩散UNets，精细编辑更自然MimicBrush采用了双扩散UNets结构，分别处理源图像和参考图像。这种结构不仅能够提取图像的深层特征，还能够在编辑过程中保持与源图像背景的自然融合。无论是产品外观设计、角色造型定制，还是特效制作，MimicBrush都能够提供高质量的编辑结果。
构建基准，推动技术发展为了系统评估MimicBrush的性能，研究人员构建了一个专门的基准测试，包括部分组合和纹理传输两大任务。这一基准不仅为MimicBrush提供了全面的测试平台，也为未来图像编辑技术的发展奠定了基础。
MimicBrush技术降低了创意实现的门槛，让每个人都能够轻松地将想象变为现实。随着技术的不断进步，未来的图像编辑将更加智能化、个性化。
项目链接：https://github.com/ali-vilab/MimicBrush
体验链接：https://huggingface.co/spaces/xichenhku/MimicBrush
