《银行科技研究社》消息：5月17日，微众银行申请的一项名为“问答优化方法、装置、设备、存储介质及产品”的专利公布。其申请于2024年3月5日，目前状态为“实质审查的生效”，涉及金融科技/人工智能技术领域。

摘要显示，方法应用于第一设备，第一设备上部署有待训练的答案预测模型；问答优化方法包括以下步骤：获取训练初始提示词以及第一目标答案；对训练初始提示词进行扰动处理，得到训练扰动提示词；将训练扰动提示词发送至第二设备，以供第二设备通过己方部署的大模型生成训练扰动提示词对应的训练扰动答案；接收第二设备返回的训练扰动答案，将训练扰动答案以及训练初始提示词输入答案预测模型，得到训练预测答案；基于训练预测答案和第一目标答案之间的差异，对答案预测模型进行迭代更新。

其中，第一目标答案由第二设备上部署的大模型基于训练初始提示词生成。

以下是一些步骤的进一步分解：

第一设备上部署有编码器、词嵌入模型。因此，对训练初始提示词进行扰动处理，得到训练扰动提示词的步骤包括：通过编码器对训练初始提示词进行扰动处理，得到训练扰动提示词；通过词嵌入模型将训练初始提示词转换为训练初始提示词嵌入，对训练初始提示词嵌入进行扰动处理，得到训练扰动提示词。

而基于训练预测答案和第一目标答案之间的差异，对答案预测模型进行迭代更新的步骤包括：基于训练预测答案和第一目标答案之间的差异，确定预测损失；基于预测损失对答案预测模型以及编码器进行迭代更新。

基于预测损失对答案预测模型以及编码器进行迭代更新的步骤包括：计算预测损失对答案预测模型的第一梯度以及预测损失对编码器的第二梯度；对第二梯度进行差分隐私处理，得到第三梯度；基于第一梯度对答案预测模型进行迭代更新，并基于第三梯度对编码器进行迭代更新。

其中，对第二梯度进行差分隐私处理，得到第三梯度的步骤包括：生成服从预设概率分布的噪声数据，其中，噪声数据中各元素与第二梯度中各元素一一对应；将噪声数据与第二梯度相加，得到第三梯度。

另外，将训练扰动答案以及训练初始提示词输入答案预测模型，得到训练预测答案的步骤包括：通过答案预测模型，基于训练初始提示词，对训练扰动答案进行解码，得到训练预测答案。

权利要求书还提到，方法应用于第三设备，第三设备上部署有训练好的答案预测模型；问答优化方法包括以下步骤：获取待推理初始提示词，对待推理初始提示词进行扰动处理，得到待推理扰动提示词；将待推理扰动提示词发送至第二设备，以供第二设备通过己方部署的大模型生成待推理扰动提示词对应的推理扰动答案；接收第二设备返回的推理扰动答案，将推理扰动答案以及待推理初始提示词输入答案预测模型，对大模型基于待推理初始提示词生成的第二目标答案进行预测，得到预测答案。

说明书提到该发明的背景为，随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术（如分布式、人工智能等）应用在金融领域，但金融业也对技术提出了更高的要求。

大模型的诞生，带来了技术的变革，也给各行各业带来了机遇。然而，功能强大的大模型，比如ChatGPT（Chat Generative Pretrained Transformer，聊天生成预训练转换器），通常是部署在云服务器上。用户需要将自己的提示词发给云服务器，从而利用部署在云服务器上的大模型进行推理。然而，提示词中可能包含有用户的隐私信息，这些隐私信息可能会在通讯传输和推理过程中被窃取，因此存在较高的隐私泄露风险。

目前，大模型推理阶段的隐私保护技术主要基于加密技术，比如多方安全计算和同态加密技术等。然而这些加密技术要么计算量庞大，要么需要进行多次数据传输，不论何种，都会导致推理效率显著降低，这导致现阶段基于加密技术的大模型推理隐私保护还不能落地。另一种大模型推理阶段的隐私保护技术是噪音扰动技术，但噪音扰动技术会导致大模型推理性能大幅度降低，最终得到的推理结果无法满足用户需求。

因此，需要一个解决方案在保证大模型用户的隐私能够得到有效保护的同时，使得大模型推理性能能够满足用户的需求。

该发明则旨在解决现有技术利用大模型进行推理的过程中隐私泄露风险较高的技术问题。