作者 | Lucien
由于行业特殊性，金融机构在业务创新和技术应用过程中受到政策监管、数据隐私保护等诸多外部因素的限制。进入 AI 时代，如何在约束条件下，加速大模型等技术在 ToC 业务场景的落地和应用，并且在技术上不做牺牲处理是一个极具挑战的工作。在 2024 年 6 月 14-15 日深圳 ArchSummit 全球架构师峰会上，我们邀请到了平安壹钱包用户研发部技术负责人王良老师进行分享，他将基于平安集团旗下互联网金融支付公司壹钱包已落地的业务场景，介绍 RAG 向量检索 + 知识库 + 标注平台等技术的实战经验，以及应用立项审批、合规监管审批、业务线选择等技术之外的经验。
在会议召开前，我们对王老师进行了预热采访，探讨其团队在大模型应用方面的探索与落地情况，希望让大家能够提前了解其大会演讲内容亮点。
InfoQ：作为平安壹钱包技术负责人，您在不同领域的技术工作经历非常丰富，从客户端开发到大前端再到后台研发及架构管理，最近又转入大数据研发部门，您觉得这些不同领域的经历如何影响了您的技术视角和解决问题的能力？
王良：我是从 Android 开发入行的，工作投入时间比较长，深入了解了用户界面的 UI 还原和交互逻辑，学会了如何优化用户体验和响应速度，让我对底层的技术原理有了更深入的理解，比如内存管理、性能优化等。这段经历让我更加注重从用户的角度出发，思考技术的实际应用和价值，为我在后续领域的工作打下了坚实的基础。
随着公司的发展，团队从最初的 Android 组，融合了 iOS 开发变成 App 客户端团队，再到后来，又融合了前端 JS、React Native 团队，再后来又补充了小程序、快应用、鸿蒙等技术栈，升级为大前端团队，在这个壮大的过程中，我开始关注跨平台、跨浏览器的兼容性问题，以及如何构建高效、可维护的前端架构。
大前端的工作让我学会了如何在复杂的技术环境中保持代码的健壮性和可扩展性。也开始接触到前后端的数据交互和协作，对前后端分离的开发模式有了更深入的认识。在后台研发阶段，我深入了解了服务器的架构、数据库的设计和优化、高并发处理等关键技术。这段经历让我更加关注系统的稳定性和安全性，学会了如何在复杂的业务场景中保证数据的准确性和一致性。
程序员是一个需要持续学习的工作，拥有不同领域的技术工作经历是非常宝贵的，每一个领域都有其独特的挑战和解决方案，它能够帮助程序员获得更全面的技术视角和解决问题的能力，更具备跨领域思考和解决问题的能力，随着技术栈和工作经验的提升，解决问题的能力从前期局限于用技术方案完成业务方的诉求，到参与产品规划的初期阶段，在需求规划阶段，就可以给出指导性的技术意见，帮助业务方在快速上线、节省人力成本上，提供专业的技术支持。因为除了技术实现上的方案，同时还要考虑业务因素和成本因素，同一个需求，用什么技术栈解决最合适，比如监管比较严格的业务变动频繁，更适合 RN、H5 这类方便更新的技术栈。一些稳定业务注重体验的可以投入 Android 和 iOS 两个端一起开发。而且用前端完成一个需求需要的人力是 App 客户端的一半。因为 Android 和 iOS 各需要一个开发人力。这种扎根于技术，又突破技术视角的思考方式，使我在工作中进步较大。给团队带来的收益也较大。
InfoQ：您在演讲中提到了基于 RAG 向量检索 + 知识库 + 标注平台等技术的实战经验，这些技术方案是如何应用在平安壹钱包的业务场景中的？能否分享一些具体的案例或者成效？
王良：其实公司和我个人对大模型 AI 领域都是很有兴趣的，一直想尝试用在公司的某些场景中，平安集团在去年举办了 AI 大模型相关的比赛。针对风控、办公、销售运营、等多个领域在全国多个子公司进行公开的创新应用评比。壹钱包的这个项目也是在参赛过程中，与不同公司不同团队的交流学习后，定下来的一个方向。
壹钱包属于互联网金融行业，受到监管的力度较大，想做一个大而全的产品在数据私密性上以及法律合规上挑战较大，而 RAG+ 知识库刚好合适，它既能用到大模型的能力，又能明确输入和输出的范围边界。对于数据隐私合规的管理，和输出内容的把控都能兼顾到。
我们在企业微信上有海量的客户资源，但是运营人员的响应能力有限，无法展开企微端的营销能力。一开始我们挑选了单个业务的营销场景，在训练了这个业务的知识库后，上线了企微端的营销能力，在首个业务场景看到效果之后，很多业务方都很有兴趣借助 RAG 的能力为自己的业务赋能，考虑到后续不同业务的知识库和标注都需要隔离开。我们就上线了一个标注平台。标注平台开放给业务部门主要解决了测试案例库、提示词调整、模型的回归等团队人力协作问题，让业务团队参与到项目中，加速了迭代周期，提升了准确性。
目前这个项目以及为公司培养了大量的标注人才。算是一个意外收获。
InfoQ：在处理私域大模型技术 ToC 端全流程架构时，您遇到了哪些挑战？在解决这些挑战的过程中，您采取了怎样的策略和方法？
王良：最头疼的挑战并不来自于技术层面，一开始难点在于选择业务落地场景，得到业务方的支持，这点在最初通过宣讲的方式并没有获得到业务方资源投入的支持，没有业务方愿意参与，技术无法唱独角戏。所以我们用参赛项目，改成了一个介绍公司的企业文化、入职培训、合同条规、等问答库，让公司全员参与体验，在体验后再加上我们的游说，逐渐认可了 RAG+ 知识库的可行性，争取到了第一个业务团队。
接下来的挑战来自于法律合规，因为国家对 ToC 的大模型需要报备审批通过，这部分工作对于全平安集团都是未知的，我们采取的是技术先行，在数据保护以及拒答库上做好应对方案，安排专人主动与监管部门进行沟通，积极配合提供材料。
InfoQ：对于私有化部署方案，您是如何保证数据的安全性和隐私性的？在政策监管的情况下，您又是如何应对技术逐梦与落地实践的？
王良：最基础的几点：1 访问权限管理，2 数据加密，3 物理隔离，4 数据脱敏和匿名化，5 差分隐私，6 同态加密，7 内网部署等。
私有化部署本身就是为数据安全性和隐私性服务的。唯一暴露在外的数据传输过程中，保证加密通道的可信度，就能极大的提高安全和隐私性。
技术往往走在监管前边，监管政策不会对一个不存在的事物进行约束，通常都是先有了新鲜事物，现有的约束规则无法覆盖到，才会颁布新的监管政策，要想逐梦，就需要先人一步，等行业内同类产品都遍地开花，就谈不上逐梦了，最多算技术上的追随。要有拼搏探索的精神，对于未知的新鲜事物要敢于尝试。当然也要持续的学习前沿技术，必须有能力将项目落地，才能有技术逐梦的可能性。
InfoQ：您提到了标注平台的建设和标注内容的介绍，这在 AI 落地工具生态链中扮演了怎样的角色？在标注平台建设过程中，您最大的挑战是什么，又是如何解决的？
王良：标注平台将业务方也加入到了项目建设中，仅靠开发人员是无法完成一个 RAG 项目上线的，知识库内容需要深入了解的一线人员进行标注，对于新提示词调整、知识库调整，模型验证、模型回归、测试案例库的丰富完善，等更适合提供知识库的业务方参与进来一起建设。
这样能提高模型结果的稳定性，以及提高项目迭代的速度。为公司培养更多的大模型标注人才。同时，标注平台在加快不同业务的上线时间周期以及知识库分离上起到了关键作用。
这个过程比较顺利，在最初稍微有瓶颈的在于业务人员参与标注平台的学习成本较高，前期需要培训他们对标注工作的理解和使用，这部分我们花了较多的时间，目前已经形成文档和指引手册，新成员的学习培训周期已经非常乐观了。
InfoQ：在演讲中，您还提到了政策监管下的技术逐梦与落地实践心得，您认为在金融银行类的行业中，技术创新与政策监管之间如何取得平衡？
王良：监管政策是红线，无法逾越，首先要熟悉相关的法律条规先初步评估一下方案可行性，再询问一下公司的法务意见，一般法务都比较保守，我的经验是，只要法务没有明令禁止，就可以先琢磨起来，如果国内外有成功案例和经验最好，没有的话尽量寻找技术前沿的圈子，进行讨论，如极客帮的闭门圆桌会，鲲鹏会等。
技术创新与监管政策很难得到一个稳定的平衡，要想两者接近于平衡需要同时具备较高的法律法务相关专业素养以及前沿技术能力，这样的人才是非常稀缺的，我观察到技术创新往往走在监管政策之前，如网约车、无人机、大模型等，作为一名技术人，我个人建议还是多关注前沿技术，提升自身的专业能力，以便更好地理解和评估技术创新的风险和收益。为法务提供判断依据，寻找到合适的平衡点。
InfoQ：在私域大模型技术的应用过程中，您对于业务线选择有怎样的思考和策略？在面对不同业务线的挑战时，您是如何处理的？
王良：在业务线都支持的理想状态下，选择项目落地需要综合考虑公司的战略目标、业务需求、技术可行性、风险控制及监管要求等因素。
对于不同的业务线，首先考虑战略契合度，要与公司整体目标吻合，再考虑业务需求，评估一下投入产出比，是否有价值，最后是落地方案的可行性，可行性包括技术和监管合规。对于有价值的需求，我们会提高优先级去支持。
如果选择决定权不在技术人手里，需要争取业务部门资源支持的话，策略就要换一下，把自己当成销售，把私域大模型当成我们手里要推销的产品，努力探索各业务方的痛点，寻找到大模型能解决的业务线，游说对方。
我们目前采取的是第二种。
InfoQ：最后，您能否分享一些在处理私域大模型技术应用过程中的心得和经验？对于其他互联网金融支付行业的技术团队，您有什么建议或者启示？
王良：在互联网金融支付行业，数据私域性高，用户交易数据、个人身份信息、支付习惯等敏感信息需要严格保护。私域大模型技术在保证数据安全、隐私的前提下，利用本地化部署的大模型进行数据分析与预测，避免直接将数据传输至第三方平台，降低数据泄露风险。
鉴于支付场景对响应速度和系统稳定性要求极高，私域大模型技术正在向模型轻量化、边缘计算方向发展。通过模型压缩、知识蒸馏等技术，简化模型结构，减少计算资源需求，使得复杂的大模型能够在移动设备、终端设备上高效运行。这样不仅降低了延迟，提高了服务质量，还进一步减少了数据传输过程中的安全隐患。
我认为，随着技术不断成熟，未来私域大模型将在互联网金融支付行业实现更深度的融合与全链路智能化。从用户注册、身份验证、交易授权、反欺诈监控、信贷审批、客户服务到市场营销等各个环节，大模型将作为核心驱动力，提供智能化解决方案，全面提升支付流程的效率与安全性。
【活动推荐】
由于行业特殊性，金融机构在业务创新和技术应用过程中受到政策监管、数据隐私保护等诸多外部因素的限制。进入 AI 时代，如何在约束条件下，加速大模型等技术在 ToC 业务场景的落地和应用，并且在技术上不做牺牲处理是一个极具挑战的工作。在 2024 年 6 月 14-15 日深圳 ArchSummit 全球架构师峰会上，我们邀请到了平安壹钱包用户研发部技术负责人王良老师进行分享，他将基于平安集团旗下互联网金融支付公司壹钱包已落地的业务场景，介绍 RAG 向量检索 + 知识库 + 标注平台等技术的实战经验，以及应用立项审批、合规监管审批、业务线选择等技术之外的经验。
在会议召开前，我们对王老师进行了预热采访，探讨其团队在大模型应用方面的探索与落地情况，希望让大家能够提前了解其大会演讲内容亮点。
InfoQ：作为平安壹钱包技术负责人，您在不同领域的技术工作经历非常丰富，从客户端开发到大前端再到后台研发及架构管理，最近又转入大数据研发部门，您觉得这些不同领域的经历如何影响了您的技术视角和解决问题的能力？
王良：我是从 Android 开发入行的，工作投入时间比较长，深入了解了用户界面的 UI 还原和交互逻辑，学会了如何优化用户体验和响应速度，让我对底层的技术原理有了更深入的理解，比如内存管理、性能优化等。这段经历让我更加注重从用户的角度出发，思考技术的实际应用和价值，为我在后续领域的工作打下了坚实的基础。
随着公司的发展，团队从最初的 Android 组，融合了 iOS 开发变成 App 客户端团队，再到后来，又融合了前端 JS、React Native 团队，再后来又补充了小程序、快应用、鸿蒙等技术栈，升级为大前端团队，在这个壮大的过程中，我开始关注跨平台、跨浏览器的兼容性问题，以及如何构建高效、可维护的前端架构。
大前端的工作让我学会了如何在复杂的技术环境中保持代码的健壮性和可扩展性。也开始接触到前后端的数据交互和协作，对前后端分离的开发模式有了更深入的认识。在后台研发阶段，我深入了解了服务器的架构、数据库的设计和优化、高并发处理等关键技术。这段经历让我更加关注系统的稳定性和安全性，学会了如何在复杂的业务场景中保证数据的准确性和一致性。
程序员是一个需要持续学习的工作，拥有不同领域的技术工作经历是非常宝贵的，每一个领域都有其独特的挑战和解决方案，它能够帮助程序员获得更全面的技术视角和解决问题的能力，更具备跨领域思考和解决问题的能力，随着技术栈和工作经验的提升，解决问题的能力从前期局限于用技术方案完成业务方的诉求，到参与产品规划的初期阶段，在需求规划阶段，就可以给出指导性的技术意见，帮助业务方在快速上线、节省人力成本上，提供专业的技术支持。因为除了技术实现上的方案，同时还要考虑业务因素和成本因素，同一个需求，用什么技术栈解决最合适，比如监管比较严格的业务变动频繁，更适合 RN、H5 这类方便更新的技术栈。一些稳定业务注重体验的可以投入 Android 和 iOS 两个端一起开发。而且用前端完成一个需求需要的人力是 App 客户端的一半。因为 Android 和 iOS 各需要一个开发人力。这种扎根于技术，又突破技术视角的思考方式，使我在工作中进步较大。给团队带来的收益也较大。
InfoQ：您在演讲中提到了基于 RAG 向量检索 + 知识库 + 标注平台等技术的实战经验，这些技术方案是如何应用在平安壹钱包的业务场景中的？能否分享一些具体的案例或者成效？
王良：其实公司和我个人对大模型 AI 领域都是很有兴趣的，一直想尝试用在公司的某些场景中，平安集团在去年举办了 AI 大模型相关的比赛。针对风控、办公、销售运营、等多个领域在全国多个子公司进行公开的创新应用评比。壹钱包的这个项目也是在参赛过程中，与不同公司不同团队的交流学习后，定下来的一个方向。
壹钱包属于互联网金融行业，受到监管的力度较大，想做一个大而全的产品在数据私密性上以及法律合规上挑战较大，而 RAG+ 知识库刚好合适，它既能用到大模型的能力，又能明确输入和输出的范围边界。对于数据隐私合规的管理，和输出内容的把控都能兼顾到。
我们在企业微信上有海量的客户资源，但是运营人员的响应能力有限，无法展开企微端的营销能力。一开始我们挑选了单个业务的营销场景，在训练了这个业务的知识库后，上线了企微端的营销能力，在首个业务场景看到效果之后，很多业务方都很有兴趣借助 RAG 的能力为自己的业务赋能，考虑到后续不同业务的知识库和标注都需要隔离开。我们就上线了一个标注平台。标注平台开放给业务部门主要解决了测试案例库、提示词调整、模型的回归等团队人力协作问题，让业务团队参与到项目中，加速了迭代周期，提升了准确性。
目前这个项目以及为公司培养了大量的标注人才。算是一个意外收获。
InfoQ：在处理私域大模型技术 ToC 端全流程架构时，您遇到了哪些挑战？在解决这些挑战的过程中，您采取了怎样的策略和方法？
王良：最头疼的挑战并不来自于技术层面，一开始难点在于选择业务落地场景，得到业务方的支持，这点在最初通过宣讲的方式并没有获得到业务方资源投入的支持，没有业务方愿意参与，技术无法唱独角戏。所以我们用参赛项目，改成了一个介绍公司的企业文化、入职培训、合同条规、等问答库，让公司全员参与体验，在体验后再加上我们的游说，逐渐认可了 RAG+ 知识库的可行性，争取到了第一个业务团队。
接下来的挑战来自于法律合规，因为国家对 ToC 的大模型需要报备审批通过，这部分工作对于全平安集团都是未知的，我们采取的是技术先行，在数据保护以及拒答库上做好应对方案，安排专人主动与监管部门进行沟通，积极配合提供材料。
InfoQ：对于私有化部署方案，您是如何保证数据的安全性和隐私性的？在政策监管的情况下，您又是如何应对技术逐梦与落地实践的？
王良：最基础的几点：1 访问权限管理，2 数据加密，3 物理隔离，4 数据脱敏和匿名化，5 差分隐私，6 同态加密，7 内网部署等。
私有化部署本身就是为数据安全性和隐私性服务的。唯一暴露在外的数据传输过程中，保证加密通道的可信度，就能极大的提高安全和隐私性。
技术往往走在监管前边，监管政策不会对一个不存在的事物进行约束，通常都是先有了新鲜事物，现有的约束规则无法覆盖到，才会颁布新的监管政策，要想逐梦，就需要先人一步，等行业内同类产品都遍地开花，就谈不上逐梦了，最多算技术上的追随。要有拼搏探索的精神，对于未知的新鲜事物要敢于尝试。当然也要持续的学习前沿技术，必须有能力将项目落地，才能有技术逐梦的可能性。
InfoQ：您提到了标注平台的建设和标注内容的介绍，这在 AI 落地工具生态链中扮演了怎样的角色？在标注平台建设过程中，您最大的挑战是什么，又是如何解决的？
王良：标注平台将业务方也加入到了项目建设中，仅靠开发人员是无法完成一个 RAG 项目上线的，知识库内容需要深入了解的一线人员进行标注，对于新提示词调整、知识库调整，模型验证、模型回归、测试案例库的丰富完善，等更适合提供知识库的业务方参与进来一起建设。
这样能提高模型结果的稳定性，以及提高项目迭代的速度。为公司培养更多的大模型标注人才。同时，标注平台在加快不同业务的上线时间周期以及知识库分离上起到了关键作用。
这个过程比较顺利，在最初稍微有瓶颈的在于业务人员参与标注平台的学习成本较高，前期需要培训他们对标注工作的理解和使用，这部分我们花了较多的时间，目前已经形成文档和指引手册，新成员的学习培训周期已经非常乐观了。
InfoQ：在演讲中，您还提到了政策监管下的技术逐梦与落地实践心得，您认为在金融银行类的行业中，技术创新与政策监管之间如何取得平衡？
王良：监管政策是红线，无法逾越，首先要熟悉相关的法律条规先初步评估一下方案可行性，再询问一下公司的法务意见，一般法务都比较保守，我的经验是，只要法务没有明令禁止，就可以先琢磨起来，如果国内外有成功案例和经验最好，没有的话尽量寻找技术前沿的圈子，进行讨论，如极客帮的闭门圆桌会，鲲鹏会等。
技术创新与监管政策很难得到一个稳定的平衡，要想两者接近于平衡需要同时具备较高的法律法务相关专业素养以及前沿技术能力，这样的人才是非常稀缺的，我观察到技术创新往往走在监管政策之前，如网约车、无人机、大模型等，作为一名技术人，我个人建议还是多关注前沿技术，提升自身的专业能力，以便更好地理解和评估技术创新的风险和收益。为法务提供判断依据，寻找到合适的平衡点。
InfoQ：在私域大模型技术的应用过程中，您对于业务线选择有怎样的思考和策略？在面对不同业务线的挑战时，您是如何处理的？
王良：在业务线都支持的理想状态下，选择项目落地需要综合考虑公司的战略目标、业务需求、技术可行性、风险控制及监管要求等因素。
对于不同的业务线，首先考虑战略契合度，要与公司整体目标吻合，再考虑业务需求，评估一下投入产出比，是否有价值，最后是落地方案的可行性，可行性包括技术和监管合规。对于有价值的需求，我们会提高优先级去支持。
如果选择决定权不在技术人手里，需要争取业务部门资源支持的话，策略就要换一下，把自己当成销售，把私域大模型当成我们手里要推销的产品，努力探索各业务方的痛点，寻找到大模型能解决的业务线，游说对方。
我们目前采取的是第二种。
InfoQ：最后，您能否分享一些在处理私域大模型技术应用过程中的心得和经验？对于其他互联网金融支付行业的技术团队，您有什么建议或者启示？
王良：在互联网金融支付行业，数据私域性高，用户交易数据、个人身份信息、支付习惯等敏感信息需要严格保护。私域大模型技术在保证数据安全、隐私的前提下，利用本地化部署的大模型进行数据分析与预测，避免直接将数据传输至第三方平台，降低数据泄露风险。
鉴于支付场景对响应速度和系统稳定性要求极高，私域大模型技术正在向模型轻量化、边缘计算方向发展。通过模型压缩、知识蒸馏等技术，简化模型结构，减少计算资源需求，使得复杂的大模型能够在移动设备、终端设备上高效运行。这样不仅降低了延迟，提高了服务质量，还进一步减少了数据传输过程中的安全隐患。
我认为，随着技术不断成熟，未来私域大模型将在互联网金融支付行业实现更深度的融合与全链路智能化。从用户注册、身份验证、交易授权、反欺诈监控、信贷审批、客户服务到市场营销等各个环节，大模型将作为核心驱动力，提供智能化解决方案，全面提升支付流程的效率与安全性。
【活动推荐】
本届 ArchSummit 会议上，我们邀请了 CNCF、顺丰集团、阿里、腾讯、百度等企业的专家来演讲。会议上还设置了大模型应用、架构升级、智算平台、AI编程、成本优化等专题和话题内容。如您感兴趣，可点击查看更多详情。目前会议进入 9 折购票阶段，可以联系票务经理 17310043226 , 锁定最新优惠。
原文链接：https://sourl.co/57Asre
