在全球人工智能领域的盛会AAAI 2025上，一项由蚂蚁数科、浙江大学、利物浦大学及华东师范大学共同研发的创新技术——ScaleOT跨域微调框架，引起了广泛关注。这一技术突破性地在保持模型性能不变的前提下，将隐私保护效率提升了50%，同时将算力消耗削减了惊人的90%，为百亿级参数模型的跨域微调提供了一种高效且轻量化的解决方案。该成果的论文因其卓越的创新性，被选为AAAI的口头报告论文，这一殊荣仅授予了投稿中的4.6%。
跨域微调技术是当前保护模型产权和数据隐私的重要手段，它通过有损压缩将大型模型转化为仿真器，使得数据持有方能够在不出域的情况下训练适配器并反馈给大模型进行调优。然而，这一技术存在两大局限：一是“均匀抽积木”式的处理方式可能导致模型关键层的缺失，从而影响性能；二是采用蒸馏技术来弥补性能损失，计算成本较高，且现有方法在隐私保护方面缺乏灵活性。
蚂蚁数科的技术团队提出了ScaleOT框架，该框架通过三大创新思路巧妙地平衡了模型性能与隐私安全。首先，通过评估大模型智能层的重要性，利用强化学习扫描自动识别关键层，动态保留“核心层”以减少性能损耗。其次，对保留的原始层进行“打码”处理，有效防止攻击者复原原始模型，从而在几乎不影响性能的情况下增强隐私保护。最后，ScaleOT框架能够根据不同场景灵活组装，实现隐私强度的可调节。
在大模型产业界，尤其是金融行业，解决数据和模型的隐私安全问题是一个重要的课题。蚂蚁数科的这一创新算法已经集成到其摩斯大模型隐私保护产品中，并成为国内首批通过信通院大模型可信执行环境产品专项测试的产品之一。这一技术的推出，不仅为数据隐私保护提供了新的解决方案，也为大模型在更广泛领域的应用开辟了新的道路。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
