近年来,随着人工智能的飞速发展,机器学习在广告、电子商务、安全等诸多领域得到了广泛应用。其中,广告业务因其数据计算量大、计算效率高的特点而被视为机器学习成果应用的试金石。如何利用机器学习大规模地解决广告效率问题,是业界在技术应用层面上的一个重要课题。随着腾讯广告系统的全面升级,广告效果的技术应用取得了重要进展。腾讯广告坚持“提升技术效果”的理念,在北京大学-腾讯联合创新实验室(以下简称联合实验室)两届顶级国际学术会议VLDB2022和WWW上发表声明。将入选(国际万维网大会)的前沿机器学习技术应用于广告业务场景,持续强化腾讯广告系统“太极机器学习平台”和“千亿参数大模型”落地,助力系统成为腾讯广告整体运营的坚实技术基础。此次系统升级不仅充分实践了“技术效率提升”的理念,更体现了腾讯广告将前沿技术力量转化为商业价值的行动力。“从技术的角度理解业务,从商业的角度看技术,技术的演进推动业务的成长”是腾讯广告的技术原则。在“腾讯广告系统全面升级”培训场,腾讯广告是为联合实验室的技术成果“定制化”的。当前的互联网生态每天至少产生100亿个数据样本,广告推荐场景需要复杂的条件进行分析和判断。特征的变化和增长对广告系统的学习能力提出了更高的要求。为此,腾讯基于联合实验室提出的对超大规模图网络进行自动化建模的可扩展图学习理论(PaSca),对Angel图计算框架进行了自我研究,降低了大规模图神经网络模型训练的门槛,提高了系统的数据学习效率。受益于此,腾讯广告系统在不同推荐场景下的灵活性和准确性将得到极大提升,可以根据每个平台用户的特点实现快速准确的推荐,页面和上下文信息可以结合起来,通过增强场景的差异化表达来提高交付效果。另一方面,广告业务对数据理解和计算的速度和质量要求远远高于其他业务场景,甚至需要在毫秒内完成复杂的计算和匹配。为了提高广告计算的效率和准确性,业界目前正在使用数十亿甚至数万亿参数规模的超大型模型来优化对高维特征的理解,实现复合特征的计算匹配。大规模模型的训练和持续的推理增长是当前广告平台的主要技术障碍,机器学习的训练推理能力起着关键作用。如果把大型车型比作广告场景中赛道上的奔腾赛车,那么机器学习技术就是驱动赛车的发动机,发动机的质量在很大程度上决定了赛车能否跑得快、稳定。为此,技术团队利用联合实验室的成果,从基础设施建设和速度提升两个思路为大型模型的训练着陆提供技术支持。在基础设施层面,基于联合实验室开发的新一代分布式深度学习平台Angel4.0,腾讯广告自主开发了AngelPS技术,并将其应用于广告系统,作为太极机器学习平台的核心组件。在AngelPS的帮助下,太极机器学习平台的单模型处理上限提高到10TB级别,可以实现7×24小时的在线深度学习和推理。此后,广告系统训练的稳定性和可扩展性以及大量广告数据的推理都有了很大的提高,大规模广告模型的生产和使用成为了现实。在速度层面上,腾讯广告将基于联合实验室提出的稀疏大模型训练加速解决方案AngelRec,自主开发高性能预训练框架AngelPTM,以提高超大规模广告模型的训练速度、维度和准确性。借助两项技术的合作,助力广告主业务增长,腾讯广告在“一平台两模式”上完成了重要突破。基于太极机器学习平台,训练了人工智能和广告混合模式,增强了腾讯广告系统的理解能力和计算能力,有效实现了广告主最关心的三个指标“启动、成本、稳定”。

腾讯广告系统的全面升级,将提高当前广告场景效果转化的确定性和效率,为广告主带来业务增长。未来,腾讯广告还将继续践行“技术效应”理念,立足腾讯和清华大学、中国科学院计算研究所等高校布局和研发成果,深入挖掘机器学习、大数据、自然语言处理等前沿领域,继续在产业整合层面探索广告业务。