日活超1.6亿，揭秘快手背后的 AI 技术

本文转自公众号 AI科技评论，原文地址

快手 APP 是一款面向普通人记录和分享生活的短视频社交平台，据了解，在 2018 年，快手的日活一直在稳步增长。截至 2018 年 12 月，快手拥有超过 1.6 亿日活用户，3 亿月活用户，每日上传短视频超过 1500 万条。

拥有如此庞大的用户数，快手上每天都会产生很多有意思的内容。快手的流量并不会倾向于红人，不进行流量倾斜，每个视频都有曝光的机会，因此，很多用户都比较「接地气」。为了降低拍摄视频的门槛，辅助这些「接地气」的用户更好地进行内容生产，快手 APP 上使用了大量的 AI 技术。

目前，快手上的特效有美妆装饰特效、跳舞机游戏、控雨特效、AR 特效、染发特效、背景替换和魔法表情等。这些特效用到了人脸关键点、人体关键点识别、手势识别、视觉惯性里程计、头发分割、背景分割等人工智能技术。

在这些特效里面，「萌面 Kmoji」魔法表情是一个非常有意思的玩法，它于去年 12 月底上线。通过该功能，用户能够用相机拍摄生成自己的专属脸部 AR 虚拟形象，同时可以捕捉用户表情，眨眼、张嘴、抬眉毛、吐舌头等细微动作都能精准还原。这是短视频平台首次实现用户自定义 AR 虚拟形象进行拍摄的玩法。

那么，「萌面 Kmoji」魔法表情背后用到了哪些 AI 技术？快手团队与我们分享了他们的技术方案。

萌面 Kmoji 背后的人工智能技术方案详解

基于 3D 分析和 2D 信息融合的人脸属性和表情识别

个性化萌面系统的实现基础是人脸属性和表情识别，这需要 3D 分析以及与 2D 信息的融合。

对于图像信息，快手技术团队会利用 3D 重建技术恢复出 3D 结构，同时和 2D 信息做有机的融合，并基于这些重建、分析和融合，做人脸属性的分析，从各个维度分析出人脸特征，生成个性化的虚拟形象。同时也会实时进行人脸的表情分析，用于驱动生成的虚拟形象。

在此基础之上，快手技术团队还会借助人体进行相关分析，比如头发，肩部等，为和现实场景融合打下基础，并通过自研的手机端真实感渲染引擎，将活动的个性化萌面实时呈现给用户。

3D 人脸重建

3D 人脸重建是整个系统中非常重要的一环。快手技术团队采集了上万人脸三维数据，包含各种年龄段，人种，脸型等，以及每个个体对应的人脸各种表情，从而建立了几乎涵盖所有人脸空间和表情空间的三维人脸数据库。通过该数据库，可以建模出任意人脸的任意表情。快手技术团队研发了人脸关键点技术，通过百余个关键点刻画人脸的表情变化，从而重建每个个体各种表情下的三维人脸。另一方面，通过高效的神经网络技术，保证 3D 人脸重建在性能较低的手机上也能实时运行。

人脸属性感知

在人脸属性感知方面，快手技术团队采用神经网络感知人脸细粒度属性，包含了性别，年龄，肤色，脸型，眼睛，嘴巴细粒度信息，相比同类产品，可做到自动的人脸定制化，同时利用海量人脸数据，多任务协同学习，捕捉人脸细微特征。细粒度属性的区分是非常困难的，有些问题即使是人眼本身都难以区分，为此快手技术团队做了很多精细的设计，融合了分类/回归/分割等技术，提高自动捏脸的准确度

人脸表情识别

人脸表情是一种复杂且细微的信息，人对表情的感知尤其灵敏。让机器识别细微/夸张/灵活/稳定的人脸表情信号，单靠图像信息是难以达到的。

快手技术团队通过 2D 的 RGB 视觉信息对问题进行建模、求解，获得人脸关键点以及实时重建的三维模型，并把 1D、2D 和 3D 三种不同模态的信息进行建模对齐，求解出人脸的表情，驱动虚拟形象做各种逼真的动作。同时，得益于深度神经网络模型的量化，通过压缩和加速解决手机性能问题，该方案可适配任意机型。

高质量渲染

萌面效果的最终呈现离不开渲染，为了获得高质量的渲染，快手技术团队采用了先进的 PBR 技术，在移动端实现了 PC 游戏级画质；同时，依托深厚的 AI 技术积累，萌面能够根据外部环境和用户的形象特征智能化地选择最适合用户的材质，达到最优的渲染效果。

为了获得更加真实的体验效果，快手技术团队引入了物理引擎实现头发、布料等柔体的运动效果。为了使用户获得最优的体验，渲染引擎会根据不同机型选择合适的渲染质量。

移动端预测模型优化

为了让 AI 模型在手机端能够流畅地运行，快手技术团队主要做了三方面的优化：

• 首先，在图像预处理环节，将图像各种预处理操作合并起来，并对预处理所涉及到的图像内存进行统一分配和回收，以减少内存资源的消耗，提高分配使用的效率；
  
• 其次，充分利用 NEON 加速以及苹果自带的 accelerate 加速，使得整个运行库只占用 2M 的空间；
  
• 最后，在保证预测精度的前提下，对 AI 模型进行局部的 INT8 量化，经过优化后，运行速度可提高 1 倍以上，同时 AI 预测模型的占用空间也压缩到将近原来的四分之一。
  

以上就是「萌面 Kmoji」魔法表情使用的 AI 技术。除了虚拟形象之外，基于萌面所使用的这套系统，快手技术团体还进行了扩展应用：「人像 3D 打光」、「世界上另一个你」。雷锋网认为，「世界上另一个你」这个功能特别有创意，通过分析用户的脸部数据，找出快手用户中哪些人长相和当前用户非常像。在快手总部，雷锋网编辑现场体验了一下，找出来的人在长相上和本人在五官、发型和脸型等方面极其相似，甚至就是「世界上另一个我」。期待快手在 AI 技术上继续发力，为我们创造出更多好玩的功能。