背景
无论你是在全世界的哪个国家，在使用手机聊天时总是离不开万能的 Emoji 表情。对于不少人来说，使用 Emoji 可以更加轻松的表达情绪，但伴随着 Emoji 表情的连年增多，在输入的时候通过手动选择难免会看到眼花。此时，手机输入法的 Emoji 表情预测功能就派上了用场。
近期，触宝输入法发布了基于 TensorFlow Lite 框架的 AI 模型，帮助用户在输入过程中，更加智能地预测出可能会使用的 Emoji 表情。作为基于该框架的全球第一批开发者，触宝在输入法中的 Emoji AI 模型究竟是如何运算的，以及这样的模型之于用户有何意义？接下来就来一一探秘这些问题。
通过 NLP 工程师的介绍，可以了解到触宝使用
TensorFlow Lite 进行建模和输出表情的过程。在运算过程中，用户输入的每个词语都是通过向量表示的。据介绍，在TensorFlow Lite的计算过程中，首先每个词语会通过词嵌入的方式获取到相对应的向量，以向量的形式输入到模型中。再通过卷积神经网络(时下流行的机器学习算法)进行卷积操作，卷积的过程中会分别从相邻的几个词语中提取特征。然后通过非线性操作使得模型具有非线性性质。以上的操作会进行三次，增加模型的深度。接着会通过一个带有非线性激活的全连接层和一个普通的全连接层，将卷积的输出映射到我们实际输出中。最后通过 softmax 将输出归一化处理，获取各个 emoji 预测的概率值。而从用户层面来看，就可以直接在输入法面板中显示emoji表情的预测结果。
由于TensorFlow Lite 仍在开发完善中，因此触宝在使用期间，也遇到了一些挑战。其中最突出的就是，TensorFlow Lite 现阶段还不支持所有 TensorFlow 的操作(op)，很多 TensorFlow 支持的 op，在 TensorFlow Lite 中还没有完全适配，例如序列模型的支持还不是很完善。同时我们也在努力减少模型与数据的体积，例如通过改进词嵌入所需要的词表的实现方法，来减小数据的大小，最终体现在减小输入法安装文件的大小以及内存占用上。
之所以能够完成上面这些运算，除了 TensorFlow 本身强大的深度学习能力，更有背后触宝多年以来在全球范围内积攒的大数据。触宝输入法支持超过110种语言，用户遍布全球超过240个国家和地区，日活跃用户量超过1.1亿。海量的用户背后就是海量大数据，大数据则是深度学习必需的素材。通过大数据和深度学习算法形成的 Emoji AI模型，在用户实际使用中，其优势也是可明显感知的，具体表现如下：
- 优势1：直接提升输入体验，表情预测更精准
实际上，输入法自带表情预测的功能，在很早就已经出现了，但是大部分表情预测都是依靠简单的关键词识别，如“开心”就给一个笑脸，“喜欢”就给一个心。这种模式相对机械，且无法针对整段话进行语义的预测，而只能通过词组进行简单预测，对于用户来说，对表情的优化输入体验有限。
和关键词识别的表情预测不同，基于TensorFlow Lite框架的Emoji预测模型，由于使用了深度学习的AI模型，可以直接通过对整句的分析，提取出具有不同特征的关键词，再通过一系列AI算法，推荐出最适合这句话的Emoji表情。这样的模型预测可以应对更加复杂的句式和多种情景下的表达，使表情预测更精准、智能、人性化。我们可以通过下面2个例子直观的发现，基于TensorFlow Lite的Emoji预测可以更加懂用户所想。
- 优势2：本地化AI计算，保护用户隐私
就在前段时间，欧盟发布了“一般数据保护条例”(GDPR)，此条例已在2018年5月25日正式实施，可能成为有史以来规模最大，也是最具惩罚性的隐私法之一。而在输入法领域，有很多平台为保证安装包的小巧和启动的快速，会通过云计算的方式，在用户输入文字的同时，在云端帮助用户进行表情或者词组的预测，然而在输入法这种高度密集的文字处理软件内，此举势必会影响到用户的隐私，在GDPR实施后，这样的产品可能会面临一定的风险。
而基于 TensorFlow Lite 框架的 Emoji AI 模型则无需有此担忧。由于 TensorFlow Lite 体积十分轻巧，可以大大压缩模型大小，不会过多占用手机资源，提升效率；另外，它完全可以将模型的 serving 本地化部署，解决了无网络环境下的使用问题。因此触宝的 NLP 工程师通过一系列深度学习训练，可直接将 Emoji AI 模型嵌入触宝输入法内部，全程在本地完成 AI 计算，无需上传云端。这一波“神操作”不仅将对用户隐私的影响降到最低，还减少了云计算的步骤，不影响输入法的运行速度。
- 优势3：激活手机AI芯片，性能最大化利用
当前，AI 逐渐从 PC 端走向了移动端，有不少手机的 CPU 也集成了内置的 AI 芯片，如华为海思麒麟 970 的 NPU 和高通骁龙 845 等。AI 芯片内置神经网络引擎，从硬件层级帮助那些具有AI功能的软件实现机器学习等AI需求。
TensorFlow Lite 目前已经可以与新版 Android 中发布的神经网络 API 完美配合，在可行的情况下会直接调用手机的 AI 芯片，即便在没有 AI 芯片硬件加速时也能调用CPU处理，确保模型在不同设备上的运行。因此，触宝的 Emoji AI 模型可以直接激活手机的 AI 芯片，使手机性能最大化利用，在能耗和效率之间寻找到平衡点，你手中旗舰级内置的 AI 芯片有用武之地了。
作为一款全球化的输入法产品，Emoji AI 模型并不是触宝的首次AI布局。在今年年初的 MWC 上，触宝发布了 AI 智能输入法，内置 Talia AI 助手，可根据上下文场景进行智能预测和回复，并提供汇率换算、天气查询和餐厅推荐等实用工具。接下来，基于 TensorFlow Lite 的 Emoji AI 模型将集成在Talia内部，在用户输入的时候实时提供 AI 级别的 Emoji 表情推荐，其AI布局又往前推进了一步。可以预见的是，伴随着AI的火热发展和硬件的不断更新，基于 TensorFlow Lite 的 AI 模型将会越来越多，对于开发者来讲，这或许会成为全民 AI 时代来临的起点。
触宝公司介绍
触宝成立于 2008 年，是一家总部位于上海，在北京、深圳、广州、台北及硅谷均有分部的高科技创新企业。2009 年，触宝在 MWC（世界移动通信大会）展会上荣获“全球移动创新大奖”， 是首家获得该项大奖的中国公司。
触宝在美国硅谷拥有自己的大数据研发中心和人工智能科学家团队。触宝的学术论文被美国人工智能协会主办的顶级会议 AAAI、国际顶级数据挖掘学术会议 KDD 以及 IEEE Symposium on Security & Privacy 等收录。2014年触宝被美国《快公司》(Fast Company) 杂志评为中国地区“最具创新力十大公司（Most Innovative Companies 2014）”，2015年被谷歌授予顶尖开发者“Top Developer”的称号。触宝获得来自红杉资本、启明创投等顶级风投机构上亿美金的融资，是上海互联网领域的技术创新型独角兽企业。
