电信营业厅 APP 作为中国电信在线服务的入口级应用,我们的开发团队通过 TensorFlow 与人工智能 AI 技术有了亲密的接触。

0.png

人工智能这个领域我们以前从未探索过,甚至参与项目开发的工程师都是由 Android 开发转型而来,所以本文将以机器学习小白 的视角谈一谈我们如何使用 TensorFlow 实现人工智能,以及我们的心路历程。

为了提升体验,让用户在充值这个最常用功能中感受一下所谓的黑科技,我们在 2016 年启动了充值卡扫描项目,希望用户打开摄像头对准充值卡密码轻松一扫即可完成充值。其核心 OCR 识别算是比较古老的研究领域,充值卡密码是数字加空格的组合,想想应该不难。

我们当时使用的方案,大概如下图的过程:

1.png

最终效果当然是不太理想,充值卡与名片文档不同,密码区域刮开的大小因人而异、噪点非常不规则、扫描时手的抖动会增加错误的发生等等因素,加上我们没有在 OCR 领域的经验积累,最终没能达到良好的用户体验而不得不搁浅。但是在随后的日子里,我们与 TensorFlow 结下了不解情缘。

在 2017 年谷歌开发者大会上我们了解到,谷歌人工智能底层的技术已经开源化,TensorFlow 的推出是为了让普通开发者将关注点从 “如何造轮子” 转移到 “轮子的花纹和样式” 上来,现场由谷歌工程师 Anna 全程用中文为大家介绍这个框架,她的演讲很赞,为了不错过每一个细节我听得很仔细很投入。

从大会回来之后,我们推翻重来并改变了思路:搭建一个神经网络让它学会认识电信充值卡。

end2end learning:

神经网络思想给我们带来了彻底的改变,所谓 end2end 模型是要通过这个模型输入图片直接获得结果数字。这种方式,不再需要手工处理图片的特征,任何部分的误差,都作为整体的一部分,通过神经网络的反向传播都能得到修正。

seq2seq learning:

seq2seq 是一种 Encoder–Decoder 结构的网络,它的输入是一个序列,输出也是一个序列, Encoder 中将一个可变长度的信号序列变为固定长度的向量表达,Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。这种结构的神经网络常用于语音识别,也可以用于不定长文字的 OCR 识别。对于我们的项目而言 Encoder 输入是 200*30 大小的图像,Decoder 是可变长度的数字加空格组合。

神经网络搭建:CNN + LSTM + CTC

这是个成熟且先进的神经网络架构,我们在分析学习了许多科学界论文后选定了这个方案,CNN 卷积神经网络负责抓取图片特征,LSTM 长短期记忆网络负责对字符的识别,CTC 算法对结果进行对齐优化。这个方案有很多优秀的TF项目可以参考,使用 TF 实现其网络结构也非常方便,这使我们更快更容易的着手开发工作。

在我们刚接触神经网络的时候,看到某位大神曾经说过 “深度学习框架是一个炼丹炉”,这句话形容的恰到好处,使我们更直观的理解机器学习的过程,如今我们已经有了这炼丹炉和配方(TensorFlow、网络结构方案),下一步的关键是数据。数据的质量和数量直接影响模型的识别效果,由于没有足够的实体卡样本,我们使用程序模拟需要的图片,要尽量做得真实、包含尽可能多的特征才行。先从一张简单的充值卡入手,我们的取景框将焦点缩小到 200*30 这么大的区域里:

2.png

通过不断训练、对比模型识别识别结果,将模型没有学习到的特征加入进来,我们得到了下面的数据优化路线:

基础版本:

3.png

倾斜、变形、位移:

4.png

不同的字体:

5.png

模拟未干净效果,加入随机噪点:

6.png

强光:

7.png

弱光:

8.png

抖动模糊:

9.png

以上特征随机组合出现,且力度在一定区间内随机取值,生成的训练数据集 30 万,测试数据集 1 万:

10.png

接下来是机器训练的过程,这个阶段最磨炼心性,机器在学习人也在成长。分享一点心得:

  1. 我们能够总结这段经验是源于上百次的训练记录,详细记录每次训练的笔记是一个好习惯。
  2. 每次只调整网络参数或只修改数据特征,这样方便比较结果。
  3. 善于运用TensorBoard使你更直观的查看网络结构,了解训练过程。我们保留了 TB 的全部训练日志,通过训练曲线对比不同超参数对训练结果的影响是非常方便的。

最后是方案的选型,我们一开始青睐于 TF Lite 的小巧、灵活,但是当时 TF Lite 还不支持 LSTM 算子,将来我们会再尝试使用 TF Lite,因为端侧人工智能应该是未来的主流。 考虑到我们的图片只有 200*30 的像素大小,实际传输不太消耗网络,所以 TF Serving 作为最终方案,实际上效果也确实不错。

方案

  • TF Lite
  • TF Mobile
  • TF Serving ✅

优点

  1. 体积小:大概 300K
  2. 支持全部神经网络算子
  3. 性能优秀
  4. 客户端轻量操作。
  5. 一切云端可控制,包括模型更新等。
  6. 支持高并发访问

缺点

  1. 当时缺少 LSTM 算子
  2. 体积较大,估计 Android SDK 大概 5M 左右。
  3. 需考虑模型更新方案。
  4. 需考虑适配,安卓低版本机器不支持。
  5. 识别性能受网络速度影响。

最终的效果:逆光、抖动、数字严重遮挡依然可以轻松识别!

12.jpg

模型训练的成功率为 99.3% ,完成一次识别的耗时 0.05 秒,达到这样的效果,让我们非常惊喜、兴奋!用户体验之后反响也非常不错!能够做到这些得益于优秀的 TensorFlow 机器学习框架、先进的神经网络解决方案,这让我想起 2007 年刚接触 Android 系统时的感受:不再需要考虑设备底层代码的编写极大的降低了开发者的门槛,正如今天 TF 带给我们的一样,入门级玩家也可以使用人工智能技术。

13.png

最后向一直坚持做机器学习的开发者们致敬:你们的坚持和分享精神使我们更快的掌握和使用这项技术,相信在我们共同努力下人工智能领域将不断突破,正如这条曲线一样历经磨练守得云开见月明。

来源:https://www.tensorflowers.cn/t/6046

最后修改:2019 年 12 月 14 日
文章有用,请随意赞赏