基于 TensorFlow Lite 的 OCR:一款崭新的示例应用

发布人:TensorFlow 技术推广工程师 魏巍

俗话说:“一图胜千言”。图像包含丰富的视觉信息,但有时关键信息位于图像的文本当中。虽然识字的人可以轻松理解图像中嵌入的文字,但我们如何利用计算机视觉和机器学习来教计算机做到这一点呢?

今天,我们将向您展示如何使用 TensorFlow Lite 从 Android 设备上的图像中提取文本。我们将引导您完成最近开源的光学字符识别 (OCR) Android 参考应用的关键步骤,您可参考 该处 获取完整代码。在下方动画中,可以看到该应用如何从三款 Google 产品徽标图片中提取产品名称。

从图像中识别文本的过程即为 OCR,该技术在多个领域中广泛使用。例如,Google 地图运用 OCR 技术 从地理定位图像中提取信息,进而完善 Google 地图。

一般来说,OCR 是一个包含多个步骤的流水线。相关步骤通常包含文本检测和文本识别:

  • 使用文本检测模型查找文本周围的边界框;
  • 执行一些后处理操作,以转换边界框;
  • 将这些边界框内的图像转换为灰度图像,如此一来,文本识别模型便可绘制出文字和数字。

在示例中,我们将利用 TensorFlow Hub 中的 文本检测文本识别 模型。多个不同的模型版本可用来权衡速度/准确率的取舍;我们在此使用的是 float16 量化模型。如需有关模型量化的更多信息,请参阅 TensorFlow Lite 量化 文档。

我们还会使用 OpenCV,这是一款广泛使用的计算机视觉库,适用于 非极大值抑制 (NMS) 和透视变换(我们稍后会对此展开讨论),以对检测结果进行后处理。此外,我们还会使用 TFLite 支持库 对图像进行灰度和标准化处理。

从文本检测、透视变换到识别的 OCR 流水线

从文本检测、透视变换到识别的 OCR 流水线

对于文本检测,由于 检测模型 支持 320x320 的固定像素,我们会使用 TFLite 支持库调整输入图像的大小并对其进行标准化处理:

val imageProcessor =
ImageProcessor.Builder()
  .add(ResizeOp(height, width, ResizeOp.ResizeMethod.BILINEAR))
  .add(NormalizeOp(means, stds))
  .build()
var tensorImage = TensorImage(DataType.FLOAT32)

tensorImage.load(bitmapIn)
tensorImage = imageProcessor.process(tensorImage)

接下来,我们使用 TFLite 运行检测模型:

detectionInterpreter.runForMultipleInputsOutputs(detectionInputs, detectionOutputs)

检测模型的输出是一些经过旋转且图像内包含文本的边界框。我们会运行非极大值抑制,借助 OpenCV 为每个文本块确定一个边界框:

NMSBoxesRotated(
  boundingBoxesMat,
  detectedConfidencesMat,
  detectionConfidenceThreshold.toFloat(),
  detectionNMSThreshold.toFloat(),
  indicesMat
)

有些时候,图像内的文本会出现变形(例如,我的笔记本电脑上的“kubernetes”贴纸),并伴随一个透视角度:

透视变换演示

如果我们只是将原始旋转边界框直接“喂”给识别模型,则该模型不太可能正确识别字符。在本例中,我们需要使用 OpenCV 来进行透视变换:

val rotationMatrix = getPerspectiveTransform(srcPtsMat, targetPtsMat)

warpPerspective(
  srcBitmapMat,
  recognitionBitmapMat,
  rotationMatrix,
  Size(recognitionImageWidth.toDouble(), recognitionImageHeight.toDouble())
)

之后,我们会再次使用 TFLite 支持库,在边界框内调整变换图像的大小,并对其进行灰度和归一化处理:

val imageProcessor =
  ImageProcessor.Builder()
    .add(ResizeOp(height, width, ResizeOp.ResizeMethod.BILINEAR))
    .add(TransformToGrayscaleOp())
    .add(NormalizeOp(mean, std))
    .build()

最后,我们会运行文本识别模型、根据模型输出绘制出字符与数字,然后更新应用界面:

recognitionInterpreter.run(recognitionTensorImage.buffer, recognitionResult)

var recognizedText =   ""
for  (k in   0 until recognitionModelOutputSize) {
  var alphabetIndex =  recognitionResult.getInt(k *   8)
  if  (alphabetIndex in   0..alphabets.length -  1)
    recognizedText = recognizedText + alphabets[alphabetIndex]
}
Log.d("Recognition result:", recognizedText)
if   (recognizedText !=   "") {
  ocrResults.put(recognizedText, getRandomColor())
}

这样就完成了,就是这么简单。此时,我们可以在我们的应用中使用 TFLite 来提出输入图像中的文本。

最后我想指出的是,如果您只是需要一个即用型 OCR SDK,您可以直接使用 Google ML Kit 的文字识别功能。ML Kit 底层使用了 TFLite,并且对于大多数 OCR 用例而言足矣。在以下情况下,您可以使用 TFLite 来构建专属 OCR 解决方案:

  • 您有自己想要使用的专属文本检测/识别 TFLite 模型;
  • 您有特殊的业务需求(例如识别颠倒的文本),并且需要自定义 OCR 流水线;
  • 您希望支持 ML Kit 没有覆盖的语言;
  • 您的目标用户设备不一定要安装 Google Play 服务
  • 您想要控制用于运行模型的硬件后端(CPU、GPU 等)。

在这些情况下,我希望本教程和我们的 实现示例 可以助您开启在您的应用中构建专属 OCR 功能的旅程。

您还可以通过下方资源了解更多 OCR 的信息。

致谢

作者感谢 Tian Lin 提供的有用反馈,感谢社区贡献者 @Tulasi123789@risingsayak 使用 TFLite 开展的前期 OCR 工作(创建模型并将其上传至 TF Hub、提供对应的python notebooks等)。

原文:Optical character recognition with TensorFlow Lite: A new example app
中文:TensorFlow 公众号