基于 TensorFlow Lite 的 OCR：一款崭新的示例应用

技术分享
,
1

1200×675 28.6 KB

发布人：TensorFlow 技术推广工程师 魏巍

俗话说：“一图胜千言”。图像包含丰富的视觉信息，但有时关键信息位于图像的文本当中。虽然识字的人可以轻松理解图像中嵌入的文字，但我们如何利用计算机视觉和机器学习来教计算机做到这一点呢？

今天，我们将向您展示如何使用 TensorFlow Lite 从 Android 设备上的图像中提取文本。我们将引导您完成最近开源的光学字符识别 (OCR) Android 参考应用的关键步骤，您可参考 该处 获取完整代码。在下方动画中，可以看到该应用如何从三款 Google 产品徽标图片中提取产品名称。

从图像中识别文本的过程即为 OCR，该技术在多个领域中广泛使用。例如，Google 地图运用 OCR 技术 从地理定位图像中提取信息，进而完善 Google 地图。

一般来说，OCR 是一个包含多个步骤的流水线。相关步骤通常包含文本检测和文本识别：

  • 使用文本检测模型查找文本周围的边界框；
  • 执行一些后处理操作，以转换边界框；
  • 将这些边界框内的图像转换为灰度图像，如此一来，文本识别模型便可绘制出文字和数字。

在示例中，我们将利用 TensorFlow Hub 中的 文本检测 和 文本识别 模型。多个不同的模型版本可用来权衡速度/准确率的取舍；我们在此使用的是 float16 量化模型。如需有关模型量化的更多信息，请参阅 TensorFlow Lite 量化 文档。

我们还会使用 OpenCV，这是一款广泛使用的计算机视觉库，适用于 非极大值抑制 (NMS) 和透视变换（我们稍后会对此展开讨论），以对检测结果进行后处理。此外，我们还会使用 TFLite 支持库 对图像进行灰度和标准化处理。

从文本检测、透视变换到识别的 OCR 流水线
从文本检测、透视变换到识别的 OCR 流水线849×1017 82.9 KB

从文本检测、透视变换到识别的 OCR 流水线

对于文本检测，由于 检测模型 支持 320x320 的固定像素，我们会使用 TFLite 支持库调整输入图像的大小并对其进行标准化处理：

val imageProcessor =
ImageProcessor.Builder()
  .add(ResizeOp(height, width, ResizeOp.ResizeMethod.BILINEAR))
  .add(NormalizeOp(means, stds))
  .build()
var tensorImage = TensorImage(DataType.FLOAT32)

tensorImage.load(bitmapIn)
tensorImage = imageProcessor.process(tensorImage)

接下来，我们使用 TFLite 运行检测模型：

detectionInterpreter.runForMultipleInputsOutputs(detectionInputs, detectionOutputs)

检测模型的输出是一些经过旋转且图像内包含文本的边界框。我们会运行非极大值抑制，借助 OpenCV 为每个文本块确定一个边界框：

NMSBoxesRotated(
  boundingBoxesMat,
  detectedConfidencesMat,
  detectionConfidenceThreshold.toFloat(),
  detectionNMSThreshold.toFloat(),
  indicesMat
)

有些时候，图像内的文本会出现变形（例如，我的笔记本电脑上的“kubernetes”贴纸），并伴随一个透视角度：

透视变换演示
透视变换演示1670×480 206 KB

透视变换演示

如果我们只是将原始旋转边界框直接“喂”给识别模型，则该模型不太可能正确识别字符。在本例中，我们需要使用 OpenCV 来进行透视变换：

val rotationMatrix = getPerspectiveTransform(srcPtsMat, targetPtsMat)

warpPerspective(
  srcBitmapMat,
  recognitionBitmapMat,
  rotationMatrix,
  Size(recognitionImageWidth.toDouble(), recognitionImageHeight.toDouble())
)

之后，我们会再次使用 TFLite 支持库，在边界框内调整变换图像的大小，并对其进行灰度和归一化处理：

val imageProcessor =
  ImageProcessor.Builder()
    .add(ResizeOp(height, width, ResizeOp.ResizeMethod.BILINEAR))
    .add(TransformToGrayscaleOp())
    .add(NormalizeOp(mean, std))
    .build()

最后，我们会运行文本识别模型、根据模型输出绘制出字符与数字，然后更新应用界面：

recognitionInterpreter.run(recognitionTensorImage.buffer, recognitionResult)

var recognizedText =   ""
for  (k in   0 until recognitionModelOutputSize) {
  var alphabetIndex =  recognitionResult.getInt(k *   8)
  if  (alphabetIndex in   0..alphabets.length -  1)
    recognizedText = recognizedText + alphabets[alphabetIndex]
}
Log.d("Recognition result:", recognizedText)
if   (recognizedText !=   "") {
  ocrResults.put(recognizedText, getRandomColor())
}

这样就完成了，就是这么简单。此时，我们可以在我们的应用中使用 TFLite 来提出输入图像中的文本。

最后我想指出的是，如果您只是需要一个即用型 OCR SDK，您可以直接使用 Google ML Kit 的文字识别功能。ML Kit 底层使用了 TFLite，并且对于大多数 OCR 用例而言足矣。在以下情况下，您可以使用 TFLite 来构建专属 OCR 解决方案：

  • 您有自己想要使用的专属文本检测/识别 TFLite 模型；
  • 您有特殊的业务需求（例如识别颠倒的文本），并且需要自定义 OCR 流水线；
  • 您希望支持 ML Kit 没有覆盖的语言；
  • 您的目标用户设备不一定要安装 Google Play 服务；
  • 您想要控制用于运行模型的硬件后端（CPU、GPU 等）。

在这些情况下，我希望本教程和我们的 实现示例 可以助您开启在您的应用中构建专属 OCR 功能的旅程。

您还可以通过下方资源了解更多 OCR 的信息。

致谢

作者感谢 Tian Lin 提供的有用反馈，感谢社区贡献者 @Tulasi123789 和 @risingsayak 使用 TFLite 开展的前期 OCR 工作（创建模型并将其上传至 TF Hub、提供对应的python notebooks等）。

原文：Optical character recognition with TensorFlow Lite: A new example app
中文：TensorFlow 公众号