用 tf2 识别 4 位纯数字验证码，loss 一直不变，accuracy 也不变，是什么原因呢？

[Li_Chuanliang]

下面是我的网络模型：
model=tf.keras.models.Sequential([

    tf.keras.Input(shape=(H, W, C)),
    layers.Conv2D(32, 3, activation='relu'),
    layers.MaxPooling2D((2, 2)),

    layers.Conv2D(64, 3, activation='relu'),
    layers.MaxPooling2D((2, 2)),

    layers.Conv2D(64, 3, activation='relu'),
    layers.MaxPooling2D((2, 2)),

    layers.Conv2D(64, 3, activation='relu'),
    layers.MaxPooling2D((2, 2)),

    layers.Conv2D(64, 3, activation='relu'),
    layers.MaxPooling2D((2, 2)),

    layers.Flatten(),
    layers.Dense(1024, activation='relu'),

    layers.Dense(D * N_LABELS, activation='softmax'),
    layers.Reshape((D, N_LABELS)),
])

summary:

配置

    model.compile(optimizer='adam',
                  loss='categorical_crossentropy',
                  metrics= ['accuracy'])


callbacks=[
    tf.keras.callbacks.TensorBoard(log_dir='logs'),
    tf.keras.callbacks.ModelCheckpoint(filepath=check_point_path,
                                       save_weights_only=True,
                                       save_best_only=True)
]
history = model.fit(train_gen,
                    steps_per_epoch=len(train_idx)//batch_size,
                    epochs=100,
                    callbacks=callbacks,
                    validation_data=valid_gen,
                    validation_steps=len(valid_idx)//valid_batch_size)

train count: 7408, valid count: 3176, test count: 4536

训练结果：
Train for 231 steps, validate for 99 steps
Epoch 1/100
1/231 […] - ETA: 4:18 - loss: 2.2984 - accuracy: 0.1328
231/231 [==============================] - 143s 618ms/step - loss: 2.3032 - accuracy: 0.0971 - val_loss: 2.3029 - val_accuracy: 0.0987
Epoch 2/100
230/231 [============================>.] - ETA: 0s - loss: 2.3026 - accuracy: 0.1014
231/231 [==============================] - 121s 525ms/step - loss: 2.3026 - accuracy: 0.1013 - val_loss: 2.3031 - val_accuracy: 0.0986
Epoch 3/100
230/231 [============================>.] - ETA: 0s - loss: 2.3026 - accuracy: 0.1029
231/231 [==============================] - 138s 597ms/step - loss: 2.3026 - accuracy: 0.1026 - val_loss: 2.3032 - val_accuracy: 0.0986
Epoch 4/100
230/231 [============================>.] - ETA: 0s - loss: 2.3025 - accuracy: 0.1031
231/231 [==============================] - 124s 537ms/step - loss: 2.3025 - accuracy: 0.1031 - val_loss: 2.3032 - val_accuracy: 0.0987
Epoch 5/100
230/231 [============================>.] - ETA: 0s - loss: 2.3025 - accuracy: 0.1040
231/231 [==============================] - 123s 532ms/step - loss: 2.3025 - accuracy: 0.1039 - val_loss: 2.3032 - val_accuracy: 0.0989

Epoch 6/100
230/231 [============================>.] - ETA: 0s - loss: 2.3025 - accuracy: 0.1039
231/231 [==============================] - 118s 509ms/step - loss: 2.3025 - accuracy: 0.1038 - val_loss: 2.3033 - val_accuracy: 0.0988

…
Epoch 20/100
230/231 [============================>.] - ETA: 0s - loss: 2.3025 - accuracy: 0.1038
231/231 [==============================] - 120s 521ms/step - loss: 2.3025 - accuracy: 0.1038 - val_loss: 2.3034 - val_accuracy: 0.0988
Epoch 21/100
190/231 [=======================>…] - ETA: 20s - loss: 2.3025 - accuracy: 0.1032

loss 一直没有变化，accuracy 也很低，请问是什么原因呢？
验证码图片是（100,120,3），是用 captcha 生成的，如图：

[chenglu (luke)]

@snowkylin

[snowkylin (雪麒)]

多位验证码识别不是简单地把单位验证码的模型的输出乘个 4 就可以的。建议想办法先对图像做分割预处理，把多个数字拆成单个分别识别，或者参考一下网上的多位验证码的解决方案。

[Li_Chuanliang]

我看了网上是直接进行识别，不需要进行分隔。

GitHub - JackonYang/captcha-tensorflow: Image Captcha Solving Using...

我是参考的这个代码。

[chenglu (luke)]

好像之前发的那个链接无法访问到，我用我的 “版主权限” 稍微修改了一下链接地址。

[Li_Chuanliang]

train count: 441, valid count: 189, test count: 270，

** 下面是我用 2 位验证码进行训练的结果：**

，

** 预测的结果 **

，

出现了过拟合现象，于是我就加大了数据集

train count: 4410, valid count: 1890, test count: 2700，
然后出现了 loss 一直在 2.3，accuracy 在 0.09 左右。

[Li_Chuanliang]

网络结构依然采用上面的，input_shape(100,80,3)
这是我用 2 位的黑白图片的验证码进行了训练，效果很好，收敛也很快。

，

训练第 50 回合时：
Epoch 50/50
26/27 [============>…] - ETA: 0s - loss: 0.0150 - accuracy: 0.9940
27/27 [==============] - 8s 289ms/step - loss: 0.0212 - accuracy: 0.9936 - val_loss: 0.2348 - val_accuracy: 0.9446

随机选取了 30 张图片进行了测试，2 张识别错了：

** 样本：**

[Li_Chuanliang]

依然采用上面的网络结构，
这次使用的是 4 位黑白图片的验证码，有点过拟合，

train count: 2469, valid count: 1059, test count: 1512，

，

训练第 20 回合：
Epoch 20/20
76/77 [====>.] - ETA: 0s - loss: 0.0409 - accuracy: 0.9860
77/77 [======] - 33s 429ms/step - loss: 0.0408 - accuracy: 0.9861 - val_loss: 0.3283 - val_accuracy: 0.9221，

随机选取 30 张图片进行测试，8 张错误：

，

** 样本：**

[Li_Chuanliang]

依旧采用上面的网络结构：
这次我增加了数据集 4939 张，依旧使用的是 4 位黑白的验证码，训练结果还是挺好的：

，

train count: 4939, valid count: 2117, test count: 3024

第 20 回合：
Epoch 20/20
153/154 [==>.] - ETA: 0s - loss: 0.0327 - accuracy: 0.9898
154/154 [====] - 75s 488ms/step - loss: 0.0329 - accuracy: 0.9898 - val_loss: 0.1057 - val_accuracy: 0.9740

随机选取 30 张图片进行测试，6 张错误：

，

由此我觉得是噪点影响了深度学习的识别，我们需要将噪点处理掉，再喂入神经网络。

[Li_Chuanliang]

在上面的推理中，我感觉是噪点影响了神经网络的识别，于是乎我在送入网络之前进行了去噪，二值化操作，训练如下：
train count: 4939, valid count: 2117, test count: 3024，

从图中可以看出，模型收敛了，但有点过拟合。
第 20 回合训练结果：
Epoch 20/20
153/154 [==>.] - ETA: 0s - loss: 0.0407 - accuracy: 0.9861
154/154 [===] - 69s 450ms/step - loss: 0.0408 - accuracy: 0.9860 - val_loss: 0.3227 - val_accuracy: 0.9244

随机选取了 30 张图片进行了测试，8 张错误：

做到这里， 我对之前的推测有了猜疑，是噪点影响的吗？我觉得不是，我做了去燥（有的噪点还在），二值化，使得图片的信息量减少了，神经网络的计算量也大大减少了很多，我能很快看到训练过程中 loss 显著减少，accuracy 也在不断的提高。
整个过程，我用 CPU 进行训练的，电脑配置是 Intel(R)_Core™i7-6700HQ_CPU@_2.60GHz，8G 内存。如果大家的电脑配置高，用 GPU 进行训练，我觉得即使不做预处理，效果肯定也能出来。

[manakanemu]

因为你全都用的最大池。最大池可以增大感受野，也会放大椒盐噪声。加点平均池或者就不要池化。如果是为了平移不变性大可不用加一堆最大池。