人工智能TensorFlow（十六）MNIST手写数字识别——训练篇

上期我们分享了CNN的基本结构，本期我们就拿MNIST数据集来训练一下手写数字的数据库，以便我们下期能够使用训练好的模型，来进行手写数字的识别。

分享一下几个可视化网站，可以看到神经网络的识别过程。

http://scs.ryerson.ca/~aharley/vis/conv/

1、插入MNIST数据集

#利用MNIST的数据来进行我们的神经网络的训练
import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

2、定义精度函数

def compute_accuracy(v_xs, v_ys):
 global prediction
 y_pre = sess.run(prediction, feed_dict={xs: v_xs})
 correct_prediction = tf.equal(tf.arg_max(y_pre, 1), tf.arg_max(v_ys, 1))
 accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
 result = sess.run(accuracy, feed_dict={xs: v_xs, ys: v_ys})
 return result

3、定义Weight变量

#
def weight_variable(shape):
 inital = tf.truncated_normal(shape, stddev=0.1)
 return tf.Variable(inital)

4、定义biase变量

def bias_variable(shape):
 initial = tf.constant(0.1, shape=shape)
 return tf.Variable(initial)

5、定义卷积核

卷积核，tf.nn.conv2d函数是tensoflow里面的二维的卷积函数，x是图片的所有参数，W是此卷积层的权重，步长strides=[1,1,1,1]，strides[0]和strides[3]的两个1是默认值，中间两个1代表padding时在x方向运动一步，y方向运动一步，padding采用的方式是SAME。

def conv2d(x, W):
 return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

6、定义pooling池（2X2）

池化pooling，为了得到更多的图片信息，padding时我们选的是一次一步，也就是strides[1]=strides[2]=1，这样得到的图片尺寸没有变化，而我们希望压缩一下图片也就是参数能少一些从而减小系统的复杂度，因此我们采用pooling来稀疏化参数，也就是卷积神经网络中所谓的下采样层。pooling 有两种，一种是最大值池化，一种是平均值池化，我们采用的是最大值池化tf.max_pool()。池化的核函数大小为2×2，因此ksize=[1,2,2,1]，步长为2，因此strides=[1,2,2,1]:

def max_pool_2x2(x):
 return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')

7、定义placehoder以及keep_prob

xs = tf.placeholder(tf.float32, [None, 784]) # 28*28
ys = tf.placeholder(tf.float32, [None, 10])
keep_prob = tf.placeholder(tf.float32)
x_image = tf.reshape(xs, [-1, 28, 28, 1]) 

x_image.shape=[n_sample,28,28,1]#图片的数据大小

#-1代表先不考虑输入的图片
#28,28是MNIST数据库的图片定义
#1是channel的数量，因为我们输入的图片是黑白的，因此channel是1，如果是RGB图像，那么channel就是3

8、定义第一层卷积

本层我们的卷积核patch的大小是5×5，因为黑白图片channel是1所以输入是1，输出是32个featuremap

定义bias，它的大小是32个长度，因此我们传入它的shape为[32]

定义卷积神经网络的第一个卷积层h_conv2d1=conv2d(x_image,W_conv1)+b_conv1

对h_conv2d1进行非线性处理，也就是激活函数，这里我们用的是tf.nn.relu

因为采用了SAME的padding方式，输出图片的大小没有变化依然是28×28，只是厚度变厚了，现在的输出大小就变成了28x28x32

然后使用最大pooling，输出大小就变成了14X14X32

W_convl = weight_variable([5, 5, 1, 32]) # patch 5X5 ,in_size 1,out_size 32
b_convl = bias_variable([32])
h_conv2d1 = conv2d(x_image, W_convl) + b_convl
h_conv1 = tf.nn.relu(h_conv2d1) # output size 28X28X32
h_pool1 = max_pool_2x2(h_conv1) # output size 14X14X32

9、定义第二层卷积

同样的形式我们定义第二层卷积，本层我们的输入就是上一层的输出，本层我们的卷积核patch的大小是5×5，有32个featuremap所以输入就是32，输出定为64

定义bias，它的大小是64个长度，因此我们传入它的shape为[64]

定义卷积神经网络的第二个卷积层h_conv2d2=conv2d(h_pool1,W_conv2)+b_conv2

对h_conv2d2进行非线性处理，也就是激活函数，这里我们用的是tf.nn.relu

因为采用了SAME的padding方式，输出图片的大小为14X14（第一层的输出），只是厚度变厚了64，现在的输出大小就变成了14X14X64

然后使用最大pooling，输出大小就变成了7X7X64

W_conv2 = weight_variable([5, 5, 32, 64]) # patch 5X5 ,in_size 32,out_size 64
b_conv2 = bias_variable([64])
h_conv2d2 = conv2d(h_pool1, W_conv2) + b_conv2
h_conv2 = tf.nn.relu(h_conv2d2) # output size 14X14X64
h_pool2 = max_pool_2x2(h_conv2) # output size 7X7X64

10、定义第一层全连接层

进入全连接层时, 我们通过tf.reshape()将h_pool2的输出值从一个三维的变为一维的数据, -1表示先不考虑输入图片例子维度, 将上一个输出结果展平.

此时weight_variable的shape输入就是第二个卷积层展平了的输出大小: 7*7*64， 后面的输出size我们继续扩大，定为1024

然后将展平后的h_pool2_flat与本层的W_fc1相乘（注意这个时候不是卷积了）

我们考虑过拟合问题，可以加一个dropout的处理

7*7*1024

# [n_sample,7,7,64]->>[n_sample,7*7*64]
h_pool2_float = tf.reshape(h_pool2, [-1, 7 * 7 * 64])
W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_float, W_fc1) + b_fc1)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

11、定义第二层全连接层

接下来我们就可以进行最后一层的构建了, 输入是1024，最后的输出是10个 (因为mnist数据集就是[0-9]十个类)

prediction就是我们最后的预测值，我们用softmax分类器（多分类，输出是各个类的概率）,对我们的输出进行分类

W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
prediction = tf.nn.relu(tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2))

12、定义优化器与loss

利用交叉熵损失函数来定义我们的cost function，tf.train.AdamOptimizer()作为我们的优化器进行优化，使我们的cross_entropy最小

cross_entropy = tf.reduce_mean(-tf.reduce_sum(ys * tf.log(prediction), reduction_indices=[1]))
train_step = tf.train.AdamOptimizer(0.0001).minimize(cross_entropy)

13、初始化

init = tf.global_variables_initializer()
#存储训练的模型
saver = tf.train.Saver() 

14、训练

with tf.Session() as sess:
 sess.run(init)
 for i in range(2000):
 batch_x, batch_y = mnist.train.next_batch(100)
 sess.run(train_step, feed_dict={xs: batch_x, ys: batch_y, keep_prob: 0.5})
 if i % 50 == 0:
 #输出在测试集上的准确度
 accuracy = compute_accuracy(mnist.test.images, mnist.test.labels)
 print(accuracy)
saver.save(sess, '/model/model.ckpt') #模型存储的文件夹

以上通过运行后，就可以看到我们的训练数据的精度，以及在model文件下的，训练好的模型

PS:小编用自己电脑实际测试了一下，提示内存不足，查看了小编的内存，才4G，这个大家最好使用8G以上内存运行

下期分享：

下期我们使用本期的训练模型，来实际编写神经网络如何识别手写数字。

谢谢大家的点赞与转发，关于分享的文章，大家有任何问题，可以在评论区一起探讨学习！！！