使用python轻松实现高大上的YOLOV4对象检测算法

发布于 作者:

YOLO系列对象检测算法，算是人工智能技术领域的一匹黑马，当开发者宣布不再为YOLO系列检测算法更新时，很多开发者瞬间失去了”精神食粮“。突然，当YOLOV4检测算法发布的时候，让很多开发者喜出望外。

YOLOV4对象检测

YOLOV4对象检测算法综述：

COCO 模型上的检测数据

43.5%mAP+65FPS 精度速度最优平衡,YOLOV4无论是在速度上，还是在精度上，都绝对碾压很多对象检测算法，在论文中，作者也是采用了大量的调优算法来加速YOLOV4的检测模型

加权残差连接（WRC）

跨阶段部分连接（CSP）

跨小批量标准化（CmBN）

自对抗训练（SAT）

Mish激活

马赛克数据增强

CmBN

DropBlock正则化

CIoU Loss

对象检测

模型中的名词

Input：算法的输入，包括整个图像，一个patch，或者是image pyramid

Backbone：可以理解为提取图像特征的部分，可以参考经训练好的网络，例如（VGG16,ResNet-50, ResNeXt-101, Darknet53等）

Neck：特征增强模块，前面的backbone已经提取到了一些相关的浅层特征，由这部分对backbone提取到的浅层特征（low-level feature）进行加工，增强，从而使得模型学到的特征是想要的特征。

Head：检测头。如果想直接得到bbox，那就可以接conv来输出结果，例如Yolo，SSD

因此，一个检测算法可以理解为：

Object Detection = Input+Backbone + Neck + Head

Bag of freebies

什么叫Bag of freebies？在目标检测中是指：用一些比较有用的训练技巧来训练模型，从而使得模型取得更好的准确率但是不增加模型的复杂度，也就不增加推理（inference）是的计算量（cost）。在目标检测中，提到bag of freebies，首先会想到的 就是Data augmentation。

Data augmentation

目的在于增加训练样本的多样性，使得检测模型具有高的鲁棒性。常见的数据增强方式包括两个方面：几何增强以及色彩增强。

  • 几何增强包括：随机翻转（水平翻转较多，垂直翻转较少），随机裁剪（crop），拉伸，以及旋转。
  • 色彩增强包括：对比度增强，亮度增强，以及较为关键的HSV空间增强。

.Bag of specials

什么叫做bag of specials：就是指一些plugin modules（例如特征增强模型，或者一些后处理），这部分增加的计算量（cost）很少，但是能有效地增加物体检测的准确率，我们将这部分称之为Bag of specials

架构选择

架构选择

一个模型的分类效果好不见得其检测效果就好，想要检测效果好需要以下几点：

  • 更大的网络输入分辨率——用于检测小目标
  • 更深的网络层——能够覆盖更大面积的感受野
  • 更多的参数——更好的检测同一图像内不同size的目标

为了增大感受野，作者使用了SPP-block，使用PANet代替FPN进行参数聚合以适用于不同level的目标检测。

YOLOv4的架构：

  • backbone：CSPResNext50
  • additional block：SPP-block
  • path-aggregation neck：PANet
  • heads：YOLOv3的heads

YOLOV4的改进，作者不仅增加了以上的优化算法，更是改进了其他方面的技术，比如：

  • 一种新的数据增强Mosaic法和Self-AdversarialTraining 自对抗训练法。

Mosaic法和Self-AdversarialTraining 

  • 应用遗传算法选择最优超参数。
  • 改进SAM，改进PAN，和交叉小批量标准化(CmBN)，使设计适合于有效的训练和检测

SAM，PAN

更加详细的技术，大家可以参考作者的论文以及GitHub源代码进行分享学习

python+opencv 实现YOLOV4

python+opencv 实现YOLOV4

YOLOV4的实现，除了作者分享的Darknet之外，现在还有了tensorflow、Pytorch、keras等等方法的实现，但是始终没有比较简答的代码实现（毕竟tensorflow、Pytorch、keras技术，不是很好掌握）

opencv4.4版本的发布，宣布支持最新的YOLOV4对象检测算法，同时还优化了大量的工作

本部分代码需要升级一下你的opencv版本到4.4

YOLOV4 图片识别

模型初始化

import numpy as np
import time
import cv2
import os

labelsPath =  "yolo-coco/coco.names"
LABELS = None
with open(labelsPath,'rt') as f:
    LABELS = f.read().rstrip('\n').split("\n")

np.random.seed(42)
COLORS = np.random.randint(0, 255, size=(len(LABELS), 3),dtype="uint8")

weightsPath = "yolo-coco/yolov4.weights"
configPath = "yolo-coco/yolov4.cfg"
net = cv2.dnn.readNetFromDarknet(configPath, weightsPath)

1-5行：首先我们导入第三方库

7-10行：我们加载YOLOV4在COCO训练集上的对象名称

12-13行：初始化随机的颜色，这里主要是为后续检测到不同的对象，进行不同颜色的边框画图

15-17：初始化YOLOV4的模型，
cv2.dnn.readNetFromDarknet(configPath, weightsPath)函数来加载模型的CFG以及weights参数

代码截图

加载图片进行神经网络检测

image = cv2.imread("images/3.jpg")
(H, W) = image.shape[:2]

ln = net.getLayerNames()
ln = [ln[i[0] - 1] for i in net.getUnconnectedOutLayers()]
blob = cv2.dnn.blobFromImage(image, 1 / 255.0, (416, 416),swapRB=True, crop=False)
net.setInput(blob)
start = time.time()
layerOutputs = net.forward(ln)
end = time.time()

print("[INFO] YOLO took {:.6f} seconds".format(end - start))

19-20行：输入图片，获取图片的长度与宽度

22-28行：计算图片的blob值，输入神经网络，进行前向反馈预测图片，只不过net.forward里面是ln， 神经网络的所有out层，这里我们定义了一个time函数，用来计算YOLOV4的检测时间

代码截图

遍历检测结果

boxes = []
confidences = []
classIDs = []

for output in layerOutputs:
	for detection in output:
		scores = detection[5:]
		classID = np.argmax(scores)
		confidence = scores[classID]
		if confidence > 0.5:
			box = detection[0:4] * np.array([W, H, W, H])
			(centerX, centerY, width, height) = box.astype("int")
			x = int(centerX - (width / 2))
			y = int(centerY - (height / 2))
			boxes.append([x, y, int(width), int(height)])
			confidences.append(float(confidence))
			classIDs.append(classID)

32-34：首先初始化一些参数，主要用来存检测到的结果数据

36-42：遍历所有的检测层，提取检测到的图片对象置信度以及label ID 

44-53：我们过滤到置信度小于0.5的对象，提取大于0.5置信度的对象，分别计算每个检测对象的BOX、置信度以及label ID，并保存在如下先前建立的初始化参数list里面

boxes = []

confidences = []

classIDs = []

代码截图

通过以上代码便实现了python的YOLOV4对象检测，但是检测的结果并不理想，对于每个对象，Yolo4 会框出 3 个左右的区域，但是我们只需要显示出最合适的区域。非最大值抑制算法，就是搜索出局部最大值，将置信度最大的框保存，其余删除。

非最大值抑制来定义最大的边框

idxs = cv2.dnn.NMSBoxes(boxes, confidences, 0.5,0.4)
if len(idxs) > 0:
	for i in idxs.flatten():
		(x, y) = (boxes[i][0], boxes[i][1])
		(w, h) = (boxes[i][2], boxes[i][3])
		color = [int(c) for c in COLORS[classIDs[i]]]
		cv2.rectangle(image, (x, y), (x + w, y + h), color, 2)
		text = "{}: {:.4f}".format(LABELS[classIDs[i]], confidences[i])
		cv2.putText(image, text, (x, y - 5), cv2.FONT_HERSHEY_SIMPLEX,
			0.5, color, 2)

cv2.imshow("Image", image)
cv2.waitKey(0)

最后，我们使用非最大值抑制算法，把每个对象的最大边框显示出来，以便我们检测模型的结果

代码截图

以上便是完整的python opencv实现YOLOV4的代码，本部分代码与YOLOV3的实现类似，小伙伴们可以参考小编往期的文章关于YOLOV3的介绍，最后我们运行一下代码，看看实现检测的效果

YOLOV4

YOLOV4的检测，用起来，确实速度有了很大的提示，就如上图一样，检测只用了1.3S左右，速度与精度的结合，美中不足的地方是上图的人的置信度才0.777