本文教你使用简单的几行代码便可以很方便的给视频添加马赛克
添加马赛克步骤1、给定要添加的视频或者图片
2、利用人工智能技术识别图片或者视频中的人脸
3、创建屏蔽层
4、给图片或者视频添加上屏蔽层
5、显示最终的图片或者实时同步到视频 中
创建屏蔽层给图片或者视频人脸添加马赛克,最主要步骤是创建屏蔽层,我们利用2种方式进行人脸的打码
import numpy as np
import cv2
def face_blur(image, factor=3.0):
(h, w) = image.shape[:2]
kW = int(w / factor)
kH = int(h / factor) #高斯内核
if kW % 2 == 0:
kW -= 1
if kH % 2 == 0:
kH -= 1
return cv2.GaussianBlur(image, (kW, kH), 0)
以上便是很简单的创建屏蔽层的代码
首先我们获取了图片的尺寸(h, w) = image.shape[:2]
利用要使用高斯运算,我们要计算高斯内核的尺寸
kW = int(w / factor)
kH = int(h / factor)
以上计算了高斯内核的基本尺寸,由于高斯内核的尺寸只要求是奇数,当我们检测到基数时,需要转成为奇数。最后使用cv2.GaussianBlur(image, (kW, kH), 0)来创建屏蔽层
高斯函数高斯滤波是一种线性平滑滤波,对于除去高斯噪声有很好的效果。
在图像处理中高斯滤波一般有两种实现方式:一种是用离散化窗口滑窗卷积,另一种是通过傅里叶变换。最常见的就是第一种滑窗实现,只有当离散化的窗口非常大,用滑窗计算量非常大的情况下会考虑基于傅里叶变换的方法。
opencv提供了GaussianBlur()函数对图形进行高斯滤波,其原型如下:
C++: void GaussianBlur(InputArray src, OutputArray dst, Size ksize, double sigmaX, double sigmaY=0, int borderType=BORDER_DEFAULT )
参数解释:
. InputArray src: 输入图像,可以是Mat类型,图像深度为CV_8U、CV_16U、CV_16S、CV_32F、CV_64F。
. OutputArray dst: 输出图像,与输入图像有相同的类型和尺寸。
. Size ksize: 高斯内核大小,这个尺寸与前面两个滤波kernel尺寸不同,ksize.width和ksize.height可以不相同但是这两个值必须为正奇数,如果这两个值为0,他们的值将由sigma计算。
. double sigmaX: 高斯核函数在X方向上的标准偏差
. double sigmaY: 高斯核函数在Y方向上的标准偏差,如果sigmaY是0,则函数会自动将sigmaY的值设置为与sigmaX相同的值,如果sigmaX和sigmaY都是0,这两个值将由ksize.width和ksize.height计算而来。具体可以参考getGaussianKernel()函数查看具体细节。建议将size、sigmaX和sigmaY都指定出来。
. int borderType=BORDER_DEFAULT: 推断图像外部像素的某种便捷模式,有默认值BORDER_DEFAULT,如果没有特殊需要不用更改,具体可以参考borderInterpolate()函数。
高斯屏蔽
自建马斯克图像高斯函数的马赛克十分平滑,但是这跟我们平时见到的马斯克有所区别,我们新建一个函数来创建自己的马斯克
def face_blur(image, blocks=5):
(h, w) = image.shape[:2]
xSteps = np.linspace(0, w, blocks + 1, dtype="int")
ySteps = np.linspace(0, h, blocks + 1, dtype="int")
for i in range(1, len(ySteps)):
for j in range(1, len(xSteps)):
startX = xSteps[j - 1]
startY = ySteps[i - 1]
endX = xSteps[j]
endY = ySteps[i]
roi = image[startY:endY, startX:endX]
(B, G, R) = [int(x) for x in cv2.mean(roi)[:3]]
cv2.rectangle(image, (startX, startY), (endX, endY),(B, G, R), -1)
return image
首先获取了图片的尺寸,把图片分成block*block的小方块
计算每个小方块的初始位置与最终位置
把每个小方块图片提取roi = image[startY:endY, startX:endX]
opencv中封装了一个专门用于求解cv::Mat均值的函数,即cv::mean(&cv::Mat),该函数会得到Mat中各个通道的均值,若要获取指定通道的均值,做进一步解析即可。
最后把获取的平均值画到原始图片中,来实现加马赛克的效果
马赛克
函数中的blocks定义了图片需要进行马赛克的小方块的数量,以上图片的马赛克跟我们见到的很是类似
加载模型,开启摄像头prototxtFacePath = "model/deploy.prototxt"
weightsFacePath = "model/res10_300x300_ssd_iter_140000.caffemodel"
faceNet = cv2.dnn.readNet(prototxtFacePath, weightsFacePath)
capture = cv2.VideoCapture(0)
time.sleep(2.0)
首先我们加载需要的人脸检测模型
使用cv2.dnn.readNet(prototxtFacePath, weightsFacePath)函数初始化一个人脸检测神经网络
VideoCapture()中参数是0,表示打开笔记本的内置摄像头,参数是视频文件路径则打开视频,如cap = cv2.VideoCapture(“../高清.avi”)
默认打开摄像头,然后遍历视频,实时添加马赛克
读取视频帧,实时检测人脸while True:
ret, frame = capture.read()
frame = cv2.resize(frame, (600,400))
(h, w) = frame.shape[:2]
blob = cv2.dnn.blobFromImage(frame, 1.0, (300, 300),(104.0, 177.0, 123.0))
faceNet.setInput(blob)
detections = faceNet.forward()
cap.read()按帧读取视频,ret,frame是获cap.read()方法的两个返回值。其中ret是布尔值,如果读取帧是正确的则返回True,如果文件读取到结尾,它的返回值就为False。frame就是每一帧的图像,是个三维矩阵。
获取图片的尺寸大小,然后进行图片blob值的计算blob = cv2.dnn.blobFromImage(image, 1.0, (300, 300),(104.0, 177.0, 123.0))
最后进行人脸神经网络的预测
faceNet.setInput(blob)
detections = faceNet.forward()
当检测到人脸后,对人脸进行分析识别
for i in range(0, detections.shape[2]):
confidence = detections[0, 0, i, 2]
if confidence > 0.5:
box = detections[0, 0, i, 3:7] * np.array([w, h, w, h])
(startX, startY, endX, endY) = box.astype("int")
face = frame[startY:endY, startX:endX]
face = face_blur(face, factor=4.0)
frame[startY:endY, startX:endX] = face
当检测到人脸后,提取所有人脸的置信度,我们判断大于0.5的人脸置信度为可靠人脸.
计算人脸在图片中的位置(startX, startY, endX, endY) = box.astype("int")
获取人脸图片ROI:face = frame[startY:endY, startX:endX]
根据人脸的ROI图片来进行高斯模糊,以便达到添加马赛克的效果
然后把添加马赛克的图片实时反馈到视频帧中
显示视频cv2.imshow("Frame", frame)
key = cv2.waitKey(1) & 0xFF
if key == ord("q"):
break
cv2.stop()
cv2.destroyAllWindows()
最后实时显示视频。
视频中添加马赛克