光流法
光流是由對象或相機的移動引起的兩個連續幀之間的圖像對象的明顯運動的模式.它是2D矢量場,其中每個矢量是位移矢量,表示從第一幀到第二幀的點的移動.
上圖表示的是一個球在連續的5幀圖像中的運動,箭頭顯示其位移矢量.
光流法原理的基礎:
opencv光流法。目標像素強度在連續幀之間不變
相鄰像素具有相似的運動
第一幀的像素I(x,y,t),在dt時間之后的下一幀中移動距離(dx,dy),因為這些像素是相同的,而且亮度不變,所以:
$$ I(x,y,t) = I(x+dx, y+dy, t+dt) $$
然后采用右側的泰勒級數展開,刪除常用項并除以dt得到:
opencv光流、$$ I(x,y,t) = I(x+dx, y+dy, t+dt) $$
在這里:
$$ f_x = \frac{\partial f}{\partial x} \; ; \; f_y = \frac{\partial f}{\partial y} $$
$$ u = \frac{dx}{dt} \; ; \; v = \frac{dy}{dt} $$
上述方程稱為光流方程.在其中,我們可以找到fx和fy,它們是圖像漸變. 類似地,ft是沿時間的梯度,(u,v) 未知,我們無法用兩個未知變量來解決這個方程.因此提供了幾種方法來解決這個問題,其中一種方法是Lucas-Kanade.
opencv算法?Lucas-Kanade
我們之前已經看到一個假設,即所有相鄰像素將具有相似的運動.Lucas-Kanade方法需要窗口大小,所有9個點都有相同的動作,我們可以找到這9個點的(f x,f y,f t). 所以現在我們的問題變成解決了9個方程式,其中兩個未知變量是過度確定的.解的個數大于未知數的個數,這是個超定方程,使用最小二乘的方法來求解最優值.
$$ \begin{bmatrix} u \\ v \end{bmatrix} = \begin{bmatrix} \sum_{i}{f_{x_i}}^2 & \sum_{i}{f_{x_i} f_{y_i} } \\ \sum_{i}{f_{x_i} f_{y_i}} & \sum_{i}{f_{y_i}}^2 \end{bmatrix}^{-1} \begin{bmatrix} – \sum_{i}{f_{x_i} f_{t_i}} \\ – \sum_{i}{f_{y_i} f_{t_i}} \end{bmatrix} $$
所以從用戶的角度來看,想法很簡單,給出一些跟蹤點,從而那些點的光流向量,但是到現在為止,我們只處理了小動議,所以當有大的運動時它會失敗.
使用的解決辦法是利用圖像金字塔,在金字塔頂端的小尺寸圖片當中,大幅度的運動就變成了小幅度的運動, 因此,在那里應用Lucas-Kanade,可以得到尺度空間上的光流.
opencv4,Lucas-Kanade Optical Flow in OpenCV
import numpy as np
import cv2
import matplotlib.pyplot as plt
cap = cv2.VideoCapture('test.mp4')
opencv3?# params for ShiTomasi corner detection
feature_params = dict( maxCorners = 100,
qualityLevel = 0.3,
minDistance = 7,
blockSize = 7 )
opencv,# Parameters for lucas kanade optical flow
lk_params = dict( winSize = (15,15),
maxLevel = 2,
criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))
# Create some random colors
python怎么用。color = np.random.randint(0,255,(100,3))
# Take first frame and find corners in it
ret, old_frame = cap.read()
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
p0 = cv2.goodFeaturesToTrack(old_gray, mask = None, **feature_params)
python3。# Create a mask image for drawing purposes
mask = np.zeros_like(old_frame)
while(1):
ret,frame = cap.read()
frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
pip opencv。# calculate optical flow
p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)
# Select good points
good_new = p1[st==1]
good_old = p0[st==1]
opencv安裝教程python、# draw the tracks
for i,(new,old) in enumerate(zip(good_new,good_old)):
a,b = new.ravel()
c,d = old.ravel()
mask = cv2.line(mask, (a,b),(c,d), color[i].tolist(), 2)
opencv光流法追蹤特定物體?frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1)
img = cv2.add(frame,mask)
cv2.imshow('frame',img)
k = cv2.waitKey(30) & 0xff
if k == 27:
break
# Now update the previous frame and previous points
opencv圖像識別算法、old_gray = frame_gray.copy()
p0 = good_new.reshape(-1,1,2)
cv2.destroyAllWindows()
cap.release()
Dense Optical Flow in OpenCV
Lucas-Kanade方法計算稀疏特征集的光流(在我們的例子中,使用Shi-Tomasi算法檢測到的角)。 OpenCV提供了另一種算法來查找密集的光流。 它計算幀中所有點的光流。 它基于Gunner Farneback的算法,該算法在Gunner Farneback于2003年的“Two-Frame Motion Estimation Based on Polynomial Expansion”中進行了解釋.
import numpy as np
import cv2
import matplotlib.pyplot as plt
cap = cv2.VideoCapture('test.mp4')
ret, frame1 = cap.read()
prvs = cv2.cvtColor(frame1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255
while(1):
ret, frame2 = cap.read()
next = cv2.cvtColor(frame2,cv2.COLOR_BGR2GRAY)
flow = cv2.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
hsv[...,0] = ang*180/np.pi/2
hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
bgr = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
cv2.imshow('frame2',bgr)
k = cv2.waitKey(30) & 0xff
if k == 27:
break
elif k == ord('s'):
cv2.imwrite('opticalfb.png',frame2)
cv2.imwrite('opticalhsv.png',bgr)
prvs = next
cap.release()
cv2.destroyAllWindows()
版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。
工作时间:8:00-18:00
客服电话
电子邮件
admin@qq.com
扫码二维码
获取最新动态