【目标跟踪】相机运动补偿

本文介绍: 然后，使用矩阵的每个元素中的最小值作为我们的成本矩阵 C 的最终值。M ∈ R2×2 是包含仿射矩阵 a 的尺度和旋转部分的矩阵，并且 T 包含平移部分。在许多复杂的场景中，预测边界框的正确位置可能会由于相机运动而失败，这导致2个相关边界框之间的重叠率低，最终导致跟踪器性能低下。实际测试发现步骤 2 的提升是很大的，尤其是对突然发生抖动场景（如车子过减速带，急刹车等）。在经过上述式子更新过后，我们可以得到计算相机运动补偿后的目标状态与增益，此时把相应的 X，P 进行卡尔曼滤波的更新步骤。

Tracking-by-detection 成为 MOT 任务中最有效的范式。Tracking-by-detection 包含一个步骤检测步骤，然后是一个跟踪步骤。跟踪步骤通常由2个主要部分组成：

（1）运动模型和状态估计，用于预测后续帧中轨迹的边界框。卡尔曼滤波器 (KF) 是此任务的主流选择。

（2）将新帧检测与当前轨迹集相关联。对于步骤2：有2种主要的方法用于处理关联任务：

在许多复杂的场景中，预测边界框的正确位置可能会由于相机运动而失败，这导致2个相关边界框之间的重叠率低，最终导致跟踪器性能低下。

作者通过采用传统的图像配准来估计相机运动，通过适当地校正卡尔曼滤波器来克服这个问题。这里将此称为相机运动补偿（CMC）。

import numpy as np
import cv2
import os

img_dir = "F:\image_raw\"
n_frames = len(os.listdir(img_dir))
w, h = 1920, 1080
num = 1
prev = cv2.imread(img_dir + "{}.jpg".format(num))
prev_gray = cv2.cvtColor(prev, cv2.COLOR_BGR2GRAY)
color = np.random.randint(0, 255, (20000, 3))

for i in range(n_frames - 2):
    curr_path = img_dir + "{}.jpg".format(i + 2)
    curr = cv2.imread(curr_path)
    drawImg = curr.copy()
    mask = np.zeros_like(drawImg)

    prev_pts = cv2.goodFeaturesToTrack(prev_gray, maxCorners=200, qualityLevel=0.01, minDistance=30, blockSize=3)
    curr_gray = cv2.cvtColor(curr, cv2.COLOR_BGR2GRAY)
    curr_pts, status, err = cv2.calcOpticalFlowPyrLK(prev_gray, curr_gray, prev_pts, None)
    idx = np.where(status == 1)[0]
    prev_pts = prev_pts[idx]
    curr_pts = curr_pts[idx]
    m, _ = cv2.estimateAffinePartial2D(prev_pts, curr_pts)
    prev_gray = cv2.cvtColor(curr, cv2.COLOR_BGR2GRAY)
    for i, (new, old) in enumerate(zip(prev_pts, curr_pts)):
        a, b = new.ravel()
        c, d = old.ravel()
        mask = cv2.line(mask, (int(a), int(b)), (int(c), int(d)), color[i].tolist(), 2)
        drawImg = cv2.circle(drawImg, (int(a), int(b)), 4, color[i].tolist(), -1)
    showImg = cv2.add(drawImg, mask)
    cv2.imshow("show", showImg)
    cv2.waitKey(100)