如何进行视频流目标检测与跟踪？ 题主准备做一个视频流的目标检测与跟踪，目标物体可以是提前给定的物体图像，又或者可以是用户在看视频过程中框选的物体。目前我考虑使用不变性特征来做，尝试了SURF算法，不过效果不佳，对于动态的物体会跟丢。求知乎上大牛的解答。最好能做到实时跟踪。 视频流目标检测和追踪一直是计算机视觉领域的热点问题。 一般来说，生成关于目标的轨迹需要随着时间的推移始终跟进识别同一目标，即使在视觉外观或运动动力学发生突然变化的情况下，也是如此。然而，当目标被部分或完全遮挡时，要做到这一点就会更困难。通常来说，在附近有长时间的遮挡，或视觉上有引人注目的物体等极具挑战性的情况下，即使是食肉动物或拥有强大视觉系统的人类，也经常会失去对目标的跟踪。 针对这一问题，您可以选择使用NVIDIA DeepStream SDK，它提供了 GPU 加速多目标跟踪器（MOT）。最新版 DeepStream SDK 6.2 发布后，多目标跟踪器更是有了显著的提升，有效地解决了具有挑战性的遮挡问题。利用基于深度神经网络的重新识别（ReID）模型进行目标匹配和关联，来实现这一点。NvDCF 现已可配置使用 ReID 模型，对可能经历长时间遮挡或较长时间错过检测的目标提高关联性。 行人追踪 当技术走出实验室，应用在日常生活中时会产生什么样的效果呢？是时候在一些有趣的场景中使用这些目标跟踪器，生成目标的轨迹并检验效果了。 首先是一个行人跟踪用例。使用了 PeopleNet v2.6 检测器，上面装配了不同类型的物体跟踪器。检测器配置参数和跟踪器参数都针对 PeopleNet v2.6 进行了调整。 在视频 1 中，对 PeopleNet 、NvSORT、NvDeepSORT 和 NvDCF 的实时感知结果以顺时针方向显示，用于并排比较。不同的人和边界框（bbox）为了更容易识别，用了不同的颜色绘制，并且只有当场景中存在相应的目标时，才会显示颜色编码的轨迹。视频是以 x0.5 的速度拍摄的，以便于比较，但实际数据是实时生成的。 bbox 顶部的标签（例如[21]: 80 (0.24)) 显示的是个人 ID （例如 21)， 跟踪年龄（例如 80) 和跟踪置信度（例如 0.24)。检测器配置参数针对每种跟踪器类型进行不同配置，以获得更好的跟踪精度。
https://www.zhihu.com/video/0 视频 1：室内大堂的行人追踪 使用相同的检测模型时，并排的视觉比较使您能够获得不同对象跟踪器类型的行为和质量的定性见解。NvDCF 跟踪器具有最高的精度，因此我们在视频 2 中更仔细地显示了其跟踪结果。
https://www.zhihu.com/video/ 视频 2：NvDCF 跟踪器在完全遮挡的情况下跟踪行人 下方图 1 的场景中央有一个大柱子，会导致走在后面的人长时间被完全遮挡。对于任何目标检测或跟踪系统来说，这都是一个特别具有挑战性的场景。一些检测错误包括部分或双重检测和遗漏检测，根据背景和物理环境的不同，可能会非常频繁地发生。
图 1：样本检测错误：有两个人的边界框、遗漏检测和部分检测 幸好，新引入了基于 ReID 的目标重新关联，NvDCF 跟踪器可以成功跟踪大多数人（视频 3），即使他们在柱子后面经历了完全遮挡。它不仅在许多帧之后重新关联柱子前后的相同对象，而且还恢复了由柱子引起的遗漏检测（漏报率）。 一个更具挑战性的场景是，除了这种环境遮挡之外，还有许多其他目标的遮挡（视频 3）。这种遮挡产生不同程度的部分遮挡，其中检测到的目标边界框的大小和纵横比，在短时间内会显著变化。这给目标匹配和跟踪中的关联带来了挑战。
https://www.zhihu.com/video/ 视频3：NvDCF 跟踪器在完全和部分遮挡情况下对行人进行跟踪 尽管存在这些挑战，可以看到 NvDCF 跟踪器在大多数情况下只需几个 ID 开关即可执行鲁棒跟踪。在目标离开场景之后，目标跟踪就会被配置为立即终止。视频 4 中离开场景的一些目标，在重新进入后按照计划被分配了不同的 ID。 仔细观察图 1 和视频 3 中的目标 ID [3]，如图 2和视频 3 所示。在整个行程中，他多次经历严重的完全和部分遮挡，但他从一开始就一直被跟踪，直到离开现场。
图 2：穿着白衬衣的目标 ID [3] 的人在视频 3 中的四张快照 视频 4 显示了跟踪器内部使用的目标模板，其中提取了特征，以及同一目标的相关性响应图。紫色的“x”标记显示附近的目标位置，而黄色的“+”标记显示当前目标位置。
https://www.zhihu.com/video/ 视频 4：（左）跟踪器使用的图像模板；（右）目标周围的相关性响应 这些结果是使用相对简单的基于 ResNet-10 的 ReID 模型生成的。事实上，为了获得更好的结果，还可以尝试更高级的自定义 ReID 模型。 DeepStream 6.2 中的 NvDCF 跟踪器是一款先进的多目标跟踪器，在精度和性能之间取得了很大的平衡。在 MOT17 Challenge 排行榜上，您可以看到学术界和工业界都积极提交了许多跟踪器。NvDCF 跟踪器在 MOT17 排行榜上显示为 NvMOT _ DSv62 型，是实时生成输出的在线跟踪器中的顶级跟踪器之一。 车辆跟踪 对于车辆跟踪用例，我们使用 TrafficCamNet 带有 DeepStream 多目标跟踪器的探测器。我们使用了一个典型的车辆交通监控系统的场景进行测试，该系统俯瞰着一个繁忙的十字路口。有大小灯杆和交通信号杆，造成了大量遮挡。相对较少的摄像机有利位置更加剧了遮挡问题，导致了对其他车辆的许多遮挡。此外，道路上的植被也增加了场景的复杂性。 由于交通杆和树木的存在，车辆会发生部分和完全遮挡，导致大量的漏检和错误检测。您可以在并排视频中看到，不同类型的目标跟踪器如何处理这些具有挑战性的情况（视频 5）。该视频是以 x0.4 的速度拍摄的，但实际数据是实时生成的。
https://www.zhihu.com/video/ 视频 5：繁忙十字路口的车辆跟踪 在视频的左上角，显示了 TrafficCamNet 检测器的对象框，您可能会注意到检测噪音。其中包括检测到的 bbox 中的抖动、在单个 bbox 中捕获多个对象的双重检测、由于遮挡而导致的部分检测等等。 当车辆在交通杆后被遮挡时，这些检测误差和噪声会变得更加严重。要了解 DeepStream 多对象跟踪器如何处理这些噪声检测，请参阅视频 5 ，并在视频 6 中更仔细地了解 NvDCF 跟踪器的跟踪结果。 总之，如果您在尝试进行视频流目标检测和追踪，可以下载并试用 DeepStream SDK 6.2，体验为您的用例添加强鲁棒性高效的多对象跟踪器。（https://developer.nvidia.com/deepstream-sdk）
2024最新激活全家桶教程，稳定运行到2099年，请移步至置顶文章：https://sigusoft.com/99576.html
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。 文章由激活谷谷主-小谷整理,转载请注明出处：https://sigusoft.com/22096.html
