未分类 · 2021年10月28日

ICCV 2021 Oral | 清华提出AdaFocus：利用空间冗余性实现高效视频识别

转载自：AI科技评论   作者 | 王语霖

本文主要介绍我们被ICCV-2021会议录用为Oral Presentation的一篇文章：Adaptive Focus for Efficient Video Recognition。代码和预训练模型已经在Github上面放出，欢迎大家试用和吐槽。

论文链接：https://arxiv.org/pdf/2105.03245.pdf

代码和预训练模型链接：https://github.com/blackfeather-wang/AdaFocus

B站视频简介：https://www.bilibili.com/video/BV1vb4y1a7sD/

太长不看版：现有高效视频识别算法往往关注于降低视频的时间冗余性（即将计算集中于视频的部分关键帧），如图1 (b)。本文则发现，降低视频的空间冗余性（即寻找和重点处理视频帧中最关键的图像区域），如图1 (c)，同样是一种效果显著、值得探索的方法；且后者与前者有效互补（即完全可以同时建模时空冗余性，例如关注于关键帧中的关键区域），如图1 (d)。在方法上，本文提出了一个通用于大多数网络的AdaFocus框架，在同等精度的条件下，相较AR-Net (ECCV-2020)将计算开销降低了2.1-3.2倍，将TSM的GPU实测推理速度加快了1.4倍。

图1 AdaFocus与现有方法的对比

-1-

Introduction （研究动机及简介）

相较于图像，视频识别是一个分布范围更广、应用场景更多的任务。如下图所示，每分钟，即有超过300小时的视频上传至YouTube；至2022年，超过82%的消费互联网流量将由在线视频组成。自动识别这些海量视频中的人类行为、事件、紧急情况等内容，对于视频推荐、监控等受众广泛的实际应用具有重要意义。

图2 在线视频的规模

近年来，已有很多基于深度学习的视频识别算法取得了较佳的性能，如TSM、SlowFast、I3D等。然而，一个严重的问题是，相较于图像，使用深度神经网络处理视频通常会引入很大的计算开销。如下图所示，将ResNet-50应用于视频识别将使运算量（FLOPs）扩大8-75倍。

图3 视频识别模型计算成本较高

因此，一个关键问题在于，如何降低视频识别模型的计算开销。一个非常自然的想法是从视频的时间维度入手：一方面，相邻的视频帧之间往往具有较大的相似性，逐帧处理将引入冗余计算；另一方面，并非全部视频帧的内容都与识别任务相关。现有工作大多从这一时间冗余性出发，动态寻找视频中的若干关键帧进行重点处理，以降低计算成本，如下图所示。

图4 基于时间冗余性的高效视频识别

但是，值得注意的一点是，我们发现，目前尚未有工作关注于视频中的空间冗余性。具体而言，在每一帧视频中，事实上只有一部分空间区域与识别任务相关，例如下图中的运动员、起跳动作、水花等。

图5 视频帧的空间冗余性

出于这一点，本文以回答图6中的两个问题作为主线：

  1. 空间冗余性是否可以用于实现高效视频识别？假如我们能找到每一视频帧中的关键区域，并将主要的计算集中于这些更有价值的部分，而尽可能略过其他任务相关信息较少的区域，理论上，我们就可以显著降低网络的计算开销（事实上，我们之前基于单张图像验证过类似做法的效果：NeurIPS 2020 | Glance and Focus: 通用、高效的神经网络自适应推理框架：https://zhuanlan.zhihu.com/p/266306870）。
  2. 空间、时间冗余性是否互补？若上述假设成立的话，它应当可与现存的、基于时间冗余性的工作相结合，因为我们完全可以先找到少数关键帧，再仅在这些帧中寻找关键的图像区域进行重点处理。
图6 使用空间冗余性进行高效视频识别

-2-

Method （方法详述）

首先为了回答问题1，我们设计了一个AdaFocus框架，其结构如下图所示

图7 AdaFocus 网络结构

此处我们假设视频帧按时间次序逐个输入网络，AdaFocus使用四个组件对其进行处理，

AdaFocus的训练分为三个阶段。在第一阶段，我们移除策略网络Π，随机选取局部patch，训练网络的分类部分最小化交叉熵损失，如下图所示。这一阶段意在训练网络从随机的patch序列中自适应提取信息，我们进而便可以根据分类部分网络的行为判断不同patch的重要性。

图8 训练阶段1

在第二阶段，我们引入随机初始化的策略网络 Π，将之建模为智能体（agent），固定分类部分，以强化学习算法对Π进行训练，优化目标为最大化折扣奖励函数。

图9 训练阶段2

关于强化学习的具体细节，请参见我们的paper。粗略而言，我们将选择patch建模为一个在若干个候选patch上的多类离散分布，每一类别的概率由策略网络 Π 的输出决定。训练时，我们随机从这个分布中采样出一个动作，并得到一个对应的奖励函数值（reward），reward较大的动作将受到鼓励，reward较低的动作则将受到抑制。我们将reward的值定义为给定动作在标签类别上的confidence上升的效果与随机选择patch所得效果的比较。

图10 策略网络的训练方法

在第三个阶段，我们固定阶段二学到的patch选择策略，对AdaFocus的分类部分进行微调。这一阶段并非必须，但可以些微提升网络的分类性能。

图11 训练阶段3

到目前为止，AdaFocus对每一帧视频花费的计算量是均等的，换言之，其只建模了空间冗余性。为了探索空间、时间冗余性是否互补的问题，我们提出了增强版本的AdaFocus，AdaFocus+。具体而言，我们加入了一个与 Π结构完全相同的策略网络 Π‘ ，用于判断对于每一帧视频是否激活 fl 处理由 Π选择出的局部patch，如下图所示。

图12 AdaFocus+

可以在训练阶段二中， Π  的训练完成后采用与其相同的强化学习算法进行训练。Π 的输出决定了一个二分类分布（Bernoulli distribution）的参数，训练时，我们随机从该分布中采样，并在采样得激活 fl 时将该操作所带来的标签类别上的confidence上升的效果与激活 fl的计算开销进行比较。只有当这一比较结果为正时，激活 fl 这一动作才会得到鼓励。

关于AdaFocus和AdaFocus+的更多细节，由于比较繁杂，不在这里赘述，可以参阅我们的paper~

-3-

Experiments （实验结果）

  • 与其他高效视频识别框架的比较（基于ActivityNet）
图13 ActivityNet
  • 在FCVID和Mini-Kinetics上的结果
图14 FCVID, Mini-Kinetics
  • 基于TSM部署AdaFocus的结果，包含理论计算开销、CPU和GPU的实际测速结果
图15 AdaFocus-TSM在something-something V1, V2上的实际效果
  • AdaFocus的可视化结果，绿色方框代表我们的方法在每一帧选择的patch，可见AdaFocus成功定位到视频帧中的任务相关区域，例如帆船、自行车、做三明治的手部动作、摩托、长笛、运动员等。
图16 可视化结果
  • 关于网络结构设计的细节、奖励函数的设计、习得patch选择策略的有效性，我们还提供了详尽的消融实验（Ablation Study）结果，细节请参阅我们的paper。

-4-

Conclusion（结语）

总结来说，这项工作的贡献点在于：

（1）在现有的基于时间冗余性的方法之外，思考利用空间冗余性实现高效视频识别；

（2）基于强化学习，提出了一种在理论上和实测速度上效果都比较明显的通用框架，AdaFocus；

（3）在五个数据集上进行了实验，包括与其他通用框架的比较和部署于现有高效识别网络（例如TSM）上的效果等。

欢迎大家follow我们的工作~。

@InProceedings{Wang_2021_ICCV,

author = {Wang, Yulin and Chen, Zhaoxi and Jiang, Haojun and Song, Shiji and Han, Yizeng and Huang, Gao},
title = {Adaptive Focus for Efficient Video Recognition},
booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
@InProceedings{Wang_2021_ICCV,
    author = {Wang, Yulin and Chen, Zhaoxi and Jiang, Haojun and Song, Shiji and Han, Yizeng and Huang, Gao},
     title = {Adaptive Focus for Efficient Video Recognition},
 booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
     month = {October},
      year = {2021}
}

您可能还喜欢...

9,384 条回复

  1. avaitor game说道：
    2024年11月18日 下午12:47

    Get ready to soar with Aviator! This popular game among Indian gamblers lets you cash out at just the right moment for big rewards. With demo mode options, you can perfect your strategy without any risk.

    play aviator online aviator real money game .

  2. aviator game online说道：
    2024年11月18日 下午3:48

    Aviator’s real-time betting style makes it a hit among India’s online gaming community. Aim to cash out before the plane flies away. With fast-paced rounds and huge multiplier potential, it’s a game of skill and excitement.

    online aviator game aviator crash game .

  3. Jeffreydab说道：
    2024年11月18日 下午4:23

    Chainlist: Simplifying Blockchain Connections
    In the evolving world of cryptocurrencies, Chainlist emerges as a pivotal tool for users looking to seamlessly interact with various blockchain networks. Understanding what Chainlist offers and how it operates can significantly enhance your crypto experience.
    chainlist base
    What is Chainlist?
    Chainlist is a user-friendly platform designed to facilitate easy connections between crypto wallets and blockchain networks. It caters to both new and experienced crypto users by providing a comprehensive list of blockchain networks that can be accessed with just a few clicks.

    Key Features of Chainlist
    Extensive Network List: Chainlist provides access to a vast selection of blockchain networks, ensuring users can connect to the network of their choice with ease.
    Seamless Wallet Integration: With Chainlist, users can connect their crypto wallets such as MetaMask efficiently, facilitating quick and secure transactions.
    User-Friendly Interface: The platform’s intuitive design ensures a smooth user experience, making it easy for beginners to navigate through different blockchain networks.
    Why Use Chainlist?
    Using Chainlist can considerably enhance your blockchain interactions by simplifying the network connection process. Here are some reasons why you should consider using Chainlist:

    Reduce Errors: Minimize the chances of manually inputting incorrect network details.
    Save Time: Quickly switch between networks without having to tweak wallet settings manually.
    Broaden Access: Easily explore lesser-known or new blockchains without extensive setup procedures.
    How to Connect Your Wallet Using Chainlist
    Visit the .
    Search for the blockchain network you wish to connect with.
    Click on the “Connect Wallet” button next to your desired network.
    Authorize the connection through your wallet’s interface, such as MetaMask.
    Begin your crypto transactions on the selected network.
    In summary, Chainlist serves as a crucial bridge between crypto users and blockchain networks, offering a simplified connection process that enhances both functionality and accessibility.

    Welcome to Chain List: Your Comprehensive Blockchain Directory
    Are you looking for a simple way to connect to different blockchain networks? Chain List offers a seamless solution, allowing users to discover and connect to thousands of blockchain networks rapidly and efficiently.

    What is Chain List?
    Chain List is a user-friendly platform designed to help cryptocurrency enthusiasts, developers, and investors explore various blockchain networks. With a focus on decentralized technologies, it provides a vast database of available networks, offering quick, reliable connections for users.

  4. HaroldGag说道：
    2024年11月18日 下午6:48

    Sех videos online watch for free from anywhere in the world without subscription and registration xxx animal porn movies

  5. Brianrof说道：
    2024年11月18日 下午7:07

    Профессиональная команда специалистов в области обрезки и спилки деревьев, готовая предоставить Вам качественные услуги на территориях приусадебных участков, дачных зон, скверов и парков. Наши мастера имеют опыт работы с различными породами деревьев и могут обеспечить Вам оптимальные решения для ухода за зелеными насаждениями Вашего участка http://everestlg.ru

  6. slot joker说道：
    2024年11月18日 下午7:27

    Asking questions are truly good thing if you are not understanding anything completely, except
    this article provides good understanding yet.

  7. Lazrrzh说道：
    2024年11月18日 下午8:35

    Пошаговая инструкция по безопасной покупке диплома о высшем образовании

  8. Allied-Machine-Engineering说道：
    2024年11月18日 下午10:28

    Amazing! Your site has quite a few comment posts. How did you get all of these bloggers to look at your site I’m envious! I’m still studying all about posting articles on the net. I’m going to view pages on your website to get a better understanding how to attract more people. Thank you!

  9. Trefcuf说道：
    2024年11月18日 下午11:01

    Можно ли купить аттестат о среднем образовании? Основные рекомендации

  10. Andrepes说道：
    2024年11月19日 上午12:12

    Логопед онлайн проведет диагностику, поможет поставить звуки, проработать дислексию и дисграфию, устранить задержки речевого развития и обогатить словарный запас онлайн логопед для детей

  11. Sazroly说道：
    2024年11月19日 上午12:32

    Купить диплом о среднем образовании в Москве и любом другом городе

  12. Cazrdnc说道：
    2024年11月19日 上午12:33

    Можно ли купить аттестат о среднем образовании, основные моменты и вопросы

  13. Sazrkkj说道：
    2024年11月19日 上午12:40

    Всё о покупке аттестата о среднем образовании: полезные советы

  14. Dnrtnvc说道：
    2024年11月19日 上午12:44

    Официальная покупка аттестата о среднем образовании в Москве и других городах

  15. Uazrgva说道：
    2024年11月19日 上午12:52

    Полезная информация как купить диплом о высшем образовании без рисков
    egormedvedev.ru/diplom-massazhista-kupit.html

  16. Oariorrrg说道：
    2024年11月19日 上午3:22

    Всё, что нужно знать о покупке аттестата о среднем образовании без рисков

  17. купить сейф для охотничьего ружья说道：
    2024年11月19日 上午4:16

    Тут можно преобрести где купить оружейный сейф оружейный сейф купить

  18. descargar1xslots说道：
    2024年11月19日 上午8:57

    Inicia sesion en 1xslots iniciar sesion y aprovecha bonos exclusivos.

  19. Iariorwun说道：
    2024年11月19日 上午9:03

    Официальная покупка диплома вуза с сокращенной программой в Москве

  20. best vapes说道：
    2024年11月19日 上午9:24

    Hi, I do think this is a great site. I stumbledupon it 😉 I will
    revisit once again since I bookmarked it. Money
    and freedom is the greatest way to change, may you be rich and
    continue to guide others.

  21. Cazrvgd说道：
    2024年11月19日 下午12:19

    Как быстро и легально купить аттестат 11 класса в Москве

  22. Lazraas说道：
    2024年11月19日 下午2:22

    Пошаговая инструкция по безопасной покупке диплома о высшем образовании

  23. Mazrhmy说道：
    2024年11月19日 下午3:04

    Купить диплом экономиста – оптимальное решение

  24. Eletank说道：
    2024年11月19日 下午4:10

    I kept on weeping that night till dawn I could neither stop weeping nor sleep then in the morning again, I kept on weeping where to buy priligy in usa

  25. Jesseabode说道：
    2024年11月19日 下午4:54

    Если вам нужно разместить тексты на различных платформах, лучше сделать это вручную, чтобы убедиться в качестве и релевантности публикаций. Это поможет избежать проблем и повысит доверие к вашим материалам.
    Заказать прогон хрумером и гса можно у нас по адресу телеграмм логин @pokras7777 либо в телеграмм чате —-> https://t.me/+HFxk5vlUvGEzM2Zi так же у нас есть скайп логин pokras7777 и групаппа присаединяйтесь !!!!

  26. Eanrkmn说道：
    2024年11月19日 下午6:01

    Реально ли приобрести диплом стоматолога? Основные этапы

  27. Andrepes说道：
    2024年11月19日 下午6:22

    Фриспины за регистрацию в казино онлайн может получить любой игрок.Точнее новичок.Фриспины за регистрацию в казино выдают только новичкам Фриспины за регу в казино

  28. HaroldGag说道：
    2024年11月19日 下午6:37

    Юридические услуги адвоката устное и письменное консультирование; подготовка документов правового характера: исков, заявлений, ходатайств, жалоб https://t.me/krakenadvo

  29. http://azing.co.kr/bbs/board.php?bo_table=free&wr_id=131764说道：
    2024年11月19日 下午7:45

    Hello! Quick question that’s completely off topic.
    Do you know how to make your site mobile friendly?
    My web site looks weird when viewing from my iphone 4. I’m
    trying to find a template or plugin that might be able to fix this issue.
    If you have any recommendations, please share. With thanks!

  30. MichaelKnise说道：
    2024年11月19日 下午10:52

    Начало собственного дела в сфере здравоохранения может быть выгодным и стабильным решением. Этот рынок всегда будет востребован, поскольку потребность в медицинских товарах и услугах не исчезает. Однако для успешного старта важно выбрать правильную модель, которая позволит использовать уже проверенные решения и избежать множества сложностей, характерных для создания бизнеса с нуля http://adelmo.com.sg/index.php?option=com_k2&view=itemlist&task=user&id=5089

  31. WallaceMib说道：
    2024年11月19日 下午11:04

    Профессиональная установка камина и дымохода качественно и выгодно с доставкой и установкой под ключ в Москве и Московской области Услуги по установке каминов под ключ

  32. Digital reputation protection说道：
    2024年11月19日 下午11:14

    Thanks for posting this. Looking for these resources 😀

  33. Sazrmuf说道：
    2024年11月20日 上午12:26

    Как получить диплом техникума с упрощенным обучением в Москве официально

  34. Dnrtchd说道：
    2024年11月20日 上午1:44

    Легальная покупка школьного аттестата с упрощенной программой обучения