This article proposes a new framework for understanding and representing related salient events in a video through visual semantic role labeling (VidSRL). It introduces the VidSitu benchmark, a large-scale video understanding data source with 29K 10-second movie clips, richly annotated with verbs and semantic roles every 2 seconds. The authors argue that their approach enables a more detailed and involved task than action classification and provides more precise definitions of extracted information than video captioning, aiming for a holistic understanding of complex videos.本文提出了一种新的框架，用于通过视觉语义角色标记（VidSRL）来理解和表示视频中的相关突出事件。它引入了 VidSitu 基准测试，这是一个具有 29K 10 秒电影剪辑的大规模视频理解数据源，每 2 秒用动词和语义角色进行丰富注释。作者认为，他们的方法可以实现比动作分类更详细、更复杂的任务，并且比视频字幕提供更精确的提取信息定义，旨在全面理解复杂的视频。

The framework requires models to predict sets of related salient events in a video, where each event consists of a verb and values (entities, locations, or other details) assigned to various roles relevant to that verb. It also involves co-referencing entities across events over the video duration and understanding how events affect each other over time.该框架要求模型预测视频中相关的显著事件集，其中每个事件由一个动词和分配给与该动词相关的各种角色的值（实体、位置或其他详细信息）组成。它还涉及在视频持续时间内跨事件共同引用实体，并了解事件如何随时间推移相互影响。

The VidSitu dataset is characterized by its diversity (large vocabulary of verbs and entities) and complexity (each video is annotated with 5 inter-related events, with an average of 4.2 unique verbs and 6.5 unique entities). Additionally, the dataset offers rich annotations, providing structured event representations with entity co-referencing and event-relation labels.VidSitu 数据集的特点是其多样性（动词和实体的大量词汇量）和复杂性（每个视频都有 5 个相互关联的事件注释，平均有 4.2 个独特的动词和 6.5 个独特的实体）。此外，该数据集还提供了丰富的注释，提供了具有实体共指和事件关系标签的结构化事件表示。

Baselines for evaluating performance on the VidSRL task are established using state-of-the-art network components, including video recognition models and transformers for encoding events in a video and verb-conditional decoding of roles. The evaluation methodology assesses crucial capabilities needed for VidSRL and establishes baselines using state-of-art components.评估 VidSRL 任务性能的基线是使用最先进的网络组件建立的，包括视频识别模型和用于对视频中的事件进行编码的转换器以及角色的动词条件解码。该评估方法评估了 VidSRL 所需的关键功能，并使用最先进的组件建立了基线。

The paper emphasizes the significant new challenges posed by the VidSitu dataset and the opportunity for future research to advance video understanding by addressing these challenges.本文强调了VidSitu数据集带来的重大新挑战，以及未来研究通过应对这些挑战来促进视频理解的机会。

这篇文章提出了一个新的框架，用于通过视觉语义角色标注（VidSRL）理解和表示视频中相关的显著事件。它介绍了VidSitu基准，这是一个大规模的视频理解数据源，包含29K个10秒钟的电影剪辑，每2秒钟用动词和语义角色丰富地注释一次。作者认为，他们的方法比动作分类任务更详细、更深入，并且比视频字幕提供的信息具有更精确的定义，旨在全面理解复杂的视频。

框架要求模型预测视频中一组相关的显著事件，其中每个事件由一个动词和分配给该动词相关角色的值（实体、位置或其他细节）组成。它还涉及到在视频持续时间内跨事件的实体共指以及理解事件随时间的影响。

VidSitu数据集的特点是其多样性（大量的动词和实体词汇）和复杂性（每个视频都注释了5个相互关联的事件，平均有4.2个唯一动词和6.5个唯一实体）。此外，数据集提供了丰富的注释，提供了具有实体共指和事件关系标签的结构化事件表示。

为评估VidSRL任务的性能，基线使用了最先进的网络组件，包括视频识别模型和变换器，用于编码视频中的事件以及基于动词的角色解码。评估方法评估了解决VidSRL所需的关键能力，并使用最先进的组件建立了基线。

文章强调了VidSitu数据集提出的重大新挑战，以及未来研究通过应对这些挑战来推进视频理解的机会。

不完全是。这篇文章提出的方法不仅仅是将视频转换为句子，然后判断两个文本事件之间的关系。而是通过一个更为复杂和结构化的框架来理解视频内容，这个框架被称为视觉语义角色标注（VidSRL）。具体来说，它涉及以下几个关键步骤：

1. 识别视频中的显著事件：对于视频中的每个关键片段（在VidSitu中，每2秒作为一个片段），模型需要识别出最显著的事件，并用一个动词来表示这个事件。

2. 分配语义角色：对于每个识别出的事件，模型还需要识别事件中的参与者（例如人或物体）、动作发生的位置、参与者之间的互动等，并将这些信息以语义角色的形式标注出来。每个角色对应视频中的一个实体或属性，如“攻击者”（Arg0）、“受害者”（Arg1）、事件发生的“位置”（ALoc）等。

3. 实体共指和事件关系：模型还要能够理解视频中跨时间发生的事件之间的逻辑关系，比如一个事件是另一个事件的结果或原因。同时，对于在多个事件中出现的同一个实体，模型需要能够识别出它们是同一个实体（实体共指）。

4. 事件关系：除了标注每个片段的事件和角色外，还需要标注事件之间的关系，比如因果关系（"Caused By"）、反应关系（"Reaction To"）、启用关系（"Enabled By"）等。

总的来说，这个方法比单纯的文本-文本关系判断要复杂得多，它要求模型不仅能理解视频中的行为和事件，还要能理解这些事件之间的逻辑和时序关系，以及视频中实体的身份和角色。这是一种更全面和深入的视频内容理解方法。

这张图展示了作者用于视觉语义角色标注（VidSRL）的基线模型。模型的目的是为了从视频中预测动词、语义角色和事件关系。这个过程包含以下步骤：

1. 步骤1：动词预测和视频表示学习

   • 使用视频特征提取器（例如，基于SlowFast网络）提取每个事件（E1, E2, E3, E4, E5）的视觉特征。
   • 对于每个2秒的视频片段（事件），使用分类器基于提取的特征预测一个主要动词（如“deflect”，“talk”，“leap”，“punch”）。

2. 步骤2(a)：上下文化事件表示

   • 使用变换器（Transformer）编码器对步骤1中提取的特征进行上下文化表示，为后续的语义角色预测提供基础。

3. 步骤2(b)：为预测动词解码语义角色

   • 这一步骤和步骤2(a)是联合训练的。给定步骤1中预测的动词，变换器解码器将生成对应动词的语义角色，如给定动词“deflect”，解码器生成的角色可能是“[Arg0] woman with shield [Arg1] boulder”。

4. 步骤3：事件关系预测

   • 为了预测视频中不同事件之间的关系，训练了一个独立的编码器，类似于步骤2(a)。它使用RoBERTa语言模型编码步骤2(b)中生成的动词和语义角色，然后将它们用于分类器以预测事件间的关系，例如“E3 is enabled by E1”。

整体来看，这个模型框架使用了最先进的网络组件来提取视频特征，编码事件，解码语义角色，以及预测事件间的关系。这不仅仅是在文本层面上分析语义角色和事件，而是从视频直接提取和理解复杂的行为和事件关系，这是对视频内容的深入理解。

这些段落描述了VidSRL（视觉语义角色标注）的任务，其旨在丰富现有视频分析工具的能力，使其能够通过视觉模型生成更丰富且结构化的复杂事件表示。具体来说，任务涉及以下几个主要部分：

1. 任务定义：
   VidSRL要求模型预测一系列相关的显著事件（用E表示），这些事件组成了视频中的一个情境。每个事件包含一个动词（vi）和相关的值（实体、位置等），这些值构成事件的角色或参数。这些动词和角色是从预定义的集合中选取的，并且在注释视频时，相同实体在不同事件中被共引用，以确保一致性。作者还定义了事件之间的关系，如因果关系（"Caused By"）、反应关系（"Reaction To"）等。

2. 显著事件的时间尺度：
   由于确定视频中什么构成一个显著事件通常是模糊和主观的，作者通过将显著事件的选择限制在固定时间间隔内来解决这个问题。他们观察到，2秒的时间间隔在描述事件和保持评价系统的客观性之间取得了良好的平衡。因此，对于每个10秒的视频剪辑，他们注释了5个事件，每个2秒标注一个。

3. 描述事件：
   事件通过动词和其参数来描述。动词从一组精选的动词库中选取，这个库提供了每个动词的一组角色。这些角色的值可以是自由文本，允许使用指称表达式来区分场景中的不同实体。了解一个视频可能需要综合多个视角或镜头中的部分信息。在VidSRL中，尽管2秒的剪辑足以分配动词和角色，但可能需要整个视频的信息，因为某些参与事件的实体可能在那2秒内被遮挡或不在摄像机视野内。

4. 跨事件共引用实体：
   在一个视频内，一个实体可能参与多于一个的事件。模型需要能够识别并理解这些实体在不同事件中的共引用关系，即使实体在这些事件中扮演不同的角色。

5. 事件关系：
   了解视频意味着不仅要识别单个事件，还要理解这些事件如何相互影响。事件关系不仅包括因果关系，还包括“启用”（一个事件使另一个事件成为可能，但不直接导致它）和反应关系（一个事件作为对另一个事件的回应）。

综上所述，VidSRL任务是通过分析视频片段中的动作和事件以及它们之间的关系来进行视频内容的深层理解。这一过程涉及到对视频中的动作和事件进行结构化的识别、分类和关系映射，而不仅仅是传统的动作识别或物体检测。

不完全是这样。虽然确实涉及到为视频中的事件生成文本描述，但这个过程更为复杂和结构化。根据您提供的段落和之前的讨论，这是VidSRL任务的大致步骤：

1. 事件识别与描述：首先，模型会观看视频并识别出每个固定时间间隔（在这个框架中是每2秒）内的显著事件。对于每个事件，模型会从预定义的动词集合中选择一个动词，并确定与该事件相关的语义角色（例如实体、工具、地点等），这些角色通过文本描述的形式进行标注。

2. 文本描述生成：一旦确定了事件和它们的角色，模型就会生成描述这些事件的文本描述，其中包括动词和每个角色的具体文本值。

3. 实体共引用：模型需要能够识别并追踪同一个实体在视频不同事件中的出现，并确保在文本描述中使用一致的引用来表示这个实体。

4. 事件关系判断：在生成了事件的文本描述之后，模型会评估这些事件之间的关系。事件关系并不是通过简单地比较两个文本描述来判断的，而是需要理解事件在视频中如何随时间发展和相互作用。

所以，整个过程不仅仅是对两个文本描述进行比较，而是一个深入的视频分析过程，涉及到事件的识别、描述、追踪以及关系评估。这意味着模型必须能够从视觉内容中直接理解和推理出事件之间的复杂动态关系，而不是单纯地基于生成的文本描述。

The article titled "Hierarchical Self-supervised Representation Learning for Movie Understanding" discusses a novel approach to understand movies by employing a hierarchical self-supervised learning strategy. The authors, Fanyi Xiao, Kaustav Kundu, Joseph Tighe, and Davide Modolo from AWS AI Labs, aim to improve video representation learning which has traditionally focused on action recognition, by addressing the complex reasoning required for movie understanding.这篇题为“电影理解的分层自我监督表征学习”的文章讨论了一种通过采用分层自我监督学习策略来理解电影的新方法。来自 AWS AI Labs 的作者 Fanyi Xiao、Kaustav Kundu、Joseph Tighe 和 Davide Modolo 旨在通过解决理解电影所需的复杂推理来改进传统上专注于动作识别的视频表示学习。

Here’s a summary of the paper’s content and methodology:以下是论文内容和方法的摘要：

1. Introduction:介绍：

   • Self-supervised learning (SSL) for videos usually emphasizes action recognition. This research, instead, focuses on movies which involve complex reasoning across multiple levels—from simple actions to high-level semantic narratives.视频的自监督学习 （SSL） 通常强调动作识别。相反，这项研究的重点是涉及多个层面的复杂推理的电影——从简单的动作到高级语义叙事。

2. Related Work:相关工作：

   • The authors discuss various approaches to self-supervised video representation learning and contrast their work with previous research, highlighting the unique requirements of learning from movies.作者讨论了自我监督视频表示学习的各种方法，并将他们的工作与以前的研究进行了对比，强调了从电影中学习的独特要求。

3. Hierarchical SSL for Movies:电影的分层 SSL：

   • They propose a hierarchical model consisting of a low-level video feature backbone and a high-level transformer contextualizer.他们提出了一个分层模型，该模型由低级视频功能主干和高级 transformer 上下文化器组成。
   • The model is trained using contrastive learning for the video backbone and mask prediction for the video feature contextualizer.该模型使用对比学习进行视频主干训练，并使用视频特征情境化器的掩码预测进行训练。

4. Experiments:实验：

   • The authors evaluate their pretraining strategies on the VidSitu benchmark and the Long-form Video Understanding (LVU) benchmark, showing that their methods lead to improved performance on multiple tasks.作者在 VidSitu 基准测试和长格式视频理解 （LVU） 基准测试上评估了他们的预训练策略，表明他们的方法可以提高多项任务的性能。

5. Conclusion:结论：

   • The paper concludes with a discussion of the potential of hierarchical self-supervised pretraining tailored for movies and hopes that it will spur further research in the area.本文最后讨论了为电影量身定制的分层自我监督预训练的潜力，并希望它能促进该领域的进一步研究。

The paper presents a comprehensive self-supervised learning framework that addresses the complexity of movie content, offering significant improvements over previous state-of-the-art methods in various movie understanding tasks. The key contribution is the separate pretraining of each level of the hierarchical model, allowing for specialized learning suitable for different aspects of movie understanding, such as learning low-level visual features from YouTube-style action clips and high-level contextualization from actual movie data.本文提出了一个全面的自我监督学习框架，该框架解决了电影内容的复杂性，在各种电影理解任务中比以前最先进的方法提供了显着改进。关键贡献是对分层模型的每个级别的单独预训练，允许适合电影理解不同方面的专门学习，例如从 YouTube 风格的动作剪辑中学习低级视觉特征和从实际电影数据中学习高级情境化。

The paper "Hierarchical Self-supervised Representation Learning for Movie Understanding" addresses the problem of learning rich video representations suitable for the complex task of understanding movies. Traditional self-supervised video representation learning methods mainly focus on action recognition and often do not capture the higher-level semantic and narrative understanding required for movies.论文“用于电影理解的分层自监督表征学习”解决了学习适合理解电影的复杂任务的丰富视频表征的问题。传统的自监督视频表示学习方法主要集中在动作识别上，往往不能捕捉到电影所需的更高层次的语义和叙事理解。

Problems Addressed:解决的问题：

1. Need for Rich Representations: Movies contain complex events and narratives that require understanding at multiple levels, not just the recognition of individual actions.需要丰富的表现形式：电影包含复杂的事件和叙事，需要在多个层面上理解，而不仅仅是对单个行为的认可。
2. Data Annotation Challenge: Annotating large-scale video datasets for complex movie tasks is difficult and expensive, and most available datasets like Kinetics are not sufficient for the task.数据注释挑战：为复杂的电影任务注释大型视频数据集既困难又昂贵，而且大多数可用的数据集（如 Kinetics）都不足以完成任务。
3. Lack of Contextualization: Prior models do not adequately incorporate contextual information across video frames, which is essential for understanding the sequence of events in movies.缺乏情境化：以前的模型没有充分整合跨视频帧的情境信息，这对于理解电影中的事件顺序至关重要。

Solutions Proposed:建议的解决方案：

1. Hierarchical Pretraining Strategy: The authors propose a two-level hierarchical model where the low-level video feature backbone is pretrained for action recognition using contrastive learning, and the higher-level transformer contextualizer is pretrained for high-level understanding using a mask prediction task.分层预训练策略：作者提出了一个两级分层模型，其中使用对比学习预训练低级视频特征骨干进行动作识别，而高级转换器情境化器使用掩码预测任务进行预训练以进行高级理解。
2. Use of Different Datasets for Different Levels: To take advantage of the most suitable dataset for each level, the backbone is pretrained on large datasets like YouTube-style action clips, while the contextualizer is pretrained on richer movie datasets.针对不同级别使用不同的数据集：为了利用每个级别最合适的数据集，主干在大型数据集（如 YouTube 风格的动作剪辑）上进行预训练，而情境化器则在更丰富的电影数据集上进行预训练。

Effects Observed:观察到的效果：

1. Improved Performance: The self-supervised pretraining strategies led to significant improvements across all tasks and metrics on the VidSitu benchmark, such as increasing the semantic role prediction from 47% to 61% CIDEr scores.提高性能：自监督预训练策略使 VidSitu 基准测试中的所有任务和指标都得到了显着改进，例如将语义角色预测从 47% 提高到 61% CIDEr 分数。
2. Effective Use of Contextualized Features: The contextualized event features were effective in tasks from the LVU benchmark when used alone or combined with instance features, demonstrating their complementarity.有效使用情境化特征：当单独使用或与实例特征结合使用时，情境化事件特征在 LVU 基准测试中的任务中是有效的，证明了它们的互补性。
3. Self-supervised Pretraining Advantages: The hierarchical self-supervised pretraining enabled the use of different data sources for different levels of the model without the need for expensive annotation.自监督预训练的优势：分层自监督预训练允许对模型的不同级别使用不同的数据源，而无需昂贵的注释。

In summary, the paper solves the problem of movie understanding by introducing a self-supervised learning approach that is tailored to the complexity of movies. It uses hierarchical models pretrained on diverse datasets to extract both low-level and high-level features, significantly outperforming the previous methods in benchmark tasks related to movie understanding.总之，本文通过引入一种针对电影复杂性量身定制的自我监督学习方法，解决了电影理解的问题。它使用在不同数据集上预训练的分层模型来提取低级和高级特征，在与电影理解相关的基准任务中明显优于以前的方法。

在视频理解中，缺乏情境化（Lack of Contextualization）指的是以前的模型未能有效地利用视频中的时间和情境信息来理解场景或事件。视频中的每一帧不是孤立存在的；它们彼此关联，共同讲述一个故事或展现一个连贯的活动。因此，理解视频内容不仅需要识别单个帧中的对象和动作，还需要理解这些对象和动作随时间的变化以及它们之间的相互作用。

例如，在电影中，一个角色的行为可能是对前一个场景中事件的直接回应。如果模型只关注单个帧中的动作而不考虑前后帧的情境，它可能无法准确理解该动作的真实意图和情感。此外，不同场景之间可能存在因果关系，一个事件可能导致另一个事件的发生。没有这种情境化的理解，模型可能就无法捕捉到这种动态关系。

为了解决这一问题，本文提出了一个分层的自监督学习策略，其中高级别的转换器（transformer contextualizer）通过掩码预测任务进行预训练，以学习如何结合多个连续剪辑中的信息，以便更好地理解视频中的高级语义和叙事。这意味着，模型不仅能识别视频中的行为和事件，而且能够理解这些行为和事件是如何随时间发展的，它们之间又是如何相互关联的。这种方法允许模型捕捉到更丰富的情境信息，从而提高对复杂视频内容，如电影的理解。

这张图解释了论文中提出的分层预训练方法的两个主要部分：

左边部分展示了对比学习用于预训练视频特征提取骨架（Video Feature Backbone）的过程。在这个过程中，同一个视频的两个剪辑生成的特征（v_anchor 和 v_positive）被拉近，而来自另一个视频的剪辑生成的特征（v_negative）则被推开。这种方法通过比较不同视频剪辑的特征，促进模型学习视觉特征间的差异。

右边部分展示了使用掩码预测预训练视频特征上下文化器（Video Feature Contextualizer）的过程。在一个序列的5个“token”（视频剪辑的特征表示）中，v2 和 v3 被随机遮盖，然后模型通过预测被遮盖的“token”的内容来学习。这个过程类似于在自然语言处理中用于BERT训练的掩码语言模型。在这里，输出（v̂_2 和 v̂_3）被调整以最小化它们和原始输入（v2 和 v3）之间的距离。这种方法通过预测被遮盖的特征，促进模型捕获视频剪辑之间的高级上下文关系。

整体来看，图示解释了如何单独地预训练每一层，使得低层能够捕捉基础的视觉特征，而高层则能够学习上下文信息，为理解复杂视频内容，如电影中的连贯事件和叙事，提供了必要的能力。

这张图是论文中的Figure 3, 展示的是“Object Transformer++”模型的概览。模型用于增强电影视频理解，它结合了检测（Detect）和跟踪（Track）视频中的对象，并利用这些对象的特征来模拟它们之间的交互。这是通过上方的路径（top pathway）完成的，该路径将检测和跟踪得到的对象特征输入到一个对象转换器（Object Transformer）。

此外，这个模型还提出了一个新颖的增强方法，即底部路径（bottom pathway），它引入了场景级别的事件表示（Scene Representations），由预先训练好的上下文化器（Contextualizer）生成。这是为了模拟检测到的对象之外的场景背景。

主要组件包括：

• 视频骨架（Video Backbone）：负责从原始视频帧中提取视觉特征。
• 对象转换器（Object Transformer）：用于理解和建模视频中对象之间的动态关系。
• 上下文化器（Contextualizer）：预训练模块，用于理解每个场景的更广泛背景和上下文信息。

这个增强的模型（Object Transformer++）的关键创新是它不仅分析视频中的个体对象，还考虑了场景的整体上下文，提供了一种更全面的视频理解方法。这种方法特别适用于电影，因为电影通常包含复杂的叙事元素和跨时间的连续性，仅仅理解单个对象是不够的。通过结合个体对象的特征和整个场景的上下文，这个模型能够更好地捕捉和理解视频内容的深层含义。

The paper you're referring to employs a hierarchical self-supervised learning approach for video understanding, which involves two levels of pretraining: contrastive learning for the low-level feature backbone and mask prediction for the higher-level feature contextualizer.你所指的这篇论文采用了一种分层的自监督学习方法来理解视频，它涉及两个层次的预训练：低级特征骨干的对比学习和高级特征情境化的掩码预测。

For the contrastive learning part, the loss function commonly used is the InfoNCE loss, which is designed to bring representations of different augmented views of the same data point (positive pairs) closer together in the representation space while pushing away representations of different data points (negative pairs).对于对比学习部分，常用的损失函数是 InfoNCE 损失，它旨在使同一数据点的不同增强视图（正对）的表示在表示空间中更紧密地结合在一起，同时推开不同数据点（负对）的表示。

For the mask prediction task, which is inspired by methods used in natural language processing like BERT, the loss function is typically a cross-entropy loss that compares the predicted representation of a masked token with the actual representation. The goal is to minimize the distance between the model's prediction for the masked-out tokens and the actual tokens.对于掩码预测任务，该任务受 BERT 等自然语言处理中使用的方法启发，损失函数通常是一种交叉熵损失，它将掩码令牌的预测表示与实际表示进行比较。目标是最小化模型对屏蔽令牌的预测与实际令牌之间的距离。

To elaborate more on the mask prediction loss function, it might take the following form:为了更详细地介绍掩码预测损失函数，它可能采用以下形式：

$L_{mp} = -\log \frac {\exp (\hat {v}_t{\cdot }v_t/\tau )}{\exp (\hat {v}_t{\cdot }v_t/\tau )+\sum _{i=1}^{K}\exp (\hat {v}_t{\cdot }p_i/\tau )}$

Here, $\hat {v}_t$ is the predicted representation for the masked token, $v_t$ is the actual representation, $\tau$ is a temperature scaling parameter, and $p_i$ represents a set of negative examples. This formula ensures that the predicted representation $\hat {v}_t$ is similar to the actual representation $v_t$ and dissimilar to the negative samples $p_i$. The loss function encourages the model to correctly predict the content of the masked tokens by using the context provided by the unmasked tokens.这里， $\hat {v}_t$ 是掩码令牌的预测表示， $v_t$ 是实际表示， $\tau$ 是温度缩放参数，表示 $p_i$ 一组否定示例。该公式确保预测的表示 $\hat {v}_t$ 与实际表示 $v_t$ 相似，而与负样本 $p_i$ 不同。损失函数鼓励模型使用未屏蔽令牌提供的上下文正确预测屏蔽令牌的内容。

Please check your document for the exact loss functions, as they can vary and may include additional regularization terms or variations specific to the authors' implementation.请查看您的文档以获取确切的损失函数，因为它们可能会有所不同，并且可能包含特定于作者实现的其他正则化术语或变体。

The text is discussing a hierarchical self-supervised learning (SSL) approach for movie understanding that operates at two levels:本文正在讨论一种用于电影理解的分层自监督学习 （SSL） 方法，该方法在两个层面上运行：

1. Low-level CNN video feature backbone: This is pretrained using self-supervised contrastive learning, which captures intra-instance invariances. It's designed to extract low-level appearance and motion cues from raw video frames.低级 CNN 视频特征主干：这是使用自监督对比学习进行预训练的，该学习可捕获实例内的不变性。它旨在从原始视频帧中提取低级外观和运动线索。

2. High-level transformer feature contextualizer: This component is pretrained using an event-level mask prediction task inspired by the NLP literature. Unlike approaches that apply mask predictions to learn spatial arrangements of video patches or objects, this work focuses on learning the temporal contextualization for event representations. It leverages the context provided by unmasked tokens to predict the masked tokens.高级转换器功能上下文化器：此组件使用受 NLP 文献启发的事件级掩码预测任务进行预训练。与应用掩码预测来学习视频斑块或对象的空间排列的方法不同，这项工作的重点是学习事件表示的时间情境化。它利用未屏蔽的令牌提供的上下文来预测屏蔽的令牌。

The key point here is the separation of pretraining between the video backbone and the feature contextualizer to allow each to learn features that are meaningful for the task of movie understanding. This decoupling allows the model to be pretrained on different datasets suitable for different levels, thus optimizing the model's performance without the need for extensive datasets.这里的关键点是将视频主干和功能上下文化器之间的预训练分开，以允许每个角色学习对电影理解任务有意义的功能。这种解耦允许模型在适合不同级别的不同数据集上进行预训练，从而优化模型的性能，而无需大量数据集。

The benefits of this approach include:这种方法的优点包括：

• A simpler and more scalable method as it does not require an object detector or synchronized video-narration pairs.一种更简单、更具可扩展性的方法，因为它不需要对象检测器或同步的视频旁白对。
• The ability to use the most appropriate dataset for each level of the hierarchy, leading to better specialization.能够为层次结构的每个级别使用最合适的数据集，从而实现更好的专业化。
• Reduced reliance on having large-scale datasets for the target domain, avoiding the need to train on hundreds of thousands of movies.减少了对目标域大规模数据集的依赖，避免了对数十万部电影进行训练的需要。

This SSL approach for movies is considered an advancement over previous methods that might pretrain the full model on a single task and dataset, offering more flexibility and potential efficiency in learning.这种用于电影的SSL方法被认为是对以前方法的进步，这些方法可能会在单个任务和数据集上预训练整个模型，从而在学习方面提供更大的灵活性和潜在的效率。

The provided text describes the architecture of a hierarchical model for movie understanding, which consists of two main components:提供的文本描述了用于电影理解的分层模型的体系结构，该模型由两个主要组件组成：

1. 3D CNN as the low-level video feature backbone: This part of the model is responsible for extracting features from short video clips (2-second clips). It uses a modified version of the Slow-only network, termed as Slow-D, which has denser inputs and a modified temporal kernel to better capture the motion in videos.3D CNN 作为低级视频特征骨干：模型的这一部分负责从短视频剪辑（2 秒剪辑）中提取特征。它使用仅慢速网络的修改版本，称为 Slow-D，它具有更密集的输入和修改的时间内核，以更好地捕捉视频中的运动。

2. Transformer encoder (TxE) and decoder (TxD) for feature contextualization and natural language generation: This part of the model builds on the extracted video features and further processes them to understand the context within and across video clips. It uses a transformer architecture with three layers of multi-head self-attention with residual connections. For the input, it applies a learned position embedding which has shown to work better than the sinusoidal embedding used in the previous work.Transformer 编码器 （TxE） 和解码器 （TxD） 用于特征上下文化和自然语言生成：模型的这一部分建立在提取的视频特征之上，并进一步处理它们以了解视频剪辑内部和跨视频剪辑的上下文。它采用变压器架构，具有三层多头自注意力和残余连接。对于输入，它应用了一个学习到的位置嵌入，该嵌入已被证明比之前工作中使用的正弦嵌入效果更好。

In this architecture, the features extracted by the video backbone ($v_t$) are contextualized by the transformer encoder and decoder. This contextualization allows for a richer understanding of the sequence of events in a video, as it can model the interactions between consecutive video clips. The contextualized features can then be used for various tasks, such as event relation prediction or semantic role prediction.在此体系结构中，视频主干网 （ $v_t$ ） 提取的特征由 transformer 编码器和解码器上下文化。这种情境化可以更丰富地理解视频中的事件序列，因为它可以对连续视频剪辑之间的交互进行建模。然后，上下文化特征可用于各种任务，例如事件关系预测或语义角色预测。

The transformer decoder incorporates both self-attention and cross-attention modules:变压器解码器包含自注意力和交叉注意力模块：

• The self-attention module operates on text inputs only, which likely refers to the process of understanding the relationships and dependencies within the sequence of textual tokens.self-attention 模块仅对文本输入进行操作，这可能是指理解文本标记序列中的关系和依赖关系的过程。
• The cross-attention module is used by text tokens to query visual tokens as keys, allowing the model to integrate information from the visual domain.文本标记使用交叉注意力模块将视觉标记作为键进行查询，从而允许模型集成来自视觉域的信息。

Overall, this hierarchical model is designed to leverage both visual and textual information, enabling a deep understanding of movies by capturing not just individual frames but also the temporal dynamics and narrative structure across a sequence of video clips.总体而言，这种分层模型旨在利用视觉和文本信息，通过捕获单个帧以及一系列视频剪辑中的时间动态和叙事结构，从而深入理解电影。

The section describes the contrastive pretraining approach used for the video backbone of the hierarchical model. Here's a summary of what the section covers:本节介绍用于分层模型的视频主干的对比预训练方法。以下是本节涵盖内容的摘要：

1. Contrastive Pretraining of Video Backbone:视频主干网的对比预训练：

   • The model uses instance discrimination contrastive learning, shown to be effective for learning visual semantics by capturing variations within instances of the same class.该模型使用实例辨别对比学习，通过捕获同一类实例中的变化，证明对学习视觉语义是有效的。
   • They experimented with two methods, CVRL and MoDist:他们尝试了两种方法，CVRL和MoDist：
     • CVRL: Uses InfoNCE loss to bring representations of different clips from the same video closer and push apart clips from different videos.CVRL：使用 InfoNCE 丢失使同一视频中不同剪辑的表示形式更接近，并将不同视频中的剪辑推开。
     • MoDist: Aims to learn motion-sensitive features by distilling motion information into the visual backbone.MoDist：旨在通过将运动信息提炼到视觉主干中来学习运动敏感特征。

2. Contextualizer: Mask Prediction Pretraining:情境化器：掩码预测预训练：

   • The transformer encoder is pretrained using a mask prediction task similar to what's used in BERT.转换器编码器使用类似于 BERT 中使用的掩模预测任务进行预训练。
   • The task involves masking out a certain number of visual tokens and predicting them based on the remaining unmasked tokens.该任务涉及屏蔽一定数量的视觉令牌，并根据剩余的未屏蔽令牌进行预测。
   • The learning objective (shown in Equation 1) encourages the predicted masked tokens ( \hat{v}_学习目标（如公式 1 所示）鼓励预测的掩码标记 （ \hat{v}_