Social Department 如 何 构 建 具 备 文 化 感 知 的 视 频 发 现 功 能

媒体报道 AWS 机器学习 原文语言:英文

这 篇 文 章 由 AWS 的 Mariah Miller 和 Sirajus Salekin 以 及 Social Department 的 Nicholas Chase 共 同 撰 写 。

全文

Social Department 如何构建具备文化感知的视频发现

本文由 AWS 的 Mariah Miller 和 Sirajus Salekin 以及 Social Department 的 Nicholas Chase 共同撰写。

娱乐营销团队管理着数万段视频资产,遍布工作室、网络和流媒体应用。大多数活动都始于相同的视频发现难题:寻找能够引起观众共鸣的那一瞬间。当简报到达时,计时开始,而他们需要的几乎从来不是数据库能够描述的东西。

语义搜索本身有上限:它只能回答你能表达的问题。比如让它找一个手持咖啡杯的角色,它会在千集剧集中找到每一个咖啡杯。实际上驱动娱乐活动的查询根本不像那样,它们是判断性的问题:哪个片段会走红,哪句台词值得引用,哪一帧适合作为 meme。

这些问题无法直接输入搜索框。要回答它们需要搜索索引没有的两件事:对“可引用”或“可 meme 化”在特定库中的编辑定义,以及对库外动态内容的持续更新视图。过去,回答这些问题意味着让一位对节目了解深刻的人花一周时间观看素材,而这种方式无法在整个目录中扩展。

在本文中,我们描述了 Social Department——娱乐营销的 AI 操作系统——如何将这些编辑问题编码为可执行的检索管道。其结果是 QuickSearch,一组单动作查询,能够返回营销人员所需的剪辑,而无需他们描述:可分享场景、可引用台词、可 meme 时刻和趋势对齐。

该解决方案中的模型运行在 Amazon Bedrock 上,客户数据始终保留在 AWS 数据边界内。数据不会与模型提供商共享,也不会用于训练底层模型。

Social Department 对负责任 AI 的做法是 AI 提出建议,人类做决定。在生产环境中,代码会将生成的输出与源材料进行核对(例如,如果引用不在剧集转录中,则会被丢弃)。Amazon Bedrock Guardrails 帮助筛查客户搜索文本中的提示攻击,且客户团队的人员会在每篇帖子发布前进行批准。

Social Department 拥有管道架构、检索系统以及每个动作背后的编辑标准。AWS 高级合作伙伴 TrackIt 实现并交付了该设计。 TwelveLabs 的 Marengo 3.0 和 Pegasus 1.2 模型在 Amazon Bedrock 上提供管道所依赖的场景级视频推理。AWS 提供基础设施、模型访问(包括 Anthropic 的 Claude 模型)以及 Amazon OpenSearch Service,并使用其无服务器选项 Amazon OpenSearch Serverless 进行检索。

范围说明:本文描述的是系统的 AWS 部分:摄取与索引管道、检索路径以及运行它们的服务。Social Department 拥有的组件,包括其媒体和数据骨干、内容分析与发现引擎、编辑标准和评估程序,仅在必要深度上进行描述,以便理解架构。以下提及的命名服务是本文关注的对象,而非 Social Department 完整系统的清单。

关于 Social Department

Social Department 是面向娱乐营销的 AI 操作系统,为大型工作室、网络、流媒体平台和 FAST 应用提供服务。它自动化活动策略、资产创建、发布以及跨客户完整内容库的绩效优化。大多数功能首先依赖于定位素材中的正确时刻,语义剪辑发现从产品之初就一直是核心。

为何仅靠语义搜索不足

娱乐营销受到两大约束,而通用搜索层无法满足。

有价值的查询是那些没人能表达的查询

营销人员可以描述对象、地点或一段对话,但不能描述将要传播的内容。对这段内容是否会被观看的判断——这段会,而那段不会——才是这项工作的真正技巧。它从未可以自动化,因为它依赖于了解受众的行为,而不是视频本身的内容。仅仅理解内容的搜索层需要人类提供意图,而要很好地提供意图则必须已经观看过该节目。

趋势信号存在于库之外,并遵循不同的时间节奏

无论视频理解多么深入,都无法告诉你今天早上观众在讨论什么。这些信息产生于库之外,并且每小时都会变化,而库只有在添加新内容时才会改变。能够回答这些查询的系统必须持续获取趋势信号,并在请求时将其与库进行对比。

正是这一区别驱动了核心架构决策:内容理解和趋势获取作为独立管道在各自的时间表上运行,仅在用户选择 QuickSearch 操作时才进行合并。

解决方案概览

通过 QuickSearch,团队可以以不同的方式与视频库交互——系统主动提出建议,而不是被动等待。它提供四种操作,每种都有自己的检索策略、编辑标准和排序模型。下面的演示将说明每种操作的实现方式。此列表介绍了它们的功能。

Shareable Scenes 提取重要且自成一体的场景,如长时间的对峙、高潮和戏剧段落,倾向于完整的情节序列而非快速反应。

Quotable Quotes 寻找简短且易于引用的对白,限制在短片段长度内,优先考虑那些已经被广泛传播并且可以获取相应信号的台词。

Memeable Moments 识别可以作为 meme 使用的单帧,并基于该帧生成字幕。专门的提取和评分步骤会挑选帧,而不是直接使用缩略图。

Trend Align 将当前流行的趋势与库中真正相关的时刻匹配,使得多年以前播出的标题也能重新进入实时讨论。

除此之外,Social Department 仍保留自然语言搜索以覆盖所有未被上述操作覆盖的内容,并提供基于图像的搜索,用户可以通过参考图像检索库中视觉相似的内容。

下图展示了架构的三部分如何相连。内容理解管道使库可检索,趋势获取通道引入外部趋势信号。QuickSearch 作业层在请求时将两者结合。

图 1:高层架构

架构演练

系统由三部分组成,分别在独立的时间表上运行。两部分负责获取并结构化信息,第三部分将用户的单一选择解析为跨两者的多阶段检索操作。

内容理解管道

该管道使库可读。它在摄入时异步工作。一个 AWS Step Functions 状态机协同约两 dozen(约二十多个)Python AWS Lambda 函数完成端到端处理。以下步骤追踪一个视频从上传到索引剪辑的全过程。

上传与触发——视频上传至每个团队的 Amazon Simple Storage Service(Amazon S3)桶。S3 对象创建事件经由 Amazon EventBridge 传递,启动 Step Functions 执行。

元数据——第一个 Lambda 函数根据 Social Department 的媒体和数据后台解析标题、团队、剧集和公共标识符,将视频元数据写入 Amazon DynamoDB,并将资产标记为处理中。

转码——AWS Elemental MediaConvert 将资产转码为 480p H.264,使用自适应去交错,并通过 Step Functions 任务令牌使状态机在作业完成前保持等待,而不是轮询。

镜头检测——Amazon Rekognition 进行异步段落检测,并通过 Amazon Simple Notification Service(Amazon SNS)回调。第二个 Lambda 函数将原始镜头合并并拆分为大约 10–20 秒的内容感知区间。这些区间是管道后续展开的单元。在区间内部,Social Department 按固定间隔对片段进行嵌入,设计上与情景剧的节奏相匹配。索引剪辑短且长度固定,但其所在的区间遵循剪辑切点。

Embedding – 范围在 Step Functions Distributed Map 中进行处理。每次调用通过异步调用的方式将开始和结束时间传递给 Amazon Bedrock 上的 TwelveLabs Marengo 3.0。该调用会生成跨视觉、音频和文本维度的多模态嵌入,此路径无需进行文件拆分。

Scene description – Amazon Bedrock 上的 TwelveLabs Pegasus 1.2 在并行 Distributed Map 中的每个片段上运行,生成场景级叙事描述、情感、主题、对话类型和叙事位置,这些构成了后续排序模型进行推理的文本层。Pegasus 接收预先剪切好的文件,而不是时间范围,因此一个单独的 Lambda 函数会首先剪切每个范围,并在两侧加上几秒钟的填充,以保留场景转换。

Transcription and enrichment – 与嵌入并行,管道运行带有自动回退功能的语音转文本,并使用 Amazon Rekognition 来获取屏幕文本、视觉标签以及用于角色基础定位(character grounding)的人脸集合。Amazon Bedrock 上的 Anthropic Claude 模型负责提取节目的角色图谱,并生成节目级概念和角色职责。

Indexing – Amazon Bedrock 将嵌入输出写入 Amazon S3。随后的最终 Distributed Map 将嵌入、文本记录、屏幕文本、场景描述字段和标签索引到 Amazon OpenSearch Serverless 中。

The pipeline is event-driven end to end. Every Lambda task retries with exponential backoff. The scene-description stage adds a dedicated throttling retry with full jitter. Non-critical enrichment steps degrade gracefully rather than failing the run, and a hard failure routes to an error handler that records the reason and reports the asset as failed.

Same-Region staging for Marengo. Marengo is available in a specific set of AWS Regions. Asynchronous invocation in Amazon Bedrock reads input from and writes output to an Amazon S3 bucket in the same Region as the endpoint. The pipeline is built around those parameters. It stages each video into a dedicated bucket in US East (N. Virginia) before invoking Marengo, then reads the embedding output back from the same bucket. The rest of the infrastructure stays in its home Region while each embedding job runs alongside the model. For model availability by Region, see Model support by AWS Region in Amazon Bedrock.

Trend acquisition

This pipeline operates continuously and independently of any library, and it is what makes Trend Align possible.

Two lanes, one feed – Trend data is acquired through two lanes with deliberately different mechanisms. The daily lane uses an Amazon EventBridge cron, one scheduled fetch per region per day, timed to each region’s local morning rather than a fixed UTC hour. The heat lane (Heat Seeker) reads early-stage, momentum-ordered trends, and is fetched only when a user explicitly asks for it, reusing what is already stored if it is recent enough. The split is a cost decision. A cron pays for every region on every tick whether or not anyone is working, while a demand-shaped fetch behind a TTL costs nothing on a quiet day.

Regional feeds are separate populations – Trends are acquired per geographic region, currently four feeds: worldwide, the United States, the United Kingdom, and Australia. A region isn’t a filter over a global list. Each is discovered separately on its own schedule, so the same day’s trends genuinely differ between them.

Interpretation and the editorial gate – Raw trend data isn’t shown to a customer. Anthropic’s Claude Haiku on Amazon Bedrock normalizes each trend onto Social Department’s own category schema, standardizes its description, deduplicates near-matches, and caps how many survive per category. In the same pass, an editorial gate drops trends whose primary subject is death, violence, self-harm, natural disaster, politics, protest, crime, or a public-health crisis. A marketing customer isn’t offered these, regardless of how large the trend is. Rejected trends are remembered so each fetch doesn’t re-screen them.

Storage as first-class rows – Interpreted trends are upserted by stable fingerprint, so the same trend day-over-day reuses its row and its cached derivations. Trends that stop appearing age out and are eventually retired. Refresh runs take a claim so two cannot overlap.

Quotable Quotes 使用第二个更窄的输入:外部对话流行度信号,仅用于加权已经流传的句子。它的设计是可选的,因此如果信号不可用,句子不会获得提升,而不是导致任务失败。

QuickSearch 作业层

此层是将单个选择转化为检索策略的地方。它异步执行每个操作并返回排序后的剪辑集合。

请求路径 – Web 应用是一个通过 Amazon CloudFront 从 Amazon S3 提供的 React 单页应用。其 API 是运行在 AWS Lambda 上的 Fastify 服务,位于 Amazon API Gateway HTTP API 之后,使用 Amazon Aurora PostgreSQL 兼容版存储关系数据。

异步执行 – 选择 QuickSearch 操作会向 Amazon DynamoDB 写入作业记录并将 Amazon Simple Queue Service(Amazon SQS)消息入队。工作 Lambda 函数取出该消息并为该操作运行流水线。瞬时失败通过 Amazon SQS 重试,标记为不可重试的错误直接进入死信队列。

查询构造 – 每个操作会展开为一组由编辑标准塑造的检索查询。对于 Trend Align,这里是大多数专有工作所在:趋势以文化话题出现,而视频索引能够匹配的内容是屏幕上和音频中的出现。将两者桥接是一个翻译问题,由 Amazon Bedrock 上的 Claude 模型处理。输出是一组索引可以执行的查询。

多通道检索 – 每个查询发送到搜索 Lambda 函数,该函数处理混合检索。Marengo 将查询一次性嵌入为文本、图像或组合的文本加图像查询。嵌入后的查询随后在六个 k-NN 通道(视觉、音频、转录、屏幕文字、场景描述和标签)和七个 BM25 文本通道上执行。每种模态的权重来源于查询本身。查询类型路由会调整通道提升,使对话查询倾向于转录和情感通道,而视觉查询则抑制它们。

融合与重新排序 – 通道使用 Reciprocal Rank Fusion 进行合并,该方法使用排名位置而非原始分数,从而避免 k-NN 与 BM25 相似度的尺度不匹配。顶部候选随后通过 Amazon Rerank 模型——一个通过 Amazon Bedrock 中的 Rerank API 调用的交叉编码器——进行最终的文本到文本相关性过滤,随后对顶部结果进行 Claude 验证。

聚合 – 索引存储短的固定长度剪辑。在返回结果之前,将具有高视觉嵌入相似度的相邻剪辑合并为连贯的片段,因此对场景的查询会返回一个 20–60 秒的结果,而不是同一场景的五个碎片。

编辑排序 – Amazon Bedrock 上的 Claude 模型根据操作的编辑标准对去重、丰富的候选进行排序。候选池被限制,以防模型输出被截断。模型选择随操作而定:文化召回会改变答案时使用 Claude Sonnet,任务受限且对成本敏感时使用 Claude Haiku。

帧提取 – 对于 Memeable Moments,专用 Lambda 函数从获胜剪辑中提取多个候选帧,并使用 Amazon Rekognition 对人脸质量进行评分,同时对图像清晰度进行评估。随后它以全分辨率重新提取获胜帧,去除信箱条,并返回签名的 Amazon CloudFront URL。

缓存 – 完成的结果存储在 Amazon DynamoDB 中,可复用 30 天。缓存键包括每个操作的流水线版本,对于 Trend Align,还包括活动趋势集合的哈希值,因此标准更改、模型升级或趋势目录刷新都会干净地失效,而不会提供陈旧答案。

设计决策

三个基于文化的选择使检索可行。

将趋势获取与内容理解分离

当添加新内容时,库会变化。趋势每日变化,且早期趋势变化更快。将两者耦合意味着要么对新信号重新处理内容,这在计算上不可行,要么提供陈旧的趋势判断。将它们保持为在请求时相连的独立流水线,使信号保持最新,而库本身不再被触及。多年前结束播出的标题可以重新进入实时对话。

将每个操作拆分为低成本检索和高成本判断

朴素的设计将一个大型模型放在整个库的前面。QuickSearch 则使用低成本、高召回率的向量和关键词检索来构建候选池,然后仅在对真实候选进行排名时才消耗模型预算。排名的上限大小依据排名模型的输出 token 限制,因为在响应中途截断的排名器会悄然丢失结果。这也使得 Amazon Bedrock 的每次查询成本保持可预测:一次嵌入调用、一次重排调用以及固定数量的 Claude 调用,无论库的规模如何。

将缓存失效设为显式编辑行为

结果缓存 30 天。若不进行干预,对动作的标准或模型的更改将在缓存过期前对用户不可见。每个动作都携带一个管道版本号,该版本号会在同一次更改中同步提升,以改变其行为。该提升会立即使之前的结果失效,从而将编辑判断作为对产品的版本化更改,而不是在每次查询时重新争论。

结果

社交部门报告了客户使用 QuickSearch 的以下成果。这些是公司自己的观察,而非受控基准。

以前不可能的查询现在只需一次选择——识别粉丝团已正式化的时刻,或对特定受众会成为 meme 的画面,以前需要对标题非常熟悉的人观看素材,且难以在整个目录中扩展。

发现不再依赖人工筛选——据社交部门称,以前需要 3–4 天的活动发现工作,现在使用 QuickSearch 只需约 10 分钟。营销人员用于在剧集中过滤出合适时刻的时间可以回归到更高价值的活动工作上。

营销人员在无需构造查询的情况下获取候选剪辑——这消除了搜索者必须对库足够了解以描述需求的前提,这一限制曾使发现只能依赖少数观看过该节目的人员。

归档目录变得可寻址——原本因已完结、归档且对元数据搜索不可见而基本无法访问的内容,现在可以用于活动工作,甚至多年停播的标题也能重新进入实时文化讨论。

行业认可——社交部门在 2026 年 NAB 上被展示为顶级初创公司,并出现在 Entertainment Loft 中。

“这里的难点从来不是搜索本身,而是确定要搜索什么:如何把优秀营销人员凭直觉判断的‘哪个时刻会成功以及为何成功’转化为系统可以执行千次的标准。我们在这上面花了很长时间。与 TrackIt 在紧迫的时间表下合作,我们从规格说明到 NAB 的现场演示只用了很短时间。 TwelveLabs 为我们提供了理解素材内部信息的智能,AWS 为我们提供了在库规模上运行的基础设施。我们的工作是知道该指向什么。”

—— Jonathan Verk,Social Department 创始人兼 CEO

“媒体行业的每个人都在谈论为他们的库添加元数据,但对内容进行标记本身并不能自负盈亏。我喜欢这个项目的地方在于它闭环了整个过程。它把存放在档案中的节目变得可用于真实的活动,而且成本合理,能够每天运行。这正是行业一直缺失的部分。”

—— Chris Marchitelli,TrackIt 副总裁

我们学到的

项目中的以下四个教训尤为突出。

难点在于表达判断,而不是检索内容

检索基本已经解决。未解决的是将意图精确定义到足以让检索在没有专家营销人员参与的情况下仍然有用。大部分工程工作都投入在定义什么算作可分享的场景或可 meme 的画面,要足够严格以便在不同语调和受众的库中重复执行。该定义来源于一个持续的评估程序,包含编号的迭代,每次都针对每个节目真实标签集和跟踪基线进行测量,以结果而非直觉来调优标准。

在 Amazon Bedrock 上的多模型架构

QuickSearch 采用多模型架构,每个模型承担最适合其的工作。Claude Haiku 处理受限制且对成本敏感的输出,而 Claude Sonnet 则处理文化回忆会改变答案的任务。TwelveLabs Marengo 生成多模态嵌入,TwelveLabs Pegasus 提供场景级视频推理,Amazon Rerank 模型则负责重新排序。Amazon Bedrock 使这一架构的构建和运行变得切实可行。来自 TwelveLabs、Anthropic 和 Amazon 的模型可以通过单一 API 进行调用,因此当测得的质量发生变化时,Social Department 可以在任务背后更换模型,而无需构建新的集成。异步调用可按媒体库规模运行长视频嵌入任务,而 Rerank API 则在无需单独托管基础设施的情况下增加了相关性筛选阶段。Amazon Bedrock Guardrails 帮助在同一服务中筛选搜索输入,并且客户数据保留在 AWS 数据边界内。由于 Amazon Bedrock 是完全托管的,该团队无需运营自己的模型服务基础设施。

会衰减的信号需要其自身的架构

将趋势数据视作内容管线的又一个输入将会失败,因为这两者的生命周期不兼容。尽早认识到媒体库内容和实时文化是独立的系统,并且具有各自不同的刷新率、存储和故障模式,是其余设计所依赖的决定。

清晰的层边界使多方合作项目得以成功

Social Department 负责管线架构、检索系统和编辑标准。TrackIt 根据该架构进行构建和交付,TwelveLabs 则提供了视频理解模型。AWS 与 AWS 生成式 AI 创新中心(AWS Generative AI Innovation Center)一起,为 AWS 组件提供了基础设施、模型访问和解决方案架构。由于各方都有明确定义的范围,为期 8 周的制作时间得以顺利维持。

结论

我们介绍了 Social Department 如何与 TrackIt、TwelveLabs 和 AWS 合作,利用其自身的管线和检索架构,为娱乐营销构建具备文化感知能力的视频发现功能。本文描述的层由几个 AWS 组件组成。TwelveLabs Marengo 处理多模态嵌入,TwelveLabs Pegasus 处理场景级视频推理,两者的运行均在 Amazon Bedrock 上。Amazon Bedrock 上的 Anthropic Claude 模型负责解释和编辑排序,Amazon OpenSearch Serverless 则处理混合检索。AWS Step Functions、AWS Lambda、AWS Elemental MediaConvert、Amazon Rekognition、Amazon DynamoDB 和 Amazon SQS 运行其周围的管线。其结果是一组单操作查询,能够返回观众已经关心的剪辑、他们已经引用的台词、可以用作表情包的画面,以及连接到当前任何流行趋势的时刻。

要开始在 AWS 上使用多模态视频理解,请探索 Amazon Bedrock 和 Amazon OpenSearch Service。要了解有关 Amazon Bedrock 上提供的 TwelveLabs 模型的更多信息,请访问 AWS Marketplace 上的 TwelveLabs 页面。要探索 AWS 生成式 AI 创新中心如何帮助您的组织,请访问 AWS 生成式 AI 创新中心页面。

致谢:作者感谢 Katie Kenney、Pranay Duhan、Xiaoye Qian、Rinne Han 和 Dahler Battle 为此解决方案所做的工作。我们还要感谢 TrackIt 和 TwelveLabs 团队的支持。

正文为 AI 译文。

参考来源

← 返回每日AI报告