机器学习生命周期的每一步都简单解释

当您在 Google 上搜索 ML 生命周期时，每个来源可能会给您略有不同的步骤数及其名称。但是，你会注意到，在大多数情况下，该周期包含：问题定义、数据收集和预处理、特征工程、模型选择和训练、模型评估、部署和监控。

ChatGPT：两年后

今年 11 月 30 日是 ChatGPT 发布两周年，这一事件在技术、社会和经济领域引起了轩然大波。这一里程碑所开辟的空间并不总是能让人轻易地——甚至可能——将现实与期望区分开来。

大型视觉编码器的多模态自回归预训练

我们介绍了一种用于大规模视觉编码器预训练的新方法。基于视觉模型自回归预训练的最新进展，我们将此框架扩展到多模态设置，即图像和文本。在本文中，我们介绍了 AIMV2，这是一系列通用视觉编码器，其特点是预训练过程简单、可扩展性强，并且在一系列下游任务中表现出色。这是通过将视觉编码器与自回归生成原始图像块和文本标记的多模态解码器配对来实现的。

Learning to Fly in Seconds

Learning-based methods, particularly Reinforcement Learning (RL), hold great promise for streamlining deployment, enhancing performance, and achieving generalization in the control of autonomous multirotor aerial vehicles. Deep RL has been able to control complex systems with impressive fidelity and agility in simulation but the simulation-to-reality transfer often brings a hard-to-bridge reality gap.

GUI 代理的曙光：使用 Claude 3.5 进行初步案例研究 计算机使用

最近发布的模型 Claude 3.5 Computer Use 是第一个在公开测试版中提供计算机使用作为图形用户界面 (GUI) 代理的前沿 AI 模型。作为早期测试版，它在现实世界复杂环境中的能力仍然未知。在这个探索 Claude 3.5 Computer Use 的案例研究中，我们策划和组织了一系列精心设计的任务，涵盖各种领域和软件。

DINO-X：用于开放世界物体检测和理解的统一视觉模型

在本文中，我们介绍了 DINO-X，这是 IDEA Research 开发的统一的以对象为中心的视觉模型，具有迄今为止最好的开放世界对象检测性能。DINO-X 采用与 Grounding DINO 1.5 相同的基于 Transformer 的编码器-解码器架构，以追求用于开放世界对象理解的对象级表示。

JoyVASA：基于扩散的音频驱动面部动态和头部运动生成的肖像和动物图像动画

音频驱动的肖像动画借助基于扩散的模型取得了重大进展，提高了视频质量和口型同步准确度。然而，这些模型的复杂性不断增加，导致训练和推理效率低下，视频长度和帧间连续性也受到限制。在本文中，我们提出了 JoyVASA，这是一种基于扩散的方法，用于在音频驱动的面部动画中生成面部动态和头部运动。

EchoMimicV2：面向引人注目、简化和半身体人体动画

近期的人体动画研究通常涉及音频、姿势或运动图条件，从而实现生动的动画质量。然而，这些方法往往面临实际挑战，因为额外的控制条件、繁琐的条件注入模块或头部区域驱动的限制。因此，我们想知道是否有可能在简化不必要条件的同时实现引人注目的半身人体动画。

一种新的基于词对的高斯句子相似度算法，用于孟加拉语提取文本摘要

提取文本摘要是从较长的文本中选择出最具代表性部分而不丢失任何关键信息的过程。最近在孟加拉语中进行提取文本摘要的尝试要么依赖于 TF-IDF 等统计技术，要么使用了像词平均技术这样简单的句子相似度测量方法。所有这些策略都无法正确表达语义关系。在这里，我们提出了一种新的基于词对的高斯句子相似度 (WGSS) 算法来计算两个句子之间的语义关系。

SAMURAI：利用运动感知记忆技术，适应任意片段模型，实现零样本视觉追踪

Segment Anything Model 2 (SAM 2) 在对象分割任务中表现出色，但在视觉对象跟踪方面面临挑战，尤其是在管理具有快速移动或自我遮挡对象的拥挤场景时。此外，原始模型中的固定窗口记忆方法没有考虑选择用于调节下一帧图像特征的记忆的质量，导致视频中的错误传播。本文介绍了 SAMURAI，这是专为视觉对象跟踪而设计的 SAM 2 的增强版。