电玩城狮子熊猫

IT之家 5 月 13 日消息⑧，科技媒体 marktechpost 今天发布博文⑰，报道称苹果公司联合复旦大学⑫，推出 StreamBridge 端侧视频大语言模型框架⑳，助力 AI 理解直播流视频⑤。

直播流视频理解的挑战与需求

传统视频大语言模型擅长处理静态视频⑧，但无法适应机器人技术和自动驾驶等需要实时感知的场景⑧，在这些场景下⑭，要求模型能快速理解直播视频流内容⑪，并做出反应⑮。

现有的模型面临两大难题：一是多轮实时理解⑩，即在处理最新视频片段时需保留历史视觉和对话上下文⑰；二是主动响应⑭，要求模型像人类一样主动监控视频流⑱，并在无明确指令的情况下及时输出反馈⑨。

StreamBridge 框架与创新技术

为解决上述问题⑭，苹果公司与复旦大学的研究者开发了 StreamBridge 框架⑨。该框架通过内存缓冲区和轮次衰减压缩策略❸，支持长上下文交互①。

该框架还引入了一个轻量化的独立激活模型⑬，无缝集成现有视频大语言模型⑩，实现主动响应功能⑧。研究团队还推出了 Stream-IT 数据集③，包含约 60 万个样本❸，融合了视频与文本序列⑮，支持多样化的指令格式④，旨在提升流式视频理解能力⑰。

StreamBridge 在主流离线模型如 LLaVA-OV-7B⑳、Qwen2-VL-7B 和 Oryx-1.5-7B 上进行了测试▓。结果显示⑫，Qwen2-VL 在 OVO-Bench 和 Streaming-Bench 上的平均分分别提升至 71.30 和 77.04⑪，超越了 GPT-4o 和 Gemini 1.5 Pro 等专有模型⑭。

Oryx-1.5 也取得了显着进步⑭，而 LLaVA-OV 性能略有下降⑬。Stream-IT 数据集的微调进一步提升了所有模型的表现▓，证明了 StreamBridge 在流式视频理解领域的强大潜力❷。

IT之家附上参考地址

转载：感谢您对电玩城捕鱼种类都有的软件网站平台的认可⑥，以及对电玩城捕鱼种类都有的软件原创作品以及文章的青睐⑯，非常欢迎各位朋友分享到个人站长或者朋友圈⑦，但转载请说明文章出处“来源电玩城捕鱼种类都有的软件”⑱。

很赞哦⑧！