1. Executive Summary:十大核心发现
本章面向欧洲汽车行业销售负责人,先给出最有商业价值的结论,再在后续章节展开技术与证据。阅读原则:"内部存在 / 技术可实现 / 产品已发布 / 海外可购买 / 客户已采用"是五个不同的事实,每条发现都标注证据级别(A 公开已证实 / B 内部已证实 / C 内部线索 / D 工程推导 / E 未证实或失效)与一句话支撑。所有数字均须关联测试条件、数据集、版本与适用范围。
1.1 三个关键 KPI 卡(先看数字)
1.2 十大核心发现(按商业价值排序)
发现 1|元戎启行是证据最充分、可脱敏对外的"能力锚点案例" B-内部已证实
深圳元戎启行(DEEPROUTE.AI)已将 LAS 视频精细理解算子 × 豆包 VLM 用于量产回传数据的长尾障碍物难例挖掘,进入 Production:单日 20 万 clips 稳定跑批、生产任务成功率 ≥98%;在 5 万条真实数据基准上,难例真实命中率较业界通用模型高约 27%、较客户旧版误配置直连基线提升约 44%,十余类核心工况识别精度约 90%(部分 93%–95%),单日节约人工复核 200+ 人天,数据迭代周期由周级缩至天级。来源:元戎启行×LAS 算子案例【仅对内】(2026-09-21 建/10-08 更,2026-10-29 核验)。已有脱敏可对外 OnePage 与不具名 PR 稿,实名联合 PR 尚未发布——对外口径应为"某智驾企业 × LAS 算子"。来源:脱敏可对外 OnePage;不具名场景方案 PR 稿(2026-10,2026-10-29 核验)
发现 2|海外没有"打包好的汽车行业产品",需用 API 组合定制 PoC B-内部已证实
ByteDance 体系内没有独立命名的汽车行业 "Video Intelligence" 打包产品,也没有现成的"驾驶行为识别 / 车机内容审核 / 竞品营销视频语义检索"方案;面向欧洲客户只能用 ModelArk VLM API + LAS 算子 + VikingDB + TOS 组合定制 PoC。来源:欧洲汽车 OEM & Tier1 AI GTM 研究报告(2026-10-13,2026-10-29 核验)。这既是销售要管理的预期,也是 PoC 切入的灵活空间。
发现 3|海外数据栈唯一成熟落点是柔佛,欧洲只是"裁剪小点" A-公开已证实 B-内部已证实
ModelArk 全部模型在 ap-southeast-1(柔佛);seed-2-0 与 seedream-5-0-lite 同时在 eu-west-1(都柏林)。来源:BytePlus ModelArk Model list(2026-10-25 更新,2026-10-29 核验)。但 eu-west-1 仅含约 3 个裁剪模型 + Chat/Image API,无 Batch、无微调(LoRA)、无 PromptPilot、无任何视频生成(Seedance)模型;LAS 视频精细理解算子当前仅部署柔佛 ap-southeast-1。来源:BytePlus LAS 视频精细理解算子文档(2026-09-23 更新,2026-10-29 核验)
发现 4|合规红线:不得对欧洲客户承诺 EU 数据驻留 / 本地私部 / 海外 SFT A-公开已证实 E-无证据
BytePlus 隐私政策列明个人数据存储于新加坡、马来西亚、美国、香港、印尼、日本,未列任何欧盟国家;核心 IaaS 官方区域列表无欧洲区域。来源:BytePlus Privacy Policy(2026-06-08 更新,2026-10-29 核验);BytePlus EIP Regions(2026-06-11 更新)。跨中欧传输走 SCC + TIA;柔佛机房受新加坡 PDPA 管辖;海外排障 Case 日志会回流中国长期存储,须书面披露。来源:Case 平台功能上新培训纪要(2026-07-27,2026-10-29 核验)。BytePlus 主体无 TISAX、无 NIS2 / EU AI Act 合规声明证据。
发现 5|最直接的公开对标是 NVIDIA Cosmos,而非传统云厂商 A-公开已证实
NVIDIA Cosmos 已真实覆盖"数据整理(Curator)→ 语义搜索(CDS/Embed)→ VLM 自动标注(Reason 2)→ 合成数据(Cosmos 3 Nano)→ 后训练 → 仿真评测"全链路,并与 Uber 共建 AI 数据工厂(2027 年起扩至 10 万辆 robotaxi)。来源:NVIDIA Cosmos 产品页;NVIDIA×Uber 合作新闻稿(2025-10-28,2026-10-29 核验)。与 ByteDance 正面重叠的环节 = 数据整理、语义场景搜索、VLM 自动标注;云厂商(AWS/Azure)反而是 NVIDIA 栈的部署平台。
发现 6|欧洲 OEM 已自建数据飞轮,BytePlus 在欧洲"无已绑定客户" A-公开已证实 C-内部线索
BMW 选 AWS 建下一代自动驾驶平台、与 Qualcomm 共建云数据飞轮;VW/CARIZON GAIA 平台每车每日采集约 2TB、每日消化超 10 万公里测试里程;奔驰 MB.OS 绑定 NVIDIA DRIVE;Wayve 以 Azure 为底座做 Fleet Learning Loop。来源:BMW PressClub(2023-09-06);VW Group 新闻稿(2025-04-17)。内部尽调明确:ByteDance 在欧洲汽车行业"未发现已发布产品事实 / 已绑定客户"。来源:VW 品牌组织架构尽调(2026-10-22,2026-10-29 核验)
发现 7|VLM 能力有清晰天花板:不能给精确速度 / 距离 / TTC / 责任 B-内部已证实
内部工程化方法论明确:VLM Prompt 生成的是"基于当前证据的任务答案",不是测量值、法律结论或客户验收;不能提供精确速度 / 距离 / TTC / 驾驶意图 / 事故责任,除非有经过标定的外部数据与对应验证。来源:VLM 视频理解工程化落地及 AI-SDLC(2026-09-24,2026-10-29 核验)。风险因果推理(鬼探头 / 逆行 / 加塞等 9 类模式、3–5 秒预测)目前只是内部 Skill,非 GA 产品。
发现 8|奔驰路采测试是历史负面证据,不得当成功案例 B-内部已证实
2025-03 前后奔驰二期路采测试(16 段视频、Doubao-1.5-vision-pro-32k preview)结论为"效果一般",同批多模型对比 gpt-4.5 > gemini-1.5-pro > doubao-1.5-vl-preview ≈ qwen2.5-vl-72b。来源:自动驾驶-大模型相关场景(2025-03 建/2026-06 更,2026-10-29 核验)。必须与"豆包进奔驰智能座舱(CLA 交互效率 +50%、唤醒 0.2s)"严格区分——那是座舱合作,不是智驾 VLM 数据案例。
发现 9|在途最高优先级机会 = BMW 中国区 ADAS Infra RFP(严禁对外) B-内部已证实
BMW 中国已完成两次自动驾驶云 PoC、结果均符合预期;2026-11 中国区 ADAS Infra RFP 预计启动,预算 Tens of Million USD 量级。来源:BMW AD-Infra Insight(2026-09-08,2026-10-29 核验)。RFP 窗口、预算、客户姓名均为客户内部情报,严禁对外披露。另有 Volvo Group VAS 销售机会评分 82(P0),尚未启动任何交付。
发现 10|销售主线 = "增强而非替换",做数据预处理层 C-内部线索
欧洲客户主云已定(BMW 德国=AWS、奔驰=Google MB.OS+NVIDIA),不应去替换主云,而应切"AWS 框架之上的数据价值链增值层":Semantic Scene Mining、Auto Annotation + Golden Dataset、长尾合成变化、数据成本基准。VLM 做标注(数据预处理),客户自研模型做决策 = 互补而非竞争。来源:欧洲 GTM 报告 §15(2026-10-13,2026-10-29 核验)
1.3 销售如何使用本报告(对话策略速查)
面对一位欧洲 OEM 或 Tier1 的技术决策者,对话通常分三层展开。第一层是需求共鸣:先承认客户已经在 AWS 或 Google 上自建了数据湖与训练平台,ByteDance 不是来推翻重来的,而是来补"数据价值链增值层"的那一块——把原本要靠人工逐秒翻看的路采视频,变成可按自然语言检索、可自动打标、可结构化入湖的数据资产。第二层是证据锚点:拿出元戎启行的 Production 数据(注意脱敏与条件),说明我们不是在 PPT 上谈 VLM,而是在单日 20 万 clips 的真实跑批里验证过"先筛后标"漏斗。第三层是边界与合规预期管理:主动说明 eu-west-1 只是裁剪节点、完整能力在柔佛、欧洲没有数据驻留承诺、VLM 不做安全关键决策——把这些限制在客户提问之前讲清楚,反而建立技术可信度。
需要反复强调的一个商业判断是:ByteDance 在欧洲汽车市场当前卖的是"能力",还不是"现成产品"。ModelArk VLM API、LAS 算子、VikingDB、TOS 都是成熟部件,但把它们拼成一个面向 ADAS/AV 的解决方案,仍需要 PoC 阶段的系统集成工作。这既是限制(不能承诺开箱即用),也是机会(PoC 本身就是进入 BMW RFP、Volvo VAS 机会的门票)。销售在前期对话中就要管理好客户对"交钥匙产品"的预期,把项目形态定义为"联合设计一个 1000 小时真实视频的语义检索与自动标注 PoC",而不是"采购一套智驾云"。
1.4 本报告的证据纪律与局限
作为给销售使用的内部研究交付物,本报告刻意把"不确定"也当作信息来呈现,而不是隐藏。读者应清楚三件事。第一,内部线索 ≠ 对外规格:凡标注 C 级的事实(如 DENSO 约 90%+ 解决率、主动防御驾驶 Skill),原始检索结果已过期、仅存摘要、未保留来源 URL,对外讲述前必须向案例 owner 复核,不得直接搬进客户材料。第二,营销口径 ≠ 实测收益:10x–1000x 降本、GPU 利用率 96% 等数字来自厂商/客户单方口径,无第三方审计,对客户应改为带假设的敏感性分析。第三,公开与内部冲突时如实列出:如本田(公开=AWS 标杆、内部=待开拓)、"A 客户"(官方匿名、不得猜成哪吒)、eu-west-1(部分内部材料称欧洲无节点、GTM 报告确认有裁剪节点)——冲突本身就是销售要管理的预期。
1.5 为什么是现在:市场时间窗判断
对销售而言,除了"我们有什么",更重要的是"为什么现在是切入欧洲的窗口期"。三个信号叠加。第一,技术成熟度跨过拐点:2026 年 Doubao-2.0 pro(thinking)在某头部智驾客户 13 类路采测试"大部分场景 >90%",与 2025 年奔驰路采"效果一般"形成清晰代际对比——这意味着我们终于有了可以向欧洲客户拿出手的能力,而不是两年前那个"落后于头部竞品"的自己。B
第二,行业教育已被对手完成:NVIDIA 用 Uber×Cosmos 数据工厂、保时捷大众数据飞轮(-90% 试车/-85% 周期)把"VLM+数据工厂"的故事讲给了整个欧洲汽车业,客户技术团队已经被教育过"数据智能是必选项",ByteDance 不需要再从零说服。第三,客户预算正在释放:BMW 中国区 ADAS Infra RFP(2026-11,Tens of Million USD 量级)就是预算落地的信号。但窗口也有时间压力:eu-west-1 节点能力受限、欧洲无私部、海外 SFT 仅柔佛这些短板不会一夜消失,欧盟 IDC/法兰克福·都柏林自有 PoP 只是 2027 Q1 的路线图——销售要在客户合规要求收紧之前,用 PoC 建立合作关系。D
本报告面向字节跳动欧洲汽车行业销售负责人,目标是让你在面对 BMW、Volvo、Wayve、DENSO 这类客户时,既能讲清 ByteDance VLM 与数据闭环的技术深度,又能算清它的商业价值与边界。
2. 全球自动驾驶数据智能行业发展与需求
本章回答一个销售最常被问的问题:"为什么现在 OEM/Tier1 愿意为 VLM 数据智能买单?"答案由三股力量叠加:路采数据规模爆炸、长尾场景人工挖掘失效、以及 VLM 从"看懂图片"进化到"理解长视频时序"。
2.1 数据生产规模:从 TB/天 到 EB 级存量
自动驾驶数据闭环的第一性矛盾是"采集量"与"可用量"的剪刀差。公开与内部证据共同指向同一量级:
- 单车单日 TB 级:VW/CARIZON GAIA 数据平台每车每日采集约 2TB 数据、每日消化超 10 万公里测试里程。A-公开已证实来源:VW Group 官方新闻稿(2025-04-17,2026-10-29 核验)
- 量产 EB 级:官方开发者社区文章披露,单辆测试车每日产生数 TB 数据,量产规模可达 EB 级。B-官方渠道来源:火山引擎 LAS 基于 Lance 的 PB 级智驾数据湖方案(2025-07-25,2026-10-29 核验)
- 存量上百 PB:元戎启行量产车 16 路相机回传视频存量回传上百 PB,统一存 TOS。B-内部已证实来源:元戎启行×LAS 算子案例【仅对内】(2026-10-08 更新,2026-10-29 核验)
规模本身不产生价值——真正的瓶颈在"从 PB 级数据里捞出那 <1% 的长尾"。
2.2 场景挖掘与数据闭环需求:人工翻看命中率仅万分之几
元戎启行的痛点具有行业普遍性:长尾障碍物场景占比 <1%,关键片段仅持续数秒,人工翻看命中率仅万分之几;客户此前直连通用大模型,但因提示词 / 帧率 / 分辨率 / 推理档位配置不当,5 万条基准真实命中率仅约 28%(低于业界通用模型约 45%)。B-内部已证实 这说明:裸调一个强大模型 ≠ 拿到可用的难例挖掘系统,采样策略、Prompt 工程(AutoPE)、档位选择与人工复核漏斗共同决定效果。
OEM 侧的公开表述同样把"corner case 筛选"列为核心需求:CARIAD 招聘页描述的 Big Loop 系统即"实时分析传感器数据、只筛选记录对开发者有价值的 corner case"。A-公开已证实来源:CARIAD 招聘页(2025-09-25 更新,2026-10-29 核验)BMW 则公开描述其 data-driven stack "持续由全球车队信息更新,由云数据飞轮(data flywheel)系统支持"。A-公开已证实来源:Qualcomm×BMW 新闻稿(2025-09-05,2026-10-29 核验)
2.3 VLM 进入 DataOps:行业从"规则感知"转向"语义理解"
2025–2026 年,VLM 被系统性引入自动驾驶数据闭环,标志性事件是 NVIDIA 把 VLM 自动字幕 / VQA 作为 AV 数据工厂的标准环节:Uber AV 采集车队每日海量视频,用 Cosmos Reason 2 自动字幕,把原始视频变成可搜索资产,定位异常 / 长尾 / 安全关键场景。A-公开已证实来源:NVIDIA Cosmos Cookbook: Post-train Cosmos Reason 2 for AV Video Captioning and VQA(2026-01-05,2026-10-29 核验)
更广义的行业动作(均为 A 级公开证据):
| 玩家 | 数据智能动作 | 对 ByteDance 的含义 |
|---|---|---|
| NVIDIA Cosmos | Curator(抽帧+Embed+Qwen-VL 字幕+去重)→ CDS(Embed NIM+Milvus 语义搜索)→ Reason 2(VLM 标注)全链路 | 最直接对标,覆盖环节与我方方案高度重叠 A |
| AWS | ADDF Guidance(FleetWise→S3→Batch→ML 标注)+ Bedrock Marengo Embed 3.0(音视频图文 512 维统一向量、按时间戳检索) | 卖拼装底座,无 AV 语义搜索开箱产品 A |
| Google Cloud | Gemini agentic video understanding(动态扫描片段、token 降 88%、亚秒级 moment 检索、异常检测) | 通用强模型,需客户自行拼装数据闭环 A |
| Microsoft Azure | AVOps DataOps 参考架构(Data Factory / Cosmos DB / AI Search);保时捷数据飞轮部署在 Azure | NVIDIA 栈的部署平台,非 VLM 竞争者 A |
| Scale AI / Encord / Voxel51 / Applied Intuition | 专业 DataOps:2D/3D 标注、embedding+model-in-the-loop 精选、scenario mining、仿真验证 | 欧洲既有供应商,是合作对象也是竞争参照 A |
来源:NVIDIA CDS Docs;AWS ADDF Guidance;AWS Marengo Embed 3.0;Google Gemini agentic video;Azure AVOps;Voxel51 AV 行业页(均 2026-10-29 核验)
2.4 欧洲 OEM 现状概括:主云已定、数据飞轮自建、BytePlus 空位在增值层
| 客户 | 数据栈现状(公开证据) | ByteDance 切入位 |
|---|---|---|
| BMW Group | 下一代自动驾驶平台选 AWS(2023-09);与 Qualcomm 共建 Snapdragon Ride Pilot 云数据飞轮,60 国验证、目标 2026 年 100+ 国 A | 中国区两次智驾云 PoC 已完成、2026-11 RFP(内部 B 级,严禁对外) |
| Mercedes-Benz | MB.OS 芯片到云自研,自动驾驶由 NVIDIA DRIVE 驱动,规划 L3;客户车队数据节选式采集 A | MB.OS 数据线尽调中列"中期布局";2025 路采 VLM 测试效果一般(历史负面证据) |
| VW Group / CARIAD | GAIA 平台 2TB/车/日、10 万 km/日;Big Loop 实时筛 corner case;Bosch×CARIAD 联盟 A | 欧洲无已绑定客户;空位=数据增值层,VLM DataOps 仍属销售假设 |
| Wayve(英国) | E2E AI Driver + Fleet Learning Loop,Azure 底座,PB 级真实+合成;GAIA-4 世界模型做闭环安全论证 A | GTM 目标客户清单首位(5/5),尚未接触 |
| Volvo Group / Cars | VAS 双栈(Aurora+Waabi)+ 矿山自治产生海量驾驶视频 C | 销售情报 P0(评分 82),Demo 前未启动 |
来源:BMW PressClub;Qualcomm×BMW;Mercedes 创新页;VW Group;Wayve GAIA-4;Volvo 销售情报报告(2026-10-27,2026-10-29 核验)
2.5 合规与安全标准:欧洲客户的硬约束
销售必须在技术对话之外同步管理合规预期:
- GDPR:驾驶视频中的人脸与车牌属个人数据;EDPB 指南明确"不可恢复地模糊化后,个人数据即视为已被擦除"——这支持"脱敏后再训练"的数据管线路径。A-官方指南来源:EDPB 视频设备个人数据处理指南(2026-10-29 核验)
- EU AI Act:高风险 AI 规则分阶段适用(2027-12-02 / 2028-08-02);汽车安全件 AI 原则上由 sectoral 立法(整车认证)管辖。A-欧委会来源:欧委会 AI 监管框架页(2026-10 更新,2026-10-29 核验)
- SOTIF / ISO 26262 / ISO/PAS 8800:ISO 21448:2022 已把"基于 AI 的算法功能不足"纳入危害来源;ISO/PAS 8800:2024 是"功能安全+AI"对接的核心标准。这决定了 VLM 只能做数据预处理、不能做安全关键决策。A-ISO来源:ISO 21448:2022 SOTIF(2026-10-29 核验)
2.6 数据飞轮的成本经济学:为什么"挖长尾"值这个钱
要理解 OEM 为什么愿意为 VLM 数据智能付费,必须算清一笔账。自动驾驶模型的性能瓶颈早已不在"常见场景"——直行、变道、跟车这些场景的数据早已饱和;真正决定一个端到端模型安全性的,是那占比不足 1%、却可能导致事故的长尾场景:鬼探头、无保护左转、施工锥桶集群、极端逆光、湿地侧滑。这些场景的特点是稀少而珍贵——在 PB 级回传数据里,一段真正有训练价值的难例可能只持续几秒钟,散落在成百上千小时的普通驾驶视频中。
传统做法是人工翻看:一个标注员一天能看的视频时长有限,而命中率只有万分之几,意味着每发现一个难例,背后是海量的"无效翻看"。元戎启行的案例把这个代价量化了:在引入 VLM 漏斗之前,他们旧版直连通用大模型的真实命中率只有约 28%,远低于业界通用模型约 45% 的水平——这说明哪怕用了大模型,没有采样策略和 Prompt 工程,钱也白花了。引入 LAS 算子 + AutoPE 之后,命中率提升到较业界高约 27%、较自身基线高约 44%,单日节约 200+ 人天的人工复核,数据迭代周期从周级压到天级。B-内部已证实 这就是"VLM 数据智能"的商业本质:它不是让模型更聪明,而是让数据工程师的时间从"大海捞针"变成"沙里淘金"。
从行业大盘看,这套逻辑已经被头部玩家验证:Scale AI 靠"AI+人工"标注服务拿下 GM Cruise、Toyota、Zoox 等客户,Toyota 的标注吞吐在数周内提升 10 倍;Applied Intuition 宣称服务全球 Top 20 车企中的 18 家、一年执行超 5000 万次仿真、处理数百 PB 训练数据。A-公开已证实来源:Scale AI Series E 博客(2021-04);Applied Intuition 2025 年报(2025-12-19,2026-10-29 核验)。ByteDance 的差异化在于:别人卖的是"人工标注服务"或"仿真平台",ByteDance 卖的是用自研旗舰 VLM 的 token 经济性把"机器先筛一遍"做到足够便宜——这也是为什么模型版本迭代(1.8→2.0→2.1)和 token 降价(1.6 时 API 降价 63%)对这个业务至关重要。
2.7 欧洲客户的特殊性:合规即销售前提
与中国市场不同,在欧洲谈 VLM 数据智能,合规不是事后补的法律意见,而是必须前置到技术方案里的设计约束。BMW 公开披露的客户车辆视频数据实践是一个标杆范本:仅在客户同意后记录、仅在与驾驶功能开发相关的触发事件发生时记录(单次最长 120 秒)、数据在车内加密后传输、传输至 BMW IT 后端后立即删除 VIN 使数据无法关联到具体车辆、"BMW 系统绝不识别个别道路使用者"。A-公开已证实来源:BMW 客户车辆视频数据监管披露页(2026-10 更新,2026-10-29 核验)。
这给 ByteDance 的启示是双重的:一方面,BMW 这种"触发式、短片段、去身份化"的数据采集方式,恰恰是 VLM 可以高效处理的数据形态(短 clip、结构化标签、不涉及人脸车牌的原始语义);另一方面,欧洲客户对"数据出域"极度敏感,而 BytePlus 目前无法提供欧盟本地数据驻留,这意味着销售叙事必须绕开"数据主权"正面战场,转而强调PoC 阶段数据可用公开路测视频或客户脱敏后的样本,跨中欧传输走 SCC+TIA 的合同框架。任何在对话中脱口而出"我们在欧洲有数据中心"的销售,都会在客户法务面前直接失分。
2.8 专业 DataOps 厂商图谱:谁在跟我们抢预算
在欧洲 OEM 的预算表上,与"自动驾驶数据智能"相关的支出,目前主要流向四类专业厂商。销售必须知道它们各自占了哪个生态位,才能判断 ByteDance 是抢生意还是做补充。
Scale AI(美国)是标注外包的老牌霸主:提供 2D/3D 多传感器数据标注,"AI 技术 + human-in-the-loop"组合,早期就拿下 GM Cruise、Lyft、Zoox、nuTonomy,D 轮客户含 GM/NVIDIA/Nuro/Toyota,Toyota 通过其"机器学习+人工"方案把标注吞吐在数周内提升 10 倍。A 它的本质是人力密集型标注服务——ByteDance 的机会正是用 VLM 把它昂贵的人工前置预筛掉一部分。
Encord(英国伦敦)是欧洲本土的"标注+精选+评估"三段式平台,原生支持视频/图像/LiDAR 点云/雷达统一标注,主打 embedding 检索 + model-in-the-loop 找 rare edge case。这是与 ByteDance 语义检索方案最正面的欧洲本土对手——销售要准备好回答"我们已经在用 Encord 了"。A
Voxel51/FiftyOne(美国)开源 FiftyOne 为核心,商业平台主打 scenario mining:在 PB 级车队日志中用 embedding + 自然语言检索挖掘罕见场景(遮挡行人、无保护左转、施工区、传感器眩光)——这个产品定位与 ByteDance 方案 B 几乎一模一样。但本次检索未发现其官方公开的具名 OEM 客户,这是销售可以打的差异点。A
Applied Intuition(美国)是仿真与验证平台:Neural Sim 把真实 drive data 自动转成 3D 虚拟测试环境,2025 年执行超 5000 万次仿真、处理数百 PB 训练数据,客户含 Porsche、Isuzu、Komatsu、Traton,宣称服务全球 Top 20 车企中的 18 家。它强在仿真验证,弱在视频理解标注——ByteDance 与其是互补。A来源:Scale AI Automotive;Encord 官网;Voxel51 AV 行业页;Applied 2025 年报(均 2026-10-29 核验)
2.9 三大云厂商在 AV 数据闭环上的真实站位
欧洲客户的主云基本是 AWS、Google、Azure 三家,理解它们在 AV 数据闭环上各自卖什么,是销售制定"共存策略"的前提。AWS 卖的是数据湖+摄入+训练算力的拼装底座:IoT FleetWise 采集车载摄像头/LiDAR 视频,S3 落地,Batch 初检,EMR 做场景切分,Bedrock Knowledge Bases 提供 Nova/Marengo 多模态向量检索——但它没有与 NVIDIA CDS 对标的"AV 场景语义搜索开箱产品",客户要照 ADDF Guidance 自己拼。A 这正是 ByteDance 的空位:客户的 AWS 数据湖上,缺一个开箱可用的 VLM 精细理解层。
Google Cloud 的优势在通用多模态基础模型(Gemini 3.7/3.6 Flash 的 agentic video understanding,token 降 88%、亚秒级 moment 检索、异常检测),但它没有自研 AV 数据闭环产品,Waymo 的数据不对外;且 Google 是 NVIDIA Cosmos 的分发渠道,不是对等竞争者。Azure 提供 AVOps DataOps 参考架构,但无自研 AV VLM/世界模型——保时捷牵头大众集团的数据飞轮(Cosmos Data Factory + Omniverse NuRec)正是部署在 Azure 上,宣称减少重复物理试车最高 90%、开发周期缩短最高 85%。A来源:AWS ADDF Guidance;Google Gemini agentic video;Azure AVOps;GTC Berlin 新闻稿(均 2026-10-29 核验)
2.10 欧洲重点客户的数据栈深描
销售要见客户之前,最好对对方的数据栈现状有个"内部地图"。BMW 是最值得深描的:它 2023-09 官宣 AWS 为下一代自动驾驶平台首选云、复用既有 Cloud Data Hub;2025-09 又与 Qualcomm 联合发布 Snapdragon Ride Pilot,强调"data-driven stack 持续由全球车队更新、由云数据飞轮支持",已在 60 国验证、目标 2026 年覆盖 100+ 国。这意味着 BMW 的痛点不是"没有数据飞轮",而是"飞轮里长尾挖掘/自动标注这一环还可以更高效"——这正是 ByteDance 的切入口。A来源:BMW PressClub;Qualcomm×BMW(均 2026-10-29 核验)
Mercedes-Benz 走的是 MB.OS 芯片到云自研路线,自动驾驶由 NVIDIA DRIVE 驱动,规划 L2+ 城市并最终 L3(最高 130 km/h);它已把训练数据从测试车扩展到客户车队(须车主同意、节选式存储)。Wayve 则代表另一类客户:英国端到端公司,E2E AI Driver + Fleet Learning Loop,Azure 底座、PB 级真实+合成数据,2026-08 发布 GAIA-4 世界模型把每次干预可回放、每次模型变更对照同一真实场景评估——这种公司对"可检索、可标注的真实视频"需求极强,且不绑定主云,是 GTM 清单首位(5/5)。A来源:Mercedes 创新页;Wayve GAIA-4(均 2026-10-29 核验)
2.11 合规深水区:GDPR / EU AI Act / 功能安全的叠加效应
欧洲汽车视频数据合规不是单一法规问题,而是三层叠加,销售必须同时答对。第一层 GDPR:驾驶视频里的人脸与车牌是个人数据,EDPB 指南明确"不可恢复地模糊化后即视为擦除"——这意味着 ByteDance 的方案管线应该把"脱敏/打码"作为前置环节(LAS 1.5.2 已新增 Face Blur 隐私打码算子)。A
第二层 EU AI Act:高风险 AI 规则分阶段适用(2027-12-02 / 2028-08-02),汽车安全件 AI 原则上由 sectoral 立法管辖。第三层功能安全:ISO 21448:2022(SOTIF)已把"AI 算法功能不足"纳入危害来源,ISO/PAS 8800:2024 是 AI 与功能安全对接的核心标准。三层叠加的商业结论:ByteDance 的 VLM 只能落在"数据预处理/标注"这个非安全关键环节——一旦客户想把 VLM 放进"车端实时决策"链路,就会同时撞上 EU AI Act 高风险认定、SOTIF 对 AI 不足的追责、以及 ISO 26262 的 V 模型要求。主动把这个边界讲给客户的法务与安全团队,反而能加快 PoC 审批——因为它证明我们懂欧洲汽车的监管语言。A来源:EDPB 视频设备指南;欧委会 AI 框架页;ISO 21448(均 2026-10-29 核验)
2.12 成本经济学:为什么 VLM 进入 DataOps 是必然
最后从经济学角度解释这个行业趋势的底层逻辑。传统自动驾驶数据闭环的成本结构是:路采车队产生海量视频(大众集团每车每天约 2TB),人工标注按秒计费、一个 Corner-case 标注成本高达数百美元,而真正有训练价值的难例在海量视频里占比极低(常不到 1%)。这意味着客户为 99% 的"普通视频"付了大量人工处理费,却只得到 1% 的有效数据。VLM 进入 DataOps 的本质,就是用便宜的机器推理,先把 99% 的普通视频筛掉、只把 1% 的难例交给昂贵的人工。A
这个成本结构变化解释了为什么 NVIDIA、Scale、Encord、Voxel51 都在 2025–2026 年把 VLM 塞进数据工厂,也解释了为什么客户愿意为"语义检索"付费——它直接砍掉了"全量人工初筛"这一最贵环节。对欧洲销售,这是最有力的商业叙事:我们不是在卖一个新模型,而是在帮客户把数据闭环里最贵的那一段成本砍掉。元戎案例"日省 200+ 人天"正是这个经济学的量化体现。但要再次强调:这个节省数字是客户单方口径,对客应转为带假设的敏感性分析。B
3. ByteDance 技术与产品全景
本章给出一张"销售地图":ByteDance 面向 ADAS/AV 数据智能的能力由哪些组件构成、各自处于什么成熟度、国内与海外(BytePlus)支持状态如何。核心纪律:LAS(数据湖/算子层)≠ Seed VLM(模型层)≠ 视频生成 Seedance(生成层),三者不可混同。
3.1 产品地图:十大组件
| 组件层 | 代表产品/能力 | 成熟度 | 证据级别 |
|---|---|---|---|
| Foundation Model(基座 VLM) | Doubao-Seed-1.8 / 2.0-pro/lite/mini / 2.1-pro/turbo;海外商用名 Dola Seed | GA(国内);海外按区域开通 | B |
| Video Intelligence(视频理解服务) | ModelArk 视频理解 API;BytePlus VOD 智能视频理解;LAS 视频精细理解算子 | GA | A |
| Data Processing(数据加工) | LAS 算子广场(90+ 算子,含全量方舟大模型 API);抽帧/切分/预处理 | GA(公有云) | B |
| Data Infrastructure(数据基础设施) | TOS 对象存储;Lance 列式 ML 格式;EMR Daft/Ray 预处理 | GA / 邀测混合 | B |
| Multimodal Retrieval(多模态检索) | VikingDB 向量库;Skylark-embedding-vision;多模态 Embedding + Rerank | GA(国内+柔佛) | B |
| Semantic Intelligence(语义智能) | 自然语言即规则;AutoPE 提示词自动调优;结构化 JSON 输出 | GA/定制 | B |
| Annotation(标注) | VLM 自动打标(具身/视频);BYOSeed LAS Caption 管线;人工复核漏斗 | 案例级 | B |
| Model Adaptation(模型定制) | 方舟 SFT-LoRA/全量、DPO、GRPO;多模态 SFT(Prompt+Image+Response) | 国内部分 GA;欧洲无微调 | B |
| Validation(验证评测) | 内部 VLM 场景理解准确性评测方法论(守门阈值);AutoPE 离线评测 | 方法论 | D |
| Data Closed Loop(数据闭环) | 在离线双环境、badcase/goodcase 回流、增量 SFT;ADVC 标准化智驾开发平台 | 国内产品/案例 | B |
来源:欧洲 GTM 报告;火山引擎 ADVC 产品页;ADVC 企业百科词条(2026-10-29 核验)
3.2 LAS 正式定义与边界(防混同核心)
LAS 全称 LakeHouse Analytics Service(湖仓一体分析服务),当前对外定位升级为 Lake AI Service / AI 数据湖服务(多模态数据湖),源于字节跳动大模型训练场景,是面向 AI/多模态数据的数据湖,而非传统 BI 湖仓。B-内部已证实来源:LAS 功能清单 v2.0(25.11 销售公示版)(2025-12-01,2026-10-29 核验)
产品能力闭环:数据入湖 → 湖内结构化/算子加工 → 向量检索/模型蒸馏 → 导出至方舟/训练;元数据可托管 Hive、Iceberg、Paimon、Lance 四类表格式。
- LAS 是数据湖 + 算子编排层:算子广场预置 90+ 算子(含全量方舟大模型 API),LAS 本身不训练、不拥有 VLM 权重——它调用底层 Seed/豆包 VLM API 完成理解。不得把"LAS 处理了 X PB 数据"等同于"VLM 推理性能"。
- Seed VLM 是模型层:seed-2-0/2-1 等多模态大模型,跑在方舟/ModelArk 上。
- Seedance/Seedream 是生成层:视频/图像生成,与"理解"是反向任务,且 Seedance 未在 eu-west-1 部署。
3.3 国内 vs BytePlus 海外支持状态对照表
| 能力 | 国内(火山方舟/LAS) | 海外 BytePlus(柔佛 ap-southeast-1) | 欧洲 eu-west-1(都柏林) |
|---|---|---|---|
| Seed VLM 模型 | Seed 1.8/2.0/2.1 全系列 GA B | dola-seed-2.1-turbo / seed-2.0-lite/mini/pro 等 GA A | 仅 seed-2-0 等约 3 个裁剪模型 B |
| 视频精细理解算子 | 3h/10GB,GA A | las_video_understanding,仅柔佛,RPM 600/并发 10 A | 无(算子不在欧洲) |
| VikingDB 向量库 | 京/沪/穗 GA B | 仅柔佛,无欧洲 Region B | 无 |
| TOS 对象存储 | GA B | 柔佛/香港/印尼,主售矩阵无欧洲 B | 无商业 Region |
| SFT / 微调 | SFT-LoRA/全量、DPO、GRPO 公开 B | 柔佛公有云具备 B | 无 Batch / 无微调 B |
| 视频生成 Seedance | GA B | 有 A | 无任何视频生成模型 B |
| Batch / PromptPilot | 有 | 柔佛有 | 无 B |
来源:BytePlus Model list(2026-10-25);LAS 精细理解算子文档(2026-09-23);VikingDB 云监控产品申请信息;海外资源 SLA 矩阵;奔驰会议前技术速读(2026-10-26,2026-10-29 核验)
3.4 海外开通流程与签约主体(销售须知)
- GA 国家/地区可直接注册使用 ModelArk 标准模型;非 GA 地区(含欧洲)需先 ModelArk 平台开白(官网 OA)再申请模型开白,问卷需企业邮箱。B来源:ModelArk Introduction(2026-08-25,2026-10-29 核验)
- 跨主体签约规则:中国主体↔火山中国服务;海外主体↔BytePlus 海外服务;中国主体直接用 BytePlus 海外方舟暂不支持。B
- 合规地区清单与最新国家列表见官网 https://docs.byteplus.com/en/docs/ModelArk/availability;意大利/荷兰/丹麦/澳大利亚只能用 Skylark、不能用 DeepSeek。B
3.5 Seed VLM 模型谱系:销售必须知道的版本时间线
当客户技术团队问"你们用的是哪个版本的模型"时,销售需要能脱口而出这条谱系,并理解每一代的能力跃迁点。2024-12豆包视觉理解初代发布(图像问答/OCR/基础视觉);2025-05 Seed1.5-VL 开源,引入动态帧-分辨率采样 + 时间戳 token、20B MoE LLM + Seed-ViT;2025-06 Doubao-Seed-1.6 系列发布,国内首个 256K 长上下文、自适应思考、分层注意力压缩、API 降价 63%;2025-12 Doubao-Seed-1.8 GA,视频运动与感知评测 TVBench 71.5 / TempCompass 86.9 / MotionBench 70.6,VideoCut 工具、四档思考模式;2026-02 Doubao-Seed-2.0-pro GA,长链路推理、小时级长视频理解;2026-04 Seed-2.0-lite/mini-0428,首款轻量级全模态(视频+图片+语音+文本四模态);2026-06 Doubao-Seed-2.1-pro/turbo GA,视频动态过程与时序理解显著增强。B-内部已证实来源:视频理解+记忆机制+离线/实时推理(2026-07-05,2026-10-29 核验)
对汽车数据场景真正重要的是两个判断。第一,标注场景的模型选型有内部评测结论:Seed 2.1 turbo medium > Seed 2.1 pro medium ≈ Seed 2.0 Pro medium——即性价比优先时用 turbo,极致效果时用 pro,成本敏感时用 lite。B来源:具身智能 VLM 数据标注方案 OnePage(2026-08-25,2026-10-29 核验)。第二,海外商用名与国内不同:海外 ModelArk 上 Seed 2.1 Turbo 的商用名叫 "Dola Seed"(示例模型 ID dola-seed-2-1-turbo-260628),对欧洲客户报价时要用海外 Model ID 而非国内 doubao 命名。A
3.6 LAS 算子能力细节:从"通用成片"到"精细片段"
LAS 的视频理解算子分两族,销售要能向客户解释差别。视频内容理解算子(Video Content Understanding)偏"成片级"概览——章节总结、事件因果链、人物关系图谱、镜头分镜序列,适合媒体内容生产。视频精细理解算子(las_video_understanding)才是汽车数据场景要用的:偏"片段级、可定位"加工,支持最长约 3 小时、单文件约 10GB 输入,按时间戳输出结构化标签,画面+语音+音效联合分析,"自然语言即规则",带 AutoPE(自动 Prompt 优化)和少样本冷启动(约 50 正样本 + 50 负样本)。B/C来源:BytePlus LAS 精细理解算子文档(2026-09-23 更新,2026-10-29 核验)
海外 LAS 算子的公开规格(对客报价依据):fps 参数范围 [1/60, 10] 默认 1.0;分辨率档 low/medium/high/xhigh;reasoning_effort minimal/low/medium/high;支持模型 Seed 1.8 / Seed 2.0 Mini/Lite/Pro / Seed 2.1 Turbo;Max RPM 600、最大并发 10;按 USD/百万 tokens 分级计费(如 seed-2.0-pro [0,128K] 输入 1、输出 6;seed-2.0-mini [0,128K] 输入仅 0.2、输出 0.8)。A-公开已证实 这组数字给销售的武器是:可以用 mini 档做全量粗筛、pro 档做精标,把 token 成本从"全量 pro"降到"mini 粗筛 + pro 精标"的混合档位。
3.7 合规区域真相:别把"云节点"当"数据驻留"
这是欧洲销售最容易踩的坑,必须一次讲透。证据包里区分了三种完全不同的"欧洲痕迹":
- 真实产品级数据托管点:ByteHouse 数仓产品部署在 AWS 欧洲中部(法兰克福 eu-central-1),这是"BytePlus 产品在欧洲有实际数据托管点"的最强官方证据,但属于托管于 AWS 的产品级部署,不是 BytePlus 自营欧洲云区域。A来源:ByteHouse AWS PrivateLink 文档(2025-09-01 更新,2026-10-29 核验)
- 边缘/CDN 计费区域,非数据驻留:MediaLive 计费区域含欧洲多国、RTC 提供 wtn-fr 域名——这是接入点/计费口径,绝不构成数据驻留声明。A
- 隐私政策存储地清单:新加坡、马来西亚、美国、香港、印尼、日本——未列任何欧盟国家。A
3.8 数据底座三剑客:TOS / Lance / VikingDB 的分工
当客户架构师追问"你们数据栈到底怎么搭",销售需要能讲清这三个组件的分工。TOS(对象存储)是底座:宣称 100% S3 兼容、12 个 9 持久性、7 种存储类型、10EB+ 规模,负责把 PB 级原始视频和 Lance 数据落地。它的新能力 TOS SenseFlow(邀测)支持 28+ 算子、数据不出桶的多模态处理,TOS Vector(邀测)提供向量存储——但这两个都还在邀测、非 GA。C
Lance(列式 ML 格式)是"读得快"的关键:take 读取比 Parquet 快约 10–100x、向量搜索约 1ms、ZSTD 透明压缩(点云压缩约 70%)、零拷贝版本控制。它带来的"Zero-Cost Data Evolution"意味着新增一列标注不需要重写历史数据——这正是匿名"A 车企"案例存储成本降约 30% 的技术来源。VikingDB(向量库)则是"找得快"的关键:百亿~千亿级向量毫秒检索、稠密+稀疏混合检索,承担语义召回。三者关系是:TOS 存原始与 Lance 文件、Lance 管 ML 数据的高效读取、VikingDB 管向量级的语义检索——它们是数据基础设施,不是 VLM 本身,性能数字(PB、GPU%)属于这一层。C(产品宣称)
3.9 海外三条视频理解产品线的分工
海外(BytePlus)向客户交付视频理解,实际上有三条产品线可选,销售要知道各自的定位。ModelArk 视频理解 API是最底层的:客户自己用 Responses/Chat API 把视频(经 Files API 上传为 file_id)喂给 VLM,做描述、问答、信息抽取、动作逻辑分析,适合有自研工程团队的客户。A来源:BytePlus ModelArk Video Understanding 文档(2026-10-29 核验)
BytePlus VOD 智能视频理解是封装好的媒体处理管线:基于 ModelArk 模型 + Seed Speech ASR + VikingDB,提供内容摘要/智能标签/爆款片段分析/剧情拆解,预处理含抽帧(240p–1080p 可选)、ASR、人声分离、OCR、场景切分——但它原生面向媒体/内容场景,汽车客户要二次定制。LAS 视频精细理解算子则是面向"片段级、可定位"加工的最贴合汽车数据的一条,支持 3h/10GB、时间戳定位、结构化 JSON。三条线的关系是:ModelArk 是引擎、VOD 是媒体成品、LAS 算子是数据加工——对欧洲汽车客户,我们主推的是 ModelArk API + LAS 算子的组合,VOD 主要用于座舱内容审核等相邻场景。A来源:BytePlus VOD 智能视频理解文档(2026-10-22 更新,2026-10-29 核验)
3.10 LAS 开服 Region 与私有化真相
关于 LAS 在哪里能用,销售需要一张精确的"开服地图",而不是模糊的"已上线"。国内:华北2(北京)、华东2(上海)、华南1(广州)正式售卖(GA)。海外:火山柔佛(ap-southeast-1)新增正式售卖(GA);BytePlus 柔佛(ap-southeast-1)需开白(Preview/白名单)。证据显示 BytePlus 站 LAS 算子正在 GTM 铺开(2026-08~10 有多份"开白申请/Demo Playbook-EN/算子上架专区"材料),但不是全量 GA。B
私有化方面要特别小心:内部存在 LAS 私有化 v2.4.0 交付手册(国内私部),订阅报价约 175 万元/年起、买断约 380 万元起——但这是中国国内私部,欧洲无 SKU。内部口径明确 veStack/veMLP/一体机等 5 条私部路径仅中国商用,欧洲无对应产品;欧盟 IDC 私部/法兰克福·都柏林自有 PoP 只是路线图 2027 Q1,当前无产品、无交付先例。对欧洲客户绝不能承诺本地私有部署。C(私部报价)/ D(欧洲路线图)来源:LAS 功能清单 v2.0;奔驰会议前技术速读(2026-10-26,2026-10-29 核验)
3.11 本章小结:一张产品地图的使用方式
把本章的产品全景浓缩成销售可操作的判断:当客户问"你们有什么",不要罗列全部组件,而要按客户成熟度分层回答。对刚接触的客户,只讲 ModelArk 视频理解 API + LAS 算子这两个最成熟的能力,配元戎脱敏案例。对有数据团队的客户,再展开 VikingDB 语义检索 + Embedding + Rerank 的两阶段架构。对已经谈深的客户,才引入 TOS/Lance 数据底座与闭环叙事。任何时候都要主动划清 LAS≠Seed VLM≠视频生成、数据基础设施性能≠VLM 性能这两条边界——这既防止客户产生错误预期,也体现我们对自身产品组合的清晰认知。
4. VLM 视频理解技术深入解析
本章是技术对话的核心弹药。关键立场:VLM 在自动驾驶数据智能里的定位是"理解与标注工具",不是"感知/决策系统"。我们用一套六层能力分级贯穿全章,并在每一层标注证据与边界——坚决不把单帧识别效果推导为高速动态驾驶事件的准确率。
4.1 抽帧、压缩与时序表示:VLM 是怎么"看"视频的
VLM 并不原生逐像素理解连续视频流,其底层是抽帧分析:
- fps 可调:方舟/ModelArk 视频接口 fps 范围 [0.2–5],默认 1(每秒抽 1 帧);LAS 精细理解算子 fps 参数 [1/60, 10],默认 1.0。B来源:多模态理解指南(2026-06-24,2026-10-29 核验);LAS 算子文档(2026-09-23)
- 预处理参数:ModelArk 视频理解可指定
preprocess_configs[video][model]、fps(示例 0.3)、max_video_tokens(示例 200000)、min_frames(示例 16)。A-公开已证实来源:BytePlus ModelArk Video Understanding 文档(2026-10-29 核验) - 文件输入规格:托管存储上传 ≤512MB;TOS Bucket 路径 ≤2GB;公网 URL ≤50MB;Base64 适用于 <50MB 且请求体 ≤64MB。A
- 动态帧-分辨率采样:Seed1.5-VL 起采用"剧烈片段自动提高采样率"的动态帧采样;Seed1.8 视觉编码器压缩比 2.25 倍、默认 High Detail(900 万像素内不压缩)。B
- 长视频靠工具链拼接、非原生实时流:小时级视频 = 低帧率抽帧 + VideoCut(低帧率看全片→高帧率聚焦片段)+ 外挂向量记忆(256K 上下文 + 向量检索)。B来源:视频理解+记忆机制+离线/实时推理(2026-07-05,2026-10-29 核验)
4.2 FPS / 分辨率 / Clip Duration / Token 消耗对效果与成本的影响
这是与客户技术团队对话时最能体现深度的部分。本质是一个三变量权衡:
| 旋钮 | 调高的效果收益 | 成本/代价 | 工程实践 |
|---|---|---|---|
| FPS(抽帧密度) | 捕捉短时复合动作(变道+刹车)、高速事件不漏帧 | token 消耗近似线性上升;元戎案例中高帧率全量处理成本是主要权衡项 | 元戎用 thinking/常规双档:夜间精标高帧率、全量筛选低帧率 B |
| 分辨率 | 远处小目标、OCR、锥桶等细小目标不漏检 | 每帧 token 数上升;LAS 提供 low/medium/high/xhigh 四档 | >720p 内容 resize 到 720p 的预处理约束(针对生成场景)D |
| Clip Duration | 长上下文支撑事件因果推理 | 受 256K 上下文与 max_video_tokens 约束;LAS 算子单文件上限 3h/10GB | DENSO 项目 fps=5、reasoning=high;长视频靠 VideoCut 分段 C |
| 推理档位 | reasoning=high 提升复杂事件解决率 | 时延与成本上升;Seed1.8 四档思考 minimal/low/medium/high | 内部评测推荐:标注场景 Seed 2.1 turbo medium > 2.1 pro medium ≈ 2.0 pro medium B |
4.3 结构化输出
VLM 用于数据闭环的前提是"可被下游程序消费",而非自由文本。证据:seed-2-0-lite/mini 官方推荐 json_schema 结构化输出(Model list 标注 "Structured output (beta)");LAS 精细理解算子输出结构化 JSON(timeline、事件列表);DENSO 项目输出中/英/日三语结构化 JSON。A来源:BytePlus Model list(2026-10-25,2026-10-29 核验)
4.4 六层能力分级(本章主线,逐层给证据与边界)
内部方法论把视频理解结果分为四层证据链:直接观察 → 跨帧关系 → 业务事件 → 解释与风险,越往后推断越多、越依赖采样完整性。B来源:VLM 视频理解工程化落地(2026-09-24,2026-10-29 核验)。我们据此展开为六层:
第 1 层|静态场景理解 B-内部已证实
能力:单帧场景分类、画面描述、文档表格抽取(DA-2K 90.7)。边界:这是最成熟层,但"看懂一张静态图"与"理解一段驾驶视频"之间有本质鸿沟——销售不得用静态识别效果代表视频理解能力。
第 2 层|物体属性 B-内部已证实
能力:Grounding(<bbox>/<point> 框点坐标)、Counting(计数)、OCR;Seed1.8 默认 High Detail、900 万像素内不压缩。边界:能给出"画面中有几辆车、位置在哪",但不给出精确距离 / 尺寸测量值。
第 3 层|行为与运动 B-内部已证实
能力:Seed1.8 视频运动与感知评测 TVBench 71.5 / TempCompass 86.9 / MotionBench 70.6;动态帧-分辨率采样;视频流 1FPS 抽帧实时感知。边界:内部方法论文档自承"自车运动 vs 目标运动区分困难:自车视角下停放车辆易被写成运动"。这是自车视角数据的系统性难点。
第 4 层|时空交互 / 长视频定位 B-内部已证实
能力:VideoCut 工具(低帧率看全片→聚焦片段高/正常帧率细看);Responses API 图像工具 zoom/rotate/point;时间戳定位;长视频三类任务划分(全局理解 1-1 / 片段定位 n-1 / 全片精细 n-n)。边界:定位依赖抽帧密度,抽帧间隔越大,事件边界定位越粗。
第 5 层|复杂驾驶事件 C-内部线索
能力:DENSO 项目 Near-miss 检测,四类时间线(自车行为 / 交通参与者 / 交通规则与道路结构 / 环境),中/英/日三语结构化 JSON;Seed 2.1 Turbo + 2.0 Pro、fps=5、reasoning=high,约 90%+ 问题被解决。已知难例:停放车误判为运动、变道+刹车复合动作漏一项、信号灯颜色推断。边界:该结果来自内部线索级摘要(原始 URL 未保留),不得当作对外规格。
第 6 层|风险因果推理 C-内部线索
能力:内部"主动防御驾驶"Skill(基于 doubao-seed-2-0-pro-260215),风险模式库 ghost_pedestrian(鬼探头)/ wrong_way(逆行)/ cut_in(加塞)/ lane_occupation / unprotected_intersection / work_zone / low_light / rain_wet / backlight,3–5 秒风险预测、结构化 JSON 输出。边界(红线):这是内部 Skill、非 GA 产品;且第 6 层是推断链的末端,最依赖采样完整性,绝不能对外宣传为"VLM 可做安全关键驾驶决策"。
4.5 VLM 与专用感知 / 几何计算 / 传感器融合的边界
内部工程化方法论明确划出边界:
- VLM 不能提供精确速度 / 距离 / TTC / 驾驶意图 / 事故责任,除非有经过标定的外部数据和对应验证。VLM Prompt 生成的是"基于当前证据的任务答案",不是测量值、法律结论或客户验收。B
- 精确运动轨迹、距离、速度、TTC 属于专用几何计算与传感器融合(摄像头+LiDAR+雷达标定后)的职责;VLM 只做"语义层"的事件归类与自然语言描述。
- 长视频理解是工具链拼接(抽帧+VideoCut+向量记忆),非原生实时流;且以闭源 API 为主。B
来源:VLM 视频理解工程化落地及 AI-SDLC(2026-09-24,2026-10-29 核验)
4.6 横向对标:NVIDIA 的证据同样显示时空推理是行业最难
值得在客户对话中引用的诚实对标:NVIDIA×Uber Cosmos Reason 2-8B 后训练后,时空推理仍是最弱项(峰值仅 70.0%);内部 MCQ-VQA 从 80.18% 仅升到 80.85%(+0.67pp),而外部 LingoQA 从 63.2% 升到 77.0%(+13.8pp)——说明"内部好看"可能来自题库过拟合。A-公开已证实来源:NVIDIA Cosmos Cookbook(2026-01-05,2026-10-29 核验)。这印证了我方"不夸大 VLM 动态事件能力"的策略是行业共识。
4.7 模型定制(SFT):什么时候该微调、什么时候不该
客户技术团队几乎一定会问"能不能用我们的数据微调你们的模型"。正确的回答不是简单的"能",而是一套工程判断框架。内部口径明确:先固定任务/GT/测试集 → 比较模型与输入方案 → Prompt/schema 稳定后仍有系统性偏差、且有足够高质量数据与收益空间,才评估 SFT/DPO(昂贵)。SFT 适合稳定任务 + 高质量标准答案,DPO 适合可靠偏好对;二者都不能恢复缺失画面,也可能引入新回归。B来源:VLM 视频理解工程化落地(2026-09-24,2026-10-29 核验)
数据门槛方面,方舟内部 one-page 给出量化口径:SFT 需数百条以上标注(prompt+response 对)、推荐默认先 SFT;DPO 需百条以上偏好对比数据;RL(GRPO/PPO/DAPO)需百条以上 prompt 集;CPT 需未标注数据一千万 tokens 以上。B来源:模型精调 onepage(2025-12-04,2026-10-29 核验)。但对欧洲客户这是个硬伤:eu-west-1 都柏林节点没有 Batch、没有微调(LoRA)能力,海外 SFT 只能落在柔佛(数据出境马来西亚)——欧盟本地 SFT 无证据。因此对欧洲客户,PoC 阶段应先用 Prompt engineering + AutoPE 验证价值,把"是否微调"作为 PoC 成功后的第二阶段议题,而非第一阶段承诺。
4.8 六层能力分级的对客讲述脚本
把六层翻译成客户听得懂的话:第 1–2 层相当于"给视频打标签、框出物体在哪",这是我们已经在生产环境跑通的(元戎 24 类长尾障碍物打标);第 3–4 层相当于"描述这辆车在干嘛、这事发生在第几秒",这是 DENSO Pilot 在验证的 Near-Miss Timeline;第 5 层相当于"这是一个加塞险情还是一次正常变道",这是我们有内部线索但需客户 GT 验证的;第 6 层相当于"预测 3 秒后会不会撞",这是研究方向、绝不承诺。这套讲法的价值在于:它主动把客户的预期压到我们真正能交付的区间,避免后期 PoC 验收时因"你们当时说能做风险预测"而翻车。
4.9 公开评测基准:能说什么、不能说什么
客户技术团队会引用公开基准来"考"我们,销售需要知道哪些数字是安全的。Seed 1.8 在视频运动与感知评测上的官方口径是 TVBench 71.5 / TempCompass 86.9 / MotionBench 70.6,VideoMME 87.8,LVBench 73.0@64K;Seed 2.0 官方博客称视频场景在 TVBench/TempCompass/MotionBench 位居前列、EgoTempo 超过人类水平。B来源:ByteDance Seed 官方博客 Seed 2.0 发布(2026-02-14,2026-10-29 核验)
但必须讲清两个边界:第一,这些是通用视频理解基准,不是"驾驶场景"基准,更不是"高速动态驾驶事件"准确率——销售绝不能把 TVBench 71.5 说成"我们在驾驶视频上有 71.5% 的准确率"。第二,NVIDIA×Uber 的公开案例恰恰证明,通用基准好看不等于业务落地好看:Reason 2-8B 内部 MCQ-VQA 后训练只提升 0.67pp、时空推理峰值仅 70%,这说明连 NVIDIA 这种全栈玩家在驾驶视频语义理解上都还在早期。诚实引用这个对标,反而能让客户相信我们对 VLM 能力边界的判断是清醒的。
4.10 六层能力与欧洲客户场景的映射
把六层能力翻译成欧洲客户能对号入座的具体场景,销售就能现场判断"这个客户的需求落在第几层、我们能不能接"。第 1–2 层(静态/物体)对应客户最基础的诉求:"从路采视频里自动框出所有行人、车辆、锥桶,数清楚有几个"——这一层我们有 Production 验证(元戎 24 类长尾障碍物打标),可以放心承诺。第 3–4 层(行为运动/时空交互)对应:"这段视频里前车有没有刹车?变道发生在第几秒?"——这一层是 DENSO Pilot 在验证的,约 90%+ 问题解决率,但要带"内部线索、需客户 GT 复核"的限定。
第 5 层(复杂驾驶事件)对应:"这是一次 Near-Miss 险情还是正常会车?"——这一层是客户最感兴趣、也最容易过度承诺的。销售要讲清楚:我们能做"事件分类与时间线标注",但分类准确率依赖客户提供 GT 做验证,且复合动作(变道+刹车)有漏检先例。第 6 层(风险因果推理)对应:"预测 3 秒后会不会撞、责任在谁"——这一层是红线,任何客户提出这个需求,销售都应明确拒绝并引导回第 5 层:VLM 不做安全关键决策,精确 TTC/责任属于专用感知与几何计算。这套分层映射的价值,是让销售在客户还没说清需求时,就能预判"这单能做到哪一步、风险在哪"。
4.11 长视频处理:VideoCut 与工具链拼接的工程真相
客户问"你们能处理多长的视频"时,答案要分两层说。单层 API 层面:LAS 精细理解算子单文件上限 3 小时 / 10GB,这是真实规格。但"小时级长视频的完整理解"并不是一个模型一次性看完——而是靠工具链拼接:先用低帧率抽帧快速看全片、建立全局脉络,再用 VideoCut 工具锁定可疑片段、对该片段用高/正常帧率细看,外挂向量记忆(256K 上下文 + 向量检索)把多个片段的信息拼接起来。B
这个工程真相对销售的意义是:不要向客户承诺"VLM 原生实时理解一路连续驾驶流"。我们的长视频能力是"离线、批量、分段、可定位"的,适合数据闭环里的事后分析,不适合车端实时感知。车端实时场景属于 NVIDIA DRIVE AGX Thor、Alpamayo 2 Edge 那类专用车端推理栈——ByteDance 明确不做这个战场。把"离线长视频理解"与"车端实时感知"分清楚,既管理了客户预期,也划清了与 NVIDIA 的边界:我们在云端做数据,他们在车端做推理。B来源:视频理解+记忆机制+离线/实时推理(2026-07-05,2026-10-29 核验)
4.12 结构化输出与 Schema:让 VLM 结果可被程序消费
很多客户第一次接触 VLM,会以为它输出的是"一段描述视频的自然语言"。在数据闭环里,这远远不够——下游的检索、统计、训练管线需要的是机器可消费的结构化标签。这就是为什么"结构化输出"是汽车场景的硬需求,而不是锦上添花。证据:seed-2-0-lite/mini 官方推荐 json_schema 结构化输出(Model list 标注 "Structured output (beta)");LAS 精细理解算子直接输出结构化 JSON(timeline、事件列表);DENSO 项目把四类事件压成中/英/日三语 JSON,每个事件带起止时间戳。A
这套结构化能力的商业价值在于:一旦 VLM 输出变成客户 schema 里的标准字段,它就能直接进客户的数据湖做 SQL 多维查询(元戎案例里标签入湖后可按类别、场景、Prompt 版本做血缘追溯)。销售在 PoC 设计时,应该主动提出"我们帮你把 VLM 输出映射到你现有的标注 schema"——这比单纯演示"模型能看懂视频"更能打动客户的数据团队。同时要提示:LAS 通用输出仍需单独做事件边界与事实评测,结构化 JSON ≠ 100% 准确,仍需人工抽检兜底。B
5. 数据处理、检索和标注技术架构
本章把完整的 ADAS/AV 数据闭环流水线拆成环节,逐环节标注"现成可用 / 需集成 / 属客户或合作伙伴系统",让销售能现场画出一张客户听得懂的架构图,并诚实指出哪些环节不是 ByteDance 的菜。
5.1 端到端流水线(12 环节)
| # | 环节 | ByteDance 组件 | 就绪度 | 证据 |
|---|---|---|---|---|
| 1 | Raw Video(量产回传/路采) | — | 属客户系统:16 路相机回传数据由客户车队产生 | B |
| 2 | Ingestion(入湖) | TOS 对象存储(S3 兼容、12 个 9 持久性) | 现成可用(国内/柔佛);欧洲无商业 Region | B |
| 3 | 预处理(解包/质检/抽帧归一/粗分段) | EMR Daft/Ray;ffmpeg 抽帧(默认 1fps);模糊/过曝/全黑/损坏帧剔除 | 需集成(客户方案级) | B |
| 4 | Embedding / Metadata | 豆包多模态 Embedding(约 2048 维稠密);Skylark-embedding-vision | 现成可用(柔佛);VikingDB 欧洲无 | C |
| 5 | 语义检索(召回候选) | VikingDB(稠密+稀疏混合检索);DENSO 客户原用 Milvus,拟迁 VikingDB | 需集成(客户侧 PoC) | B |
| 6 | VLM 理解与 Rerank | Seed VLM(2.1 turbo/2.0 pro)对召回候选核对对象/动作/方向/路径后重排 | 现成可用(API) | B |
| 7 | 场景分类 / 自动标注 | LAS 视频精细理解算子;AutoPE 提示词自动调优;结构化 JSON 标签 | 现成可用(柔佛) | A |
| 8 | Corner-case 挖掘 | "先筛后标"漏斗:VLM 难例打标(24 类长尾障碍物)→ SQL 多维查询 | 现成可用(元戎 Production 验证) | B |
| 9 | 人工验证 | 在离线双环境按准确率动态抽检(>90% 场景直接放行降抽检) | 需集成(客户人工复核流程) | B |
| 10 | 数据集构建 | Lance 列式 ML 格式(take 比 Parquet 快 10–100x、ZSTD 点云压 70%);badcase/goodcase 回流离线数据集 | 现成可用 | C |
| 11 | 训练 / 仿真 / 评测 | LAS Lance + EMR Ray(GPU 利用率提升至约 96%);客户自研模型训练 | 属客户/合作伙伴系统(训练算力与模型自研) | B |
| 12 | 闭环反馈 | AutoPE 离线评测调优后发布上线;增量 SFT | 需集成(方法论级) | D |
来源:元戎启行×LAS 算子案例;LAS+Lance PB 级智驾数据湖方案;VLM 视频理解工程化落地(DENSO 复盘)(2026-10-29 核验)
5.2 关键组件角色:VikingDB / Embedding / Rerank / TOS / Lance
- TOS:原始视频湖 + Lance 落地存储;火山 TOS 宣称 100% S3 兼容、12 个 9 持久性;新能力 TOS Vector(邀测,单 Index 5000 万 Vector)、TOS SenseFlow(邀测,28+ 算子数据不出桶)。C
- Lance:列式 ML 数据格式,支撑"Zero-Cost Data Evolution"——新增标注列不重写历史数据,官方案例存储成本降约 30%;点云 ZSTD 透明压缩约 70%。B来源:火山引擎 LAS 基于 Lance 的 PB 级智驾数据湖方案(2025-07-25,2026-10-29 核验)
- VikingDB:字节自研向量库,宣称百亿~千亿级向量毫秒级检索(约 20ms)、稠密+稀疏混合检索;合规上过等保三级 / ISO 42001、不存储客户原始数据、向量加密 BYOK。C(产品宣称,非独立基准)。关键边界:BytePlus 仅柔佛有 VikingDB,无欧洲 Region。B来源:VikingDB 云监控产品申请信息(2025-12-08,2026-10-29 核验)
- Embedding + Rerank:DENSO 预研方案 = Query 视频 → Ark 多模态 Embedding → Milvus 召回候选 → 提取候选最相关时序窗口 → VLM 核对 → 重排 → 人工确认。关键边界:VLM 只对"已召回候选"做重排/核对,无法补回召回阶段漏掉的样本;当前无正式的"重排增益"量化数据。B/C
5.3 自动标注的降本叙事(带条件引用)
销售材料口径:大模型打标 vs 人工典型 10x–1000x 降本,具身智能视频打标 >90% 降本;VLM 打标效率约 98%、开发周期由数周压缩至约 3 天、客户侧已稳定运行超 2 万小时。B/C(销售材料口径,对客引用需授权)来源:BytePlus 数据标注 one-page(2026-10-12,2026-10-29 核验);09-24 汽车四部出海项目 Review 周例会妙记
5.4 两阶段检索范式:为什么"召回"与"重排"必须分开
DENSO 与监控视频两个方案共同验证了一个工程范式:不要指望一个模型同时完成"从百万视频里找"和"精确判断"。正确做法是两阶段。第一阶段用轻量 Embedding(约 2048 维稠密)把所有视频帧编码成向量入库,客户用一句自然语言(如"找出所有无保护路口的行人横穿")做向量召回,毫秒级返回几百个候选——这一步追求高召回率、低单条成本。第二阶段才把这几百个候选喂给 VLM,让它逐条核对对象、动作、方向、路径,输出结构化判断并打分重排——这一步追求高精度、但因为候选量已经很小,可以用昂贵的 pro 档模型。
这个范式的商业价值在于成本结构:如果对百万视频直接跑 VLM 重排,token 成本是天文数字;而先 Embedding 召回、再 VLM 重排,VLM 只处理千分之几的样本,整体成本下降几个数量级。但必须向客户讲明边界:VLM 重排无法补回召回阶段漏掉的样本——如果 Embedding 模型对某个场景语义理解不好、没把它召回进候选集,后面再强的 VLM 也无能为力。因此"重排增益"必须在客户自己的 GT 上实测,不能用我们内部的宣传口径。B/C
5.5 数据基础设施的"非模型"性能:别讲错了对象
销售最容易犯的错误,是把数据基础设施的性能数字当成 VLM 的性能来宣传。这里有三组数字,它们属于不同层,必须分开讲:
- 存储/计算层(TOS+Lance+EMR Ray):匿名"A 车企"案例存储成本降约 30%、单机 8×A100 GPU 利用率从 60% 提升到 90–96%、10PB 数据标签处理从 4 天缩到 1 天。B 这是数据管道效率,不是 VLM 理解力。
- 标注管线层(VLM 打标):星海图具身案例标注准确率跃升至 90%+、批量成功率约 90%+、TPM 峰值白天约 2000 万夜间约 1 亿。B 这是"VLM+人工复核"管线的整体准确率,不是 VLM 单模型准确率。
- 模型层(Seed VLM 评测):TVBench 71.5 / TempCompass 86.9 / VideoMME 87.8。B 这是公开基准,与上述业务指标不可互换。
来源:LAS+Lance PB 级智驾数据湖方案(2025-07-25);星海图×LAS 算子案例(2026-09-20,2026-10-29 核验)
5.6 ADVC:面向中国市场的标准化智驾开发平台
需要向客户说明的是,ByteDance 在中国市场其实有一个标准化产品叫 ADVC(Autonomous Driving Vehicle Cloud,自动驾驶开发平台),定位是面向汽车/自动驾驶的标准化云服务,覆盖采集→传输→存储→合规→分析→标注→训练→仿真全流程闭环。B来源:ADVC 企业百科词条(2026-09-30 更新,2026-10-29 核验);火山引擎 ADVC 产品页。但要强调:ADVC 是中国国内在售产品,欧洲客户不能直接购买 ADVC;欧洲能交付的是 ModelArk VLM API + LAS 算子 + VikingDB + TOS 的组合,且完整能力在柔佛。销售不要把 ADVC 的全流程闭环叙事直接搬到欧洲客户面前,那会造成"你们什么都有"的错误预期。
5.7 闭环反馈:数据飞轮的最后一公里
一个完整的数据闭环,价值不只在"这一次挖出了难例",而在"下一次挖得更准"。元戎启行的实践是:人工复核后的 badcase/goodcase 回流离线数据集,经 AutoPE 离线评测调优后再发布上线;"在离线双环境"按准确率动态抽检——准确率 >90% 的场景直接放行降抽检,badcase 多的场景提高抽检直至纯人工。B 这套机制的商业含义是:客户用得越久,VLM 对客户特定场景的适配越好,切换成本越高——这正是数据闭环生意的护城河。但对欧洲客户要诚实:这个闭环的"增量 SFT"环节在欧洲没有微调能力,闭环的最后一步(模型再训练)仍需客户在自有环境或柔佛完成。
5.8 人工验证:人机比例的动态平衡
一个被客户低估、却决定项目成败的环节是"人工验证"。VLM 再强,也不能直接把标签灌进训练集——必须有人工复核做最后把关。元戎启行的做法是"在离线双环境按准确率动态抽检":某个场景 VLM 准确率 >90%,就降低抽检比例、直接放行,让这个场景基本自动化;某个场景 badcase 多,就提高抽检比例,甚至暂时退回纯人工。B 这套机制的妙处在于:它把"VLM 准确率"从一个静态指标,变成了一个动态调节人机成本的旋钮——成熟场景省人工,不成熟场景保质量。销售在向欧洲客户描述时,应该强调这不是"VLM 全自动取代人工",而是"VLM 把人工从全量复核压缩到只复核 VLM 拿不准的那部分"。这既诚实,也符合 SOTIF/ISO 26262 对"AI 功能不足需人工把关"的监管要求。
5.9 预处理管道的工程现实
从证据包看,一个真实的端到端预处理管道(贝塔无限端侧采集方案)是:端侧采集 → TOS → EMR Daft/Ray 预处理(时空对齐、抽帧归一、长视频粗分段)→ Lance(落 TOS)→ ByteHouse AISQL 调用 LAS 算子预检。B 这里要向客户讲清:"数据处理"不是一个按钮,而是一串需要按客户传感器配置、时间同步、存储格式逐一适配的工程环节。ByteDance 提供 EMR Daft/Ray、TOS、Lance、LAS 算子这些部件,但"按客户具体 16 路相机 + LiDAR 配置做时空对齐"这一步,通常需要系统集成。这正是 PoC 阶段的工作内容,也是为什么我们说"需要集成"而不是"开箱即用"。
5.10 闭环的商业本质:从一次性项目到长期订阅
数据闭环架构的最终商业意义,是把"一次性的标注项目"变成"长期的数据订阅关系"。在传统标注模式里,客户每标一批数据、付一笔钱,项目结束关系就结束。而在 VLM 驱动的数据闭环里,客户的数据飞轮每天都在产生新视频、新 badcase,VLM 每天都需要重新打标、重训、回流——这是一个持续消耗 token、持续产生价值的循环。对销售而言,这意味着 ARR(年度经常性收入)的想象空间,远大于一次性 PoC 收入。
但要冷静看到这个闭环在欧洲的现实约束:闭环的"再训练"环节(增量 SFT)在欧洲没有微调能力,只能落柔佛;闭环的"数据存储"环节欧洲没有 TOS Region。因此欧洲版的闭环,短期内更现实的形态是:客户用自己已有的 AWS/Azure 数据湖存储,ByteDance 提供 VLM 理解与标注的 token 服务,闭环的回流发生在客户侧——我们卖的是"理解与标注"这个高价值环节的持续算力,而不是整个数据基础设施的主权。这个定位既规避了合规短板,也避开了与客户主云的正面竞争。B
6. 实际客户案例全景及重点案例深挖
本章是销售最常翻的一章。纪律:公开材料与内部材料冲突处单列;历史负面证据如实呈现;"豆包进座舱"≠"VLM 智驾数据案例"。每个案例标注阶段(Demo/PoC/Pilot/Production/Paid)与可否对外披露。
6.1 案例全景表
| 客户 | 地区 | 项目类型 | 阶段 | 证据 | 对外披露 |
|---|---|---|---|---|---|
| 元戎启行 DEEPROUTE | 中国 | VLM 难例挖掘/自动打标(LAS 算子) | Production | B | 脱敏可对外;实名联合 PR 未发布 |
| 电装 DENSO(东京) | 日本 | Near-Miss 检索 + Timeline 标注 + Embedding/VLM 重排 | Pilot(交付推进中) | B/C | 仅内部引用 |
| BMW Group | 德国(中国执行) | 自动驾驶云 PoC ×2;VLM 视频理解为拟演示方向 | PoC×2 完成 → RFP 前期 | B | 严禁对外 |
| Mercedes-Benz | 德国(中国) | 路采视频 VLM 理解测试(历史二期) | 测试结束,效果一般 | B | 内部负面复盘 |
| 本田中国/海纳新思 | 中国 | VOC 小 PoC;合规云规划切入 | PoC(VOC 约 20 万)→ 商机 | C | 未授权;公开口径=AWS 伙伴 |
| Volvo Group(VAS) | 瑞典 | VLM 场景挖掘/corner case(机会评估) | Demo 前(P0,未启动) | C | 仅内部 |
| 大众 VW/CARIAD | 德国 | 组织尽调;VLM/ADAS DataOps 为销售假设 | Demo 前(机会评估) | C/D | 内部 |
| 哪吒汽车 | 中国 | 智驾云/数据闭环(2020-12 起"云数工程") | 客户已采用(公开) | A | 公开可引(注意:智驾云,非 LAS 算子/VLM) |
| 仙豆智能 | 中国 | 自动驾驶数据采集/处理/标注/验证一站式 | 合作(官网方案页) | A/B | 公开可引 |
6.2 四组分类
A. 已交付可对外引用(脱敏后)
- 元戎启行 × LAS(Production;脱敏可对外 OnePage + 不具名 PR)。B
- 仙豆智能(官网方案页公开口径)。A/B
B. 已交付/已验证但仅内部引用
- 元戎启行实名案例【仅对内】;DENSO × VLM(Pilot);BMW 中国两次智驾云 PoC(符合预期);奔驰二期路采 VLM 测试(历史负面证据)。B
C. 进行中测试 / PoC / 商机
- BMW China ADAS Infra RFP(2026-11 窗口);本田 VOC PoC;Volvo Group VLM(P0 未启动);VW/CARIAD(销售假设);理想 AD 数据闭环(商务谈判)。C
D. 仅技术方案 / 待验证机会
- 欧洲 ADAS DataOps 目标客户清单:Wayve、Zenseact、Mobileye、NVIDIA Automotive、Bosch、Continental、Aptiv、Cariad;BMW Demo 四方向尚待客户验证。C
6.3 重点案例深挖 ①:元戎启行 × LAS(B,Production,指标齐全)
| 字段 | 内容 |
|---|---|
| 客户与国家 | 深圳元戎启行 DEEPROUTE.AI,中国;头部第三方智驾方案商,2025 年超 20 万辆搭载其组合辅助驾驶车辆上路,2026 目标量产交付破 100 万辆 |
| 痛点 | 存量回传上百 PB;长尾障碍物占比 <1%,关键片段仅数秒,人工翻看命中率万分之几;旧版直连通用大模型(误配置)5 万条基准命中率约 28% |
| 阶段 | Production:单日 20 万 clips 稳定跑批,生产任务成功率 ≥98% |
| ByteDance 组件 | LAS 视频精细理解算子(核心 × 豆包 VLM)+ AutoPE + TOS + EMR Ray 物理切分 + LAS start/end 虚拟切分;thinking/常规双档 |
| 效果(注明条件) | 5 万条真实基准:难例真实命中率较业界通用模型 +约27%、较客户旧版基线 +约44%;十余类核心工况精度约 90%(部分 93%–95%);日省人工复核 200+ 人天;迭代周→天 |
| 已知限制 | 难例占比 <1% 前提;高帧率全量成本与细小目标(锥桶)漏检权衡;夜间/白天需差异化档位;无人配送/矿卡/港口场景须重建标签,不能直接套用道路效果 |
来源:元戎启行×LAS 算子案例【仅对内】(2026-09-21 建/10-08 更);脱敏可对外 OnePage(2026-10-29 核验)
6.4 重点案例深挖 ②:BMW 中国智驾云 PoC(B,严禁对外披露)
| 字段 | 内容 |
|---|---|
| 客户与国家 | BMW Group(德国总部;执行与 RFP 在宝马中国 BBA) |
| 阶段 | PoC ×2 已完成(结果均符合预期)→ 中国区 ADAS Infra RFP 前期 |
| 关键时间线 | 2026-09-07 德国拜访 Tobias Bürger(Lead Data Platform for AD);09-30 BMW 提出 26 项产品问题;2026-11 中国区 RFP 预计启动,预算 Tens of Million USD 量级 |
| 计划演示方向 | ①Semantic Scene Mining ②Auto Annotation + Golden Dataset ③Long-tail Synthetic Variation ④ADAS Data Infra Benchmark;理想串联:100h driving video → mining → annotation → golden dataset → synthetic |
| 竞争格局 | BMW 德国全球 ADAS Infra 继续用 AWS;中国区不用 AWS(以阿里云为主),最终决策回德国总部 |
来源:BMW AD-Infra Insight(2026-09-08);BMW 欧洲组织架构尽调报告(2026-10-22 核验)
6.5 重点案例深挖 ③:DENSO 东京(B/C,Pilot)
| 字段 | 内容 |
|---|---|
| 客户与国家 | DENSO 电装 Global R&D(东京),日本;全球汽车 Tier1 |
| 阶段 | Pilot(交付推进中):现场汇报获认可,推进 VikingDB + VLM 重排方案正式交付 |
| 数据规模 | 客户采购约 5 万小时驾驶视频 |
| 方案要点 | Near-Miss 检索 = Embedding 召回 + VLM Rerank 两阶段(客户原自训 Embedding + Milvus,拟迁 VikingDB);Timeline 标注覆盖 4 类事件、中英日三语;Seed 2.1 Turbo + 2.0 Pro、fps=5、reasoning=high、约 90%+ 问题被解决 |
| 已知限制 | VLM 重排相对纯 Embedding 的增益需在客户 GT 上验证;细节数值为内部线索级,对外引用前须向 owner 复核 |
来源:VLM 视频理解工程化落地及 AI-SDLC(含 DENSO 复盘)(2026-09-10 建/09-23 更,2026-10-29 核验)
6.6 历史负面证据:奔驰路采 VLM 测试(如实呈现)
2025-03 前后奔驰二期路采测试:16 段路采视频、Doubao-1.5-vision-pro-32k(preview),文档结论为"效果一般";同批多模型对比 gpt-4.5 > gemini-1.5-pro > doubao-1.5-vl-preview ≈ qwen2.5-vl-72b > qwen-vl-max。B来源:自动驾驶-大模型相关场景(2025-03 建/2026-06 更);奔驰路采视频测试专项文档(2026-10-29 核验)
6.7 哪吒:公开案例与内部无证据的差异(如实列出)
公开渠道:哪吒汽车智能研究院常务副院长刘业鹏在火山引擎官方访谈中具名声明,自 2020-12 起在智驾板块启动"云数工程",打通数据接入/处理/标注/训练/仿真闭环,2023-11 时点披露智驾激活里程 280 万公里+、仿真 1100 万公里+、标注 1200 万帧+、3 个云端大模型能力。A-客户高管具名来源:哪吒汽车 × 火山引擎官方客户访谈(2023-11-28 更新,2026-10-29 核验)
但内部检索(intl_cases.md Q2/S2)两轮均未命中任何智驾/VLM/智驾数据合作的新证据,仅命中座舱 LBS 内容合作与竞品情报。差异结论:公开访谈是 2023 年的智驾云/数据闭环合作(非 LAS 视频理解算子案例),且未检索到后续 VLM 深度合作——不得把哪吒当作 VLM DataOps 成功案例,"A客户"匿名案例也不能认定为哪吒。E-未检索到新证据
6.8 机会型案例速览:本田 / Volvo / 大众
本田中国 / 海纳新思(早期商机,C 级)
本田中国(合资公司海纳新思,大连)做过一个约 20 万元的 VOC 大模型小 PoC;内部规划是把海纳新思 700–800 万车主车联网数据(存储了但没活用)迁上火山云、以"自动驾驶合规云"为尖刀切入。但这只是规划文档,不是已交付智驾项目,且大量段落标注"待删除/待补充"。口径冲突必须向客户披露:公开传播中本田是 AWS 的汽车数字试验场/SDV 标杆客户,与内部"待开拓"口径矛盾。C来源:客户案例内容收集-本田中国(2025-04-14,2026-10-29 核验)
Volvo Group / VAS(P0 机会,未启动,C 级)
Volvo Autonomous Solutions 同时运营 Aurora(德州/Oklahoma)+ Waabi(达拉斯–休斯顿)双栈 robotaxi,加矿山自治累计 300 万吨,产生海量驾驶视频;需求=场景挖掘、corner-case 提取、自动标注、验证与训练数据集准备。内部差异化定位是"增强而非替换 Aurora/Waabi 专有栈":Video Dataset → Embedding Retrieval → VLM Reranking → Human Validation。建议低摩擦切入:先用公开路测/演示视频做语义检索与场景聚类,不碰客户专有栈。C来源:Volvo Group & Volvo Cars 销售情报报告(2026-10-27,2026-10-29 核验)
大众 VW / CARIAD(机会评估,C/D 级)
VW 尽调与 TAM 报告均确认:内部研究文件中"未发现 ByteDance 在欧洲汽车行业的已发布产品事实/已绑定客户"。VW×AWS 已建成图像生成工厂(Flux.1-Dev + DreamBooth 车型数字孪生);ByteDance 在 VW 体系内的空位是视频(Seedance)本地化(营销线),而非智驾云;CARIAD 的 VLM/ADAS DataOps 在尽调中列为"销售假设"。注意区分:上汽大众 ID. ERA 9X 在北京车展搭载豆包,是座舱/车机合作,与德国总部 CARIAD 智驾线无关。C/D来源:VW 品牌组织架构尽调(2026-10-22,2026-10-29 核验)
6.9 评测与 Benchmark 线索(全部注明条件)
| 评测 | 条件 | 结果 | 适用范围 |
|---|---|---|---|
| 元戎难例命中率 | 5 万条真实数据;客户基线=误配置直连 | 较业界 +27%、较基线 +44%;基线绝对值约 28% | DET 长尾障碍物,不可外推 B |
| 某头部智驾客户 13 类路采 | 限速路标/安全门/障碍物/施工/变道等 13 类 | Doubao-2.0 pro(thinking)综合最好,大部分场景 >90% | 标注/场景理解,客户未具名 B |
| 奔驰二期路采(历史) | 16 段,Doubao-1.5-vision-pro-32k | 效果一般;gpt-4.5 > gemini-1.5-pro > doubao-1.5-vl | 历史代际,仅复盘 B |
| VLM 评测守门阈值(方法论) | nuScenes 类流程蓝本,20% 长尾配额 | Recall@3≥0.80 / mAP≥0.75 / Consistency@10≥0.95 | PoC 设计与版本回归,非实测 D |
来源:自动驾驶-大模型相关场景;自动驾驶行业 VLM 场景理解准确性评测方案(2025-11,2026-10-29 核验)
6.10 案例对外讲述口径速查(销售红线卡)
把六个高频场景的"能说/不能说"压成一张卡片,销售出门前对照:
- 讲元戎:能说"某中国头部智驾方案商用 VLM 算子做长尾难例挖掘,单日 20 万 clips 跑批、难例命中率较通用模型提升约 27%、人工复核日省 200+ 人天";不能说"元戎启行已采用我们"(实名联合 PR 未发布)。
- 讲奔驰:能说"豆包大模型已进入奔驰智能座舱、CLA 交互效率提升 50%";不能说"奔驰用我们的 VLM 做智驾数据"(那是 2025 年效果一般的历史测试)。
- 讲 BMW:对外一个字都不能提 RFP 窗口、预算、Tobias Bürger、26 项产品问题;内部可以讲"BMW 中国两次智驾云 PoC 符合预期"。
- 讲 DENSO:对内可以讲"日本 Tier1 用 Embedding+VLM 重排做 Near-Miss 检索、约 5 万小时视频";对外引用前须向 owner 复核,无对外授权。
- 讲哪吒:公开访谈里它是 2020 年起的智驾云客户(可讲);不能说它是 VLM 数据闭环深度客户(内部无此证据)。
- 讲本田:对外要承认公开口径它是 AWS 标杆客户;不能把内部"待开拓"规划说成已交付。
6.11 元戎案例的端到端架构拆解(技术对话弹药)
当客户技术架构师追问"你们到底怎么帮元戎做的",销售应能画出这条链路:量产车 16 路相机回传视频 + 元数据统一存 TOS → EMR Ray 做物理解包/质检(剔除模糊、过曝、全黑、损坏帧)→ LAS 智能采样(可选)→ LAS 视频精细理解算子做难例打标(24 类长尾障碍物:倒地物/占道物/施工设施/其他)→ 结构化 JSON 标签入湖(支持 SQL 多维查询、血缘追溯到源帧与 Prompt 版本)→ 人工复核精标 → badcase/goodcase 回流离线数据集 → AutoPE 离线评测调优后发布上线。B
这条链路里有两个设计细节最能体现工程成熟度。其一是"双切分路径":EMR Ray 做物理切分(把长视频切成 5–15 秒切片),LAS 还支持 start/end 虚拟切分(不物理拆文件、按区间处理),两种路径按场景选用。其二是"双档推理":thinking 档服务夜间精标(难例少、要求高)、常规档服务全量筛选(量大、要求快)——这正是第 4 章"fps/档位权衡"在生产中的真实落地。处理单元为 5–15 秒切片,评测基准是 5 万条真实数据。这套"在离线双环境"按准确率动态抽检的机制,是元戎案例从"测试"走向"Production"的关键——客户不是盲目相信 VLM,而是用抽检比例把人机成本动态平衡。B来源:元戎启行×LAS 算子案例【仅对内】(2026-10-08 更新,2026-10-29 核验)
6.12 DENSO 案例的方法论价值:日本 Tier1 复制模板
DENSO 案例对欧洲的价值,不只是"又一个客户",而是它验证了一套可复制的方法论。客户是全球汽车 Tier1(电装 Global R&D,东京),采购了约 5 万小时驾驶视频,核心诉求是 Near-Miss(险情/未遂事件)检索与 Timeline 事件标注。方案的精髓是两阶段:先用 Embedding 召回把候选从 5 万小时缩到几十段,再用 VLM 重排核对;Timeline 标注覆盖四类事件(自车行为/交通参与者/交通规则与道路结构/环境),输出中/英/日三语结构化 JSON。内部复盘文档载"日本客户现场汇报获认可,推进 VikingDB + VLM 重排方案正式交付"。B/C
更值得注意的是复盘文档里的"汽车客户复制画像表"——它把潜在客户分成五类:自动驾驶公司(corner case/Near-Miss 检索)、主机厂(路测复盘/功能验证/标签补充)、出行平台(事故与异常驾驶复盘)、商用车车队(驾驶风险质检)、安全运营团队(关键事件检索审核)。切入法统一是"一个高价值事件 + 一批可裁定样例",而非"大模型能理解所有视频"。这套画像可以直接套用到欧洲:Volvo VAS 对应"自动驾驶公司"、BMW 对应"主机厂路测复盘"、商用车客户对应"驾驶风险质检"。复盘还列了"暂停信号":客户只想泛泛试大模型、事件定义不统一、无人提供 GT、无复核机制却要高风险自动决策——遇到这四种情况不应接单。B来源:VLM 视频理解工程化落地(DENSO 复盘+复制画像)(2026-09-23 更新,2026-10-29 核验)
6.13 BMW 机会的战略意义与应对
BMW 这个机会对整个欧洲线的意义,远超一个 Tens of Million USD 量级的单子。第一,它是欧洲头部 OEM 对 ByteDance 数据能力的首次"正式点头"——两次 PoC 结果符合预期,意味着我们的 VLM 数据方案已经通过了最挑剔客户的技术初筛。第二,它验证了"在 AWS 框架之上做增值层"的楔子策略——BMW 德国全球 ADAS Infra 继续用 AWS、中国区以阿里云为主,ByteDance 不碰主云、只做 labeling/raw video/VLM-VLA 这一层,Tobias Bürger(Lead Data Platform for AD)恰恰对这一层感兴趣。第三,它是可复制模板:一旦 BMW RFP 拿下,这套"Semantic Scene Mining → Auto Annotation → Golden Dataset → Synthetic"的四 Demo 叙事,可以平移到 Volvo VAS、Wayve、Zenseact。
但风险同样要清醒:BMW 2026-09-30 一次提出 26 项产品问题(车型/配置一致性、3D 数据输入、数据训练/IP 权利等),说明客户已经在用极其具体的工程问题审视我们;且最终决策回德国总部(ADP.N 项目结构),中国区执行、德国拍板。销售应对:PoC 阶段就要把"3D 数据输入"(目前 VLM 主打视频、点云 LiDAR 需集成)和"数据 IP 权利"(跨中欧传输 SCC+TIA)这两个问题的答案准备充分,否则 RFP 阶段会卡在法务与技术细节上。B/C来源:BMW AD-Infra Insight(2026-09-08,2026-10-29 核验)
6.14 其他公开与内部案例一览
除上述重点深挖案例,还有几处案例资源销售应知晓。仙豆智能:自动驾驶数据采集/处理/标注/验证一站式合作,官网方案页公开口径,可公开引用(A/B 级)。长安/长城/小米:多模态数据湖商业化弹药库口径下的"典型客户",CPU 万核级负载方案,内部口径 Pilot/项目,部分有公开报道(C 级)。理想汽车:AD 数据闭环处于商务谈判/方案阶段,出海智驾云客户名单中(理想/小米/奔驰/极氪),脱敏项目总结存在(C 级)。极氪:智驾多模态检索内部分享(C 级)。C
这些案例对欧洲销售的价值,主要是"证明 ByteDance 在国内汽车数据闭环有规模落地"的旁证,而非可对欧洲客户讲的成功故事——因为它们大多是中国国内客户、且未经对外授权。真正能在欧洲客户面前讲的,仍然是脱敏后的元戎案例(方案 B/A)+ DENSO 旁证(方案 B/C)+ 诚实的奔驰历史(说明我们对能力边界有清醒认知)。把国内的"典型客户"名单当成对欧销售弹药,是常见的口径误用。C来源:多模态数据湖商业化弹药库(2026-10-29 更新,2026-10-29 核验)
7. 五个核心 ADAS/AV 解决方案
本章把前面所有能力组装成客户可购买的五个方案。每个方案统一给出:能力现状(现成/集成/客户系统)、工作流位置、证据级别、已知限制、与客户的互补关系。总定位:VLM 做数据预处理(标注/检索/理解),客户自研模型做决策——互补非竞争。
7.1 方案 A:VLM 自动标注
| 维度 | 内容 |
|---|---|
| 能力现状 | 现成可用:LAS 视频精细理解算子 + Seed VLM(2.1 turbo medium 性价比优先 / 2.0 pro 极致效果);输出结构化 JSON 标签;客户有自研处理能力则直接调 Seed API,无则用 LAS BYOSeed 模式 B |
| 工作流位置 | Raw Video → 预处理 → 自动标注 → 人工复核 → 数据集 |
| 证据级别 | B(元戎 Production、星海图具身标注准确率 90%+) |
| 已知限制 | 训练举例准确率 ≠ 产品规格;细小目标(锥桶)夜间漏检权衡;视频 token 级 SFT 是否开放待确认 |
| 互补关系 | 替代/增强人工标注环节,不触碰客户感知模型训练 |
7.2 方案 B:语义检索与 Corner-case 挖掘
| 维度 | 内容 |
|---|---|
| 能力现状 | 需集成:Embedding 召回(VikingDB/客户 Milvus)+ VLM Rerank 两阶段;自然语言找复杂场景并定位 clip(BMW Demo 方向①)B/C |
| 工作流位置 | 视频入库建索引 → 语义检索/难例挖掘 → 候选送标注 |
| 证据级别 | B(元戎难例挖掘、DENSO Near-Miss 检索) |
| 已知限制 | VLM 只重排已召回候选、补不回召回漏检;无欧洲 VikingDB Region,欧洲客户需柔佛或自建 |
| 互补关系 | 把人工"翻视频"变"筛候选",与客户现有数据湖并存 |
7.3 方案 C:高保真动态事件理解
| 维度 | 内容 |
|---|---|
| 能力现状 | 需集成 + 定制:长视频靠 VideoCut + 动态抽帧 + 向量记忆拼接(非原生实时流);复杂事件 Timeline 标注(DENSO 四类三语)C |
| 工作流位置 | 长视频 → 粗切 → 事件级精细理解/Timeline 标注 |
| 证据级别 | C(DENSO Pilot,约 90%+ 解决率为内部线索) |
| 已知限制(红线) | 不得声称可做安全关键决策;不能给精确速度/距离/TTC/责任;自车 vs 目标运动区分难;变道+刹车复合动作易漏一项 |
| 互补关系 | 定位为"数据复盘/功能验证/标签补充"工具,与客户专用感知/几何计算分工 |
7.4 方案 D:训练数据集构建与闭环
| 维度 | 内容 |
|---|---|
| 能力现状 | 现成可用 + 需集成:Lance 列式格式(take 比 Parquet 快 10–100x)+ AutoPE 离线评测 + badcase/goodcase 回流 + 增量 SFT;Golden Dataset 构建(BMW Demo 方向②)B/C |
| 工作流位置 | 人工复核 → Golden Dataset / 数据集版本 → 客户训练 → 回流 |
| 证据级别 | B(元戎在离线双环境闭环);D(评测守门阈值 Recall@3≥0.80/mAP≥0.75 为方法论) |
| 已知限制 | SFT 不能恢复缺失画面、可能引入新回归;欧洲无微调能力,海外 SFT 只能落柔佛(数据出境马来西亚) |
| 互补关系 | 数据集工具链层,训练算力与模型自研归客户 |
7.5 方案 E:多模态数据基础设施
| 维度 | 内容 |
|---|---|
| 能力现状 | 现成可用(国内/柔佛):TOS + Lance + LAS 数据湖 + VikingDB;匿名"A 车企"案例存储 -30%、GPU 利用率 60%→90-96%、10PB 标注 4 天→1 天 B |
| 工作流位置 | 贯穿全链路:采集入湖→存储→预处理→导出训练 |
| 证据级别 | B(厂商/客户单方口径,无第三方审计) |
| 已知限制 | 数据基础设施性能不得冒充 VLM 性能;欧洲无 TOS 商业 Region、无 VikingDB;EU-Compliance TOS 区域是内部合规计费区、非对欧商业售卖 |
| 互补关系 | 与客户主云(AWS/Azure)并存,不替换;切"AWS 框架之上的数据价值链增值层" |
7.6 方案组合与欧洲 PoC 成功标准
GTM 报告建议的欧洲 VLM PoC 成功线(设计原则,非实测):客户 1000 小时真实驾驶视频;VLM 自动标注 vs 人工基线,关键场景 Precision ≥85%、人工标注工时节省 ≥60%、每有效 clip 成本降 50%。D-工程推导来源:欧洲 GTM 报告 §15.5(2026-10-13,2026-10-29 核验)
7.7 方案选择决策树:面对不同客户先卖哪个
五个方案不是平行推销,而是有切入顺序的。面对一家刚接触的欧洲 OEM/Tier1,第一个该卖的永远是方案 B(语义检索与 Corner-case 挖掘)——因为它最轻量:不需要客户开放训练管线,只需要一段真实路测视频 + 一句自然语言查询,就能在一小时内演示"把'无保护路口行人横穿'从 100 小时视频里捞出来并定位到秒"。这个 demo 直接命中客户最痛的"翻视频"问题,且不触碰客户的核心 IP(感知模型)。
方案 A(自动标注)是 B 跑通后的自然延伸:当客户认可"VLM 能准确认出场景",下一步就是"那能不能顺便把标签也打了"。此时元戎启行的 Production 数据(90% 工况精度、日省 200 人天)就是最强佐证。方案 C(动态事件理解)和 D(数据集闭环)属于深度合作阶段,需要客户提供 GT、愿意做联合标注,适合 BMW RFP 这种已经进入预算阶段的客户。方案 E(数据基础设施)则是大客户的底座生意,当客户在欧洲不想把数据落到柔佛时,这个方案的可售性受限,应如实说明。
7.8 与主要竞争者的对位话术
| 客户可能提到的对手 | ByteDance 的对位话术 |
|---|---|
| NVIDIA Cosmos(CDS+Reason2) | Cosmos 是开放权重蓝图,客户要自己部署 Milvus+Postgres+Web UI;我们是托管 API,PoC 上线快、按 token 计费,且不绑定客户已买的 NVIDIA 训练栈 A |
| Scale AI / Encord | 他们卖人工标注服务与标注平台;我们卖 VLM 机器预筛,把人工从"全量标注"变成"只复核 VLM 拿不准的",是互补不是替代 A |
| AWS Bedrock / GCP Vertex | 他们卖通用多模态模型与向量检索底座,需客户自己拼数据闭环;我们提供 LAS 算子这种"开箱的视频精细理解",且可跑在客户已有的 AWS 之上 A |
| 客户自研 | 我们明确不做安全关键决策、不替代客户感知模型;VLM 做数据预处理层,客户自研模型做决策——这是 BMW/Volvo 都接受的"增强而非替换"定位 C |
7.9 商业模型与成本叙事(带假设,非实际报价)
欧洲客户最终会落到价格。我们没有某一客户的实际合同价,只能给销售一套"带清晰假设的成本叙事",绝不伪装成实际客户收益。计费单元是 token:海外 LAS 算子公开按 USD/百万 tokens 分级(如 seed-2.0-pro [0,128K] 输入 1、输出 6;seed-2.0-mini 输入仅 0.2、输出 0.8;缓存命中输入低至 0.04–0.2)。A来源:BytePlus LAS 精细理解算子文档(2026-09-23 更新,2026-10-29 核验)
降本叙事的正确打开方式:不要说"我们比人工便宜 1000 倍"(那是销售材料区间值),而要说"用 mini 档对全量视频粗筛、pro 档只对候选精标,VLM 实际处理的样本量比全量处理小几个数量级"。配合 GTM 报告建议的 PoC 成功线(关键场景 Precision ≥85%、人工工时节省 ≥60%、每有效 clip 成本降 50%),让客户自己的财务模型去算 ROI——这比我们报一个拍脑袋的节省数字可信得多。待确认:ModelArk 视频理解的 USD 官方价格表本次未打开价格页核实,对客报价前必须以官网 ModelArk Pricing 为准。E-待确认
7.10 从 PoC 到生产的演进路径
最后给销售一张"项目路线图":第一阶段(0–3 个月)用客户 1000 小时真实视频做语义检索 + 自动标注 PoC,验证 Precision ≥85%、人工节省 ≥60%;第二阶段(3–9 个月)当 PoC 达标,扩展到 Golden Dataset 构建与在离线双环境抽检闭环,视客户需求评估是否微调(但欧洲微调需落柔佛);第三阶段(9 个月以上)才谈数据基础设施层(TOS/Lance/VikingDB)的深度绑定,以及长尾合成变化(需 Seedance,目前不在欧洲)。每个阶段都要让客户看到"可停止、可验证"的里程碑——这是长决策链欧洲客户最欣赏的合作方式。
7.11 五个方案的就绪度总评
最后用一句话给五个方案的"对欧可售性"打分,帮销售排优先级。方案 B(语义检索/Corner-case)就绪度最高:有元戎 Production 旁证、DENSO Pilot 验证、demo 轻量,应作为所有欧洲客户的敲门砖。方案 A(自动标注)就绪度次高:元戎/星海图都有 90%+ 案例,但要管理"培训举例≠产品规格"的预期。方案 C(动态事件理解)就绪度中等:DENSO Pilot 在跑,但需客户 GT 验证、且第 5–6 层能力边界要讲清。方案 D(数据集闭环)就绪度中等偏下:欧洲无微调能力,闭环最后一步受限。方案 E(数据基础设施)就绪度受合规制约:欧洲无 TOS/VikingDB Region,只能柔佛或与客户已有云并存。
这个就绪度排序的实战意义是:面对一个全新欧洲客户,第一个 offer 永远是方案 B 的 1000 小时视频 PoC,而不是一上来谈数据基础设施大单。先用最小可验证单元建立信任,再随客户深入逐步叠加 A→C→D→E。这与 DENSO 复盘的"一个高价值事件 + 一批可裁定样例"切入法完全一致。
7.12 结语:给欧洲销售的一页行动清单
把全部七章浓缩成销售出门前能执行的动作:第一,开场只讲方案 B——语义检索与 Corner-case 挖掘,这是证据最硬、demo 最轻、客户最容易接受的楔子。第二,用元戎案例(脱敏)做信任锚,用 NVIDIA×Uber 做行业对标(证明全行业都在早期、我们不落后),用奔驰历史做诚实背书(证明我们清醒)。第三,主动划三条红线:不做车端实时决策、不承诺欧洲本地私有部署、不把单帧识别说成动态事件准确率——这三条主动讲出来,比被客户问出来更显专业。
第四,把合规当卖点而非障碍:Face Blur 脱敏算子、GDPR 模糊化擦除、SCC+TIA 跨中欧传输,这些都能写进 PoC 方案。第五,盯紧两个时间窗:BMW RFP 2026-11 窗口要全力配合中国区;eu-west-1 能力受限是当前短板、2027 Q1 欧洲 PoP 是路线图,对客户如实说明。最后,永远用 PoC 成功线收尾:关键场景 Precision ≥85%、人工工时节省 ≥60%、每有效 clip 成本降 50%——让客户用自己的财务模型算 ROI,而不是我们拍一个节省数字。做到这五点,销售就能在欧洲汽车客户面前,既讲得清技术深度,又算得清商业价值。
8. Benchmark、可靠性与技术边界:怎么度量 VLM 在驾驶视频上到底"行不行"
对欧洲 OEM/Tier1 的销售对话,最容易犯的错误是把"模型在 TVBench/VideoMME 上分数高"直接等同于"它能在你的 corner-case 挖掘管线里替掉一半人工"。B-内部已证实 内部工程化方法论明确把视频理解结果拆成四层证据链——直接观察 → 跨帧关系 → 业务事件 → 解释与风险,越往后推断越多、越依赖采样完整性,越不能直接当测量值用。来源:VLM 视频理解工程化落地及 AI-SDLC(2026-09-24,2026-10-29 核验)本章把"评估体系—真实证据—守门阈值—可靠性边界"四件事讲透,作为第 12 章 PoC 验收标准的依据。
8.1 必须向客户承诺的指标族(PoC 验收就用这一套)
这一章先回答一个比"模型多强"更重要的问题:我们凭什么说自己做得好?欧洲 OEM 的 Data Platform 负责人第一句话往往不是"你们模型跑分多少",而是"你们在我自己的数据上怎么证明"。如果拿不出一套可复现、带测试条件、和人工基线可比的评测体系,任何案例数字都是自说自话。下面这套指标是从元戎、DENSO 两个真实项目里反推出来的,不是论文指标堆砌。
面向驾驶视频数据闭环,单一指标会误导决策。建议向客户同时交付以下四组指标,每组都要带测试条件(数据集、版本、fps、reasoning 档位、抽样比例):
| 指标族 | 具体指标 | 回答的业务问题 | 测试条件必须写清 |
|---|---|---|---|
| 检索/召回 | Recall@K(K=3/5/10)、Top-K Candidate Quality、Precision@K、FP/FN 率 | "自然语言搜 corner-case"能不能把该找的 clip 捞回来?召回阶段漏掉的样本,后续 VLM 重排永远补不回来 | GT 规模、Hard Negative 占比、Embedding 模型版本、向量库 |
| 事件定位 | Event Temporal Localization(IoU@t、起止时间误差秒数)、Timeline 一致性 | VLM 说的"38–42 秒有一次 cut-in",时间窗口准不准、能不能直接切给标注员 | 采样率 fps、clip 切分粒度(5s/15s)、事件最短持续时长 |
| 标注质量 | Precision/Recall/F1(逐类)、Annotation Consistency(双标员 κ 系数)、Hallucination Rate(编造不存在物体/事件的比例) | VLM 自动标签能不能直接进训练集?还是必须人工逐条复核? | 客户 schema、类别数、长尾类配额、人工复核抽检比例 |
| 工程经济 | Throughput/Latency、Human Review Hours、Cost per Useful Clip、Cost per Hour、Downstream Value(对下游 mAP/disengagement 的实际增益) | 省人钱了吗?还是推理费比人工还贵? | GPU 规格、档位(minimal/low/medium/high)、人工时薪、有用 clip 定义 |
这四层证据链对销售的意义是:越靠近"直接观察"(画面里有什么车、什么颜色),VLM 越可靠;越靠近"解释与风险"(为什么撞、谁的责任),VLM 越不可靠、越需要人来兜底。客户在 PoC 里如果要求我们输出"事故责任判定"或"风险因果解释",要立刻把对话拉回到"我们做的是事件初筛和时间线标注,责任判定必须由有标定数据和验证流程的人来做"。这不是推卸,是行业共识——连 NVIDIA 的世界模型都不敢做责任判定。
8.2 内部守门阈值(方法论,非客户实测)
D-工程推导 内部《自动驾驶行业 VLM 场景理解准确性评测方案》(owner 游金鱼,2025-11)给出 PoC 设计与版本回归用的守门线,以 nuScenes 类场景为流程蓝本,强制分桶+长尾库(20% 长尾配额)、人工复核每桶抽样≥5% 且失败案例≥30%:
来源:自动驾驶行业 VLM 场景理解准确性评测方案(2025-11,2026-10-29 核验) GTM 报告另给过一条面向欧洲 PoC 的建议成功线(1000 小时真实驾驶视频、VLM 自动标注 vs 人工基线):关键场景 Precision ≥85%、人工标注工时节省 ≥60%、每有效 clip 成本降 50%——这是销售设计原则,不是实测结果。来源:欧洲汽车 OEM & Tier1 AI GTM 报告(2026-10-13,2026-10-29 核验)
8.3 真实评测证据:元戎启行(最充分)、某头部智驾客户、DENSO、奔驰(负面)
8.3.1 元戎启行 × LAS 难例挖掘(Production,B 级,5 万条真实基准)
B-内部已证实 客户为深圳元戎启行(DEEPROUTE.AI),存量回传上百 PB、长尾障碍物占比<1%、关键片段仅数秒。客户此前直连通用大模型但提示词/帧率/分辨率/档位配置不当,5 万条基准真实命中率仅约 28%(低于业界通用模型约 45%)。经 LAS 视频精细理解算子 + AutoPE 调优后:
来源:元戎启行×LAS 算子案例【仅对内】(2026-09-21 建/10-08 更,2026-10-29 核验);对外口径用脱敏可对外 OnePage 与不具名 PR 稿
8.3.2 某头部智驾客户 13 类路采测试(代际对比证据)
B-内部已证实 2026-06 更新的《自动驾驶-大模型相关场景》记录:13 类路采视频(限速路标、安全门、路线、障碍物、施工地、变道、异常减速、人防门等),Doubao-2.0 pro(开 thinking)综合最好,大部分场景 >90%,客户测试结论与我方基本一致。来源:自动驾驶-大模型相关场景(2025-03 建/2026-06 更新,2026-10-29 核验)
8.3.3 DENSO Near-Miss 检索与 Timeline 标注(Pilot,C 级线索)
C-内部线索 日本 DENSO Global R&D 采购约 5 万小时驾驶视频做 Near-Miss 检索与中/英/日三语四类时间线标注(自车行为/交通参与者/交通规则与道路结构/环境),用 Seed 2.1 Turbo + 2.0 Pro、fps=5、reasoning=high,约 90%+ 问题被解决。已记录难例:停放车误判为运动、变道+刹车复合动作漏一项、信号灯颜色推断、停车易被误解释为红灯。来源:内部证据包 intl_product.md §2(结果过期,URL 未保留,待补检索);复盘文档 VLM 视频理解工程化落地(2026-09-23 更新)
8.3.4 奔驰二期路采测试(历史负面证据,必须诚实)
B-内部已证实 2025-03 前后,奔驰中国二期 16 段路采视频用 Doubao-1.5-vision-pro-32k(preview)测试结论为"效果一般";同批多模型对比 gpt-4.5 > gemini-1.5-pro > doubao-1.5-vl-preview ≈ qwen2.5-vl-72b > qwen-vl-max。这是模型代际落后的历史证据,不得用于对外卖点;它与 2026 年 Doubao-2.0 pro thinking 的 >90% 形成代际对比。来源:自动驾驶-大模型相关场景;专项测试文档 奔驰路采视频测试
这条负面证据为什么要留在报告里?因为它真实反映了模型代际问题:Doubao-1.5 是旧代,今天对外讲的是 Seed 2.0 pro 与 2.1 turbo,代际已经不同。但客户如果自己查到 2025 年那次测试,我们必须能主动承认那是旧模型、结论确实一般,而不是假装没发生。主动暴露负面,反而比客户发现后再解释要可信得多。这也是为什么本报告所有数字都带测试条件和日期——脱离代际和条件的"我们模型很强"是销售事故的根源。
8.4 横向标尺:NVIDIA×Uber 公开 Cookbook 自曝的边界
对手也不是神。NVIDIA 官方 Cookbook(2026-01-05,Reason2-8B 后训练做 Uber AV 视频字幕/VQA)给出了罕见的诚实数据:A-公开已证实
| 指标 | 零样本基线 | 微调峰值 | 说明(官方自曝) |
|---|---|---|---|
| 内部 MCQ-VQA(~500 段×30s 行车视频,50 题/6 类) | 80.1%(Reason2-8B) | 80.85% | 微调仅 +0.67pp;ckpt-300 后过拟合掉到 75.13% |
| 外部 LingoQA(公开基准) | 63.2% | 77.0% | 外部 +13.8pp,内部只 +0.67pp——"内部好看"可能来自题库过拟合 |
| 最弱类 | 时空推理 65.1% / 自车行为 75.7% | 时空推理峰值仅 70.0% | 官方列为未来方向;BLEU 绝对值仅 ~0.12 |
| 零样本外部反超 | Qwen3-VL-8B 在 LingoQA 0.694 > Reason2-8B 0.632 | 内部集 Reason2 领先,外部通用集开源模型反超 | |
来源:NVIDIA Cosmos Cookbook: Post-train Cosmos Reason 2 for AV Video Captioning and VQA(2026-01-05,2026-10-29 核验) 对销售的启示:连 NVIDIA+Uber 的联合项目都承认"时空推理最弱、内部基准可能过拟合、下游 VLA 增益未披露"。我们谈欧洲客户时,同样不能只报内部集分数,必须要求跨基准一致、LLM 裁判+人工双轨、并要求披露每千 clip 成本与下游闭环证据。
8.5 六层能力分级与可靠性边界(红线)
内部方法论把视频理解能力从低到高分六层,销售对话中必须按层回答"这一层 VLM 能不能做",禁止跳层外推:
| 层级 | 能力 | 证据强度 | 对驾驶任务的可靠性边界 |
|---|---|---|---|
| L1 静态场景/物体属性 | Grounding(bbox/point)、Counting、OCR、文档抽取(DA-2K 90.7);Seed1.8 High Detail 900 万像素内不压缩 | B | 最可靠,可直接复核;小目标/远距离仍会漏 |
| L2 行为与运动 | TVBench 71.5 / TempCompass 86.9 / MotionBench 70.6(Seed1.8);动态帧采样 | B | 单帧/短片段动作可辨;高速小目标漏检 |
| L3 时空交互/长视频定位 | VideoCut(低帧看全片→高帧聚焦)、时间戳定位、外挂向量记忆拼小时级视频 | B | 靠工具链拼接、非原生实时流;时间窗有误差 |
| L4 复杂驾驶事件 | DENSO Near-miss 四类时间线;24 类长尾障碍物打标 | C/B | 复合动作漏一项、停放车误判运动——必须人工复核 |
| L5 风险因果推理 | 内部"主动防御驾驶"Skill:9 类风险模式(鬼探头/逆行/加塞等)3–5 秒预测,JSON 输出 | C(非 GA 产品) | 内部 Skill、非 GA;不得对外承诺 |
| L6 安全关键决策 | 精确速度/距离/TTC/驾驶意图/事故责任判定 | E(明确不做) | 除非有标定外部数据+专门验证;VLM 输出是"基于当前证据的任务答案",不是测量值/法律结论 |
这五条红线不是合规客套,是我们在客户现场自我保护的边界。一旦把 VLM 的输出写进任何一份会被当作安全论证依据的文件,就把自己拖进了 ISO 26262 安全件管辖——那是一个我们不具备资质、也不该进入的领域。合同、PPT、口头承诺里都要反复强调:这是研发数据工具,车端安全由客户自己的认证流程负责。记住这一点,既能保护公司,也能让工程客户觉得我们专业、不越界。
8.6 评测体系如何从"论文分数"落到"客户验收"
销售在客户现场最容易被问倒的问题是:"你们在 TVBench 上 71.5 分,凭什么说在我的 1000 小时视频上能做到 85% Precision?"答案必须是:公开榜分数只证明模型有基本能力,真正决定 PoC 成败的是客户自己的 GT、自己的长尾分布、自己的标签 schema。B 内部方法论明确:Prompt 生成的是"基于当前证据的任务答案",不是测量值;SFT 也不能恢复缺失画面。这意味着评测设计必须包含四个客户容易忽略的环节:
- Annotation Consistency(标注一致性)先行:在测 VLM 之前,先测客户双标员之间的 κ 系数。如果客户自己的标注员对"什么算 cut-in"都打不一致,VLM 再准也无法验收。元戎案例之所以能到 90%,前提是客户有 5 万条真实基准和清晰的 24 类定义。
- Hallucination Rate 单列:VLM 会编造画面里不存在的物体/事件(例如把路边阴影说成行人)。这个指标必须单独统计,不能混在 Precision 里——因为幻觉标签一旦进训练集,会直接污染下游模型。
- Throughput/Latency 与档位绑定:Seed 2.0 lite TPOT 15–20ms、mini 8–10ms、System One API 短输入约 200ms,这些是国内口径;生产跑批场景元戎用 thinking/常规双档分别服务夜间精标与全量筛选。来源:内部证据包 intl_product.md §1.1(System One/2.0 lite 口径) 销售要告诉客户:档位是成本/延迟/质量三角,没有"又快又准又便宜"的单一档。
- Downstream Value 才是终局指标:NVIDIA×Uber 案例最大的证据缺口就是"自动标注数据是否真提升了下游 VLA benchmark"——他们没给。我们在 PoC 里应主动设计"VLM 打标数据 vs 人工打标数据训练同一小模型"的对照,哪怕 PoC 阶段只能做离线评估,也比只报 F1 更有说服力。
8.7 把指标翻译成销售能讲的三句话
面对不看论文的销售负责人,前面那堆指标可以浓缩成三句客户听得懂的话。第一句:"我们不承诺找得全,我们承诺告诉你漏了多少"——因为召回漏了就补不回,所以第一周就和客户一起把 Recall@K 量出来,而不是事后解释。第二句:"我们标得准不准,用你自己的标注员说了算"——双标员 κ 一致性先达标,再评 VLM,避免客户自己 GT 不一致导致的扯皮。第三句:"我们不只报准确率,还报每找到一个有用 clip 花了多少钱、省了多少人工小时"——这是客户 CFO 唯一关心的数。
9. 成本模型与商业 ROI:把"便宜召回→昂贵智能→人工验证"算成一笔账
VLM 数据服务的经济学不是"模型越贵越好",而是一条精心设计的漏斗:Cheap Recall(便宜的 Embedding 召回)→ Expensive Intelligence(昂贵但准确的 VLM 重排/打标)→ Human Validation(人工只看 VLM 筛过的候选)。D-工程推导 本章给出可参数化的单位经济模型:有真实价格的用真实刊例(注明 URL),无真实价格的给带清晰假设的敏感性分析并明示为假设——绝不把假设伪装成客户收益。
9.1 成本结构:一条 clip 的钱花在哪
给客户算 ROI 之前,先把这条 clip 从入库到可用的完整成本拆开。很多供应商只报 VLM 推理单价,客户上线后才发现存储、人工复核、集成运维加起来比推理费还高。我们主动把六项全摆出来,反而是专业度的体现。下表的计价单位里,只有 VLM 推理有官方透明刊例,其余要么是内部口径、要么待确认——这种坦诚本身就是卖点。
| 环节 | 动作 | 计价单位 | 价格证据级别 |
|---|---|---|---|
| ①读取/预处理 | TOS 存储读取、ffmpeg/EMR Daft 抽帧、resize、质检(模糊/过曝/黑帧剔除) | 存储 GB-月 + 计算小时 | C(内部报价口径,对客前复核) |
| ②Embedding | 视频帧抽特征向量(Skylark-embedding-vision / Cosmos-Embed 类) | USD/M tokens 或 USD/千帧 | C(VikingDB 内部口径,价格待确认) |
| ③向量索引/存储 | VikingDB/Milvus 建索引、CRR、混合检索 | 索引 GB-月 + QPS | C(产品宣称,无独立基准) |
| ④VLM 推理 | 对召回候选 clip 做重排/打标/VQA(按输入+输出 token,分档) | USD/M tokens | A(BytePlus LAS 官方文档刊例,见 9.2) |
| ⑤人工复核 | 标注员按 VLM 候选复核/修正 | 欧元/小时(欧洲标注外包,待确认时薪) | E-待确认(欧洲标注时薪未在证据包) |
| ⑥集成运行 | Workflow 编排、血缘、监控、SFT 再训练摊销 | 项目制 | D |
9.2 真实刊例价格(BytePlus LAS 视频精细理解算子,海外柔佛)
A-公开已证实 以下为 BytePlus 官方文档 2026-09-23 页面的 USD/百万 tokens 分档刊例([0,128K] 与 (128K,256K] 两档):
| 模型 | 输入档 | 输入(非音频) | 输入(音频) | 输出 | 缓存命中 |
|---|---|---|---|---|---|
| dola-seed-2.1-turbo | [0,256K] | $1 | — | $5 | $0.2 |
| seed-2.0-pro | [0,128K] | $1 | — | $6 | $0.2 |
| seed-2.0-pro | (128K,256K] | $2 | — | $12 | $0.4 |
| seed-2.0-lite | [0,128K] | $0.5 | $7.5 | $4 | $0.1 |
| seed-2.0-lite | (128K,256K] | $1 | $15 | $8 | $0.2 |
| seed-2.0-mini | [0,128K] | $0.2 | — | $0.8 | $0.04 |
| seed-2.0-mini | (128K,256K] | $0.4 | — | $1.6 | $0.08 |
| seed-1.8 | [0,128K] | $0.5 | — | $4 | $0.1 |
缓存存储 $0.0166/M tokens/小时;页面提示 seed-2.1 出账暂显示 seed-2.0 影响因子。来源:BytePlus LAS Fine-grained Video Understanding 文档(2026-09-23 更新,2026-10-29 核验) 海外 ModelArk 视觉刊例另为:Skylark-vision $0.40/$1.60、ByteDance-Seed-1.6 from $0.25/$2.00、1.6-flash $0.075/$0.30(每 M tokens)。来源:内部证据包 intl_product.md §3.3(海外大模型方案,2025-10-21,对内报价,对客以官网为准)
9.3 单位经济模型(可参数化,全部为假设推导)
D-工程推导 以下模型用于销售对话做量级估算,不是任何客户的真实收益。假设集中明示,客户 PoC 时替换为真实数。
9.3.1 基线假设(销售可改)
- 输入规模:1000 小时路采视频(GTM 报告建议 PoC 规模),按 1 fps 抽帧 ≈ 360 万帧;每 15 秒切一个 clip ≈ 24 万 clips。
- VLM token 化假设:海外 LAS 文档示例 max_video_tokens=200000/视频、min_frames=16;我们保守按每个被 VLM 处理的 clip ≈ 8K 输入 tokens + 0.5K 输出 tokens 估算(示意假设,待 PoC 实测)。
- 漏斗:全量 24 万 clips 先 Embedding 召回,Recall@3=0.80 守门线下,按客户 query 召回 Top 候选;VLM 只重排/打标候选集。
9.3.2 三种模型档位敏感性(每 1000 小时全量跑批 VLM 推理成本)
| 方案 | VLM 处理范围 | 输入 tokens(M) | 输出 tokens(M) | 按刊例估算 VLM 费用(USD) | 说明 |
|---|---|---|---|---|---|
| A. 全量都过 VLM(不做召回) | 24 万 clips × 8K 入/0.5K 出 | ≈1,920 | ≈120 | seed-2.0-mini 档 ≈ $384 + $96 = ~$480;seed-2.0-pro 档 ≈ $1,920 + $720 = ~$2,640 | 最便宜模型全量扫也只要几百到两千美元级;但全量打标质量不如分层 |
| B. 召回后只处理 Top 候选(推荐漏斗) | 假设召回率后 VLM 只看 10% clips | ≈192 | ≈12 | seed-2.0-pro ≈ $192 + $72 = ~$264;turbo ≈ $192 + $60 = ~$252 | VLM 钱花在刀刃上;Embedding+索引成本另计(待确认) |
| C. 高难例用 high reasoning 全精标 | 5% 高价值 clips × high 档 | ≈96 | ≈6(输出更长) | seed-2.0-pro 高档 ≈ $96 + $72 = ~$168 | 夜间/长尾精标用高档,全量用 lite/mini 筛 |
读法:即使按最保守的"全量过 seed-2.0-pro"估算,1000 小时驾驶视频的 VLM 推理刊例费用也只有约 2,600 美元量级(约合每小时视频 ~$2.6);走召回漏斗后约 $250–300/1000 小时。这意味着 VLM 推理本身不是成本大头,人工复核才是——但这是"按官方刊例+示意 token 假设"的推导,PoC 必须用客户真实 token 消耗重算。
9.4 人工 vs VLM 的盈亏平衡点
B-内部已证实 内部销售材料称"大模型打标 vs 人工典型 10x–1000x 降本,具身智能视频打标 >90% 降本"。来源:BytePlus 数据标注(LLM/VLM)one-page(2026-10-12,销售材料口径) 第三方对照:Scale AI 自助标注约 $0.05/labeling unit、包围盒 $0.02–0.10/图,2023 年快照 Scale Video 约 $0.13/帧起(C 级旁证)。来源:Scale AI Pricing;CheckThat.ai 旁证(2026 核验)
9.5 ROI 叙事与"不可承诺"清单
这一节是销售的"防雷手册"。客户 CFO 一定会追问"到底能省多少钱、多久回本",下面这套话既给出量级又守住假设边界。
- 可讲(带条件):元戎"日省 200+ 人天、迭代周→天、成功率≥98%";具身打标"周期数周→3 天、客户稳定运行 2 万+小时"。来源:元戎案例;内部证据包 intl_infra.md §5.1(09-24 汽车出海周例会妙记)
- 不可承诺:①"帮你省 X% 标注人力"在没有客户 GT 和真实 token 消耗前是假设;②"每有效 clip 成本降 50%"是 GTM 建议成功线,非实测;③SFT 昂贵且不能恢复缺失帧,不要把 SFT 当降本手段承诺;④LAS 私部订阅约 175 万元/年起(≤20 节点)为内部商务口径,对客前须复核。来源:内部证据包 intl_infra.md §1.3(私部报价 C 级)
把账算清楚之后,还要明确告诉客户哪些数字现在不能给。这不是藏着掖着,而是因为下面每一项都缺真实数据:欧洲标注人力时薪、VLM 在客户自己 GT 上的实际 F1、客户长尾占比、跨境传输带宽成本。在这些变量没测出来之前给一个百分比,就是对客户不负责任。正确的说法是"六周 PoC 后我们用你的真实数据把这笔账算准"。这一套"先讲量级、再守假设、最后用 PoC 实测"的话术,能帮销售在 CFO 面前既显得专业、又不会在尽调时穿帮。
9.6 "Cheap Recall → Expensive Intelligence → Human Validation" 漏斗经济学
这是整个数据服务商业模型的核心,必须向客户 CFO 讲清楚:不要让最贵的模型看最多的视频。元戎案例就是这个漏斗的教科书:量产回传上百 PB,长尾障碍物占比<1%,人工翻看命中率万分之几。如果让 VLM 用 reasoning=high、fps=5 去全量扫上百 PB,成本会爆炸;正确做法是分三层:
- 第一层 Cheap Recall:用最便宜的小模型/规则/Embedding 做初筛,把候选从"万分之一命中率"提升到"百分之几命中率"。这一层不在乎精度,只在乎便宜和召回率。Embedding 检索(VikingDB/Milvus)就属于这一层。
- 第二层 Expensive Intelligence:只对第一层召回的 Top-K 候选,用贵的 Seed 2.0 pro / 2.1 turbo(reasoning medium/high)做精细打标和重排。这一层精度高,但只处理小流量。
- 第三层 Human Validation:人工只复核 VLM 标注的候选,从"翻完全部视频"变成"审 VLM 递上来的选择题"。元戎日省 200+ 人天就是这一层的价值。
D-工程推导 这个漏斗成立的前提是长尾占比足够低(元戎 <1%)。如果客户的长尾占比是 30%,第一层筛不动,漏斗塌缩成全量 VLM,成本优势消失——这正是 9.4 节"推理成本反超人工"风险的根源。销售 discovery 时第一个要问的就是"你要找的事件在你数据里占比多少"。
9.7 何时用 VLM、何时用规则/小模型
| 场景特征 | 推荐工具 | 理由 |
|---|---|---|
| 高频、定义稳定、可穷举(如限速牌识别、车道线检测) | 规则 / 专用小模型 | 便宜、可复现、可认证;元戎部分工况 >90% 后直接放行降抽检 |
| 长尾、开放词表、复合事件、自然语言查询 | VLM | 不用每加一类重训;能理解"鬼探头""无保护左转"这种开放描述 |
| 已有明确 GT、Prompt 调优后仍有系统性偏差、且有数百条高质量数据 | SFT/DPO | 昂贵,仅在收益空间足够时做;不能补缺失帧、可能引入回归 |
| 跨帧时序关系、长视频事件时间线 | VLM + 工具链(VideoCut/向量记忆) | 非原生实时流,靠拼接;时间定位有误差 |
| 精确距离/速度/TTC/责任判定 | 专用感知+几何计算+传感器融合(非 VLM) | VLM 明确不做测量值/法律结论 |
9.8 一个给 CFO 算的对照账(全部为假设示意)
D-工程推导 假设客户现在有 1000 小时待标注路采视频,完全靠人工。按欧洲外包标注一个 clip(15 秒)约 0.5–2 欧元的示意时薪换算(时薪为假设,欧洲标注人力价格待确认),全量人工标注约需数百到上千人时。引入 VLM 漏斗后:第一层 Embedding 召回把要人工看的量从百分之百压到百分之十以内,第二层 VLM 对候选做预标,第三层人工只复核 VLM 递上来的结果。按第 9 章刊例,这一千小时的 VLM 推理成本只有几百美元量级,人工复核量却可能降六成以上——这正是 GTM 报告"人工标注工时节省≥60%、每有效 clip 成本降 50%"建议线的来源。但请记住:这只是量级示意,真实省多少取决于客户长尾占比、人工时薪、VLM 在客户 GT 上的实际 F1,三个变量任何一个不利,账就会变。销售在客户现场应该说"我们 6 周后用你的数据把这笔账算准",而不是现在就给一个百分比。
10. 全球竞争格局与差异化:谁是真对手、谁是互补、谁更强
先给结论:A-公开已证实 NVIDIA Cosmos 已经真实覆盖"数据整理(Curator)→语义搜索(CDS/Embed)→VLM 自动标注(Reason 2)→合成数据扩场景(Cosmos 3 Nano)→后训练→仿真评测(NuRec/Evaluator)"全链路,这是既定事实,不得弱化。来源:NVIDIA Cosmos 官方产品页(2026-10 核验) ByteDance 的战场不是"再造一个 Cosmos",而是在对手栈之上做性价比推理、中文/多语言场景、数据湖工程、以及不绑定 GPU 生态的开放组合。
10.1 竞争地图:直接竞争 vs 互补
| 玩家 | 定位 | 与 ByteDance 关系 |
|---|---|---|
| NVIDIA Cosmos 全系 | 世界模型+VLM(Reason 2)+Embed+Curator+CDS+Data Factory+车端 Thor/Alpamayo,全栈 | 正面直接竞争(数据整理/语义搜索/VLM 打标三环);但欧洲 OEM 车端与仿真已深绑 NVIDIA,ByteDance 不应正面抢车端 |
| AWS | ADDF Guidance + FleetWise + Bedrock KB(Nova/Marengo Embed);卖数据湖+摄入+算力底座,无 AV 专用开箱搜索产品 | 互补为主:BMW 德国已选 AWS;ByteDance 应做"AWS 框架之上的数据价值链增值层" |
| Google Cloud | Gemini agentic video understanding(3.7/3.6 Flash,token 降 88%/成本降 66%)+ Vertex;Cosmos WFM 上架 Model Garden | 互补+潜在竞争:Google 是 Cosmos 分发渠道,通用多模态模型强但无自研 AV 数据闭环产品 |
| Microsoft Azure | AVOps DataOps 参考架构;保时捷/Voxel51 数据飞轮=Cosmos Data Factory on Azure | 互补:Azure 是 NVIDIA 栈部署平台;Wayve 早期基于 Azure |
| Scale AI | 2D/3D 多传感器人工标注 + Nucleus 找 edge case;GM/Toyota/Zoox 客户 | 直接竞争(标注环节)+ 可互补:Scale 强在人工标注规模,ByteDance 强在 VLM 预筛降人工量 |
| Encord(伦敦) | 视频/LiDAR/雷达多模态标注+embedding 精选+evaluate;UVeye/Automotus 客户 | 直接竞争:欧洲本土公司,距客户近 |
| Voxel51/FiftyOne | 开源 FiftyOne + scenario mining(embedding+自然语言挖遮挡行人/无保护左转等);已被 NVIDIA 保时捷项目采用 | 直接竞争(场景挖掘):开源生态强,本次未检索到官方具名 OEM |
| Applied Intuition | 仿真/验证/数据探索平台,Neural Sim 真实数据转 3D;服务 Top20 车企中 18 家,Porsche/Isuzu/Traton 客户 | 互补偏竞争:强在仿真验证,弱在 VLM 数据打标 |
| 客户自研 | BMW(AWS+Qualcomm 数据飞轮)、Mercedes(MB.OS+NVIDIA)、VW/CARIAD(GAIA+Big Loop)、Wayve(Azure E2E) | 必须假设客户自研数据平台,不主张替换;ByteDance 做增强层 |
来源:AWS ADDF Guidance(2026-10-28 更新);AWS Marengo Embed 3.0(2026-09-10);Google Gemini agentic video(2026-09-01);Azure AVOps(2026-01-23);Scale Automotive;Encord;Voxel51 AV;Applied 2025 Year in Review
10.2 对比维度表(14 维)
| 维度 | NVIDIA Cosmos | ByteDance/BytePlus | AWS/Google/Azure | Scale/Encord/Voxel51 |
|---|---|---|---|---|
| Video Understanding | A Reason 2(2B/8B 已发,32B/235B 预告) | B Seed 2.1 Turbo/2.0 pro,TVBench/MotionBench 前列 | A Gemini agentic video(通用) | 依赖第三方模型 |
| Temporal Spatial Reasoning | A 官方自曝最弱项(峰值 70%) | C DENSO 难例:复合动作漏项、停放车误判 | 通用模型,无 AV 专项证据 | — |
| Semantic Search | A CDS(Embed NIM+Milvus+cuVS,万亿 clip) | B VikingDB(BytePlus 仅柔佛,无欧洲) | A Bedrock KB / Vertex Vector Search | A Voxel51 scenario mining |
| Corner-case Mining | A Data Factory AV 蓝图 | B 元戎 5 万条基准命中率 +27%/+44% | Guidance 自建 | A Scale Nucleus / Encord curate |
| Auto-labeling | A Reason 2 + Qwen-VL 字幕 | B LAS 精细算子+AutoPE,元戎/星海图 90%+ | Bedrock 通用多模态 | A Scale/Encord 人工为主+模型辅助 |
| Human Review 集成 | A AlpaJudge 奖励模型打分过滤弱标注 | B 在线/离线动态抽检(>90% 放行) | 无内置 | A 人工标注平台原生 |
| Multisensor | A 多摄像头+LiDAR 合成 | C 视频为主,点云/雷达证据弱 | FleetWise Vision System Data | A Scale/Encord 原生 3D/LiDAR |
| Data Lake 集成 | CDS 参考部署在 AWS EKS | B LAS 数据湖(Hive/Iceberg/Paimon/Lance)+TOS | S3/Data Lake Storage 原生 | FiftyOne 接外部数据 |
| SFT/后训练 | A cosmos-rl/TAO 全流程开放 | B 方舟 SFT-LoRA/DPO/GRPO(国内 GA,欧洲柔佛才有,eu-west-1 无) | SageMaker/Vertex 通用 | 无自研大模型 |
| Production Scalability | 开放权重可自建 | B 元戎单日 20 万 clips 成功率≥98%(国内) | 超大规模云弹性 | 人工标注弹性 |
| Cost | 开放权重自担 GPU;Uber 案例未披露成本 | A LAS 刊例透明(mini $0.2/$0.8 per M) | 云厂商拼装计费 | Scale $0.05/unit 起 |
| Deployment & Residency | 可本地/任意云(AWS EKS 参考) | E 无欧洲数据驻留商业产品;柔佛唯一成熟节点 | AWS/GCP/Azure 欧洲区域成熟 | Encord 英国本土;Scale 美国 |
| Openness | A 开放权重+开放 Cookbook+代码 | C 闭源 API 为主;Seed1.5-VL 开源 | 半开放 | A FiftyOne 开源 |
| 汽车真实案例(欧洲) | A Porsche/VW 数据飞轮 on Azure、Uber 数据工厂、Mercedes/Volvo/Hyperion | E 欧洲无已绑定 VLM 客户;元戎/DENSO 在中日 | A BMW 选 AWS、Wayve 用 Azure | Scale Toyota/GM;Encord 欧洲客户 |
10.3 NVIDIA×Uber 案例深度拆解(公平竞争所需的评测证据)
A-公开已证实 Uber AV 车队每日海量视频,用 Cosmos Reason2-8B 后训练做自动字幕使原始视频可搜索。测试方法:~500 段前视行车视频(1936×1220@30fps,每段 30s)人工标注做 GT;三指标 BLEU/MCQ-VQA(50 题 6 类,GPT5.1 裁判,人工复审,~5000 条核验 QA)/LingoQA(外部 28K 视频)。后训练配方:30% CV 自动标注(~1.1M)/50% 人工(~10K clips)/20% reasoning SFT(~12K),3 epoch,lr 2e-7,16 帧/clip。
真实收益数字(官方):LingoQA 外部集 63.2%→77.0%(+13.8pp);但内部 MCQ 仅 80.18%→80.85%(+0.67pp);BLEU 0.113→0.125(绝对值极低)。官方自曝局限:ckpt-300 后过拟合(MCQ 掉到 75.13%);时空推理仍是最弱项(峰值 70.0%);内部基准"时间资源约束下构建"需扩充;超参未系统 sweep;BLEU 区分度弱;LLM 裁判偏差未量化;未披露推理延迟、成本、与生产管线集成效果、对下游 VLA 训练的实际增益。来源:NVIDIA×Uber Cookbook(2026-01-05)
10.4 ByteDance 差异化五档结论
| 档位 | 内容 | 证据级别 |
|---|---|---|
| 已验证差异化(可对外讲,脱敏后) | ①数据湖+VLM 算子一体化跑批能力(LAS 3h/10GB、AutoPE、单日 20 万 clips 98%+ 成功率);②多语言时间线标注(中/英/日,DENSO);③闭源 API 的透明刊例与性价比档位(mini $0.2/M 输入);④元戎"先筛后标"漏斗把人工从填空题变选择题 | B(国内/日本生产证据) |
| 有条件成立优势 | ①中国/亚洲客户关系与中文场景理解;②Seed 模型视频评测分数(TVBench/MotionBench)在公开榜前列;③不绑定单一 GPU 生态的开放组合;④10x–1000x 打标降本(销售口径,需客户 GT 验证) | C/B |
| 无证据优势(不得宣称) | ①欧洲本土数据驻留/合规优势;②欧洲已绑定 VLM 客户;③欧洲本地 SFT/微调;④车端实时 VLM;⑤世界模型/合成数据(Seedance 未在 eu-west-1) | E |
| 对手更强领域(不正面打) | ①世界模型/合成数据/闭环仿真(NVIDIA Cosmos 3/NuRec/Halos);②车端 Thor/Alpamayo 实时栈;③欧洲客户关系与数据驻留(AWS/Azure/GCP 欧洲区域成熟,Encord 英国本土);③3D/LiDAR 多传感器标注深度(Scale/Encord);④仿真验证 harness(Applied Intuition) | A |
| 适合互补集成领域 | ①做 AWS/Azure 主云之上的"语义搜索+VLM 打标增值层";②给 NVIDIA 栈客户提供高性价比 VLM 推理替代/对照;③与 Scale/Encord 人工平台对接做 VLM 预筛;④给 Wayve/Volvo VAS 这类已有自研 E2E 栈的客户做"增强而非替换" | D |
在讲对手弱点之前,先把 ByteDance 自己的五类定位讲清楚,免得销售对外讲飘了。已验证差异化:柔佛 LAS 透明刊例与算子工程(LAS 3 小时处理 10GB、AutoPE 调优、单日二十万 clips 成功率不低于百分之九十八)、中英日多语言时间线标注(DENSO)、闭源 API 的透明价格档位、元戎先筛后标漏斗把人工从填空题变成选择题——这些有中日生产证据,可以脱敏后对外讲。有条件成立:性价比,但必须在同档同口径、同一测试集下比,不能拿我们便宜模型比对手强模型。无证据:车端安全决策、欧洲生产案例、端到端驾驶模型、TISAX——客户问到直接说没有。对手更强:NVIDIA 的车端加仿真加世界模型全栈和欧洲 OEM 关系、Scale/Encord 的成熟人工标注工作流。互补集成:AWS/Azure 数据湖、Scale/Encord 人工标注、NVIDIA 仿真,未来商务主线是叠加而不是替换。
10.5 竞争对手的弱点(我们的机会窗口)
不弱化对手,不等于看不见对手的破绽。逐家拆:
- NVIDIA Cosmos 的弱点:①开放权重意味着客户要自己扛 GPU 基础设施和工程整合,不是开箱即用;②Uber 案例自曝内部基准只 +0.67pp、时空推理最弱、下游 VLA 增益未披露、成本未披露;③CDS 是 Blueprint/Enterprise 形态,参考部署在 AWS EKS,客户仍要自己搭;④Cosmos 强在"训练/仿真/世界模型",但对客户现有人工标注团队的流程整合(human-in-the-loop 工作流)不如 Scale/Encord 成熟。
- AWS 的弱点:ADDF 是 Guidance(参考架构),不是开箱产品;Bedrock KB 是通用 RAG,没有 AV 场景专用的 corner-case 语义搜索;要客户自己拼 FleetWise+S3+Batch+EMR。BMW 选 AWS 是选"数据湖+算力底座",不是选了一个 AV 语义搜索产品——这正是我们的缝隙。
- Google Cloud 的弱点:Gemini agentic video 很强(token 降 88%/成本降 66%)但它是通用视频理解 API,没有 AV 数据闭环产品;Waymo 数据不对外;Google 本质是 Cosmos 的分发渠道,不是 AV 数据工厂竞争者。
- Scale/Encord/Voxel51 的弱点:强在人工标注/数据平台,但没有自研的、性价比足够高的多模态大模型——Scale 被 OpenAI 收购后产品整合不确定;Encord 无公开价目;Voxel51 本次未检索到官方具名 OEM 客户。它们是"人工平台+第三方模型",我们是"模型+算子+数据湖",可以对接而非纯对抗。
- Applied Intuition 的弱点:强在仿真验证,但偏开发/验证平台,不做 VLM 数据打标;服务 Top20 车企中 18 家意味着它已是"既有供应商",新进入者要切进去更难。
10.6 对欧洲 OEM 决策链的含义
欧洲 OEM 几乎都已选定主云与芯片/软件栈:BMW=AWS+Qualcomm、Mercedes=NVIDIA DRIVE+MB.OS、VW=GAIA 自研+Bosch、Wayve=Azure。这意味着 ByteDance 几乎不可能、也不应该去替换主云。正确的楔子是 GTM 报告定的:"AWS/Google 框架之上的数据价值链增值层"——客户已经把数据存在 AWS S3 / Azure Data Lake,我们做的是在这些数据上跑语义搜索和 VLM 打标,输出带时间边界的结构化 clip。这个定位有三个好处:①不触发客户主云替换的政治阻力;②按用量计费、启动门槛低;③天然是 PoC 而非大单,符合第一年现实。
10.7 中国经验能否复制到欧洲
必须诚实回答:能复制方法论,不能复制数字。元戎的百分之九十工况精度、日省两百人天,是在中国道路、中文场景、客户已把数据全部传到 TOS 的前提下跑出来的;欧洲客户的数据在 AWS S3、标注员说德语法语、合规要求先模糊化再出境、长尾定义和中国道路完全不同。直接把"我们能做到九成"讲给 BMW 是危险的——必须在第 12 章 PoC 里用客户自己的数据重新证明。可复制的是方法:先筛后标的漏斗、Recall@3 守门、在线离线动态抽检、badcase 回流 AutoPE;不可复制的是指标绝对值。星海图(具身智能)和元戎的经验说明这套工程方法跨场景成立,但每个新场景都要重建标签和真值。
11. 欧洲客户技术、部署与合规可行性:只讲有证据的事实
本章严格遵守纪律:BytePlus 官方区域无欧洲 IaaS、ap-southeast-1 柔佛是唯一全模型成熟节点、eu-west-1 只是裁剪模型点、ByteHouse@AWS 法兰克福是唯一真实欧洲驻留证据、内部 EU-Compliance 区域不得对外宣称。无证据处一律标"无公开证据/待确认",不做推断。
这一章是整个报告里销售最需要逐字读的部分,因为它决定了哪些话能说、哪些话绝对不能说。欧洲客户的采购和法务对"数据驻留"极其敏感——这不是技术偏好,是 Schrems II 之后的法律硬约束。任何一句关于"我们在欧洲有数据中心"或"数据不出欧盟"的过度承诺,轻则 PoC 被法务叫停,重则在客户面前永久失分。请把 11.2 的区域事实表当成销售话术红线墙。
11.1 目标客户现状(基于公开证据)
11.1.1 BMW Group
- A-公开已证实 2023-09 官宣选 AWS 支撑下一代自动驾驶平台,复用 Cloud Data Hub。来源:BMW PressClub(2023-09-06,2026-10-29 核验)
- A 与 Qualcomm 联合开发 Snapdragon Ride Pilot 软件栈,云数据飞轮、60 国验证目标 2026 覆盖 100+ 国。来源:Qualcomm 新闻稿(2025-09-05)
- A 客户车视频合规实践:仅触发事件记录、单次≤120 秒、车内加密传输、传后立即删 VIN、不识别个别道路使用者;2026-09 宣布扩大欧洲客户车图像采集。来源:BMW 监管披露页;扩采集新闻(2026-09-07)
- B-内部已证实 内部情报:中国区已完成两次自动驾驶云 PoC(符合预期),2026-11 中国 ADAS Infra RFP 窗口、预算 Tens of Million USD——严禁对外披露。来源:BMW AD-Infra Insight(2026-09-08)
11.1.2 Mercedes-Benz
- A MB.OS 芯片到云自研,自动驾驶由 NVIDIA DRIVE 驱动,规划 L2+ 城市并最终 L3(最高 130 km/h);2026-10-21 宣布德国落地点对点驾驶。来源:Mercedes 创新页;2026-10-21 新闻
- A 数据从测试车扩展到客户车队(须车主明确同意、节选式存储)。来源:同上 Mercedes 创新页
- B 注意:2025-09 起豆包大模型进奔驰智能座舱(CLA 交互效率+50%、唤醒 0.2s)是座舱合作,不是智驾 VLM 案例;2025-03 二期路采 VLM 测试效果一般(历史负面证据)。
11.1.3 Volkswagen Group / CARIAD
- A CARIZON GAIA AI 数据平台:每车每日约 2TB、每日消化超 10 万公里测试里程;Big Loop 实时筛 corner case;Bosch×CARIAD 联盟 2026 年中量产。来源:VW Group 新闻稿(2025-04-17);CARIAD
- C 内部尽调确认:ByteDance 在 VW 体系内欧洲无已绑定 VLM 客户;VW×AWS 图像生成工厂已 production-grade;CARIAD VLM/ADAS DataOps 是"销售假设"。来源:VW 组织尽调(2026-10-22)
11.1.4 Wayve(英国)
- A 端到端 AI Driver,从无标注驾驶视频主动学习;Fleet Learning Loop 云端早期基于 Azure,PB 级真实+合成数据;2026-08 GAIA-4 世界模型把每次干预可回放、每次模型变更对照同一真实场景评估。来源:Wayve Technology;GAIA-4(2026-08-03)
- 切入判断:Wayve 已有自研 E2E+世界模型栈,ByteDance 应做"增强其数据挖掘/打标效率",不主张替换。
11.2 BytePlus 区域事实(销售必须背下来)
| 事实 | 结论 | 证据级别 | 来源 |
|---|---|---|---|
| 核心 IaaS 官方区域 | 无欧洲区域:仅北京/上海/广州/香港+ap-southeast-1/3,无 Frankfurt/EU | A | BytePlus EIP Regions(2026-06-11 更新) |
| ap-southeast-1 柔佛 | 唯一全模型成熟海外节点(ModelArk 全模型、LAS 算子、VikingDB、TOS);受新加坡 PDPA 管辖 | B | Model list;LAS 算子 |
| eu-west-1 都柏林 | 仅 seed-2-0 等约 3 个裁剪模型 + Chat/Image API;无 Batch、无微调/LoRA、无 PromptPilot、无 Seedance 视频生成、无 DeepSeek | A/B | Model list;奔驰会前技术速读(2026-10-26) |
| ByteHouse@AWS 法兰克福 | 唯一真实欧洲产品级驻留证据:ByteHouse 部署在 AWS eu-central-1,有 VPC endpoint;但这是托管在 AWS 的数仓产品,不是 BytePlus 自营欧洲云 | A | ByteHouse PrivateLink(2025-09-01 更新);子处理者清单(AWS 德国)(2026-07-03) |
| 内部 EU-Compliance 区域 | TOS 内部存在 EU-Compliance/EU-Compliance2 计费区域(承载 TT/主权类),不是对欧洲客户商业售卖区域,严禁对外宣称 EU 驻留 | B | 内部证据包 intl_infra.md §4.1(TOS 计费公告) |
| 隐私政策存储地 | 个人数据存新加坡/马来西亚/美国/香港/印尼/日本,未列任何欧盟国家 | A | BytePlus Privacy Policy(2026-06-08) |
| 欧盟 IDC/私有部署 | 法兰克福/都柏林自有 PoP 与欧盟 IDC 私部 = 路线图 2027 Q1,当前无产品无交付先例 | D | 内部证据包 intl_infra.md §6.1(奔驰速读) |
| Case 日志回流 | 柔佛节点日志留 3 天;通过 API 上报的 Case 会转存国内节点长期存储——对欧合规须书面披露 | B | 内部证据包 intl_infra.md §6.2(Case 平台培训纪要 2026-07-27) |
11.3 GDPR / DPA / SCC 与驾驶视频人脸车牌
- A BytePlus DPA(2026-05 版)含 EU SCC / UK Addendum;跨中欧传输走 SCC+TIA(Schrems II,中国无充分性认定)。来源:内部证据包 intl_infra.md §6.3(奔驰行动包 Q17);Data Intelligence 安全文档称 EEA 数据仅传新加坡+SCC。
- A 信任中心认证自述:ISO 27001/27017/27018/27701/22301/20000/9001/42001、SOC 1/2/3、CSA STAR、PCI DSS、新加坡 MTCS L3/DPTM/APEC CBPR。来源:BytePlus Trust Center(2026-09 抓取)
- E-无证据 缺口:无 NIS2 公开资料、无 EU AI Act 合规声明;BytePlus 信任中心无 TISAX(火山国内主体有 TISAX 但严禁说 BytePlus 已通过);无欧盟本地正式商用 SLA/7×24 德语支持书面承诺。
- D(官方指南) 驾驶视频中人脸与车牌属个人数据;EDPB 指南:不可恢复模糊化后个人数据视为已擦除;EDPS 建议 mask/打码保护面部车牌。来源:EDPB 视频监控指南;EDPS 指南——LAS 1.5.2 起已有 Face Blur 隐私打码算子,可作为脱敏前置。来源:LAS Release Notes(1.5.2,2026-09-11)
11.4 EU AI Act / ISO 26262 / SOTIF / ISO PAS 8800
- A(欧委会) EU AI Act 高风险规则分阶段:特定高风险领域自 2027-12-02、集成入产品的自 2028-08-02;GPAI 模型有技术文档/下游信息/训练数据披露义务。来源:欧委会 AI 框架页(2026-10 更新);EUR-Lex GPAI 概览
- B/D 汽车特殊性:依 Annex I 行业立法(整车认证法规)的安全件 AI 由 sectoral 立法管辖,AI Act 第 102–109 条作衔接修订;ADAS/自动驾驶安全组件失效风险落入高风险范畴。来源:Deloitte 汽车 GenAI 解读(2024)
- D(ISO) ISO 26262 功能安全不直接覆盖 ML 特性;ISO 21448:2022(SOTIF)明确把"AI 算法功能不足"纳入危害来源;ISO/PAS 8800:2024 是"功能安全+AI/VLM"对接核心标准。来源:ISO 21448:2022;ISO/PAS 8800:2024
11.5 China-Europe 合作路径与跨境数据边界
B 跨主体签约规则:中国主体↔火山中国服务;海外主体↔BytePlus 海外服务;中国主体直接用 BytePlus 海外方舟暂不支持。来源:内部证据包 intl_product.md §3.3(Model Service Guide) 现实可行路径:①欧洲客户用欧洲主体签 BytePlus(新加坡),数据落柔佛,SCC+TIA 覆盖,客户车视频先在欧洲做人脸/车牌模糊化再出境;②极敏感客户可先做"数据不出欧洲"的纯本地 PoC 设计(用客户现有 AWS 欧洲区域跑 VLM 推理——但需内部确认 eu-west-1 实际模型清单与能力);③不承诺任何欧盟本地 SFT/驻留,路线图 2027 Q1 前不要写进合同。
11.6 欧洲部署可行性 verdict(一句话版)
| 客户要求 | 当前可行性 | 怎么做 |
|---|---|---|
| "视频推理必须在欧盟境内跑" | E 不可行(2026-10) | 无 EU 商业驻留;路线图 2027 Q1;只能先 PoC 数据出域 |
| "数据先脱敏后出境柔佛,用 SCC 合规" | A 可行 | Face Blur 脱敏→柔佛 ap-southeast-1 全模型→DPA/SCC/TIA |
| "在 eu-west-1 都柏林就近推理" | B 部分可行 | 仅 seed-2-0 裁剪模型+Chat/Image,无 Batch/微调/Seedance |
| "在欧洲做 VLM SFT 域适配" | E 不可行 | eu-west-1 无微调;只能落柔佛 |
| "数据落在你们在法兰克福的产品里" | A 仅 ByteHouse 数仓 | 与 VLM 打标无关;不要混淆 |
| "TISAX 认证" | E 无 | 严禁宣称已通过;如实告知缺口 |
11.7 BMW/Mercedes/VW/Wayve 的合规-技术-关系三维判断
BMW:技术上它已选 AWS 做 AD 云、Qualcomm 做软件栈,客户车视频触发式≤120 秒、传后删 VIN 的合规实践非常成熟——意味着它对"数据预处理工具"的接受度高,但对"数据出欧"极其敏感。可行路径:先用已脱敏的历史测试视频在柔佛跑 PoC A,证明 Recall@3,再谈生产。Mercedes:MB.OS+NVIDIA 深绑,Drive Pilot 数据据内部尽调"仅存车内",数据红线极高;2025 年豆包座舱合作是车机线,智驾线不要碰。VW/CARIAD:GAIA 平台自研、Big Loop 自己筛 corner case,且内部确认欧洲无 ByteDance 绑定客户——切入要慢,先用营销线建立关系。Wayve:英国公司、Azure 栈、E2E 数据量大,且英国脱欧后 GDPR 框架与欧盟相关但独立;它主动学习流程本就需要高效数据挖掘,是 PoC B/C 的理想对象。
11.8 合规对话的正确开场
面对欧洲客户法务,销售最容易犯的错是一上来就讲模型多强。正确顺序是先讲合规边界:第一,我们处理的是您研发阶段的历史驾驶视频,不是车端实时决策;第二,人脸和车牌在欧洲本地用不可恢复模糊化处理后才出境,EDPB 指南明确这等于个人数据擦除;第三,数据落柔佛,签 DPA 加 EU SCC 加 TIA,柔佛受新加坡 PDPA 管辖、不是欧盟驻留;第四,排障日志会回流中国,这条我们书面披露、不隐瞒;第五,我们没有 TISAX、没有 EU AI Act 声明,这些缺口我们如实列出来,不包装。把这五条讲清楚,客户法务反而会信任你——因为大多数供应商在这五点上要么吹牛要么回避。
EU AI Act 的时间线也要主动讲:高风险规则 2027 年 12 月才分阶段生效,汽车安全件由整车认证 sectoral 立法管辖,AI Act 第 102 到 109 条做衔接。这意味着我们卖的研发数据工具短期内不直接触发 AI Act 高风险义务,但客户作为车厂最终要对安全负责——所以我们的合同必须写清"VLM 输出是研发辅助、不是安全论证依据"。来源:欧委会 AI 框架页(2026-10 更新)
12. 三个可执行 PoC:从 1000 小时视频到验收报告
三个 PoC 按"先易后难、先召回后打标、先数据后训练"递进。每个都按同一套验收骨架设计,可在 BMW/VW/Volvo/Wayve 之间复用。所有 NL Query 与 JSON 标注结果均为示意示例,非真实模型输出。
为什么是三个而不是一个?因为欧洲客户的成熟度不同:有的客户数据平台强、只是缺语义搜索(PoC A 就够);有的客户标注团队痛到想换人(PoC B);有的是 Tier1、需要 Near-miss 时间线这种深度事件理解(PoC C)。三个 PoC 共用同一套数据脱敏、合规、评测骨架,销售可以根据客户痛点选一个切入,而不是每次重新设计。
每个 PoC 都刻意保留了"不承诺"的部分:成功指标写的是目标线而非保证值、工作量和预算是假设区间、技术风险单独列出来。这种写法不是软弱,而是工程型客户(BMW Tobias Bürger 这种 Data Platform 负责人)最吃的一套——他们见过太多供应商拍胸脯,反而尊重把风险写在前面的团队。
12.1 PoC A:自然语言 Corner-case 检索(Semantic Scene Mining)
12.1.1 客户问题及 Buyer
客户数据团队手握 PB 级回传视频,但"想找一段无保护路口鬼探头"要靠人翻几万小时。Buyer:Head of AV Data Platform(痛点=数据利用率低、长尾发现慢),技术对接 = Data Platform/Tooling 团队。
为什么把 PoC A 放在第一个?因为它最容易让客户快速尝到甜头:客户不用改任何现有流程,只要给我们一段历史视频和几个它想找的场景描述,六周后就能拿到一个"输入一句话、返回带时间戳的候选 clip 列表"的工具。它不要求客户开放标签 schema、不要求客户重构数据管线,合规上也只需要脱敏后的历史视频。对一个第一次接触 ByteDance 的欧洲客户,这是阻力最小的第一步。
12.1.2 最适合客户类型
已有自研 E2E/ADAS 栈、数据量大、但缺高效语义检索工具的 OEM/Tier1(BMW AD-Infra、Volvo VAS、Wayve、Zenseact)。不适合:数据量小、还在采集阶段的客户。
12.1.3 目标数据规模与必要输入
1000 小时真实驾驶视频(GTM 建议规模),多路相机中至少用前视主相机;提供客户已有元数据(时间/地点/天气/自车信号);5–15 秒 clip 切分。
12.1.4 数据安全与部署前提
优先柔佛 ap-southeast-1(全模型);敏感客户先在欧洲做人脸/车牌不可恢复模糊化(LAS Face Blur)再出境;签 DPA+SCC+TIA;书面披露 Case 日志回流中国;不承诺 EU 驻留。
再强调一遍 PoC 的合规动作顺序:客户在欧洲本地(自己的或主云环境)先跑人脸车牌不可恢复模糊化,确认输出不可还原后,再把视频传到柔佛。这道预处理必须在数据出欧之前完成,不能反过来——否则数据带着个人信息出境,逻辑上就违反了最小必要原则。销售在 PoC 启动清单里要把"本地模糊化"列为客户必须提供的前置条件,并且明确我们目前的 Face Blur 算子主要面向人脸,车牌模糊化是否支持待确认,这个缺口要写进第 15 章,不能在客户现场临时被问住。
12.1.5 方案架构
视频入 TOS → EMR Daft/Ray 抽帧(fps 1,720p)→ 多模态 Embedding 建索引(VikingDB)→ 客户用自然语言 query → Top-K 候选 clip → VLM(Seed 2.0 pro)对候选做重排核对 → 返回带时间戳的候选列表给人工确认。
12.1.6 工作步骤
- 第 1–2 周:数据接入、脱敏、clip 切分、Embedding 建索引。
- 第 3 周:客户提供 20–30 个检索 query,调 Prompt/schema。
- 第 4–5 周:跑 Recall@K 评测、Hard Negative 挖掘。
- 第 6 周:出验收报告与扩展报价。
12.1.7 Ground Truth 设计
客户标注团队对每个 query 人工标注"应该返回的 clip 集合";每 query 至少 20 个正例 clip;按场景分桶(路口/施工/夜间/雨雾/无保护转弯),长尾配额 20%。
12.1.8 Baseline
客户现有检索方式:关键词/元数据 SQL 过滤 + 人工翻看(对照元戎客户旧基线 28% 命中率的教训,baseline 要先量出来)。
12.1.9 测试集组成(含 Hard Negative)
每个 query 配 Hard Negative:相似但非目标的场景(如 query"鬼探头"配"路边行人正常过马路"、"停放车开门");故意混入低帧率模糊片段。
12.1.10 成功指标及验收标准
Recall@3 ≥0.80(守门线);Top-10 候选中至少 3 个与 GT 相关;检索到人工确认一条目标 clip 的耗时从"小时级"降到"分钟级"。
12.1.11 可行工作量与预算估算
6 周 PoC,ByteDance 侧 1 PM+2 算法/工程+0.5 售前;VLM 推理按第 9 章漏斗估算约 $250–500/1000 小时(刊例,待实测);集成人力约 15–25 人天。具体报价为假设区间,待商务复核。
12.1.12 技术风险
①召回漏检 VLM 补不回;②柔佛跨境数据延迟;③客户 GT 不一致导致评测不可信;④小目标/夜间召回下降。
12.1.13 客户需提供资源
1000 小时脱敏视频、20–30 个 query、2 名标注员做 GT、1 名对接工程师、数据出域法务审批。
12.1.14 ByteDance 投入团队
售前技术(参照元戎 owner 杨悦团队画像)、LAS 算子工程、VikingDB/Embedding 工程、解决方案架构师。
12.1.15 成功后的生产扩展路径
从 1000 小时扩到客户全量回传(PB 级);从"单次检索"变成"持续 corner-case 监控管道";badcase/goodcase 回流做 AutoPE 调优;再引导 PoC B 自动标注。
12.1.16 下一步采购讨论方式
PoC 成功后先谈"按视频小时计费的语义检索服务"订阅,再谈年度框架;不急于卖完整数据湖替换方案。
- "Find clips where a pedestrian steps out from between two parked cars into the road at night, with oncoming traffic approaching within 5 seconds."
- "检索无保护左转路口,对向直行车与自车产生近距离交互(cut-in / near-miss)的片段。"
{
"query_id": "q_0042",
"results": [
{"clip_id": "clip_88412", "timestamp": "00:38-00:44", "score": 0.87,
"reason": "夜间,行人从两辆停放车之间走出,自车距约 8m 减速", "hard_negative": false},
{"clip_id": "clip_88415", "timestamp": "01:12-01:15", "score": 0.62,
"reason": "路边行人正常过街,无车冲突", "hard_negative": true}
]
}12.2 PoC B:VLM 辅助驾驶视频自动标注(Auto-labeling + Golden Dataset)
12.2.1 客户问题及 Buyer
客户标注团队成本高、长尾类每加一类要重训小模型。Buyer:Head of AI/ML 或数据标注负责人(痛点=标注成本与迭代速度)。
这个 PoC 打中的是客户最痛的预算项:标注团队。传统做法是每加一类长尾障碍物就要重训一个小模型,周期数周、泛化差;VLM 的价值是不用重训、用自然语言定义新类别、一次打标直接出结构化结果。元戎和星海图已经证明这条路在生产环境跑得通,但欧洲客户必须在自己的标签体系上重新验证,不能直接拿中国数字。
12.2.2 最适合客户类型
已有明确标签 schema、长尾障碍物/场景类别多、人工标注量大的智驾方案商/OEM(元戎已验证;BMW Auto Annotation Demo 方向;Volvo VAS)。
12.2.3 目标数据规模与必要输入
客户选定 5–10 类目标标签(如 24 类长尾障碍物中的子集);2000–5000 段已标注 clip 做评测基准;要求客户 schema 与输出 JSON 格式。
12.2.4 数据安全与部署前提
同 PoC A(柔佛+脱敏+DPA/SCC);标注数据涉及人脸车牌必须先打码。
12.2.5 方案架构
视频 → LAS 精细理解算子(Seed 2.1 Turbo,fps 1–5,reasoning medium)→ 按客户 schema 输出结构化 JSON 标签+判定理由 → 在线/离线动态抽检(>90% 场景降抽检、badcase 多则加严)→ 人工复核修正 → 入 Golden Dataset。
12.2.6 工作步骤
- 第 1–2 周:对齐标签 schema、Prompt 模板、选模型档位(turbo medium 性价比 / pro high 极致)。
- 第 3–4 周:在客户基准集上跑 F1,与人工基线对比。
- 第 5 周:调 AutoPE、Hard Negative 回归。
- 第 6 周:出"每类 Precision/Recall/F1 + 人工节省人天"报告。
12.2.7 Ground Truth 设计
客户专家双标,κ 一致性 ≥0.8 才算合格 GT;每类至少 200 个正样本、强制长尾配额;明确"停放车/运动车"、"变道+刹车复合动作"等已知难例单独成桶。
12.2.8 Baseline
客户现有小模型标注 + 人工 100% 复核的成本与速度;对照元戎"客户旧版直连通用大模型 28% 命中率"教训,先把 baseline 测准。
12.2.9 测试集组成(含 Hard Negative)
每类配 Hard Negative:相似类别互混(如"倒地物 vs 停放车"、"施工锥桶 vs 路灯柱");夜间/逆光/雨天子集;小目标(锥桶/雪糕筒)子集。
12.2.10 成功指标及验收标准
核心类 Precision ≥85%(GTM 建议线);人工标注工时节省 ≥60%;每有效 clip 成本降 50%;核心工况精度对标元戎 ~90%(部分 93–95%)。均为目标线,须客户 GT 实测。
12.2.11 可行工作量与预算估算
6–8 周;VLM 推理按第 9 章方案 B/C 约 $250–500/1000 小时;标注复核人力由客户承担;ByteDance 投入 2 算法+1 工程+1 PM。报价为假设,待复核。
12.2.12 技术风险
①复合动作漏一项(变道+刹车);②停放车误判运动;③信号灯颜色推断错;④小目标漏检;⑤Hallucination(编造不存在物体)。
12.2.13 客户需提供资源
标签 schema、专家双标 GT、5 类以上目标样例、标注复核工位、数据出域审批。
12.2.14 ByteDance 投入团队
参照元戎行解(冯强/曹少琨画像)、具身标注 OnePage 团队(苏大山画像)、LAS 算子产品(郭坤画像)。
12.2.15 成功后的生产扩展路径
从 5–10 类扩到全标签体系;接入客户 Data Closed Loop;评估是否需要 SFT(仅在 Prompt/schema 稳定后仍有系统性偏差、且有数百条高质量数据时才做);badcase 回流 AutoPE 离线评测。
12.2.16 下一步采购讨论方式
按标注 clip 数或视频小时订阅;先签 PoC 扩展合同,再谈年度 DataOps 框架;SFT 另立项目(昂贵、不轻易承诺)。
"Annotate every 5–15s clip: detect long-tail obstacles (fallen object / road debris / construction / other), output bbox, confidence, motion state (stationary/moving), and one-sentence justification."
{
"clip_id": "clip_33021",
"events": [
{"label": "fallen_object", "timestamp": "00:02-00:06",
"bbox": [412, 388, 470, 430], "confidence": 0.91,
"motion_state": "stationary",
"justification": "路面黑色长条物,自车经过时未移动,疑似倒地骑行者/物体",
"needs_human_review": false}
],
"known_hardcase_note": "本片段含停放车背景,已排除运动误判"
}12.3 PoC C:动态场景理解与训练数据构建(Dynamic Scene Understanding + Training Data Construction)
12.3.1 客户问题及 Buyer
客户需要把挖掘出的复杂场景变成"可训练、可回放、带时间边界的结构化数据集"。Buyer:Head of AD/AS(研发负责人),技术对接=场景工程/数据闭环团队。
这个 PoC 技术难度最高,但也最能体现 VLM 相对专用小模型的差异化:它要理解的是跨秒级、跨多参与者的复合事件,而不是单一标签。DENSO 用它做 Near-miss 四象限时间线,欧洲的商用车队和出行平台对"事故复盘""危险驾驶质检"有类似需求。提醒:这一 PoC 最容易碰到时空推理天花板,验收线必须务实。
12.3.2 最适合客户类型
有长视频(3 小时级)、需要 Near-Miss 时间线标注、多语言场景(DENSO 日本模板可复制)的 Tier1/出行平台/商用车队。
12.3.3 目标数据规模与必要输入
选 50–100 段 1–3 小时长视频(LAS 精细算子上限 3h/10GB);客户提供感兴趣事件类型(Near-miss/cut-in/施工区/低光等)。
12.3.4 数据安全与部署前提
同前;长视频走 File API(≤512MB 托管 / TOS Bucket ≤2GB);海外仅柔佛 ap-southeast-1(LAS 算子当前区域)。
12.3.5 方案架构
长视频 → LAS 精细理解算子(fps 1–10,Seed 2.1 Turbo reasoning high)→ 四类时间线(自车行为/交通参与者/交通规则与道路结构/环境)结构化 JSON → 事件切片 → Embedding 索引 → VLM 核对 → 人工确认 → 训练数据集导出。
12.3.6 工作步骤
- 第 1–2 周:事件类型定义、时间线 schema、三语(如客户需)确认。
- 第 3–5 周:跑长视频,评估事件时间定位 IoU 与漏报。
- 第 6 周:出 Near-miss 召回率、时间定位误差、人工节省报告。
12.3.7 Ground Truth 设计
客户专家人工标注时间线事件(起止秒+类别);重点测 Event Temporal Localization IoU@0.5;单独统计复合事件漏报率。
12.3.8 Baseline
客户现有 Near-miss 检索:自训 Embedding+Milvus(DENSO 原方案)或纯人工翻看;VLM 重排相对纯 Embedding 的增益需在客户 GT 上实测(当前无量化数据)。
12.3.9 测试集组成(含 Hard Negative)
配复合事件(变道+刹车、加塞+转弯)、易混事件(停车等红灯 vs 堵车静止)、边缘小目标、低光/逆光子集。
12.3.10 成功指标及验收标准
Near-miss Recall@3 ≥0.80;事件时间定位 IoU@0.5 ≥0.7;复合事件漏报率 ≤20%;问题解决率对标 DENSO ~90%+(C 级线索,须实测)。
12.3.11 可行工作量与预算估算
6 周;长视频 token 消耗大,按第 9 章方案 C(high 档)估算,费用随分辨率档(low/medium/high/xhigh)浮动;待 PoC 实测 token 后报价。
12.3.12 技术风险
①时空推理是 VLM 公认最弱项(连 NVIDIA 都只有 70%);②长视频靠工具链拼接非原生实时流;③复合事件漏报;④输出 JSON schema 漂移。
12.3.13 客户需提供资源
长视频样本、事件类型清单、2–3 名场景专家做 GT、三语需求(如需要)。
12.3.14 ByteDance 投入团队
DENSO 复盘 owner 张涛画像团队、LAS 精细算子工程、VikingDB 重排工程。
12.3.15 成功后的生产扩展路径
从 Near-miss 扩到全事件时间线;迁移客户自训 Embedding 到 VikingDB;把结构化数据集直接灌训练管线(对照 DENSO 推进 VikingDB+VLM 重排正式交付路径)。
12.3.16 下一步采购讨论方式
先按"长视频时间线标注服务"订阅;再谈 Embedding+VLM Rerank 数据平台;最后评估是否在客户数据平台内做 SFT 定制。
"Scan this 2-hour drive recording and produce a structured timeline of every near-miss: ego vehicle action, other road user, traffic rule / road structure, environment; flag any multi-action composite event."
{
"video_id": "vid_55210", "duration_s": 7200,
"timeline": [
{"t_start": 2314, "t_end": 2319, "event_type": "near_miss_cut_in",
"ego_action": "braking", "actor": "vehicle_white_suv",
"road_context": "urban_artery", "environment": "day_dry",
"temporal_iou_estimate": 0.82, "composite": true,
"note": "cut_in + hard_brake combined; review recommended"}
]
}三个 PoC 都把"成功指标"写成目标线而非保证值,把"工作量预算"写成区间,把"技术风险"单列——这不是保守,是因为欧洲客户的工程团队对拍胸脯的供应商有本能警惕。元戎案例最开始也是从一个 PoC 跑起来的,不是一上来就签大单;DENSO 也是先做 Near-miss 检索再扩到时间线。欧洲客户的决策节奏只会更慢,不会更快,所以 PoC 的价值不在金额,在于拿到可复制到下一个客户的、带客户 GT 数字的案例。
12.4 三个 PoC 如何串成一条客户成功路径
三个 PoC 不是并列选项,而是一条递进的风险递减路径:PoC A(检索)先证明"找得到",PoC B(打标)再证明"标得准",PoC C(时间线)最后证明"理解得深"。对一个谨慎的欧洲 OEM,销售应该先推 PoC A——因为它数据规模最小、风险最低、最容易在 6 周内出结果,而且不要求客户开放标签 schema。一旦 PoC A 的 Recall@3≥0.80 达成,客户对团队的信任就建立了,再自然过渡到 PoC B。
内部"汽车客户复制画像"把客户分五类:自动驾驶公司(corner case/Near-Miss 检索)、主机厂(路测复盘/功能验证/标签补充)、出行平台(事故与异常驾驶复盘)、商用车车队(驾驶风险质检)、安全运营团队(关键事件检索审核)。来源:VLM 视频理解工程化落地(DENSO 复盘)(2026-09-23) 每类客户首推的 PoC 不同:自动驾驶公司→A/C,主机厂→A/B,出行/商用车队→C,安全运营→A。
13. 客户销售、竞争与采购策略:到底卖什么、卖给谁、怎么切入
13.1 到底卖什么:八个候选交付物逐一定性
| 候选交付物 | 定性 | 理由 |
|---|---|---|
| Seed VLM API(ModelArk) | 正式产品(GA) | 海外柔佛已 GA,刊例透明;但只是模型层,不是"汽车方案" |
| Video Understanding Service(VOD/MediaUnderstand) | 正式产品(GA) | 面向内容生产/媒体,非驾驶场景;汽车客户需自行改 schema |
| Video Data Mining Solution(语义检索+corner-case) | 解决方案组合(非打包产品) | 内部明确"无独立命名的汽车 Video Intelligence 打包产品",需 API 组合定制 PoC |
| Auto-labeling Solution(LAS 精细算子+AutoPE) | 解决方案组合(有生产案例) | 元戎/星海图已生产,但按客户 schema 定制,非标准 SKU |
| Multimodal AI Data Platform(LAS 数据湖) | 正式产品(国内 GA;海外柔佛开白) | 京/沪/穗 GA,火山柔佛 GA、BytePlus 柔佛 Preview;欧洲无 |
| Data Intelligence Layer(数据湖+向量+VLM 增值层) | 解决方案组合(销售叙事) | 定位为"AWS 主云之上的增值层",不替换客户主云 |
| Domain-specific Optimization(SFT/DPO) | 项目定制(昂贵,欧洲不可承诺) | 方舟 SFT 国内 GA;eu-west-1 无微调,欧洲只能落柔佛 |
| 完整 DataOps 集成(采集→训练全闭环 ADVC) | 国内正式产品;欧洲无 SKU | ADVC 是国内标准化产品;欧洲不主张整体替换客户数据平台 |
13.2 四类 Buyer 分别怎么打
13.2.1 Head of AD/AS(智驾研发负责人)
这是最懂技术也最懂痛点的 buyer,但也是最难被花言巧语打动的。他每天面对的是"怎么把长尾场景找出来、喂给训练、让模型下次不犯错"的闭环压力。跟他讲"大模型很聪明"没用,要讲"我们怎么把你现在每周花在翻视频上的人天省下来"。他的上级看的是模型迭代速度和 disengagement,所以最后一定要把 VLM 数据服务和"训练数据质量提升"挂上钩。
- 最痛点:长尾/corner-case 发现慢、数据飞轮转不动、合规采集受限。
- 切入点:元戎"先筛后标"漏斗、DENSO Near-miss 时间线;讲"帮你把人工从填空题变选择题"。
- 技术证明:Recall@3≥0.80、核心工况 ~90%、日省 200+ 人天(带条件)。
- 避免过度承诺:不说 VLM 做安全关键决策;不说替代客户自研模型。
- Discovery 问题:你现在每周花多少人天翻视频找 corner-case?长尾占比多少?现有检索 baseline 命中率?
- 理想下一步:6 周 PoC A/B(1000 小时脱敏视频)。
13.2.2 Head of AV Data Platform(数据平台负责人)
他最关心数据管线能不能跑通、延迟和吞吐够不够、会不会破坏现有数据湖。切入点是"我们跑在你现有 S3 上、按 clip 计费、不换栈"。他最怕的是供应商把管线搅乱,所以 PoC 要强调只读、旁路、可回退。
- 最痛点:PB 级数据利用率低、元数据检索弱、标注成本高。
- 切入点:LAS 数据湖(Lance/Iceberg/Paimon)+ VikingDB 向量检索,做"AWS 之上增值层"。
- 技术证明:Lance take 比 Parquet 快 10–100x、点云 ZSTD 压 70%(C 级工程宣称);元戎单日 20 万 clips 98%+ 成功率。
- 避免过度承诺:不主张替换客户 AWS/自研数据湖;VikingDB 欧洲无 Region 要提前说。
- Discovery 问题:你们数据湖在哪个云?语义检索是自建还是托管?向量库选型?
- 理想下一步:PoC A(语义检索)先跑通,再谈数据湖集成。
13.2.3 Head of AI/ML(模型/标注负责人)
他最关心打标准不准、能不能接进现有训练流水线。切入点是"VLM 预标加人工复核,把标注工时降下来,同时输出你现有标签 schema 兼容的格式"。避免过度承诺"自动训练模型"——我们只做数据,不碰客户的训练。
- 最痛点:标注成本、长尾类每加一类重训小模型、Golden Dataset 构建慢。
- 切入点:VLM 自动打标 10x–1000x 降本(销售口径)、周期数周→3 天;AutoPE 自动调 Prompt。
- 技术证明:核心类 Precision≥85%、人工工时省≥60%(GTM 建议线)。
- 避免过度承诺:不说 SFT 包治百病;SFT 不能补缺失帧、可能引入新回归。
- Discovery 问题:现有标签 schema 多少类?人工标注时薪?badcase 回流机制?
- 理想下一步:PoC B(自动标注+Golden Dataset)。
13.2.4 CTO / 合规负责人
他不看准确率,看风险:数据出欧、日志回流、责任归属、EU AI Act。切入点是第 11 章那五条合规边界加合同里"研发辅助、非安全件"的免责。他是最后签字的人,必须从第一次会议就并行服务,不能等技术谈完再补。
- 最痛点:GDPR/EU AI Act 合规、数据出境、供应商资质(TISAX/NIS2)。
- 切入点:DPA 含 EU SCC/UK Addendum、SCC+TIA、ISO 27001/42001 认证、Face Blur 脱敏前置。
- 技术证明:Trust Center 认证清单(官方自述)。
- 避免过度承诺(关键):不说 EU 数据驻留、不说 TISAX、不说本地私有部署、不说海外 SFT;如实说柔佛+SCC+Case 日志回流中国需披露。
- Discovery 问题:你们数据出域合规要求到哪一级?是否要求 TISAX?是否接受数据落柔佛?
- 理想下一步:法务+安全对齐会,先把合规边界谈清再进技术 PoC。
13.3 定价与打包建议
D-工程推导 基于第 9 章成本模型,对欧洲客户建议三档打包,避免一上来谈平台大单:
- 入门档(PoC):固定 6 周、1000 小时脱敏视频、Recall@3/F1 报告、固定费用。目标不是赚钱,是拿到客户 GT 上的真实数字和推荐信。
- 订阅档(Production):按视频小时或按处理 clip 数计费,叠加人工复核抽检比例。参照柔佛刊例,推理成本本身很低,利润来自"算子工程+集成+持续调优"的服务层。
- 项目档(SFT/数据平台):仅在客户 PoC 成功、且明确需要域适配时才卖,单独报价、单独签 SOW;欧洲客户 SFT 落柔佛,合同里写清数据出境。
13.4 竞争话术:客户拿 NVIDIA/AWS/Scale 来压价时怎么接
- 客户说"我们已经在用 NVIDIA Cosmos":接"很好,Cosmos 在世界模型和仿真上很强;我们不替代它,而是在您现有数据湖上提供高性价比的 VLM 打标和语义检索,并且可以在同一测试集上和 Reason2 做 A/B,谁好用谁。"——用第 8.4 节的"公平竞争评测"把对话拉到可比维度。
- 客户说"AWS 更懂我们的数据湖":接"AWS 是您的数据湖底座,我们跑在它上面;Bedrock 没有 AV 专用的 corner-case 语义搜索,我们补的是这一层。"
- 客户说"Scale/Encord 是老牌标注商":接"它们的人工标注和我们不冲突——我们做 VLM 预筛,把要人工看的量从 100% 压到 10%,反而让它们的人工更高效;可以对接。"
13.5 Discovery 会议该问什么、不该问什么
第一次客户会议,问错问题会把天聊死。该问的:"你们现在找一个特定场景要花多长时间、几个人?""你们的标签 schema 有多少类、谁定义、双标员一致性多少?""数据现在存在哪个云、什么格式?""数据出域的法务审批要走多久?""你们已经在用哪些 AI 工具、为什么不满意?"这些问题帮你定位漏斗在哪一层。不该问的:"你们想不想换云?""要不要上我们的完整数据平台?""能不能买我们的 SFT?"——这些问题一上来就触发客户主云替换的政治警报。记住定位:我们是来加一层数据价值,不是来换地基。
还有一个常被忽略的 buyer:采购和法务。欧洲大企业的采购流程极长,2026 年 11 月 BMW 这种 RFP 窗口,技术讲得再好、法务 DPA 过不了也白搭。所以第一次技术会议之后,要立刻并行启动法务对齐,把第 11 章那五条合规边界先递过去,不要等到 PoC 验收完才发现合同签不下来。
14. 90 天欧洲 GTM 行动建议
14.1 优先拜访客户类型与部门
排序的逻辑是"在途机会 × 证据强度 × 切入可行性"三者相乘。BMW 虽然证据强、在途,但严禁对外且决策回德国;Volvo/VW/Wayve 证据是销售情报级(C 级),但切入假设清晰。下面按优先级展开,每一家都给了首推 PoC,避免销售一上来就铺全线。
优先级排序(基于在途机会+证据强度):
- BMW Group(最高优先):两次中国 PoC 符合预期、2026-11 RFP 窗口、Tobias Bürger(Lead Data Platform for AD)已接触;但严禁对外披露 RFP/预算。
- Volvo Group VAS(P0):销售评分 82,Aurora+Waabi+矿山自治海量视频需场景挖掘/标注;定位"增强而非替换"。
- Wayve(英国):E2E+GAIA-4,数据量大,需要高效数据挖掘/打标;Azure 栈,互补。
- VW/CARIAD:尽调确认欧洲无已绑定客户,切入慢;先用营销线 Seedance 本地化建立关系,再观察 CARIAD VLM 机会。
- 其他:Zenseact、Mobileye、Bosch、Continental、Aptiv(GTM 目标清单);Mercedes 走 NVIDIA 深栈,做中期观察。
14.2 每家切入点
| 客户 | 切入点 | 首推 PoC |
|---|---|---|
| BMW | 4 个 Demo 方向(Semantic Scene Mining / Auto Annotation+Golden Dataset / Synthetic Long-tail / Data Infra Benchmark);不换 AWS 主云,做增值层 | PoC A+B |
| VW/CARIAD | 先营销线 Seedance 本地化;CARIAD VLM 为销售假设,不硬推 | 观察/轻量 PoC A |
| Volvo VAS | "Video Dataset→Embedding Retrieval→VLM Rerank→Human Validation",低摩擦先用公开路测视频做语义检索/聚类 | PoC A |
| Wayve | 为其 E2E 数据闭环提供 VLM 预筛/打标效率,不碰模型本体 | PoC B |
| 其他 Tier1(Bosch/Continental/Aptiv) | DENSO(日本 Tier1)打法复制;Near-miss 检索+时间线标注 | PoC C |
14.3 PoC 准备清单(90 天内完成)
- 脱敏版元戎 OnePage 与不具名 PR 就绪(对外只用脱敏版)。
- 三个 PoC 的验收模板(GT/Recall@K/F1/成本)定稿。
- 柔佛 ap-southeast-1 测试账号与模型清单确认(dola-seed-2-1-turbo / seed-2-0-lite-260428 等)。
- Face Blur 脱敏前置流程跑通。
- 合规模板:DPA+SCC+TIA、Case 日志回流披露条款。
- 对照演示:Cosmos Reason2 / Gemini / Qwen3-VL 同题对比(为公平竞争证据做准备)。
14.4 内部对齐事项
- 与产品团队确认 eu-west-1 实际模型清单与能力(无 Batch/微调/PromptPilot 对客口径)。
- 与 TOS/合规团队确认 EU-Compliance 是否对欧洲商业客户开放(当前不得宣称)。
- 与商务确认欧洲本地 SLA/德语支持、LAS 私部报价、柔佛 SFT 对欧合同路径。
- 与案例 owner 确认元戎/DENSO 对外授权口径。
14.5 合规准备
- 所有对欧 PoC 先签 DPA+SCC+TIA;数据先在欧洲人脸/车牌模糊化再出境柔佛。
- 书面披露 Case 日志回流中国;不承诺 EU 驻留/本地私有部署/海外 SFT。
- 准备 ISO 27001/42001、SOC 1/2/3、CSA STAR、PCI DSS 证书包;主动说明 TISAX/NIS2/EU AI Act 声明的现状(无)。
- 合同书面写清"VLM 用于研发数据预处理,非车端安全件"。
14.6 90 天周计划(第 1–12 周)
| 阶段 | 周次 | 动作 |
|---|---|---|
| 内部对齐 | W1–W2 | 确认 eu-west-1 模型清单、柔佛价格、合规模板、脱敏版元戎材料;拉齐慕尼黑销售(Hayden Huang)与国内交付 |
| BMW 攻坚 | W2–W6 | 配合 Tobias Bürger discovery;准备 4 个 Demo 方向;不对外承诺 RFP 信息;争取 PoC A 准入 |
| Volvo/Wayve 拓展 | W3–W8 | Volvo VAS 用公开路测视频做语义检索演示;Wayve 谈数据挖掘效率;出 PoC 提案 |
| 合规闭环 | W4–W8 | DPA/SCC/TIA 模板定稿;Face Blur 流程跑通;书面披露 Case 回流;TISAX 缺口说明 |
| PoC 启动 | W8–W12 | 选 1 家最配合客户签 6 周 PoC A;建 GT、跑 Recall@3;出验收报告与扩展报价 |
补充一句:这个时间表看起来保守,其实是被欧洲市场的真实节奏逼出来的。BMW 这种级别的客户,从第一次技术对谈到签 PoC 合同,正常就要三到六个月;合规审批还要再叠加。我们能做的不是加速客户决策,而是让自己在每一次会议上都比上次更可信、材料更准。
14.7 各客户切入点的具体话术要点
对 BMW:不要提我们做过两次中国 PoC(这是内部情报),而是从 Tobias Bürger 关心的"raw driving data 到 training-ready data 的成本周期"切入,讲"我们能不能在您现有的 AWS 数据湖上,用 100 小时脱敏视频演示一遍 mining 到 annotation 到 golden dataset 的流水线"。BMW 要的是不破坏它 AWS+Qualcomm 架构的增值层。对 Volvo VAS:它已有 Aurora 和 Waabi 两套 robotaxi 栈,还有矿山自治的海量视频,话术是"我们增强而不是替换这两套专有栈——Video Dataset 到 Embedding Retrieval 到 VLM Rerank 到 Human Validation",低摩擦先用公开路测视频做语义检索和场景聚类。对 Wayve:它的 E2E 模型每天产生海量难例,话术是"你们主动学习流程里最缺的是高效难例挖掘和打标,我们做这一层,不碰你们的模型本体"。对 VW:CARIZON GAIA 已经自研、Big Loop 自己筛 corner case,短期不要硬推智驾线,可以先从营销内容线的视频本地化建立关系,观察 CARIAD 的 VLM 需求什么时候成熟。
15. 技术与商业待确认问题清单
| # | 缺什么信息 | 已检索过什么 | 应由哪类内部团队确认 | 建议问题 | 对销售影响 | 优先级 |
|---|---|---|---|---|---|---|
| 1 | eu-west-1 都柏林实际模型清单与能力边界 | GTM 报告+奔驰速读+Model list | BytePlus 产品/ModelArk 团队 | eu-west-1 当前到底有哪些模型/有无 Batch、微调、PromptPilot? | 决定欧洲 PoC 能在哪跑、能否本地推理 | 高 |
| 2 | ModelArk 视频 USD 官方价格表 | LAS 算子刊例已得;VOD 仅截图 | BytePlus 商务/定价 | ModelArk 视频推理正式价目与 eu-west-1 价格? | 第 9 章成本模型精度 | 高 |
| 3 | 欧洲本地 SFT/微调可行性 | 确认 eu-west-1 无微调、柔佛才有 | 产品+合规 | 欧洲客户要求域适配时,能否在柔佛做、数据出境怎么写? | 决定能否卖 Domain Optimization | 高 |
| 4 | TOS EU-Compliance 是否对欧洲商业客户开放 | 确认是内部合规计费区 | TOS/合规 | EU-Compliance 区域是否可作为对欧数据驻留卖点? | 决定能否谈"准欧洲驻留" | 中 |
| 5 | 欧洲本地 SLA / 7×24 德语支持 | 确认无书面承诺 | 商务/交付 | 欧洲 PoC 后的 SLA 与支持窗口? | 影响大客户合同条款 | 中 |
| 6 | 元戎/DENSO 案例对外授权口径 | 元戎有脱敏 OnePage;DENSO 仅内部 | 案例 owner(杨悦/张涛) | DENSO 能否脱敏对外?元戎联合 PR 何时发? | 影响对外故事强度 | 中 |
| 7 | 视频 token 级 SFT 是否对 Seed VLM 开放 | 多模态 SFT 文档仅 Prompt+Image | 方舟精调团队 | 视频直接 SFT 的入口与规格? | 影响 PoC C 扩展路径 | 中 |
| 8 | VLM 重排相对纯 Embedding 的增益量化 | DENSO 方案有但无数字 | VikingDB/检索团队 | 重排增益在客户 GT 上平均多少 pp? | 影响 PoC A 验收预期 | 中 |
| 9 | 欧洲标注人力时薪与欧洲客户数据出域审批周期 | 证据包无欧洲时薪 | 销售/商务 | 欧洲标注外包时薪?典型 PoC 法务周期? | 影响第 9 章 ROI 平衡点 | 低 |
| 10 | Seed VLM 独立技术报告/arXiv 编号 | 官方仅指 Model Card | Seed 模型团队 | 有无可对外引用的技术报告? | 影响技术对话可信度 | 低 |
15.1 为什么这些问题必须在见客户前确认
换个角度看,这份清单也是一张"未来一年产品路线图的销售视角输入":eu-west-1 全模型、欧洲节点、TISAX、欧洲 SFT,这四件事每落地一件,我们在欧洲的可谈生意就大一圈。销售应该把客户在 PoC 里提的每一个合规要求,都回流给产品和合规团队,变成下一年的路线输入。
需要补充一句:这十项缺口不是 ByteDance 独有的尴尬——任何中国云厂商进欧洲都会同时撞上"无本地驻留、无 TISAX、无欧洲案例"这三堵墙。我们的优势是模型和算子本身已经被中日生产验证过,缺的只是欧洲这一层的落地和认证。所以这份清单的意义不是让销售灰心,而是告诉团队:未来 90 天的价值在于把高优先级几项一一闭合,而不是急着签单。
这份清单不是学术好奇,每一条都直接影响销售能不能签字。举三个最要命的:如果 eu-west-1 实际模型清单和我们以为的不一样,客户 PoC 可能根本跑不起来;如果 ModelArk 视频官方价格和我们用的 LAS 刊例差很多,第 9 章的 ROI 模型就是错的,客户财务尽调时会当场穿帮;如果元戎/DENSO 的对外授权没谈下来,我们讲的案例客户一查官网发现根本没有,信誉归零。所以这十项不是"有空再问",而是未来 90 天 GTM 启动前的阻塞项,高优先级那几项必须在第一次客户会议前拿到内部书面答复。
16. 结论:独立回答 Q1–Q12(不回避不利结论)
Q1:ByteDance 有没有被真实验证过的驾驶视频 VLM?
有,但证据集中在中日、且不是"欧洲级"。B-内部已证实 元戎启行是证据最充分的案例:它是中国头部第三方智驾方案商,存量回传上百 PB,长尾障碍物占比不到百分之一,人工翻看命中率只有万分之几;在 LAS 视频精细理解算子加 AutoPE 调优后,5 万条真实数据基准下难例真实命中率较业界通用模型高约 27%、较客户自己误配置的旧基线提升约 44%,核心工况精度约九成、部分工况到九十几,单日二十万 clips 稳定跑批、成功率不低于百分之九十八,数据迭代周期从周级压到天级。来源:元戎启行×LAS 算子案例【仅对内】(2026-10-08 更新) DENSO 是第二个案例:日本 Tier1,约五万小时驾驶视频做 Near-miss 检索和中英日三语时间线标注,Seed 2.1 Turbo 加 2.0 Pro、fps=5、reasoning=high,约九成问题被解决。C-内部线索 来源:VLM 视频理解工程化落地(2026-09-23) 不利结论必须讲:欧洲没有任何已绑定的 VLM 客户;2025 年 3 月奔驰中国二期用 Doubao-1.5-vision-pro 测 16 段路采视频结论是"效果一般",同批对比 gpt-4.5 领先——这是模型代际落后的历史证据,不能当卖点;豆包进奔驰座舱是车机合作,与智驾无关。
Q2:VLM 在驾驶任务上的技术天花板在哪?
B-内部已证实 按内部六层能力分级,L1 静态场景与物体属性(grounding、计数、OCR)最可靠;L2 行为运动在 Seed1.8 的 TVBench 71.5、TempCompass 86.9、MotionBench 70.6 上有公开分;L3 时空交互与长视频定位靠 VideoCut 加向量记忆拼接,不是原生实时流;L4 复杂驾驶事件能做但必须人工复核;L5 风险因果是内部"主动防御驾驶"Skill、非 GA 产品;L6 安全关键决策(精确速度、距离、TTC、驾驶意图、事故责任)明确不做——模型输出是"基于当前证据的任务答案",不是测量值、不是法律结论。来源:VLM 工程化方法论(2026-09-24) 已知难例包括:自车视角下停放车被误判为运动、变道加刹车复合动作漏一项、停车被误解释为红灯、远处小目标漏检。更重要的是,时空推理是全行业公认最弱项:连 NVIDIA×Uber 官方 Cookbook 都自曝时空类峰值只有 70.0%、内部 MCQ 只比零样本高 0.67 个百分点。这意味着销售不要承诺"VLM 能精确理解高速动态交互",而要把它定位成"帮人快速找到并粗标 clip 的工具"。
Q3:VLM 打标到底省不省钱?
D-工程推导 按第 9 章柔佛官方刊例推算,一千小时驾驶视频即使全量用 seed-2.0-pro 跑,VLM 推理费用也只有约两千六百美元量级;走"召回后只看 Top 候选"的漏斗后约两三百美元。也就是说,VLM 推理本身不是成本大头,人工复核才是。内部销售材料称大模型打标相对人工典型降本十倍到一千倍、具身智能视频打标降本超九成;元戎日省两百多人天是真实生产口径。B 来源:BytePlus 数据标注 one-page(2026-10-12) 不利结论:这个降本成立的前提是长尾占比足够低(元戎不到百分之一)。如果客户长尾占比高、或者被迫用 reasoning=high 加 fps=5 全量精标、或者数据只能走 eu-west-1 实时 API 高价档,推理成本可能反超人工节省。所以销售不能张口就说"帮你省一半标注人力",必须用客户自己的 GT 和真实 token 消耗做敏感性分析。
Q4:和 NVIDIA Cosmos 比谁强?
不利但必须诚实:NVIDIA Cosmos 在数据整理(Curator)、语义搜索(CDS)、VLM 自动标注(Reason 2)、合成数据(Cosmos 3 Nano)、后训练(cosmos-rl)、仿真评测(NuRec/Evaluator)全链路是既定事实,且保时捷牵头大众集团的数据飞轮、Uber 十万辆 robotaxi 数据工厂、Mercedes/Volvo 的 Hyperion 都是它的客户。A-公开已证实 来源:NVIDIA Cosmos;GTC Berlin 2026(2026-10-21) 但它也有弱点:开放权重意味着客户要自己扛 GPU 工程整合;Uber 案例自曝下游 VLA 增益、成本、延迟全部未披露;时空推理最弱。ByteDance 的真实差异化只有三点:柔佛透明刊例带来的性价比、中英多语言时间线能力(DENSO)、不绑 GPU 生态的开放 API 组合。不要正面抢车端和仿真,做它栈上的数据层。
Q5:BytePlus 能满足欧洲数据驻留吗?
当前不能,这是最硬的约束。A-公开已证实 BytePlus 核心 IaaS 官方区域列表里没有欧洲;隐私政策写明个人数据存在新加坡、马来西亚、美国、香港、印尼、日本,未列任何欧盟国家。来源:BytePlus EIP Regions;Privacy Policy 唯一真实的欧洲产品级驻留是 ByteHouse 数仓托管在 AWS 法兰克福 eu-central-1,但那是数仓产品、不是 VLM 推理;eu-west-1 都柏林只有 seed-2-0 等约三个裁剪模型,无 Batch、无微调、无视频生成。绝对不得对客户说"欧盟数据驻留""欧洲本地私有部署""海外 SFT";内部 EU-Compliance 是内部计费区域、不得对外。现实路径只有一条:先在欧洲做人脸车牌不可恢复模糊化,数据落柔佛,用 SCC+TIA+DPA 合规,书面排障日志回流中国。
Q6:合规上最大的缺口是什么?
已有基础是:2026 年 5 月版 DPA 含 EU SCC 和英国附录,认证清单有 ISO 27001/27701/42001、SOC 1/2/3、CSA STAR、PCI DSS。A 但缺口同样明确:E-无证据 BytePlus 主体没有 TISAX(火山国内主体有,但严禁说 BytePlus 已通过)、没有 NIS2 公开资料、没有 EU AI Act 合规声明、没有欧盟本地正式 SLA 和德语 7×24 支持书面承诺;海外 Case 日志通过 API 上报后会转存国内长期存储,必须书面披露。来源:内部证据包 intl_infra.md §6.3;Case 平台培训纪要(2026-07-27) 功能安全层面,VLM 只做研发数据预处理、不做车端安全件这个定位,天然把我们排除在 ISO 26262/SOTIF 的安全件管辖之外,但必须在合同里写清。
Q7:到底该卖什么产品?
诚实答案:没有现成的"汽车 Video Intelligence"打包产品。内部材料明确"ByteDance 体系没有独立命名的汽车行业 Video Intelligence 产品,需用 API 组合定制 PoC"。B 来源:欧洲 GTM 报告(2026-10-13) 对欧洲客户,最诚实的卖法是"高性价比 Seed VLM 推理 API + LAS 精细理解算子 + VikingDB 语义检索"的组合 PoC,定位为客户 AWS/Azure 主云之上的数据价值链增值层,不替换主云、不主张整体数据平台替换。国内的 ADVC 自动驾驶云是标准化产品,但那是国内口径、欧洲无 SKU。
Q8:欧洲先打哪个客户?
优先级:BMW 最高(在途 RFP、已做过两次符合预期的中国 PoC,但 RFP 窗口和预算严禁对外);其次 Volvo Group VAS(销售评分 82、P0,Aurora 加 Waabi 加矿山自治海量视频需要场景挖掘);然后 Wayve(英国、Azure 栈、E2E 数据量大);VW/CARIAD 先观察(内部确认欧洲无绑定客户、自研 GAIA 数据平台);Mercedes 走 NVIDIA 深栈做中期观察。来源:BMW AD-Infra Insight;Volvo 销售情报(2026-10-27) 切入法不是"大模型能理解所有视频",而是"一个高价值事件加一批可裁定样例"。
Q9:第一个 PoC 做什么?
先做 PoC A——自然语言 corner-case 检索。理由:数据规模最小(1000 小时)、不需要客户开放标签 schema、6 周可出 Recall@3 数字、风险最低。守门线 Recall@3≥0.80。跑通后再过渡到 PoC B(VLM 自动标注,核心类 Precision≥85%、人工工时省≥60%)和 PoC C(长视频时间线,Near-miss 召回、时间定位 IoU)。三个 PoC 是递进关系,不是并列选项。
Q10:最大的销售红线是什么?
四条:①不承诺 EU 数据驻留、欧洲本地私有部署、海外 SFT;②不说 VLM 做安全关键驾驶决策、不给 TTC/速度/责任结论;③不把 2025 奔驰负面测试、豆包座舱合作、哪吒(未检索到智驾合作)、本田(公开是 AWS 标杆)当成智驾成功案例;④内部培训举例不等于产品规格、元戎对外只能用脱敏版。触碰任何一条,都会在工程型客户面前直接失去信任。
Q11:技术上最该补的短板是什么?
四个短板:①时空推理和复合事件漏报(全行业共性,但我们必须正视);②欧洲区域能力不全——eu-west-1 裁剪、无 Batch、无微调、无视频生成;③VLM 重排相对纯 Embedding 的增益没有量化数字;④欧洲零生产案例、零欧洲标注人力时薪数据。这些都列进了第 15 章待确认清单,需要产品、商务、合规团队分别确认。
Q12:90 天后最现实的成果是什么?
不利但真实:不是签百万欧元合同,而是 BMW RFP 里有可演示的 PoC 案例、Volvo 或 Wayve 至少一家进入正式 PoC 合同、内部把 eu-west-1 能力/价格/授权口径白纸黑字确认、合规模板可复用。ByteDance 在欧洲汽车 VLM 市场是"有能力、无本地驻留、无欧洲案例"的新进入者,第一年目标应是 PoC 落地和建立可信,而非规模收入。
16.0 总体结论:一句话版本与三页纸判断
一句话版本:ByteDance 的 Seed VLM 在驾驶视频的"检索-打标-时间线"环节有真实的、被中日生产/准生产案例验证过的能力,且刊例价格透明有竞争力;但它在欧洲是一个"有模型、有算子、无本地驻留、无欧洲案例、主云被对手占据"的新进入者,未来 12 个月的正确打法是用低门槛 PoC 在客户 AWS/Azure 主云之上证明评测数字,而不是讲平台故事。
三页纸判断:第一,技术上我们不弱——元戎 5 万条真实基准的命中率、DENSO 的多语言时间线、Seed 2.x 在公开视频榜单的位置,都是真证据;但这些证据集中在中日、且都是数据预处理环节,不要包装成"自动驾驶安全方案"。第二,商业上最大的障碍不是技术而是合规与驻留——欧洲客户最敏感的不是"模型好不好",而是"数据能不能出欧、出事了谁负责",而我们恰恰在这两点上没有 EU 驻留、没有 TISAX、日志还回流中国。第三,竞争上不要正面对 NVIDIA——它有车端、仿真、世界模型和欧洲 OEM 关系,我们做它栈上的高性价比数据层;也不要和 AWS/Azure 抢主云。
最后一句话送给每一位要走进客户会议室的销售:在欧洲这个市场,我们最大的资产不是模型参数,而是"诚实"——主动说清无欧洲驻留、主动暴露奔驰负面测试、主动把假设标成假设。工程型客户见过太多吹得天花乱坠最后交付不了的供应商,一个把边界讲在前面的新进入者,反而能赢得他们的尊重和第二次会议。技术会追平、价格会调整、2027 年欧洲节点会落地,但信任一旦丢了就补不回来。
16.1 资料来源汇总(全部 URL,逐字符保留)
公开来源(ByteDance/BytePlus/火山)
- BytePlus ModelArk Video Understanding:https://docs.byteplus.com/en/docs/modelark/video-understanding
- BytePlus Model List:https://ai.byteplus.com/ark/region:ap-southeast-1/docs/model-list
- BytePlus VOD Intelligent Video Understanding:https://docs.byteplus.com/en/docs/byteplus-vod/docs-ai-media-understanding
- BytePlus LAS Fine-grained Video Understanding:https://docs.byteplus.com/ja/docs/Byteplus_LAS/Fine-grained_video_understanding
- BytePlus LAS Release Notes:https://docs.byteplus.com/en/docs/Byteplus_LAS/las_release_notes
- BytePlus EIP Regions:https://docs.byteplus.com/en/docs/eip/Regions
- BytePlus ByteHouse AWS PrivateLink:https://docs.byteplus.com/en/docs/bytehouse/docs-aws-private-link
- BytePlus Sub-processors List:https://docs.byteplus.com/en/docs/legal/sub-processors-list
- BytePlus Privacy Policy:https://docs.byteplus.com/id/docs/legal/docs-privacy-policy
- BytePlus Trust Center:https://www.byteplus.com/en/trust-center
- BytePlus Data Intelligence Security:https://docs.byteplus.com/ko/docs/data-intelligence/docs-security-and-privacy
- 火山 LAS+Lance 智驾数据湖:https://developer.volcengine.com/articles/7530564919285497919
- 火山哪吒汽车智驾云访谈:https://www.volcengine.com/docs/6360/1174708?lang=en
- Seed 2.0 官方博客:https://seed.bytedance.com/en/blog/seed2-0-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83
公开来源(NVIDIA/AWS/Google/Azure/竞争厂商/欧洲 OEM)
- NVIDIA Cosmos 产品页:https://www.nvidia.com/en-us/ai/cosmos/
- NVIDIA×Uber Cookbook:https://nvidia-cosmos.github.io/cosmos-cookbook/recipes/post_training/reason2/video_caption_vqa/post_training.html
- NVIDIA Cosmos 首发新闻稿:https://nvidianews.nvidia.com/news/nvidia-launches-cosmos-world-foundation-model-platform-to-accelerate-physical-ai-development?categoryid=2849330
- NVIDIA GTC Berlin 2026:https://investor.nvidia.com/news/press-release-details/2026/European-Mobility-Leaders-Build-Safe-Vehicles-and-Robotaxi-Fleets-on-NVIDIA-Hyperion/default.aspx
- NVIDIA×Uber robotaxi:https://investor.nvidia.com/news/press-release-details/2025/NVIDIA-Makes-the-World-Robotaxi-Ready-With-Uber-Partnership-to-Support-Global-Expansion/default.aspx
- NVIDIA DRIVE Hyperion:https://www.nvidia.com/en-us/solutions/autonomous-vehicles/drive-hyperion/
- AWS ADDF:https://docs.aws.amazon.com/solutions/autonomous-driving-data-framework-on-aws/
- AWS Marengo Embed 3.0:https://aws.amazon.com/blogs/machine-learning/video-and-image-search-in-amazon-bedrock-knowledge-base-using-marengo-3-0/
- Google Gemini agentic video:https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-agentic-video-in-gemini/
- Azure AVOps:https://learn.microsoft.com/en-ca/industry/mobility/architecture/autonomous-vehicle-operations-dataops-content
- Scale AI Automotive:https://scale.com/automotive ;Pricing:https://scale.com/pricing
- Encord:https://encord.com/index/ ;Voxel51 AV:https://voxel51.com/industries/autonomous-vehicles-systems
- Applied Intuition Year in Review:https://www.appliedintuition.com/blog/2025-year-in-review
- BMW PressClub(AWS):https://www.press.bmwgroup.com/usa/article/detail/T0436832EN_US?language=en_US
- BMW 视频数据合规:https://www.bmwgroup.com/en/general/regulations/video-data-from-customer-vehicles/english-video-data.html
- Qualcomm×BMW:https://www.qualcomm.com/news/releases/2025/09/qualcomm-and-bmw-group-unveil-groundbreaking-automated-driving-s
- Mercedes 自动驾驶:https://group.mercedes-benz.com/innovations/product-innovation/autonomous-driving/automated-driving-assistance.html
- VW Group GAIA:https://www.volkswagenag.com/en/press-releases/volkswagen-group-in-china-presents-new-ai-powered-adas-system-for-the-next-generation-of-intelligent-electric-vehicles-19203
- Wayve Technology:https://wayve.ai/technology/ ;GAIA-4:https://wayve.ai/thinking/gaia-4/
- EU AI Act:https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
- ISO 21448(SOTIF):https://www.iso.org/obp/ui/fr/#!iso:std:77490:en ;ISO/PAS 8800:https://www.iso.org/obp/ui/#iso:std:iso:pas:8800:ed-1:v1:en:ref:7
内部来源(企业知识,仅对内)
- VLM 工程化方法论/DENSO 复盘:https://bytedance.larkoffice.com/docx/Z18Qdm9jto9fOmxKFeGcleqZnbg?from=lark_search_qa&ccm_open_type=lark_search_qa#doxcn3zY9ovYodHKXFaXIg0xvof
- 元戎启行×LAS 案例:https://bytedance.larkoffice.com/wiki/MbOBwLaZaiiQN6kQ79dcSpqUn8c?from=lark_search_qa&ccm_open_type=lark_search_qa#XYbQdODD5oUuQTxEC0XcgyXOn7d
- 欧洲 GTM 报告:https://bytedance.larkoffice.com/docx/LL9kd4T5xo2RaYxvUapmC65uy7e?from=lark_search_qa&ccm_open_type=lark_search_qa#doxmy69Y9WqaYpEhNP4t9Dq1TMg
- 奔驰会前技术速读:https://bytedance.larkoffice.com/docx/Og7qdt6AGoPUzcx9gT8mQknSy9d?from=lark_search_qa&ccm_open_type=lark_search_qa#doxmykP7hSCql7vpPSmUBnyxnHf
- BMW AD-Infra Insight:https://bytedance.larkoffice.com/docx/OVUVdvi9OovGLOxgi2GmmwhEy0c?from=lark_search_qa&ccm_open_type=lark_search_qa#ISYFdLf2pocoy1xHfK5mLVi7yKd
- 自动驾驶大模型相关场景(奔驰测试/13类):https://bytedance.larkoffice.com/docx/XB8odQwRJoRcxYxPARZcvZaPnIm?from=lark_search_qa&ccm_open_type=lark_search_qa#Wp5LdYkpHoCjrMxWRPHcczttnsb
- VLM 评测方案(守门阈值):https://bytedance.larkoffice.com/docx/GOyZdUEa6o8s6bxic9acGcGInQe?from=lark_search_qa&ccm_open_type=lark_search_qa#doxcnEYtOo7wxfoYUFy21ZOwx1d
- Volvo 销售情报:https://bytedance.larkoffice.com/docx/Y8Y0doT1AoEsdbxWA3LmsVCQy8g?from=lark_search_qa&ccm_open_type=lark_search_qa#doxmyK7YfOwIgOAYFa3cAEXfAHd
16.2 附录
附录 A:证据分级说明
A-公开已证实官方文档/客户声明/可靠公开证据;B-内部已证实正式内部项目/产品/评测证据(未确认可对外);C-内部线索培训口述/方案/非正式记录待核实;D-工程推导技术上可能实现但非承诺;E-未证实或失效无可靠证据或与最新资料冲突。
销售对外前应能背诵每个字母的含义。看到 E 不要试图圆回来,诚实是工程客户最尊重的品质。A 可以放心引用;B 对外需脱敏并获授权;C 只能内部参考、对外前必须升级;D 是我们基于前四级做的合理推断、不是事实;E 明确告诉客户"没有"。
附录 B:检索方法
内部证据通过 enterprise_agentic_search(飞书文档/知识库/妙记/多维表格)检索,共执行 6 份证据包、数十次 query;公开证据通过官方文档/官网/官方新闻稿逐页抓取核验。研究截止 2026-10-29。URL 逐字符原样保留。
凡官方 URL 直接引用;凡内部飞书文档保留原始 larkoffice 链接并标注日期与密级。C 级线索(内部会议纪要、培训材料)URL 不完整,对外前必须找对应 owner 复核升级为 B 级以上,否则只能内部参考。之后的区域、价格、客户变化以官方为准。
附录 C:保密标记说明
本片段含内部 B/C 级证据,严禁对外项:BMW RFP 窗口/预算/Tobias 姓名、DENSO 细节、本田规划、奔驰 2025 负面测试、所有客户内部情报、EU-Compliance 内部区域。对外客户版材料只使用 A 级且获准披露的事实(如脱敏元戎 OnePage、官方文档)。
对外讲述元戎案例时,必须用脱敏版("某中国头部智驾企业"),不得出现元戎启行实名;DENSO、BMW、本田、Volvo 内部情报一律不进客户材料。本报告所有 KPI 数字都带测试条件,对外引用时不得剥离条件单独引用"+27%""90%"这类数字——否则会被客户理解为我们承诺在它身上也达到同样水平。凡标注"待确认"的规格(eu-west-1 模型清单、官方 USD 价格表、欧洲时薪、视频 SFT 入口等),对外前必须先由对应内部团队确认,不得凭本报告直接对客户报价。