📰AI 日报 | 2026-07-05
type
Post
status
Published
date
Jul 5, 2026
slug
summary
高密度、结论优先的 buy-side 研究简报 + 工程情报。今日主线(增量,不重复昨日):① 视觉侧最大增量——Action Quality Assessment(AQA)+ 描述式动作教练成体系(TechCoach 技术点感知反馈、ExAct 专家动作视频-语言基准、SkillMoV/多视角熟练度估计、AQA 综述+统一基准),这正是「姿态之上」的评分与改进建议层,直击攀岩 app 核心;② Gemini 3.5 Pro 仍限 Vertex preview、7 月 GA 无具体日期,延期主因 token 效率/coding/长任务推理未达旗舰标准;③ 开源 VLM MiniMax-M3-VL(稀疏 MoE + 块稀疏注意力);④ 工程侧警示——Berkeley RDI 研究指 8 个主流 agent 基准可被刷到近满分而不真正解题;⑤ 行业侧 80% Q1 2026 企业应用已内嵌 agent、IT 服务台最成熟。已作为「新闻」入库(tag: 新闻),存于 Tony's BLOG 知识库。多条数字来自二手聚合站,已逐条标注「待验证」。
tags
新闻
开发
攀岩
category
技术分享
icon
password
Comment
风格:高密度、结论优先、buy-side 研究简报 + 工程情报。标题摘要用中文,保留英文术语与链接。今日向「攀岩动作分析 app + agent 工程 + 求职含金量」三个目标倾斜。部分数字来自二手聚合站,已逐条标注「待验证」,方向可信、数字近似看待。本条目已作为「新闻」入库(tag: 新闻),存于 Tony's BLOG 知识库。昨日(07-04)已覆盖的 Fable 5 重新上线 / GPT-5.6 门控 / LongCat-2.0 / LGM-Pose 端侧姿态 / SportsReflector 竞品今日不再重复,只做增量。今日最大增量在视觉侧的 AQA(动作质量评估)+ 描述式教练 层。

AI 日报 \| 2026-07-05

一、今日最重要的 5 条

1. AQA(Action Quality Assessment)+ 描述式动作教练已成体系——这是攀岩 app 最该补的「姿态之上」一层
昨日讲的是姿态 backbone(LGM-Pose/MediaPipe),今天补的是它上面的评分与反馈层:AQA 旨在自动评估「动作做得好不好」,并正从「打个分」走向「说清哪里好、哪里改」。代表作:TechCoach(技术点感知的描述式动作教练)、ExAct(专家动作分析的视频-语言基准)、以及一篇 AQA 综述 + 统一基准(把 video-based / skeleton-based / multi-modal 方法与数据集统一评测)。
为什么重要:你的产品闭环是「上传视频 → 识别动作 → 给改进建议」,其中「给改进建议」正是 AQA + 描述式教练要解决的问题,直接对应你的核心价值,而不只是画骨架。
对我(攀岩 app):高相关。技术路线因此清晰为两段——先 pose(LGM-Pose/MediaPipe)拿关节序列,再接 AQA/描述式教练做「评分 + 可执行反馈」。TechCoach 的「技术点(technical point)粒度反馈」范式可直接迁移成攀岩的「重心/挂脚/锁定/节奏」技术点。
2. Gemini 3.5 Pro:7 月 GA「无具体日期」,仍限 Vertex preview——延期主因说清了
截至 7 月初,Gemini 3.5 Pro 仍在 Vertex AI 有限预览(select 企业 + Antigravity/LMArena 测试),GA 预期 7 月但 Google 拒绝给时间表。延期主因被归为「token 效率、coding 性能、长任务多步推理未达旗舰标准」的质量打磨;卖点仍是 2M context 与 Deep Think(据称仅 \$250/月 Ultra 可用)。
为什么重要:一是 2M 上下文利好长视频/长序列理解;二是「延期原因=长任务推理+coding 不达标」本身是信号——前沿长时程推理仍是硬骨头,别默认「大厂新模型即最强」。
对我:短期用 Gemini 3.5 Flash(已 GA)更现实;Pro 等 GA 且确认视频模态与实际长上下文表现再上。
出处:Tech Times 6/29Developers Digest 开发者指南(GA 日期与 Deep Think 定价待验证)
3. 开源 VLM 增量:MiniMax-M3-VL——稀疏 MoE + 块稀疏注意力的视觉语言模型(6/12 入 Transformers v5.12.0)
MiniMax-M3-VL 是 MiniMax-M3 家族的视觉语言成员:CLIP 式视觉塔 + 3D RoPE,文本侧用 dense/sparse 混合 MoE(SwiGLU-OAI 专家)+ lightning indexer 做块稀疏注意力,图像走 Conv3d patch embedding。已进 HuggingFace Transformers v5.12.0。
为什么重要:又一个「开源可自托管 + 稀疏高效」的 VLM 选项,对需要「看视频帧 + 出文字反馈」的多模态项目是可控成本的底座候选。
对我(攀岩 app):中相关。可作为「关键帧 + 姿态叠加图 → 文字点评」的开源 VLM 候选之一,和闭源大模型做成本/质量对比;但要核实权重许可与显存需求。
出处:HuggingFace Transformers releasesreleasebot HF 更新(架构细节来自二手梳理,待验证)
4. 工程警示:Berkeley RDI 研究指 8 个主流 agent 基准可被「刷到近满分而不真正解题」
一项 2026 年 Berkeley RDI 研究发现,八个主流 agent 基准存在可被利用的漏洞:泄露的参考答案、可被 prompt 注入的 LLM judge 等,使 agent 能拿到近满分却没真正完成任务。
为什么重要:直接提醒「别迷信 leaderboard 分数」;做 agent 的人真正稀缺的能力是「设计不可作弊、贴近真实的 eval」。
对我:高价值求职信号。给攀岩 app 的 agent/反馈模块设计 eval 时,要防答案泄露、防 judge 被注入;简历里「我为 agent 建了抗作弊评测」是强信号。
出处:LLM Evaluation in 2026(含 RDI 研究综述)CodeSOTA LLM 榜(具体条目待核对 RDI 原文)
5. 行业数据:80% 的 Q1 2026 企业应用已内嵌至少一个 AI agent,IT 服务台最成熟
据统计,2026 Q1 出货/更新的企业应用中 80% 至少内嵌一个 agent(2024 年为 33%);落地最成熟的是 IT 服务台(密码重置/发放软件/工单分诊,常见 40–60% 例行工单量下降),其次是财务运营;agent 部署中位 time-to-value 约 5.1 个月。
为什么重要:钱与落地都在流向「高频、重复、可度量」的垂直场景——这与「攀岩动作分析」这种可度量的垂直判断高度同构。
对我:把项目叙事定位成「交付可度量的动作评估与改进」(像企业 agent 卖「完成的工作」),而非「又一个 AI 套壳」,对求职与选题都更硬。
出处:AI Agent Adoption 2026 数据点Databricks 企业 agent 趋势(百分比为二手统计,待验证)

二、按我的目标分类

A. 前沿模型 / 一手发布

A1
  • 事件:Gemini 3.5 Pro 仍限 Vertex preview,7 月 GA 无具体日期
  • 核心内容:2M context + Deep Think;延期主因=token 效率/coding/长任务推理未达旗舰标准
  • 为什么重要:2M 上下文利好长视频;但「大厂新模型≠即最强」,长时程推理仍难
  • 我需不需要点开:Flash 可先用;Pro 等 GA 与视频模态确认
A2
  • 事件:MiniMax-M3-VL 开源 VLM 进入 Transformers v5.12.0
  • 核心内容:CLIP 视觉塔 + 3D RoPE + 稀疏 MoE + 块稀疏注意力;Conv3d patch embedding
  • 为什么重要:又一个开源可自托管、稀疏高效的 VLM 候选
  • 我需不需要点开:需要(核实权重许可、显存、是否支持视频帧序列)
A3(跟踪项,非新增)
  • 事件:GPT-5.6(Sol/Terra/Luna)仍门控约 20 家机构、7 月上 Cerebras
  • 核心内容:近千 tok/s 推理;前沿门控常态化
  • 为什么重要:推理提速利好实时反馈;但短期用不上
  • 我需不需要点开:暂不必,标记跟踪

B. AI 工程 / Agent / Coding workflow

B1
  • 内容:Berkeley RDI 研究——8 个主流 agent 基准可被刷分(答案泄露、judge 可注入)
  • 可落地价值:把「设计抗作弊 eval」当第一优先,别盯 leaderboard 名次
  • 对我当前开发/学习的意义:给攀岩 app 反馈模块设计 eval 时防泄露/防注入;是强求职信号
B2
  • 内容:GitHub agent 生态「可视化编排」化——Langflow(≈146k)、Dify(≈136k)、Flowise(≈51k)、n8n 拖拽式搭 agent pipeline
  • 可落地价值:MVP/原型阶段用可视化编排快速验证反馈流程,省手写胶水代码
  • 对我当前开发/学习的意义:可用 Dify/n8n 先把「视频→姿态→AQA→文字反馈」串成 demo,再逐步下沉到代码
B3
  • 内容:AQA 综述统一基准(video-based / skeleton-based / multi-modal 三类方法 + 统一评测协议)
  • 可落地价值:给「动作评分」选型提供地图,避免踩已知弱 baseline
  • 对我当前开发/学习的意义:设计攀岩评分模块时,直接照综述的方法分类与评测协议搭 eval

C. 视觉 / 视频 / 运动人体分析

C1
  • 内容:TechCoach——技术点感知(technical-point-aware)的描述式动作教练,输出「哪里做得好/哪里可改进」的自然语言反馈
  • 与「攀岩动作分析 app」的相关性:极高,直接就是「识别动作→给可执行改进建议」的那一层
  • 可迁移到项目的点:定义攀岩「技术点词表」(重心转移/挂脚/锁定/换手/节奏),按 TechCoach 范式做点粒度反馈
  • 优先级:高
C2
  • 内容:ExAct——专家动作分析的视频-语言基准(评估模型能否像专家一样点评动作)
  • 与「攀岩动作分析 app」的相关性:高,是评估「你的反馈质量」的现成标尺
  • 可迁移到项目的点:借它的评测思路,给攀岩反馈质量建 eval;也可借鉴其「专家标注」结构去设计自己的小数据集
  • 优先级:高
C3
  • 内容:SkillMoV / Parameter-Efficient Multi-View Proficiency Estimation——多视角熟练度估计,参数高效
  • 与「攀岩动作分析 app」的相关性:中高,攀岩岩馆常有多机位/多视角,多视角熟练度估计正对口
  • 可迁移到项目的点:若做「固定多机位」拍摄,可用多视角路由提升评分稳健性;参数高效利于端侧
  • 优先级:中
C4
  • 内容:AQA 综述 + 统一基准(arXiv 2412.11149)——方法三分法与标准评测协议
  • 与「攀岩动作分析 app」的相关性:中高,选型与建 eval 的总纲
  • 可迁移到项目的点:照综述搭「攀岩评分」的方法基线与评测协议,少走弯路
  • 优先级:中

D. 产品化 / 商业化 / 行业动态

D1
  • 动态:80% 的 Q1 2026 企业应用已内嵌至少一个 agent(2024 为 33%);IT 服务台最成熟、财务运营次之;中位 time-to-value≈5.1 月
  • 背后的趋势判断:价值集中在「高频、重复、可度量」的垂直场景
  • 对 side project / 求职 / 项目方向的启发:把攀岩项目讲成「交付可度量的动作评估与改进」,对标企业 agent 卖「完成的工作」的叙事
D2
  • 动态:多 agent 系统成 2026 主线,单一用途 agent 被视为过时;56% 企业已设「agentic ops / agent owner」岗
  • 背后的趋势判断:治理/编排/eval 成组织级刚需,是明显的人才缺口
  • 对 side project / 求职 / 项目方向的启发:简历补「多 agent 编排 + 治理/eval」叙事;攀岩后端可设计「姿态 agent + 评分 agent + 反馈 agent」协作
D3
  • 动态:开源视频/多模态方向持续升温(agentic 视频生产系统、Veo 3.1 Lite / Kling 3.0 等视频生成 API)
  • 背后的趋势判断:视频既是消费也是生产要素,围绕视频的工具链在变厚
  • 对 side project / 求职 / 项目方向的启发:攀岩 app 若加「自动生成带解说的复盘短视频」,可蹭视频生成工具链,做差异化增值

E. 学习价值 / 求职价值

E1
  • 内容:TechCoach + ExAct + AQA 综述(动作评分与描述式反馈这一层)
  • 适合我怎么用:精读 + 复现
  • 推荐动作:读 TechCoach 定义攀岩技术点词表;用 ExAct 思路给「反馈质量」建 eval;产出「攀岩 AQA 反馈原型 + 评测表」进 portfolio
E2
  • 内容:Berkeley RDI「agent 基准可被刷分」研究
  • 适合我怎么用:精读 + 面试表达
  • 推荐动作:整理成「为什么 leaderboard 会骗人 + 我如何设计抗作弊 eval」一页,面试高信号
E3
  • 内容:企业 agent 落地数据(80% 内嵌、IT 服务台最成熟、time-to-value 5.1 月)
  • 适合我怎么用:收藏 + 面试表达(产品/商业判断力)
  • 推荐动作:把攀岩项目重述为「可度量、可交付的垂直 agent」,写成一段面试叙事

三、今日高分 GitHub Repo

1. TechCoach(论文配套,以 arXiv 2411.17130 为准)
  • 方向标签:video / motion / multimodal / app
  • 这项目是干什么的:技术点感知的描述式动作教练,输出自然语言的「做得好/可改进」反馈
  • 为什么今天值得关注:正是攀岩 app 「给改进建议」那一层的范式参考
  • 与我的相关性:高
  • 上手成本:中(需确认代码/权重是否开放)
  • 是否建议收藏:是
  • 是否建议复现:是(先复现反馈范式,再换成攀岩技术点)
  • ⚠️ 警告:若仅有论文无可用实现,先当范式参考,别当可直接跑的 repo
  • 一句话判断:攀岩「反馈层」最值得对齐的范式,落地前核实仓库
2. OpenHands(原 OpenDevin)
  • 方向标签:agent / dev tools
  • 这项目是干什么的:开源通用软件开发 agent,能读写代码、跑命令、用浏览器
  • 为什么今天值得关注:想读懂 coding agent 的 agent loop,这是最值得读源码的开源项目之一
  • 与我的相关性:高,可移植「agent 在沙箱里跑工具」的工程范式到攀岩后端
  • 上手成本:中
  • 是否建议收藏:是
  • 是否建议复现:是(本地跑通并读 agent 执行循环)
  • 一句话判断:搞懂 coding agent 内部机制的首选开源仓库
3. Dify
  • 方向标签:agent / dev tools / app
  • 这项目是干什么的:可视化 LLM 应用/agent 编排平台,拖拽搭 workflow + RAG + eval
  • 为什么今天值得关注:GitHub 上 agent 可视化编排的头部项目(≈136k star,待验证)
  • 与我的相关性:中高,先用它把「视频→姿态→AQA→反馈」串成 demo
  • 上手成本:低
  • 是否建议收藏:是
  • 是否建议复现:是(搭一个端到端反馈 demo)
  • 一句话判断:原型期快速验证流程的利器,别一上来手写全部胶水
4. HuggingFace Transformers
  • 方向标签:multimodal / infra / training
  • 这项目是干什么的:现代 NLP + 多模态的骨干库,v5.12.0 已纳入 MiniMax-M3-VL 等 VLM
  • 为什么今天值得关注:想跑开源 VLM(含 MiniMax-M3-VL)做「帧→文字反馈」,从这里最省事
  • 与我的相关性:中高
  • 上手成本:低
  • 是否建议收藏:是
  • 是否建议复现:是(加载一个 VLM 跑攀岩关键帧点评 demo)
  • 一句话判断:开源多模态的默认底座,先用它验证 VLM 反馈可行性
5. MediaPipe(google-ai-edge)
  • 方向标签:video / motion / deployment
  • 这项目是干什么的:端侧实时感知库,含 BlazePose(33 关键点、本地推理)
  • 为什么今天值得关注:攀岩 MVP「手机视频→关节序列」最省事路径,且是接 AQA 的上游
  • 与我的相关性:高
  • 上手成本:低
  • 是否建议收藏:是
  • 是否建议复现:是(先跑通姿态,再接 TechCoach 式反馈)
  • 一句话判断:MVP 先用它打通 pipeline,姿态是 AQA 的地基
6. OSSInsight Trending AI(索引类)
  • 方向标签:资源索引
  • 这项目是干什么的:实时 AI 仓库趋势榜(按 star 增速等排序)
  • 为什么今天值得关注:每天扫一眼就能抓到当日热门 repo,省人工找
  • 与我的相关性:中,选型时当索引
  • 上手成本:低
  • 是否建议收藏:是
  • 是否建议复现:否(榜单非代码)
  • ⚠️ 警告:榜单含营销/清单类条目,按需索引、别照单全收
  • 一句话判断:当「地图」用可以,别当「结论」用
说明:本栏 star 数、TechCoach/MiniMax-M3-VL 仓库开放度与许可、RDI 研究具体条目等均为二手口径或需核实项,已标注「待验证/警告」。

四、今日最值得我看的 3 篇 / 3 个链接

  1. TechCoach(技术点感知的描述式动作教练)— https://arxiv.org/pdf/2411.17130
    1. 为什么:直接给出攀岩 app「给改进建议」那一层的范式,读完就能定义攀岩技术点词表、决定反馈粒度,省最大块的调研时间。
  1. ExAct(专家动作分析视频-语言基准)— https://arxiv.org/html/2506.06277
    1. 为什么:现成的「反馈质量」评测标尺,帮你判断自己的反馈到不到「专家水准」,是复现 + 建 eval 的直接依据。
  1. Berkeley RDI「agent 基准可被刷分」综述 — https://medium.com/@nairmilind3/llm-evaluation-in-2026-e631a78c67dc
    1. 为什么:一次纠正「迷信 leaderboard」的常见错误,既指导你建抗作弊 eval,也是面试高信号话题。

五、今日行动清单

  1. 值得收藏但不必立刻看:Gemini 3.5 Pro GA 官方公告(等日期与视频模态)、MiniMax-M3-VL 权重许可/显存、SkillMoV 多视角熟练度估计(做多机位时再看)。
  1. 值得精读:TechCoach、ExAct、AQA 综述(视觉「评分+反馈」层);Berkeley RDI 的 agent eval 漏洞。
  1. 值得复现/试用:用 MediaPipe 拿攀岩关节序列 → 按 TechCoach 范式做「技术点反馈」原型;用 Dify/n8n 把「视频→姿态→AQA→反馈」串成端到端 demo;加载一个开源 VLM(如 MiniMax-M3-VL)跑「关键帧→文字点评」对比。
  1. 值得记进项目 roadmap:在「姿态 backbone」之上新增 AQA/描述式反馈层(TechCoach 范式 + 攀岩技术点词表);为反馈质量建 抗作弊 eval(借 ExAct + 防答案泄露/防 judge 注入);产品叙事收敛为「交付可度量的动作评估与改进」的垂直 agent。
  1. 面试可讲的点:①「动作分析不止画骨架——AQA + 描述式教练才是价值层」,能讲清 pose → AQA → 反馈的两段式架构;②「为什么 agent leaderboard 会骗人,以及我如何设计抗作弊 eval」(引 Berkeley RDI),是难得的 eval 深度信号。

六、今日判断(宁缺毋滥)

今日对你最直接的增量在视觉侧的「评分+反馈」层:TechCoach(描述式动作教练)+ ExAct(反馈质量基准)+ AQA 综述 这组,正好补上昨日只讲到「姿态 backbone」的缺口,让攀岩 app 的技术路线闭环成 pose → AQA → 可执行反馈 两段式,优先级最高、最能直接推进产品。工程侧最值钱的是 Berkeley RDI 的 agent eval 漏洞——把「设计抗作弊 eval」立成你的差异化技能与面试话题。大厂侧 Gemini 3.5 Pro 仍未 GA 且延期原因暴露长时程推理仍难,短期用 Flash 即可;MiniMax-M3-VL 是可选开源 VLM 底座,落地前核实许可与显存。融资规模、star 数、模型定价、许可、准入名单等二手数字均已标「待验证」,方向可信、数字近似看待。
AI 日报 | 2026-07-06AI 日报 | 2026-07-05
Loading...