AI Agent 工程师课程
程序员进阶版

附录 B · 各周进阶档验收清单

按总课表周次回填到程序员基础版已有模块上的进阶档验收,含 Eval 方法论全集与 Security 完整攻击测试集

以下条目按总课表周次回填到程序员基础版已有的模块上。完成后程序员基础版的对应能力升级为生产级。

怎么用这份清单

不要一次性从头做到尾。每完成一个程序员进阶版主线模块,回来把它关联的周次条目勾掉。第 19 周的 Eval 方法论和第 20 周的 Security 攻击测试集是两块最大的独立工作量,建议各留出完整的两到三天。

第 2 周 · Model Gateway

  • 两个 Provider 通过相同 Contract Test 与事件快照
  • 配对基准报告(成功率、Schema 合规率、首 Token / 总延迟、成本)

对应程序员基础版第 2 周

第 3 周 · Tool Runtime / Sandbox

  • 未批准网络访问被拒绝
  • 取消请求后无残留子进程
  • 对 Tool Description 和 MCP 元数据执行不可信输入测试

对应程序员基础版第 3 周

第 4 周 · Native Harness

  • Hook 顺序、取消传播与错误分类有契约测试
  • Validator 失败、纠正和最终失败均可回放

对应程序员基础版第 4 周

第 6 周 · Session / Skills / Extensions

全部条目见模块 A2

第 8–9 周 · RAG

模块 A4 与总课表第 15 周回填:

  • Native、LangChain、Mastra Retriever Adapter 通过同一 Contract Test
  • 同一 Dataset 可比较 Native、LangChain 与 Mastra RAG 适配层

对应程序员基础版第 6 周

第 13 周 · Mastra Agent

  • Pi、LangChain 补齐后四方通过同一契约测试
  • 输出第一版 Framework Decision Matrix

对应程序员基础版第 7 周

第 17 周 · 平台化

全部条目见模块 A5

第 18 周 · Tracing

  • 补齐 Pi / LangGraph / LangChain Trace Adapter,五类 Runtime 事件映射统一 OTel Semantic Convention

对应程序员基础版第 9 周

第 19 周 · Eval 方法论全集

程序员基础版只做基本确定性 + 语义回归

以下内容不在程序员基础版范围内。这是程序员进阶版与程序员基础版在评测能力上的分水岭,也是面试里报数字时能不能站得住的关键。

  • Framework 可对比,所有框架对照使用同一输入、工具桩、随机种子策略与版本锁
  • 配对样本 + Bootstrap 置信区间,报告 effect size,不只报告平均分
  • 至少一次框架消融、一次 Tool / Memory 消融、一次 Prompt 扰动实验
  • LLM Judge 有校准集与一致性监控,注意 Multiple Comparison 风险
  • Prompt 轻微改写和外部环境扰动不会造成未解释的质量断崖

方法论全集见附录 C

第 20 周 · Security 完整攻击测试集

程序员基础版只做基本权限沙箱与输入校验

以下内容不在程序员基础版范围内。供应链治理这一块在企业面试里权重正在快速上升。

  • Skill / Extension 供应链:manifest、hash、签名校验与版本固定,未签名扩展不加载
  • Dependency / Model / Prompt Provenance 与 SBOM
  • Sandbox Escape、符号链接、DNS rebinding 与 egress 绕过攻击测试被阻断
  • 审批疲劳、双人复核与 break-glass 流程
  • Confused Deputy、Capability Token 与最小授权
  • Credential Broker、短期凭据与 egress policy

治理侧的责任链、可解释性与数据权利见模块 A9

第 24 周 · 毕业

  • 任一框架 Adapter 关闭时,Native 基线、Trace、Eval 与 UI 仍能运行
  • Pi Harness、LangGraph、LangChain、Mastra 的最终选型与退出策略报告

对应程序员基础版第 10 周模块 A5的 exit drill。

面试考点

这份清单本身就是面试素材。回填完成的条目越多,你在简历深挖时能给出的具体数字越多。

三个最值钱的产出:

  1. 配对基准报告(第 2 周):证明你做过量化选型
  2. Framework Decision Matrix(第 13 周):证明你有架构判断力
  3. 退出策略报告(第 24 周):证明你在管理技术风险,这是 Staff 级信号

被问到「你们怎么保证质量」时,程序员基础版的答案是有测试有门禁,程序员进阶版的答案是有置信区间、有消融实验、有扰动测试。后者的可信度是前者的几倍。

On this page