附录 B · 各周进阶档验收清单
按总课表周次回填到程序员基础版已有模块上的进阶档验收,含 Eval 方法论全集与 Security 完整攻击测试集
以下条目按总课表周次回填到程序员基础版已有的模块上。完成后程序员基础版的对应能力升级为生产级。
怎么用这份清单
不要一次性从头做到尾。每完成一个程序员进阶版主线模块,回来把它关联的周次条目勾掉。第 19 周的 Eval 方法论和第 20 周的 Security 攻击测试集是两块最大的独立工作量,建议各留出完整的两到三天。
第 2 周 · Model Gateway
- 两个 Provider 通过相同 Contract Test 与事件快照
- 配对基准报告(成功率、Schema 合规率、首 Token / 总延迟、成本)
对应程序员基础版第 2 周。
第 3 周 · Tool Runtime / Sandbox
- 未批准网络访问被拒绝
- 取消请求后无残留子进程
- 对 Tool Description 和 MCP 元数据执行不可信输入测试
对应程序员基础版第 3 周。
第 4 周 · Native Harness
- Hook 顺序、取消传播与错误分类有契约测试
- Validator 失败、纠正和最终失败均可回放
对应程序员基础版第 4 周。
第 6 周 · Session / Skills / Extensions
全部条目见模块 A2。
第 8–9 周 · RAG
随模块 A4 与总课表第 15 周回填:
- Native、LangChain、Mastra Retriever Adapter 通过同一 Contract Test
- 同一 Dataset 可比较 Native、LangChain 与 Mastra RAG 适配层
对应程序员基础版第 6 周。
第 13 周 · Mastra Agent
- Pi、LangChain 补齐后四方通过同一契约测试
- 输出第一版 Framework Decision Matrix
对应程序员基础版第 7 周。
第 17 周 · 平台化
全部条目见模块 A5。
跨语言 Runtime(无对应总课表周次)
这一组不回填到程序员基础版任何一周,因为程序员基础版主线里没有跨进程 Runtime。第 9 周的选做只要求跑通并见过 Policy Gate 失效,下面这些是把它做成生产级的部分。全部条目见模块 A10。
- 跨进程取消:远端中断可用,不可靠时显式失败而非静默成功
- 事件映射表:
RunOutputEvent到AgentEvent逐类对照,无法对应的显式丢弃并记录,禁止硬塞进最像的类型 - Tool Governance 方案落地:薄工具回调或受限租户二选一,混合边界画清楚
- 薄工具回调的延迟开销实测(单次往返毫秒数,以及在高工具调用密度任务上的累加)
- 受限租户的可见性缺口清单:哪些内部行为在你的 Trace 里看不到
- 部分可用的表达:Capability Matrix 可查当前不可用、Registry 能降级或显式拒绝、监控区分平台故障与 Runtime 故障
- Trace 归一化路径选型(双写 / 只认边界 / 拉取)并说明取舍理由
- 跨语言 exit drill:代码迁移成本与数据迁移成本分开记
第 18 周 · Tracing
- 补齐 Pi / LangGraph / LangChain Trace Adapter,五类 Runtime 事件映射统一 OTel Semantic Convention
对应程序员基础版第 9 周。
第 19 周 · Eval 方法论全集
程序员基础版只做基本确定性 + 语义回归
以下内容不在程序员基础版范围内。这是程序员进阶版与程序员基础版在评测能力上的分水岭,也是面试里报数字时能不能站得住的关键。
- Framework 可对比,所有框架对照使用同一输入、工具桩、随机种子策略与版本锁
- 配对样本 + Bootstrap 置信区间,报告 effect size,不只报告平均分
- 至少一次框架消融、一次 Tool / Memory 消融、一次 Prompt 扰动实验
- LLM Judge 有校准集与一致性监控,注意 Multiple Comparison 风险
- Prompt 轻微改写和外部环境扰动不会造成未解释的质量断崖
方法论全集见附录 C。
第 20 周 · Security 完整攻击测试集
程序员基础版只做基本权限沙箱与输入校验
以下内容不在程序员基础版范围内。供应链治理这一块在企业面试里权重正在快速上升。
- Skill / Extension 供应链:manifest、hash、签名校验与版本固定,未签名扩展不加载
- Dependency / Model / Prompt Provenance 与 SBOM
- Sandbox Escape、符号链接、DNS rebinding 与 egress 绕过攻击测试被阻断
- 审批疲劳、双人复核与 break-glass 流程
- Confused Deputy、Capability Token 与最小授权
- Credential Broker、短期凭据与 egress policy
治理侧的责任链、可解释性与数据权利见模块 A9。
第 24 周 · 毕业
- 任一框架 Adapter 关闭时,Native 基线、Trace、Eval 与 UI 仍能运行
- Pi Harness、LangGraph、LangChain、Mastra 的最终选型与退出策略报告
对应程序员基础版第 10 周与模块 A5的 exit drill。
面试考点
这份清单本身就是面试素材。回填完成的条目越多,你在简历深挖时能给出的具体数字越多。
三个最值钱的产出:
- 配对基准报告(第 2 周):证明你做过量化选型
- Framework Decision Matrix(第 13 周):证明你有架构判断力
- 退出策略报告(第 24 周):证明你在管理技术风险,这是 Staff 级信号
被问到「你们怎么保证质量」时,程序员基础版的答案是有测试有门禁,程序员进阶版的答案是有置信区间、有消融实验、有扰动测试。后者的可信度是前者的几倍。