APBSC 07 · 實證研究協議
AI 協作公開邊界的實證研究協議:Sampling、Matched Control 與 Prevalence Estimation
一份可以預先登錄的設計,用來回答 pilot 回答不了的問題:差異是否存在、在哪些類別、不確定性有多大?
2026-09-21 · v0.1 · 內部研究草稿 v0.1 · 全文尚未公開
H₀: p_AI = p_control
論證
pilot 支持的是「存在」與「表面多樣」。它們不支持盛行率,也不支持「AI 輔助就會外洩更多」。這份協議把「AI 輔助 repository」操作化定義:強訊號與弱訊號,以及刻意收窄的主要組;配對的對照組;以 repository 為單位抽樣,控制 fork、模板與重複;個人與組織分層;只看當下公開狀態;全程研究者盲化。
它提出五個問題:AI 輔助的公開 repository 中,至少一種外洩類別的盛行率(RQ1);配對非 AI repository 的同一盛行率(RQ2);差異是否大於零(RQ3);差異是否集中在特定類別,例如工作站路徑、auth 或 session 脈絡、私有網路、執行拓撲、類 secret 內容(RQ4);個人與組織 repository 的分布是否不同(RQ5)。
它不預設答案。虛無假設是「沒有差異」,研究必須能夠接受它。分析要求盛行率區間、效果量、敏感度分析、保留 UNKNOWN 與 NOT MEASURED 狀態,並嚴格分開探索性與驗證性結果。完整的 200 + 200 研究,要等抽樣框架、配對變數、盲化與未知值處理規則都凍結後才開始。
關鍵概念
- 分析單位是不重複的 repository,永遠不是檔案命中數。
- 對照組可能被「沒有指示檔的 AI 使用」污染。
- 觀察性設計不使用因果語言。
它承載的命題
- H假說
AI 輔助的 repository 比配對的非 AI repository 外洩得更多。
00, 07 - NM未測量
任何外洩類別的母體盛行率,以及它隨時間的變化。
07
它不主張的
- AI 輔助的 repository 外洩更多。
- pilot 或 60 個 repository 橋接量測的結果。