专业统计附录 · CDPA-LLMs

结果批次

项目内解析

题库元数据所有批次共用同一套评分元数据

正在载入内置题库…

三级分类总体偏好位置（平均P）

偏好位置 ≠ 条件效应

载入数据后生成图表

平均P回答“总体偏向哪里”；E回答“条件改变后移动多少”。

分析就绪度

运行摘要

完整分类、条件与指标覆盖

模型	子测验	二级维度	三级分类/计分单元	评分族	条件结构	条件覆盖	题目覆盖	P	E	D	运行状态	口径说明

P 计算明细

结果批次	模型配置	子测验	GroupID	ItemID	条件	重复	逻辑排序	rank(L1)i	rank(L3)i	分子	分母	Pi	状态	自动解释

条件内平均偏好 P̄

P̄_gj = mean_ItemID(P_Mean)

分析模型	子测验	二级维度	三级分类	GroupID	条件	ItemID数	有效重复	P̄	重复状态	平均P解释

子测验 i三级分类 i模型配置 i

题组 × 条件 P̄

E 题组效应排序

E 计算与方向解释明细

模型	二级维度	三级分类	GroupID	ContrastID	条件 P̄	权重 w	实际代入公式	E	状态 / 原因	条件效应解释

D 分类汇总与题组 E 分布

点 = E · 柱 = D · 误差线 = 95% CI

平均E、D与稳定复现证据

模型	二级维度	三级分类	ContrastID	平均E公式	平均E	95% CI	D公式	D	覆盖	正/负/零题组	置换 p	Holm p	证据等级	平均E与D解释

析因分类 i模型配置 i结果变量 i效应类型 i

因子单元画像

主效应与交互

因子单元描述统计

条件	因子水平	有效/计划	覆盖	平均P	L1首选	L2首选	L3首选	L1>L2	平均排名 L1/L2/L3	状态

预登记效应、设计矩阵效应与题组复现

来源	结果变量	效应/对比	平均估计/E	单位	95% CI	有效题组	正/负/零	描述汇总	正式D	p/Holm p	状态	解释

跨期A3E、B5使用名义排序；CNI-Conflict使用CUSTOM析因评分。没有数值P/E/D是正确的计分路由，不是结果缺失。

NOMINAL / CUSTOM条件结果

模型	子测验	分类/计分单元	评分族	条件	有效n	L1首选率	L2首选率	L3首选率	L1/L2/L3平均排名	状态与解释

画像子测验 i画像指标 i

二级维度与三级分类画像

画像坐标 ≠ 决策总分

三级分类画像

逻辑首选分布

模型 × 三级分类 P 矩阵

负值：L1 端 · 正值：L3 端

分类平均P描述统计

模型配置	子测验	二级维度	三级分类	分类平均P	95% CI	有效题组	覆盖率	备注	画像坐标解释

决策 / 子测验 i二级维度 i

分类方向解释字典

决策 / 子测验	二级维度	三级分类	P高 / 正P	P低 / 负P	正E	负E	正D	负D	汇总限制

最终状态构成

首次异常类型

分层有效率

层级	对象	记录数	首次有效率	修复后有效率	技术失败率	状态

首选重复一致性

模型画像相似性

ItemID严格重复完整性

分析模型	题库	ItemID	有效/计划	P均值	P标准差	排列数	状态	原因

位置随机化总体诊断

分析模型	题库	排列覆盖	位置1首选	位置2首选	位置3首选	控制ItemID后1/2/3	可诊断ItemID	状态

配对模型差异

子测验 / 分类	模型 A	模型 B	匹配题组	平均差	95% CI	置换 p	Holm p

文件与关键字段核验

题库与模型身份

类型	分析身份	组成/原始身份	内容指纹/参数指纹	状态	说明

可追踪记录抽样

结果批次	RequestID	分析模型	ItemID	Permutation	显示排序	原始排序	逻辑排序	映射/重复	P

P_gjr单次方向偏好

[rank(L−) − rank(L+)] / (K−1)

DIRECTIONAL_RANK；无效回答缺失。

P̄_gj条件内平均偏好

mean_ItemID[mean_r=1..5(P)]

先在ItemID内固定汇总5次，再在AnalysisModelKey×GroupID×Condition内对ItemID等权。

P̄_d三级分类平均P

Σ_gP̄_g / G_valid

以GroupID等权形成画像坐标；只有端点语义一致时才允许继续汇总到二级维度。

E_gq题组条件效应

Σ_jw_qjP̄_gj / 2

对比权重合法，且必要条件中的每个ItemID都严格具备5次有效重复。

Ē_dq有效题组平均E

Σ_g∈validE_gq / G_valid

描述性均值，不受分类80%覆盖门槛替换；覆盖不足时仍不得称为D。

D_dq分类汇总效应

Σ_ga_gE_gq / Σ_ga_g

当前元数据指定题组等权 a_g=1；分类覆盖≥80%。

E_q(Y)通用析因效应

Σ_jw_qjȲ_j / (Y_max−Y_min)

Y可为P、首选指示、两两偏好或标准化排名；正负权重各归一到±1。

E_A×B完整交叉交互

Σ_ijW_ijȲ_ij / (Y_max−Y_min)

完整2×2或2×2×2设计生成全部主效应、二阶和三阶交互；未登记结果不输出正式D。

β_x|a数值因子简单斜率

P̄ = α_a + β_x|a(x−x_ref)

风险A1/B1无论完整或部分交叉，均按每个基础概率水平的实际CostRate取值拟合；平台报告ΔP/0.01 CostRate。

Δβ端点斜率交互

β_x|a=high − β_x|a=low

比较高、低基础概率的成本斜率；属于未登记探索性交互，不替代四个预登记E/D。

Missing析因单元缺失分解

结构未设计=笛卡尔单元−题库计划单元；数据缺失=计划单元−观察单元

结构上未设计的风险组合不进入运行缺失率；只有计划单元未观察才属于数据缺失。

Coverage有效题组覆盖

|V_d| / G_d

分子为可计算 E 的 GroupID，分母为题库计划 GroupID。

ValidRate模型回答有效率

(VALID + REPAIRED_VALID) / 非技术响应

TECH_ERROR 不进入模型有效率分母。

RetryRate格式重试率

N_RetryUsed=1 / N_{非技术响应}

按最终运行记录计数；技术失败不进入分母。

TechnicalRate技术失败率

N_{TECH_ERROR} / N_全部任务

仅反映请求、网络或程序层失败，不解释为模型无效回答。

AuditScore链路审计得分

round{100 × (N_通过 + 0.5N_警告) / N_检查项}

仅用于概括跨文件可追踪性；失败项计0分，不作为心理测量指标。

95% CI题组均值区间

x̄ ± t_.975,n−1 · s / √n

以 GroupID 效应或配对差为分析单位。

A_top首选一致率

max_l count(TopChoice=l) / R

同一 ItemID 的有效重复中，众数首选所占比例。

A_rank完整排序一致率

max_π count(Ranking=π) / R

对完整 L1/L2/L3 排序字符串计算众数比例。

τKendall 排序一致

(C − D) / (C + D)

对有效重复的完整排序两两计算后取均值。

DBWVR描述性模型间/模型内方差比

mean Var_{between AnalysisModelKey} / mean Var_{within AnalysisModelKey}

按BankDatasetID×ItemID匹配；仅作描述，不称ICC。模型内方差为0时不定义。

r画像相似性

Σ(x−x̄)(y−ȳ) / √[Σ(x−x̄)²Σ(y−ȳ)²]

在两个模型共享的三级分类平均 P 上计算。

p_perm符号翻转检验

Pr(|mean(s_gx_g)| ≥ |mean(x_g)|)

以 GroupID 为单位；n≤16 精确枚举，n>16 固定种子蒙特卡洛。

p_Holm多重比较校正

max_j≤i[(m−j+1)p_(j)]

在同一 ModelConfig×子测验的对比族内校正。

Ē_Domain所选情境描述均值

mean(E_gq | Domain∈S)

仅为SelectedDomainMeanE/DomainSubsetMeanE；不继承正式D、coverage、sign-flip或Holm标签。

GapΔPAI—Human原始对比差

rawShift_AI − rawShift_Human

Human使用相同ContrastWeights；先参与者内Item等权，再跨参与者等权。

GapEAI—Human标准化条件效应差

E_AI − E_Human = GapΔP / 2

接近0只表示条件效应接近，不等于统计等效，也不表示正确。

SRI₉₅Human Gap情境重采样区间

percentile_.025,.975{mean(GapΔP_g*)}

独立Human模块按GroupID有放回抽样5000次、固定种子；旧E/D Bootstrap保持冻结。

dCohen's d

mean(E_g) / SD(E_g)

有效Group少于2、SD=0或正式覆盖不足时返回NA；dScore仍是正式D。

gHedges' g

[1 − 3/(4df−1)] × d

小样本偏差修正；配对模型E差另用cohenDz/hedgesGz。

ICC(1,k)一元随机平均测量ICC

(MS_B − MS_W) / MS_B

独立于DBWVR；只对合法DIRECTIONAL estimand及足够目标/模型计算。

x*P=0排序倾向拐点

x₁ + P₁/(P₁−P₂) × (x₂−x₁)

仅相邻真实测试点实际跨0时插值；多次跨0报告NON_MONOTONIC，范围外不外推。

w(p)Prelec概率权重

exp{−β[−ln(p)]^α}

仅用于从风险文献参数推导外部复合行为参照；不是当前题库同题Human结果。

结构与评分路由

结构 / 评分族	平台计算	不执行
DIRECTIONAL_RANK	P、P̄、预登记 E、覆盖充分时 D	不把无效回答记0
NOMINAL_RANK	完整排序、各 L 排名、TopChoice 概率	不编码连续高低分
ORDERED	元数据登记的相邻、端点或趋势对比	不因 C1/C2/C3 名称默认有序
CATEGORICAL	命名对比或条件分布	不计算未登记线性趋势
FACTORIAL · 完整交叉	设计矩阵主效应、二阶/三阶交互；数值因子另报响应曲线与简单斜率；登记效应另行输出D	不把组合条件排成单一序列；未登记效应不称正式D
FACTORIAL · 部分交叉数值	计划单元描述、参考点模型、简单斜率、端点斜率交互及预登记E/D	不补造结构上未设计的因子单元
CNI 三选项扩展	7个结果变量×7个主效应/交互的探索性响应画像	题干—后果冲突关闭前不套用标准二元 C/N/I 或正式D

Domain覆盖与QA

子测验	Domain	记录	Item	Group	来源

同一Category与Condition的Domain P画像

模型/子测验	分类	Domain	Condition	Mean P / SD	Item	Group	Valid N

同一Category与Contrast的Domain E

模型	子测验/分类	Domain	GroupID	Contrast	E	Domain g	状态

Domain重复稳定性

模型/子测验	Domain	Item	Kendall τ	P SD	方向翻转

Domain Heterogeneity Summary

分类/Contrast	Domain数	min–max	SD	IQR	方向一致

SAME_TASK_HUMAN_SAMPLE模糊、跨期与CNI为同题被试参照。接近Human不等于正确，Gap≈0不等于已证明等效。

方向题 AI—Human Group Gap

模型/子测验	分类	Domain	Group	Contrast	AI ΔP	Human ΔP	GapΔP	AI E	Human E	GapE	状态

Human分类Gap与Scenario Resampling

模型/子测验	分类/Contrast	AI ΔP	Human ΔP	GapΔP	GapE	Group覆盖	95%区间	状态

SINGLE题P水平比较

模型/分类	Domain	Group/Condition	AI / Human P	P水平差	AI Top L1/L2/L3	Human Top L1/L2/L3	AI Mean Rank	Human Mean Rank

NOMINAL策略比较

模型/分类	Domain	Group/Condition	AI Top L1/L2/L3	Human Top L1/L2/L3	比例差	AI Mean Rank	Human Mean Rank

CNI探索性Human比较

类型	模型/Domain	Group/Condition	AI	Human	Gap	证据状态

LITERATURE_DERIVED_REFERENCE默认先看四类应用情境等权的维度总体，再看单独情境；30国、2939名学生的总体模型是外部参照，不是当前风险题库的同题Human样本。

某AI × 某风险维度的综合曲线

P=0排序倾向拐点与外部参照

模型/分支	分析层级	情境/基础概率	点覆盖	真实区间	插值/不等式	状态	30国总体模型参照	差值	二元桥接	适用性

六种完整排序分布（逐横轴点）

模型/分支	层级/情境	基础概率 / 横轴	L1>L2>L3	L1>L3>L2	L2>L1>L3	L2>L3>L1	L3>L1>L2	L3>L2>L1	L2首位率	众数	覆盖

Cohen's d / Hedges' g

模型/子测验	分类/Contrast	D	Mean E / SD	n / coverage	Cohen d	Hedges g	标签	状态

模型间配对 E 效应量

子测验/分类	模型A	模型B	匹配Group	Mean diff / SD	Cohen dz	Hedges gz	状态

ICC(1,5)

类型/范围	模型/题库	分类/Group/Domain	目标数	ICC(1,5)	状态	原因

尚无可导出的分析结果

完成分析后，此处将生成全量报告与统计数据导出项。

PDF

全量 PDF 报告

包含全部模型的数据概况、P/P̄、E/Ē/D、画像、FACTORIAL、非方向评分、测量质量、题目决策、审计及公式附录。

HTML

全量 HTML 报告

报告结构与 PDF 一致，适合保留交付、浏览器检索以及复制表格；不会截断到当前页面显示的前若干行。

CSV

全量统计 CSV

覆盖批次与运行统计、分层质量、P/P̄、画像、E/Ē/D、注册表、析因与非方向结果、重复一致性、模型比较、题目决策和审计。

统计 CSV 数据表

选择	数据表	覆盖内容	记录数	单表导出

全量导出范围

界面筛选不影响导出

偏好与效应单次P、条件内P̄、分类平均P、题组E、有效题组平均E、覆盖合格D及其解释与公式代入值

结构化评分ORDERED、CATEGORICAL、FACTORIAL、NOMINAL_RANK与CUSTOM的适用结果、阻断理由和完整覆盖状态

测量质量首次/修复后有效率、重试和技术失败、重复一致性、位置稳健性、模型内外方差、模型差异和画像相似性

题目与审计全部GroupID题目决策卡、标准化分析明细、批次清单、两个CSV交叉核验、评分映射与计算公式字典