崔灿重磅论文：从AI分析，中国古代棋圣不弱于现代超一流棋手！(19)

上述说法在“效度”方面的逻辑似乎没问题，但未提及该指标“信度”方面的表现。对这一指标的考察测试，主要得出以下几点结论[21]：
1.根据该指标计算原理，在不同的计算量下，其数值会存在明显差异。围棋AI权重不同也会影响该指标数值。因此，“复杂度/不确定度”怎样才算“高”，缺乏明确的标准。
2.该指标会受到局面优势大小的影响，与当前局面“目差”的数值成正相关。
3.该指标数值“高”时，会放大围棋AI“随机性”的影响，导致取样方面的困难。
除了以上缺点之外，以“复杂度/不确定度”结合吻合度判定棋手水平，在逻辑方面存在硬伤——既然围棋AI都算不准了，那么此时的“吻合度”显然失去了优劣评价的意义。综上所述，“目差标准差”可以看作是围棋AI眼中棋盘上的变数，在一定程度上展现了棋局的风格，但“棋风”无法直接与水平挂钩。KataGo的作者David J. Wu在被问及这一指标的意义时，也表达了同样的观点[22]。
（八）其他指标
围棋AI“ELF OpenGo”在对人类历史棋谱进行分析研究时，提出了一些具有启发性的指标，包括“胜率下降最多的一手（Biggest Mistake）”、“第一步恶手出现时间（First Bad Move）”、“一盘棋的恶手数量（Number Of Bad Moves）”等等。这些评价标准固然有趣，但与棋力的关联性尚未得到确认，不同因子的权重如何设置也是一大难题。另外，由于这类指标在设置上有很大的随意性[25]，不但难以服众，在研究中也很难做到完全撇清“先射箭后画靶”的嫌疑。因此，与相对固定，且受众更广的吻合度、AI评分等“默认标准”相比，提出其他一些特定的指标，或用几种指标组合建立模型作为评价棋力的标准，需要详细阐明其内在合理性，以及指标或模型能够区分棋手水平的依据。
美国职业篮球联赛（NBA）有各种各样的“高阶数据”——将各种基础数据赋权，用复杂的公式计算出结果，从不同角度评价球员在场上的贡献。但球迷们津津乐道的还是得分、篮板、助攻、命中率等一目了然的数字。基础数据对运动员水平的体现可能没那么全面，但争议性也是最少的，用围棋AI指标来评价棋手水平同样是如此。
（九）本章主要观点总结
1.围棋AI的“棋力”随计算量增加而变强，提升的幅度“前快后慢”。总体来说，计算量越高意味着围棋AI的评估结果越准确。