王钰^1,2,3，赵晓艳²，杨杏丽²，李济洪³

1. 山西大学现代教育技术学院,太原 030006;2. 山西大学数学 科学学院, 太原 030006;3. 山西大学软件学院,太原 030006

出版日期:2020-09-25发布日期:2020-11-16

Confidence Interval of AUC Measure Based on $K$-Fold Cross-Validated Beta Distribution

WANG Yu ^1,2,3,ZHAO Xiaoyan ²,YANG Xingli ²,LI Jihong³

1. School of Modern Educational Technology, Shanxi University, Taiyuan 030006; 2. School of Mathematical Sciences, Shanxi University,Taiyuan 030006;3. School of Software, Shanxi University,Taiyuan 030006

Online:2020-09-25Published:2020-11-16







摘要
图/表
参考文献
相关文章
编辑推荐
-->Metrics
本文评论

在统计机器学习研究中, 基于$K$折交叉验证的AUC (Area Under ROC Curve) 度量常常被用作分类算法性能的评价. 然而, 点估计显然没有考虑方差的信息, 为此, 基于正态假定的$K$折交叉验证$t$分布构造的AUC度量的通用对称置信区间(区间估计) 被提出. 但是, 这些对称置信区间往往表现出低的置信度或长的区间长度, 从而容易导致激进的(liberal) 统计推断结果. 通过对AUC度量的理论分析, 发现AUC度量的真实分布实际上是非对称的, 此时简单使用对称分布去近似它显然是不合适的. 因此, 针对二类分类问题, 本文提出了一种新的基于$K$折交叉验证Beta分布的AUC度量的非对称置信区间, 在模拟和真实数据实验上验证了提出的置信区间相对于传统的基于$K$折交叉验证$t$分布的对称置信区间的优越性.

分享此文:

()

[1]	王苗苗. 基于线性模型平均估计的置信区间[J]. 系统科学与数学, 2020, 40(10): 1866-1881.
[2]	李二倩，钱曼玲，田茂再. 构造泊松均值固定宽度置信区间的序贯方法和两阶段方法[J]. 系统科学与数学, 2018, 38(11): 1328-1346.
[3]	白永昕，田茂再. 左截断右删失剩余寿命分位数的置信区间构造[J]. 系统科学与数学, 2017, 37(12): 2412-2426.
[4]	刘晓欣;邵燕敏;张珣. 基于Bootstrap-DEA的工业能源效率分析[J]. 系统科学与数学, 2011, 31(3): 361-371.
[5]	李新民. 不平衡两因素套设计模型中方差分量比的区间估计[J]. 系统科学与数学, 2010, 30(1): 72-078.
[6]	赵树然;徐兴忠;丁晓波. 右删失情形下平均生存时间的加权Bootstrap推断[J]. 系统科学与数学, 2009, 29(5): 598-607.
[7]	于卓熙;王德辉;史宁中. NA误差下部分线性模型的经验似然推断[J]. 系统科学与数学, 2009, 29(4): 490-501.
[8]	董岩;徐兴忠;杨雪姣. 双参数指数分布的可靠寿命的广义置信下限[J]. 系统科学与数学, 2008, 28(9): 1109-1117.
[9]	田茂再;吴喜之;李远;周朋朋. 逆抽样下流行病发病率的逼近与渐近置信区间[J]. 系统科学与数学, 2008, 28(5): 513-523.
[10]	陈思宝;王海贤;陈桂景. 指数分布族中矩估计序贯置信区间[J]. 系统科学与数学, 2006, 26(3): 315-324.
[11]	孙孝前. 指数分布尺度参数的区间估计[J]. 系统科学与数学, 1998, 18(3): 315-320.

-->

PDF全文下载地址:

http://sysmath.com/jweb_xtkxysx/CN/article/downloadArticleFile.do?attachType=PDF&id=13965