ROC指标，roc指标最佳参数

本文属于李福东《人工智能100讲》原创内容，了解更多请**下载知识星球APP，找“84404036”，**点我获取**数智萤火虫原创精品列表。

内容摘要

ROC（受试者工作特征）实现模型评估的思路为：借助ROC AUC面积大小，能够更加直观地对比在不同特征数、不同K折数的情况下模型的性能表现。

文章编号：AI-0021-V1.1

所属类别：人工智能

文章正文

ROC（受试者工作特征）能够基于假阳率和真阳率的指标表现，实现分类模型的选择，假阳率和真阳率是通过改变分类器的决策阈值完成计算的。

ROC图的对角线可以解释为随机猜测的结果，低于对角线的分类模型要比随机猜测更糟糕，最佳分类器应当位于图形左上角，此时真阳率TPR为1，假阳率FPR为0。

基于ROC曲线，我们可以计算曲线下的ROC面积（ROC AUC），以确定分类模型的性能。

ROC AUC面积越大，曲线越靠近左上角，模型就越好，反之模型就越差。

为了让分类任务更具有挑战性，我们仅选用乳腺癌样本数据中的两个特征，来预测肿瘤是良性还是恶性。

通常，我们将分层K折验证器的参数K设置为3。

基于以上参数设置，ROC分类效果图如下所示：

从上图的ROC曲线可以看出，不同折之间有一定程度的变化幅度，平均ROC AUC（0.76）落在了最完美分数1.0和随机猜0.5之间。

可见，采用ROC AUC法查看分类器的性能，可以帮助我们在样本不平衡的情形下深入分析分类器的表现。

内容小结

ROC（受试者工作特征）实现模型评估的思路为：借助ROC AUC面积大小，能够更加直观地对比在不同特征数、不同K折数的情况下模型的性能表现。

名词术语

Receiver Operating Characteristic：受试者工作特征

true positive rate (TPR)：真阳率

false positive rate (FPR)：假阳率

以上是《人工智能100讲》中关于机器学习第5步：模型评估的ROC曲线验证法，下一节将学习模型评估中多级分类与类失衡问题的解决方法。

如需获取实现代码，请进入本文作者知识星球下载（下载知识星球APP，找“84404036”）。

了解更多关于大数据、人工智能、数字化转型的相关内容，请**微信公号：李福东频道。

人工智能 100讲 系列文章

以蒸汽机、电力、计算机、机器人等代表的四次工业革命，以及人工智能时代的到来

人工智能应用在中国遍地开花，助力千行百业转型升级

美国在人工智能技术与应用方面不断创新突破

为什么机器能够产生智能？揭开机器智能的神秘面纱

机器学习在人工智能体系架构中的定位及其学习方式

机器是怎样学习的？机器学习的方法与步骤

鸢尾花分类，一个经典的机器学习教科书案例

机器学习第2步：数据预处理的归一化、标准化等方法

机器学习第3步：特征工程的PCA降维法

机器学习第3步：特征工程的线性判别分析LDA降维法

机器学习第3步：特征工程的主成分分析KPCA降维法

机器学习第4步：模型选择的机器学习过程管道化

机器学习第4步：模型选择的Holdout交叉验证法

机器学习第4步：模型选择的K折交叉验证法

机器学习第4步：模型选择的学习曲线调测法

机器学习第4步：模型选择的验证曲线调测法

机器学习第4步：模型选择的网格搜索法

机器学习第5步：模型评估的嵌套交叉验证法

机器学习第5步：模型评估的性能度量指标

数智萤火虫

愿景目标：致力于为学员提供以大数据、人工智能、数字化转型为核心，从技术到产品，从战略到运营的系统化、高品质知识服务，培养专家型、应用型、实战型人才。

服务内容：会按需延伸至企业架构、产品经理、区块链、5G、AR、VR等领域，帮助您掌握最新的理念、思维、方法、技术与工具，与时俱进，创新发展。

交付理念：起步于技术、聚焦于产品、深耕于运营、决胜于战略，帮助学员实现从点到线，再从面到体的蜕变式修炼与进阶。

交付形式：文章、PPT、音频、视频、微信群、直播、沙龙、答疑、考评等多种形式，多媒体、多触点、线上线下相融合，切实解决工作与学习中遇到困难和问题，提升实战能力。

加入知识星球，您将至少获得：

1、高薪职位推荐。星球帮助学员存放简历，免费对接优选岗位。

2、职业规划指导。帮助学员少走弯路，快速平滑晋级、晋升。

3、精品内容尝鲜。每周至少分享1篇原创精编长文。

4、PPT干货下载。定期推送最新培训、项目、公开课资料。

5、精美礼物赠送。小礼品、红包、作者签名书等。

6、在线问题答疑。72小时内答复个性化问题。

本星球属于你我共同成长的家园，希望我们有缘相聚，共同拥抱数字化时代的新浪潮、新机遇，不负韶华、共创共赢！

选择精品，高效进阶