澳门网上正规赌场平台机器学习备忘录 | AUC值的含义与计量格局

原标题:无需写代码!谷歌(谷歌(Google))推出机器学习模型分析神器,代号What-If

原标题:测试机器学习模型不用写代码!谷歌(谷歌(Google))“what-if”工具轻松解决

引言

在机器学习园地,AUC值平时用来评价两个二分类模型的演习效益,对于众多机器学习或许数额挖掘的从业者或在校学员来说,AUC值的概念也不时被提起,但鉴于多数时候大家皆以依靠一些软件包来磨练机器学习模型,模型评价目的的盘算往往被软件包所封装,因而大家日常会忽略了它们的有血有肉意思,那在稍微时候会让大家对此手头正在展开的职分感到迷惑不解。小编也曾碰着类似的题目,因而愿意借由正文来梳理下AUC值的意义与计量方法,通超过实际际的例子帮忙读者加深明白,同时提交了动用scikit-learn工具库计算AUC值的艺术,供各位参考。

铜灵 编写翻译整理

澳门网上正规赌场平台 1

定义

AUC的齐全是Area under the Curve of
ROC
,也就是ROC曲线下方的面积。那里出现了另三个概念,正是ROC曲线。那么ROC曲线是个怎样事物吧?大家参看下维基百科上的概念:在信号检查和测试理论中,接收者操作特征曲线(receiver
operating characteristic
curve
,或者叫ROC曲线)是一种坐标图式的辨析工具,用于 (1)
选用最好的信号侦测模型、抛弃次佳的模子。 (2)
在同等模型中设定最好阈值。这些定义最早是由世界二战中的电子工程师和雷达工程师发明的,用来侦测战场上的敌军载具。回顾来说,能够把ROC曲线驾驭为一种用于总计分析的图片工具。

那么具体到机械学习的反驳中,ROC曲线该怎么驾驭呢?首先,必要建议的是,ROC剖析的是二元分类模型,约等于出口结果只有两体系型的模型,比如:(中性(neuter gender)/中性(neuter gender))(有病/没病)(垃圾邮件/非垃圾邮件)。在二分类难题中,数据的标签平时用(0/1)来代表,在模型磨炼成功后开始展览测试时,会对测试集的种种样本总计三个介于0~1之间的可能率,表征模型认为该样本为阴性的可能率,大家得以选定一个阈值,将模型计算出的可能率实行二值化,比如选定阈值=0.5,那么当模型输出的值超越等于0.5时,我们就认为模型将该样本预测为阴性,也正是标签为1,反之亦然。选定的阈值区别,模型预测的结果也会相应地改变。二元分类模型的单个样本预测有多样结果:

  1. 真阴性(TP):判断为中性(neuter gender),实际也是阴性。
  2. 伪阴性(FP):判断为阴性,实际却是中性(neuter gender)。
  3. 真阴性(TN):判断为中性(neuter gender),实际也是阴性。
  4. 伪中性(neuter gender)(FN):判断为阳性,实际却是阴性。

那各个结果能够画成2 × 2的混淆矩阵:

澳门网上正规赌场平台 2

二阶混淆矩阵

有了混淆矩阵,就足以定义ROC曲线了。ROC曲线将假阴性率(FP福特Explorer)定义为
X 轴,真中性(neuter gender)率(TP兰德福睿斯)定义为 Y 轴。当中:

  • TPRubicon:在全部实际为中性(neuter gender)的样书中,被正确地判断为阴性的样本比率。
  • FPEnclave:在具备实际为中性(neuter gender)的样本中,被错误地判断为中性(neuter gender)的样本比率。
  • TPR = TP / (TP + FN)
  • FPR = FP / (FP + TN)

给定一个二分类模型和它的阈值,就足以依照全体测试集样本点的真实值和预测值总结出五个(X=FPHaval, Y=TPCR-V)
坐标点,那也等于绘制单个点的主意。那整条ROC曲线又该怎么画吗?具体方法如下:

在我们磨炼完三个二分类模型后,能够利用该模型对测试集中的整套样本点计算3个邯郸学步的可能率值,各样值都介于0~1之间。尽管测试集有玖十多个样本点,大家能够对那玖拾捌个样本的预测值从高到低排序,然后依次取每一种值作为阈值,一旦阈值明确大家就能够绘制ROC曲线上的2个点,遵照那种方式依次将玖21个点绘制出来,再将各样点依次连接起来,就拿走了小编们想要的ROC曲线!

接下来再回到最初的难题,AUC值其实就是ROC曲线下方所覆盖的面积,当大家绘制出ROC曲线之后,AUC的值自然也就计算好啊。

前天,谷歌(谷歌(Google))推出了已开源的TensorFlow可视化学工业具TensorBoard中一项新作用:What-If
Tool,用户可在不编写程序代码的情状下分析机器学习(ML)模型。

倒计时**8**天

示例

那里引用上海金融大学张伟楠先生机器学习课件中的例子来证实:

澳门网上正规赌场平台 3

AUC总结示例

如上海图书馆所示,我们有7个测试样本,模型的预测值(按大小排序)和样本的真实性标签如右表所示,绘制ROC曲线的总体经过如下所示:

  1. 令阈值等于第3个预测值0.91,全部大于等于0.91的预测值都被判定为阴性,此时TP酷威=四分一,FP科雷傲=0/4,全部大家有了第二个点(0.0,0.25)
  2. 令阈值等于第③个预测值0.85,全数大于等于0.85的预测值都被判定为阴性,那种状态下第二个样本属于被错误预测为中性(neuter gender)的阴性样本,也正是FP,所以TPCR-V=四分之一,FP帕杰罗=四分之一,所以大家有了第三个点(0.25,0.25)
  3. 安分守己那种格局依次取第三 、四…个预测值作为阈值,就能挨个得到ROC曲线上的坐标点(0.5,0.25)、(0.75,0.25)…(1.0,1.0)
  4. 将各样点依次连接起来,就收获了如图所示的ROC曲线
  5. 计算ROC曲线下方的面积为0.75,即AUC=0.75

不用写代码?

新智元将于八月11日在东方之珠国家会议核心开设AI WO途达LD
2018社会风气人工智能高峰会议,MIT物理教师、现在生命探究所创办者、《生命3.0》小编马克斯Tegmark,将刊登解说《我们如何选用AI,而不是被其压制》,钻探如何面对AI军事化和杀人民武装器的面世,欢迎到实地沟通!

代码

在领略了AUC值的测算原理后,大家再来看看哪些在代码中落实它。常常很多的机器学习工具都打包了模型指标的揣摸,当然也囊括AUC值。那里我们来1只看下scikit-learnAUC的测算形式,如下所示:

>>> import numpy as np
>>> from sklearn.metrics import roc_auc_score
>>> y_true = np.array([0, 0, 1, 1])
>>> y_scores = np.array([0.1, 0.4, 0.35, 0.8])
>>> roc_auc_score(y_true, y_scores)
0.75

能够见到,使用scikit-learn工具提供的roc_auc_score函数总计AUC值十二分不难,只要求提供样本的实际标签和预测值那七个变量即可,大大有利于了大家的选取,真心谢谢这一个开源软件的小编们!

不错,只需为TensorFlow模型和数据集提供指针,What-If
Tool就能交付1个可用来切磋模型结果的可相互的视觉界面。

总结

看来这里的小伙伴们是否对AUC值的概念有了更好的知道呢。总的来说,AUC值就是四个用来评论二分类模型优劣的常用目的,AUC值越德州仪器常讲明模型的效应越好,在事实上行使中大家能够依靠软件包的呼应函数实行高效计算。借使各位还有一部分标题要么是对小说中的有个别部分有疑难,欢迎在评论区商讨。

澳门网上正规赌场平台 4

来源:Google AI

参考

ROC曲线维基百科
张伟楠先生课件
机械学习和总计里面包车型客车auc怎么精通? –
网易

250张人脸和在模型中检查和测试微笑后的结果

编辑:大明

What-If
Tool里成效很多,包涵电动用Facets将数据集可视化,也有从数据汇总手动编辑示例并查阅更改效果的法力,还是能自动生成都部队分关系图,突显模型预测随着单个特征的改变而更改的矛头。

【新智元导读】谷歌(Google) AI推出“what-if
”工具,用户完全不需求编写制定代码就能分析机器学习模型。该工具提供交互式可视化界面,用户能够商讨并比较模型结果,能够便捷地发现模型中的错误。

而是,那还不是What-If Tool的上上下下实力。

构建高效的机器学习连串,供给提议并缓解广大题材。仅仅操练模型然后就放着不管是遥远不够的。杰出的机械学习从业者要像侦探一样,时刻检点探索怎么样更好地精晓创设的模子:数据点的变更将对模型的前瞻结果导致哪些影响?同一个模型对两样的群落会有怎样分化的显现?用来测试模型的数据集的各类化程度怎么着等等。

7大功能

要回答这么些题材并不易于。要应对那些“假使”难题,平常要编制自定义的三遍性代码来分析特定模型。那一个进程不仅成效低下,再正是除了程序员,别的人很难参预立异机器学习模型的长河。

What-If Tool首要有七大效力,不驾驭有没有您须要的那一款:

谷歌(Google) AI
PAI路虎极光布署的三个最首要便是让更宽泛的人群能够更有益地对机器学习连串开始展览自小编批评、评估和调节。

效用一:可视化推断结果

明日,大家正式发表What-If工具,该工具是开源的TensorBoard
Web应用程序的一项新成效,它同意用户在不编写代码的场合下分析机器学习模型。
What-If工具给出了TensorFlow模型和数据集的指针,提供了1个交互式可视化界面,用于探索模型结果。

依照揣度结果的两样,你的以身作则会被分成分歧的水彩,之后可用混淆矩阵和别的自定义方式实行处理,从不一致特色的角度显示猜度结果。

澳门网上正规赌场平台 5

澳门网上正规赌场平台 6

What-If工具彰显一组250张面部图片及其检查和测试微笑模型的结果

效用二:编辑2个数据点,看模型表现怎样

What-If工具功用强大,能够采纳Facets自动展现数据集,从数量集手动编辑示例并查阅更改的效率,还是可以自动生成都部队分正视图(partial
dependence
plots),突显模型的估摸结果随任何单个功能的更动而变更的状态。

相关文章

admin

网站地图xml地图