首页 今日头条正文

我的位置,激活地图集:深化探究图画分类的神经网络,港珠澳大桥

文 / Shan Carter,Google AI 软件工程师

神经网络已经成为图像相关核算任bydfo最新报价务的事实标准,现在正布置于多个场景,规模包含从在图像库中主动符号相片到主动驾驶体系的多个范畴。这些机器学习体系已得到广泛运用,变得无处不在,这是由于其履行准确率要高于人类在不运用机器学习技能的情况下直接规划的任何体系。但由于这些体系的根本细节是在主动化练习进程中习得,因而碱组词有时候要了解网络怎么处理给定使命依然有点困难。

咱们与 OpenAI 的搭档联合宣布《运用激活地图集探求神经网络》(Exploring Neural Networks with Act马飞航ivation Atlases) 一文,向咱们介绍一项新技能,该技能有助于答复以下问题:当咱们为图像分类神经网络供给图像时,它从中 “看” 到什么?激活地图集为咱们供给一种了解卷积视觉网络的新途径,让咱们能够从大局、分层次且人类可理解的视点,大致了解网络躲藏层中的概念。咱们以为激活地图集提醒了图像的机器学习字母表,即一组简略的原子概念,这些概念经组合及重新组合,终究构成更杂乱的视觉主意。咱们还会发布一些 Jupyter 笔记,助您着手制造自己的激活地图集(https://github.com/tensorflow/lucid#activation-atlas-notebooks)。

微校通渠道登录

激活地图集的宰相的两世妻详细视图,源自 InceptionV1 视觉分类网络的其间一层。其间提醒了网络用来分类图像的多个视觉检测器,例如不同类型的生果状纹路、蜂巢图像和织物状纹路

下图所示的激活地图集是运用卷积图像分类网络Inceptionv1构建,而该网络曾在 ImageNet 数据集上进行训我的方位,激活地图集:深化探求图像分类的神经网络,港珠澳大桥练。一般,咱们会向分类网络展现一张图像,然后让其从 1,000 个预订类中为该图像指定一个标签,这些类包含“培根蛋面”、“通气管” 或 “煎锅” 等。为此,咱们的网络会经过大约十层,逐渐评价图像数据。其间每层由数百个神经元构成,而每个神经元依据不同类型的图像块,在不同程度上进行激活。某一层的某个神经元或许对狗的耳朵作出积极呼应,而前一层的另一个神经元或许对高对比度的垂直线作出呼应。

注:Inceptionv1 链接

https://github.com/tensorflow/models/tree/master/research/slim#pre-trained-mode许哲珮ls

激活地图集的构建办法是从一百万张图像中搜集神经网络每一层的内部激活向量商丘应天网。这些激活向量由一组我的方位,激活地图集:深化探求图像分类的神经网络,港珠澳大桥杂乱的高维向量表明,并unintend经过 UMAP投射到有用的 2D 布局中。UMAP 是一种降维技能,能够保存原始高维空间的某些部分结构。

注:UMAP 链接

https://github.com/lm随身空间灵泉福地结束cinnes/umap

这涉及到收拾激活向量,但咱们还需要将向量汇总,以便于管理。若保存一切向量,则数量过多,无法快速耗费。为此,咱们在创立的 2D 布局中制作网格。我的方位,激活地图集:深化探求图像分类的神经网络,港珠澳大桥咱们均匀分配网格中每个单元格内的一切激活向量,然后运用特征可视化创立图像表明。

左边:将一百万张随机图像构成的图像集输入网络,每张图像搜集一个随机空间激活向量。中心:将激活向量输入 UMAP,以将其降到二维。然后针对这些激活向量制作地图,并将相似的激活向量放置在互相邻近。右侧:随后咱们制作一个网格,均匀分配单元格内的激活向量,然后对均匀后的激活向量履行特征反演

以下仅仅神经网络其间一层的激活地图集(请记住,这些分类模型或许有六层或更多层),提醒了网络为在此层分类图像所学习的一切视觉概念。乍看之下,该地图集或许有些令人手足无措,由于包含的内容太多!这种多元化反映出模型所开YJJPP发的视觉笼统和概念的多样性。

Inception v1 多层中其间一层 (mixed4c) 的激活地图集概览,大约是网络的中心层

在这张详图中,咱们能够看到不同类型的叶子和植物的检测器

咱们能够在这张图上看到不同的水、湖泊和沙洲检测器

咱们能够在这张图上看到不同类型的修建物和桥梁

正如咱们之前说到的,该网络中还有很多层。咱们来看看这层之前的层,了解当咱们深化探求网络时,这些概念怎么越来越细化wearaday(每个层在前一层的激活向量上构建其激活向量)。

在早前的 mixed4a 层中,有个含糊的 “哺乳动物” 区域

到了网络的下一层 mixed4b,动胜狮场站提单号查询物和人类已被分隔,中心区域出现一些生果和食物

到 mixed4c 层,这些概念得到进一步细化,并分化成很小的 “半岛”

至此,咱们看到全体结构逐层演化的进程,而每个单一概念也在该进程中变得愈加详细和杂乱。假如仔细观察三层中用于分类详细目标(例如 “卷心菜”)的区域,咱们便可清楚地看到这一点。

左边:与其他层比较,这个前期层十分不明确。中心:到了中心层,这些图像清楚地出现叶状物,但也或许是任何一类植物。右侧:到了最终一层,图像十分具有针对性,出现的是叶子曲折成圆球状的卷心菜

另一个值得注意的现象是:当您逐层移动时,不只概念会得到细化,并且新概念好像并不在旧概念的组合之内。

您能够看到沙子和水在中心层 mixed4c(左边和中心)是十分不同的两个概念,两者都极有或许归类为“沙洲”。可是与后一层 mixed5b(右侧)比较,这两个概念好像融组成一个激活向量

除了针对特定层扩大整个地图集的某些区域,咱们还能够在特定层为 ImageNet 1,000 类中的一类创立地图集庞卓欣。这将展现网络最常用来分类特定类(例如 “赤狐”)的概念和检测器。

在这张图中,咱们能够更禛心真意长相守清楚地看到网络为分类“赤狐”所黑陨石炸鸡重视的区域,其间包含尖尖的耳朵、被赤色皮裘围住的白色鼻子,以及树木茂盛或白雪皑皑的布景

在这张图中,咱们能够看到 “瓦房顶” 检测器许多不同的标准和角梅婷现任70岁老公度

在这张 “野生山羊” 图中,咱们看到作为检测器的角和棕色皮裘,以及岩石山坡等或许张召忠谈克复外蒙古发现我的方位,激活地图集:深化探求图像分类的神经网络,港珠澳大桥这种动物的环境

与瓦房顶检测器相同,“朝鲜蓟” 也有许多巨细不同的检测器,用于检测朝鲜蓟的纹路,不过还有一些紫色花朵检测器。这些检测器或许是用来检测朝鲜蓟植物的花朵

这些地图集不只展现模型中具有细微差别的视觉笼统概念,还提醒了深深的误解。例如,经过检查 “大白鲨” 激活地图集,咱们能够看到水和三角形的鳍(与预期相符),但咱们也看到外形相似棒球的东西。这暗示此研讨模型采用了捷径,将赤色的棒球针脚与大白鲨打开的嘴兼并在一起。

咱们能够测验这一点,办法是运用一块棒球图像,将模型的特定图像分类从 “灰鲸” 切换为 “大白鲨”。

咱们期望激活地图集能够成为一款有用的东西,能够在提高机器学习遍及度和可解释性的很多技能中占有一席之地。为了帮助您入门,咱们发布了一些 Jupyter 笔记,您只需经过Colab点击,即可立即在浏览器中履行。这些笔记是以之前发布的东西包 Luc印度女儿id为根底进行构建,其间包告密者孔雀是终极间谍括许多其他可解释性可视化技能的代码。咱们等待了解您的发现!

注:Colab 链接

https://colab.research.google.com/

Lucid 链接

https://github.com/tensorflow/lucid

我的方位,激活地图集:深化探求图像分类的神经网络,港珠澳大桥
规划 我的方位,激活地图集:深化探求图像分类的神经网络,港珠澳大桥 咱们 修建
声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。
我的方位,激活地图集:深化探求图像分类的神经网络,港珠澳大桥
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。