下一个时代的黑产攻防,可能没有人类什么事情了 | 半佛仙人

 

1

互联网时代,我们在迎来前所未有的方便时,也在面临着无所不在的威胁。

那些为我们提供服务的企业,其感受到的风险要比正常更加直观和强烈。

随着技术的进步,黑产攻击已经成为各大公司(不只是互联网)的眼中钉肉中刺,只要联网,就必然面临着黑产的威胁,黑产的目的在于获益。

当前任何一家互联网公司,在做业务和做活动的时候,都无时无刻不在面临着黑产的攻击。

发优惠券,会被黑产批量薅走,然后批量挂到二手网站代下单;

赔钱做爆款商品,黑产绝对第一时间拿光库存;

卖票,用户的手速怎么可能比得上黄牛机器的手速,甚至小部分黑产可以直接入侵服务器提前拿到票,还能选座出票;

所有互联网公司都不得不面临2个问题。

如何做业务。

以及如何做业务时不被黑产攻击。

2

黑产的破坏力是非常惊人的,不管是对于公司,还是用户。

2017年4月,知名的【永恒之蓝】爆发。一个月后,勒索软件WannaCry传遍全球,该软件利用永恒之蓝可以实现封锁PC的一切功能,然后勒索比特币,最终造成损失近百亿,该漏洞影响较为深远,因为后续有大量僵尸网络在不断利用该漏洞开发攻击程序。

如果说【永恒之蓝】影响的是PC设备,那么同样在2017年,samba出现了一个严重的远程命令执行漏洞(CVE-2017-7494),这个漏洞与永恒之蓝一样严重,主要影响Linux主机,Linux大量应用于服务器领域,包括网络服务器。

如果这些黑客攻击比较远的话,我们说点离我们生活更近的。

为什么最有价格优势的特价商品总是抢不到?为什么有些东西明明下单却无法付款?为什么周杰伦的票难抢到这个程度?为什么黄牛手里似乎应有尽有?

因为总有黑产在利用漏洞进行攻击,在套利。

黑产无处不在,安全威胁无处不在。

不要以为黑产与我们无关,黑产与我们每个人都密切相关。

有时无知也是一种幸福。

3

科技在发展,技术在迭代,自打人工智能开始流行,从阿尔法狗击败人类围棋开始,我们都震惊于AI的力量,然后疯狂研究。

一时之间千军万马转AI。

这里面有多少是真正研究技术的,多少是打着AI的旗号圈钱的,我们不得而知。

但在AI应用最前沿的一批团体中,必然有黑产的身影。

事实上,现在的黑产已经熟练地使用AI在进行攻击和漏洞挖掘了。

一个显而易见的常识是,最新的技术永远会被用于最来钱的行业,黑产就是这样的一个行业,为了能够搞到更多人的数据,赚到更多的钱,他们对于任何有潜力的技术,都是狂热的。

AI如何应用于技术?又如何被黑产所应用?

举个最简单的例子,人脸识别。

人脸识别大家都知道,这个本质上就是利用AI实现的人像比对。

具体是怎么做的?

一个人的脸其实有无数的特征,这些特征可以是眼睛到嘴巴的长度,双眼的间隔,单双眼皮,鼻子和脸的比例等等等等。

这些特征是有规律的,实际上人认识猫狗也是通过这些规律,只是我们用机器来模拟大脑的特征比对。

把这些特征全都拆解出来,然后AI来比对这些特征与本人照片or视频特特征是否相符,我们认识熟人,本质上就是认出了熟人的特征。

那么黑客是如何做的?

很简单,如何让一个人来认错人?

要么戴面具,要么化妆,总之就是改变相貌。

让机器认错人也一样,机器认人是通过拆解无数的点,然后比对点与点之间的线。

所以如果在人脸中加入一些干扰的【噪点】,就可以改变整个线的分布,从而让机器认错人。

目前在薅羊毛、售假等领域,这样的黑产攻击会出现主要用途就是误导人脸识别,使用虚假身份。

对于此类攻击,要求公司必须进行反制,在数据采集层面就要做横向(同时间进件的不同人)和纵向(同一人不同时间进件)的比对,然后使用AI做特征分析,最后实现拦截。

AI帮助人类抵抗AI的攻击。

4

不谈业务层面的攻击,但从漏洞挖掘上,用AI来进行漏洞挖掘也已经成为黑产的标准的姿势。

国内安全行业近几年发展迅速,大量安全公司已经可以为企业提供基础的漏洞防护服务,很多企业痛过之后也乐意花钱买安心。

钱花的也确实有点效果。

具体来说,他们合作的效果是,基本上在应用层,大多数已知的常见漏洞都玩不转了,因为这些安全公司里面也有白帽,他们知道如何挡掉最Low的进攻者。

简单的漏洞都被挖完了或者堵上了,这直接导致了漏洞挖掘的难度直线上升。

同样也代表着,一个未被发现的漏洞,价值也在直线上升。

这种漏洞,业内称之为0day

黑客界有一个笑话,如果你想追求一个女黑客,给钱不一定能成,但给几个0day,基本一定成。

0day是每个黑客追逐的梦想,每个0day背后,往往代表着某个大企业的信息宝藏,这是数不尽的财富。

为了拿到更多0day,黑客开始使用AI。

AI的特点是什么?是擅长大规模高频计算,只要你制定好要素和想要的结果,AI就会无限次的实验各种方式,直到越来越接近你要的结果,最终输出方案。

这天生就是为漏洞挖掘而生。

人脑对于漏洞的认知以及特点是有限的,或者说是缺乏想象力的,但人知道自己想要什么,所以把资料和结果给到AI时,AI就会去穷举所有的可能性,很多细小的,人意识不到的漏洞,就这么被挖掘出来了。

再简单解释一下,AI在围棋训练的本质就是人类告诉AI围棋的规则,然后告诉AI自己想要的是胜利,并且定义胜利,然后让AI自己去找达成这一目的的解法。

AI在围棋领域最终碾压人类的过程中,展示出了很多人类认为是没有意义的棋路,但后来都证明是有效的,这就是穷举的力量。

穷举可以突破人脑的思维定式。

进攻,往往就需要这种突破。

5

在熟练掌握了AI技术(这个东西会玩儿和不会玩儿,效果相差极大)的黑客手中,大多数传统的防御方式都是没用的。

很简单,传统的防御方式本质上还是人类安全思维的延伸,但是AI的攻击是不会考虑人类思维的,他们会从各个角度切入,试图达到目的。

就像围棋一样,脑中没有围棋定式的AI,把人类按在地上打。

某种程度上,这也算无招胜有招。

想要防范这种穷举式的无理手,防守方必须也要使用AI,使用AI来构建自己的防御体系,让自己可以用算法和穷举保护自己的一切。

当前国内使用AI做防御做的最久,成果也最为丰富是,是阿里巴巴。

电商业务和金融业务由于其商业属性,每天都有无数的黑客想着攻破阿里的防御,薅羊毛、倒卖商品、甚至窃取更多有用的信息。

与此同时,电商业务还存在着各种促销活动,很多黑产希望从商家手里获取更多的利益。

黑产不会跟公司客气,他们信奉的就是拿到的就是自己的,撬锁的工具可以是流量注入,可以是社会工程,更可以是AI。

阿里是国内目前受到黑产攻击强度最高(互联网历史上最大流量DDos),频率也是最高的公司之一,每天在阿里生态体系里,数以万计的黑客通过4千万次的恶意访问以寻找安全漏洞,网络黑灰产通过爬虫发起17亿次的恶意访问试图窃取数据,仅在淘宝平台,每天会有近400万次恶意尝试登录。

这是一个非常恐怖的数字。

这倒逼阿里必须使用最强的AI技术来进行安全防护,因为阿里背后是千万商家,公司,亿万消费者。

没有绝对的安全,但阿里必须尽其所能做到极致的安全。

一步也不许退。

6

AI的核心训练第一需要大量的信息,第二需要高强度的对抗来进行迭代,AI的每次迭代,都需要进行对抗,而阿里与黑产的对抗,每天每时每分每秒都在发生。

就在你读这篇文章的时候,双方已经来回交手了几十万次。

在这种高强度的对抗,极限的压力以及海量信息的填充下,阿里成功磨练出了一整套AI的安全体系。

这套体系没有什么花里胡哨的东西,因为是从高强度的攻防中磨练出来的,所以非常实用。

安全攻防从来不求好看,只求有用。

数据说明一切。

2018年破纪录的天猫双十一狂欢节,阿里2135亿交易额背后,是令人赞叹的安全能力。

大促的特点是,数据量大,容错率低,新活动玩法带来新的风险,以及磨练了一年的黑产想在双十一集中收获。

这反过来要求安全系统要有高弹性——承载数据波峰,高准确率——保障正常用户体验,高快速反应能力——黑产实时对抗。

其实在专业人士的眼中,16亿次的恶意攻击拦截和409亿次的操作安全保护,要比2135亿的交易额更加耀眼。

安全如果不能为业务兜底,再好的业务也是空中阁楼,风一大,就将坍塌。

除了一年一度的双十一,阿里面临的各种挑战依然层出不穷,这背后全靠业内最强的安全AI体系抵御攻击。

例如近两年最火的新零售。

阿里作为新零售的领头者,遇到的业务挑战非常巨大。

与传统零售不同,新零售强调较少甚至不用人工,主要依靠顾客的自觉,这带来的问题是货物统计的难题。

一件货物丢了,可能是丢了,也可能只是被顾客拿起来不知道放到哪里去了,也可能是被其他货物挡起来了,货物统计,牵涉到安保,资产,周转,直至最终的盈利与用户体验。

阿里的安全AI技术在图像识别领域的突破解决了这个问题。

7

阿里AI防御的核心,在于安全AI技术体系。

由机器替代人脑,利用AI技术来反制黑产。

完整的AI大脑由感知区,认知区,决策区和保护层所组成。

感知区负责看到,并获取有效数据。

海量的信息是一切的起点,一切防御的基础都是由精准可信赖的信息所组成,假如我要使用机器算一个除法,那必然是先要有除数和被除数,才能做计算。

拿饭店举例,信息获取做的好不好,最终的差别是厨师是否有菜下碟。

认知区负责处理感知区收集的数据,使其标准化,可供最终处理,并对其中最异常的部分进行第一次拦截。

简而言之,如果说感知区负责种菜和收菜,那么认知区负责洗菜和切菜,这与种菜收菜同样重要。

再好的原材料,如果得不到有效的加工,那么只会浪费。

决策区负责依据认知区清洗过的数据与特征,对用户及其关联用户进行处置,直接达到让好人更好,坏人不好的目的。

决策区就是考验厨师手艺的地方,最终的菜是否美味,决策很重要。

在安全AI所塑造的风控大脑中,保护层用于隔绝外部的渗透以及抓内部的漏洞,这等于是有一支阿里的白帽黑客团队专门使用AI来进行模拟进攻,把一切可能性都试探出来,然后封禁。

这大概类似于厨房的安全。

理论上没有绝对的安全,但是各类安全技术相互覆盖时,可以打造一个相对安全的迷宫,黑客攻破一层,还有下一层,或者某一层的设置就是为了让人攻破的,攻破之后留下痕迹,在下一层进行处置。

感知,认知,决策,整套流程与人脑的思维模式非常接近,而保护层,类似于头骨,保护我们的大脑。

这种科学的流程设计,完善内部对抗以及AI漏洞扫描,才是阿里多年屹立不倒的核心竞争力。

比如,安全AI所构建的知识产权科技大脑,这套系统的样本数据总量相当于186个中国国家图书馆藏量,仅累积的打假图片样本量就超过137亿张。淘宝天猫平台每日新发商品量以千万计,如果人工巡查,138889人工作1天才能把这项工作完成。

在这个技术爆炸的年代,安全是所有企业都必须放在第一位的事情。

没有足够的安全,业务跑的再快,也架不住一次黑天鹅。

对很多公司而言,安全从来没有这么重要过,也从来没有这么无力过。

也许下一个年代,安全能力,将是区分企业实力最重要指标之一。

或许,没有之一。


精选留言
  • 201
    感谢阅读,在未来10年,互联网企业最重要的,是安全。
    49
    作者
    最近没有来摸鱼的朋友,记得后台回复摸鱼~
  • 223
    仙人最近真的很勤更啊,不多说了,把支付宝码给我,我要给你打赏
    94
    作者
    ?????。。
  • 111
    小白看看别人的技术文章相当于鸭子听雷,看仙人就不一样了,相当于如何吃烤鸭!
  • 107
    这倒逼阿里必须使用最强的AI技术来进行安全防护,因为阿里背后是千万商家,公司,亿万消费者。 没有绝对的安全,但阿里必须尽其所能做到极致的安全。 一步也不许退。 (好悲壮啊)
    89
    作者
    某种程度上公司大了就是要承担社会责任
  • 19
    一直好奇一个问题,像阿里这样的大公司是如何防止他们的技术和风控与外界勾结的,如果有此类事情发生该怎么办呢
    98
    作者
    交叉授权,各个模块都有独立审批,互相不认识
  • 16
    区块链技术能不能防这个
    80
    作者
    暂时不能,区块链不是用来做安全的
  • 18
    能成功攻入的黑客真的会被免罚招安么
    77
    作者
    取决于攻入之后干了什么,如果提报漏洞。重金招募。如果以此获利,菊花自由。
  • 74
    互联网产业正在如同实体产业一样,技术壁垒越来越高,也越来越难🙊知识就是力量啊
  • 44
    从朋友转发的文章里看到了仙人,从此一发不可收拾啊,仙人是怎么样修炼得道对各行各业都有那么多深刻的见解的呢?
    70
    作者
    主要以前做尽职调查的。。。所以需要接触的多一点
  • 21
    是不是可以增加一些数据案例支持,感觉有时候不太确定自己在看的不是小说,请谅解
    62
    作者
    我后续会找一些脱敏的案例~
  • 54
    这个居然不是广告?
    45
    作者
    Emmmm.....我广告也比较随缘。。。
  • 43
    看到一半以为是广告,最后才知道误会仙人了,把你支付宝…算了,反正你也不会给我,不要了
  • 36
    对很多公司而言,安全从来没有这么重要过,也从来没有这么无力过。
  • 18
    我在支付宝赞助的智造将来节目中看过支付宝智能风控引擎,的确很厉害
    28
    作者
    敢做500w相互险自然是有底气的
  • 28
    仙人我读了一半以为又要给风变编程打广告,看到最后发现居然不是,果然让人猜不透
  • 13
    是不是可以理解为,安全工程师的自身发展潜力又进一步提升了
    22
    作者
    是,但是工作难度也上升了
  • 22
    阿里最近的风控提升很大,不要问我为什么知道
  • 19
    我读了四分之三,以为给阿里云打广告,看到最后发现居然不是。 非常硬核,涨姿势了,感谢。
  • 16
    仙人,能不能专门写篇文章,把怎么机器学习防黑产写细点,作为一名码农这看的不过瘾啊
    18
    作者
    想写。。。但是不敢啊。。。。
  • 4
    半佛不是说会有一期社会工程学的文章吗
    13
    作者
    近2周安排,不止一篇
  • 11
    听说诈骗犯让被骗的人转账都用微信转,一说用支付宝转钱马上就不干了
  • 11
    作为2019级网络空间安全的新生,听仙人你这么一说,突然感觉胸前的红领巾更鲜艳了🙄🙄
  • 10
    yellow网站一般最先使用新技术原来是因为来钱最快
  • 3
    仙人我今年80了,入行风控还来得及吗?
    8
    作者
    别了吧,会加班出事的
  • 7
    赶紧买本安全书当枕头
  • 7
    写的好说的好讲的好分析的好推测的好预感的好
  • 6
    接下来万物互联时代,安全风险不可小觑
  • 6
    后面好多看不懂
  • 6
    一篇文章看下来,发现未来互联网安全领域的人才很吃香啊
  • 1
    难道不是银行系统的风控能力最强吗?
    5
    作者
    银行的风控不在技术。在管理制度
  • 4
    机器能把规则发挥到极致,但人类却能制定规则,这就是智能和人最大的区别。因此智能永远控制不了人类,控制人类的,是站在智能背后的那个人。
  • 3
    安全在任何领域都是很重要的套好吗?
  • 3
    每次看仙人发“Emmmm”都好像是枚举,是时候放下手机电脑
  • 2
    高深莫测的技术原来背后有如此的短兵相接

作者: RESSRC

个人资源站

发表评论

邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据