01
作为国民级种草APP,小红书的下架既是意料之外,也是情理之中。
意料之外在于,小红书本身只是一个主打消费的内容社区,本身不具有攻击性。
情理之中在于,小红书是C2C模式,笔记内容可以随意发布,任何人用任何方法都可以发布任何内容。
正常人可以,微商可以,特殊工作者可以,黑产也可以。
对于一切C2C的工具类平台产品,只要能发布内容,其实内容失控的风险都是存在的,不仅是小红书。
之前的即刻,Soul,乃至网易云音乐,都存在内容失控的情况,话题广场,论坛,评论区,用户昵称,甚至私人对话,只要可以录入文字图片和语音的地方,就存在着失控的风险。
毕竟产品是简单的,人性是复杂的。
平台治理和内容安全也归属于大风控的范畴,作为一名风控从业者,在这方面,我有一些实战经验。
这篇文章,我打算从内容风控和平台治理的角度来谈谈行业当前的现状与困境。
内容失控,对于所有电商和社区类产品而言,都是致命的。
尤其在互联网文明越来越重要的今天。
02
自由的规则配合精准的潜在消费者,二者一结合,就成了一块超级美妙的流量蛋糕,肥的流油。
于是各种违禁黑产,色情交易,非法医美,就都来了。
在下架前,小红书通过一些关键词索引,可以获得各种神奇的服务,当然现在已经开始大规模屏蔽。
例如粉毒和非法医美;比基尼和特殊服务;增高减肥和黑五类保健品;银行卡电话卡和黑产资料。
这些笔记的特点都是打着攻略分享的名义,往卖家的私人微信号上导流,然后用话术诱导成交。
这种自发性的C2C传播,也是小红书产品本身的最大特点。
很多不法商家在利用小红书这个平台,大发横财。
小红书作为平台方,有苦难言。
03
作为风控同行,我想提一些建议,这些源自我的一些实战经验,希望能对他们以及读者有所帮助。
OK,小红书当前面临的核心问题是,C端用户上传的内容具有很大的不可控性,里面可能夹杂了大量的违法违禁内容,需要有效识别这些人,然后针对性屏蔽和封号,在保证正常用户体验的前提下,降低内容风险。
当然,不管是降低内容风险,还是保证用户体验,其核心目的都是要保证企业的商业利益最大化,这是大前提,风控要为业务服务。
所以一切手段最终都要平衡误杀率和ROI。
那么,我们开始。
04
优点是快速上线,缺点是词库是暗箱状态(属于供应商),并且业务关键数据容易泄露(API调用的入参容易被供应商拿走商用)。
我知道小红书的供应商是哪家,我也测试过很多家,只能说通用词库是没法依据实际业务场景来做精准打击的,建议小红书自建词库,如果没有现成可配置的词库框架,可以使用脚本的方式来让研发维护一套词库,当然最好还是做成可配置的,毕竟用脚本的话,词多了很容易崩溃,不是长久之计。
有了这一套东西后,需要一套应用策略,包含敏感词收集策略,敏感词应用策略,敏感词处置策略。
所谓敏感词收集策略,要解决的是如何获取到有效的敏感词。
很多人工智能公司吹捧所谓自然语义识别,用机器学习做,在这里是不好用的,我要提醒一下小红书,不要迷信机器学习。
因为汉语是博大精深的,使用谐音字,变体字,火星文,以及中间夹杂各种特殊符号和空格的模式,很容易就能绕过机器。
就微信这个词,可以变种成V信,VX,威,VV,你懂得,威X信等等等等,机器学习做不到这么精准的打击,但人的识别配合SQL以及Python代码,可以实现。
在这里,建议使用实时数据库,配专门的数据分析师来做词语收集。
数据分析师可以通过一些基础的违规信息,来进一步人工延伸出索引规则,例如微 ` 信12345,就可以提取出某些关键字(用微这个字来做索引),某些特殊符号,甚至某些符号+数字的特征来抓。
一个熟练的风控数据分析师,一天抓出上万有效敏感词不是问题。
所谓敏感词应用策略,要解决的问题是这些敏感词用于哪些领域。
当你有了一个敏感词库时,你需要对每一个词进行打标签,例如杀人这个词是A类标签,吃奶这个词是B类标签,不同的业务场景以及电商品类,要使用完全不同的标签。
例如牛奶类的笔记,用吃奶这个词就会误伤很大。
这里需要做的是,给每一个场景的业务都打上标签,然后依据标签来使用敏感词库中的词类目。
例如口红类笔记要用ABC标签的词。
例如旗袍类的笔记要用CDF标签的词等等。
至于如何拆解品类打标和敏感词,这个就不展开了,展开必是长篇大论。
所谓敏感词处置策略,要解决的问题是内容命中了敏感词之后,要如何处置这些内容。
这里其实也牵涉对敏感词的打标,主要是设置敏感词处置权重。
例如黄恐暴类的敏感词,标签对应的处置手段应该是直接屏蔽+封号或者直接禁止发布。
例如疑似推广微信号的标签,对应的处置手段应该是屏蔽+禁言,或者禁止发布。
例如命中了一些权重较弱的敏感词或者敏感字,对应的处置手段应该是转人工审核,再发布。
当然这里只是举几个简单的例子,敏感词的应用方法还有很多,不过这个方向是目前比较成熟的模式。
除却敏感词之外,小红书的笔记中还含有大量的图片类内容,这些图片类内容目前主要的问题有2个。
第一个是黄恐暴类图片,图片本身有问题。
第二个是图片本身没问题,但是图片里面的东西有问题,例如图片里面就有VX:12345等字迹或者水印。
对于前者,建议直接购买现成的图片识别服务,阿里腾讯都有成熟的服务。
对于后者,可以使用OCR把图片转成文字,然后使用敏感词策略来进行处理。
以上是对于内容本身的风控思路,需要注意的是,这个需要投入大量的资源,尤其是人工审核资源,今日头条就有数千人专门做内容审核,对于内容电商来说,这个不能省。
而且内容攻防应该是动态的,不存在一劳永逸的事情,需要做好持久战的准备,汉语就是这么博大精深。
05
除了要管别人发了什么内容,同样还要管是哪些【人】发了这些内容。
通过敏感词体系,可以对大量的内容笔记来进行标签,分类出正常笔记,可疑笔记,捣乱笔记,沙雕笔记等等等等等,这些统称为Y。
风控策略的基础逻辑是F(x)=Y,X是指特征,F是指算法or策略,Y是指效果。
当你有了Y之后,就等于知道了答案。
然后去找这些异常的笔记,都是谁发布的,这些发布的账号的特征(X)是什么。
一般常见的账号特征有数百个维度,例如注册时间,年龄,性别,发布时间,常用标签,ip地址,设备号(imac,imei,device id),手机号,性别,归属地,APP来源(华为市场,小米市场,APP Store),登录模式(APP,小程序,H5),手机型号,GPS地址,LBS区域,用户注册来源(自来水,A活动推广,市场投放转化,CPA),历史行为(点赞数,关注人),浏览行为,等等等等等,这些信息有的来自于APP埋点,有的来自于依据原有特征推算出的衍生特征。
特征工程是风控的核心之一,重要性不亚于策略应用,好的数据是一切的基础。
通过敏感词找到Y,然后利用Y来反推命中的X,然后得出应用策略-F。
案例1,假如小红书发现某个整容类的异常笔记,大部分发布者和点赞者的IP都是相同的或者都是同一个号段的,那么完全可以设置策略屏蔽这个IP段发这个类型的笔记。
案例2,假如小红书发现某些有问题的笔记,都指向同一个微信号,那么就把发布过这个微信号的账号全都封了,连误杀都没有。
案例3,假如小红书发现某些有问题的笔记,大部分发布者和点赞者都是24小时内注册的,那么完全可以设置注册时间XXX时间内,不允许在XX领域发笔记。
类似的规则,在成熟的平台治理中,会有数十万条,我做过设计和维护。
这一切的规则,都要做成动态可配置的,做成决策引擎的模式,风控只需要拖拉拽这些标签,然后自己写比对符和阈值,再配置处置手段,就可以生效。
例如一条规则,禁止注册时间在24小时内的女性用户发布比基尼笔记。
拆解起来就是。
注册时间<24小时,
且 性别标签=女,
且笔记标签=比基尼
则,禁止发布,
且,弹出文案【半佛仙人你别比比了】。
把这些做成是否的标签,可以自由配置,快速上线。
06
例如A账户给B账户的笔记点赞或者评价,就会形成一条关系。
反应在网络中就是A点和B点之间出现了一条关系线(A点赞/评论B)。
再例如A账户和C账户同时给B账户的笔记点赞或者评价,就会形成多条关系线。
反应在网络中就是A点到B点(点赞串联),C点到B点(点赞串联),A点到C点(都给B点过赞)。
关系网络,是对于批量作弊账户的大杀器。
在实际业务中,通过设置点和线的规则,可以有效拦截批量异常行为。
例如在同一个时间,出现了大量有关联的账户(相同IP,相同操作频率,相同GPS等),与某几个笔记或者账户出现了可疑关联(批量点赞),就可以进行拦截。
例如在近10分钟内,整个的流量池出现了波动异常(分均用户点赞数超过了平均值XX倍),则可以触发警报,把溢出流量关联的内容进行屏蔽等等等。
关系网络更多是横向的对比以及大盘的监控,涉及账户管控,不仅要看横向,更要看纵向。
所谓横向,是指同一个时间里,账户A和账户BCDEF是否有相同的行为或者异常的关联,所有人放在一起来比不同。
所谓纵向,是指同一个账户,在不同的时间里,进行了怎样的操作。
例如A账户,过去六个月都是给一些正常的笔记点赞,浏览和评论都很正常,但是近3天,在密集的跟一些异常的笔记产生互动和分享。
这就是账户出现了问题,与之前的操作不同,需要对账户发出警告,要么屏蔽功能,要么要求实名。
横向是用其他用户的特征比对一个用户,纵向是指用户过去的特征比对当前的行为。
纵横之术是对抗黑产养号与批量作弊的屠龙术。
07
大量发布垃圾笔记和违禁笔记的账号,往往都是接码平台批量注册了,不是很多人想到一堆人拿着几百个手机在操作,微商很赚钱的好吗,不会干这种low事。
这就代表着,这些注册手机号本身,就有足够多的问题,因为黑产们拿手机号也有成本,往往会多次利用。
这个手机号在小红书耍流氓之前,可能已经在其他平台被教育过了。
一般在注册阶段,建议对手机号加一层准入规则,常规的手段是禁止小号和虚拟号注册,进一步的手段就是采购阿里云和腾讯天御的注册反欺诈评分,输入一个手机号+注册IP,可以返给一个评分,分数高于XXX分的时候,拒绝用户注册,或者强制要求实名(人脸或者银行卡)。
阿里有最全的电商黑产库,腾讯有最全的社交黑产库,网易有最全的游戏黑产库,都是T+0实时更新的,土豪一些的公司可以都用,其他自便。
反正只要风控能根据异常笔记抓到注册账户手机号就行,拿这些去测各家的数据准确度与误杀率,并不困难。
这个操作在业内叫做加盾,有这一层盾,基本上可以挡掉市场上9成5的黑产,大多数黑产是没有能力绕盾的,因为资金不够雄厚,手机卡更新速度上不去。
账户准入体系外,还需要的就是APP加固。
所谓APP加固,是指对于APP本身的代码,接口做封装和动态加密,拦截接口直接写入内容,代码破解,沙盒,GPS更改等一系列攻击行为,简单理解为是反外挂也可以。
很多APP对于用户的录入内容其实都是有限制的,很多APP甚至不允许用户录入内容,只能选择几个特定的标签。
但是黑产在进行违规内容渗透的时候,往往不是手动填写的,而是直接反编译本地APP代码,拦截接口的动态信息,然后调用接口录入。
例如正常人肯定打不出一些特殊符号,但是通过接口用机器写入,想写什么,就写什么。
小红书社区中的大量明晃晃的违规内容,很有可能是由于接口被攻破,遭遇大量的机器写入,这个在黑产攻防中很常见。
通过机器大量灌入垃圾内容导致竞争对手出现问题,在业内并不稀奇。
所以在账号准入外,也要主要APP本身的加固措施。
08
只靠小红书自己,累死他们也不可能挡掉一切的垃圾内容,而且使用策略也好,规则也好,阈值设置比较宽松的话,总有漏网之鱼。
阈值设置过于严格的话,总会有被误杀的用户,被误杀的用户还会去各个论坛和网络媒体发声,去谴责小红书。
在这个好事不出门,坏事传千里的年代,这种负面信息对于小红书也是一种伤害。
而小红书最大的特点就是用户自发的参与度高,所以一套完善的用户举报机制是非常高效的平台行为。
这套机制不是加一个所谓的按钮点击这么简单,用户看到的可能就是一个举报按钮。
但小红书需要做的是针对整个举报设计完整的SOP(标准作业流程),如何判定举报是否有效,不同举报内容的确认标准以及处罚标准,举报应在什么时间内生效,应该给与举报用户怎样的奖励与支持增加积极性等等等等,这也是一个浩大的工程。
但对于内容社区而言,用户自发举报是非常好用的东西。
09
例如在做特征工程的时候,很多数据要求实时性,数仓部门如何满足数据完整性?
例如做策略的时候,需要大量的标准数据,数据产品怎么依据业务需求设计表结构以及数据清洗?
例如评估策略效果的时候,风控产品如何设计分流灰度来做冠军挑战者(ABtest)实现效益最大化?
这样的问题还有很多,其中很多都是牵一发而动全身,公司的资源是有限的,公司里也不是只有风控,大家要靠着业务和营销吃饭的。
这些问题,需要整个公司从上而下认识到这个风险,整体考量业务和风控的平衡,争取公司利益的最大化。
在这个互联网文明大趋势的浪潮下,内容风控将是很多公司的命门,而诸多先行者早就靠自己的积累吃尽了早期野蛮生长的红利,同时树立起了极强的风控壁垒。
这些壁垒需要大量的时间和资源投入,不是一朝一夕就有的,全部都是非卖品。
这对于后来者而言,是非常难的一件事。
但熬过这一劫,就是羽化登仙。
之所以我今天对小红书说了这么多,并不是我喜欢小红书。
而是我觉得,一个活在巨头阴影下的互联网江湖,有点太寂寞了。
-
置顶张小胖作者
-
azure作者
-
Josh秦
-
Judy作者
-
马昱坤
-
小高同学作者
-
小越越作者
-
another.?作者
-
Mr_คิดถึง??作者
-
卢艳
-
nothing作者
-
徐贻然
-
松鹏作者
-
从前从前有个人爱你很久作者
-
SegmentFault
-
曹逸君作者
-
在路上作者
-
七个爷爷和一个葫芦娃
-
纹名人
-
0421作者
-
卿作者
-
想来学 简效良
-
茶逸作者
-
陈欢作者
-
花&花
-
浮生未歇
-
江凌
-
恒
-
逍宇作者
-
Ryan作者
-
也曾经瘦过
-
wzh
-
树马象鸡
-
Ben
-
披星戴月
-
ﻩ4126
-
一方水
-
Sylvia Yin
-
if
-
逍遥生
-
真真想睡觉
-
瓶生作者
-
Jannie ☀
-
iuLan