硬货-如何用风控拯救下架的小红书 | 半佛仙人

01

这两天互联网圈最大的热门事件是,小红书下架了。7月29日晚间,各大安卓应用市场的小红书APP暂时不提供下载。

作为国民级种草APP,小红书的下架既是意料之外,也是情理之中。

意料之外在于,小红书本身只是一个主打消费的内容社区,本身不具有攻击性。

情理之中在于,小红书是C2C模式,笔记内容可以随意发布,任何人用任何方法都可以发布任何内容。

正常人可以,微商可以,特殊工作者可以,黑产也可以。

对于一切C2C的工具类平台产品,只要能发布内容,其实内容失控的风险都是存在的,不仅是小红书。

之前的即刻,Soul,乃至网易云音乐,都存在内容失控的情况,话题广场,论坛,评论区,用户昵称,甚至私人对话,只要可以录入文字图片和语音的地方,就存在着失控的风险。

毕竟产品是简单的,人性是复杂的。

平台治理和内容安全也归属于大风控的范畴,作为一名风控从业者,在这方面,我有一些实战经验。

这篇文章,我打算从内容风控和平台治理的角度来谈谈行业当前的现状与困境。

内容失控,对于所有电商和社区类产品而言,都是致命的。

尤其在互联网文明越来越重要的今天。

02

小红书作为C2C的工具类平台,用户是可以自己上传图片和笔记的。同时小红书又是Top的种草平台,用户逛小红书就是买东西的。

自由的规则配合精准的潜在消费者,二者一结合,就成了一块超级美妙的流量蛋糕,肥的流油。

于是各种违禁黑产,色情交易,非法医美,就都来了。

在下架前,小红书通过一些关键词索引,可以获得各种神奇的服务,当然现在已经开始大规模屏蔽。

例如粉毒和非法医美;比基尼和特殊服务;增高减肥和黑五类保健品;银行卡电话卡和黑产资料。

这些笔记的特点都是打着攻略分享的名义,往卖家的私人微信号上导流,然后用话术诱导成交。

这种自发性的C2C传播,也是小红书产品本身的最大特点。

很多不法商家在利用小红书这个平台,大发横财。

小红书作为平台方,有苦难言。

03

我不想去讨论小红书作为平台有没有责任,毕竟内容是用户自发的,这块我不够专业。我想讨论的是,用什么方法可以有效治理掉这些垃圾内容,小红书的风控和平台治理们也在头疼这件事情。

作为风控同行,我想提一些建议,这些源自我的一些实战经验,希望能对他们以及读者有所帮助。

OK,小红书当前面临的核心问题是,C端用户上传的内容具有很大的不可控性,里面可能夹杂了大量的违法违禁内容,需要有效识别这些人,然后针对性屏蔽和封号,在保证正常用户体验的前提下,降低内容风险。

当然,不管是降低内容风险,还是保证用户体验,其核心目的都是要保证企业的商业利益最大化,这是大前提,风控要为业务服务。

所以一切手段最终都要平衡误杀率和ROI。

那么,我们开始。

04

关于违规内容屏蔽,目前业内主要使用的是外采词库以及内部维护一套动态词库。所谓外采词库就是有专门的供应商会做涉及敏感领域的词,支持API的形式直接调用,可以嵌入到用户昵称录入,文本上传,用户私信等模块,只要上传文本,都会进行一次词库过滤,把一些违禁的词给抓出来。

优点是快速上线,缺点是词库是暗箱状态(属于供应商),并且业务关键数据容易泄露(API调用的入参容易被供应商拿走商用)。

我知道小红书的供应商是哪家,我也测试过很多家,只能说通用词库是没法依据实际业务场景来做精准打击的,建议小红书自建词库,如果没有现成可配置的词库框架,可以使用脚本的方式来让研发维护一套词库,当然最好还是做成可配置的,毕竟用脚本的话,词多了很容易崩溃,不是长久之计。

有了这一套东西后,需要一套应用策略,包含敏感词收集策略,敏感词应用策略,敏感词处置策略。

所谓敏感词收集策略,要解决的是如何获取到有效的敏感词。

很多人工智能公司吹捧所谓自然语义识别,用机器学习做,在这里是不好用的,我要提醒一下小红书,不要迷信机器学习。

因为汉语是博大精深的,使用谐音字,变体字,火星文,以及中间夹杂各种特殊符号和空格的模式,很容易就能绕过机器。

就微信这个词,可以变种成V信,VX,威,VV,你懂得,威X信等等等等,机器学习做不到这么精准的打击,但人的识别配合SQL以及Python代码,可以实现。

在这里,建议使用实时数据库,配专门的数据分析师来做词语收集。

数据分析师可以通过一些基础的违规信息,来进一步人工延伸出索引规则,例如微 ` 信12345,就可以提取出某些关键字(用微这个字来做索引),某些特殊符号,甚至某些符号+数字的特征来抓。

一个熟练的风控数据分析师,一天抓出上万有效敏感词不是问题。

所谓敏感词应用策略,要解决的问题是这些敏感词用于哪些领域。

当你有了一个敏感词库时,你需要对每一个词进行打标签,例如杀人这个词是A类标签,吃奶这个词是B类标签,不同的业务场景以及电商品类,要使用完全不同的标签。

例如牛奶类的笔记,用吃奶这个词就会误伤很大。

这里需要做的是,给每一个场景的业务都打上标签,然后依据标签来使用敏感词库中的词类目。

例如口红类笔记要用ABC标签的词。

例如旗袍类的笔记要用CDF标签的词等等。

至于如何拆解品类打标和敏感词,这个就不展开了,展开必是长篇大论。

所谓敏感词处置策略,要解决的问题是内容命中了敏感词之后,要如何处置这些内容。

这里其实也牵涉对敏感词的打标,主要是设置敏感词处置权重。

例如黄恐暴类的敏感词,标签对应的处置手段应该是直接屏蔽+封号或者直接禁止发布。

例如疑似推广微信号的标签,对应的处置手段应该是屏蔽+禁言,或者禁止发布。

例如命中了一些权重较弱的敏感词或者敏感字,对应的处置手段应该是转人工审核,再发布。

当然这里只是举几个简单的例子,敏感词的应用方法还有很多,不过这个方向是目前比较成熟的模式。

除却敏感词之外,小红书的笔记中还含有大量的图片类内容,这些图片类内容目前主要的问题有2个。

第一个是黄恐暴类图片,图片本身有问题。

第二个是图片本身没问题,但是图片里面的东西有问题,例如图片里面就有VX:12345等字迹或者水印。

对于前者,建议直接购买现成的图片识别服务,阿里腾讯都有成熟的服务。

对于后者,可以使用OCR把图片转成文字,然后使用敏感词策略来进行处理。

以上是对于内容本身的风控思路,需要注意的是,这个需要投入大量的资源,尤其是人工审核资源,今日头条就有数千人专门做内容审核,对于内容电商来说,这个不能省。

而且内容攻防应该是动态的,不存在一劳永逸的事情,需要做好持久战的准备,汉语就是这么博大精深。

05

内容风控很重要,但其实只是表层,而且永远难以做到穷举,真的一刀切下去,会误伤大量的正常用户,这对于用户体验和公司的商业价值而言都是损失。比内容风控更重要的,是底层风控,从用户注册到发生第一次行为(例如发布笔记或者给某个笔记点赞或者评论或者分享),都需要做更深入的风险管理。

除了要管别人发了什么内容,同样还要管是哪些【人】发了这些内容。

通过敏感词体系,可以对大量的内容笔记来进行标签,分类出正常笔记,可疑笔记,捣乱笔记,沙雕笔记等等等等等,这些统称为Y。

风控策略的基础逻辑是F(x)=Y,X是指特征,F是指算法or策略,Y是指效果。

当你有了Y之后,就等于知道了答案。

然后去找这些异常的笔记,都是谁发布的,这些发布的账号的特征(X)是什么。

一般常见的账号特征有数百个维度,例如注册时间,年龄,性别,发布时间,常用标签,ip地址,设备号(imac,imei,device id),手机号,性别,归属地,APP来源(华为市场,小米市场,APP Store),登录模式(APP,小程序,H5),手机型号,GPS地址,LBS区域,用户注册来源(自来水,A活动推广,市场投放转化,CPA),历史行为(点赞数,关注人),浏览行为,等等等等等,这些信息有的来自于APP埋点,有的来自于依据原有特征推算出的衍生特征。

特征工程是风控的核心之一,重要性不亚于策略应用,好的数据是一切的基础。

通过敏感词找到Y,然后利用Y来反推命中的X,然后得出应用策略-F。

案例1,假如小红书发现某个整容类的异常笔记,大部分发布者和点赞者的IP都是相同的或者都是同一个号段的,那么完全可以设置策略屏蔽这个IP段发这个类型的笔记。

案例2,假如小红书发现某些有问题的笔记,都指向同一个微信号,那么就把发布过这个微信号的账号全都封了,连误杀都没有。

案例3,假如小红书发现某些有问题的笔记,大部分发布者和点赞者都是24小时内注册的,那么完全可以设置注册时间XXX时间内,不允许在XX领域发笔记。

类似的规则,在成熟的平台治理中,会有数十万条,我做过设计和维护。

这一切的规则,都要做成动态可配置的,做成决策引擎的模式,风控只需要拖拉拽这些标签,然后自己写比对符和阈值,再配置处置手段,就可以生效。

例如一条规则,禁止注册时间在24小时内的女性用户发布比基尼笔记。

拆解起来就是。

注册时间<24小时,

且 性别标签=女,

且笔记标签=比基尼

则,禁止发布,

且,弹出文案【半佛仙人你别比比了】。

把这些做成是否的标签,可以自由配置,快速上线。

06

夹杂敏感词策略和决策引擎中间,还应该有一层基于【账户】维度的用户关系网络以及实时监控和干预机制,用图挖掘来做。所谓关系网络,是指不同账户间的关系,由点和线组成。

例如A账户给B账户的笔记点赞或者评价,就会形成一条关系。

反应在网络中就是A点和B点之间出现了一条关系线(A点赞/评论B)。

再例如A账户和C账户同时给B账户的笔记点赞或者评价,就会形成多条关系线。

反应在网络中就是A点到B点(点赞串联),C点到B点(点赞串联),A点到C点(都给B点过赞)。

关系网络,是对于批量作弊账户的大杀器。

在实际业务中,通过设置点和线的规则,可以有效拦截批量异常行为。

例如在同一个时间,出现了大量有关联的账户(相同IP,相同操作频率,相同GPS等),与某几个笔记或者账户出现了可疑关联(批量点赞),就可以进行拦截。

例如在近10分钟内,整个的流量池出现了波动异常(分均用户点赞数超过了平均值XX倍),则可以触发警报,把溢出流量关联的内容进行屏蔽等等等。

关系网络更多是横向的对比以及大盘的监控,涉及账户管控,不仅要看横向,更要看纵向。

所谓横向,是指同一个时间里,账户A和账户BCDEF是否有相同的行为或者异常的关联,所有人放在一起来比不同。

所谓纵向,是指同一个账户,在不同的时间里,进行了怎样的操作。

例如A账户,过去六个月都是给一些正常的笔记点赞,浏览和评论都很正常,但是近3天,在密集的跟一些异常的笔记产生互动和分享。

这就是账户出现了问题,与之前的操作不同,需要对账户发出警告,要么屏蔽功能,要么要求实名。

横向是用其他用户的特征比对一个用户,纵向是指用户过去的特征比对当前的行为。

纵横之术是对抗黑产养号与批量作弊的屠龙术。

07

敏感词策略和决策引擎外,还需要做的是账户准入和APP加固。所谓账户准入体系,是指在用户注册阶段就拦截掉大量黑产用户。

大量发布垃圾笔记和违禁笔记的账号,往往都是接码平台批量注册了,不是很多人想到一堆人拿着几百个手机在操作,微商很赚钱的好吗,不会干这种low事。

这就代表着,这些注册手机号本身,就有足够多的问题,因为黑产们拿手机号也有成本,往往会多次利用。

这个手机号在小红书耍流氓之前,可能已经在其他平台被教育过了。

一般在注册阶段,建议对手机号加一层准入规则,常规的手段是禁止小号和虚拟号注册,进一步的手段就是采购阿里云和腾讯天御的注册反欺诈评分,输入一个手机号+注册IP,可以返给一个评分,分数高于XXX分的时候,拒绝用户注册,或者强制要求实名(人脸或者银行卡)。

阿里有最全的电商黑产库,腾讯有最全的社交黑产库,网易有最全的游戏黑产库,都是T+0实时更新的,土豪一些的公司可以都用,其他自便。

反正只要风控能根据异常笔记抓到注册账户手机号就行,拿这些去测各家的数据准确度与误杀率,并不困难。

这个操作在业内叫做加盾,有这一层盾,基本上可以挡掉市场上9成5的黑产,大多数黑产是没有能力绕盾的,因为资金不够雄厚,手机卡更新速度上不去。

账户准入体系外,还需要的就是APP加固。

所谓APP加固,是指对于APP本身的代码,接口做封装和动态加密,拦截接口直接写入内容,代码破解,沙盒,GPS更改等一系列攻击行为,简单理解为是反外挂也可以。

很多APP对于用户的录入内容其实都是有限制的,很多APP甚至不允许用户录入内容,只能选择几个特定的标签。

但是黑产在进行违规内容渗透的时候,往往不是手动填写的,而是直接反编译本地APP代码,拦截接口的动态信息,然后调用接口录入。

例如正常人肯定打不出一些特殊符号,但是通过接口用机器写入,想写什么,就写什么。

小红书社区中的大量明晃晃的违规内容,很有可能是由于接口被攻破,遭遇大量的机器写入,这个在黑产攻防中很常见。

通过机器大量灌入垃圾内容导致竞争对手出现问题,在业内并不稀奇。

所以在账号准入外,也要主要APP本身的加固措施。

08

敏感词过滤,决策引擎,加盾,APP加固,这4套都做好(需要坐很久很久,这是一个很大的工程),是不是就高枕无忧了?不是的,作为内容社区,小红书还需要更重要的一套机制,就是用户内容举报机制。

只靠小红书自己,累死他们也不可能挡掉一切的垃圾内容,而且使用策略也好,规则也好,阈值设置比较宽松的话,总有漏网之鱼。

阈值设置过于严格的话,总会有被误杀的用户,被误杀的用户还会去各个论坛和网络媒体发声,去谴责小红书。

在这个好事不出门,坏事传千里的年代,这种负面信息对于小红书也是一种伤害。

而小红书最大的特点就是用户自发的参与度高,所以一套完善的用户举报机制是非常高效的平台行为。

这套机制不是加一个所谓的按钮点击这么简单,用户看到的可能就是一个举报按钮。

但小红书需要做的是针对整个举报设计完整的SOP(标准作业流程),如何判定举报是否有效,不同举报内容的确认标准以及处罚标准,举报应在什么时间内生效,应该给与举报用户怎样的奖励与支持增加积极性等等等等,这也是一个浩大的工程。

但对于内容社区而言,用户自发举报是非常好用的东西。

09

以上内容只是基础的平台治理体系,具体的落地方案,执行计划,原始变量及阈值切分等等,受限于保密协议和饭碗的原因,我不方便讲更多,但足够给风控同行做参考了。而且这些基础体系,在实际操作中,还面临着诸多实务性的难题以及场景契合的问题,很多问题都不是简单的风控问题,需要整个公司的战略和定位一起跟上。

例如在做特征工程的时候,很多数据要求实时性,数仓部门如何满足数据完整性?

例如做策略的时候,需要大量的标准数据,数据产品怎么依据业务需求设计表结构以及数据清洗?

例如评估策略效果的时候,风控产品如何设计分流灰度来做冠军挑战者(ABtest)实现效益最大化?

这样的问题还有很多,其中很多都是牵一发而动全身,公司的资源是有限的,公司里也不是只有风控,大家要靠着业务和营销吃饭的。

这些问题,需要整个公司从上而下认识到这个风险,整体考量业务和风控的平衡,争取公司利益的最大化。

在这个互联网文明大趋势的浪潮下,内容风控将是很多公司的命门,而诸多先行者早就靠自己的积累吃尽了早期野蛮生长的红利,同时树立起了极强的风控壁垒。

这些壁垒需要大量的时间和资源投入,不是一朝一夕就有的,全部都是非卖品。

这对于后来者而言,是非常难的一件事。

但熬过这一劫,就是羽化登仙。

之所以我今天对小红书说了这么多,并不是我喜欢小红书。

而是我觉得,一个活在巨头阴影下的互联网江湖,有点太寂寞了。


精选留言
  • 411
    感谢阅读,这篇我写了一夜,但很自信配得上各位的时间,也希望能被更多人看到,谢谢大家。
    97
    作者
    除了沙雕表情包之外,我也有偶尔硬核的时候,。。
  • 24
    国外不会出现这样的情况吧
    166
    作者
    当然会啊。。。。。fb,ig,tele,tw上的黑产比国内野多了,都没人管
  • 83
    字节跳动的审核人数起码两万,每个流量分发的关键节点都有人工审核,不仅规避风险也会有内容调性的调整
  • 77
    硬核,仙人认真起来,就让人忘了这货曾被宜家购物车戳过屁股
    32
    作者
    啊啊啊啊啊啊啊,引起不适。。。
  • 66
    没有表情包的硬货文章看着好不习惯。 但是看完,觉得仙人好酷
  • 29
    说到SQL加Python我差点以为你是个程序员?
    57
    作者
    Emmmm.....这俩我天天用。。。。
  • 49
    谁都是有权利就有责任 app想用平台赚钱就得对内容负责 应该要求所有内容分享和买卖app做到一定规模就要求其开始管理内容 不能失控了才开始管理 每个国民度高的app都是有风控的
    46
    作者
    对的,现在很多公司还是流量思维,没有平台风险意识
  • 8
    妈哎 所以一个好风控也可以是个好产品?还是你特别能?(´・Д・)
    42
    作者
    我是策略出身的风控产品和数据产品。。。。赶上好时代了
  • 12
    很好奇,仙人不用上班的嘛?一天一篇文章
    41
    作者
    不是,我是失眠患者。。。
  • 37
    我一个……不懂电脑……不懂技术的外行……居然全看懂了……
  • 8
    想知道仙人是怎么入行的?入了多久吃这么透?有木有中年危机感
    34
    作者
    我入行的时候。。。风控还不吃香。。。运气比较好,风控现在越老越吃香。。。
  • 21
    顶!通常中小规模的互联网公司对内容的监控没有专门的风控部门,都是临时项目组或直接交给产品来牵头做这事,并且从事者都并没有专业基础,边做边学。这篇不长但已经是目前能看到的最科学系统的风控概述了,能展开写成系列就是完美的Anti-spam业务白皮书
  • 6
    机器学习做不到这么精准的打击,但人的识别配合SQL以及Python代码,可以实现 作者应该不是开发吧
    19
    作者
    不是。。但懂一些技术,有一些代码能力,有这方面的实战经验而已
  • 4
    不知道这块代码好不好写
    17
    作者
    代码本身不难,难的是怎么切合业务设计架构
  • 17
    风控部门刚入职的程序员来学习一哈,感谢仙人
  • 1
    机器学习最简单的回归模型都有很好的效果 生僻字绕过其实适得其反 因为正常内容很少用生僻字
    14
    作者
    主要不是生僻字,是谐音
  • 5
    最近也在往UGC转,审核这一块就是个大问题,太难了
    12
    作者
    内容审核是非常大的系统性工程
  • 11
    我是做内容风控的,看到一半就担心的跑来留言'害怕黑产看到这些文章然后做策略升级我们打击起来就更费劲了。。。
  • 11
    风控肯定有,有这么智能么肯定没到,都是一个沉淀和反复迭代过程,阿里的平台治理初期的逻辑基本和你说的差不多。还得有一大批外包做打标和审核来验证黑数据
  • 10
    同行握手,半佛说的这些我们都做,而且做了很多年,不是内容领域,基础建设已经很完备了,现阶段最难的还是风控拗不过新型撒钱业务的大腿-_-||
    10
    作者
    风控本质上还是要老板支持。。。这个是价值观个侧重点的问题,,,
  • 10
    很专业很硬核,不愧是仙人出品,必属精品啊。抓特征真的比抓敏感词有效很多很多
    8
    作者
    敏感词治标不治本。。。
  • 9
    真心喜欢硬核干货 虽然像压缩饼干那样难吃 但却很饱肚 能消化很长时间
  • 7
    仙人能写篇文章聊聊即刻么?各种小道消息满天飞,看多了仙人的文章,感觉即刻这次应该是栽同行手里了。
    5
    作者
    参考文末的独角兽4
  • 1
    腾讯有最全的社交黑产库,网易有最全的游戏黑产库,有个问题,腾讯的游戏业务比网易的大,网易的游戏黑产库会比腾讯的好?
    6
    作者
    因为黑产搞他们的没搞网易的多
  • 5
    在朋友圈看到有人分享这篇文章,看到标题里有“风控”二字,心说:麻痹,聊风控谁聊的过半佛,定是水文,不看不看。 打开公号一看,结果半佛更文了,就是这篇,哼,真香
  • 5
    一个活在巨头阴影下的互联网江湖,有点太寂寞了~
  • 4
    之前不记得哪个网站有个过滤功能,一旦谁发了敏感词会被自动替换成“我是一只小猪猪”类似的俏皮话,于是整个社区充满了一种滑稽的感觉,哈哈哈哈
  • 4
    之前做过内容风控策略,仙人大大总结的很全面,又学到了不少
  • 看完这篇文章我发现我又恋爱了,对象就是那个长得帅的一逼又有钱又有才的仙人小胖胖。快来把我举高高
    3
    作者
    我都不能说不举对吧。。。
  • 内容审核行业有前景吗 目前在某音海外版做安全运营,说白了是复审,刚入职不久,体会不深,但是觉得对年轻人来说不是一份长久的工作,没有人会想做审核一辈子……
    3
    作者
    搭框架的有,做执行的没有。。。
  • 3
    文章感觉太硬核,耐着性子读完1遍感觉云里雾里,第2遍第3遍逐句想才稍微有点理解。
  • 3
    流量是春药,水能载舟亦能覆舟
  • 3
    完整看完一篇没有表情包的文,虽然不懂技术但是规则明白了,光做规则积累都需要花很长时间……互联网b面也是够复杂
  • 3
    虽然还没有接触但是有很大的惊醒意义,以后肯定用的上,先收藏,不然以后遇到这些黑产会给撸秃毛!
  • 3
    之前在即刻有几个主题下就有不少明显是约炮的,点过举报,也提示我举报成功了,但是我回头去看居然还在?
  • 2
    成本、效果、误伤率这三者之间想要找个平衡太难了。。
  • 2
    太硬核了,太赞了,充分展现了足够的专业水平!
  • 2
    好像是关注公众号一来看到的仙人写的干货最多的一篇推送了(这么说虽然好像显得不尊重仙人写其他推送的劳动似的,但是我真的没有这个意思,我都爱看),仿佛看到了知乎上的仙人。学习到了许多,谢谢!
  • 2
    游戏逆向这块根本不是把游戏逆出来找漏洞抓取关键点之类的能力问题,而是各种深入底层对抗,上传用户行为数据,通过统计正态分布判断是机器人,要把所有这些都搞定,一个人对抗游戏团队,铁打的能有几根钉啊,有心无力,感觉在被时代抛弃…瑟瑟发抖
  • 在下多年内容风控研发经验,这篇文章还是比较专业的,目前业内普遍做法是内容+行为识别,规则系统+机器学习,自研+第三方,综合利用多种手段才能经得住挑战
  • 不沙雕的你总是让人喜出望外
  • 仙人会不会出语音播报的这种啊比如B站红酒汤姆一世那种类型的,感觉很有搞头啊
    作者
    会!正在酝酿
  • 对着一块非常感兴趣的我反复看这篇作了一大篇笔记!准备再掰碎了消化一哈。虽然不是做这个行业的,但是兴趣的第一生产力,生活充满了各种可能性,嘻嘻嘻。准备再去深入研究研究,谢谢仙人的硬核科普!我的笔记会让你觉得你的心血莫有白费!
  • 涨知识啊。 因为工作缘故接触到内容风控和用户风控,内容风控就是词库比较机械和死板,特别容易误伤,而且是越滚越多。用户风控,涉及到用户信用评级,但是做的也不够细致,总是无法真正避免黑产户。 今天看了大师的文章,对风控有了一个更全面的认识,受启发不少!

作者: RESSRC

个人资源站

发表评论

邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据