《追AI的人》之AI科普系列短视频，将持续用简单清晰的语言向公众解释对于人工智能的普遍疑问，推动社会就人工智能的发展和治理达成共识。
在内容安全领域，我们首先遇到的是四个主要的挑战。第一个挑战与内容的多样性有关。如今，随着直播、短视频和各类信息获取平台APP的普及，内容呈现形式越来越多样化，这给我们在安全风控方面带来了巨大挑战。以直播场景为例，其实时性的特点要求我们的风控模型必须做到足够快速，以免影响用户体验。另一方面，比如说电商直播场景，为了满足功能需求，我们不仅要处理直播画面，还需要处理直播主播相关的商品库，以及直播中观众的评论互动。要想准确地识别出当下时刻的风险，就需要综合关联多维度的信息进行判断。第二个挑战源于风控领域本身的强对抗性质。随着我们识别能力的提升，一些黑灰产的风险展现形式也在不断更新和迭代。同样，与风险相关的信息也会随着诸如正式事件的发生或者新闻时事的变化而定义上发生变化。因此，我们的防控系统不仅要能够预防过去已知的有风险的内容，同时还要有能力预防因新发生的事件而产生的风险内容。举一个假货场景作为例子。假货问题是我们在进行安全防控时面临的一大难题。在当前的环境下，仅从表面上发现假货变得更加困难。当这样的场景出现在直播画面中时，我们很难仅通过商品的外观来判断其是否为假货。比如，我们需要结合主播的描述以及消费者与商家之间的互动来综合判断，是否真的在售卖假货。第三个挑战来自于风险对抗行为的变异性。正如刚刚提到的，如今黑产手法日新月异，在视频造假技术飞速发展的今天，AIGC技术滥用给我们的防控工作带来了极大的困难。如上右突展示了违规商家和平台对抗，当商家在直播间销售违禁乌龟时，他们会采取一些巧妙的手法，例如通过手写文字来展示信息，使得其信息非常隐晦。对于那些有意购买的人来说，他们可以轻易地识别出商家所售卖的特定品种的乌龟。商家充分了解算法的逻辑，知道手写体和非标准布局的文本在识别上较难，正是这些方法使得内容安全领域的对抗性变得非常强。 最后，还有一个挑战，我认为这也是大模型在安全领域应用的一个重要理由。安全审核任务每天需要大量的审核人员参与，这不仅对他们的身心健康造成了巨大影响，也是一个耗费人力资源的工作。如果大模型的能力足够强大，那么它可以在最后的环节中尽可能地减少人工审核量。在这一方面，我相信大模型的价值是巨大的。接下来，我会结合我之前实际参与的业务——直播电商风控，来介绍在特定业务中，我们应当从哪些维度去进行防控以及其中的困难所在。电商直播平台作为新媒体的代表形式，其独特的场景构成了安全防控的复杂背景。简要地将直播场景分解，我们可以将其归纳为五大要素：人（商家）、货（所售商品）、场（直播场景即实时视频流）、互动（消费者及粉丝的评论、红包、交易和点赞）和营销（主播推销商品时的宣传方式）。这五种主要元素又衍生出五种不同的风险类型。首先是内容安全风险，涉及非法信息或不当内容的传播。其次是营销风险，例如对商品的虚假宣传，夸大其功效等。接着是商品风险，包括违禁商品的识别与禁售。还有商业秩序风险，指的是同行之间可能出现的恶意竞争，我们需要确保商家能够在公平的环境中开展业务。最后是舆情风险，例如直播间触及敏感话题时的防控措施。上述内容来自于《追AI的人》第38期直播回放，更多精彩分享，点击阅读👇
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢