《追AI的人》系列直播第28期邀请了阿里巴巴媒体安全技术研究团队的曾吉申和陈保营分享《图像取证探秘：P图假证无处遁形，揭开“美女荷官”骗局》。📺《追AI的人》往期直播视频回放观看👉B站关注：AAIG课代表
直播简介回顾：阿里巴巴媒体安全技术研究团队图像取证算法负责人。在ACMM，TIFS等会议期刊发表多篇文章，担任ACMM，TCSVT审稿人。
阿里巴巴媒体安全技术研究团队安全工程师，负责图像篡改检测与定位、AIGC生成图像检测和引流欺诈图像检测等多个算法的应用与落地。
🎈 图像取证面临的三大挑战：美颜P图，AI“美女”，引流刷单，你是否中招过？🎈 AIGC生成的图像真能以假乱真？识破AI“美女”的秘密武器🎈 你是否被《孤注一掷》中“在线荷官”骗过？揭开引流欺诈图像检测的秘密🎈 图像取证之路漫漫：在这场揭示真相的战斗中，我们还需做些什么？
让我们一起揭开美颜p图、AI美女引流和刷单背后的奥秘！在接下来的五个章节中，将介绍图像取证技术所面临的挑战，并探讨应对美颜p图、AI美女引流和刷单等不同挑战的一些技术。最后，将进行简单的总结。第一章节将介绍图像取证面临的三大挑战。目前，图像取证所面临的三大挑战主要是美颜p图、AI美女引流和刷单。大家是否曾经遇到过这些挑战呢？接下来，我们先从一些问题开始讨论。首先，我们将讨论如何辨别网络流传的图片的真实性。上图展示了三张图片，首先，看到左边第一张图片，是网络上流传的胡锡进和佩洛西的合照。第二张图片是一个自媒体网红博主的照片。第三张图片是广为人知的爱因斯坦照片。🤔哪张图片是真实的呢？只有第三张图片是真实的！第一张和第二张图片都是虚假图像。特别是现在随着AIGC技术的发展，制作这些以假乱真的图像也越来越容易，识别这些伪造图像的难度也越来越高了。
第三个问题是我们在日常生活中可能会遇到的，那就是如何辨别骗子发送的这些引流欺诈图像。这些图像通常涉及一些引流诈骗的案例，就像我们看到的一号图像，它是一个涉黄小卡片。这些骗子希望通过手机号码将你引流到他们特定的渠道里进行诈骗。引流是指一些诈骗分子通过吸引你的注意力的方式，将你引导到某些需要你消费或提供个人信息的场景。接下来我们要讨论的是第二张图片，它实际上是电影《孤注一掷》中的赌博免费试玩的诱导图片，通过二维码进行引流，一旦你扫描了该二维码，很可能就会陷入骗局之中。最后一张图片展示了一种通过URL引流的手段。在电影中，我们可能会觉得这些虚假的引流欺诈图像很难骗到我们。然而，在现实生活中，我们更容易遇到短信诈骗，例如经典案例之一是秦始皇打钱的诈骗。这种欺诈图像可能更容易被我们辨认出来。但是，如果骗子精心设计了一个陷阱，例如利用一些我们日常生活中常见或习以为常的东西来诱导我们，那么我们该如何应对呢？例如，在右边的这张图片中，诈骗者会伪造一些假的订单详情页，让你误以为这是官方推送，并嵌入伪造的二维码。他们试图让你相信这些都是官方的正常操作，但实际上都是伪造的。因此，我们可以得知当前一些新型诈骗的主要元素，包括图片、URL和二维码。那么我们有哪些手段可以检测这些虚假的p图和AI生成的美女图像？又有哪些手段可以检测这些用于诈骗勒索的引流图像呢？这三个问题正是图像取证面临的三大现实挑战。首先，我们来讨论第一个问题，即p图假证。我们可能听说过一些新闻报道，某些骗子使用通过p图处理的账户余额截图，骗取大量资金。例如，有报道称有骗子使用一张虚假的钓鱼图骗取了20万元。此外，随着AIGC技术的发展，越来越多的人可以使用AI美女进行一些诈骗行为，这使得真假难辨。接下来我们要讨论的是电影《孤注一掷》中经常出现的引流欺诈案例。这些技术和场景都可以通过图像取证技术来解决。对应这三个场景，实际上是图像取证领域的三种技术。首先是图像篡改检测技术，主要解决传统P图的检测问题。其次是AIGC生成图像的检测技术，用于检测新型AI伪造图像。最后一个是引流欺诈图像检测技术，用于验证图像内容的真实性。图像取证技术主要针对图像的生成过程和传输编辑过程的痕迹进行检测，以辨别图像的真实性和内容可靠性。因此，随着AI生成能力的不断提升，过去我们要通过一些专业软件如Photoshop以及需要掌握P图技术的人员花费大量时间和精力进行图像伪造，但现在随着AIGC技术的发展，伪造图像的生成变得越来越容易。例如，左边这张图是今年年初有人用AI伪造的特朗普被捕照片，如果观众不知道真相，很难意识到这个图像是由AIGC生成的。解决图像伪造的技术是我们学术界主要研究的领域之一，图像取证技术最早可以追溯到上个世纪90年代，当时数字图像开始广泛使用，人们迫切需要一种技术来验证数字图像的版权和身份认证，或者验证在网络上传播的数字图像的内容真实性。因此，人们通过研究数字图像技术取证技术来辨别图像的真伪。早期的图像取证技术主要分为两种类型，一种是主动取证技术，早期的方案主要采用一些嵌入数字水印或数字签名的方式来保护图像。在谈到图像取证技术之前，我们先来了解一下背景。图像取证技术的出现是为了解决图像伪造的问题。历史上最早的一幅虚假图像出现在1860年。例如，左边的这张照片本来是林肯的照片，但实际上是将右边图像中替换某位议员头部而生成的。许多同学可能一直以为这张图像是真实的，但事实上它是伪造的。再比如，右边的这张照片展示了爱因斯坦在核弹爆炸环境下骑自行车的场景，但实际上这张照片也是假的，它是由下面的两张照片合成而成的。左边的场景是爱因斯坦在家门口骑自行车的快乐场景，右边的场景是核弹爆炸的场景。通过这种以假乱真的图像，不法分子往往会捏造事实，操纵舆论，给个人和社会带来严重危害。让我们具体了解一下数字图像水印技术是如何保护图像的。我们可以通过一个简单的例子来看看数字图像水印技术如何保护我们的图像。假设我们有一张证明我花费巨大精力拍摄的照片。我想要上传这张照片，但又希望关键信息不被不法分子利用或遭到恶意篡改。因此，我们可以使用数字图像水印技术来保护这张照片。具体步骤如下：首先，我们可以事先将脆弱的暗水印嵌入到图像中。例如，我们可以将一些关键信息嵌入到图像中，但不需要嵌入整个图像，我们可以选择性地嵌入需要保护的信息。例如，在这张照片中，我们想要保护的是我的姓名和日期，我们可以在关键部位嵌入保护性的水印。如果我们发现有人在网上篡改了我们的照片，比如更改了我的名字或日期，我们就可以拿到这张被修改过的照片。第二步是进行测试，我们只需提取当初嵌入图像中的水印信息，如果发现水印信息与原始信息不一致，则说明照片已被篡改。通过比较信息，我们还可以标记篡改区域，从而了解照片被修改的情况。被动水印保护技术可以非常精准地定位图像中被篡改的区域，但它仍然有一定局限性。为什么呢？因为我们不可能事先对互联网上的所有图像进行水印嵌入。例如，像我们之前提到的案例，尽管我们可以知道这张图像是通过将博主照片在火山熔岩背景图上篡改合成的，但我们无法在发布之前对人像和背景嵌入水印。因此，我们需要一种被动取证的技术，仅凭借图像的内容和特征来检测和定位图像中的篡改，并推断出篡改的方法或来源。正如之前所说，仅通过主动方法并不能有效保护互联网上的所有图像，因此需要一种被动的图像取证技术来辨别图像的真伪。那么如何一眼识破P图呢？我们刚才提到的被动取证技术包含三个妙招。首先是原图识别技术，它主要回答的问题是图像是否为相机拍摄的原图。例如，通过分析图像的头文件，我们可以发现是否存在Photoshop标记，从而怀疑图像不是相机拍摄的原图。第二个妙招是图像的篡改检测技术，它主要用于检测图像内容是否被篡改，以及确定具体的篡改位置。通过这项技术，我们可以看到刚才展示的背景图像的篡改区域。最后是来源识别技术，它主要回答图像的拍摄来源。如果我们知道图像的来源，是否可以进一步分析图像的篡改手法呢？我们可以将这个过程类比为破案的过程，就像侦探在破案过程中提出问题是否发生了案件一样。这些妙招可以帮助我们识别P图，揭示图像背后的真相。然后第二个技术是篡改检测，就像侦探发现了案发现场一样，他会努力找出嫌疑人是谁，并收集相关证据。第三个技术是来源识别，侦探希望进一步了解作案手法和使用的工具。我们首先来看原图识别这一妙招。原图识别的技术依据是图像的修改和传输往往在图像的头文件和原始数据信息上留下痕迹。通过原数据的指纹特征，我们可以判断图像是否为相机拍摄的原始图像。下面展示了一张相机拍摄的图像经头文件解析后的内容。原数据指纹通常包含图像拍摄时留下的各种信息，如时间信息、GPS信息、尺寸信息和缩略图等。这些信息与相机和设备相关。举个例子，我们可以观察头文件中的时间信息。一般来说，图像的头文件存储各种时间信息，对于原始图像来说，这些时间信息基本上是一致的。如果图像经过篡改，这些时间信息可能无法匹配，或者出现矛盾。例如，如果图像经过修改，头文件中显示的修改时间与拍摄日期不一致。另外一个例子是头文件中的尺寸信息，这也是一个关键的信息。修改后的图像往往会出现实际尺寸与头文件记录的尺寸不一致的情况。这是因为头文件记录的尺寸通常是拍摄时保留的尺寸，在经过修改后尺寸发生了改变。这些技术可以帮助我们识别P图，揭示图像背后的真相。根据这一点，我们可以确定图像是否为相机拍摄的原始图像。那么原图识别技术有什么用呢？它主要在阿里的业务风控场景中应用于原创保护业务。我们可以设想这样一个场景：当我们辛辛苦苦花了很多精力拍摄的图像传到网上后，却被别人投诉是他们的图像，该怎么办呢？这个场景大家可能都很熟悉，最近可能刚好发生过类似的事情。例如，在左边的图像是我们辛苦拍摄的原图，而右边的图像是某个不法分子盗用我们的图像以谋取利益。通过肉眼很难发现左边的原图和右边的盗图存在哪些微小的差异。因此，我们可以通过原图识别来挖掘头文件信息，发现右边的图像经过了Photoshop修改，从而合法地维护我们作为原图拥有者的权益。具体来看，在阿里的业务流程中进行原创保护，整个流程已经在安全团队的精心设计下非常完善了。在这里我想提及的是原图识别在原创保护中起到的作用。原图识别主要承担两个方面的作用。首先，当有人投诉并提供一张图像来质疑原创性时，需要验证投诉方提供的材料是否为相机拍摄的原始图像。如果投诉方的材料不是相机原图，我们可以驳回其投诉申请。其次，如果投诉方的材料通过了原图的验证，我们需要考虑被投诉作者的材料是否存在盗图的可能性。这时，我们会对被投诉的材料进行原图识别，并借助阿里安全团队开发的图比图技术来识别是否存在盗图情况。除了原图识别，可能有人还会问，如何知道一张篡改图像的哪些内容经过了修改？或者，如果我去除了头像的头文件，我们应该如何应对？因此，我们引入第二个技术，即图像篡改检测与定位，用于确定图像的哪些部分经过了篡改，并进一步识别出可疑的篡改区域。图像篡改检测与定位在没有任何先验信息或辅助信息的情况下，仅通过图像本身的特性进行检测。因此，我们需要了解一张图像是如何从自然场景转化为我们手机存储中的0-255像素取值的数字图像的。在这里，我们简要展示了相机成像的过程。首先，图像会经过相机内部的图像处理环节。例如，通过一些CMOS元件捕获真实场景的图像，然后通过CFA插值和一些相机内部处理，如白平衡和去马赛克操作，得到一个RAW格式的原始图像流。接下来，我们将这个原始图像流进行JPEG压缩，得到我们拍摄的图像。在图像传播和流传的过程中，很可能会经历一些相机后处理操作，包括篡改。这时，我们得到了最终在网上流传的图像。因此，我们可以根据相机的成像过程来捕获篡改检测的痕迹。根据刚才的介绍，相机的成像过程可以引出三种篡改痕迹的类型。首先，第一种篡改痕迹是采集痕迹。由于不同相机具有不同的内部处理软硬件差异，我们可以根据这些差异来定位图像篡改。如果一张图像的部分来自另一台相机，我们可以通过采集相机内部软硬件差异的痕迹来进行篡改定位。其次，我们刚才提到相机的原图如果不经过压缩就存储的话会占用大量存储容量，因此需要进行有损压缩。在这个有损压缩的过程中，我们也可以捕获一些压缩痕迹。如果一张图像存在两种不同的压缩质量，我们可以通过这些不同点来捕获图像篡改过程中生成的压缩差异痕迹。最后，在图像编辑过程中，各种编辑手段往往会留下一些痕迹。这是第三种篡改痕迹，即编辑痕迹。通过检测这些编辑痕迹，我们可以确定是否存在篡改操作。首先，我们讨论相机的采集痕迹，也称为相机指纹。举个例子，假设我插入了一张黄色飞机的图像（黄色飞机是相机1拍摄）到相机2拍摄的风景图像中，最终得到了一张插入了飞机的篡改图像。通过提取图像的相机指纹，我们会发现飞机区域与周围区域的相机指纹存在一些差异，因为这两部分来自不同的相机拍摄。我们主要介绍两种类型相机指纹。首先是PRNU，它实际上是指相机传感器对光线反应不均匀特性。由于不同相机的传感器结构和对光线反应的不均匀性不同，其对应的PRNU也会存在差异。例如，左边的三星设备和右边的两个iPhone5设备在PRNU研究图中展示了明显的PRNU差异。另一种类型是通过深度学习模型提取图像中的模式噪声Noiseprint。通过观察 Noiseprint噪声特征，我们可以看到在三星和苹果这两种手机中，发现它们之间存在明显差异。对于同一类型的手机，如iPhone中，它们之间也存在一些差异，但相对于不同款手机设备的差异来说，这些差异相对较小。后来研究人员又在Noiseprint的基础上提出了 Noiseprint ++，这些方法都是来自同一个团队的作品。相比于Noiseprint，Noiseprint ++在训练方式上采用了更丰富的处理操作和先进的自监督学习训练方式。除了对比学习方案，还采用了异常检测方案，旨在尽可能减少非篡改区域的误判。右边的效果图显示，Noiseprint ++相比Noiseprint，其提取的相机指纹噪声效果更加明显。除了第一种采集痕迹，我们还可以利用相机的压缩痕迹来进行图像篡改的检测。例如，在篡改图像的前景和背景时，通常来自两张不同的图像，它们在生成过程中往往会由不同的压缩质量因子生成。因此，我们可以在单次压缩图像中插入来自另一个压缩质量的片段，从而生成一幅伪造图像。这种伪造图像在插入部分呈现单次压缩，在其他区域呈现二重压缩特性。我们可以利用这种特性进行篡改检测。不同压缩因子会给压缩图像带来不同等级的信息损失，从而呈现不同的规律。例如，二次压缩的图像其DCT直方图会呈现周期性波峰。DCT直方图是指通过DCT变换把图像从空域转化到频域后，通过一些量化和删编码的方式在频率里尽可能地压缩图像信息。因此，在不同量化表产生的压缩图像中，会呈现出不同的DCT系数直方图的周期性波峰。虽然这种压缩损失在图像中肉眼比较难以发现，但是我们可以通过残差的方式将其放大，进一步检测图像中的压缩痕迹。例如，在左上角的图像中，我们插入了一个压缩质量为65的200×200图像块，这种篡改肉眼比较难以发现。但是，通过根据压缩痕迹进行篡改检测的算法，可以在以一系列质量因子进行进一步压缩后，得到一系列长插图。在这些长插图中，单次压缩和二次压缩会呈现明显的区别。例如，当压缩到65时，图片中的块会变得明显，说明图片中间的部分来自不同的压缩质量，这种压缩痕迹成为学术界进行篡改检测的方法之一。一些学者将压缩痕迹和量化表特征作为一种痕迹特征，将其纳入到端到端的卷积神经网络中，让CNN网络学习篡改前后的DCT直方图特征和量化表特征。该方法的检测效果在第四行第四列的一些图像中表现良好，但在一些周围区域仍会有误判。
为了解决DCT系数直方图已经是一个有损频率特征的问题，一些学者想到将空域RGB和频率DCT直方图作为双流输入，让网络能够学习两方面的纹理和压缩特征。例如后来的Kite技术相比之前的技术有了更好的检测效果。除了压缩痕迹，第三种痕迹是编辑痕迹。编辑痕迹往往来自于我们实际操作中，比如在Photoshop或其他软件中对图像进行操作，通常会留下编辑痕迹。实际场景中的图像操作多种多样，比如复制、拼接、插入、擦除和合成等，每种操作留下的痕迹可能都不同。常见的编辑操作包括复制和拼接。复制是将一部分内容从图像中复制到另一个区域，而拼接是将不同图像的区域合并到另一个图像中。此外，还有直接对图像进行内容插入和擦除等操作。这些操作往往会留下篡改痕迹。另一种常见的篡改方式是通过一些AIGC工具进行自动篡改。这种篡改痕迹通常与其他区别明显。因此，学术研究中的一些学者通过利用拼接区域与背景区域特征的不一致性来检测这些篡改图像。在展示的方法中，他们提取了两张图像的特征，并进行相似度比较。在所展示的案例中，我们可以看到莱昂纳多·迪卡普里奥的人物旁边进行了拼接。通过使用这种特征对比相似度的方法，可以有效地识别出拼接的区域和原始图像的区域。有一些学者开始思考，既然我们可以通过学习编辑痕迹来进行篡改检测，那么我们是否可以设计一个网络，使用各种篡改痕迹构建我们的训练样本。例如，有学者通过对385种图像篡改操作进行分类，学习到更加鲁棒的图像篡改操作痕迹。他们使用了一个全连接网络，列举了许多不同篡改操作的类型，经过训练后，网络可以有效识别到这些不同篡改操作的区别，下面展示的是对这些不同篡改操作的置信度。可以看到网络在这些不同操作类型上的分类准确率相当高，对一些测试集中的篡改图像也能够进行比较准确的定位。可能有同学会问，在图像篡改检测定位任务中，这实际上是一个图像分割任务。确实，图像篡改检测任务确实涉及图像分割，但我认为它与传统计算机视觉中的图像分割任务有一定的差异。因此，尽管图像取证和图像篡改检测是两个非常相似的任务，但在具体操作过程中，它们之间往往存在一定的区别。例如，在图像取证领域中，我们通常会更多地利用提取图像高频特征的频率特征作为辅助信息或者先验知识，以提高网络的学习效果。通过研究，我们发现，在同等的计算资源或数据集受限的情况下，如果我们预先将一些频率图像信息或图像边缘的特征添加到网络中进行学习，它的效果往往比直接使用图像数据集进行训练的效果要好。在介绍的方法中，我们使用了我们团队一位实习同学去年提出的方法。该方法同样也是先对图像提取高频频率信息作为特征输入，但它在图像篡改检测过程中设计了一些边缘损失来限制网络，使网络能够更好地学习到图像篡改的边缘特征。因此，它获得了比以往算法更好的检测效果。另外，我还想简单介绍一下目前最新的一些方法。目前有一些算法会更关注实际的篡改数据集，例如我们可以使用一些自动化方法生成数据集，自动地对图像进行篡改。我认为这是一种很好的手段，通过这种方式，我们可以大幅度扩充我们有限的篡改图像标注数据集。但是，这种方法也面临一个问题——通过AIGC自动化的方式进行的篡改，其核心点应该是尽可能让AIGC学会人工篡改的痕迹，而不是让生成的篡改区域越来越像图像其他区域，也不是让篡改图像的视觉效果越来越好。这样AIGC自动化篡改生成的图像数据，才会对我们实际场景中检测人工篡改的模型有更大的帮助。接下来，将具体介绍一些图像篡改检测在实际场景中的应用。在实际场景中，篡改检测算法需要更高的鲁棒性来检测图像内容的修改。由于在实际场景中面对的图像类型非常多样化和复杂，例如商标注册证、专利证书、健康证、转账记录、手机截图和驾驶证等各种类型的样本，我们需要对这些样本进行深入分析和检测。在实际场景中，我们还会面临一个问题，就是我们需要检测用户上传的待检测图像的来源链路通常非常复杂。这些图像可能经过各种后处理操作，例如用户可能会进行缩放、重压缩或者进行一些美化效果，如对比度亮度增强等。此外，这些图像上传后还可能通过非原图的社交媒体进行传输，有些不法分子甚至会采用反取证或对抗样本的手段来绕过我们的检测方法。阿里巴巴媒体安全团队自研了一套丰富的图像篡改检测技术和系统，依托阿里的各种业务场景。下面将具体介绍我们在阿里遇到的一些场景。首先是“PS门脸”的检测，主要用于解决在一些平台或地图软件上出现的虚假门店或网游诈骗情况。例如，我们之前捕获的一张图是一张伪造的案例。该用户明明位于合肥，但是通过我们的算法检测发现该图被篡改了。该用户通过PS门脸和其他认证信息，在北京的环球影城里新增了一个伪造的环球度假旅游咨询点，并在上面贴了一个诈骗电话。经过我们的算法检测捕获这个案例后，我们进一步核实发现这确实是一个伪造门店的信息。通过我们的算法，可以有效避免或降低这种伪造门店的风险。另一个应用比较广泛的篡改检测场景是证件的PS检测。一些不法分子可能会使用虚假证件或证明文件来诈骗或开店。例如，我们可以对司机的驾驶证、行驶证以及其他资质证明进行检测，以确认它们是否真实。我们的算法能够准确地标记这些证明文件和身份证件是否被篡改，以及篡改的具体区域。前面已经介绍了原图识别和篡改检测这两种技术，这两种技术已经可以很好地回答是否这张图像被P过。但是，有些人可能还想知道这张图像的来源。因此，我们还有第三种技术——来源识别技术。简单来说，这种技术可以应用在三个场景中。第一个场景是要确定图像的设备来源，即哪台设备拍摄的。第二个场景是要确定图像的平台来源，即它可能是从哪个社交媒体平台上传的。第三个场景是样本的变种追溯，我们需要知道这张图像是由哪张图像篡改得到的。在设备来源方面，我们提出了一套多场景学习的策略，该方案可以涵盖主流手机品牌的各种型号，如华为、苹果、小米、三星等。我们能够以极高的准确率进行设备和图像的一一匹配。同时，我们的算法也考虑到了检测的图像可能来自不同的社交媒体传输渠道，因此能够抵御多种社交媒体传输渠道的干扰。第二种来源识别技术是对图像平台来源的识别。例如，我们想知道一张图像来自于淘宝、微信还是微博等平台。我们为该场景构建了丰富的数据集，包括来自多个平台的数据集。在实际场景中，我们提供了一套解决方案，针对一些待测图像，可以准确地预测出它来自于哪个平台。最后一个来源识别技术是验证图像的PS模板来源。例如，我们展示了两张证件，它们实际上来自于同一个图像模板，经过PS修改后有不同的编号和成立日期。这种技术的目的是检测这些多个伪造证件是否来自同一个PS样本，仅通过不同的篡改修改不同的内容。该技术在阿里的多个场景中得到了应用，例如检测证明图像的变异样本和引流诈骗等。一些引流诈骗分子往往使用同一个PS模板并添加不同的QQ号来进行诈骗，只要有一个人上当，他们就能得到丰厚的回报。因此，我们也针对这种诈骗行为进行了不同模板、不同图像、不同内容的检测。此外，在打车场景中，我们还进行了司机证不同模板的识别。下面我们将介绍来源识别在真实业务场景下的应用流程，主要包括恶意投诉凭证和欺诈图像的检测流程。由于单个技术很难解决所有问题，我们通常会组合多种技术来更好地解决业务上的问题。例如，在凭证图像上，我们首先会使用篡改检测技术来判断是否存在图像篡改。如果未通过篡改检测，我们可以确定该图像存在风险。如果通过了篡改检测，我们可以进行模板匹配，其中包括对文本和图像进行匹配。通过这些方法，我们可以确定该图像是否为伪造图像，主要用于应对一图多用、文案的局部修改以及界面的局部修改等使用同一个PS模板生成的图像的检测场景。在今年4月份，工信部举办的第四届中国人工智能大赛中，恰好有一个赛道专门针对特定样本变体的识别。我们参加了这个赛题，任务是通过一些AI算法识别，在测试集中可能会混入提供的特定样本以及大量的非特定样本，并对这些特定样本进行噪声添加、篡改或其他后处理操作。该比赛的目标是在包含大量非特定样本的测试集中，准确识别哪些变体来自哪个特定样本。我们对这个赛题进行了分析，发现其特定样本类型主要包括自然风景、建筑和汽车等拍摄场景，因此我们在训练时选择了合适的非特定样本进行训练。另外，我们还进行了数据增强，包括加噪、加天气变化等操作，设计了一个合适的训练数据增强方案，并最终在比赛中获得了第一名。具体方案包括根据比赛环境的要求，使用较小的模型，分成两步训练。第一步是先使用特定样本数据集训练多个分类模型，再加入非特定样本数据集进行第二阶段训练，并使用度量学习方法来区分特定样本和非特定样本的差异，保持特定样本类内聚合，类间的距离远离。同时我们在训练时会保持特定样本和非特定样本数量平衡。我们还使用了3套包含多种数据增强的组合方式，分别训练了三个模型，包括旋转、缩放、裁剪、天气变化等。我们媒体安全团队自研了一个丰富的取证系统，包含多种方案，如数字水印、原图识别、内容篡改检测、来源识别等原子能力，可以帮助我们在各种业务场景中应对各种情况。例如，使用水印技术事前对图像打上水印，遭篡改后可准确定位篡改部分，达到事前防御的目的。接下来，如果我们需要进行事后检测，我们也训练了不同场景的专用模型，并且还有一些通用的检测方案。我们的取证系统涵盖了丰富的媒体类型，可以支持各种图像格式，同时也支持对PDF文档进行检测。举个例子，我们可以验证一个PDF文档是否经过了一些PDF软件的修改。针对篡改检测，我们还自研了一个检测的演示系统。如果我们拥有这套自研的图像创意检测演示系统，一眼识别p图只需要三个步骤。首先，选择图像；然后，点击检测；最后，查看检测结果，这样我们就能判断这张图像是否是p图。就像之前提到的，例如刚才我们互动的几张图像，比如胡锡进和佩洛西的那张图，通过我们的算法检测，可以发现它是一张p图。
近年来，人工智能生成内容技术（AIGC）迅速崛起，引起了公众的广泛关注，尤其是在内容问答和绘画领域，AIGC展示出了取代人力的潜力。在绘画领域，例如借助开源模型如Stable Diffusion，或商用绘画平台如midjourney，观众可以轻松输入一段文字，即可快速生成高质量、逼真的图像，这大大降低了绘画创作的门槛。然而，这也引发了人们对这种AI生成内容潜在安全风险的担忧。接下来，将讲述AI生成内容的风险有哪些，并举几个例子说明这些风险。首先，第一个风险是AI机器生成的图像可能被用于网络诈骗。举个例子，今年2月份的一个名为“女仆之夜金鸡湖游艇party“的海报在互联网上广泛传播，他们售卖席位的价格为3000块钱。购买者可以选择一位女仆在游艇上陪玩，海报下方还提供了一个二维码进行客服交流。进入后，你可以看到他们提供了43张女仆照片，这些女性在照片中都非常漂亮性感。然而，细心的网友发现这些照片实际上是由AI生成的。后来，警方证实这个案件可能是全国范围内首起利用AI进行网络诈骗的案例。第二个风险是，AIGC生成的图像也可以被用于制作虚假新闻。比如今年5月份，一张在美国五角大楼爆炸的假图像在美国社交媒体推特上广泛传播，甚至引起了美股短暂的下跌。这种虚假新闻传播引起了人们对人工智能技术更多的担忧。第三个风险是，AIGC生成的图像可能会对绘画行业造成巨大的冲击。这些AI生成的图像能够生成非常逼真的高质量图像，甚至比一些职业画师还要出色。例如今年8月份，去年8月份一个游戏设计师Jason Allen的作品《太空歌剧院》获得了美国科罗拉多州举办的艺术博览会数字艺术类别的冠军。然而，后来他揭露这个作品实际上是由AI生成的，使用了一个目前比较流行的商用绘画工具，即midjourney。这个工具生成的图像非常高质量，并且具有想象力，因此获得了冠军。第四个风险是，AIGC生成的图像可能导致版权侵犯的问题。在AIGC生成模型的训练过程中，它们主要依赖于从互联网上获取的大规模数据集，其中包括名为LAION-5B的数据集。由于这些数据量庞大，我们不可能逐张查看并清理其中受版权保护的图像，因此可能会存在许多受版权保护的艺术家作品残留在数据中。如果使用这些数据进行训练，生成的图像就可能存在侵权的风险。以下面的两张图为例，左侧的图是艺术家Erin Hanso于2021年的一幅油画作品《水晶枫枫树》，而右侧的图是通过输入提示词“生成Erin Hanso的风格”，利用Stable Diffusion这个开源模型生成的以该艺术家风格为基础的绘画作品。可以看到这两张图在风格、色彩和光照方面都非常相似。类似的版权侵犯事件也发生在国内，例如最近一个“B站广告涉嫌用AI洗稿网易游戏”的话题登上了微博热搜，阅读量达到数千万，讨论量高达6000万，甚至排名热搜第五位。但实际上,除此之外它还可能生成色情图像、暴力图像等许多涉及伦理道德问题的图像，这些并未逐一讨论。接下来，我们将介绍AIGC生成图像检测的研究内容。为什么要进行AI生成图像的检测呢？研究发现，区分AI生成的图像和真实图像是一项非常困难的任务。在一项名为HPBench的评估任务中，研究人员邀请了人类志愿者来区分高质量的AI生成图像和真实图像，结果显示，人类志愿者的平均准确率仅为61%，很多部分人都可能猜错了。同时，他们还评估了AI模型在同样的任务上的性能，通过一个名为Fake2M的大规模AIGC数据集上训练模型，在HPBench任务上评估准确率仅为86.3%。这说明目前AIGC生成图像的检测技术仍需要进一步提升。接下来我们来讨论一下普通人是否能够区分AIGC生成的图像，我们能否凭借一些细节经验进行区分？首先，我可以告诉大家，对于一些高质量的美女照片，我们是可以做到的。因为我们可以观察下面的三个例子，AI似乎不太擅于画手的细节。例如，在下面的三张图中，AI绘制的手在握手动作中，手指的数量是不正确的，有时甚至会多出一个手，这与我们现实逻辑不符。接下来，我们要介绍一下AI机器生成图像的检测技术，也就是说，识破AI美女的秘密武器有哪些。下面我们大致讲一下其中的一些秘密武器。第一个秘密武器是一篇论文，该学者提出了两种方法：第一种方法是比较常规的分类任务，将AI机器生成的图像输入卷积神经网络（CNN）进行训练，然后直接得出一个分类结果，判断图像是否是真实的。
接下来，我们要讲第二种方法。它发现不仅输入RGB的整图像，而且同时输入图像的描述信息，能够帮助我们更好地区分AIGC生成的图片。为此，他设计了一个双流网络。其中，一个“流”是从图片中提取特征的提取器，另一个“流”是从文本描述中提取特征的提取器。然后，将提取的两种特征进行融合，并通过全连接层进行分类。右边的实验结果表明，首先看红色条框的实验结果，该算法首先使用生成对抗网络（GAN）生成的图像进行模型训练，如果直接运用该算法到最新的AIGC技术上的图像检测中，其性能非常差，仅接近50%，类似于盲猜状态。第二个蓝色条框的实验结果中，他提出了第一个方法，即单模态的检测方法。虽然只在左边的第一个数据集上进行训练，然后在后面三个数据集上进行测试。如果在同一库的Stable Diffusion测试中，其性能相当高，达到90%以上。但是如果在后面的未知方法上进行测试，性能将逐渐下降。因此，他采用了第二种方法。第二种方法是增加了一个模态，即图像的描述信息。增加描述信息后，可以看到紫色方框的结果。与单模态相比，性能在泛化到后面的三种方法时有一定提升。当然，还有另外一种多模态方法。如果我们没有该图像的描述信息，我们该怎么办呢？我们可以使用一种新技术，称为“BLIP”技术，通过生成图像的描述来解决这个问题。他发现，通过使用BLIP技术生成的图像描述，在进行多模态训练后，其泛化性能反而更好。相对于原先的图像描述，它的性能也更具有泛化性。因此，它后面的三种方法的检测性能基本都能达到80%以上，甚至90%。接下来，我们要讲第二个秘密武器。该方法首先通过傅立叶变换的幅度谱分析各类生成图像的失真程度。可以看到下面的图像，它们的可视化特征各不相同，具有一些差异和不同的形态。但是，在该论文中，作者并没有提出一种新的检测算法，而是选择了目前取证领域中的四种比较先进的算法进行一项实验。他们仅在每种生成方法上进行了训练，例如过去的生成对抗网络在ProGAN上进行训练，然后在其他类型的GAN和其他AIGC生成方法，如Stable Diffusion这种方法上进行测试。在挑选的这四种方法中，仅在ProGAN上训练时，再泛化到其他情况时，其性能并不理想。该论文展示的四种方法中，最好的方法在没有后处理的情况下，最高准确率仅达到了75%。然后在经过缩放或压缩后，平均准确率竟然降至61%。这说明仅在ProGAN上进行训练的检测方法，在最近的Stable Diffusion文生图技术上还有许多研究空间。需要从新思路解决这个问题，不能直接使用以前的技术进行借用。第三个秘密武器是将SRM提取的高频滤波的手工特征与原始RGB提取的深度特征相结合，并结合Cross-Attention增强，设计了一种双流检测网络。首先介绍一下SRM，它是一种在取证和隐写分析领域中提取高频信息的结构。Cross-Attention是一种增强SRM手工特征和RGB特征的交互式注意力机制。最后，它们经过一个混合的复审层进行最终分类。实验结果表明，他们仅选择了两种生成方法进行实验，例如DALL.E2和DreamStudio。可以看到，在同库测试情况下，对于256x256的输入尺寸，该算法的准确率达到了99%，已经非常接近100%的识别准确率了。然而，如果我们将所有尺寸降低，性能可能会稍微下降。第四个秘密武器。该方法通过CLIP的图像文本对比思路解决问题。为什么要采用这种方法呢？因为通过使用CLIP预训练的模型提取特征，相对于常规的有监督分类任务训练的模型，或通过无监督学习方法MAE和MoCo等方法训练的模型，在特征空间可视化中最右边的CLIP方法更能够区分真假图像。因此，该方法采用CLIP的方法进行识别。他们是如何做到的呢？不同于前面的方法是二分类任务，该方法将其细分为4种分类任务，即真实拍摄图像、AI生成拍摄图像，真实绘画图像和AI生成绘画图像。然后将该标签对应的文本和原始RGB图像进行文本图像对比训练。通过训练后的模型，我们如何测试它呢？它的测试与我们通常的测试不太相同。首先，它需要选择几十张真实图像样本和几十个AI生成图像样本作为查询集。然后，如果有新的图像需要进行检测，它将通过比较真实图像集和AI生成图像集的cos距离来判断哪个距离更近，从而判断图像属于哪一类别。该方法有两个实验。第一个实验是在他们自己制作的open数据集上进行的测试。无论是在以前基于对抗网络生成的图像，还是在最新的扩散模型Stable Diffusion生成的图像检测上，平均准确率都可以达到非常高的98%。这种准确率非常高，几乎接近于100%。同时，他们还要考虑算法的鲁棒性。他们将在互联网上收集一些真实的AI生成图像（pratical数据集）进行测试。由于这些传播的图像可能经过许多传输后处理（如压缩、缩放等），这些传输后的后处理会对性能产生重大影响。然而，他们的检测平均阻抗力也很不错，达到了87%的性能。现在我们来讲一下第五个秘密武器，这个方法与前面四种方法都不同，之前的方法是在图像生成之后再挖掘假图的失真线索进行检测。而后面我要分享的两种方法，是基于扩散模型Stable Diffusion生成图像的过程中去挖掘失真的线索。例如，在这篇论文中，他们发现经过扩散网络重构后，与原图进行对比，在像素级别上的差异是明显的。可以发现, 如果是AI机器生成的图像，重构后的差距并不明显，可能差距非常小。因此，基于这个方法，他们提出了DIRE 的重构误差作为特征来进行检测。他们的方法是非常不错的，实验结果表明，在他们自己制作的数据集上，平均准确率都达到了98%以上，但在跨库测试上更具挑战性。以前的图像可能在LSUN数据集上，现在ImageNet中涉及到文本生成的图像，准确率可能降到了90%左右，没有像以前那样高达98%。接下来，我们来讲一下第六种方法，它也类似于前面的DIRE方法，但不是利用重构前后的两个图像进行比较，而是利用了在加噪过程中的重构误差。也就是说，先经过T步得到加噪处理的特征，然后通过δ步的重构来提取中间的重构特征。他们也提出了两种方法，一种是计算两种特征之间的绝对误差，另一种是将两种特征都输入到CNN中，直接判断图像是真实的还是伪造的。通过实验发现，有很多参数对结果有很大的影响。首先是选取中间特征的问题，到底哪一步的特征最好？研究者发现，在大约再经过δ=165步得到的重构特征表现最好。另外，开始经过T步的参数在不同数据集上有不同的适用性，比如在左边的CIFAR10数据集上，可能较高的步长更适用；而在右边的CELEBA数据集上，可能较低的步长更好。下面是两种方法的结果展示。如果只使用两种特征的绝对误差来判断，准确率可能会稍差。但如果不计算误差，直接将两种特征输入深度模型进行学习，性能反而会达到更好的结果。
接下来介绍，我们自研AIGC检测方法，使用自己收集的数据集进行训练。回到之前的例子，我们可以检测出这张美女照片是真实的还是AI生成的。比如前面提到的艺术家的作品是真人绘画，而通过Stable Diffusion生成的照片是伪造的。此外，可能在以后的电影中，赌博广告或黄色小卡片上的美女并不是真人，而是通过AI生成的。例如，我们可以做一些演示，输入提示词“性感美女荷官在线发牌，澳门赌场”就可以上批量生成这样的AI美女荷官，而我们的算法也可以检测到这些伪造的图像。除了之前提到的六种被动检测方法，还有一种基于数字使用的主动检测方法，即由阿里橙盾科技团队参与编写的《 AI生成内容标识方法》，即将出台。我们的团队也提供了相应的数据水印标识支持。利用数字水印 ，类似于主动篡改定位，我们可以判断一张图像是否包含AI生成图像的水印标志，从而实现对AI生成图像的溯源检测。同时在视觉上，插入水印后与原图并无区别。
首先，我们回顾一下电影，如果大家看过的话，应该对金晨饰演的模特安娜有印象，她是与引流相关的关键人物之一。接下来，我们介绍电影中与引流相关的情节和相应的危害。
首先，我们看到电影一开始安娜的写真照片被盗用来制作黄色小卡片，由于这个小卡片的原因，安娜的形象受到了损害，最终被公司解雇。而这张小卡片也成为后续解开案件线索的一部分，警察根据小卡片的线索来调查破案。第二张图片展示了一个赌博广告图像，安娜被海外的高薪招聘吸引，然后陷入了境外电信诈骗团伙的陷阱，并与诈骗平台合作，以“美女荷官”的形象进行广告宣传。
巧合的是，阿天（由王大陆饰演）这位赌徒正好看到了这样的照片。因为被美女吸引，他们出于好奇就点击进去，试玩了一次。在网络诈骗中，通常会让你先赢一把，让你尝到甜头后，你就会觉得通过这种方式可以发财，从而容易沉迷于网络赌博。
右边的两张图展示了电影中出现的两种引流方式。第一种是二维码引流，手机上有一个二维码；下面那张图则是通过蓝色URL进行引流。通过这种引流方式，诱导阿天下载赌博APP。因为下载了这种赌博APP，诈骗团队就可能控制你的手机。诈骗团伙的技术人员是非常厉害的，电影中的潘生是个程序员，他的技术非常厉害，可以侵犯攻击你的手机，向你发布广告，显示在你的手机上。然后，他们假装向你透露一些信息，让你以为知道什么情况下可以赢。
但很遗憾，其实是一步步引诱你进行网络赌博，最终导致阿天几乎破产，不得不卖房子甚至偷取财宝去赌博，最后因赌博失败被骗后，他选择跳楼自杀。通过电影中的案例，我们应该警惕不要相信网络上的网络诈骗，它们不可能带给我们财富。电影中有一个经典台词，即“人有两颗心，一颗是贪心，一颗是不甘心”。许多人通过网络赌博的方式想要赚钱，但一旦你陷入他们的陷阱，你可能输掉了一次后就会不甘心，想要赢回来。于是，你的赌注会越来越大，进入了一条无法后悔的道路，走上了绝路。
现实生活中其实也会存在这些一些案例，比如我们走到街上也会看到美女的小卡片，这很常见，千万就不要因为好奇心而去捡起来看，更不要加他的电话，这都是陷阱，引导你进去，它可能教唆你下载黄色APP或者裸聊、杀猪盘等诈骗，还有就是一些网络上等刷单招聘广告，让你刷单返现获利。
刷单、点赞任务和涉赌网站是网络诈骗中常见的手法。刷单任务通常很简单，比如在抖音上为某人点赞，完成网页任务等，完成后骗子会给你一定的报酬。第三种手法是引导人们进入赌博网站进行赌博。除了这三种手法，还有许多其他类型的引流欺诈，比如涉黄、涉赌的组合形式。
介绍一下真实案例中刷单返现的情况。首先，诈骗分子会发布一个任务，这个任务看起来很简单，并且你可以根据自己的时间自由完成。你需要先垫付100元，然后可以获得130元的返还，相当于获利30元。你可能会觉得做多了可以赚不少钱，一天可能能赚100到300元。
这种兼职任务看起来非常简单，但有些人可能会因为这样简单的兼职而被骗入其中。骗子会让你尝到甜头，让你做一些简单的任务，然后返还给你几十元或几百元的获利。为了获得你的信任，诈骗者在第三步开始逐渐增加垫付金额，并增加任务的难度，提高提现门槛。这意味着你可能需要完成多个任务才能提现，从而让你垫付的金额越来越多，甚至可能达到几万元或几十万元。他们会诱导你支付多笔货款来激活提现方式，直到你最终被骗为止。所以，我们被骗的损失可能最终达到几十万元。
🤔️现实生活中，我们的阿里电商场景是否也存在这种案例呢？我来分享两个案例。
首先是假客服的诈骗案例，这是诈骗团队的一种手法。首先，他们准备了许多买家的小号，然后寻找刚发布商品的商家，目标不是欺骗买家，而是欺骗店家。然后，他们通过键盘手在商家的留言中发布一些引流内容，比如让商家看他们的头像、商品，并进行上下留言，引起商家的注意。
如果你被骗子中计了，他们会引导你离开阿里旺旺，到站外进行私聊。因为在阿里旺旺上聊天可能会受到平台的监控。他们通常会引导你进入其他平台，比如微信、钉钉等进行详细的聊天，并逐步引导你进行支付。第四步是在你支付后，他们需要将金额转换成现金。他们不会使用常规的银行转账方式，而是让你购买虚拟卡或其他方式进行洗钱，因为他们需要处理大量的金额才能得到最终可用的合法资金。
这是他们在假客服诈骗案例中的流程思维导图，包括作案前、作案中的引导和变现的流程框架。
接下来，我们来讲第二个案例，它类似于刷单。在电商平台上，他们假装销售正品，诱骗买家通过完成简单任务来获得一些赠品，比如纸尿裤。然后，他们会引导你在其他平台如QQ上进行交流，让买家拍下一个订单金额上千元的虚假订单，然后不发货。
当受害者发现后申请退款时，诈骗者会告诉商家，公司需要验证买家的信用，需要进行更大金额的验资。要求买家进行大额转账作为验资。买家以为一旦转账完成就可以要回钱，实际上，尽管同意退还1000多元的款项，但对于几万元的大额转账证明，他们不会退钱并可能将受害者拉黑，使其无法联系到他们。
综上所述，通过分析这些案例，我们可以进一步了解欺诈图像研究的具体内容和方法。首先，让我们进行一些关于引流图像的数据分析，在电商场景中的引流图像可以大致分为七大类。
第一种是二维码引流，第二种是URL站外引流，其中URL链接与常规的URL有所不同，更为简洁。第三种是将QQ号直接插入到图像中的文字引流。第四种是纯文本引流，即在一个写字板上写下联系方式。第五种是通过打水印方式引导用户到不同的平台，例如引导用户到小红书或抖音，这些平台下方通常会有相应账号的水印。第六种是社交媒体截图，直接截取社交媒体账号的页面。最后一种是拍摄大屏幕上的引流信息。
通过数据分析，我们发现这些引流数据存在几个难点。首先，在真实的电商海量数据中，真实图像和引流图像的类别是不平衡的，比例可能是100:1甚至1000:1。其次，一开始的样本数量较少，可能只有几千张。此外，引流图像不断变化并且多样，具有很强的隐蔽性和变异性。如果只使用过去的OCR技术提取文字，有时可能无法识别这些引流信息。
除了我们通常见到的引流方式，随着人工智能技术的发展，先进的AI技术也可以应用于生成引流头像。举个例子，他可以通过控制二维码生成艺术二维码，与我们通常的二维码不同，虽然看起来是艺术图像，但你仍然可以扫描它，扫描二维码可以获取其中的链接内容。
另一种方式是利用AI的光影技术，将文字嵌入到图像中。如果我先将URL文字通过光影技术嵌入到图像中，同样可以实现引流效果。因此，以前的传统方法可能无法有效检测出生成的这种新型AI引流图像，因此我们需要结合前面提到的AIGC生成图像检测算法进行联合风控，以提高算法的业务风险防范能力。
接下来，我们将介绍我们团队目前研究的引流图像检测技术。我们将这种技术分为两种研究方向。第一种是通用的技术，适用于许多场景。只要图像中包含微信、QQ等账号二维码或URL，我们就将其归类为引流图像。但是这种通用性也存在问题，因为不同场景可能只想检测特定类型的引流二维码或引流URL。
因此，我们需要开发专用的检测技术，包括纯文本引流、URL引流、二维码引流和明水印引流等四种技术。针对二维码，我们也针对两种形式进行算法研究，即常规二维码和AI生成的艺术二维码检测算法，以不断提升引流图像检测的综合能力。
那么我们的算法是如何训练的呢？接下来，我将简要介绍我们算法的训练逻辑。首先，我们在业务上积累了一些数据，并从线上或离线的数据中进行标注，或从互联网收集数据构建初始的训练集。但是，我们自己收集的引流图像可能还不足够多，可能只有几千张，而通常训练一个算法可能需要数万甚至数十万的黑样本。那么，如果我们无法收集这么多样本怎么办呢？
通过研究一种自动化的增强学习方法，我们可以在线生成大量的引流图像。这样，就可以扩充我们的黑样本，从而训练我们的模型。当然，初始阶段模型的检测能力可能还比较弱，因此需要业务方提供一些漏检案例的反馈，不断优化我们的算法。最终，我们的算法将达到业务方的最终预期，并稳定下来。
接下来，详细介绍一下我们是如何生成引流内容的。对于图像的生成，我们首先设定一些规则。例如，选择引流类型、对应的账号或动作，同时还可以对引流内容进行调整，如将微信变为WX或将QQ变为企鹅的形式。
通过这种方式，我们可以生成无限多种可能的引流文本，并将其随机插入到图像中。这样，一张图像就有可能生成无限多种可能的引流图像，从而训练我们的算法，并使其具有很强的鲁棒性。
那么，我们训练好的算法是如何应用的呢？在阿里的电商平台上，每天都有海量的数据。一般情况下，这些数据会经过我们的风控系统进行过滤，以排除那些含有风险的图像。每张图像都会经过我们设计的多模态引流检测系统进行过滤。如果发现图像中含有引流内容，我们就会拒绝在电商平台（如淘宝、闲鱼）上显示该图像，并且对某些风险较高的图像进行用户处罚，禁止其发布商品，因为这些图像很可能是骗子的手段之一。
最后，介绍一下我们的研究引流检测方法的业务应用效果。以刷单URL这种站外引流刷单为例，通过我们的算法和逻辑策略的运营，我们每天能够召回300张风险图像，并且处置率达到94%，即在这300张图像中，有90%的图像命中引流图像。同时，我们也能够覆盖引流欺诈，其中嫌疑人的比例为28%。
对于引流欺诈中的图像引领的站外刷单，我们能够抓回80%的嫌疑人。每个算法都可能存在一些缺点，它们并不是完美的，有可能会漏掉一些图像，这意味着不仅仅是我们平台需要进行防控，每个个人也需要自己做好防控。我们需要提高反诈意识，共同努力才能让骗子无从下手。最后我就送大家一个就是防骗小锦囊——劝好男不裸聊，劝好女不刷单。
我们刚才介绍了许多技术，看起来可以解决一些场景上的问题。然而，在实际场景中，我们面临的对抗是非常严峻的，任何单一的技术都不能解决所有问题。
上一章所讲的引流欺诈图像检测，目前存在一些难点。针对这些点，我们分析了未来可能遇到的困难和挑战。例如，对于引流头像的黑灰产，它通过引流诈骗可以获得巨大的利益。因此，在引流的场景中，黑产内容会持续对抗，并且引流欺诈的类型层出不穷，变异速度非常快，同时也不断增强其隐蔽性。
举例来说，最初它可能通过QQ社交媒体主页进行操作，然后逐渐使用翻拍或者签名等手段，或者利用手写体识别，再到使用变体的QQ字或带有变体符号的方式来进行变种。他们希望绕过我们的检测手段。我们会根据这些变种类型及时进行强化学习，或者根据线上漏检案例不断优化算法，以防止新的变种或遗漏的风险点存在。
另外一个风险是随着AIGC生成图像技术的发展，目前已经可以肉眼可见地发现对图像进行伪造和篡改的手段变得越来越容易和方便。这也是一些新的风险方向。我们可以通过不断研究AIGC的检测技术来防止这些风险的发生。最后，引流检测中的另一个难点是，当黑产不断变化时，我们需要及时调整应对策略，并迅速跟进我们的算法。
至于AIGC生成图像检测，我们面临的难点主要是因为市面上存在许多AIGC生成图像的方法，非常丰富。每种方法之间可能存在一些差异。从早期的Game、VAE到最近的stable diffusion、DALL.E等技术，以及未来还会不断涌现出新的AIGC技术。
另外，在实际场景中我们还会遇到像之前提到的裁剪、JPGE压缩和缩放等操作。由于我们无法限制用户在上传链路中进行的操作，这些对图像的二次处理会对我们的检测结果产生一定影响。因此，未来我们还需要提高算法对这些后处理操作或社交媒体传输的鲁棒性和泛化能力。
最后，关于图像篡改检测中的第一个难点是，目前学术界的研究主要关注自然场景，例如风景图和人物图，相比之下，我们在实际场景中更多遇到的是证件图像的篡改检测。在这方面，相关的研究目前还比较有限。近两年虽然有一些增加的研究方向，但仍然相对较少。
另一个问题是，存在标记的篡改图像数据集相对较少。尽管我们可以通过使用AIGC自动生成篡改图像的方式，但与我们手工篡改的数据集相比，由于AIGC生成的图像很可能引入AIGC的特征，导致与实际场景中遇到的手工篡改数据集存在一些差异，影响我们模型的泛化能力。
另一个问题是，与自然图像的篡改相比，我们在证件图像篡改中的篡改区域通常较小。例如，只改变了一个数字。此外，如前所述，不同图像类型之间存在较大差异，并且我们的检测结果在物理可解释性方面较弱。
具体而言，在证件场景中，我们可以看到粒度非常小的串联。另外一个问题是在实际场景中，我们可能会遇到一些情况，例如一张图像a经过本地PS编辑后，先上传到微博，然后通过微信传给b，b再本地编辑后再通过微信传给c，最后c才将这张图像上传进行检测。在这种社交媒体传输过程中，我们都知道非原图传输会对图像造成一定的损失，因此我们需要针对这种传输链路设计相应的解决方案。
另外一个问题是在实际场景中，我们遇到的真正经过PS处理的图像实际上占比非常少。在我们实际的业务中，通常只有2%~3%。因此，我们需要在训练模型时不断平衡黑白样本的比例，以使模型更好地适应实际场景。
总结一下本期直播内容，我们主要展示了三个部分的技术。首先，在第一部分中，我们介绍了如何一眼识破P图，这里面重点是介绍图像篡改检测的内容。我们介绍了三个步骤来识别P图。然后，在第二部分中，我们介绍了AICC伪造图像的检测。在这方面，AICC检测方法和生成方法也是多种多样的。目前，我们希望能够找到一种通用的、泛化的AIGC检测方法，能够有效地检测由各种AICC生成方法产生的伪造图像，并尽可能地检测出更多的这些图像。
在第三方引流欺诈检测中，最大的问题是黑产的变异非常快速且数量众多。因此，我们肯定不能仅依靠算法来解决这些问题。在这个场景中，我们介绍了算法和一些实际业务中比较好的策略相互补充，以尽量将这些风险降到最低。
最后，总结一下图像取证的最终目标。因为安全本质上是一个双方互相攻防、对抗的战场，一直以来都是一方出招后另一方回应。不能说我们所有的算法能够永远禁止P图或伪造图像的产生，但我们的终极目标是让黑产伪造一张篡改图像的成本远远大于他们通过伪造获得的收益，这样至少可以确保普通人不会轻易通过伪造图像来获取非法利益。
最后，让我们简单介绍一下我们媒体安全团队。我们在图像篡改领域拥有丰富的积累和经验。之前，我们多次在天池举办了伪造图像的对抗攻击和伪造真实图像篡改检测的挑战赛。通过这些活动，我们为业界提供了丰富的伪造篡改数据，接近实际场景中的证件类型和文本类型。
除了图像取证方向，我们团队在数字水印领域也有深厚的积累。例如，我们的视频水印技术已通过了好莱坞的权威认证，这可以用于深度追溯伪造视频。目前来看，阿里应该是国内第一家通过好莱坞视频水印认证的公司。
评论
沙发等你来抢