未来已来：AI爬虫爆发式增长下的企业如何重构安全策略

  数字经济时代，数据已成为企业竞争的战略资源，而抓取类爬虫程序作为数据获取的关键手段，不仅助力企业精准捕获关键信息，更为业务决策与落地提供了坚实的数据支撑。

  但需警惕的是，无论爬虫程序的抓取目的是善意还是恶意，均可能给企业带来多重技术风险，如网站性能下滑、网站指标污染、网络钓鱼网站发起的盗用凭据攻击，以及计算成本攀升等技术影响。不仅如此，随着AI赋能工具的快速迭代，恶意爬虫的技术升级速度大幅提升，攻击路径更趋隐蔽，破坏范围也更为广泛。

  针对AI驱动下恶意爬虫爆发式增长背后的逻辑，以及企业如何构建全方位数据安全防护体系等问题，比特网近日专访了Akamai大中华区售前技术经理马俊，围绕相关话题展开深度探讨。

Akamai大中华区售前技术经理马俊

  威胁加剧：流量下的恶意暗涌与行业冲击

  近年来，得益于大规模模型训练过程中对高质量、多维度数据的海量抓取需求，以及用户对各类AI服务的实际使用需求日益攀升，推动AI爬虫流量呈现爆发式增长。

  从行为特征来看，AI爬虫程序主要分为训练爬虫、代理/助手爬虫和搜索爬虫三种类型。训练爬虫专门用于采集训练大模型所需的数据，其行为模式类似于传统搜索引擎，能够主动抓取网站中的文本类文件，并依据预设规则进行大规模、无差别的网络检索，因而通常产生极高的流量。代理/助手爬虫常见于聊天工具等交互场景，旨在协助用户完成特定任务。此类爬虫行为更为精细和定向，严格遵循用户指令执行操作，流量规模相对有限，在整体爬虫流量中占比较低。搜索爬虫作为搜索引擎的替代方案，主要表现为两种形态：一是根据用户实时提问，即时在互联网上抓取最新信息;二是AI企业定期对动态内容进行采样，将资讯存入自有数据库，以便在用户提出类似问题时实现快速响应。

  值得警惕的是，AI爬虫流量爆发式增长的背后，并非所有爬取行为都遵循合法合规原则或善意目的，各类规避防护、破坏数据安全的恶意爬虫及违规工具也在伴随技术迭代持续滋生，诸如FraudGPT、WormGPT等恶意工具，以及广告欺诈爬虫、退货欺诈爬虫等违规程序，也在不断推高企业运营成本、影响网站性能，并导致业务指标失真。

  根据Akamai发布的《2025年数字欺诈与滥用报告》，当前42.1%的网络流量来自爬虫程序，其中恶意爬虫占比高达65.3%，且已有63.1%的恶意爬虫采用先进技术。从行业来看，数字媒体受冲击最为显著，AI爬虫流量占比达到63%;商业领域同样是重灾区，在为期两个月的观察期内，累计记录爬虫请求超过250亿次。而在对数据安全与合规要求极高的医疗保健行业，超过90%的AI爬虫活动集中于内容抓取。

  据马俊介绍，电商行业面临的风险为数字掠夺式攻击，主要表现为恶意抓取商品信息、用户数据等资源;金融业则频繁遭遇钓鱼攻击、数据篡改等针对性安全威胁;医疗健康领域重点面临数据泄露、勒索软件攻击等风险，此类攻击直接威胁患者隐私与医疗系统安全;出版业则需应对内容非法盗取、版权侵权导致的内容贬值等问题;出版/数字媒体原本依赖搜索引擎带来真实用户流量实现内容变现，但AI爬虫程序直接抓取内容并返回答案，导致页面流量无法转化为收益，即无法通过点击或广告实现营收，造成直接的经济损失。

  目前，亚太、北美、欧洲等地区的各行业对AI爬虫普遍采取“先观察、接纳，再制定策略”的应对思路，但这并非一刀切的解决方案。马俊认为，合理应对应分为两步：首先评估行业面临的真实业务风险及AI爬虫的具体意图;其次判断这些风险或恶意意图的影响是否可接受，并据此制定综合策略。对此，马俊建议企业采取以下组合策略：

  第一，建立可见性与分类能力。判断AI爬虫的“好”与“坏”需结合具体业务场景，分析其带来的是正面价值还是恶意影响。企业应通过流量来源分析、业务影响评估等方式，制定合理的应对策略。目前主流做法仍以观察和监控为主，主动拦截比例较低。建议企业采取更灵活的策略，以应对日益增长的AI爬虫流量。

  第二，持续加强Web与API基础防护。针对高风险的爬虫行为，如出现典型攻击特征，应在第一时间进行拦截，而非仅作观察。同时，可合理运用限速、信誉评估等手段进行辅助防护。

  第三，实施内容保护机制。对数字媒体、出版等内容驱动型行业而言，内容即核心资产，必须确保其被合法使用。建议企业对内容进行细分，并针对已识别的爬虫类型采取差异化策略。例如，可根据爬虫身份或类型，在内容交付层面进行区分，甚至为不同AI爬虫提供不同版本的内容。此外，也应做好缓存管理与内容分发策略的优化。

  第四，在组织层面做好能力准备。团队应建立相应的培训与响应机制，并在低风险时期积极开展演练与预案测试，以全面提升整体应对能力。

  由此可见，应对AI爬虫威胁需形成“监测―评估―防护―响应”的闭环体系，结合业务实际进行动态策略调整，方能在数据利用与安全防护之间取得平衡。

  智能屏障：以AI对抗AI的全生命周期防护

  AI技术的兴起，在API层面赋予系统强大的推理能力、资源整合能力与策略发现能力。API作为企业数字资产交互的枢纽，一旦此类能力被恶意攻击者滥用，便可通过技术手段逆向推导防护边界，尤其针对访问频率、UA 识别、行为轨迹等监测机制持续试探、逐步适配，最终绕过防护实施自适应攻击。

  马俊指出，“以AI对抗AI”已成为应对自适应攻击的有效路径。Akamai在不同流量层级集成了多类检测模型，这些模型主要基于机器学习与大数据分析技术构建：在初始层级，系统采用被动检测模式，将User-Agent、访问频率等特征输入模型进行学习分析，进而区分爬虫行为与真实用户访问，完成首轮流量筛选;在内容交付层，系统依据预设策略对不同内容类型实施差异化交付管控;在端点防护层，重点针对API接口，依托专属API安全能力为企业数字资产提供防护支撑。

  针对高级别、AI驱动的API攻击，Akamai进一步提供了“API安全防护”解决方案，从四个层面进行综合治理：

  一是资产发现，首先全面识别企业内部所有API资产，规避因“影子API”或未纳入管理的API引发的防护遗漏与盲区，确保所有接口均纳入管控体系。

  二是态势管理，基于OWASP等标准框架，主动检测API中潜藏的安全漏洞，涵盖代码层面缺陷、水平越权、身份验证缺失等风险点，协助企业在统一管理界面下优先治理关键API资产。

  三是运行保护，真正落地“以AI对抗AI”。当攻击方利用AI手段探测系统边界时，该方案依托AI技术能力实施实时反制，基于OWASPTop10威胁模型动态识别API风险，实时标注并生成预警信息，实现与安全响应流程的无缝联动。

  四是安全测试，支持静态代码扫描与API库渗透测试，通过主动检测手段提前发现并修复新型API攻击漏洞，构建前置防护能力。

  马俊表示，该方案以实现API全生命周期安全管控为目标，首先通过对企业全部API资产的统一发现与集中管理消除管理盲区，为安全防护筑牢基础;在此基础上强化API安全态势感知能力，实时掌握所有API的安全状态，精准识别高风险问题并明确修复优先级，确保关键漏洞得到及时处置;同时打通安全事件从发现到响应的全流程，优化应急响应机制以提升处理效率，进一步筑牢安全防线;并推动安全左移理念落地，将防护能力前置到开发阶段，覆盖代码层面乃至未上线的应用，实现从源头到终端的全过程安全管控。

  此外，方案还构建了多维度的细化防护能力，包括全面梳理API攻击面以确保无防护遗漏、识别并治理未授权API避免AI扫描或渗透导致的数据泄露、监控敏感数据流向并在发现外泄时快速溯源至具体API及调用方，精准判断是否由爬虫或AI行为引发，同时基于OWASP框架系统治理已知与未知风险，最终形成体系化防护能力。

  可以说，通过“以AI对抗AI”的深度集成与多层防护，企业能够在API层面构建智能、自适应的安全屏障，有效抵御日益复杂的新型爬虫与自动化攻击。

  合规治理：跨国企业应对AI爬虫的必修课

  不同国家对数据抓取的合法性存在各异的法律框架，在AI技术快速演进、互联网流量模式深度转型的背景下，这已成为跨国企业日益凸显的合规挑战。马俊认为，企业可从以下四方面系统应对：

  其一，强化合规管理的优先地位。企业需优先对自身面临的合规风险及被抓取数据开展识别与分类。不同业务场景下的风险，其影响范围与危害程度存在差异，直接决定数据保护的优先级、策略制定及合规标准。因此，风险识别与数据分类是合规管理的基础。

  其二，聚焦跨境数据合规核心要点。在“逆全球化”趋势下，数据跨境传输的合规性既关键又复杂。企业需严格遵循不同国家或地区对数据跨境流动的具体监管要求，并将其列为整体合规框架中的重要议题。

  其三，依托技术框架保障合规落地。以OWASP框架为例，其可作为有效的技术支撑工具，帮助不同规模企业保护数字资产、应用系统及数据安全，应对Bot爬虫等新型流量风险，为Web应用、API接口及大语言模型等提供保障。

  其四，构建跨部门协同治理机制。合规治理不仅是技术问题，更需要企业内部多部门协同。以OWASP框架落地为例，其实施需要开发、运维、安全等技术团队共同推进，同时也离不开法务、业务等非技术团队的支持。企业需凝聚内部合力，共同制定并落实合规管理清单，确保所有解决方案符合监管要求。

  总的来说，面对全球差异化的数据法规环境，跨国企业必须将合规治理提升至战略高度，建立可持续、可落地的跨境数据合规体系，为业务全球化铺平道路。

  写在最后：

  数字经济与AI技术的深度融合，既让爬虫程序成为企业挖掘数据价值的重要工具，也催生了新型安全威胁与合规挑战。恶意爬虫的技术迭代与攻击升级，正倒逼企业从被动防御转向主动治理，从单一防护转向体系化建设。

  Akamai的实践与方案表明，构建动态、智能、协同的纵深防护体系是企业应对AI爬虫风险的关键路径。未来，随着技术持续演进，唯有将智能防护、合规管理与业务发展深度融合，企业才能在筑牢安全基座的前提下，充分释放数据价值，于数字时代的浪潮中行稳致远、赢得先机。

来源：比特网