爬虫变害虫？Akamai助电商行业构建安全防线

  在数字经济飞速发展的时代背景下，数据作为关键生产要素的价值日渐凸显，正成为企业间竞争的核心资源。但与此同时，随着数据量的持续增长和广泛应用，也带来了严峻的安全挑战，爬虫技术被不法分子用于非法目的就是其中之一。

  实际上，恶意爬虫现象普遍存在于各行各业，但在电商行业其活跃程度和危害性显得尤为突出。据阿卡迈技术公司(Akamai)发布的《侵蚀您的利润：网络爬虫程序对电商行业有何影响》报告发现，爬虫程序流量占整个网络流量的42%，且65%的爬虫程序是恶意的。如何抵御爬虫，确保数据安全，已成为电商行业重点关注的问题。

  日前，比特网采访到Akamai北亚区技术总监刘烨，就电商行业中爬虫技术的现状与挑战，以及Akamai如何帮助电商网站有效应对这些挑战的策略与实践进行了分享。

 

Akamai北亚区技术总监 刘烨

  辩证看待“爬虫”技术

  近日，Akamai发布的新一期《互联网现状》(SOTI) 报告显示，随着网络内容抓取爬虫程序的激增，许多企业都会面临安全和业务威胁。

  “爬虫猖獗的背后，是受强大的商业利益所驱动。”Akamai北亚区技术总监刘烨说。他举例道，在电商行业，爬虫可能被用于抓取商品价格、分析竞争对手策略以制定自身定价方案，甚至可能利用脚本抢占库存、购买促销商品后转售牟利。在数字媒体领域，爬虫可能被用于新闻聚合，虽然能为平台带来新用户，但也可能损害原创者的权益与收入。此外，在社交媒体平台上，用户的个人隐私信息也面临着被非法爬取的风险。

  由此可见，爬虫问题在各个行业中都不容忽视。那么，究竟什么是“爬虫”呢？

  爬虫，即“Robot”的缩写，是一段能够模拟正常用户行为的代码。根据行为性质与影响，爬虫可以分为三大类：一是善意的爬虫，如搜索引擎，它们为信息流通与检索提供了便利;二是中性的爬虫，如Web scraping bots，它们在某些情况下有助于信息收集与聚合，但也可能因使用不当给企业带来损失;三是有害的爬虫，可能从事撞库攻击、库存抓取等恶意行为，严重损害企业利益与安全。

  刘烨指出，Akamai注意到一些具有正面价值的机器人应用，如聊天机器人与监控机器人。在生成式AI的推动下，聊天机器人正逐步替代人类完成客服、监控等任务，为企业运营效率带来显著提升。而监控机器人则通过定期检查系统健康状况，确保业务运行的稳定性与连续性。

  然而，另一类被称为“有害机器人”的威胁同样不容忽视。这类机器人的危害性因其行为而异，从滥用资源到直接针对系统敏感信息进行非法活动。具体而言，撞库攻击便是一个典型的例子，这种攻击方式利用从暗网等非法渠道获取的庞大用户名和密码列表，通过自动化程序尝试登录其他网站，以寻找可复用的凭证，对用户账户安全和企业资产构成严重威胁。此外，“库存抓取”机器人也是一大威胁，它们专门关注新品或限量版商品，一旦发现便迅速抢购一空，再转而在自己的平台上高价销售，不仅扰乱了市场秩序，也严重损害了企业的合法权益和利润。

  我们看到，并非所有爬虫都是有害的，有些爬虫对于信息的聚合与传播起到了积极作用，有助于提升企业的网络可见度和营收。因此，刘烨认为，应对爬虫问题时，需采取分而治之的策略，既要严厉打击有害爬虫，也要合理利用中性或有益的爬虫资源，以实现技术与商业的双赢。

  爬虫将带来哪些问题？

  值得注意的是，通过Akamai机器人管理程序对客户行为的分析结果显示，在监测期间内，针对电商网站的69亿次请求，其中49%来自真实用户，而略多于一半的请求则是由各类机器人爬虫完成的。进一步细分，识别出高风险类别的爬虫占据了总爬虫活动的27%。相对而言，有益的爬虫，如搜索引擎爬虫，占比达到了14%，而中性的爬虫则占据了8.7%的份额。

  刘烨以具体案例为例，介绍了爬虫在电商环境中的实际应用。首先，爬虫会广泛搜集销售热销产品的网站数据，包括价格、库存等关键信息。随后，通过对比分析，找出价格最优、优惠力度最大的电商平台。基于这些信息，不法分子可能会在另一个平台上开设店铺，以准新或全新未开封的产品进行转售，利用价格优势实现盈利。

  然而，爬虫带来的问题远不止于此。由于爬虫与真实用户的访问量相当，且爬虫通常部署在云端或高性能服务器上，其访问效率远超普通用户。这导致电商网站在处理爬虫请求时可能消耗大量资源，进而影响正常用户的访问体验，降低网站转化率。此外，爬虫还可能干扰市场营销分析工具的数据收集，导致决策依据失真。更为糟糕的是，某些爬虫专注于抓取特定产品页面的深层链接，可能导致这些页面因请求量过大而无法正常服务。

  值得关注的是，得益于“爬虫即服务”(Scraper as a Service, SaaS)模式，设计或编写一个爬虫程序已变得相当便捷。特别是随着技术的进步，爬虫服务日益智能化，融入了AI和机器学习技术，能够自动从多个数据源抓取内容，通过预设的逻辑进行数据抽取与分析，最终辅助用户制定竞争策略、优化产品定位及价格策略等。

  这种一站式解决方案为用户提供了便利，但同时也给电商网站所有者带来了挑战。随着爬虫技术的不断演进，其隐蔽性越来越强，特别是采用“无头浏览器”等技术的爬虫，能够模拟人类访问行为，使传统安全手段难以有效识别与拦截，这就要求电商网站必须采取更为先进的策略来区分正常访问与恶意爬虫。

  双重策略应对挑战

  基于此，Akamai提出了双重应对策略：一是在边缘网络层面，利用预定义的访问异常特征和协议指纹来快速识别并限制恶意爬虫。二是通过深入分析访问行为，如鼠标移动轨迹、键盘敲击模式，以及设备指纹，结合机器学习模型，进一步细化识别精度，确保对潜在威胁的精准打击。

  不仅如此，针对不同类型的爬虫，Akamai还提供了差异化的解决方案。对于扫描漏洞、抓取内容或窃取用户信息的恶意爬虫，采用更为严格的防护机制;而对于那些有助于提升网站质量或服务的良性爬虫，则采取更加灵活的管理策略。

  “Akamai致力于通过精准的检测与高效的管理，为电商网站营造一个安全、健康的运营环境。”刘烨说道。

  写在最后：

  面对不断演变的爬虫技术，电商行业需要采取有效的应对策略。Akamai凭借其专业的技术和解决方案，为电商行业营造了一个安全、健康的运营环境，确保数据安全和行业健康发展。