CRATOR: a Dark Web Crawler

黑暗网络爬虫是一个复杂的过程，涉及特定的方法和技术来浏览Tor网络并从隐藏服务中提取数据。本研究提出了一个通用的黑暗网络爬虫，旨在有效地提取处理安全协议（如验证码）的页面。我们的方法使用种子URL列表、链接分析和扫描来发现新内容。我们还结合了用户代理轮换和代理使用的方法，以维护匿名性并避免被检测。我们使用覆盖率、性能和稳健性等指标评估了我们的爬虫的有效性。我们的结果表明，我们的爬虫能够有效地提取处理安全协议的页面，同时保持匿名性并避免被检测。我们提出的黑暗网络爬虫可以用于各种应用，包括威胁情报、网络安全和在线调查。

本论文旨在设计一种通用的暗网爬虫，以有效地提取处理安全协议（如验证码）的页面。其目的是为了支持威胁情报、网络安全和在线调查等多个应用场景。

论文的关键思路是将种子URL列表、链接分析和扫描相结合，发现新内容，并结合用户代理轮换和代理使用等方法，以保持匿名性和避免检测。该爬虫能够有效地提取处理安全协议的页面。

论文使用了多种指标评估了爬虫的有效性，包括覆盖率、性能和鲁棒性。研究结果表明，该爬虫在保持匿名性和避免检测的同时，能够有效地提取处理安全协议的页面。此外，论文还提供了开源代码。

在相关研究方面，最近的一些研究包括《Dark Web Crawling Techniques and Technologies: A Survey》和《A Survey of Dark Web Crawling Techniques》。