祝贺；康乔电子获得基于SCRAPY的分布式暗网资源挖掘系统及方法的发明专利.
本发明涉及数据挖掘领域，公开了一种基于scrapy的分布式暗网资源挖掘系统及方法，用以提升暗网资源挖掘的效率、广度以及灵活性。本发明包括中心节点控制模块和从节点爬取模块，所述中心节点控制模块包括爬虫种子任务队列、任务预处理模块、暗网任务队列和明网任务队列，所述从节点爬取模块包括暗网爬取模块、明网爬取模块和爬虫管理器；暗网在人为提供和通过明网爬取得暗网域名的基础上再通过暗网爬取模块和明网爬取模块从暗网页面和明网网页中爬取更多的暗网域名，从而实现对暗网域名的大量获取以及对暗网网页页面的存储。本发明适用于暗网资源挖掘。
发明专利号CN108829792A
