软件工具 近期更新: 2024-05-15
视频演示
软件详情
本软件工作原理是从一个初始网址中,查找外部网站,比如初始页面中有30个外部网站,那就继续爬取这30个外本网站,
可以正常访问的就收录进数据库,并且在这30个网站中再次查找外部网站如果每个站有30个外部网站,那就是30*30=900个
然后再访问这900个网站剔除无法访问的,找到正常访问的剔除重复加入数据库,然后再查找他们页面中的外部网站,如需往复
形成裂变式蜘蛛网!
当然这里边需要处理很多事情,比如爬行记录的去重、多线程之间的干扰、等等问题
采集域名:
导出域名:
历时一个月终于开发调试出抢答稳定的2.0版本。更好的利用了现代多核CPU的性能
历史版本性能:
第一版跑出10分钟1W+的网址数,已经非常强悍了
2.5版10分钟跑出2.8万个,注意这都是去重复后的网址哦,而且都是顶级域名
3.0版10分钟采集13万+个网站
3.2版 采集21万用时9分钟
每一次升级都是质的飞越,购买过的朋友快来下载最新版吧!
二级域名不算我们不采集没有用
具体的性能看你自己的电脑配置了,各位可以根据自己电脑配置适当调整线程数
这个5年前就买的最低配的货,也该淘汰了工欲善其事必先利其器 这个道理是对的
随便输入一个你想要的关键词就可以开始采集了
这一版基本是最终形态, 估计不会有什么大的变动, 大家可以关注一下更新日志,如果有改动会在下方日志里列出!
具体的软件使用操作,大家可以看一下演示视频!
建议不要过于追求太大的线程数量,这个要根据你的网络带宽来调整,线程数过大同时访问的站也就越多,那就可能其中有部分网站打不开,因为你的宽带不够了
5.2.3 修复部分电脑权限异常问题
更新于:2023-02-05
修复部分电脑权限异常问题
交流社区
[更新日志] 5.5 新增二级域名采集选项开关导出网址按照采集...
[更新日志] 5.4 新增采集渠道增加密码修改功能
[更新日志] 5.2.3 修复部分电脑权限异常问题
[更新日志] 5.2.2 加入动态网址监控功能修复部分win系统中...
[更新日志] 5.1 5.1 Beta 准备新功能
[更新日志] 4.1 修复域名不可包含无效问题
[更新日志] 4.0 更新对最新版本的https支持提升对不同...
[更新日志] 3.9.5 修复导出域名时可能与限制域名后缀不符的域...
[更新日志] 3.8 新增自定义种子网址功能搜索启动词改为多个...
[更新日志] 3.7 新增保存进度和加载进度功能,方便关闭软件...
[更新日志] 3.6.1 新增64位和32位程序可下载修复“Inv...
[更新日志] 3.6 自动保存网址后缀配置项取消多关键词输入,...
[更新日志] 3.5 采用最新多线程去重算法修复网址过滤造成的...
[更新日志] 3.3 优化源网址采集提升关键词最终网址数加入上...
[更新日志] 3.2 软件架构升级为64位,采集千万级别域名不...
[更新日志] 3.1 加入采集域名后缀限制功能优化去重算法,增...
[更新日志] 3.0 支持输入关键词启动爬虫界面更新-操作更简...
[更新日志] 2.5 美化用户中心界面UI,提示最新版本新增标...
[更新日志] 2.0 改进多线程异步爬虫效率比1.0提升6倍增...
有任何疑问或建议请此发帖