news 2026/10/30 17:17:38

Screaming Frog Log File Analyser(尖叫青蛙网络爬虫软件)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Screaming Frog Log File Analyser(尖叫青蛙网络爬虫软件)


链接:https://pan.quark.cn/s/07db6190d732

1、在本站下载解压软件得到安装包以及注册机;
2、双击.exe运行安装,如图所示,选择安装方式,默认安装和自定义安装;
3、勾选Custom,如图所示,点击浏览选择软件安装路径,点击next;
4、选择要在其中创建程序快捷方式的“开始菜单”文件夹,默认即可点击next;
5、安装中,大家耐心等待一会儿;
6、安装完成,点击closet关闭;
7、运行软件,点击 AcCEpt;
8、如图所示,依次选择Licence-enter Licence;
9、如图所示,运行注册机,在注册机中输入用户名即可自动生成许可证密钥,将注册信息对应复制到软件中,点击确定;

软件特色
日志文件分析器工具报告…
在尖叫青蛙日志文件分析仪是一个搜索引擎优化审计工具,通过真实的上市公司增发建有全球成千上万的用户。收集和分析的一些数据的快速摘要包括 -
1、已抓取的网址
查看和分析搜索漫游垃圾网(例如Googlebot和Bingbot)已抓取哪些网址。
2、抓取频率
分析搜索机构用户代理搜索最多和最少抓取的网址。
3、完整事件数据
按时间戳访问日志中发现的每个URL的完整日志文件事件数据。
4、错误
识别客户端错误,例如链接断开和服务器错误(4XX,5XX响应代码)。
5、重定向
查看永久和临时重定向(302或301响应)。
6、响应代码不一致
在一段时间内快速查看响应代码不一致的URL。
7、最后响应时间
准确查看搜索机器人上次抓取URL的时间(以及第一个以及其他所有事件!)。
8、平均字节数
直接从日志文件事件数据中分析每个已爬网URL的平均字节数。
9、平均响应时间(毫秒)
发现每个URL的平均响应时间。
10、Referers
查看发现的每个URL的引用事件数。
11、目录
分析最常和最不常被爬网的目录和站点部分。
12、未抓取的网址
导入网址列表并发现尚未抓取的网址。
13、孤立URL
导入URL列表并发现哪些是日志数据,但您不知道。
14、随着时间的推移分析机器人
一次或多次上传多个日志文件,以分析和测量机器人活动。
15、比较任何数据
使用“URL”标头上传任何数据,以自动匹配日志文件数据并进行分析。
16、验证搜索机器人
自动验证Googlebot等搜索机器人,并查看IP欺骗请求。

软件亮点
1、可自动验证搜索引擎机器人
2、查找断开的链接,错误和重定向
3、查看最多和最少的已抓取网址和部分
4、查看Bot Crawl Frequency
5、查看Bot IP抓取活动
6、识别大型和慢速网址
7、查找未抓取和孤立的网址
8、结合并比较抓取数据
9、无记录事件限制
10、无项目限制

使用说明
1、建立一个新项目
要创建一个新项目,你只需要单击顶部菜单中的“新建”按钮或“项目>新建”。然后系统会要求你为项目命名并选择时区。你也可稍后重命名该项目。
你还可单击“用户代理”选项卡以配置在项目中分析的用户代理。默认情况下,日志文件分析器仅分析搜索引擎机器人事件,因此请选中“筛选用户代理(改进的性能)”框。
在此窗口的底部,你还可选择在导入日志时“验证机器人”。这将使初始日志文件导入更长时间,或者你可在导入后执行此操作。
假如要分析每个URL,只需忽略此选项卡并将其留空。
假如日志文件中的URL是相对的而不是绝对的,则还会要求你提供完整的站点URL,包括协议(HTTP或HTTPS)。只需在窗口中输入URL即可。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/27 4:13:57

GESP认证C++编程真题解析 | P11962 [GESP202503 六级] 树上漫步

​欢迎大家订阅我的专栏:算法题解:C与Python实现! 本专栏旨在帮助大家从基础到进阶 ,逐步提升编程能力,助力信息学竞赛备战! 专栏特色 1.经典算法练习:根据信息学竞赛大纲,精心挑选…

作者头像 李华
网站建设 2026/10/30 2:48:09

Eclipse 重启选项详解

Eclipse 重启选项详解 引言 Eclipse,作为Java开发中广泛使用的集成开发环境(IDE),其稳定性和功能性一直备受开发者青睐。在Eclipse的使用过程中,重启选项是一个常见的操作,它可能涉及到工作空间的恢复、插件的重启等多种场景。本文将详细介绍Eclipse的重启选项及其相关…

作者头像 李华
网站建设 2026/10/25 15:40:45

Python 环境搭建指南

Python 环境搭建指南 引言 Python 是一种广泛应用于数据分析、人工智能、网络开发等领域的编程语言。为了能够有效地使用 Python 进行开发,搭建一个合适的环境是至关重要的。本文将详细介绍如何搭建一个适合 Python 开发的环境,包括安装 Python、配置 IDE、以及一些常用库的…

作者头像 李华
网站建设 2026/10/25 15:41:53

智能垃圾桶、垃圾分类 App、环卫机器人、政策评估系统 YOLOV8模型如何训练生活垃圾分类检测数据集 建立基于深度学习框架YOLOV8垃圾检测系统

垃圾分类检测数据集 垃圾四类检测数据集 14964张 4类 YOLO格式【垃圾四类检测YOLO数据集】共【14964】张,按照8比2划分为训练集和验证集,其中训练集【11971】张,验证集【2993】张,模型分为【4】类,分类为:【…

作者头像 李华
网站建设 2026/10/25 15:42:01

精选 4 款基于 C# 开源、实用的工具类库,开发效率提升利器!

前言 在我们日常工作开发中工具类库是软件开发中不可或缺的一部分,它们通过提供通用功能、实现代码复用、封装复杂逻辑、提升代码质量与可维护性,帮助开发者更高效、更稳定地构建软件应用程序。 今天大姚给大家分享 4 款基于 C# 开源、免费、实用的工具…

作者头像 李华
网站建设 2026/10/30 3:00:56

英伟达CES 2026深度解读:物理AI革命与全栈技术重构(附演讲ppt)

英伟达创始人兼CEO黄仁勋在CES 2026的演讲,以“计算的炼金术”为核心,勾勒出加速计算与生成式AI双平台变革叠加下的技术蓝图,其内容涵盖物理AI突破、全栈硬件重构、开源生态建设及产业落地实践,深刻重塑了AI从虚拟走向物理世界的技术路径与商业逻辑。 本文主要参考2份文档,…

作者头像 李华