影刀RPA新手教程：网站元素变化监控实战——页面更新自动检测与通知-平芜编程栈

影刀RPA新手教程：网站元素变化监控实战——页面更新自动检测与通知

一、认识影刀元素监控与hash对比原理

网站元素变化监控的核心是「抓取→hash→对比→报警」，用影刀的「获取元素信息」指令抓元素的outerHTML或textContent，然后用Python的hashlib计算MD5，两次hash不一样说明页面变了。

为什么用hash不用直接比字符串：hash是固定长度（32位MD5），存起来省空间，而且对比速度快，直接存整个HTML文本，几千次监控后你的Excel能撑到几百MB。

监控频率用影刀的「计划任务」设置，竞品价格页面每30分钟抓一次，库存页面每5分钟抓一次，频率太高会被封IP，太低漏掉变化，30分钟是平衡点。

影刀流程的逻辑：打开网页→等待元素加载→抓取元素内容→计算hash→和上次hash对比→不一样就截图+发通知+更新hash记录，顺序不能乱，乱了会漏掉变化或误报。

home.linyan.cloud 上有元素监控的完整示例代码，包括hash计算函数和变化检测逻辑，直接复制改URL就能用。

二、元素定位：精准抓取监控目标区域

监控价格或库存要定位到具体元素，不能用整个页面HTML（页面底部有个「访问量统计」组件每次都变，整个页面hash永远不一样），要用XPath定位到价格所在的div。

XPath用contains(@class,'price')模糊匹配，不要精确匹配class全名，电商网站经常改class名，一改你的脚本就挂了，模糊匹配能保证网站小改版脚本还能用。

动态加载的内容（比如「剩余库存：XX件」）要用「等待元素出现」指令等文本出现再抓，不等直接抓拿到的是「加载中…」，hash对比永远和上次不一样，误报到死。

iframe里的元素要用「切换到iframe」指令切换进去再抓，不切换抓到的是空的，hash是空字符串的MD5（d41d8cd98f00b204e9800998ecf8427e），每次都一样，永远不报警。

元素定位的筛选感：同一个页面先抓大区域（整个商品信息区）做hash，如果有变化再抓小区域（价格、库存、标题）逐个对比，确定是哪块内容变了，通知里写清楚变化的区域。

三、变量与数据类型：组织hash记录与变化历史

上次的hash值存「字典」变量，key是URL或元素XPath，value是上次抓到的hash字符串，每次对比完更新这个字典，存到本地JSON文件做持久化（流程重启后hash记录不丢）。

变化历史存Excel，字段包括：检测时间、URL、元素XPath、上次hash、本次hash、是否变化、截图路径，用「打开Excel」指令写入，每次检测完追加一行，不要覆盖。

截图路径用「字符串格式化」指令生成：C:/监控截图/{日期}/{URL简称}_{时间}.png，URL简称用「字符串替换」把特殊字符（😕?*）换成下划线，不替换Windows不允许做文件名。

变化次数计数器用「数字」变量，每次检测到变化就+1，累计变化超过5次（说明该页面最近频繁更新）发一条「高频更新预警」通知，提醒自己去看是不是有大促活动。

变量类型的坑：hash值是字符串，对比时用「条件判断」指令的字符串对比，不要用数字对比，虽然看起来都是数字和字母，但类型是字符串，用数字对比永远不等。

四、流程控制：变化检测与分级通知

变化检测用「条件判断」指令对比两个hash值：不相等→变化了→走变化处理流程；相等→没变化→写日志后结束本次检测，不要变化了还走没变化的逻辑。

变化处理流程：先「截图」保存证据→再「发送飞书消息」通知→最后「更新hash记录」→如果截图或发通知失败，用「尝试捕获」捕获异常，捕获到异常后写入「异常日志」Sheet，不要硬跑，硬跑漏掉了变化你不知道。

分级通知：价格下降→发「紧急」通知（红框截图）+ 发邮件给采购；库存变化→发「普通」通知（正常截图）；页面结构变化（元素抓不到了）→发「异常」通知（报元素定位失效），三个级别用不同的消息模板。

流程控制里加「频率限制」：同一个页面10分钟内只发一次通知，防止短时间内页面频繁变化刷屏（比如秒杀开始前库存数字每秒都变），频率限制用「日期时间差值」指令判断上次通知时间。

真实踩坑：页面加载不完全时抓到的hash和加载完的hash不一样，要用「等待元素出现」等关键点出现再抓，关键点选价格或库存文本，不要选页面顶部的logo（logo一直存在，等它没意义）。

五、网页自动化：打开页面与等待加载完成

打开监控页面用「打开网页」指令，超时设10秒，超时就关闭标签页重试，重试3次还打不开发「页面无法访问」通知，可能是网站挂了或你的网络挂了。

等待页面加载用「等待元素出现」指令，等待目标元素（价格文本）出现，等待时间设5秒，5秒内没出现说明页面结构可能变了，抓不到元素要发「元素定位失效」通知。

JavaScript渲染的页面（React/Vue写的）要用「执行JavaScript」指令等渲染完成：await new Promise(r => setTimeout(r, 2000))，等2秒让JS渲染完再抓，不等抓到的是初始HTML不是渲染后的。

分页监控用「获取元素属性」指令读「下一页」按钮的href，有href就点进去继续监控，没有就说明到尾页了，这个比「元素是否存在」准，因为下一页按钮一直存在只是变灰。

网页自动化的坑：电商网站有反爬，频繁访问会跳验证码，用「条件判断」检测是否出现验证码，出现了截图+发通知给自己，人工处理，不要假设验证码会自动消失。

六、数据处理：计算hash与变化分析

计算MD5 hash用「执行Python代码」指令，代码这么写（真实可用，不是demo）：

importhashlibdefcalc_md5(text):returnhashlib.md5(text.encode('utf-8')).hexdigest()

调用时把抓取到的元素内容（字符串）传进去，返回32位MD5值，存到变量里和上次对比。

变化分析：hash变了但内容可能只是多了一个空格或换行，要用「字符串替换」把空格、换行、制表符都去掉再算hash，去掉空白字符后再对比，真正的 content change 才会触发通知。

变化历史统计用「Excel读取」指令读历史记录，用「列表筛选」指令筛选出最近7天的变化记录，统计变化频率，频率高的页面说明竞品在频繁调价，要重点关注。

数据处理真实细节：抓取到的文本可能有编码问题（中文变成\uXXXX），用Python的text.encode('utf-8').decode('utf-8')规范化后再算hash，不规范化同样的文本算出来的hash不一样。

数据处理的筛选感：变化记录按「变化类型」筛选（价格变化/库存变化/页面结构变化），不同类型的通知发给不同的人，价格变化发采购，页面结构变化发技术。

七、鼠标键盘图像自动化：截图与标注变化区域

变化检测成功后用「截图（指定区域）」指令截变化区域的图，区域坐标用「获取元素位置」指令动态获取，不要写死坐标，写死坐标换分辨率就截歪了。

截图后标注变化区域用「图像操作」指令，在截图上的变化区域画红框，红框的位置用元素的坐标算：(x, y, x+width, y+height)，标注完的图片发通知时附上，一看就知道哪里变了。

批量监控多个页面时，用「For循环」遍历URL列表，每个URL截图存到不同文件，文件名带URL简称和时间，不混在一起，后面复盘哪个页面变了好找截图。

截图失败（比如元素突然消失了）用「条件判断」检测截图文件是否生成，没生成就用「全屏截图」指令截整个页面，至少有个全屏的图，完全没图后面复盘不知道发生了什么。

鼠标操作的坑：标注红框用Python的PIL库（from PIL import ImageDraw），影刀的「图像操作」指令功能有限，画复杂图形要用PIL，PIL要先pip install pillow。

八、进阶技能：outerHTML vs textContent的选择策略

outerHTML包含元素的所有HTML标签，适合监控「页面结构是否变化」（比如竞品改版了，价格从<span class="price">99</span>变成了<div class="new-price">¥99</div>），结构变了但价格数字可能没变。

textContent只包含文本内容，适合监控「价格/库存数字是否变化」，不包含HTML标签，页面改版但价格数字没变时不误报，改版误报是最常见的问题，用textContent能避掉80%。

选择策略：先监控textContent（价格/库存数字），如果textContent没变但你觉得页面可能改版了，再监控outerHTML做二次确认，两个都监控会收到双倍通知，烦死。

获取outerHTML用「在元素上执行JavaScript」指令，代码写function(element) { return element.outerHTML; }，获取textContent写function(element) { return element.textContent; }，两个函数都返回字符串。

进阶技巧：监控SPA（单页应用）用MutationObserver监听DOM变化，但影刀不支持直接跑MutationObserver，变通方案是定时抓→对比，间隔设短一点（10秒），短间隔+textContent对比能把误报压到最低。

九、平台实战：竞品价格监控+飞书通知完整流程

实战场景：每30分钟监控3个竞品的价格页面，价格变化超过5%发飞书紧急通知，截图附上变化前后的对比图，价格变化记录写入Excel历史表。

第一步：打开页面抓价格
用「打开网页」指令打开竞品页面→用「等待元素出现」等价格元素加载完→用「获取元素信息」抓价格文本的textContent→存到变量current_text。

第二步：计算hash对比
用「执行Python代码」计算current_text的MD5→和Excel里存的last_hash对比→不一样说明价格变了→进入变化处理流程。

第三步：变化处理
用「截图」指令截价格区域的图→存到C:/监控截图/→用「发送飞书消息」发通知（附截图）→用「写入Excel」更新last_hash和变化历史记录。

第四步：飞书消息格式
消息写：【价格变化】竞品XX的YY商品价格从ZZ变为WW，变化幅度X%，截图见附件，价格、变化幅度用「字符串格式化」填进去，不要发裸消息不写结论。

两个平台（网页监控+飞书通知）打通后，竞品调价你5分钟内就能知道，手动刷页面可能一天才发现，信息差就是利润差。

十、系统联动：Excel历史记录与邮件通知的协同

变化历史Excel用「数据透视表」统计每个竞品的变化频率，每周五用「发送邮件」指令把统计报告发给采购总监，报告里写「本周XX竞品调价X次，建议跟进调整」，不要只发数据不发结论。

截图文件定期清理用「For循环」遍历C:/监控截图/文件夹，用「日期时间差值」判断文件创建时间超过30天的用「删除文件」指令删掉，不清理C盘迟早爆满。

邮件通知用HTML格式（勾选「HTML格式」选项），HTML里嵌截图用Base64编码，用「Base64编码文件」指令把截图转成Base64字符串，嵌到HTML的<img src="data:image/png;base64,...">里，收件人不用下载附件就能看到图。

系统联动的坑：Base64编码后的字符串很长（一张截图约200KB→Base64约267KB），邮件服务器对邮件大小有限制（一般10MB），一次附超过37张图邮件发不出去，附最新的3张就够了。

跨系统联调时先测截图→再测hash计算→再测Excel写入→最后测通知发送，四个环节逐个验证，一口气写完所有逻辑调试时不知道哪段错了。

十一、工程化与规范：监控项目的可维护性

监控的URL列表、元素XPath、通知阈值（变化超过X%才通知）存到「配置表」（Excel文件），主流程里用「读取Excel」加载配置，不要硬编码，竞品URL变了你改Excel不用改流程。

异常日志用「写入日志」指令记录到Excel的「异常日志」Sheet，记录字段：时间、URL、异常类型、异常描述、处理状态，元素定位连续失败3次可能是页面改版了，要人工介入。

监控脚本用「计划任务」配置，每30分钟跑一次，运行结果用「发送飞书消息」通知自己「今日监控完成，共检测X次，发现Y次变化」，不用每天手动点运行，也不用每天看日志。

工程化细节：hash记录存JSON文件（C:/监控数据/hash_record.json），每次检测前用「读取JSON文件」加载，检测后用「写入JSON文件」保存，JSON比Excel读写快，而且结构是字典，按URL查hash是O(1)。

版本管理：每次改了监控逻辑（比如从监控textContent改成监控outerHTML），在影刀的「版本备注」里写清楚，比如「改用outerHTML监控，捕捉页面改版」，出问题能快速定位是哪次改动引入的。

十二、速查表与常见报错

问题	原因	解决办法
每次检测都报「发生变化」	页面有动态内容（时间戳/访问量）	只用价格/库存所在的小区域算hash，不用整个页面
元素抓不到报「超时」	页面结构变了或元素XPath失效	用F12重新抓元素，改用contains模糊匹配
截图是黑的或空白	页面没加载完就截图了	用「等待元素出现」等关键点出现再截图
hash对比永远相等	抓取到的文本是空字符串	检查元素定位是否正确，空字符串的MD5是固定的
飞书消息发送失败	Webhook地址错了或机器人被移出群	重新获取Webhook地址，检查机器人是否在群里
Excel写入失败报「文件被占用」	Excel文件被其他程序打开	先关掉Excel再运行，或用「强制关闭Excel进程」
截图文件无法保存	文件路径含非法字符（😕?*）	用「字符串替换」把非法字符换成下划线
Python代码执行失败	没装hashlib（实际上Python内置）	检查Python环境是否正确，用「执行Python文件」方式调用
通知刷屏（短时间内发多条）	没做频率限制	用「日期时间差值」判断上次通知时间，10分钟内只发一次
监控脚本跑着跑着停了	遇到异常没捕获，脚本中断	用「尝试捕获」包裹整个检测流程，捕获异常后记录并继续