Chromedriver模拟点击HeyGem按钮实现无人值守运行

Chromedriver 模拟点击 HeyGem 按钮实现无人值守运行

在企业级内容批量生成的实践中，一个常见的挑战是：AI 能力已经具备，模型也能跑通，但最终产出仍依赖人工登录界面、上传文件、点击按钮。这种“半自动化”状态严重制约了效率提升。以 HeyGem 数字人视频系统为例，尽管其底层基于先进的语音驱动唇形同步技术，前端却停留在 Gradio 自动生成的 WebUI 上——功能完整，但缺乏原生 API 支持。

这正是浏览器自动化技术大显身手的场景。通过程序模拟真实用户操作，我们可以绕过接口缺失的限制，将原本需要鼠标点击的动作转化为可编程、可调度的任务流。其中，Chromedriver + Selenium组合因其成熟度高、跨平台性强，成为目前最可靠的解决方案之一。

为什么选择 Chromedriver？

Chromedriver 是 Google 官方为 Chrome 浏览器提供的 WebDriver 实现，它本质上是一个独立进程，监听本地端口（默认 9515），接收来自客户端的指令并转发给浏览器执行。这些指令遵循 W3C WebDriver 协议，支持元素查找、表单填写、文件上传、JavaScript 执行等几乎所有用户行为。

相比其他自动化工具：

• PyAutoGUI：依赖屏幕坐标和图像识别，极易受分辨率、窗口位置影响，在无头服务器上几乎不可用；
• Puppeteer（Node.js）：虽强大但语言生态受限，难以与 Python 主导的 AI 工程栈无缝集成；
• Requests + Session 模拟：对简单 POST 请求有效，但对于由 JavaScript 动态渲染、事件绑定复杂的 WebUI（如 Gradio 应用）往往失效。

而 Chromedriver 可直接操控真实的浏览器内核，完美还原用户视角的操作环境，尤其适合处理像 HeyGem 这类由前端框架动态生成 DOM 的应用。

更重要的是，它支持Headless 模式——即不显示图形界面运行。这意味着我们可以在 Linux 服务器、Docker 容器甚至云函数中部署自动化脚本，真正实现“无人值守”。

如何精准控制 HeyGem 的“开始批量生成”按钮？

HeyGem 系统基于 Gradio 构建，界面元素具有一定的规律性，但也存在动态 ID（如gradio-component-xx）的问题。若仅靠 ID 定位，一旦页面结构微调，脚本就会失败。因此，必须采用更稳定的定位策略。

推荐使用 XPath 或 CSS 选择器结合文本内容

例如，“开始批量生成”按钮在 HTML 中可能如下所示：

<button class="btn primary">开始批量生成</button>

我们可以用以下方式精确定位：

# 使用 XPath 匹配按钮文本 driver.find_element(By.XPATH, "//button[contains(text(), '开始批量生成')]") # 或使用 CSS 选择器 + 文本匹配（需配合 WebDriverWait） from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC wait = WebDriverWait(driver, 10) button = wait.until( EC.element_to_be_clickable((By.XPATH, "//button[contains(text(), '开始批量生成')]")) )

这种方式不依赖任何 ID 或 class 名称的变化，只要按钮上的文字不变，就能稳定命中。

文件上传的关键技巧

HeyGem 的音频和视频上传区域通常对应<input type="file">元素。虽然这类元素在页面上被隐藏或美化，但在 DOM 中依然存在。Selenium 不需要真正“打开系统文件选择框”，只需向该 input 元素发送文件路径字符串即可触发上传。

# 查找音频输入框并上传 audio_input = driver.find_element(By.XPATH, "//input[@type='file' and contains(@accept, 'audio')]") audio_input.send_keys("/root/workspace/test_audio.mp3")

注意：send_keys()接收的是本地文件路径，且浏览器必须能访问该路径（通常在同一台机器上）。对于远程部署场景，建议先通过 SCP、NFS 或对象存储挂载确保文件可达。

自动化脚本的核心逻辑设计

下面是一段经过优化的 Python 示例代码，实现了从启动到任务触发再到监控的完整流程：

from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Options from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time import os import logging # 日志配置 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s') # 浏览器选项 chrome_options = Options() chrome_options.add_argument("--headless") # 无头模式 chrome_options.add_argument("--no-sandbox") # 避免沙箱权限问题 chrome_options.add_argument("--disable-dev-shm-usage") # 共享内存不足时使用磁盘 chrome_options.add_argument("--disable-gpu") # 禁用 GPU 加速（某些环境下更稳定） chrome_options.add_argument("--window-size=1920,1080") # 设置视窗大小，避免响应式布局错位 # Chromedriver 路径（请根据实际安装路径调整） service = Service("/usr/local/bin/chromedriver") try: # 启动浏览器 driver = webdriver.Chrome(service=service, options=chrome_options) wait = WebDriverWait(driver, 15) # 显式等待最大超时时间 # 访问 HeyGem 页面 driver.get("http://localhost:7860") logging.info("已访问 HeyGem WebUI") # 等待主界面加载完成（可通过某个标志性元素判断） wait.until(EC.presence_of_element_located((By.XPATH, "//button[contains(text(), '开始批量生成')]"))) # === 上传音频文件 === audio_path = "/root/workspace/test_audio.mp3" if not os.path.exists(audio_path): raise FileNotFoundError(f"音频文件不存在: {audio_path}") audio_input = driver.find_element(By.XPATH, "//input[@type='file' and contains(@accept, 'audio')]") audio_input.send_keys(audio_path) logging.info("音频文件上传成功") time.sleep(2) # 给予后端处理时间 # === 上传视频文件（用于批量合成）=== video_path = "/root/workspace/test_video.mp4" if not os.path.exists(video_path): raise FileNotFoundError(f"视频文件不存在: {video_path}") video_input = driver.find_element(By.XPATH, "//input[@type='file' and contains(@accept, 'video')]") video_input.send_keys(video_path) logging.info("视频文件上传成功") time.sleep(2) # === 查找并点击“开始批量生成”按钮 === generate_button = wait.until( EC.element_to_be_clickable((By.XPATH, "//button[contains(text(), '开始批量生成')]")) ) if not generate_button.is_enabled(): logging.warning("生成按钮当前不可用，请检查是否已正确上传所有必要文件") else: generate_button.click() logging.info("【开始批量生成】按钮已点击，任务已提交") # === 监控任务进度（示例：轮询日志区域或标题变化）=== start_time = time.time() timeout = 60 * 30 # 最大等待 30 分钟 while time.time() - start_time < timeout: try: # 假设页面会更新标题为“处理中...”或“已完成” current_title = driver.title.strip() logging.info(f"当前页面标题: {current_title}") # 如果检测到完成标志（可根据实际情况调整） if "完成" in current_title or "Finished" in current_title.lower(): logging.info("任务已完成！") break # 或者监控输出目录是否有新文件生成 output_dir = "/root/workspace/outputs" if os.path.exists(output_dir): files = [f for f in os.listdir(output_dir) if f.endswith(".mp4")] if len(files) > 0: logging.info(f"检测到生成视频: {files}") break except Exception as e: logging.error(f"监控过程中发生异常: {e}") time.sleep(10) # 每10秒轮询一次 except Exception as e: logging.error(f"自动化执行出错: {str(e)}", exc_info=True) finally: driver.quit() logging.info("浏览器实例已关闭")

关键提示：务必保证chromedriver版本与google-chrome浏览器版本匹配。可通过以下命令查看：

bash google-chrome --version chromedriver --version

若版本不一致，会导致连接失败或协议错误。推荐使用chromedriver-binarypip 包自动管理版本：

bash pip install chromedriver-binary

并在代码中替换导入方式：

python from chromedriver_binary import add_chromedriver_to_path add_chromedriver_to_path()

HeyGem 系统特性如何助力自动化？

HeyGem 并非普通演示项目，而是具备生产潜力的数字人引擎。它的几个关键设计使其天然适合作为自动化流水线的一环：

• 多格式兼容：支持.mp3,.wav,.mp4,.mov等主流音视频格式，无需额外转码预处理；
• 批量处理模式：一次上传多个视频模板，搭配同一段音频，极大提升内容复用率；
• 日志持久化输出：运行日志写入/root/workspace/运行实时日志.log，便于外部程序读取分析；
• 结果集中存储：生成视频统一保存至outputs/目录，方便后续归档、分发或 CDN 推送。

这意味着，即使没有官方 API，我们也完全可以通过“UI 控制 + 文件观察 + 日志解析”三者联动的方式，构建出鲁棒性较强的自动化系统。

例如，可以编写一个守护进程，定期扫描指定输入目录，发现新音频文件后自动触发上述 Selenium 脚本，并在任务完成后将输出视频移动至发布区，同时记录元数据到数据库。

实际部署中的最佳实践

要在生产环境中长期稳定运行这套方案，还需考虑以下几个工程细节：

1. 替代固定 sleep，使用显式等待

不要盲目使用time.sleep(5)，应基于条件等待元素出现或状态变更：

wait.until(EC.element_to_be_clickable((By.XPATH, "//button[.='开始']")))

这样既能提高响应速度，又能避免因网络延迟导致的误判。

2. 添加健壮的异常处理机制

包括但不限于：

• 页面加载超时
• 元素未找到
• 文件路径无效
• 浏览器崩溃重启
• 网络中断重试

建议结合try-except与重试机制（如tenacity库）增强容错能力。

3. 日志联动监控提升可观测性

除了监听页面行为，还可并行监控后端日志文件：

tail -f /root/workspace/运行实时日志.log | grep --line-buffered "Processing"

通过分析日志中的处理进度信息（如“正在处理第 3/10 个视频”），可更准确判断任务阶段。

4. 安全边界控制

目前 HeyGem 默认无身份验证机制，若暴露在外网存在安全风险。建议：

• 将服务限制在内网访问；
• 使用 Nginx 添加 Basic Auth；
• 自动化脚本运行在可信主机上，避免 XSS 或 CSRF 攻击。

5. 结合定时任务实现周期性生成

利用cron实现每日自动播报生成：

# 每天早上 6 点执行 0 6 * * * /usr/bin/python3 /root/scripts/auto_generate.py >> /var/log/heygem_auto.log 2>&1

从而实现“夜间跑批，清晨交付”的理想工作流。

从 UI 自动化走向真正的 AI 工业化

当前这套方案的本质是“用自动化补足 API 的缺失”。长远来看，最理想的形态仍是 HeyGem 提供 RESTful 接口或 WebSocket 通信能力，允许直接提交任务、查询状态、获取结果链接。那样不仅性能更高，也更易于分布式调度。

但在现实落地中，许多优秀的开源 AI 项目都面临“有模型、无接口”的困境。此时，Chromedriver 成为了连接实验室成果与工业生产的桥梁。

未来可拓展的方向包括：

• 轻量化封装：将 Selenium 脚本封装为 Flask 微服务，对外提供简易 API；
• 消息队列集成：接入 RabbitMQ/Kafka，实现异步任务排队与负载均衡；
• OCR 辅助识别：当页面结构变化时，用 OCR 识别按钮位置作为备用方案；
• 容器化部署：使用 Docker + Selenium Grid 实现多任务并发处理。

自动化的目的从来不是消灭人工，而是把人从重复劳动中解放出来，去专注更具创造性的工作。通过 Chromedriver 驱动 HeyGem，我们不仅实现了数字人视频的无人值守生成，更探索出一条让前沿 AI 技术真正融入业务流程的可行路径——即使没有完美的接口，也能构建高效的系统闭环。

这条路或许不够优雅，但它足够实用。而这，正是工程的价值所在。