news 2026/7/1 15:28:58

本地部署爬虫管理平台 Crawlab 并实现外部访问

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
本地部署爬虫管理平台 Crawlab 并实现外部访问

Crawlab 是一款分布式爬虫管理平台,支持运行任何语言,具有扩展性还提供了爬虫自动化部署、在线文件编辑等功能。本文将详细的介绍如何利用 Docker 在本地部署 Crawlab 并结合路由侠实现外网访问本地部署的 Crawlab。

第一步,本地部署 Crawlab

本文 Crawlab 的安装需在 docker 环境下进行,若未安装 docker 可参考文章安装 Docker 详细说明(Linux)

1,创建 Crawlab 文件夹。

mkdir -p /volume1/docker/crawlab/{data,master,worker01,worker02}

2,进入 Crawlab 目录。

cd /volume1/docker/crawlab

4,创建 docker-compose.yml 文件。

vim docker-compose.yml
version: '3.3' services: master: image: crawlabteam/crawlab:latest container_name: crawlab_example_master environment: CRAWLAB_NODE_MASTER: "Y" CRAWLAB_MONGO_HOST: "mongo" volumes: - "./master:/root/.crawlab" ports: - "8235:8080" depends_on: - mongo worker01: image: crawlabteam/crawlab:latest container_name: crawlab_example_worker01 environment: CRAWLAB_NODE_MASTER: "N" CRAWLAB_GRPC_ADDRESS: "master" CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer" volumes: - "./worker01:/root/.crawlab" depends_on: - master worker02: image: crawlabteam/crawlab:latest container_name: crawlab_example_worker02 environment: CRAWLAB_NODE_MASTER: "N" CRAWLAB_GRPC_ADDRESS: "master" CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer" volumes: - "./worker02:/root/.crawlab" depends_on: - master mongo: image: mongo:4.2 container_name: crawlab_example_mongo restart: always volumes: - ./data:/data/db

5,启动容器。

docker-compose up -d

6,浏览器输入 http://localhost:8235 即可访问 Crawlab。

第二步,外网访问 Crawlab

当前未提供网页管理,在任意一台 Windows 机器安装路由侠 Windows 版,用作跨机器管理。点此下载

1,下载安装完成后,打开路由侠界面,进入【设备中心】。点击右下角的“添加设备”,此时可查看到对应的安装码,此安装码用于将设备添加到对应账号下,可选中后复制。

2,直接下载后导入。

wget https://dl.luyouxia.com:8443/v2/lyx-docker-x86_64.tar docker load -i lyx-docker-x86_64.tar

3,然后使用该镜像启动容器。

docker run --name lyx -it --restart=always --net=host -e code=这里填写安装码 luyouxia/lyx

4,当前 Linux 终端这边,如果是使用的上面的命令,Docker 是运行在前台,此时可以按住 Ctrl+C ,退出路由侠,容器也将退出。现在可以使用以下命令将其放入后台持续运行。

docker start lyx

5,现在回到 Windows 这边设备列表,点击右上角的×返回主界面,再次进入,就可以找到这个设备,可以修改名称。

6,回到主界面,点击【内网映射】。

7,注意右上角的设备名称下拉框,这里选中刚刚添加的设备名称,此时在这个界面上添加的映射,就属于刚刚这个设备。添加或修改一般需要等待30秒,容器中的路由侠进程就会更新并加载。切换好设备后,点击【添加映射】。

8,选择【原生端口】。

9,在内网端口里填写端口 8235 后点击【创建】按钮,如下图。

10,创建好后,就可以看到一条映射的公网地址,鼠标右键点击【复制地址】。

11,在外网电脑上,打开浏览器,在地址栏输入从路由侠生成的外网地址,就可以看到内网部署的 Crawlab登录界面了。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/1 0:56:25

CUDA安装后无法识别?教你正确配置Miniconda中的PyTorch环境

CUDA安装后无法识别?教你正确配置Miniconda中的PyTorch环境 在深度学习项目开发中,你是否曾遇到这样的尴尬场景:明明已经装好了NVIDIA驱动和CUDA Toolkit,系统里nvidia-smi也能正常输出,但一运行Python代码&#xff0c…

作者头像 李华
网站建设 2026/6/26 16:22:34

Python安装完成后未生效?Miniconda-Python3.10刷新PATH路径方法

Python安装完成后未生效?Miniconda-Python3.10刷新PATH路径方法 在人工智能和数据科学项目中,一个常见的“低级但致命”的问题往往是:明明已经安装了 Miniconda 和 Python 3.10,可终端里敲 python 还是提示“命令未找到”。这种看…

作者头像 李华
网站建设 2026/6/29 7:12:39

HTML语义化标签应用:Miniconda-Python3.10提升SEO友好度

HTML语义化标签与Miniconda-Python3.10:构建可复现、高可见的技术内容体系 在人工智能和数据科学项目日益复杂化的今天,一个常被忽视的问题浮出水面:我们能否确保别人不仅“能运行代码”,还能“轻松找到并理解它”?这…

作者头像 李华
网站建设 2026/6/29 21:38:34

Anaconda下载缓慢?改用Miniconda-Python3.10镜像极速体验

Miniconda-Python3.10 镜像:告别 Anaconda 下载慢,开启轻量高效开发 在数据科学和人工智能项目中,你是否曾经历过这样的场景:深夜赶工搭建实验环境,打开浏览器点击 Anaconda 安装包下载链接,进度条却以“每…

作者头像 李华
网站建设 2026/7/1 15:09:47

[HNCTF 2022 WEEK3]CM2

得到文件看起来是一个安装程序粗略的查看一下没什么东西,应该就是正常的安装执行安装主程序随便输测试一下IDA 分析主函数里没找到相关信息查找字符串引用一下上面有两条获取输入的函数,分别赋给 v2,v3有一条判断 v2 ! admin查看验证 v3 的函…

作者头像 李华
网站建设 2026/6/26 16:22:40

Anaconda图形界面劣势:Miniconda命令行更适合服务器部署

Anaconda图形界面劣势:Miniconda命令行更适合服务器部署 在高性能计算集群、云服务器或远程科研环境中,你是否遇到过这样的场景?团队成员提交的训练脚本因为“包版本不一致”而失败;新同事花了整整两天才配好能跑通代码的环境&…

作者头像 李华