DataInfra-RedactionEverything 安装教程：从零开始搭建本地脱敏工作台

DataInfra-RedactionEverything 安装教程：从零开始搭建本地脱敏工作台

【免费下载链接】DataInfra-RedactionEverythingDataInfra Series. Redact EVERYTHING with local llms and vlms.项目地址: https://gitcode.com/gh_mirrors/da/DataInfra-RedactionEverything

DataInfra-RedactionEverything 是一款基于本地大语言模型和视觉模型的全能脱敏工具，帮助用户在本地环境中安全处理敏感信息。本教程将带你快速搭建属于自己的本地脱敏工作台，无需担心数据泄露风险。

准备工作：环境要求与依赖检查

在开始安装前，请确保你的系统满足以下基本要求：

• 操作系统：Linux（推荐 Ubuntu 20.04+ 或 CentOS 8+）
• 硬件配置：
  • CPU：4核8线程以上
  • 内存：至少16GB（推荐32GB）
  • GPU：支持CUDA的NVIDIA显卡（至少8GB显存，推荐16GB以上）
• 软件依赖：
  • Docker 与 Docker Compose
  • Git
  • Python 3.8+

快速安装：三步完成部署

1. 克隆项目仓库

首先通过Git克隆项目源码到本地：

git clone https://gitcode.com/gh_mirrors/da/DataInfra-RedactionEverything cd DataInfra-RedactionEverything

2. 配置环境变量

项目提供了完整的Docker化部署方案，只需简单配置即可启动：

# 复制环境变量模板 cp .env.example .env # 编辑.env文件设置必要参数（如GPU配置、端口映射等） nano .env

3. 启动服务

使用Docker Compose一键启动所有服务组件：

docker-compose up -d

等待镜像拉取和服务启动完成（首次启动可能需要10-15分钟，取决于网络速度）。

访问与初始化

打开Web界面

服务启动后，在浏览器中访问以下地址：http://localhost:8080

你将看到登录界面，使用默认账号密码登录（首次登录后请立即修改密码）：

• 用户名：admin
• 密码：admin123

工作台初始界面

成功登录后，你将进入系统的起始页面，这里提供了单文件处理和批量处理两种主要工作模式。

基础配置：自定义脱敏规则

进入设置页面

点击左侧导航栏的"配置"→"脱敏配置"，进入脱敏规则设置界面。系统默认提供了多种常见敏感信息类型的识别规则，包括姓名、身份证号、手机号等。

配置自定义规则

1. 在"文本脱敏设置"标签页中，可以启用/禁用系统预设的识别规则
2. 点击"添加规则"按钮创建自定义敏感信息类型
3. 设置识别模式、替换策略和显示格式
4. 点击"保存配置"使设置生效

开始使用：单文件脱敏流程

上传文件

1. 在起始页面点击"处理单个文件"卡片
2. 在文件上传界面，拖拽文件到上传区域或点击"选择本地文件"
3. 支持的格式包括：doc、docx、txt、pdf、jpg、png等

查看识别结果

文件上传后，系统会自动进行敏感信息识别，识别完成后可以：

• 查看高亮标记的敏感信息
• 手动调整识别结果
• 选择替换方式（如替换为***、随机生成等）

导出脱敏文件

确认识别结果无误后，点击"导出"按钮下载脱敏后的文件。系统支持多种导出格式，包括原格式导出和PDF格式导出。

高级功能：批量处理与结构化数据脱敏

对于需要处理大量文件的场景，可以使用系统的批量处理功能：

1. 在起始页面点击"批量文件处理"
2. 配置批量处理规则和输出路径
3. 上传多个文件或指定文件目录
4. 监控处理进度并下载结果

系统还提供结构化数据脱敏功能，支持数据库、Excel表格等结构化数据的批量脱敏处理，具体使用方法可参考官方文档：docs/操作手册.md

常见问题与解决方案

服务启动失败

如果服务无法正常启动，请检查：

1. Docker和Docker Compose是否已正确安装
2. 显卡驱动和CUDA是否正常工作
3. 端口是否被占用（可在.env文件中修改端口映射）

识别效果不佳

若敏感信息识别效果不理想，可以：

1. 在设置页面调整识别模型参数
2. 增加自定义识别规则
3. 更新模型文件（执行scripts/warmup_models.py脚本）

性能优化建议

为获得更好的处理性能，建议：

1. 确保GPU驱动为最新版本
2. 对于大型文件，先进行分割处理
3. 调整并行处理数量（在backend/app/core/config.py中修改）

总结

通过本教程，你已经成功搭建了DataInfra-RedactionEverything本地脱敏工作台，并了解了基本的使用方法。这款工具能够帮助你在保护数据隐私的同时，高效处理各类文件中的敏感信息。如需深入了解更多高级功能，请查阅项目文档或探索系统设置中的高级选项。

【免费下载链接】DataInfra-RedactionEverythingDataInfra Series. Redact EVERYTHING with local llms and vlms.项目地址: https://gitcode.com/gh_mirrors/da/DataInfra-RedactionEverything