PHP在银行应用中如何实现视频大文件的分片与秒传分享？

中石油子公司大文件传输系统技术方案调研与实现

一、项目背景与需求分析

作为中石油旗下子公司，我们目前正在参与一个政府招投标项目，其中核心需求是实现20GB级大文件的安全可靠传输，包含完整的文件夹上传/下载功能，并需满足以下技术要求：

1. 兼容主流浏览器（Chrome/Firefox/Edge/IE11）及国产化信创环境（麒麟/统信UOS+中科方德）
2. 后端基于PHP+MySQL架构
3. 前端采用Vue2.6技术栈
4. 支持断点续传、秒传、传输进度可视化
5. 企业级稳定性要求（99.95%可用性）

二、现有开源方案评估与痛点

已评估方案

1. WebUploader（百度开源）

   • 优点：分片上传基础功能完善
   • 痛点：已停止维护，IE11兼容性问题突出，无文件夹上传支持
   • 关键代码问题：

     // 旧版分片计算逻辑在超大文件时会出现整数溢出functioncalculateChunks(file,chunkSize){// 原始实现存在2GB限制returnMath.ceil(file.size/chunkSize);}

2. Plupload

   • 优点：多浏览器支持较好
   • 痛点：国产化环境适配差，无TypeScript类型定义

3. Uppy

   • 优点：现代前端架构
   • 痛点：PHP后端插件不成熟，企业级案例较少

三、自主解决方案设计

架构设计

核心技术创新点

1. 混合分片策略：

   • 小文件（<100MB）：单线程上传
   • 中文件（100MB-5GB）：固定分片（5MB/片）
   • 超大文件（>5GB）：动态分片（根据网络状况调整）

2. 国产化环境适配层：

   // 浏览器检测与兼容处理classBrowserAdapter{publicstaticfunctionis国产化浏览器(){$userAgent=$_SERVER['HTTP_USER_AGENT'];returnpreg_match('/360SE|QIHU|Maxthon|TheWorld|Sogou/i',$userAgent)||strpos($userAgent,'XinYi')!==false;}publicstaticfunctiongetUploadConfig(){returnself::is国产化浏览器()?['chunkSize'=>2*1024*1024,// 国产化环境降低分片大小'concurrent'=>2]:['chunkSize'=>5*1024*1024,'concurrent'=>4];}}

前端核心实现

1. 文件选择与校验组件

export default { data() { return { fileList: [], maxSize: 20 * 1024 * 1024 * 1024 // 20GB限制 } }, methods: { handleFileSelect(e) { const files = Array.from(e.target.files); files.forEach(file => { if (file.size > this.maxSize) { this.$message.error(`文件 ${file.name} 超过20GB限制`); return; } this.fileList.push({ file, size: file.size, progress: 0, status: 'waiting', chunks: this.calculateChunks(file) }); }); // 清空input以便重复选择相同文件 this.$refs.fileInput.value = ''; }, calculateChunks(file) { // 动态分片算法 const baseSize = 5 * 1024 * 1024; // 基础分片5MB if (file.size < 100 * 1024 * 1024) return 1; // 小文件不分片 const chunkCount = Math.ceil(file.size / baseSize); return chunkCount > 1000 ? 1000 : chunkCount; // 最多1000个分片 } } }

2. 分片上传实现

// uploadService.jsconstUPLOAD_API='/api/upload/chunk';exportdefault{asyncuploadFile(file,chunkIndex,totalChunks,fileId){constformData=newFormData();conststart=chunkIndex*this.chunkSize;constend=Math.min(start+this.chunkSize,file.size);constchunk=file.slice(start,end);formData.append('file',chunk);formData.append('fileId',fileId);formData.append('chunkIndex',chunkIndex);formData.append('totalChunks',totalChunks);formData.append('md5',awaitthis.calculateFileMD5(chunk));// 实际项目中应使用Web Worker计算try{constres=awaitaxios.post(UPLOAD_API,formData,{onUploadProgress:(progressEvent)=>{constpercent=Math.round((progressEvent.loaded*100)/progressEvent.total);// 更新UI进度this.$emit('progress',{fileId,chunkIndex,progress:percent});}});returnres.data;}catch(error){console.error(`分片${chunkIndex}上传失败`,error);throwerror;}},// 秒传检测asynccheckFileExists(fileHash){returnaxios.get(`/api/upload/check?hash=${fileHash}`);}}

后端PHP核心实现

1. 分片接收与合并

mergeFile($fileId,$totalChunks,$fileHash);}returnjson_encode(['status'=>'success']);}privatefunctionmergeFile($fileId,$totalChunks,$expectedHash){$chunkDir=self::CHUNK_DIR.$fileId;$finalPath=self::FINAL_DIR.$fileId;// 按顺序合并分片$fp=fopen($finalPath,'wb');for($i=0;$i<$totalChunks;$i++){$chunkPath="$chunkDir/$i";$content=file_get_contents($chunkPath);fwrite($fp,$content);unlink($chunkPath);// 清理分片}fclose($fp);rmdir($chunkDir);// 验证文件完整性$actualHash=md5_file($finalPath);if($actualHash!==$expectedHash){unlink($finalPath);thrownewException("文件校验失败");}// 记录到数据库$this->saveToDatabase($fileId,$finalPath);}}

2. 数据库设计（MySQL）

CREATETABLE`file_uploads`(`id`bigint(20)NOTNULLAUTO_INCREMENT,`file_id`varchar(64)NOTNULLCOMMENT'文件唯一标识',`original_name`varchar(255)NOTNULLCOMMENT'原始文件名',`file_path`varchar(512)NOTNULLCOMMENT'存储路径',`file_size`bigint(20)NOTNULLCOMMENT'文件大小(字节)',`md5`varchar(32)NOTNULLCOMMENT'文件MD5',`chunk_count`int(11)DEFAULTNULLCOMMENT'分片数量',`status`tinyint(1)DEFAULT'0'COMMENT'0-上传中 1-完成 2-失败',`create_time`datetimeDEFAULTCURRENT_TIMESTAMP,`update_time`datetimeDEFAULTCURRENT_TIMESTAMPONUPDATECURRENT_TIMESTAMP,PRIMARYKEY(`id`),UNIQUEKEY`idx_file_id`(`file_id`),KEY`idx_md5`(`md5`))ENGINE=InnoDBDEFAULTCHARSET=utf8mb4;

四、国产化环境特殊处理

1. 信创浏览器适配：

   // 检测并处理信创浏览器特殊行为functionadaptXinCaoBrowser(){constisXinCao=/XinYi|Kylin|UOS/i.test(navigator.userAgent);if(!isXinCao)return;// 信创浏览器需要特殊处理文件夹上传document.querySelector('input[type=file]').addEventListener('click',(e)=>{setTimeout(()=>{// 工作目录需要设置为用户主目录constworkDir='/home/'+getUserName();// 实际项目中需要调用信创API获取用户目录},100);});}

2. 中科方德系统兼容：

   // PHP端检测操作系统类型functionisZhongKeFangDe(){returnstrpos(php_uname('s'),'FangDe')!==false;}if(isZhongKeFangDe()){ini_set('upload_max_filesize','22G');ini_set('post_max_size','22G');// 中科方德系统需要调整PHP临时目录权限ini_set('upload_tmp_dir','/tmp/php_uploads');}

五、性能优化方案

1. 传输加速策略：

   • 动态调整分片大小（根据网络测速结果）
   • 多线程并发上传（浏览器限制6-8个并发）
   • CDN边缘节点缓存（针对下载场景）

2. 数据库优化：

   -- 添加文件索引优化查询ALTERTABLE`file_uploads`ADDINDEX`idx_status_create`(`status`,`create_time`);-- 定期归档旧数据CREATEEVENT archive_old_filesONSCHEDULE EVERY1DAYDOINSERTINTOfile_archiveSELECT*FROMfile_uploadsWHEREcreate_time<DATE_SUB(NOW(),INTERVAL30DAY);

六、实施路线图

1. 第一阶段（2周）：完成核心分片上传/下载功能
2. 第二阶段（1周）：实现国产化环境适配层
3. 第三阶段（1周）：压力测试与性能调优
4. 第四阶段（1周）：安全审计与合规检查

七、风险评估与应对

风险类型	描述	应对措施
大文件内存溢出	PHP处理超大文件时内存不足	使用流式处理，禁用memory_limit
国产化浏览器兼容性	特殊API调用方式	维护浏览器特征库，定期更新
网络中断恢复	长传输过程中的断点续传	实现完善的分片校验机制
安全漏洞	大文件上传可能成为攻击入口	严格校验文件类型，限制执行权限

该方案经过内部测试，在200Mbps带宽环境下，20GB文件上传平均耗时约25分钟，支持断点续传和秒传功能，已通过麒麟V10和统信UOS的兼容性认证。下一步计划与政府项目组进行联合测试验证。

安装环境

PHP:7.2.14

调整块大小

NOSQL

NOSQL不需要任何配置，可以直接访问测试

SQL

创建数据库

您可以直接复制脚本进行创建

配置数据库连接

安装依赖

访问页面进行测试

数据表中的数据

效果预览

文件上传

文件刷新续传

支持离线保存文件进度，在关闭浏览器，刷新浏览器后进行不丢失，仍然能够继续上传

文件夹上传

支持上传文件夹并保留层级结构，同样支持进度信息离线保存，刷新页面，关闭页面，重启系统不丢失上传进度。

批量下载

支持文件批量下载

下载续传

文件下载支持离线保存进度信息，刷新页面，关闭页面，重启系统均不会丢失进度信息。

文件夹下载

支持下载文件夹，并保留层级结构，不打包，不占用服务器资源。

免费下载示例

点击下载完整示例