随着信息技术和网络技术的飞速发展，人类已进入全新信息化时代，传统管理技术已无法高效，便捷地管理信息。为了迎合时代需求，优化管理效率，各种各样的管理系统应运而生，各行各业相继进入信息管理时代，爬虫就是信息时代变革中的产物之一。
任何系统都要遵循系统设计的基本流程，本系统也不例外，同样需要经过市场调研，需求分析，概要设计，详细设计，编码，测试这些步骤，基于Python语言、 Django框架、B/S架构、Mysql数据库设计并实现了爬虫系统。系统主要包括用户、类型、资料作品、我的收藏等功能模块。
本文首先介绍了爬虫系统技术的发展背景与发展现状，然后遵循软件常规开发流程，首先针对系统选取适用的语言和开发平台，根据需求分析制定模块并设计数据库结构，再根据系统总体功能模块的设计绘制系统的功能模块图，流程图以及E-R图。然后，设计框架并根据设计的框架编写代码以实现系统的各个功能模块。最后，对初步完成的系统进行测试，主要是功能测试、单元测试和性能测试。测试结果表明，该系统能够实现所需的功能，运行状况尚可并无明显缺点。
为了更好的去理清本系统整体思路，对该系统以结构图的形式表达出来，设计实现该爬虫系统的功能结构图如下所示：
图4-1 系统总体结构图
资料作品，用户进入到资料作品页面查看名称、类型、图片、文件、标签、用户名、视频、点击次数等内容，根据需要可以进行文件下载、收藏以及评论等操作，如图5-17所示。
图5-17资料作品界面图
