最近几年做产业调研，总绕不开一份名单：国家级专精特新“小巨人”企业，从2019年第一批开始积累到2025年第七批，累计公示数量大概1.94万家。我经常在同事的桌面、客户的共享盘、行业社群的附件里看到它的痕迹，但绝大多数人拿到的都是“原始公示PDF”：能打开、能看目录，却筛不了行业、排不了地区、按不了批次做趋势。真正要拿这份数据做点事情，得像剥洋葱一样把它整理成结构化Excel，再从Excel里提炼结论，最后做一份能发给别人看的PDF报告。
这篇不是科普小巨人申报条件，而是把“一份跨越2019-2025年、覆盖第一至七批、PDF格式和Excel格式并存的企业名单数据”从获取、解析、清洗、合并、统计到输出PDF报告的全过程拆开来讲。适合三类人读：一类是做产业研究和投资分析的人，需要拿名单做筛选、比对和看板；另一类是希望从公开数据中快速搞到可用工作底稿的数据处理爱好者；还有一类是给公司做供应商背调或客户线索收集的商务，想从名单里挖出有价值的线索。全文以实操为主，工具选型、字段设计、坑点排查都会交代。
1. 名单数据的底子与价值
1.1 这到底是一份什么数据
先建立共识。专精特新“小巨人”是一个针对中小企业的荣誉认定体系，列进去的企业通常有专业化、精细化、特色化、新颖化几个共同标签。这份名单的时间线从2019年延伸到2025年，按照批次顺序分别是第一批、第二批、第三批、第四批、第五批、第六批、第七批，七个批次合计公示企业数大约在1.94万家上下。每次公示多以PDF文件形式发布，文件里包含企业名称、注册地、序号、批次等基本信息，部分批次还会标注所在城市、主营方向或者证书编号。
这里有一个很容易搞混的点：1.94万家不是某一时刻同时存续的企业总数，而是七年七批的累计公示数。里面有企业后来被复核摘牌、有企业更名、有企业跨批次重新公示，也有不同批次的公告页面发生了口径变化。所以严格来说，十个人拿同一份标题去统计，可能做出十一种结果。谁看涨谁看跌不重要，重要的是要先明确你这套数据以哪个口径为准——是只统计“公示批次名单”，还是统计“最终认定名单”，还是统计“当前仍保有资格的企业清单”。标题里写“名单数据（PDF格式+excel格式）”，通常默认是完整公示名单，这一点之后做业务分析时必须反复自我提醒。
另一个需要注意的是PDF格式和Excel格式在这份数据里的分工。PDF适合存档、阅读、溯源，遇到争议时可以对应到原始公示文件；Excel适合筛选、排序、透视、合并，是真正被后续加工利用的格式。一个完整的数据项目不能只有其中一种：只拿PDF没法分析，只拿Excel又不好举证来源。所以我在整理这套资料时一直有一条原则：原始PDF一份不动，清洗后的Excel单独存放，两个目录互不污染。
1.2 七批数据合并后的信息增量
单独看某一批名单，信息量有限：那一批次有几家企业，分布在哪些省份，集中在什么行业。但把七批放到一张表里，你能看到很多单一批次发现不了的东西。
首先是时间趋势。不同批次的公示数量有明显差异，早期纳入的企业数量相对少，后面批次规模快速放大。把“批次”字段单独拎出来做透视，就能看到这个时间轴上的变化曲线。这个曲线对于判断政策节奏、市场热度都有参考意义，比如哪一年公示数量跳增，哪一批次的主营方向出现了明显迁移。
其次是地区分布。七批合并以后，各个省份之间的数量差距会暴露得更充分。制造业强省、沿海城市群通常数量占优；中西部某些省份虽然总量不高，但单批次的入选比例可能有自己的特点。做招商、做园区定位、做区域竞争力分析的人，最喜欢用这个维度。
再就是行业和主营方向。很多公示信息并不会直接给“行业代码”，但会给出企业名称和企业所在地，有些批次还会登记主营产品或细分领域。名称里有“精密”、“智能”、“新材料”、“生物”这类关键词时，可以做关键词归类。归完类以后，把行业关键词和地区、批次交叉，就能形成“某省在某个细分方向上特别集中”这类有价值的结构性判断。
1.3 谁最需要这份数据，以及怎么用
第一类是真做投资研究的人。他们会用企业名单去做标的初筛，先把区域、行业、批次条件框住，再结合其他工商数据库做进一步背调。我把Excel整理好的最大价值就是帮他们省掉“从PDF里逐行抄企业名”的无效劳动。
第二类是产业链公司。寻找金牌供应商、潜在授权伙伴或者销售线索时，这份名单是很方便的“参考系”：对方是不是在特定细分赛道里获得过认定，在名单里就是一条可筛选的记录。
第三类是园区和政府侧的研究人员。他们更关注区域分布和集群效应，需要把名单落到地图级分析，或者比较不同区县的企业密度。
第四类是媒体和咨询公司，他们要出行业报告，需要快速得到批次趋势图和地区分布表。对于这些人来说，最理想的底稿是一张含批次、年份、序号、企业名称、省份、城市、主营方向、证书编号等字段的统一Excel表，而不是七份格式各异的原始PDF。
拿到这批数据以后，我最常做的操作就是把它变成一个百搭底座：上游可以对接工商数据做企业画像，下游可以导出节选清单给业务团队。这个底座一旦被整理规范，后面所有输出都只是在这个底座上做聚合和可视化。
2. 从PDF到Excel的整理思路
2.1 为什么两种格式都要留
这个项目的外观表现就是“PDF格式+excel格式”，在整理时很容易陷入一个误区：既然要做Excel，那就把PDF彻底仍掉。我的建议是留下PDF，把它当作所有字段的出处依据。Excel整理完以后免不了被反复修改、传递，最后你很难保证手里的Excel完全忠于原始公示内容；但只要你保留原始PDF，一切存疑字段都能在PDF里找到对应行。遇到更名、复核、口径不一致时，回溯原始文件是解决分歧的唯一办法。
目录结构上，我把原始文件放在“raw/官方公告”目录下，每个批次一个PDF或者一组多页PDF；把中间工序产生的半成品放在“work/”目录；把最终合库放在“output/”目录，文件名统一成“专精特新小巨人名单_批次汇总_最新清洗版.xlsx”。这个看起来简单的分层，在实际项目里能省掉非常多麻烦。分辨率不高的扫描PDF、带水印的网页打印件、有人用Word二次编辑过的假PDF，很容易混在原始文件里，目录分层够清楚，至少能知道哪些文件是你没处理过的源。
2.2 PDF名单解析的三条技术路线
拿到PDF之后先问一个问题：这份PDF是“文字型”还是“图片型”？判断方法很简单：用鼠标在PDF的表格区域拖动，如果能选中文字，就是文字型；如果只能选中整块图像，就是图片型。文字型PDF可以直接用解析工具抠出表格；图片型PDF就得先过OCR识别环节。
文字型PDF里，我用了pdfplumber比较多，只要表格线规则、没有太多复杂跨行单元格，它把表格还原成二维数组的成功率相当高。早期我踩过它的很多坑，比如某些企业名称很长，表格里被断成两行，解析出来以后一个格子变成两个；再比如带“有限公司”字样的行尾会有空格或换行符，入库之前必须清除。
这是一段很基础的文字型PDF解析逻辑：
import pdfplumber with pdfplumber.open("2021年专精特新小巨人企业公示名单.pdf") as pdf: all_rows = [] for page in pdf.pages: tables = page.extract_tables() for table in tables: for row in table: # 去掉None值，把单个行内的内容拼成字符串 cleaned = ["" if cell is None else cell.replace("\n", "").strip() for cell in row] all_rows.append(cleaned) for r in all_rows[:5]: print(r)这段代码只是个起点，用它先看输出的原始结构，再判断哪些行是表头、哪些行是分隔线、哪些企业名被拆开。结论是：不能盲目相信自动解析，必须抽样比对原始PDF。
图片型PDF的识别链路则是另一个思路。先用pdf2image把PDF转成图片，再用PaddleOCR或者Tesseract识别文字，最后把识别结果按坐标聚合成表格。OCR会把“有限责任公司”识别成“有限贵任公司”，把“0”和“O”搞混，这些都需要在下游清洗阶段处理。我的建议是：如果原文是特别模糊的扫描件，OCR结果只能当作辅助，正式交付前必须人工校对重点字段，尤其是企业名称和证书编号。
工具选型不存在绝对最优。我用pdfplumber、Camelot、Tabula都试过，官网公示文件排版相对规整时，它们之间的差距不大；一旦遇到带水印、表格线残缺、页眉页脚干扰的PDF，反而需要人工介入做预处理。没有统一的万能方案，只有“试用→抽样验证→针对性修补”的土办法最可靠。
2.3 统一字段：第一批到第七批的结构化改造
七个批次的原始公示文件字段并不完全一致。有时候列名是“序号、企业名称、所在省份”，有时候是“序号、企业名称、注册地”，还有个别批次带上了“证书编号”或“主营产品”。如果直接把七份文件里的Excel拼起来，列名都对不上，更谈不上统计。
我设计的核心字段如下：
| 字段名 | 含义 | 使用说明 |
|---|---|---|
| batch_id | 批次编号 | 填1-7或者“第一批/第二批”，统一转成数字 |
| year | 公示年份 | 用于时间跨度分析 |
| serial_number | 原始公示序号 | 用于回溯原始PDF页和行 |
| company_name | 企业全称 | 去空格、统一括号，作为去重主键之一 |
| province | 省级行政区 | 注册地的第一级 |
| city | 地级市 | 尽量标准化，避免“无锡市”和“无锡”并存 |
| industry_keyword | 行业或主营方向 | 从主营产品、企业名称关键词整理 |
| certificate | 证书编号 | 有则填，没有则留空 |
在实际整理时，我做了一个批次映射字典，把每一批原始列名映射到统一标准名：
batch_schema = { "第一批": {"企业名称": "company_name", "地区": "province"}, "第二批": {"企业名称": "company_name", "注册地": "province"}, # ...每个批次按实际列名单独配置 }这里要特别小心一个地方：不要用简单的替换函数去处理列名差异，因为不同批次的列名可能相同但含义不同。比如有的“地区”只写到省级，有的能细分到市，直接统一成“province”后，city字段会大量缺失。更好的做法是先保留原始列名做一次人工巡检，确认每批文件的语义，再做批量重命名。
2.4 清洗细节：空格、括号、异体符号
名单数据里的企业名称是核心身份标识，清洗不干净，后面去重就会出乱子。常见的脏数据包括全角空格、半角空格、Tab符号、首尾换行、中英文括号混用。我写了一个统一的清洗函数处理企业名称：
import re def clean_company_name(value): if not isinstance(value, str): return "" text = value.strip() text = text.replace("\u3000", "") # 全角空格 text = text.replace(" ", "") # 半角空格 text = text.replace("\n", "") text = text.replace("（", "(").replace("）", ")") text = text.replace("，", ",") text = re.sub(r"_+|\\+", "", text) return text这里面每一行都有故事。全角空格最阴险，肉眼根本分辨不出来，但拿去匹配工商数据库时就会导致同名企业对不上；换行符通常是从PDF表格里带出来的残留，会让“有限公司”变成“有限\n公司”，文件被其他系统读走时直接乱套；中文括号和英文括号若不统一，后续用企业名称做匹配时，括号写法不同就会认为是两家不同企业。
清洗时有个原则：凡是可能改变语义的操作，先备份原字段。比如你不能简单地把“（已撤销）”删除，因为这是状态信息。正确做法是增加一列“原公示名称”，清洗后的名称单独放一列。等所有清洗规则稳定以后，再决定要不要把清洗列覆盖原始列。
3. 把七批Excel合并起来做分析
3.1 拼接前的列名核对
当七个批次的PDF都解析完成、清洗规则也跑完以后，下一步是合并。这里最忌讳的是不做核对直接把DataFrame concat一把梭。因为各批次的列很可能在清洗后还有细微差异，比如有的批次多一个“证书编号”，有的批次多一个“主营产品”，直接拼接的结果不是报错就是整列NaN。
我先做一个列名检查：
import pandas as pd from pathlib import Path expected_cols = {"batch_id", "year", "serial_number", "company_name", "province", "city", "industry_keyword", "certificate"} for file in Path("work").glob("批次*_clean.xlsx"): df = pd.read_excel(file) missing = expected_cols - set(df.columns) extra = set(df.columns) - expected_cols print(f"{file.name}: 缺列={missing} 多列={extra}")如果不同批次的列名项目确实不完全一致，就把common列作为主数据，多出来的列统一存进“extra_info”字段，保证最终合库结构可控。之后用concat合并：
frames = [pd.read_excel(f) for f in Path("work").glob("*_clean.xlsx")] merged = pd.concat(frames, ignore_index=True, sort=False) merged["batch_id"] = merged["batch_id"].astype(int) merged["year"] = merged["year"].astype(int) merged.head()合并后不要急着用，先看行数是不是能对得上每个批次的公开数量。如果第七批公示了2000家，解析后只有1900条，说明解析过程漏了行，得回到PDF原始文件排查。这种环节上的数校准，比任何分析模型都重要。
3.2 去重与多批次判定
把七批数据合并以后，你会发现一个现象：有些企业名称同时出现在多个批次里。这是正常的，不代表整理错误。有的是因为复核、复核通过后重新公示，有的是同一集团下不同子公司撞名，还有的是企业更名后以新名称重新进入名单。
去重之前先想清楚业务需求：
- 如果做“企业是否曾获得小巨人认定”的判断，应当保留一条记录，以最早批次为准。
- 如果做“每批次新增企业数量”的分析，应当按批次保留，不合并。
- 如果做“当前活跃企业”的研究，要考虑已公示状态和变更情况，这已经不是简单去重能解决的事，需要结合外部数据源。
我通常的做法是给合并后的数据增加三个派生字段：最早批次、最后批次、出现次数，然后保留主记录：
grouped = merged.groupby("company_name").agg( 最早批次=("batch_id", "min"), 最后批次=("batch_id", "max"), 出现次数=("batch_id", "nunique"), 省份=("province", "first"), ).reset_index()这样既保留了“多批次”信息，又能快速筛出只出现一次的企业。对制造业研究来说，“跨批次连续出现”是一个挺有意思的信号，说明该企业持续符合认定要求，稳定性相对更高。
3.3 常用的统计切面：批次、地区、行业
数据合并干净后，常规分析就简单多了。我最常做的三个切面是：
按批次统计，看时间趋势：
by_batch = merged.groupby("batch_id").agg(企业数量=("company_name", "count")).reset_index() print(by_batch)按省份统计，看地域集中度：
by_province = merged.groupby("province").agg(企业数量=("company_name", "count")) top_provinces = by_province.sort_values("企业数量", ascending=False).head(20) print(top_provinces)按行业关键词统计，比如看看所谓的硬科技方向占比：
keywords = ["新材料", "智能制造", "软件", "生物", "半导体", "传感器"] for kw in keywords: merged[kw] = merged["industry_keyword"].str.contains(kw, na=False) summary = merged[keywords].sum().sort_values(ascending=False) print(summary)这些统计结果可以直接输出成Excel透视表，也可以配合绘图库做成交互式图表。但这里要警告一句：没有经过行业标准化处理的企业名单，用“主营产品”做关键词统计必然有漏报和错报。正确姿态是把它当“方向性线索”，而不是“精确结论”。
4. “MD转PDF”的打报告流程
4.1 Excel适合算，PDF适合看
名单数据整理成Excel以后，工作并没有结束。大多数使用者最终需要的不是一张巨大的明细表，而是一份有分析和结论的报告。 这时候就会碰到一个很现实的问题：Excel表格承载的是数据逻辑，PDF承载的是传播逻辑。你做出一版筛选结果，发给领导、发给合作方，不能只发.xlsx文件，尤其是对方可能没有数据处理习惯时，一份排版稳定的PDF才是友好的交付形态。
这里的“md格式转pdf”是很多人忽略的环节。实际上，报告内容推荐先用Markdown写：因为它纯文本、易维护、改动痕迹清晰，写结论时能保持结构化和快速分享。等到定稿，再用工具转成PDF，版式统一、字体可控、跨设备不乱版。
我这套打报告流程可以总结成一条：Excel汇总表负责算，Markdown正文负责写，PDF终稿负责发。
4.2 中文环境下的Markdown转PDF方案
Markdown转PDF的方案有很多，在线编辑器、浏览器插件、Pandoc都行。我最常用的是Pandoc加XeLaTeX引擎。Markdown只负责内容结构，PDF的排版交给LaTeX模板；中间只要有中文字体配置正确，出来的PDF既美观又稳定。
命令行范式如下：
pandoc report.md -o report.pdf \ --pdf-engine=xelatex \ -V mainfont="Noto Sans CJK SC" \ -V geometry:margin=2.5cm \ -V fontsize=11pt如果机器里没装完整的LaTeX环境，也可以退一步用VS Code的“Markdown PDF”扩展，或者Typora直接导出PDF。但那种方式的版式自由度不如Pandoc，所以做正式产业分析报告时，我会优先考虑命令行方案。
在实际使用中，最容易翻车的是中文字体缺失。如果系统没有“Noto Sans CJK SC”或相关中文字体，Pandoc会跳出各种字体错误，生成的PDF出现空白方格或乱码。解决办法是安装中文字体包，或者在命令里换成系统已有的字体名称。
4.3 从Excel汇总表到PDF终稿的完整一条龙
下面给一套可以照抄的流程。
第一步，用Python从Excel里抽出核心汇总表，输出成简洁的Markdown表格。
import pandas as pd df = pd.read_excel("output/名单汇总_清洗版.xlsx") by_batch = df.groupby("batch_id").size().reset_index(name="企业数量") by_batch.to_markdown("tables/batch_summary.md", index=False)这里用到了pandas自带的to_markdown方法。如果没有安装tabulate库，先执行pip install tabulate。
第二步，写一份report.md，把表格嵌进去，把分析结论用一小段一小段的话写明白。注意报告和代码要分开，不要让业务背景的人去读代码。
第三步，执行Pandoc转PDF。为了不覆盖历史版本，我通常会在命令行后面加上时间戳：
timestamp=$(date +%Y%m%d%H%M) pandoc report.md -o "专精特新小巨人分析_${timestamp}.pdf" \ --pdf-engine=xelatex \ -V mainfont="Noto Sans CJK SC" \ -V geometry:margin=2.5cm第四步，打开PDF检查三件事：中文是否正常、表格是否超宽、页码是否连续。表格超宽时，可以在Markdown表格里减少列数，或者把表格横排成长表格再导出。
这套流程熟练以后，一份10页以内的数据分析报告从动笔到出PDF可以控制在半小时内，非常适合给周期性的产业观察复盘用。
5. 实操中的高频问题与排查方法
5.1 PDF解析后的表格错位
文字型PDF解析后最常遇到的行错位，本质是表格跨页导致的行断裂。企业名称很长时，Excel会存在合并单元格，或者某一行因为没有边框线被pdfplumber当成两个部分。解决办法没有捷径，只有“抽样校验法”：在每一份PDF里随机抽3到5页，把解析结果和原始PDF对照，记录行数差和内容错位数。错位率超过5%的文件，我会重新调整解析参数，比如让pdfplumber的extract_table使用垂直、水平边线关键字，或者手工圈定表格区域。
遇到难以自动处理的复杂版式，最务实的做法是先用代码把能确定的部分抽出来，再把少数疑难行像切豆腐一样单独处理，最后人工复核那些被标成异常的行。数据整理项目里，80%的自动化永远比100%的自动化可靠。
5.2 公示批次的“多版本”问题
同一个批次的名单，年初可能先发“公示版”，公示期满后再发“认定版”，之后再出“复核版”。如果你看到网上流传的第七批名单数量和你手上文件数量对不上，不用惊讶，先核一下文件标题里写的是“公示名单”“认定名单”还是“最终公告”。我在字段设计里特地留了“文件版本”这个隐藏信息，就是为了应对这种情况。不管最终用户需要哪种口径，至少你不会把公示版和认定版混在一起。
5.3 数据清洗的边界与危险操作
清洗企业名称时容易走上一个极端：把公司名改得连源文件都不认识了。比如为了匹配工商数据，把所有“有限责任公司”统一缩成“有限”，或者把所有括号里的内容全部删除，这些操作会丢失有效信息。企业名称是严肃的注册信息，不是作文标题，我认为尽量少动，必要时只做全半角、括号格式和首尾空白的清理。一旦涉及增删主词，必须保留origin_name列，并记录清洗规则版本。
去重也一样危险。直接用company_name去重，很可能把同名的不同企业误删；用“company_name+province”去重又可能把同一集团在不同省份的子公司合并到一起。最好是把去重逻辑分成多轮：先按完全一致去重，再按相似度去重，最后人工抽查名称相似但省份不同、或者省份相同但地址不同的情况。
5.4 输出PDF时的字体乱码与页数控制
用Pandoc做PDF时，中文乱码解决方案前面已经提过。这里多补一个细节：表格太宽也是“乱版”的重要原因。如果用Noto Sans CJK SC，一个页面里能显示的中文字符数有限，宽表格会把页面撑破。
我常用的做法是不要让一个Markdown表格超过8列。名单汇总表里字段太多时，先分组，比如把企业名称、省份、城市、批次放在一张表，把行业关键词和证书编号放在另一张表。PDF展示注重信息密度，但更注重第一眼看过去是否清晰。
如果最终PDF页数过多，可以尝试调小字号、缩窄页边距、把图表换成更紧凑的版本。这不是技术难题，而是排版取舍：报告到底是用来精读还是速览，会影响你对版面的控制方式。
5.5 网上二次转发数据里的雷
市面上已经有人把这份名单做成了各种付费Excel、加群领取版本、在线表格链接。这些二次传播数据方便是真方便，但雷也很多。我曾经碰到过一份“全年汇总Excel”，表面看非常规整，一核对发现前三个批次的企业名大量错字，甚至出现同一家企业被拆成三行。问题根源就是原始数据是扫描件，转发者用OCR识别后没有人工校对。
从安全性出发，我建议任何人拿到二手数据以后，都至少抽50条记录与原始PDF核对一遍。核对工作听起来繁琐，实际就是把PDF和Excel并排开着，眼睛扫一遍，半个小时内能完成。数据项目最怕的就是“用了脏数据还以为是干净的”，多花一小时核对，后面就能少踩一整周的坑。
还有一类雷是“数量统计口径吹牛”。有资料把公示数量、申报数量、认定数量混在一起，得出一个看起来特别大的总量。看数据时一定要区分“申报”“公示”“认定”这几个阶段。标题里写的1.94万家如果是公示口径，那你就不要去跟“认定数量”比较，更不要拿它当企业实际存续数量用。
结尾：一点个人体会
这份名单数据我会建议所有做产业分析、企业研究、区域经济相关工作的人，哪怕暂时用不上，也先按自己的思路整理一版干净底稿。手里有七批全量的Excel并配合原始PDF留档，你就有了一张能随时取用的信息底座；以后要做区域对比、赛道分析、企业画像，都会省下大量重复查找的时间。
我自己的习惯是每一轮整理都会留下规则版本记录，比如“这次清洗把括号统一成半角”“这次把第七批公示版与认定版做了区分”，下次再拿到新增批次，直接沿用规则就能平滑扩展。数据整理这件事并不炫技，它的价值藏在细节里，一个字段的命名一致性，一个去重逻辑的选择，都可能决定分析结果往左偏还是往右偏。市面上关于企业案例、行业发展趋势的内容已经很多，但我始终觉得，先把底表做扎实，比什么分析模型都重要。
