上次跟朋友聊本地化AI批量处理PDF,朋友问了我一个问题,转完存成md还是txt?
我当时脱口而出,当然是md。但后来想了想,为什么会这么坚定?好像也没特意对比过,就是用下来感觉md顺手很多。今天试着把这个感觉说清楚。
txt是什么
txt就是纯文本。没有格式,没有颜色,没有任何标记。你打开记事本看到的就是txt。它的好处是通用,任何软件都能打开,文件体积极小。但除此之外,好像没有什么特别的。
如果一个PDF转成txt,转完之后它就是一整坨文字。没有一级标题,没有二级标题,没有段落区分,就是从头读到尾。你想找某个章节的内容,只能Ctrl+F搜关键词。文件少的时候还行,文件多了之后,在几百上千行纯文本里搜一个词,搜出来的可能是十几次甚至几十次,你得一个一个点开看哪次是你要的。
md是什么
md是Markdown格式。它本质上也是纯文本,但用一些简单的符号做了标记。一个井号是一级标题,两个井号是二级标题,三个是三级。列表、加粗、链接都有对应的符号标记。你用记事本打开它也是纯文本,但用VS Code或者其他支持md的软件打开,就能看到清晰的层级结构。
同一个PDF转成md,转完之后它不是一整坨文字。一级标题是大的章节名,二级标题是小节名,三级标题是更小的条目。段落和段落之间有空行,列表有条目符号。你一眼就能看到这个文档的结构,哪个部分讲了什么。
关键差异:多个文件的时候
单个文件可能感觉不出来。但当你有几十个PDF,都转成了md或者都转成了txt,差异就出来了。
假设你有五十个文件,现在需要找到其中几个文件里关于某个具体话题的内容。
如果是txt,你在文件夹里搜关键词,搜出来的是散落在各个文件里的匹配行。你不知道这一行在文件的哪个位置,不知道它属于哪个章节,只能一个一个打开看上下文。
如果是md,你搜出来的匹配行会带上它所属的标题。你一眼就能看到这个词出现在哪个文件的哪个章节下面,直接跳到那里就行。层级越清晰,搜索就越精准。
而且对于AI来说也是一样的。你让本地化AI在这些文件里找某个内容,md的层级结构能帮它更快定位到相关段落,而不是在一整坨文字里瞎翻。
为什么说优先存md
你可能会说,那我有时候就是要一整段纯文本粘贴到某个地方,md有格式符号怎么办?
其实有VS Code这类编辑器的话,这个问题根本不存在。你打开md文件,点一下预览模式,它就把格式符号渲染成了正常的标题、段落、列表。你在预览里选中内容复制粘贴过去,粘出来的就是不带任何符号的纯文本,跟txt一模一样。
所以只要你有VS Code或者其他支持md的编辑器,md完全可以覆盖txt的所有需求。
那txt还有什么时候用?只有一种情况,你不用任何编辑器,直接用记事本打开文件,又需要粘纯文本的时候。但说实话,真到了需要批量转PDF、存下来反复用的地步,大概率你已经有VS Code了。
所以下次转文件的时候,直接说转成md。