循环神经网络与文本处理：文本预处理基础与实践-平芜编程栈

文本预处理

学习目标

通过本课程的学习，学员将理解文本预处理的基本步骤，包括将文本加载到内存中、拆分为词元、构建词表将词元映射为数字索引，并能够将文本数据转换为词元索引序列以供模型操作。

学习内容

对于序列数据处理问题，这样的数据存在许多种形式，文本是最常见例子之一。
例如，一篇文章可以被简单地看作一串单词序列，甚至是一串字符序列。
本课程将解析文本的常见预处理步骤。
这些步骤通常包括：

将文本作为字符串加载到内存中。
将字符串拆分为词元（如单词和字符）。
建立一个词表，将拆分的词元映射到数字索引。
将文本转换为数字索引序列，方便模型操作。

%pip install d2l import collections import refromd2l import torch as d2l

1 文本预处理

1.1 读取数据集

首先，我们从H.G.Well的时光机器中加载文本。这是一个相当小的语料库，只有30000多个单词，但足够我们小试牛刀，而现实中的文档集合可能会包含数十亿个单词。下面的函数将数据集读取到由多条文本行组成的列表中，其中每条文本行都是一个字符串。为简单起见，我们在这里忽略了标点符号和字母大写。

#下载数据集!wget https://model-community-picture.obs.cn-north-4.myhuaweicloud.com/ascend-zone/notebook_datasets/2a455d7c0ea211f085e8fa163edcddae/timemachine.txt

defread_time_machine(file_path):#@save"""将时间机器数据集加载到文本行的列表中"""withopen(file_path,'r')asf:lines=f.readlines()return[re.sub('[^A-Za-z]+',' ',line).strip().lower()forlineinlines]file_path='./timemachine.txt'lines=read_time_machine(file_path)print(f'# 文本总行数:{len(lines)}')print(lines[0])print(lines[10])

1.2 词元化和词表

1.2.1 词元化

下面的tokenize函数将文本行列表（lines）作为输入，列表中的每个元素是一个文本序列（如一条文本行）。每个文本序列又被拆分成一个词元列表，词元（token）是文本的基本单位。最后，返回一个由词元列表组成的列表，其中的每个词元都是一个字符串（string）。

def tokenize(lines,token='word'):#@save"""将文本行拆分为单词或字符词元"""iftoken =='word':return[line.split() for line in lines]elif token =='char':return[list(line) for line in lines]else: print('错误：未知词元类型：'+token)tokens = tokenize(lines)fori in range(11): print(tokens[i])

1.2.2 词表

词元的类型是字符串，而模型需要的输入是数字，因此这种类型不方便模型使用。现在，让我们构建一个字典，通常也叫做词表（vocabulary），用来将字符串类型的词元映射到从0 00开始的数字索引中。我们先将训练集中的所有文档合并在一起，对它们的唯一词元进行统计，得到的统计结果称之为语料（corpus）。然后根据每个唯一词元的出现频率，为其分配一个数字索引。很少出现的词元通常被移除，这可以降低复杂性。另外，语料库中不存在或已删除的任何词元都将映射到一个特定的未知词元“<unk>”。我们可以选择增加一个列表，用于保存那些被保留的词元，例如：填充词元（“<pad>”）；序列开始词元（“<bos>”）；序列结束词元（“<eos>”）。

classVocab:#@save"""文本词表"""def __init__(self,tokens=None,min_freq=0,reserved_tokens=None):iftokens is None: tokens =[]ifreserved_tokens is None: reserved_tokens =[]# 按出现频率排序counter = count_corpus(tokens)self._token_freqs = sorted(counter.items(),key=lambda x: x[1],reverse=True)# 未知词元的索引为0self.idx_to_token =['<unk>']+reserved_tokens self.token_to_idx ={token: idxforidx,token in enumerate(self.idx_to_token)}fortoken,freq in self._token_freqs:iffreq < min_freq:breakiftoken not in self.token_to_idx: self.idx_to_token.append(token)self.token_to_idx[token]= len(self.idx_to_token)-1 def __len__(self):returnlen(self.idx_to_token)def __getitem__(self,tokens):ifnot isinstance(tokens,(list,tuple)):returnself.token_to_idx.get(tokens,self.unk)return[self.__getitem__(token) for token in tokens]def to_tokens(self,indices):ifnot isinstance(indices,(list,tuple)):returnself.idx_to_token[indices]return[self.idx_to_token[index] for index in indices]@property def unk(self):# 未知词元的索引为0return0 @property def token_freqs(self):returnself._token_freqs def count_corpus(tokens):#@save"""统计词元的频率"""# 这里的tokens是1D列表或2D列表iflen(tokens)== 0 or isinstance(tokens[0],list):# 将词元列表展平成一个列表tokens =[token for line in tokens for token in line]returncollections.Counter(tokens)

我们首先使用时光机器数据集作为语料库来构建词表，然后打印前几个高频词元及其索引。

vocab=Vocab(tokens)print(list(vocab.token_to_idx.items())[:10])

out：

[('<unk>', 0), ('the', 1), ('i', 2), ('and', 3), ('of', 4), ('a', 5), ('to', 6), ('was', 7), ('in', 8), ('that', 9)]

现在，我们可以将每一条文本行转换成一个数字索引列表。

foriin[0,10]:print('文本:',tokens[i])print('索引:',vocab[tokens[i]])

out：

文本:['the','time','machine','by','h','g','wells']索引:[1,19,50,40,2183,2184,400]文本:['twinkled','and','his','usually','pale','face','was','flushed','and','animated','the']索引:[2186,3,25,1044,362,113,7,1421,3,1045,1]

1.3 整合所有功能

在使用上述函数时，我们将所有功能打包到load_corpus_time_machine函数中，该函数返回corpus（词元索引列表）和vocab（时光机器语料库的词表）。我们在这里所做的改变是：1.本课程使用字符（而不是单词）实现文本词元化；2. 时光机器数据集中的每个文本行不一定是一个句子或一个段落，还可能是一个单词，因此返回的corpus仅处理为单个列表，而不是使用多词元列表构成的一个列表。

defload_corpus_time_machine(max_tokens=-1):#@save"""返回时光机器数据集的词元索引列表和词表"""lines=read_time_machine(file_path)tokens=tokenize(lines,'char')vocab=Vocab(tokens)# 因为时光机器数据集中的每个文本行不一定是一个句子或一个段落，# 所以将所有文本行展平到一个列表中corpus=[vocab[token]forlineintokensfortokeninline]ifmax_tokens>0:corpus=corpus[:max_tokens]returncorpus,vocab file_path='./timemachine.txt'corpus,vocab=load_corpus_time_machine()len(corpus),len(vocab)