标签：tokenizer

如何用Tokenizer进行文本分词？

大家好，我是陆砚码。今天我们来聊聊文本分词这个话题，特别是Tokenizer在其中的作用。随着Transformer预训练模型越来越流行，分词器作为一个关键模块也引起了广泛关注。接下来，我们就一起了解一下Tokenizer的工作原理和...