文本处理

"NLP 项目最难的" —— 一个被脏文本折腾到凌晨的人

AI分块策略相关的坑，多半出在边界条件上。

项目最初用的是 BERT 的 WordPiece 分词器，数据主要是中文和英文。

AI自然语言处理我没按教科书顺序做。