jieba分词 Posted on 2022-07-22 | In 语言模型 | | 阅读数 jieba分词注意,依然会有oov,即使用词典分的,用词典分的不好,不如不加词典的 注意,有个坑,let’s 分完会变成 let ‘ s,分完的数据要进行: sed 's/ '\''/'\''/g' , 然后再 sed 's/'\'' /'\''/g' 把分开的再合上