jieba分词

jieba分词

注意,依然会有oov,即使用词典分的,用词典分的不好,不如不加词典的

注意,有个坑,let’s 分完会变成 let ‘ s,分完的数据要进行: sed 's/ '\''/'\''/g' , 然后再 sed 's/'\'' /'\''/g' 把分开的再合上