前端之家收集整理的这篇文章主要介绍了
Stanford的POS标签器在Java中使用，
前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。
Mar 9,2011 1:22:06 PM edu.stanford.nlp.process.PTBLexer next
WARNING: Untokenizable: � (U+FFFD,decimal: 65533)
Mar 9,decimal: 65533)
这些是当我想要将POS标签分配给句子时,我得到的错误.我从文件中读取句子.最初(几句话)我没有得到这个错误(即不可破译),但是在阅读一些句子后,这个错误就出现了.我使用v2.0(即2009年)的POS标签,模型是left3words.
我同意Yuval – 一个字符编码问题,但最常见的情况是,当
标记器尝试以UTF-8读取
文件时,该
文件采用单字节编码(如ISO-8859-1).参见
Wikipedia的UFFFD讨论.
原文链接：https://www.f2er.com/java/126202.html
