我正在尝试将符号化字符串变成ngram.奇怪的是,在
NGramTokenizer的文档中,我没有看到将返回被标记化的各个ngram的方法.实际上,我在NGramTokenizer类中只看到两个返回String对象的方法.
这是我有的代码：
Reader reader = new StringReader("This is a test string");
NGramTokenizer gramTokenizer = new NGramTokenizer(reader,1,3);
>哪里的ngram被标记了？
>如何获取字符串/单词中的输出？
我想要我的输出像：这是一个,一个,测试,字符串,这是一个,一个测试,测试字符串,是一个测试,一个测试字符串.
解决方法
我不认为你会发现你正在寻找寻找方法返回String.你需要处理
Attributes.
应该工作的东西像：
Reader reader = new StringReader("This is a test string");
NGramTokenizer gramTokenizer = new NGramTokenizer(reader,3);
CharTermAttribute charTermAttribute = gramTokenizer.addAttribute(CharTermAttribute.class);
gramTokenizer.reset();
while (gramTokenizer.incrementToken()) {
String token = charTermAttribute.toString();
//Do something
}
gramTokenizer.end();
gramTokenizer.close();
一定要重置()令牌,如果它需要重新使用后,虽然.
每个意见令牌组合,而不是字符：
Reader reader = new StringReader("This is a test string");
TokenStream tokenizer = new StandardTokenizer(Version.LUCENE_36,reader);
tokenizer = new ShingleFilter(tokenizer,3);
CharTermAttribute charTermAttribute = tokenizer.addAttribute(CharTermAttribute.class);
while (tokenizer.incrementToken()) {
String token = charTermAttribute.toString();
//Do something
}
