Ubuntu下Java调用IKAnalyzer中文分词程序失效
庖丁解牛等其它中文分词程序比较后发现,IKAnalyzer的中文分词效果好,程序调用简单。所以采用IKAnalyzer作为我们中文分词的程序。
调用IKAnalyzer来进行中文分词的代码十分简单:
代码如下 | 复制代码 |
/** |
这段代码如果是在Windows下使用Eclipse来执行,或许能够很好地进行中文分词,但是当你把程序放在Linux下,例如Ubuntu下运行时,可能就会发现这个Java中文分词程序突然“失效”了。这是由于IKAnalyzer1.4采用了GBK的本地编码来存储字典,而linux环境,例如Ubuntu默认字符编码是UTF-8,这就会常常造成在Linux和Unix环境下字典载入乱码,从而使分词失败。
解决办法有2个:
1、将字典目录下的dic文件,在Windows环境下使用jdk的nativetoascii.exe将格式从GBK转化成UTF-8;
2、修改Dictionary类中所有的字典load方法,将InputStreamReader中的编码修改为“UTF-8”;
其中第一个解决办法最为简单,具体步骤如下:1、对着IKAnalyzer1.4.jar点击右键,将IKAnalyzer1.4.jar解压到本地,进入orgmiraluceneanalysisdict目录下,发现有4个文件,用文本编辑器打开,然后用UTF-8格式“另存为”来进行重新存储,覆盖原来的文件;
2、将解压的文件重新使用zip格式进行压缩。需要注意的是,最顶层目录应该是org和META-INF;
3、将后缀名zip改为jar即可。
然后使用新的jar替换原来的IKAnalyzer1.4.jar即可在Ubuntu下正常使用这个Java中文分词程序了。
另外,如果你打算使用Ubuntu的Cron来定时执行这个java中文分词程序,可能又会发现中文分词程序失效,这是因为Linux下的Cron环境变量可能与普通用户登录进去之后的环境变量不太一样,因此还是由于默认的字符集不同,造成了程序无法正常进行中文分词。解决办法如下,在脚本中显式地指明字符集为UTF-8:
代码如下 | 复制代码 |
#! /bin/bash |
然后就可以在脚本中在调用java程序,就能够使用Ubuntu的Cron来定时执行这个中文分词程序了。
补充:Jsp教程,Java基础