Commit Graph

117 Commits

Author SHA1 Message Date
狮子的魂
56d856a5b9 Add tools to get the IDF value, yat 2014-04-12 18:13:22 +08:00
狮子的魂
3ff46cafb5 fix describtion 2014-03-21 10:43:00 +08:00
狮子的魂
702453b148 fix two memory leak. 2014-02-05 23:52:26 +08:00
狮子的魂
ff08d3d261 增加friso-1.6.1计划 2014-02-05 23:51:06 +08:00
狮子的魂
652bff3d0f 去除一些无用注释信息。 2014-01-03 21:21:56 +08:00
狮子的魂
3ecef768d1 修改cygwin的Makefile的一个错误。 2014-01-02 14:27:56 +08:00
狮子的魂
c2285635b8 修改了cygwin下的编译Makefile。 2013-12-29 11:12:42 +08:00
狮子的魂
d87c5c8d87 增加WinNT下cygwin和vs 编译的dll和lib文件。 2013-12-29 11:12:14 +08:00
狮子的魂
96f6db89fc 说明文档中增加分词测试样板。 2013-12-28 19:29:06 +08:00
狮子的魂
29d3deb677 更新Friso-1.6.0功能说明和开发帮助文档。 2013-12-28 19:16:16 +08:00
狮子的魂
d6056a15e9 Friso-1.6.0:GBK支持,二次切分,自定义保留标点,bug修复,优化。 2013-12-28 18:18:58 +08:00
狮子的魂
166cf1fa6c Friso-1.6.0:GBK支持,二次切分,自定义保留标点,bug修复,优化。 2013-12-28 18:18:29 +08:00
狮子的魂
c47c9a2048 依据组新功能更改测试程序。 2013-12-28 18:15:49 +08:00
狮子的魂
f8446b14b6 增加拷贝friso所有头文件到/usr/include/friso中。 2013-12-28 18:15:07 +08:00
狮子的魂
c9f09c534b 增加friso.en_sseg,friso.st_minl,friso.kpuncs控制选项。 2013-12-28 18:14:18 +08:00
狮子的魂
922c51c796 增加一个复合测试词条。 2013-12-28 18:12:48 +08:00
狮子的魂
ec3ae75b97 修改一些基本信息。 2013-12-28 18:12:03 +08:00
狮子的魂
873a1344cb 增加friso_enchar_type函数, 用于判断给定字符的类型。 2013-12-22 14:58:34 +08:00
狮子的魂
4722fc777b 优化同义词追加,修复中英混合词识别过程中可能遗漏的同义词追加检测。 2013-12-19 17:12:07 +08:00
狮子的魂
db696b0adf 增加static目标用于生产静态friso库. 2013-12-19 16:11:50 +08:00
狮子的魂
c8bd3ad787 修复count_chunk_mdf中语素自由度计算bug(加上log(e->free)和e->length的GBK判断) 2013-12-13 23:37:29 +08:00
狮子的魂
171fc59703 完善GBK切分的全角转半角,大写转小写的实现. 2013-12-12 21:49:42 +08:00
狮子的魂
e7438965fe 去除默认对^,-,/等标点的保留. 2013-12-11 14:14:22 +08:00
狮子的魂
0ca7bcd1d8 去除默认对^,/,-等标点的保留 2013-12-11 14:13:12 +08:00
狮子的魂
c0f256a9d3 去除utf_cjk_string中对0x3200-0x32FF段CJK文字和月份的纳入 2013-12-11 13:12:22 +08:00
狮子的魂
b1a6b6c68e 修改测试程序, 加入版本和编码提示 2013-12-11 13:10:24 +08:00
狮子的魂
c223ed2172 next_basic_latin中添加GBK全角转半角,大写转小写 2013-12-11 13:09:49 +08:00
狮子的魂
3dcb8247a1 完善UTF8,GBK编码接口函数的实现. 2013-12-10 20:18:04 +08:00
狮子的魂
95fd776054 去掉注释 2013-12-10 20:17:11 +08:00
狮子的魂
142cdbf600 增加依据编码来限制最大词条长度 2013-12-10 20:16:49 +08:00
狮子的魂
caba942b6d 修改停止词词库, 增加对'/'的过滤 2013-12-10 20:15:53 +08:00
狮子的魂
9ba43373e5 去掉lex-main.lex中的无用词条 2013-12-10 14:08:11 +08:00
狮子的魂
a95a732c42 添加新版本的词库包括GBK和UTF8词库. 2013-12-10 14:06:32 +08:00
狮子的魂
815593e13d 修改适用GBK接口. 2013-12-10 14:05:54 +08:00
狮子的魂
cdb1a317eb 修改使用GBK封装 2013-12-10 14:04:57 +08:00
狮子的魂
78a3f40e5a 删除旧版词库 2013-12-10 14:04:07 +08:00
狮子的魂
81c10af90c Friso的GBK接口的实现.. 2013-12-10 14:03:29 +08:00
狮子的魂
2ec3b479d5 增加ctype封装, friso字符类型判断编码控制器 2013-12-08 21:16:01 +08:00
狮子的魂
9971c7d565 UTF8编码ctype接口实现源程序 2013-12-08 21:15:06 +08:00
狮子的魂
a991c197e9 GBK编码ctype接口实现源程序 2013-12-08 21:14:45 +08:00
狮子的魂
86f117c946 增加编码wrap, 增加对GBK编码的支持. 2013-12-08 21:14:04 +08:00
狮子的魂
c55338381c 添加编码选项 2013-12-08 21:11:42 +08:00
狮子的魂
6cfc9fbdbc 修复jcseg转friso词库工具语素自由度未添加bug. 2013-12-08 14:00:49 +08:00
狮子的魂
4ec07c6319 新版本词库. 2013-12-08 13:58:15 +08:00
狮子的魂
ef030b7215 更改CAHNGES,加入更新计划 2013-12-04 21:48:12 +08:00
狮子的魂
b244b8f7f5 修复WinNT的Run-Time Check Failed错误. 2013-12-04 21:47:33 +08:00
狮子的魂
164db98c6e Jcseg词库转Friso词库java源程序 2013-11-28 14:16:58 +08:00
狮子的魂
9748041a16 从jcseg最新词库中转换过来的词库 2013-11-28 14:16:34 +08:00
狮子的魂
02d20f92b8 最新版本的friso.lex.ini 2013-11-28 14:16:11 +08:00
狮子的魂
49f064e1e3 添加了旅游地点词库 2013-11-28 14:15:23 +08:00