QQ登录

只需一步,快速开始

 找回密码
 注册

QQ登录

只需一步,快速开始

查看: 2760|回复: 30

linux下的开源简繁转换工具-- cconv (支持词语转换)

[复制链接]
发表于 2009-4-10 21:20:00 | 显示全部楼层 |阅读模式
源代码可在 http://code.google.com/p/cconv/downloads/list 下载

由于linux下广泛使用的iconv只支持单字一一对应转换,cconv在iconv的基础上增加了词语转换功能。

用法与iconv相同,不太了解iconv的朋友,可以先看看:
http://www.gnu.org/software/libiconv/documentation/libiconv/iconv.1.html

安装
http://code.google.com/p/cconv/downloads/list 下载最新的源代码文件
$tar zxvf cconv-x.x.x.tar.gz
$cd cconv-x.x.x
$ ./configure --prefix=/usr/local
$ make
$ sudo make install

使用
$ echo "内存, 海内存知己,后天,皇后,街头发钱" | cconv -f utf-8 -t utf8-tw
記憶體, 海內存知己,後天,皇后,街頭發錢

php扩展模块的安装
值得注意的是. php扩展模块依赖于二进制版本的动态链接库,若安装扩展模块,请先安装二进制版本, 确认ldconfig -p能够找到libcconv.so 以及cconv.h头文件能被找到

$tar zxvf cconv-php-x.x.x.tar.gz
$cd cconv-php-x.x.x
$phpize
$./configure
$make
$sudo make install

在php.ini中增加一行:
extension=cconv.so

<?php
$str = "街头发钱;\n在专访中,姚明妙语连珠,透露NBA球员...\n";
echo cconv("utf-8", "utf8-tw", $str);
?>
output:
街頭發錢;
在專訪中,姚明妙語連珠,透露NBA球員...

-----------------------
目前还有一些词语对照表需要整理

对于扩展模块,现在只做了php的, 现在计划陆续推出python perl的。
只是没有太多精力花在支持windows方面,如有兴趣朋友愿意帮忙我将不胜感激。

我的msn:[email protected]
[email protected]
发表于 2009-4-12 16:15:35 | 显示全部楼层
你这个思路是对的,简繁是不能一对一转的,你的词库有多大,可以整句转换么,断词怎么解决,比如

老师范某某

这里是断成

老师 范某某, 还是 老师范 某某?
回复

使用道具 举报

whistler_wmz 该用户已被删除
发表于 2009-4-12 19:06:53 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

发表于 2009-4-12 19:21:32 | 显示全部楼层
你想得太过简单,繁对简是多对一,这是当初简化时根本没考虑的问题,lz则很明白这一点。

皇天后土,後來,后,後 都对应后。示範,姓范,都对应范。頭髮,發財,都對應发

甚至還有一種情況,比如这个字,本身没简化,但用作助词时被着替代了,而著作的著则没有。
回复

使用道具 举报

发表于 2009-4-12 19:38:57 | 显示全部楼层
词库我看到了。
回复

使用道具 举报

发表于 2009-4-12 19:45:09 | 显示全部楼层
于,於这个真是蛮讨厌的,不可能人名一一枚举啊
回复

使用道具 举报

发表于 2009-4-12 19:48:05 | 显示全部楼层
{"云", "雲", -1}, // &#20113; => &#38642;

如果碰到“某某云:blah,blah”,这时该怎么办?
回复

使用道具 举报

发表于 2009-4-12 20:01:06 | 显示全部楼层
{"冬冬", "鼕鼕", -1}

如果冬冬是人名,显然又不对了。
回复

使用道具 举报

发表于 2009-4-12 20:04:01 | 显示全部楼层
{"冷面", "冷麵", -1}

如果冷面孔呢,
回复

使用道具 举报

发表于 2009-4-12 20:10:27 | 显示全部楼层
{"凉面", "涼麵", -1},

举个极端例子

夜深明月笼纱 醉归凉面香斜 犹有惜梅心在 满庭误作吹花

回复

使用道具 举报

发表于 2009-4-12 20:12:21 | 显示全部楼层
{"几出", "幾齣", -1}

我搜索了一下,没有“几进几出”

同样还有一出(一齣),二出(二齣)N出(N齣),也都没有一进一出(一進一出),二進二出,N進N出。

[ 本帖最后由 тролль 于 2009-4-12 20:27 编辑 ]
回复

使用道具 举报

发表于 2009-4-12 20:15:40 | 显示全部楼层
表中术语都翻译了,但像分辨率,台湾分辨率,解析度是不是都用?
回复

使用道具 举报

发表于 2009-4-12 20:24:14 | 显示全部楼层
专有名词是不是尽量不要大变动,起码字数尽量不变。球证,旁证,裁判,助理裁判,应该也用的。
回复

使用道具 举报

发表于 2009-4-12 20:38:36 | 显示全部楼层
{"合着者", "合著者", -1},

什么时候有“合着者”这样的用法了?
回复

使用道具 举报

发表于 2009-4-12 20:46:35 | 显示全部楼层
{"哈利王子", "哈利", -1}

這種專有名詞的轉換完全沒有道理
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

GMT+8, 2024-5-20 11:51 , Processed in 0.127431 second(s), 16 queries .

© 2021 Powered by Discuz! X3.5.

快速回复 返回顶部 返回列表