V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
darasion
V2EX  ›  问与答

怎样用程序分辨一个“词”是中文日文还是韩文?

  •  
  •   darasion · Mar 6, 2011 · 5530 views
    This topic created in 5536 days ago, the information mentioned may be changed or developed.
    13 replies    1970-01-01 08:00:00 +08:00
    Livid
        1
    Livid  
    MOD
    PRO
       Mar 6, 2011 via iPhone
    把这个词放到 3 本辞典里搜索。
    darasion
        2
    darasion  
    OP
       Mar 6, 2011
    @Livid 囧,那还是算了。我放弃。
    Sam
        3
    Sam  
       Mar 6, 2011
    有些词在日语和中文都同时有,比如“宿舍”,“派出所”:)
    darasion
        4
    darasion  
    OP
       Mar 6, 2011
    @Sam 嗯,是的。以前火车司机的工作日志就叫:“司机手帐”。日语“手帐”也是这个意思。
    lianghai
        5
    lianghai  
       Mar 6, 2011 via iPhone
    基本也就是靠字典了。另外可以通过识别 CJK 各自的独有字符来协助提高效率;并且如果如果有上下文而少有外语引用的话,可以在不确定的情况下进一步检查上下文……
    est
        6
    est  
       Mar 6, 2011
    cjk已经被unicode统一了,基本只有看词频来区分了
    apoclast
        7
    apoclast  
       Mar 6, 2011
    @est 我也这样认为
    dc
        8
    dc  
       Mar 6, 2011
    调用 Google 翻译的语言检测?
    Livid
        9
    Livid  
    MOD
    PRO
       Mar 6, 2011
    @dc 嗯,Google 翻译的 auto 模式很不错。
    ayanamist
        10
    ayanamist  
       Mar 6, 2011
    Polyglot 3000效果很好,不过貌似只有桌面版……
    http://whatlanguageisthis.com/ 的效果一般
    bruce
        12
    bruce  
       Mar 6, 2011
    判断每个字的UTF编码范围, 看哪个范围的字数多
    tysx
        13
    tysx  
       Mar 16, 2011
    对这个词用各自语言独有的字符集转码,比如说用gbk和shift-jis去分别中日文,不报错就说明是
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1172 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 17:17 · PVG 01:17 · LAX 10:17 · JFK 13:17
    ♥ Do have faith in what you're doing.