问个汉字处理的问题

```
import unicodedata
import sys

s = '⻝'
print(f"Python 版本: {sys.version}")
print(f"Unicode 版本: {unicodedata.unidata_version}")
print(f"字符: '{s}'")
print(f"Unicode: U+{ord(s):04X}")
print(f"字符名称: {unicodedata.name(s, '未知')}")

# 尝试不同的归一化形式
forms = ['NFC', 'NFD', 'NFKC', 'NFKD']
for form in forms:
result = unicodedata.normalize(form, s)
print(f"{form}: '{result}' (U+{ord(result):04X}) - 是否变化: {s != result}")
```

unicode 姿势 +1

目前知道的：
1. 字素组合字
2. 空白字符识别

这个估计是没办法 只能查
https://util.unicode.org/UnicodeJsps/confusables.jsp

规范化分解应该是针对西文的，中文不行。

Unicode CJK 区的重复字符倒挺多的

OCR 之后再跟原文比对？

@zhmouV2 http://www.unicode.org/Public/security/revision-03/confusablesSummary.txt 感谢，用这个创建一个 map 就可以了。

还挺神奇的，U+2EDD （⻝）和 U+2F29 （⼩）都是康熙部首字符：

2F29;KANGXI RADICAL SMALL;So;0;ON;<compat> 5C0F;;;;N;;;;;

2FB7;KANGXI RADICAL EAT;So;0;ON;<compat> 98DF;;;;N;;;;;

UnicodeData.txt 里面也都相应标出了 <compat> 的分解形式：一个是 U+5C0F （汉字的“小”），一个是 U+98DF （汉字的“食”），但是它们 NFKC normalize 的结果却不同：

>>> f'U+{ord(unicodedata.normalize('NFKC', chr(0x2F29))):04X}'

'U+5C0F' (中文“小”）

>>> f'U+{ord(unicodedata.normalize('NFKC', chr(0x2FB7))):04X}'

'U+2FB7' (仍然是康熙部首“⻝”）

感觉会不会是 Unicode 的问题……但无论如何，要想手动 normalize 的话应该把 UnicodeData.txt 里面的第六列提出来也可以。但例如 Firefox 用的似乎是 confusables.txt [1]，比 UnicodeData 来说提供了更多基于字形的 normalization ，也可以考虑一下。

[1] https://github.com/unicode-org/icu/blob/main/icu4c/source/data/unidata/confusables.txt

一个中文、一个日文

@kanakana 等下弄错了，楼主的是 CJK RADICAL EAT ONE ，这个的确没有 compat normalization ，必须要 confusables 了……

试了下 edge 的 ctrl+f 搜索 已经做过这个转换了 搜索‘食’可以搜索到其它两个变种

https://zh.wikipedia.org/wiki/%F0%B0%BB%9E%F0%B0%BB%9E%E9%BA%B5
看看这个字，n 种写法

@zoyopo #9
edge 这个是上游的 chromium 就做了吧

我这边遇到过一次异体字问题，功能是客户自行上传文件，文件名含有一些固定格式的重要信息，需要使用正则匹配解析内容，结果出现了异体字定位了很久才发现差异，怀疑客户是五笔输入并且没有选对字。解决办法是加了个 replaceAll 给全部替换掉，暂时只能这么解决了。
'内'、'內'

我们做过一个 cad shx 格式字体转为 ttf 的项目。甲方自定义的特殊字符，可以通过映射的方式转到 ttf 中，或者你直接 svg 显示

这个 case 来看 cjk 统一是对的。。

@zoyopo 有意思的是 ‘內’ （入）却无法通过搜索找到异体字，我还特地又去查了一次百度百科，确认这个字就是内（人）的异体字

confusablesSummary 建议用 2025 的
https://www.unicode.org/Public/security/latest/confusablesSummary.txt

之前遇到过一样的问题，一个字是银行(2F8F)，另外一个字是银行(884C)，怎么匹都匹不上。

对，就是这个 https://www.unicode.org/Public/security/revision-03/confusablesSummary.txt

同一个字可能有多种形式。因为 CJk 比较特殊，可能同一个字有 3-4 种形式存在，例如：中文简体、中文繁体、日文、韩文