问：多个 Excel 文件共百万条姓名手机号如何快速去重合并成一个文件？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 2091 days ago, the information mentioned may be changed or developed.

Supplement 1 · Aug 5, 2020

用 PHP 写完了，感谢各位！！！

文件

EXCEL

合并

姓名

24 replies • 2020-08-06 12:13:39 +08:00

Asshasahole

Aug 5, 2020

招几个人, 每个人划分号段区间, 挨个复制号段内的手机号, 粘贴到新的 Excel 里, 粘贴前搜索一下排重.
最后几个人的 Excel 复制+粘贴合并就行啦, 注意新的 Excel 要同一个格式噢.

Excel 的函数应该可以做到文件内去重吧?

runking

Aug 5, 2020

可以帮你解决，有偿

yvshen

Aug 5, 2020

编程解决吧，用 java 、python 写个脚本

tmkook

PRO

Aug 5, 2020

@runking 我会编程，就是想看看坛子里大神们是否有不用编程的快捷方法，或是否有轮子可用

Pho3nix

Aug 5, 2020

pandas

LiYanHong

Aug 5, 2020

先合并成一个文件，用 excel 里自带的去重功能试试

iamwho

Aug 5, 2020

“我要用记事本开始记事了！”

dexterzzz

Aug 5, 2020 via Android

power bi，power query 合并文件

renmu123

Aug 5, 2020 via Android

用 pandas 太简单，预计十几行解决

xyd1205148795

Aug 5, 2020

如果格式一样，直接放一个文件夹里，然后用 excel 从文件夹查询加载就好了，不过 excel 加载的行数有限制，好像一百多万行

Croxx

Aug 5, 2020 via iPhone

x 产？

Vegetable

Aug 5, 2020

@LiYanHong #6 这样一般电脑都受不了...

tmkook

PRO

Aug 5, 2020

@Croxx 不是 H 产，绝对是正向的！！！

qiayue

PRO

Aug 5, 2020

转成 csv，用程序处理

tmkook

PRO

Aug 5, 2020

@LiYanHong
@Vegetable
@xyd1205148795 本来想用 VBA 搞，但是百万级数据还没试过估计会卡死。目前想法是先导入 Mysql 然后再写代码查询去重。

F281M6Dh8DXpD1g2

Aug 5, 2020

pandas.read_excel 完事

cmllwxxl

Aug 5, 2020

Snapde 用这个简单

admin7785

Aug 5, 2020 via iPhone

@tmkook #15 百万条数据，字段不多的话（ excel 文件不是很大的话），倒入数据库还是可以的，我 60 多兆，倒入半个小时左右

opengps

Aug 5, 2020

导入数据库，几行 sql 搞定，不超过 10 分钟

ccoming

Aug 5, 2020

@dexterzzz +1 。power query 好了，16 版本里面就有这组件。

xinghen57

Aug 5, 2020 via iPhone

1 、转成 csv，找个编辑器（比如 emeditor ）直接去重
2 、导入数据库，去重
这数据量对 excel 太大了。

xinghen57

Aug 5, 2020 via iPhone

猛然惊觉，你这是找解决方案来了😂

TimePPT

PRO

Aug 5, 2020

@xinghen57 都转成 csv 了，直接合并了 sort -u 搞定

594duck

Aug 6, 2020

最简的就是导入 Access，然后一把搞了。