大于5G 的 CSV 文件如何导入到Oracle数据库中

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 4572 days ago, the information mentioned may be changed or developed.

有一个 CSV 文件里面大概有40000000条数据，试过 Toad,Access,Excel,Number,plsqldev 都无法打开或导入,Oracle的sqlldr也试过都没用，只有 UltraEdit 可以打开浏览但无法导入到Oracel 里，求解，谢谢！

导入到

Oracle

csv

8 replies • 1970-01-01 08:00:00 +08:00

csx163

Oct 21, 2013

分割呗，这么简单

mlhorizon

Oct 21, 2013

数据干净的话，用SQL LOADER 就好了。

Muninn

Oct 22, 2013

我平时倒的文件都是几十或者几百G,从来没出过问题. 就用自带的sqlldr. 你得详细的说你出的什么问题才好解决啊. 文件大小绝对不是问题.

ge2009

Oct 22, 2013

@csx163 试过好些 csv 分割器，都有问题

10iii

Oct 22, 2013

//cut.js
var ws = WScript.CreateObject("WScript.Shell"), fso = new ActiveXObject("Scripting.FileSystemObject");
var fin = fso.OpenTextFile(".\\Very-Large.csv", 1);
var i=0,j=1;
var fout = fso.OpenTextFile(".\\part"+(i++)+".csv", 2, true);
while (!fin.AtEndOfStream) {
j++;
fout.WriteLine(fin.ReadLine());
if ((j%1000000) === 0) {
fout.Close();
fout = fso.OpenTextFile(".\\part"+(i++)+".csv", 2, true);
}
}
fin.Close();fout.Close();
ws.popup('Done');

10iii

Oct 22, 2013

提前说句，估计是你的csv中间有乱七八糟换行符啥的。

csx163

Oct 26, 2013

@ge2009 我用的是会生成一个DAV后缀文件的切割器，名字真忘了

ge2009

Oct 27, 2013

@10iii 多谢！