V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2960 days ago, the information mentioned may be changed or developed.
数据是同一份数据，xxx.write.csv(yyy)和 xxx.repartition(13).write.csv(yyy)输出后，文件夹的大小居然差了两倍多；
数据量的大小大概是 3G，后者大概是 7G
相差的有点大，好奇是咋回事
木有搜到啥资料，有没有朋友指点一下
Supplement 1 · Mar 22, 2018
刚刚发现格式那写错了，我采用的格式是 parquet 格式
 |
1
SErHo Mar 21, 2018 via iPhone
有压缩吗？
|
 |
2
linuxchild OP @SErHo 两者格式都一样，parquet+snappy ；
目前找到了一个相关的资料，http://litaotao.github.io/boost-spark-application-performance 这里提到了一句 “在 partition 小于 2000 和大于 2000 的两种场景下，Spark 使用不同的数据结构来在 shuffle 时记录相关信息，在 partition 大于 2000 时，会有另一种更高效 [压缩] 的数据结构来存储信息。所以如果你的 partition 没到 2000，但是很接近 2000，可以放心的把 partition 设置为 2000 以上。” 如果不用 repartition 的话，的确是超过了 2k 个文件，😂 |
Select Language