V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 1692 days ago, the information mentioned may be changed or developed.
现在需要对一个文件频繁的读，没有写，文件大小在 100-500G 左右，有顺序读，有随机读。 现在是读取次数太多陷入 syscall 太多然后导致调度占用时间变多，大佬们这种如何优化。
 |
1
JKeita Sep 18, 2021
顺序读也就每次加载一段数据到内存，随机的话感觉优化不了。
|
 |
2
MidGap Sep 18, 2021
可以参考 mmap
|
 |
3
rrfeng Sep 18, 2021 via Android
根据文件内容，拆分后索引起来。
如果文件本身有序那也可以索引 offset |
 |
4
wellsc Sep 18, 2021
文件啥类型的，纯文本？有没有格式？
|
 |
5
ch2 Sep 18, 2021
直接 mmap
|
 |
6
misaka19000 Sep 18, 2021
mmap+1 让 OS 帮你调度
|
 |
7
llllIIIIllll Sep 18, 2021
买 1T 内存
|
 |
8
index90 Sep 18, 2021
了解一下 golang 的 netpoll，仿造一个？
|
 |
9
CrazyMonkeyV Sep 18, 2021
长打开这个文件，不关闭就行了
|
 |
10
b00tyhunt3r Sep 20, 2021
不 close 不就行了吗？
|
Select Language