V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
divasatanica
V2EX  ›  Node.js

请教一个关于 readableStream 的问题

  •  
  •   divasatanica · Jul 3, 2019 · 4979 views
    This topic created in 2494 days ago, the information mentioned may be changed or developed.

    因为想要手动控制流的暂停与继续消费 在看 Node.js 中文文档对 pause() 方法的描述

    readable.pause()

    使流动模式的流停止触发 'data' 事件,并切换出流动模式。 任何可用的数据都会保留在 内部缓存 中。

    如果暂停了,流不会再触发 'data' 事件,但是 数据源 还会不会往流里面写数据,因为如果还会继续写数据的话,暂停消费数据会导致数据保存在缓存中,如果过一段时间之后仍然不继续消费数据,这个缓存会不会溢出?

    谢谢各位。

    2 replies    2019-07-03 11:33:34 +08:00
    momocraft
        1
    momocraft  
       Jul 3, 2019
    ReadableStream 只是个 interface

    本地文件的流可能可以随便 pause,来自另一台机器的流可能 pause 太久另一端就写超时了 (或者有一些字节被丢掉,或者 OOM kill)

    使用流的人需要自己考虑好具体数据源能不能 pause,如果 pause 会有什么后果
    divasatanica
        2
    divasatanica  
    OP
       Jul 3, 2019
    @momocraft 数据源是 mongodb,现在场景是流式导出 csv,我的想法是,如果 pause 太久 mongodb 写超时的话,加入一个 pause 超时机制,到达一定时间还没有 resume,就认为是超时,然后再 resume 这个流,前提是能接受部分数据的丢失,这样想科学吗?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2593 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 12:47 · PVG 20:47 · LAX 05:47 · JFK 08:47
    ♥ Do have faith in what you're doing.