V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
qqq8724
V2EX  ›  问与答

请教个问题,关于 Spark 累加器的

  •  
  •   qqq8724 · Jun 10, 2018 · 1669 views
    This topic created in 2886 days ago, the information mentioned may be changed or developed.

    我在代码中设置了全局变量的累加器,在 map 操作中对他累加之后,在 map 外边再访问的时候,累加器的值又回到了初始值,请问是什么原因

    5 replies    2018-06-14 09:44:13 +08:00
    kex0916
        1
    kex0916  
       Jun 10, 2018
    map 外访问?没有 action 算子吗?
    qqq8724
        2
    qqq8724  
    OP
       Jun 11, 2018
    @kex0916 有的呀 map 完我还 count 了
    kex0916
        3
    kex0916  
       Jun 11, 2018
    光看你说的情况不太好定位,最好搞个 demo 测下,如果还是有问题可以把 demo 放出来。
    qqq8724
        4
    qqq8724  
    OP
       Jun 14, 2018
    @kex0916 我后来把 map 重分区成 1 的时候,他就可以用了,感谢您的答复
    kex0916
        5
    kex0916  
       Jun 14, 2018
    @qqq8724 🙂
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   987 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 23:11 · PVG 07:11 · LAX 16:11 · JFK 19:11
    ♥ Do have faith in what you're doing.