v 友们做大数据处理的多吗，想问下你们做大数据的无聊不？

反正本人已经做了半年了，感觉挺枯燥的，主要是 java ＋ spark，有时候也用 py 爬数据。

Morriaty

2017 年 8 月 4 日

无聊不至于，就是真正懂算法的不多，公司里号称大数据部门，其实大部分人都是写 sql 的。

更多的时候，就是自己一个人在瞎摸，就像解一道数学题，从太阳上山到太阳下山，都没解出来，难受。

xiaoshenke

2017 年 8 月 4 日

跑个题，写过 android，写过 java web，都写得差不多腻了。看来我不适合做程序员。

jason2017

2017 年 8 月 4 日

顺便请假题主一个问题，java 写 spark 机器学习应用的时候，用 mllib 多还是 ml 多？哪一个方便点？

findbrick

2017 年 8 月 4 日

@Morriaty 有道理主要还是自己摸索算法确实是硬伤

sshpandas

2017 年 8 月 4 日

不无聊，因为经常换项目做，接触的行业不一样，问题也不一样。

staticor

2017 年 8 月 4 日

不无聊, 自己喜欢和业务打交道, 现在一半时间做仓库一半时间做分析

findbrick

2017 年 8 月 4 日

@sshpandas 羡慕经常换项目
@staticor 基本都是仓库＋分析一起做

sicongwang

2017 年 8 月 4 日

楼主大数据是不是不算忙, 待遇也比开发高, 想转, 求指教

af463419014

2017 年 8 月 4 日

我这里所有的需求总结起来主要有以下 3 种:
sum(x)
count(id)
count(distinct id)

airqj

2017 年 8 月 4 日

@jason2017 ml 基于 DataFrame
人家文档都说 mllib 进入维护状态了

Delete

2017 年 8 月 4 日

2-3 年安卓转大数据开发，一本 hadoop 权威指南看得很累了。。。

sicongwang

2017 年 8 月 4 日

@af463419014 需求真的有这么简单吗, 那大数据的工作做起来岂不是没有什么业务的压力?

jason2017

2017 年 8 月 4 日

@airqj 是的，但是网上现在关于 ml 的中文资料还是不多，不过，也是迟早要用 ml 的。

F281M6Dh8DXpD1g2

2017 年 8 月 4 日

@sicongwang
这工作只是看起来很简单而已

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.