看到一大波 Java 在转大数据,唯有我倒着走?

2020 年 11 月 16 日
 comsweetcs

前言

越来越多的 Java 后端转来搞大数据了,只有我倒着走,要回去搞后端嘛? 个人感觉大数据开发真的没啥意思,最有意思和有价值的工作在于机器学习,奈何能力有限。 说下对于大数据开发我的看法,首先说下这个类别岗位的主要意义,然后谈下工种分类。

大数据开发的价值

大数据开发的价值个人认为主要是为了给机器学习提供数据服务支撑,通俗点说就是让搞机器学习的同学 能更好的利用数据,保证数据的丰富性、准确性。

大数据开发的工种

大数据开发在我看来主要分为两个工种,一个是搞平台化开发、一个是面向业务的数据仓库开发。

我的一些感悟

12041 次点击
所在节点    程序员
75 条回复
comsweetcs
2020 年 11 月 17 日
@wudalang123 java 是一个生态,ok ?
shijia
2020 年 11 月 17 日
写 SQL 的在这里 你看我签名
yanzixuan
2020 年 11 月 17 日
@la2la 最后搞大数据开发,还是要学 java/scala 才行。我的路线跟你差不多。。
现在一边搞大数据,一边搞 curd 。。。
yanzixuan
2020 年 11 月 17 日
@comsweetcs 你们的 kafka 集群这么容易出问题?
comsweetcs
2020 年 11 月 17 日
@yanzixuan 不是容易出问题,是要时刻带着,一出问题要立即修复。我们搞金融的,你说呢,数据就是金钱。
young1lin
2020 年 11 月 18 日
上上个月刚写了个 UDAF 给别人用,还可以做大数据可视化开发啊,比如 CDH 那种
comsweetcs
2020 年 11 月 18 日
@young1lin 我司 UDF 几百个,这玩意又不是一直要写……基本上一个月能有一个就不错了……我都半年没加东西了
young1lin
2020 年 11 月 20 日
UDAF 不是 UDF,难度根本不在一个量级的
comsweetcs
2020 年 11 月 20 日
@young1lin 。。。又不是没 UDAF,我们统称 UDF 。能有多难,我不觉得。。。
young1lin
2020 年 11 月 21 日
@comsweetcs 你自己写过么?根据给你的公式写出对应的 UDAF
comsweetcs
2020 年 11 月 21 日
@young1lin ....我们的 Udf 项目都我负责的,我会没写过?
young1lin
2020 年 11 月 22 日
@comsweetcs 哦?那你还说你是 SQL Boy,不是还有其他的吗,你们用的什么大数据平台? CDH ?可以扩展优化扩展 CDH 啊
leven87
2021 年 6 月 11 日
这是在大公司吧,只用做一块。 技术的乐趣不就在于不断的探索吗,最后做个架构师也好
lin0kin
2021 年 8 月 25 日
挖一下, 请问有什么可以入门大数据的好的资源推荐吗? 看了一些, 感觉一般啊
littleJohn
2022 年 12 月 26 日
@lin0kin 挖一下。求推荐~最近在玩 Hadoop 年后准备找工作了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/725776

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX