JAVAweb轉(zhuǎn)大數(shù)據(jù)開(kāi)發(fā)，有必要學(xué)習(xí)統(tǒng)計(jì)學(xué)嗎？

我是做大數(shù)據(jù)的，我來(lái)回答一下。

要負(fù)責(zé)任，大數(shù)據(jù)需要學(xué)習(xí)統(tǒng)計(jì)知識(shí)。

大數(shù)據(jù)目前還屬于程序員的范疇，但具有很強(qiáng)的數(shù)據(jù)分析統(tǒng)計(jì)屬性，也與數(shù)據(jù)挖掘密切相關(guān)。雖然日常工作也是寫(xiě)代碼，不像Java，有時(shí)候需求者不不明白哪些指標(biāo)可以用數(shù)據(jù)統(tǒng)計(jì)，統(tǒng)計(jì)出來(lái)的數(shù)據(jù)如何更科學(xué)更有代表性。不像Java有項(xiàng)目需求陳述，產(chǎn)品經(jīng)理提供清晰的產(chǎn)品原型和邏輯，拋給大數(shù)據(jù)端的需求往往只是一句話。分析這些數(shù)據(jù)。;不否認(rèn)有一些明確的統(tǒng)計(jì)，比如總量、PV、UV等等)

上級(jí)領(lǐng)導(dǎo)和運(yùn)營(yíng)人員更希望你主動(dòng)去分析挖掘數(shù)據(jù)，提供一些參考和價(jià)值。在這個(gè)時(shí)候，你不我根本不懂統(tǒng)計(jì)知識(shí)。要不要盯著數(shù)據(jù)讓它自己提出訴求？你不甚至不知道方差、波動(dòng)、歸一化、四分位數(shù)等。，如何清理數(shù)據(jù)，如何做好本職工作。

有些做大數(shù)據(jù)的人，只把自己定位為碼農(nóng)，成長(zhǎng)會(huì)很慢。他們應(yīng)該積極地把自己定位為數(shù)據(jù)分析師，學(xué)習(xí)統(tǒng)計(jì)知識(shí)。一是可以做好本職工作，二是可以進(jìn)入機(jī)器學(xué)習(xí)領(lǐng)域，一舉兩得。

當(dāng)你發(fā)現(xiàn)你的統(tǒng)計(jì)知識(shí)給了你做大數(shù)據(jù)工作的方法，贏得了公司領(lǐng)導(dǎo)的認(rèn)可和好評(píng)，那八個(gè)月的時(shí)間是怎么過(guò)的？

加油，每天進(jìn)步一點(diǎn)點(diǎn)，未來(lái)就大不一樣了。

如果你有任何問(wèn)題，請(qǐng)和我討論。如果你同意我的觀點(diǎn)，請(qǐng)點(diǎn)擊紅字"關(guān)心和支持在右上角。謝謝你。

目前應(yīng)該知道簡(jiǎn)單的統(tǒng)計(jì)公式。如果涉及到復(fù)雜的算法，可能需要了解一些統(tǒng)計(jì)學(xué)的知識(shí)，但是一個(gè)大數(shù)據(jù)開(kāi)發(fā)工程師不掌握統(tǒng)計(jì)學(xué)也能開(kāi)發(fā)大數(shù)據(jù)。

看到j(luò)avaw

Java轉(zhuǎn)大數(shù)據(jù)的學(xué)習(xí)線路是什么？

專(zhuān)業(yè)軟件開(kāi)發(fā)，上學(xué)的時(shí)候?qū)Ｗ⒂贘ava，現(xiàn)在已經(jīng)從事Java開(kāi)發(fā)一年半了。我想轉(zhuǎn)向大數(shù)據(jù)。

1.先熟悉一下linux環(huán)境。大數(shù)據(jù)的很多技術(shù)都部署在linux服務(wù)器上，你熟練使用vi編輯文本。

2.部署hadoop，讓hdfs和MapReduce運(yùn)行。

部署動(dòng)物園管理員

4.部署hbase了解列存儲(chǔ)的表設(shè)計(jì)方法。

5.掌握蜂巢的使用

6.火花流、風(fēng)暴流計(jì)算

7.學(xué)習(xí)sparkmllib，python為數(shù)據(jù)分析做準(zhǔn)備。有Java基礎(chǔ)轉(zhuǎn)大數(shù)據(jù)，需要學(xué)習(xí):

1.大數(shù)據(jù)基礎(chǔ):Linux，Maven:Linux系統(tǒng)管理，Shell編程設(shè)計(jì)，Maven部署/配置/倉(cāng)庫(kù)，MavenPOM。

2.HDFS分布式文件系統(tǒng)

分布式計(jì)算模型Yarn分布式資源管理器Zookeeper分布式協(xié)調(diào)服務(wù)

4.分布式數(shù)據(jù)庫(kù)。

5.FlumeNG分布式數(shù)據(jù)采集系統(tǒng)Sqoop大數(shù)據(jù)遷移系統(tǒng)。

大數(shù)據(jù)黃金語(yǔ)言的kafka分布式總線系統(tǒng)。

7.SparkCore大數(shù)據(jù)計(jì)算基石SparkSQL數(shù)據(jù)挖掘工具SparkStreaming流計(jì)算平臺(tái)

8.SparkMllib機(jī)器學(xué)習(xí)平臺(tái)SparkGraphx圖形計(jì)算平臺(tái)

9.項(xiàng)目實(shí)戰(zhàn)

相關(guān):

大數(shù)據(jù)開(kāi)發(fā)工程師，學(xué)什么？

大數(shù)據(jù)學(xué)習(xí)有哪些誤區(qū)？如何避免大數(shù)據(jù)開(kāi)發(fā)和數(shù)據(jù)分析中的學(xué)習(xí)誤區(qū)？

大數(shù)據(jù)基礎(chǔ):Linux，Maven:Linux系統(tǒng)管理，Shell編程設(shè)計(jì)，Maven部署/配置/倉(cāng)庫(kù)，MavenPOM。