六個(gè)用于大數(shù)據(jù)分析的最好工具

一、Hadoop

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是 Hadoop是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。Hadoop是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop是高效的，因?yàn)樗圆⑿械姆绞焦ぷ?，通過(guò)并行處理加快處理速度。Hadoop還是可伸縮的，能夠處理 PB級(jí)數(shù)據(jù)。此外，Hadoop依賴(lài)于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。

二、HPCC

HPCC，High Performance Computing and Communications(高性能計(jì)算與通信)的縮寫(xiě)。1993年，由美國(guó)科學(xué)、工程、技術(shù)聯(lián)邦協(xié)調(diào)理事會(huì)向國(guó)會(huì)提交了“重大挑戰(zhàn)項(xiàng)目：高性能計(jì)算與通信”的報(bào)告，也就是被稱(chēng)為HPCC計(jì)劃的報(bào)告，即美國(guó)總統(tǒng)科學(xué)戰(zhàn)略項(xiàng)目，其目的是通過(guò)加強(qiáng)研究與開(kāi)發(fā)解決一批重要的科學(xué)與技術(shù)挑戰(zhàn)問(wèn)題。HPCC是美國(guó)實(shí)施信息高速公路而上實(shí)施的計(jì)劃，該計(jì)劃的實(shí)施將耗資百億美元，其主要目標(biāo)要達(dá)到：開(kāi)發(fā)可擴(kuò)展的計(jì)算系統(tǒng)及相關(guān)軟件，以支持太位級(jí)網(wǎng)絡(luò)傳輸性能，開(kāi)發(fā)千兆比特網(wǎng)絡(luò)技術(shù)，擴(kuò)展研究和教育機(jī)構(gòu)及網(wǎng)絡(luò)連接能力。

三、Storm

Storm是自由的開(kāi)源軟件，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm可以非?？煽康奶幚睚嫶蟮臄?shù)據(jù)流，用于處理Hadoop的批量數(shù)據(jù)。Storm很簡(jiǎn)單，支持許多種編程語(yǔ)言，使用起來(lái)非常有趣。Storm由Twitter開(kāi)源而來(lái)，其它知名的應(yīng)用企業(yè)包括Groupon、淘寶、支付寶、阿里巴巴、樂(lè)元素、Admaster等等。

Storm有許多應(yīng)用領(lǐng)域：實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、不停頓的計(jì)算、分布式RPC(遠(yuǎn)過(guò)程調(diào)用協(xié)議，一種通過(guò)網(wǎng)絡(luò)從遠(yuǎn)程計(jì)算機(jī)程序上請(qǐng)求服務(wù))、 ETL(Extraction-Transformation-Loading的縮寫(xiě)，即數(shù)據(jù)抽取、轉(zhuǎn)換和加載)等等。Storm的處理速度驚人：經(jīng)測(cè)試，每個(gè)節(jié)點(diǎn)每秒鐘可以處理100萬(wàn)個(gè)數(shù)據(jù)元組。Storm是可擴(kuò)展、容錯(cuò)，很容易設(shè)置和操作。

四、Apache Drill

為了幫助企業(yè)用戶(hù)尋找更為有效、加快Hadoop數(shù)據(jù)查詢(xún)的方法，Apache軟件基金會(huì)近日發(fā)起了一項(xiàng)名為“Drill”的開(kāi)源項(xiàng)目。Apache Drill實(shí)現(xiàn)了 Google’s Dremel.

據(jù)Hadoop廠商MapR Technologies公司產(chǎn)品經(jīng)理Tomer Shiran介紹，“Drill”已經(jīng)作為Apache孵化器項(xiàng)目來(lái)運(yùn)作，將面向全球軟件工程師持續(xù)推廣。

五、RapidMiner

RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，在一個(gè)非常大的程度上有著先進(jìn)技術(shù)。它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，包括各種數(shù)據(jù)藝術(shù)，能簡(jiǎn)化數(shù)據(jù)挖掘過(guò)程的設(shè)計(jì)和評(píng)價(jià)。

六、Pentaho BI

Pentaho BI平臺(tái)不同于傳統(tǒng)的BI產(chǎn)品，它是一個(gè)以流程為中心的，面向解決方案(Solution)的框架。其目的在于將一系列企業(yè)級(jí)BI產(chǎn)品、開(kāi)源軟件、API等等組件集成起來(lái)，方便商務(wù)智能應(yīng)用的開(kāi)發(fā)。它的出現(xiàn)，使得一系列的面向商務(wù)智能的獨(dú)立產(chǎn)品如Jfree、Quartz等等，能夠集成在一起，構(gòu)成一項(xiàng)項(xiàng)復(fù)雜的、完整的商務(wù)智能解決方案。

編者按：數(shù)據(jù)科學(xué)家是21世紀(jì)的熱門(mén)工作。工欲善其事必先利其器。數(shù)據(jù)分析工具何其多，究竟用哪樣才合適？Lewis Chou在Medium上分析了3類(lèi)6種工具的特點(diǎn)和適用場(chǎng)景，看完這篇文章，相信你就可以知道了。原文標(biāo)題是：Top 6 Data Analytics Tools in 2019

說(shuō)到數(shù)據(jù)分析工具，我們總是有疑問(wèn)。那么多的數(shù)據(jù)分析工具，它們之間究竟有什么區(qū)別？哪個(gè)更好？我應(yīng)該學(xué)習(xí)哪一個(gè)？

盡管這是一個(gè)老生常談的話題，但它確實(shí)很重要，我一直在努力尋找這個(gè)終極問(wèn)題的答案。如果你到網(wǎng)上搜索這個(gè)領(lǐng)域的相關(guān)信息的話，很難找到公正的看法。因?yàn)樘囟〝?shù)據(jù)分析工具的評(píng)估者可能會(huì)從不同的角度出發(fā)，并帶有一些個(gè)人感受。

今天，讓我們撇開(kāi)這些個(gè)人感受。我會(huì)嘗試跟大家一起客觀地談?wù)勎覍?duì)市場(chǎng)上數(shù)據(jù)分析工具的個(gè)人看法，以供參考。

我總共選擇了三類(lèi)共6種工具。接下來(lái)我會(huì)一一進(jìn)行介紹。

Excel具備多種強(qiáng)大功能，比如創(chuàng)建表單，數(shù)據(jù)透視表，VBA等，Excel的系統(tǒng)如此龐大，以至于沒(méi)有任何一項(xiàng)分析工具可以超越它，確保了大家可以根據(jù)自己的需求分析數(shù)據(jù)。

但是，有些人可能以為他們非常精通計(jì)算機(jī)編程語(yǔ)言，然后鄙視用Excel作為工具，因?yàn)镋xcel無(wú)法處理大數(shù)據(jù)。但是請(qǐng)考慮一下，我們?nèi)粘Ｉ钪惺褂玫臄?shù)據(jù)是不是超出了大數(shù)據(jù)的限制？在我看來(lái)，Excel就是一款全能型的播放器。它最適合小型數(shù)據(jù)，而且通過(guò)插件還可以處理數(shù)百萬(wàn)的數(shù)據(jù)。

綜上所述，基于Excel的強(qiáng)大功能及其用戶(hù)規(guī)模，我認(rèn)為它是必不可少的工具。如果你想學(xué)習(xí)數(shù)據(jù)分析，Excel絕對(duì)是首選。

商業(yè)智能是為數(shù)據(jù)分析而生的，它誕生的起點(diǎn)很高。其目的是縮短從商業(yè)數(shù)據(jù)到商業(yè)決策的時(shí)間，并利用數(shù)據(jù)來(lái)影響決策。

Excel的產(chǎn)品目標(biāo)不是這樣。Excel可以做很多事情。你可以使用Excel畫(huà)課程表，制作問(wèn)卷或用作計(jì)算器，甚至可以用來(lái)畫(huà)畫(huà)。如果你會(huì)VBA，還可以制作小型游戲。不過(guò)這些并不是真正的數(shù)據(jù)分析功能。

但是BI工具就是專(zhuān)門(mén)用于數(shù)據(jù)分析的。

以常見(jiàn)的BI工具（例如Power BI，F(xiàn)ineReport和Tableau）為例。你會(huì)發(fā)現(xiàn)它們都是按照數(shù)據(jù)分析流程設(shè)計(jì)的。先是數(shù)據(jù)處理，數(shù)據(jù)清洗，然后是數(shù)據(jù)建模，最后是數(shù)據(jù)可視化，用圖表來(lái)識(shí)別問(wèn)題并影響決策。

這些是數(shù)據(jù)分析的唯一方法，并且在這個(gè)過(guò)程中存在一些員工的痛點(diǎn)。

比方說(shuō)，可以用BI工具來(lái)簡(jiǎn)化重復(fù)的低附加值的數(shù)據(jù)清洗工作。

如果數(shù)據(jù)量很大，傳統(tǒng)工具Excel是無(wú)法完成數(shù)據(jù)透視表的。

如果我們用Excel來(lái)進(jìn)行圖形顯示，會(huì)需要花費(fèi)大量時(shí)間來(lái)編輯圖表，包括顏色和字體設(shè)置等瑣事。

這些痛點(diǎn)是BI工具可以為我們帶來(lái)變化和價(jià)值的地方。

現(xiàn)在，讓我們比較一下市場(chǎng)上的三種流行的BI工具：Power BI，F(xiàn)ineReport和Tableau。

1）Tableau

Tableau的核心本質(zhì)實(shí)際上是Excel的數(shù)據(jù)透視表和數(shù)據(jù)透視圖?？梢哉f(shuō)Tableau敏銳地意識(shí)到了Excel的這一功能。它進(jìn)入BI市場(chǎng)較早，并延續(xù)了這一核心價(jià)值。

從發(fā)展歷史和當(dāng)前市場(chǎng)反饋的角度來(lái)看，Tableau的可視化效果更好。我不認(rèn)為這是因?yàn)樗膱D表有多酷，但是它的設(shè)計(jì)、顏色和用戶(hù)界面給我們一種簡(jiǎn)單而新鮮的感覺(jué)。

確實(shí)，這就像Tableau自己的宣傳一樣，他們投入了大量的學(xué)術(shù)精力來(lái)研究大家喜歡哪種圖表，以及如何為用戶(hù)提供操作和視覺(jué)上的終極體驗(yàn)。

此外，Tableau還增加了數(shù)據(jù)清洗功能和更智能的分析功能。這也是Tableau可以預(yù)期的產(chǎn)品開(kāi)發(fā)優(yōu)勢(shì)。

2）Power BI

Power BI的優(yōu)勢(shì)在于其業(yè)務(wù)模型和數(shù)據(jù)分析功能。

Power BI以前是Excel的插件，但是發(fā)展并不理想。因此它擺脫了Excel，發(fā)展成BI工具。作為后來(lái)者，Power BI每個(gè)月都有迭代更新，并且跟進(jìn)的速度很快。

Power BI當(dāng)前具有三種授權(quán)方式：Power BI Free、Power BI Pro以及Power BI Premium。與Tableau一樣，免費(fèi)版的功能也不完整。但是給個(gè)人用幾乎已經(jīng)足夠。而且Power BI的數(shù)據(jù)分析功能強(qiáng)大。它的PowerPivot和DAX語(yǔ)言讓我能夠以類(lèi)似在Excel中編寫(xiě)公式的方式來(lái)進(jìn)行復(fù)雜的高級(jí)分析。

3）FineReport應(yīng)用

FineReport之所以獨(dú)特在于它的自助服務(wù)數(shù)據(jù)分析非常適合企業(yè)用戶(hù)。只需簡(jiǎn)單的拖放操作，你就可以使用FineReport設(shè)計(jì)各種樣式的報(bào)告，并輕松構(gòu)建數(shù)據(jù)決策分析系統(tǒng)。

FineReport可以直接連接到各種數(shù)據(jù)庫(kù)，并且方便快捷地自定義各種樣式，從而制作周報(bào)、月報(bào)和季報(bào)、年報(bào)。其格式類(lèi)似于Excel的界面。功能包括報(bào)告創(chuàng)建，報(bào)告權(quán)限分配，報(bào)告管理，數(shù)據(jù)輸入等。

此外，F(xiàn)ineReport的可視化功能也非常突出，它提供了多種儀表板模板和許多自行開(kāi)發(fā)的可視插件庫(kù)。

在價(jià)格方面，F(xiàn)ineReport的個(gè)人版本是完全免費(fèi)的，并且所有功能都是開(kāi)放的。

R和Python是我要討論的第三類(lèi)工具。盡管像Excel和BI工具這樣的軟件已盡最大努力考慮到數(shù)據(jù)分析的大多數(shù)應(yīng)用場(chǎng)景，但其實(shí)它們基本上都是定制化的。如果軟件沒(méi)有設(shè)計(jì)某項(xiàng)功能或替某功能開(kāi)發(fā)按鈕，那很可能你就沒(méi)法用它們來(lái)完成工作。

在這一點(diǎn)上面，編程語(yǔ)言是不一樣的。它非常強(qiáng)大和靈活。你可以編寫(xiě)代碼來(lái)執(zhí)行所需的任何操作。比方說(shuō)，R和Python是數(shù)據(jù)科學(xué)家必不可少的工具。從專(zhuān)業(yè)的角度來(lái)看，它們絕對(duì)比Excel和BI工具強(qiáng)大。

那么，R和Python可以實(shí)現(xiàn)哪些Excel和BI工具難以實(shí)現(xiàn)的應(yīng)用場(chǎng)景呢？

1）專(zhuān)業(yè)統(tǒng)計(jì)分析

就R語(yǔ)言而言，它最擅長(zhǎng)的是統(tǒng)計(jì)分析，例如正態(tài)分布，使用算法對(duì)聚類(lèi)進(jìn)行分類(lèi)和回歸分析等。這種分析就像用數(shù)據(jù)作實(shí)驗(yàn)一樣。它可以幫助我們回答以下問(wèn)題。

比方說(shuō)，數(shù)據(jù)的分布是正態(tài)分布、三角分布還是其他類(lèi)型的分布？離散情況如何？它是否在我們想要達(dá)到的統(tǒng)計(jì)可控范圍內(nèi)？不同參數(shù)對(duì)結(jié)果的影響的大小是多少？還有假設(shè)仿真分析。如果某個(gè)參數(shù)發(fā)生變化，會(huì)帶來(lái)多大影響？

2）獨(dú)立預(yù)測(cè)分析

比方說(shuō)，我們打算預(yù)測(cè)消費(fèi)者的行為。他會(huì)在我們的商店停留多長(zhǎng)時(shí)間？他會(huì)花多少錢(qián)？我們可以找出他的個(gè)人信用情況，并根據(jù)他的在線消費(fèi)記錄確定貸款金額?；蛘?，我們可以根據(jù)他在網(wǎng)頁(yè)上的瀏覽歷史推送不同的物品。這也涉及當(dāng)前流行的機(jī)器學(xué)習(xí)和人工智能概念。

以上比較說(shuō)明了幾種軟件之間的區(qū)別。我想概括的要點(diǎn)的是，存在就是合理。Excel，BI工具或編程語(yǔ)言存在部分功能重疊，但它們也是互補(bǔ)的工具。每個(gè)應(yīng)用的價(jià)值取決于要開(kāi)發(fā)的應(yīng)用的類(lèi)型和當(dāng)時(shí)的情況。

在選擇數(shù)據(jù)分析工具之前，你必須首先了解自己的工作：你會(huì)不會(huì)用到我剛剛提到的應(yīng)用場(chǎng)景?；蚩紤]一下你的職業(yè)方向：你是面向數(shù)據(jù)科學(xué)還是業(yè)務(wù)分析的。

譯者：boxi。

1、數(shù)據(jù)處理工具：Excel

數(shù)據(jù)分析師，在有些公司也會(huì)有數(shù)據(jù)產(chǎn)品經(jīng)理、數(shù)據(jù)挖掘工程師等等。他們最初級(jí)最主要的工具就是Excel。有些公司也會(huì)涉及到像Visio，Xmind、PPT等設(shè)計(jì)圖標(biāo)數(shù)據(jù)分析方面的高級(jí)技巧。數(shù)據(jù)分析師是一個(gè)需要擁有較強(qiáng)綜合能力的崗位，因此，在有些互聯(lián)網(wǎng)公司仍然需要數(shù)據(jù)透視表演練、Vision跨職能流程圖演練、Xmind項(xiàng)目計(jì)劃導(dǎo)圖演練、PPT高級(jí)動(dòng)畫(huà)技巧等。

2、數(shù)據(jù)庫(kù)：MySQL

Excel如果能夠玩的很轉(zhuǎn)，能勝任一部分?jǐn)?shù)據(jù)量不是很大的公司。但是基于Excel處理數(shù)據(jù)能力有限，如果想勝任中型的互聯(lián)網(wǎng)公司中數(shù)據(jù)分析崗位還是比較困難。因此需要學(xué)會(huì)數(shù)據(jù)庫(kù)技術(shù)，一般Mysql。你需要了解MySQL管理工具的使用以及數(shù)據(jù)庫(kù)的基本操作;數(shù)據(jù)表的基本操作、MySQL的數(shù)據(jù)類(lèi)型和運(yùn)算符、MySQL函數(shù)、查詢(xún)語(yǔ)句、存儲(chǔ)過(guò)程與函數(shù)、觸發(fā)程序以及視圖等。比較高階的需要學(xué)習(xí)MySQL的備份和恢復(fù);熟悉完整的MySQL數(shù)據(jù)系統(tǒng)開(kāi)發(fā)流程。

3、數(shù)據(jù)可視化：Tableau& Echarts

如果說(shuō)前面2條是數(shù)據(jù)處理的技術(shù)，那么在如今“顏值為王”的現(xiàn)在，如何將數(shù)據(jù)展現(xiàn)得更好看，讓別人更愿意看，這也是一個(gè)技術(shù)活。好比公司領(lǐng)導(dǎo)讓你對(duì)某一個(gè)項(xiàng)目得研究成果做匯報(bào)，那么你不可能給他看單純的數(shù)據(jù)一樣，你需要讓數(shù)據(jù)更直觀，甚至更美觀。

在數(shù)字化時(shí)代，數(shù)據(jù)已經(jīng)成為企業(yè)核心競(jìng)爭(zhēng)力的基石。面對(duì)海量信息，如何高效地進(jìn)行大數(shù)據(jù)查詢(xún)和分析，對(duì)企業(yè)決策至關(guān)重要。市面上涌現(xiàn)了眾多強(qiáng)大且實(shí)用的數(shù)據(jù)工具與平臺(tái)，幫助企業(yè)在智能化決策的道路上更進(jìn)一步。下面，我們將深入探討幾個(gè)備受推崇的大數(shù)據(jù)分析工具，它們各具特色，滿(mǎn)足不同企業(yè)的需求。

1.百度統(tǒng)計(jì)

作為百度推出的免費(fèi)流量分析專(zhuān)家，百度統(tǒng)計(jì)以詳盡的用戶(hù)行為追蹤和百度推廣數(shù)據(jù)集成，助力企業(yè)優(yōu)化用戶(hù)體驗(yàn)并提升投資回報(bào)。其多元化的圖形化報(bào)告，包括流量分析、來(lái)源分析、網(wǎng)站分析等，通過(guò)大數(shù)據(jù)技術(shù)與海量資源，為企業(yè)提供全方位的用戶(hù)行為洞察。

服務(wù)特色：

全面的數(shù)據(jù)分析平臺(tái)，基于大數(shù)據(jù)技術(shù)與百度資源

集成百度推廣數(shù)據(jù)，實(shí)時(shí)優(yōu)化推廣策略

2.友盟+

友盟+結(jié)合實(shí)時(shí)更新的數(shù)據(jù)資源，覆蓋191個(gè)行業(yè)和300+分析指標(biāo)，借助AI賦能，為企業(yè)提供深度用戶(hù)洞察、業(yè)務(wù)決策支持和持續(xù)增長(zhǎng)。憑借多項(xiàng)知識(shí)產(chǎn)權(quán)和安全認(rèn)證，友盟+是企業(yè)深度分析和營(yíng)銷(xiāo)增長(zhǎng)的得力助手。

3.諸葛io

諸葛io專(zhuān)為移動(dòng)應(yīng)用和網(wǎng)站設(shè)計(jì)，憑借用戶(hù)全生命周期跟蹤技術(shù)，助力運(yùn)營(yíng)者深入了解用戶(hù)行為。其新一代產(chǎn)品以用戶(hù)為中心，提供一站式的“產(chǎn)品+服務(wù)”數(shù)據(jù)解決方案，覆蓋SaaS基礎(chǔ)版到私有化部署的多版本選擇。

4.神策數(shù)據(jù)

神策數(shù)據(jù)作為專(zhuān)業(yè)的大數(shù)據(jù)服務(wù)商，以用戶(hù)級(jí)大數(shù)據(jù)分析為核心，提供神策分析、智能運(yùn)營(yíng)等產(chǎn)品，幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)。其PaaS平臺(tái)支持私有化部署，確保數(shù)據(jù)安全和靈活性。

5.數(shù)數(shù)科技

數(shù)數(shù)科技致力于構(gòu)建數(shù)據(jù)基礎(chǔ)設(shè)施，提供一體化的數(shù)據(jù)采集、存儲(chǔ)和分析服務(wù)，以簡(jiǎn)單高效為特點(diǎn)，支持私有化部署和深度多維分析，幫助企業(yè)構(gòu)建數(shù)據(jù)驅(qū)動(dòng)的決策環(huán)境。

6. GrowingIO

GrowingIO是國(guó)內(nèi)領(lǐng)先的數(shù)據(jù)運(yùn)營(yíng)平臺(tái)，為產(chǎn)品、運(yùn)營(yíng)等團(tuán)隊(duì)提供客戶(hù)數(shù)據(jù)平臺(tái)和智能運(yùn)營(yíng)解決方案，助力企業(yè)增長(zhǎng)。它專(zhuān)注于多個(gè)行業(yè)，提供專(zhuān)業(yè)的數(shù)據(jù)采集和分析工具，以及定制化場(chǎng)景解決方案。

采購(gòu)小貼士：

選擇數(shù)據(jù)分析工具需綜合考慮企業(yè)實(shí)力、功能需求、易用性、服務(wù)及價(jià)格。沒(méi)有萬(wàn)能的解決方案，需根據(jù)客戶(hù)群體和業(yè)務(wù)需求來(lái)定制。不妨聯(lián)系專(zhuān)業(yè)顧問(wèn)，獲取免費(fèi)咨詢(xún)、軟件資料和報(bào)價(jià)，參與我們的選型交流群，與同行分享經(jīng)驗(yàn)和獲取更多優(yōu)惠。

加入SaaS點(diǎn)評(píng)網(wǎng)選型交流群:與行業(yè)伙伴共同探討，獲取定制化數(shù)據(jù)工具的專(zhuān)業(yè)支持，加速您的數(shù)據(jù)化轉(zhuǎn)型之路。

通過(guò)這些工具，企業(yè)可以更好地理解和利用數(shù)據(jù)，優(yōu)化業(yè)務(wù)流程，提升決策效率，從而在激烈的市場(chǎng)競(jìng)爭(zhēng)中占據(jù)優(yōu)勢(shì)。根據(jù)企業(yè)的實(shí)際情況，挑選最適合的工具，將數(shù)據(jù)轉(zhuǎn)化為企業(yè)發(fā)展的強(qiáng)大引擎。