大數據的含義和作用是什么？

大數據簡直就是現實世界的數據化！

大數據對于個人的意義是:個人與信息的強強聯合，個人自帶可信信息。

就拿健康碼來說，為什么綠色碼可以發布？為什么所有檢查點看到綠碼就放行？因為綠色代碼攜帶個人安全健康信息，說明這個人風險低。

也就是說，健康碼是個人信息的一部分，是可信的。

健康代碼的存在是基于大數據的。我們會休息，但手機不會休息，所以我們的位置信息隨時隨地被記錄，形成了個人的行動路徑。我們是否經過了高危區域，甚至劃分為社區和小區？通過收集大量類似的個人數據，最終形成綠色健康碼。證明我們是安全的，我們沒有攜帶病毒。

早期的互聯網，人和信息是分離的。電腦固定在一個地方，我們只能收集ip和個人賬戶信息。地理位置只能靠ip推測。那時候精準推送廣告是非常困難的。只能按地區推。

現在，隨著智能手機的大規模普及，我們不可避免地開始通過各種渠道泄露我們的個人數據用戶協議和，比如去了哪里，買了什么，和誰是朋友以及一些基本信息，性別，年齡等等。

所以大數據算法可以計算出我們的行動路徑，我們的興趣愛好，活躍時間，我們喜歡什么app，喜歡什么文章。最終，漸漸地，我們個人的數據形象越來越接近真實的我們。

健康碼的出現幾乎是我們個人數據圖像幾乎等同于真實的我們的一個正面證明。

這是大數據時代，我們逐漸變得越來越透明，越來越數字化。

數據就是我們，我們就是數據！

大數據處理的流程是什么？

什么是大數據？大數據指的是能夠傳統軟件工具在一定時間內無法捕捉、管理和處理。它是一種海量、高增長、多元化的信息資產，需要一種新的處理模式來擁有更強的決策力、洞察和發現能力以及流程優化能力。

大數據的5V特征:體量(海量)、速度(高速)、多樣性(多樣性)、價值(低價值密度)、真實性(真實性)，百度隨便就能找到。？

大數據處理流程:

？收集數據，建立數據倉庫。數據采集是指數據通過前端埋點傳遞，接口日志調用流數據，數據庫抓取，客戶自己上傳數據，這些信息的基礎數據保存在各個維度，有些數據是沒有用的(剛開始只是想著功能，有些數據沒有采集，？后來被老板罵了)。

？？2.數據清洗/預處理:對接收到的數據進行簡單的處理，比如將ip轉換成地址，過濾掉臟數據。

？？3.有了數據之后，就可以處理數據了。有許多處理數據的方法。一般來說，離線處理分為離線處理和實時處理。離線處理意味著每日計劃處理。阿里常用的有smaxComputer，hive，MapReduceMapReduce，離線處理主要用Storm，Spark，Hadoop。通過一些數據處理框架，可以把數據計算成各種KPI。我們需要注意這里，唐t只考慮功能，主要是構建各種數據維度，完成基礎數據，可復用。以后就可以隨意展示各種KPI了。

？？？？4.數據顯示，數據沒用。要可視化，要達到MVP，就是快速做出一個效果，不適合及時調整。這有點類似于Scrum敏捷開發。數據顯示可以用datav、廁神等完成。，前端可以忽略。自己畫頁面。

數據采集:

？？？？1.批量數據采集就是每天定時去數據庫抓取數據快照。我們使用maxComputer，它可以根據需要每天對數據庫設置一個快照。如何備份，如何設置數據源，如何設置錯誤都在maxComputer中有記載。要使用maxComputer，需要注冊阿里云服務。

？？？？2.實時接口調用數據采集，可以使用logHub、dataHub和流數據處理技術。數據中心具有高可用性、低延遲、高可擴展性和高吞吐量的特點。

高吞吐量:可以支持單個主題每天最多寫T級數據，每個分片每天最多寫8000萬條記錄。

實時:通過DataHub，可以收集各種生成的數據，并實時處理。

設計思路:首先寫一個sdk，記錄公司所有后臺服務調用接口調用，開辟一個線程池，將記錄的數據連續存儲在dataHub和loghub中，前提是設置好接收數據的datahub表結構。

3.將根據業務需求設置的前臺數據嵌入點也通過流數據傳輸到數據倉庫，如上面的第二步。

數據處理:

數據采集后可以進行數據處理，分為離線批量處理和實時處理。

？？？？1.離線批處理maxComputer，是阿里提供的大數據處理服務，是一個快速、全托管的TB/PB數據倉庫解決方案。通過編寫數據處理腳本，設置任務執行時間和任務執行條件，就可以根據自己的要求生成每天需要的數據。

？？？？2.實時處理:對于storm/spark，目前互聯網上只有少數幾個storm、strom的基本概念。這里這是一般的處理過程。首先，設置要讀取的數據源，打開即可。移動風暴會連續讀取數據源。Spout，用于讀取數據。元組:消息傳遞的基本單元，這意味著一組消息是一個元組。Stream，用于傳輸流和元組的集合。Bolt:接受數據，然后執行處理的組件，用戶可以在其中執行所需的操作。你可以在里面寫業務邏輯。風暴不會。;t保存結果，但是您需要編寫自己的代碼來保存它們。總的來說，這是一個拓撲。一般來說，把拓撲提交給服務器后，他會一直讀取數據源，然后通過stream讓數據流動，通過他寫的Bolt代碼處理數據，然后保存到任何地方。有關于如何安裝和部署storm以及如何設置數據源的教程。我贏了。;這里就不多說了。

數據呈現:做了這么多，終于可以直觀的呈現了。因為前端技術不行，所以我們借用了第三方呈現平臺DataV，支持兩種數據讀取模式。第一，我們可以直接讀取數據庫，通過sql找出你的計算數據，你需要配置數據源。讀取數據后，我們可以根據給定的格式對其進行格式化來顯示。

@jiaoready@jiaoready第二種是使用接口。可以直接使用api，在數據區配置成api，填寫接口地址和需要的參數，這樣我就贏了這里就不多說了。

這次記錄這么多，以后再補充。內容原創。如有不妥，請評論指正。