亚洲精选AⅤ在线观看_亚洲se频在线观看_亚洲中文 ,亚洲日本va在线视频_东京热AV一区二区_av不卡,亚洲乱码中文字幕综合站_国产国语毛片在线看国产

大數(shù)據(jù)就是任何超過了一臺計算機處理能力的龐大數(shù)據(jù)量。–JohnRauser。

大數(shù)據(jù)代表了更多的信息，更多理解信息的角度。

大數(shù)據(jù)，又稱巨量資料，指的是所涉及的數(shù)據(jù)資料量規(guī)模巨大到無法通過人腦甚至主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。

二、大數(shù)據(jù)的分類

結(jié)構(gòu)化數(shù)據(jù)，簡單來說就是數(shù)據(jù)庫。也稱作行數(shù)據(jù)，是由二維表結(jié)構(gòu)來邏輯表達(dá)和實現(xiàn)的數(shù)據(jù)，嚴(yán)格地遵循數(shù)據(jù)格式與長度規(guī)范，主要通過關(guān)系型數(shù)據(jù)庫進行存儲和管理。結(jié)構(gòu)化數(shù)據(jù)標(biāo)記，是一種能讓網(wǎng)站以更好的姿態(tài)展示在搜索結(jié)果當(dāng)中的方式，搜索引擎都支持標(biāo)準(zhǔn)的結(jié)構(gòu)化數(shù)據(jù)標(biāo)記。（員工的姓名，年齡等）
非結(jié)構(gòu)話數(shù)據(jù)，是與結(jié)構(gòu)化數(shù)據(jù)相對的，不適于由數(shù)據(jù)庫二維表來表現(xiàn)，包括所有格式的辦公文檔、XML、HTML、各類報表、圖片和咅頻、視頻信息等。支持非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫采用多值字段、了字段和變長字段機制進行數(shù)據(jù)項的創(chuàng)建和管理，廣泛應(yīng)用于全文檢索和各種多媒體信息處理領(lǐng)域。（員工的聲音，頭像等）
半結(jié)構(gòu)化數(shù)據(jù)是一種適于數(shù)據(jù)庫集成的數(shù)據(jù)模型，也就是說，適于描述包含在兩個或多個數(shù)據(jù)庫（這些數(shù)據(jù)庫含有不同模式的相似數(shù)據(jù)）中的數(shù)據(jù)。（員工的簡歷等）

三、大數(shù)據(jù)的特點

1、規(guī)模性（Volume)大數(shù)據(jù)的數(shù)據(jù)量是驚人的，隨著技術(shù)的發(fā)展，數(shù)據(jù)量開始爆發(fā)性增長，達(dá)到TB甚至PB級別。例如，淘寶網(wǎng)平常每天的商品交易數(shù)據(jù)約20TB（1TB=1024GB），全球最大設(shè)計平臺Facebook的用戶，每天產(chǎn)生的日志數(shù)據(jù)超過了300TB（日志數(shù)據(jù)是記錄用戶操作記錄的，并非發(fā)帖內(nèi)容）。大數(shù)據(jù)如此龐大的數(shù)據(jù)量，是無法通過人工處理的。需要智能的算法、強大的數(shù)據(jù)處理平臺和新的數(shù)據(jù)處理技術(shù)來處理這些大數(shù)據(jù)。

2、多樣性（Varity) 大數(shù)據(jù)廣泛的數(shù)據(jù)來源，決定了大數(shù)據(jù)形式的多樣性。大數(shù)據(jù)大體上可以分為三類，分別是結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化的數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)的特點是數(shù)據(jù)間因果關(guān)系強，比如息管理系統(tǒng)數(shù)據(jù)、醫(yī)療系統(tǒng)數(shù)據(jù)等；非結(jié)構(gòu)化的數(shù)據(jù)的特點是數(shù)據(jù)間沒有因果關(guān)系，比如音頻、圖片、視頻等；半結(jié)構(gòu)化數(shù)據(jù)的特點是數(shù)據(jù)間的因果關(guān)系弱。比如網(wǎng)頁數(shù)據(jù)、郵件記錄等。

3、高速性（Velocity) 大數(shù)據(jù)的交換和傳播是通過互聯(lián)網(wǎng)、云計算等方式實現(xiàn)的，遠(yuǎn)比傳統(tǒng)媒介的信息交換和傳播速度快捷。大數(shù)據(jù)與海量數(shù)據(jù)的重要區(qū)別，除了大數(shù)據(jù)的數(shù)據(jù)規(guī)模更大以外，大數(shù)據(jù)對處理數(shù)據(jù)的響應(yīng)速度有更嚴(yán)格的要求。實時分析而非批量分析，數(shù)據(jù)輸入、處理與丟棄立刻見效，幾乎無延遲。數(shù)據(jù)的增長速度和處理速度是大數(shù)據(jù)高速性的重要體現(xiàn)。

4、價值性（Value) 價值性是大數(shù)據(jù)的核心特點。現(xiàn)實中大量的數(shù)據(jù)是無效或者低價值的，大數(shù)據(jù)最大的價值在于通過從大量不相關(guān)的各種類型的數(shù)據(jù)中，挖掘出對未來趨勢與模式預(yù)測分析有價值的數(shù)據(jù)。比如，某寶電商平臺每天產(chǎn)生的大量交易數(shù)據(jù)（大數(shù)據(jù)），通過一些算法可以分析出具有某些特征的人喜歡什么類型的商品，然后根據(jù)客戶的特征，給其推薦TA喜歡的商品。

軟件

1.Docker Compose是一個用來幫助定義和分享多容器應(yīng)用的工具。有了Compose，就能創(chuàng)建一個YAML文件來定義服務(wù)，只需要一個命令，就能夠啟動所有東西，也能夠把所有東西銷毀掉。

2.Zeppelin是一個基于Web的notebook，提供交互數(shù)據(jù)分析和可視化。后臺支持接入多種數(shù)據(jù)處理引擎，如Spark，Hive等。支持多種語言：Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。

3.Hadoop是由java語言編寫的，在分布式服務(wù)器集群上存儲海量數(shù)據(jù)并運行分布式分析應(yīng)用的開源框架，其核心部件是HDFS與MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。

4.Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，用來進行數(shù)據(jù)提取、轉(zhuǎn)化、加載，可以存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)的機制。

5.Hbase其實是Hadoop database的簡稱，是一種NoSQL數(shù)據(jù)庫，主要適用于海量明細(xì)數(shù)據(jù)（十億、百億）的隨機實時查詢，如日志明細(xì)、交易清單、軌跡行為等。

tips: Hive適合用來對一段時間內(nèi)的數(shù)據(jù)進行分析查詢。適合用來進行大數(shù)據(jù)的實時查詢。

6.Spark是一種基于內(nèi)存的快速、通用、可擴展的大數(shù)據(jù)計算引擎。它集批處理、實時流處理、交互式查詢、圖計算與機器學(xué)習(xí)于一體。

tips: Spark是那么一個專門用來對那些分布式存儲的大數(shù)據(jù)進行處理的工具，它要借助Hadoop HDFS的數(shù)據(jù)存儲。Hadoop的MapReduce是分步對數(shù)據(jù)進行處理的，存取磁盤的過程會影響處理速度。Spark從磁盤中讀取數(shù)據(jù)，把中間數(shù)據(jù)放到內(nèi)存中，完成所有必須的分析處理，將結(jié)果寫回集群，所以Spark更快。所以Hadoop + Spack結(jié)合起來用更好。

7.JupyterLab是一個集 Jupyter Notebook、文本編輯器、終端以及各種個性化組件（有VScode內(nèi)味了）于一體的全能IDE。

8.prestoDB是一種開源的分布式 SQL 查詢引擎，從頭開始設(shè)計用于針對任何規(guī)模的數(shù)據(jù)進行快速分析查詢。它既可支持非關(guān)系數(shù)據(jù)源，例如 Hadoop 分布式文件系統(tǒng) (HDFS)、Amazon S3、Cassandra、MongoDB 和 HBase，又可支持關(guān)系數(shù)據(jù)源，例如 MySQL、PostgreSQL、Amazon Redshift、Microsoft SQL Server 和 Teradata。

9.TensorFlow是一個端到端開源機器學(xué)習(xí)平臺。它擁有一個全面而靈活的生態(tài)系統(tǒng)，其中包含各種工具、庫和社區(qū)資源，可助力研究人員推動先進機器學(xué)習(xí)技術(shù)的發(fā)展，并使開發(fā)者能夠輕松地構(gòu)建和部署由機器學(xué)習(xí)提供支持的應(yīng)用。

四、主流的大數(shù)據(jù)架構(gòu)Lambda

Lambda架構(gòu)是其根據(jù)多年進行分布式大數(shù)據(jù)系統(tǒng)的經(jīng)驗總結(jié)提煉而成，目標(biāo)是設(shè)計出一個能滿足實時大數(shù)據(jù)系統(tǒng)關(guān)鍵特性的架構(gòu)，包括有：高容錯、低延時和可擴展等。Lambda架構(gòu)整合離線計算和實時計算，融合不可變性（Immunability），讀寫分離和復(fù)雜性隔離等一系列架構(gòu)原則，可集成Hadoop，Kafka，Storm，Spark，Hbase等各類大數(shù)據(jù)組件。