国产另类ts人妖一区二区_欧美肥老太做爰视频_快穿高h肉_国产欧美综合在线

當(dāng)前位置: 首頁 / 技術(shù)干貨 / 正文
好程序員大數(shù)據(jù)培訓(xùn)分享大數(shù)據(jù)技術(shù)Hbase和Hive詳解

2020-12-02

大數(shù)據(jù)培訓(xùn)

  好程序員大數(shù)據(jù)培訓(xùn)分享大數(shù)據(jù)技術(shù)HbaseHive詳解,今天給大家介紹一下關(guān)于零基礎(chǔ)學(xué)習(xí)大數(shù)據(jù)教程之HBASEHIVE是多么重要的技術(shù),那么兩者有什么區(qū)別呢?下面我們一起來看一下吧。

好程序員

 

  ApacheHive是一個(gè)構(gòu)建在hadoop基礎(chǔ)設(shè)施之上的數(shù)據(jù)倉庫。通過Hive可以使用HQL語言查詢存放在HDFS上的數(shù)據(jù)。HQL是一種類SQL語言,這種語言最終被轉(zhuǎn)化為Map/Reduce.雖然Hive提供了SQL查詢功能,但是Hive不能夠進(jìn)行交互查詢–因?yàn)樗荒軌蛟?/font>Haoop上批量的執(zhí)行Hadoop。

  ApacheHBase是一種Key/Value系統(tǒng),它運(yùn)行在HDFS之上。和Hive不一樣,Hbase的能夠在它的數(shù)據(jù)庫上實(shí)時(shí)運(yùn)行,而不是運(yùn)行MapReduce任務(wù)。Hive被分區(qū)為表格,表格又被進(jìn)一步分割為列簇。列簇必須使用schema定義,列簇將某一類型列集合起來(列不要求schema定義)。例如,“message”列簇可能包含:“to”,”from”“date”,“subject”,和”body”。每一個(gè)key/value對(duì)在Hbase中被定義為一個(gè)cell,每一個(gè)keyrow-key,列簇、列和時(shí)間戳。在Hbase中,行是key/value映射的集合,這個(gè)映射通過row-key來唯一標(biāo)識(shí)。Hbase利用Hadoop的基礎(chǔ)設(shè)施,可以利用通用的設(shè)備進(jìn)行水平的擴(kuò)展。

  兩者的特點(diǎn)

  Hive幫助熟悉SQL的人運(yùn)行MapReduce任務(wù)。因?yàn)樗?/font>JDBC兼容的,同時(shí),它也能夠和現(xiàn)存的SQL工具整合在一起。運(yùn)行Hive查詢會(huì)花費(fèi)很長(zhǎng)時(shí)間,因?yàn)樗鼤?huì)默認(rèn)遍歷表中所有的數(shù)據(jù)。雖然有這樣的缺點(diǎn),一次遍歷的數(shù)據(jù)量可以通過Hive的分區(qū)機(jī)制來控制。分區(qū)允許在數(shù)據(jù)集上運(yùn)行過濾查詢,這些數(shù)據(jù)集存儲(chǔ)在不同的文件夾內(nèi),查詢的時(shí)候只遍歷指定文件夾(分區(qū))中的數(shù)據(jù)。這種機(jī)制可以用來,例如,只處理在某一個(gè)時(shí)間范圍內(nèi)的文件,只要這些文件名中包括了時(shí)間格式。

  HBase通過存儲(chǔ)key/value來工作。它支持四種主要的操作:增加或者更新行,查看一個(gè)范圍內(nèi)的cell,獲取指定的行,刪除指定的行、列或者是列的版本。版本信息用來獲取歷史數(shù)據(jù)(每一行的歷史數(shù)據(jù)可以被刪除,然后通過Hbasecompactions就可以釋放出空間)。雖然HBase包括表格,但是schema僅僅被表格和列簇所要求,列不需要schema。Hbase的表格包括增加/計(jì)數(shù)功能。

  限制

  Hive目前不支持更新操作。另外,由于hivehadoop上運(yùn)行批量操作,它需要花費(fèi)很長(zhǎng)的時(shí)間,通常是幾分鐘到幾個(gè)小時(shí)才可以獲取到查詢的結(jié)果。Hive必須提供預(yù)先定義好的schema將文件和目錄映射到列,并且HiveACID不兼容。

  HBase查詢是通過特定的語言來編寫的,這種語言需要重新學(xué)習(xí)。類SQL的功能可以通過ApachePhonenix實(shí)現(xiàn),但這是以必須提供schema為代價(jià)的。另外,Hbase也并不是兼容所有的ACID特性,雖然它支持某些特性。最后但不是最重要的–為了運(yùn)行HbaseZookeeper是必須的,zookeeper是一個(gè)用來進(jìn)行分布式協(xié)調(diào)的服務(wù),這些服務(wù)包括配置服務(wù),維護(hù)元信息和命名空間服務(wù)。

  應(yīng)用場(chǎng)景

  Hive適合用來對(duì)一段時(shí)間內(nèi)的數(shù)據(jù)進(jìn)行分析查詢,例如,用來計(jì)算趨勢(shì)或者網(wǎng)站的日志。Hive不應(yīng)該用來進(jìn)行實(shí)時(shí)的查詢。因?yàn)樗枰荛L(zhǎng)時(shí)間才可以返回結(jié)果。

  Hbase非常適合用來進(jìn)行大數(shù)據(jù)的實(shí)時(shí)查詢。FacebookHbase進(jìn)行消息和實(shí)時(shí)的分析。它也可以用來統(tǒng)計(jì)Facebook的連接數(shù)。

  HiveHbase是兩種基于Hadoop的不同大數(shù)據(jù)技術(shù)–Hive是一種類SQL的引擎,并且運(yùn)行MapReduce任務(wù),Hbase是一種在Hadoop之上的NoSQLKey/vale數(shù)據(jù)庫。當(dāng)然,這兩種工具是可以同時(shí)使用的。就像用Google來搜索,用FaceBook進(jìn)行社交一樣,Hive可以用來進(jìn)行統(tǒng)計(jì)查詢,HBase可以用來進(jìn)行實(shí)時(shí)查詢,數(shù)據(jù)也可以從Hive寫到Hbase,設(shè)置再從Hbase寫回Hive

 

大數(shù)據(jù)培訓(xùn):http://m.yhqwzff.cn/bigdata.shtml

好程序員公眾號(hào)

  • · 剖析行業(yè)發(fā)展趨勢(shì)
  • · 匯聚企業(yè)項(xiàng)目源碼

好程序員開班動(dòng)態(tài)

More+
  • HTML5大前端 <高端班>

    開班時(shí)間:2021-04-12(深圳)

    開班盛況

    開班時(shí)間:2021-05-17(北京)

    開班盛況
  • 大數(shù)據(jù)+人工智能 <高端班>

    開班時(shí)間:2021-03-22(杭州)

    開班盛況

    開班時(shí)間:2021-04-26(北京)

    開班盛況
  • JavaEE分布式開發(fā) <高端班>

    開班時(shí)間:2021-05-10(北京)

    開班盛況

    開班時(shí)間:2021-02-22(北京)

    開班盛況
  • Python人工智能+數(shù)據(jù)分析 <高端班>

    開班時(shí)間:2021-07-12(北京)

    預(yù)約報(bào)名

    開班時(shí)間:2020-09-21(上海)

    開班盛況
  • 云計(jì)算開發(fā) <高端班>

    開班時(shí)間:2021-07-12(北京)

    預(yù)約報(bào)名

    開班時(shí)間:2019-07-22(北京)

    開班盛況

Copyright 2011-2023 北京千鋒互聯(lián)科技有限公司 .All Right 京ICP備12003911號(hào)-5 京公網(wǎng)安備 11010802035720號(hào)