長沙尚學堂|十年樹人|成就高薪
致力推動IT教育,我們正在行動    咨詢熱線:0731-83072091

Impala&Oozie視頻教程

主       講:龐磊
類       型:高級教程
適合對象:
課程介紹

       Impala是Cloudera公司主導開發的新型查詢系統,它提供SQL語義,能查詢存儲在Hadoop的HDFS和HBase中的PB級大數據。
      優點:
      1、Impala不需要把中間結果寫入磁盤,省掉了大量的I/O開銷。

     2、省掉了MapReduce作業啟動的開銷。MapReduce啟動task的速度很慢(默認每個心跳間隔是3秒鐘),Impala直接通過相應的服務進程來進行作業調度,速度快了很多。

     3、Impala完全拋棄了MapReduce這個不太適合做SQL查詢的范式,而是像Dremel一樣借鑒了MPP并行數據庫的思想另起爐灶,因此可做更多的查詢優化,從而省掉不必要的shuffle、sort等開銷。

       4、通過使用LLVM來統一編譯運行時代碼,避免了為支持通用編譯而帶來的不必要開銷。

       5、用C++實現,做了很多有針對性的硬件優化,例如使用SSE指令。

       6、使用了支持Data locality的I/O調度機制,盡可能地將數據和計算分配在同一臺機器上進行,減少了網絡開銷。

課程目錄

尚學堂科技_龐磊_01.impala簡介
尚學堂科技_龐磊_02.impala架構、外部shell_3
尚學堂科技_龐磊_03.impala內部shell、存儲、sql
尚學堂科技_龐磊_05.oozie簡介
尚學堂科技_龐磊_06.oozie視頻


標簽:教程視頻
分享:0
上一篇:Hive視頻教程
下一篇:Linux視頻教程
開班計劃
熱門文章
視頻下載
猜你喜歡
云南快乐十分出奖结果