Impala和Oozie視頻教程下載
Impala介紹:
Impala是Cloudera公司主導(dǎo)開發(fā)的新型查詢系統(tǒng),它提供SQL語義,能查詢存儲(chǔ)在Hadoop的HDFS和HBase中的PB級(jí)大數(shù)據(jù)。已有的Hive系統(tǒng)雖然也提供了SQL語義,但由于Hive底層執(zhí)行使用的是MapReduce引擎,仍然是一個(gè)批處理過程,難以滿足查詢的交互性。相比之下,Impala的最大特點(diǎn)也是最大賣點(diǎn)就是它的快速。
Oozie介紹:
Oozie是一種Java Web應(yīng)用程序,它運(yùn)行在Java servlet容器——即Tomcat——中,并使用數(shù)據(jù)庫來存儲(chǔ)以下內(nèi)容:
- 工作流定義
- 當(dāng)前運(yùn)行的工作流實(shí)例,包括實(shí)例的狀態(tài)和變量
Impala的優(yōu)點(diǎn):
1、Impala不需要把中間結(jié)果寫入磁盤,省掉了大量的I/O開銷。
2、省掉了MapReduce作業(yè)啟動(dòng)的開銷。MapReduce啟動(dòng)task的速度很慢(默認(rèn)每個(gè)心跳間隔是3秒鐘),Impala直接通過相應(yīng)的服務(wù)進(jìn)程來進(jìn)行作業(yè)調(diào)度,速度快了很多。
3、Impala完全拋棄了MapReduce這個(gè)不太適合做SQL查詢的范式,而是像Dremel一樣借鑒了MPP并行數(shù)據(jù)庫的思想另起爐灶,因此可做更多的查詢優(yōu)化,從而省掉不必要的shuffle、sort等開銷。
4、通過使用LLVM來統(tǒng)一編譯運(yùn)行時(shí)代碼,避免了為支持通用編譯而帶來的不必要開銷。
5、用C++實(shí)現(xiàn),做了很多有針對(duì)性的硬件優(yōu)化,例如使用SSE指令。
6、使用了支持Data locality的I/O調(diào)度機(jī)制,盡可能地將數(shù)據(jù)和計(jì)算分配在同一臺(tái)機(jī)器上進(jìn)行,減少了網(wǎng)絡(luò)開銷。
Impala和Oozie視頻教程介紹:
本套視頻教程詳細(xì)介紹了Impala和Oozie,側(cè)重實(shí)用性,塑造由點(diǎn)及面的學(xué)習(xí)路徑。需要了解的同學(xué)可以看看。具體目錄如下:
01.impala簡(jiǎn)介 2講
02.impala架構(gòu)、外部shell_3 3講
03.impala內(nèi)部shell、存儲(chǔ)、sql 3講
04.oozie簡(jiǎn)介 3講
05.oozie視頻 5講
Impala和Oozie視頻教程部分截圖展示: