這個(gè)改進(jìn)方向要做的就是用戶不用給太多的hint，hive可以自己根據(jù)表的大小、行數(shù)等，自動(dòng)選擇最快的join的方法(小表能裝進(jìn)內(nèi)存的話 就用Map join，Map join能和其他MR job合并的就合并)。這個(gè)思路跟cost-based query optimizer有點(diǎn)類似了，用戶寫出來(lái)的SQL在翻譯成執(zhí)行計(jì)劃之前要計(jì)算那種執(zhí)行方式和JOIN順序效率更高。
3. ORCFile
ORCFile是一種列式存儲(chǔ)的文件，對(duì)于分析型應(yīng)用來(lái)說(shuō)列存有非常大的優(yōu)勢(shì)。
原來(lái)的RCFile中把每一列看成binary blob，沒有任何語(yǔ)義，所以只能用通用的zlib,LZO,Snappy等壓縮方法。ORCFile能夠獲取每一列的類型(int還是string)， 那么就可以使用諸如dictionary encoding, bit packing, delta encoding, run-length encoding等輕量級(jí)的壓縮技術(shù)。這種壓縮技術(shù)的優(yōu)勢(shì)有兩點(diǎn)：一是提高壓縮率;二是能夠起到過(guò)濾無(wú)關(guān)數(shù)據(jù)的效果。
Predicate Pushdown:原來(lái)的Hive是把所有的數(shù)據(jù)都讀到內(nèi)存中，然后再判斷哪些是符合查詢需求的。在ORCFile中數(shù)據(jù)以Stripe為單元讀取到內(nèi) 存，那么ORCFile的RecordReader會(huì)根據(jù)Stripe的元數(shù)據(jù)(Index Data，常駐內(nèi)存)判斷該Stripe是否滿足這個(gè)查詢的需求，如果不滿足直接略過(guò)不讀，從而節(jié)省了IO。
通過(guò)對(duì)ORCFile的上述分析，我想大家已經(jīng)看到了brighthouse的影子了吧。都是把列數(shù)據(jù)相應(yīng)的索引、統(tǒng)計(jì)數(shù)據(jù)、詞典等放到內(nèi)存中參與查詢條件的過(guò)濾，如果不符合直接略過(guò)不讀，大量節(jié)省IO。
4. HiveServer2的Security和Concurrency特性
HiveServer2能夠支持并發(fā)客戶端(JDBC/ODBC)的訪問(wèn)。
Cloudera還搞了個(gè)Sentry用于Hadoop生態(tài)系統(tǒng)的的安全性和授權(quán)管理方面的工作。這兩個(gè)特點(diǎn)是企業(yè)級(jí)應(yīng)用Hadoop/Hive主要關(guān)心的。
5. HCatalog Hadoop的統(tǒng)一元數(shù)據(jù)管理平臺(tái)
目前Hive存儲(chǔ)的表格元數(shù)據(jù)和HDFS存儲(chǔ)的表格數(shù)據(jù)之間在schema上沒有一致性保證，也就是得靠管理員來(lái)保證。目前Hive對(duì)列的改變 只會(huì)修改 Hive 的元數(shù)據(jù)，而不會(huì)改變實(shí)際數(shù)據(jù)。比如你要添加一個(gè)column，那么你用Hive命令行只是修改了了Hive元數(shù)據(jù)，沒有修改HDFS上存儲(chǔ)的格式。還得 通過(guò)修改導(dǎo)入HDFS的程序來(lái)改變HDFS上存儲(chǔ)的文件的格式。Hadoop系統(tǒng)目前對(duì)表的處理是’schema on read’，有了HCatlog就可以做到EDW的’schema on write’。
6. Windowing and Analytics Functions的支持。
Tez/Stinger
Tez是一種新的基于YARN的DAG計(jì)算模型，主要是為了優(yōu)化Hive而設(shè)計(jì)的。目前Tez/Stinger主要是Hortonworks在 搞，他們希望以后把Hive SQL解析成能夠在Tez上跑的DAG而不是MapReduce，從而解決計(jì)算實(shí)時(shí)性的問(wèn)題。Tez的主要特點(diǎn)有：
底層執(zhí)行引擎不再使用MR，而是使用基于YARN的更加通用的DAG執(zhí)行引擎，MR是高度抽象的Map和Reduce兩個(gè)操作，而Tez則是在這兩個(gè)操作的基礎(chǔ)上提供了更豐富的接口。把Map具體到Input、 Processor、 Sort、Merge、Output，而Reduce也具體化成Input、Shuffle、Sort、Merge、Processor、 Output。其實(shí)這個(gè)跟Spark有點(diǎn)類似了，都是提供更豐富的可操作單元給用戶。
傳統(tǒng)的Reduce只能輸出到HDFS，而Tez的Reduce Processor能夠輸出給下一個(gè)Reduce Processor作為輸入。
Hot table也放到內(nèi)存中cache起來(lái)
Tez service：預(yù)啟動(dòng)container和container重用，降低了每次Query執(zhí)行計(jì)劃生成之后Task啟動(dòng)的時(shí)間，從而提高實(shí)時(shí)性。
Tez本身只是YARN框架下得一個(gè)library，無(wú)需部署。只需指定mapreduce.framework.name=yarn-tez
Tez/Stinger還有一個(gè)最重要的feature : Vectorized Query Execution ( 該feature在HDP 2.0 GA中會(huì)提供)。
目前Hive中一行一行的處理數(shù)據(jù)，然后調(diào)用lazy deserialization解析出該列的Java對(duì)象，顯然會(huì)嚴(yán)重影響效率。Vectorized Query Execution把多行數(shù)據(jù)同時(shí)讀取并處理(基本的比較或者數(shù)值計(jì)算)，降低了函數(shù)調(diào)用的次數(shù)，提高了CPU利用率和cache命中率。