Hive的內(nèi)置函數(shù)

定義： （推薦學(xué)習(xí)：phpstorm）

UDF(User-Defined-Function)，用戶(hù)自定義函數(shù)對(duì)數(shù)據(jù)進(jìn)行處理。 UDTF(User-Defined Table-Generating Functions) 用來(lái)解決 輸入一行輸出多行(On-to-many maping) 的需求。 UDAF(User Defined Aggregation Function)用戶(hù)自定義聚合函數(shù)，操作多個(gè)數(shù)據(jù)行，產(chǎn)生一個(gè)數(shù)據(jù)行。

用法：

1、UDF函數(shù)可以直接應(yīng)用于select語(yǔ)句，對(duì)查詢(xún)結(jié)構(gòu)做格式化處理后，再輸出內(nèi)容。

2、編寫(xiě)UDF函數(shù)的時(shí)候需要注意一下幾點(diǎn)：

a）自定義UDF需要繼承org.apache.hadoop.hive.ql.UDF。

b）需要實(shí)現(xiàn)evaluate函。

c）evaluate函數(shù)支持重載。

hive的本地模式：

大多數(shù)的Hadoop job是需要hadoop提供的完整的可擴(kuò)展性來(lái)處理大數(shù)據(jù)的。

不過(guò)，有時(shí)hive的輸入數(shù)據(jù)量是非常小的。在這種情況下，為查詢(xún)出發(fā)執(zhí)行任務(wù)的時(shí)間消耗可能會(huì)比實(shí)際job的執(zhí)行時(shí)間要多的多。

對(duì)于大多數(shù)這種情況，hive可以通過(guò)本地模式在單臺(tái)機(jī)器上處理所有的任務(wù)。對(duì)于小數(shù)據(jù)集，執(zhí)行時(shí)間會(huì)明顯被縮短。

如此一來(lái)，對(duì)數(shù)據(jù)量比較小的操作，就可以在本地執(zhí)行，這樣要比提交任務(wù)到集群執(zhí)行效率要快很多。

配置如下參數(shù)，可以開(kāi)啟Hive的本地模式：

hive> set hive.exec.mode.local.auto=true;(默認(rèn)為false)

當(dāng)一個(gè)job滿(mǎn)足如下條件才能真正使用本地模式：

job的輸入數(shù)據(jù)大小必須小于參數(shù)：hive.exec.mode.local.auto.inputbytes.max(默認(rèn)128MB)

job的map數(shù)必須小于參數(shù)：hive.exec.mode.local.auto.tasks.max(默認(rèn)4)

job的reduce數(shù)必須為0或者1