Hive处理小任务之本地模式

前言

在处理小数据量时，如果采用集群模式涉及到网络和启用不同机器计算资源，速率还不如本地单机执行。由此可以对此小数据任务开启本地模式执行

会话级别开启本地模式

--开启本地模式SEThive.exec.mode.local.auto=true;--设置最大输入数据量（例如 50MB），数据小于50MB就本地模式SEThive.exec.mode.local.auto.inputbytes.max=52428800;--设置最大输入文件个数SEThive.exec.mode.local.auto.input.files.max=10;--设置最大 Map 任务数SEThive.exec.mode.local.auto.tasks.max=4;

永久开启配置

<property><name>hive.exec.mode.local.auto</name><value>true</value><description>Enable Hive to run in local mode automatically</description></property><property><name>hive.exec.mode.local.auto.inputbytes.max</name><value>134217728</value><description>Maximum input bytes for local mode</description></property><property><name>hive.exec.mode.local.auto.input.files.max</name><value>4</value><description>Maximum input files for local mode</description></property><property><name>hive.exec.mode.local.auto.tasks.max</name><value>4</value><description>Maximum map tasks for local mode</description></property>