引言
接着上一篇来说[执行入口的分析][1],CliDriver
最终将用户指令command
提交给了Driver
的run
方法(针对常用查询语句而言),在这里用户的command
将会被编译,优化并生成MapReduce任务进行执行。所以Driver
也是Hive的核心,他扮演了一个将用户查询和MapReduce Task转换并执行的角色,下面我们就看看Hive是如何一步一步操作的。
接着上一篇来说[执行入口的分析][1],CliDriver
最终将用户指令command
提交给了Driver
的run
方法(针对常用查询语句而言),在这里用户的command
将会被编译,优化并生成MapReduce任务进行执行。所以Driver
也是Hive的核心,他扮演了一个将用户查询和MapReduce Task转换并执行的角色,下面我们就看看Hive是如何一步一步操作的。
在介绍Hive的框架和执行流程之前,这里首先对Hive进行简要的介绍。
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据抽取,转化,加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为Hive QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
Update your browser to view this website correctly. Update my browser now