当前位置:编程学习 > 网站相关 >>

系统学习hive programming,第五章,操作数据

/*
*    Lee 2013.11.14翻译  《programming hive》 第五章节HiveQL: Queries
   
*/
 
 
 
                            第五章 数据操作
  Hive不允许行级别操作,数据只能被批量导入。
加载数据示例:
LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'
    OVERWRITE INTO TABLE employees
    PARTITION (country = 'US', state = 'CA');
    
使用查询结果插入数据示例:
INSERT OVERWRITE TABLE employees
    PARTITION (country = 'US', state = 'OR')
        SELECT * FROM staged_employees se
            WHERE se.cnty = 'US' AND se.st = 'OR';
            
使用OVERWRITE关键字,将覆盖表内原来数据
 
译注:
  我做过实验, OVERWRITE关键字实质为清空HDFS上表对应的文件夹,然后建立名为000000_0
的文件,并将OVERWRITE的数据写入。
 
如果是用 INTO 关键字代替OVERWRITE,则不会覆盖原来表上数据
 
译注:
  INTO关键字实质为在HDFS上表对应的文件夹,建立名为000000_0_copy_X (X为1,2,3..)
的文件,并将INTO数据写入。
 
将staged_employees导入employees表 示例:
INSERT OVERWRITE TABLE employees
    PARTITION (country = 'US', state = 'OR')
        SELECT * FROM staged_employees se
            WHERE se.cnty = 'US' AND se.st = 'OR';
            
如果需要把全美国所有的员工都导入employees表,不得不扫描staged_employees65次以覆盖所有
staged_employees分区。 Hive提供以下语法,只用扫描扫描一次。
 
FROM staged_employees se
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'OR')
SELECT * WHERE se.cnty = 'US' AND se.st = 'OR'
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'CA')
SELECT * WHERE se.cnty = 'US' AND se.st = 'CA'
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'IL')
SELECT * WHERE se.cnty = 'US' AND se.st = 'IL';
 
根据查询语句建立表 示例:
CREATE TABLE ca_employees
AS SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';
 
 
数据导出,示例:
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/ca_employees'
SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';
译注: 这个操作要非常小心,LOCAL DIRECTORY 定向的目录如果已经存在,这会发生覆盖
且没有任何提示。 Hive还是有很多不成熟的地方。我实验室不小心覆盖了自己的HADOOP_HOME.
 
 
查看导出数据
hive> ! ls /tmp/ca_employees;
000000_0
hive> ! cat /tmp/payroll/000000_0
John Doe100000.0201 San Antonio CircleMountain ViewCA94040
Mary Smith80000.01 Infinity LoopCupertinoCA95014
...
 
 
 
补充:综合编程 , 其他综合 ,
CopyRight © 2012 站长网 编程知识问答 www.zzzyk.com All Rights Reserved
部份技术文章来自网络,