hive中怎样删除分区

hive中怎样删除分区

准备好环境，小编这边环境已经有了，就不讲解如何搭建环境，毕竟搭建一套大数据需要一段时间的。准备一个分区表showpartitions表名方法1：使用hive自带sql语法进行删除altertable表名droppartition(etl_dt=20161118);再次查看20161118分区还在不在，如果分区不在了，说明该分区已经被删除，数据也已被清空。

showpartitions表名；方法2：采用hdfs命令进行清空这个表还剩下一个分区，咱们把这个分区也清空。

菜鸟刚学hive，hadoop已正常启动, hive启动之后 show tables，出现问题如下：大家帮忙分析下

没用过hive,不过这个报错看起来是你的URI：file:D:/cygwin/tmp//Administrator/hive_2011-10-27_23-46-59_578_7373087494334727112的问题。

0基础自学大数据哪里找视频教材

零基础想要学习大数据，讲真，真的还是一件困难的事，不过人生就是这样，只有你越过更大的困难，才知道自己会有更大的收获。就像现在的大数据行业，人人都说大数据行业好，薪资高，但是你看到过每一个学习大数据的学生为此付出的惨痛经历吗？你看到过大数据工程师曾经日夜苦读、钻研书籍和教程吗？付出不一定有回报，但不付出一定不会有回报，想要更大的收获，先来收下这波大数据书籍和视频教程吧！一、大数据书籍推荐：1、《为数据而生》书中分别阐述在大数据1.0、大数据2.0和大数据3.0时代下，相对应的数据分析需要做到分析、外化、集成。

2、《智能时代》这本书作者分七章从不同角度对大数据进行介绍，分别以技术和思维方式的改变为主线，从工业革命这个角度嵌入，顺理成章的延伸出大数据与智能化，但是没有将过多笔墨放在技术的深究上，而是选择从应用层面体现大数据的理念。

大数据应用则会渗透到各行各业，这正是作者的用心之处。3、《R语言预测实战》R语言横跨了金融、生物、医学、互联网等多个领域，主要用于统计、建模及可视化。由于上手快、效率高，备受技术人员青睐。预测是大数据挖掘的主要作用之一,借助R语言来做大数据预测，可以兼具效率与价值于一身。

3、《数据之巅》这本书中，从小数据时代到大数据的崛起，作者以宏大的历史观、文化观、大数据观，给我们描绘了一幅数据科学、智慧文化的全景图。4、《Hadoop权威指南》《Hadoop权威指南(中文版)》从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。5、《Hive编程指南》《Hive编程指南》是一本Apache Hive的编程指南，旨在介绍如何使用Hive的SQL方法HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合。

大数据视频教程对于零基础想学大数据的同学，小编不建议你一上来就接触大数据，你和大数据的近距离接触还有一个门槛，那就是编程语言的学习，学习大数据的首要纲领，就是熟练掌握一门编程语言。小编咨询了千锋大数据讲师，当前大数据所运用的编程语言基本都是java，也会涉及到Python、Scala编程语言，所以先从掌握一门编程语言学起吧！java全套视频教程总目录python最新基础视频教程进行完大数据编程语言的学习，这时候你就可以真正的接触大数据技术知识了，我们知道大数据以Hadoop、spark、storm等核心技术组成，自然也会以此为重点突破。

大数据如何入门

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

大数据
Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。

还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。

它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。

有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。

当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。

Java语言或者Scala都可以操作它，因为它们都是用JVM的。

菜鸟求问，hive如何确定字符位置

方法一：利用编辑器直接插入控制字符，以Vi为例。进入Vi：Shell代码收藏代码$visupply-20110101.txt在Vi命令模式下，键入:setlist，设置控制字符可见，成功后Vi会立即显示一个行结束标志$。

通过安装yum安装hive以后怎么改配置

1. 相关概念Hive Metastore有三种配置方式，分别是：Embedded Metastore Database (Derby) 内嵌模式Local Metastore Server 本地元存储Remote Metastore Server 远程元存储1.1 Metadata、Metastore作用metadata即元数据。元数据包含用Hive创建的database、tabel等的元信息。

元数据存储在关系型数据库中。

如Derby、MySQL等。Metastore的作用是：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。1.2三种配置方式区别内嵌模式使用的是内嵌的Derby数据库来存储元数据，也不需要额外起Metastore服务。

这个是默认的，配置简单，但是一次只能一个客户端连接，适用于用来实验，不适用于生产环境。本地元存储和远程元存储都采用外部数据库来存储元数据，目前支持的数据库有：MySQL、Postgres、Oracle、MS SQL Server.在这里我们使用MySQL。本地元存储和远程元存储的区别是：本地元存储不需要单独起metastore服务，用的是跟hive在同一个进程里的metastore服务。

远程元存储需要单独起metastore服务，然后每个客户端都在配置文件里配置连接到该metastore服务。远程元存储的metastore服务和hive运行在不同的进程里。在生产环境中，建议用远程元存储来配置Hive Metastore。