kettle教程是什么?
kettle 是纯 java 开发,开源的 ETL工具,用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。
有图形界面,也有命令脚本还可以二次开发。
kettle 的官网是 https://community.hitachivantara.com/docs/DOC-1009855,github 地址是 https://github.com/pentaho/pentaho-kettle。
这边以 windows 下的配置为例,linux 下配置类似。
jdk 安装及配置环境变量。
由于 kettle 是基于 java 的,因此需要安装 java 环境,并配置 JAVA_HOME 环境变量。
建议安装 JDK1.8 及以上,7.0以后版本的 kettle 不支持低版本 JDK。
下载 kettle。
从 官网 下载 kettle ,解压到本地即可。
下载相应的数据库驱动。
由于 kettle 需要连接数据库,因此需要下载对应的数据库驱动。
例如 MySQL 数据库需要下载 mysql-connector-java.jar,oracle 数据库需要下载 ojdbc.jar。下载完成后,将 jar 放入 kettle 解压后路径的 lib 文件夹中即可。
注意:本文基于 pdi-ce-7.0.0.0-25 版本进行介绍,低版本可能有区别。
双击 Spoon.bat 就能启动 kettle 。
转换包括一个或多个步骤,步骤之间通过跳(hop)来连接。
跳定义了一个单向通道,允许数据从一个步骤流向另一个步骤。在Kettle中,数据的单位是行,数据流就是数据行从一个步骤到另一个步骤的移动。
1、打开 kettle,点击 文件->新建->转换。
2、在左边 DB 连接处点击新建。
3、根据提示配置数据库,配置完成后可以点击测试进行验证,这边以 MySQL 为例。
4、在左侧找到表输入(核心对象->输入->表输入),拖到右方。
5、双击右侧表输入,进行配置,选择数据源,并输入 SQL。可以点击预览进行预览数据。
6、在左侧找到插入/更新(核心对象->输出->插入/更新),拖到右方。
7、按住 Shift 键,把表输入和插入/更新用线连接起来。
8、双击插入/更新进行配置。
9、点击运行,就可以运行这一个转换。
10、运行结束后,我们可以在下方看到运行结果,其中有日志,数据预览等,我们可以看到一共读取了多少条数据,插入更新了多少数据等等。
这样就完成了一个最简单的转换,从一个表取数据,插入更新到另一个表。
如果想要定时运行这个转换,那么就要用到作业。
1、新建一个作业。
2、从左侧依次拖动 START 、转换、成功到右侧,并用线连接起来。
3、双击 START,可以配置作业的运行间隔,这边配置了每小时运行一次。
4、双击转换,选择之前新建的那个转换。
5、点击运行,就能运行这次作业,点击停止就能停止。
在下方执行结果,可以看到运行的日志。
这样就完成了一个最简单的作业,每隔1小时,将源表的数据迁移到目标表。
总结:kettle 是一个非常强大的 ETL 工具,通过图形化界面的配置,可以实现数据迁移,并不用开发代码。
通过它的作业,kettle 能自动地运行转换。
如何安装kettle
【好评赠送】Kettle软件包6.1-8(1).2,免费下载
链接:https://pan.baidu.com/s/1qSJoR5D1Ih9ZtfYEfncQKg
提取码:sd59kettle 是纯 java 开发,开源的 ETL工具,用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。
有图形界面,也有命令脚本还可以二次开发。
kettle 黑马教程PPT,求大神分享一下
一、Kettle database repository,即保存在各种常见的数据库资源库类型,用户通过用户名/密码来访问资源库中的资源,默认的用户名/密码是admin/admin和guest/guest。二、Kettle file repository,保存在服务器硬盘文件夹内的资源库类型,此类型的资源库无需用户进行登录,直接进行操作。
当然,资源库并不是必须的,如果没有资源库,用户还可以把转换任务保存在xml文件中。
为了方便管理,建议用户建立并使用数据库类型资源库Kettle database repository。温馨提示:一、在删除资源库中单个内容时,不会提示“是否确定需要删除”,需要特别注意。 二、win7系统下,“Kettle file repository”类型资源库创建文件夹后,无法删除文件夹,不确定是Kettle工具本身的bug或者是在win7操作系统下的bug。三、“Kettle database repository”类型资源库虽然有需要用户和密码进行登录,但目前还没有相应的权限控制。
win7 安装kettle7.0报错 怎么解决
方法/步骤先从官方下载kettle。如果系统没有安装jdk,也需要下载。
至于下载地址,上百度一搜【kettle】、【jdk下载】就好了。
kettle下载下来是一个压缩包,类似pdi-ce-6.0.0.0-353.zip;jdk选择Windows安装版的话,一般是一个exe可执行程序。安装jdk也很简单,下一步下一步最后就安装好了。此处就不详说了。我的jdk安装在了:D:\Program Files (x86)\Java\jdk1.7.0_02,这个路径待会需要使用。
设置kettle的java环境变量。以win7为例:【开始】->【计算机】->【属性】->【高级系统属性】->【高级】->【环境变量】->【新建】,创建用户变量。变量名输入:PENTAHO_JAVA_HOME;变量值输入刚才jdk的安装路径。
部署kettle。将刚刚下载的kettle压缩包解压出来。进入解压路径,你可以看到一些子目录,以及一些bat文件。
启动kettle。在根目录可以看到有一个叫Spoon.bat的文件,双击这个就可以启动我们的kettle程序了。你也可以把这个文件创建一个快捷方式到桌面,就不用每次都到这个目录来找了。
启动一小会,就可以看到kettle的主界面了。可以看到有一些教程的链接。如果有注意,在根目录里,有一个叫samples的子目录,里边有很多小栗子。这样kettle部署配置就完成了。
kettle spoon 开源etl工具谁用过啊,有没有详细的教程?
网上资源很多,有基础的话,边学边做项目,一个月可入门。这类工具都是入门容易,但是要做好,要有一定的数据库基础,一定的开发能力,对项目的彻底理解及前瞻性。
建议寻找QQ群加入,当然你要有一定的基础、自学能力、钻研能力。
KETTLE和SQL 2005中的SSIS都是一类的工具。用KETTLE的,现在也非常多,还是很好上手的。
大数据处理需要什么样的人才?需要具备哪些技能?
想要学习大数据开发,第一件事并不是要找书籍或者是找视频教程,而是要了解一下大数据行业前景,了解一下成为大数据工程师需要具备什么样的能力,掌握哪些技能我当初学习大数据之前也有过这样的问题,作为一个过来人,今天就跟大家聊下大数据人才应该具备的技能。首先我们要知道对于大数据开发工程师需要具备的技能,下面我们分别来说明:用人单位对于大数据开发人才的能力要求有技能要求:1.精通JAVA开发语言,同时熟悉Python、Scala开发语言者优先;2.熟悉Spark或Hadoop生态圈技术,具有源码阅读及二次开发工作经验;精通Hadoop生态及高性能缓存相关的各种工具,有源码开发实战经验者优先;3.熟练使用SQL,熟悉数据库原理,熟悉至少一种主流关系型数据库;熟悉Linux操作系统,熟练使用常用命令,熟练使用shell脚本;熟悉ETL开发,能熟练至少一种ETL(talend、kettle、ogg等)转化开源工具者优先;4.具有清晰的系统思维逻辑,对解决行业实际问题有浓厚兴趣,具备良好的沟通协调能力及学习能力。
以上就是想要成为大数据人才需要具备的技能那么如何具备这些能力,怎么学习了,对于大多数人来说,目前只有通过参加大数据的学习,才能够系统的掌握以上的大数据技能,从而胜任大数据工程师的工作。