-
[综合] 大数据框架MapReduce简介和入门
MapReduce是适合海量数据处理的编程模型。Hadoop是能够运行在使用各种语言编写的MapReduce程序:Java,Ruby,Python,andC++.MapReduce程序是平行性的,因此可使用多台机器集群执行大规模的数据分析非常有用的。 MapReduce程序的工作分两个阶段进行: ...
5
热度 -
[综合] 大数据框架入门基础理解 MapReducer
本教程中的代码分为3个部分: 解释SalesMapper类 解释SalesCountryReducer类 解释SalesCountryDriver类 SalesMapper类的说明 在本节中,我们将了解SalesMapper类的实现。 我们首先指定类的包名称。SalesCountry就是这个示例中使...
63
热度 -
[综合] 大数据框架MapReduce计数器和连接
在MapReduce的计数器是用于收集关于MapReduce工作的统计信息的机制。这个信息在MapReduce的作业处理的问题的诊断是很有用的。计数器类似于将在map或reduce在代码日志信息中。 通常情况下,这些计数器在一个程序(map或reduce)中定义,当一个特定事件或条件(特定于该计数器...
38
热度 -
[综合] 大数据框架MapReduce Hadoop程序连接数据
这里有两个数据集合在两个不同的文件中,如下所示: DEPT_ID键在这两个文件中常见的。 目标是使用MapReduce加入来组合这些文件。 输入:我们的输入数据集是两个txt文件:DeptName.txt和DepStrength.txt 下载输入文件 前提条件: 本教程是在Linux上开发–Ub...
69
热度 -
[综合] 大数据框架Flume和Sqoop
在我们了解Flume和Sqoop之前,让我们研究数据加载到Hadoop的问题: 使用Hadoop分析处理数据,需要装载大量从不同来源的数据到Hadoop集群。 从不同来源大容量的数据加载到Hadoop,然后这个过程处理它,这具有一定的挑战。 维护和确保数据的一致性,并确保资源的有效利用,选择正确的方...
51
热度 -
[综合] 大数据框架OOZIE 五分钟入门学习
OOZIE是什么鬼? ApacheOozie是工作流调度用在Hadoop中。它是一个运行相关的作业工作流系统。这里,用户被允许创建向非循环图工作流程,其可以在并列Hadoop并顺序地运行。 它由两部分组成: 工作流引擎:一个工作流引擎的职责是存储和运行工作流程,由Hadoop作业组成:MapRed...
17
热度 -
[综合] HBase Admin API
HBase是用Java编写的,因此它提供JavaAPI和HBase通信。JavaAPI是与HBase通信的最快方法。下面给出的是引用JavaAPI管理,涵盖用于管理表的任务。 HBaseAdmin类 HBaseAdmin是一个类表示管理。这个类属于org.apache.hadoop.hbase.cl...
27
热度 -
94
热度 -
81
热度 -
70
热度 -
3
热度 -
[综合] HBase表描述和修改
描述 该命令返回表的说明。它的语法如下: hbase>describe'tablename' 下面给出的是对emp表的describe命令的输出。 hbase(main):006:0>describe'emp'DESCRIPTIONENABLED'emp',{NAME=>'READ...
35
热度 -
[综合] HBase Exists
可以使用exists命令验证表的存在。下面的示例演示了如何使用这个命令。 hbase(main):024:0>exists'emp'Tableempdoesexist0row(s)in0.0750seconds==========================================...
33
热度 -
37
热度 -
[综合] HBase客户端API
本章介绍用于对HBase表上执行CRUD操作的HBaseJava客户端API。HBase是用Java编写的,并具有Java原生API。因此,它提供了编程访问数据操纵语言(DML)。 HBaseConfiguration类 添加HBase的配置到配置文件。这个类属于org.apache.hadoop....
12
热度 -
58
热度 -
4
热度 -
29
热度 -
2
热度 -
[综合] 大数据框架基础HBase安全
我们可以授予和撤销HBase用户的权限。也有出于安全目的,三个命令:grant,revoke和user_permission.。 grant grant命令授予特定的权限,如读,写,执行和管理表给定一个特定的用户。grant命令的语法如下: hbase>grant<user><...
7
热度