当前位置: 代码迷 >> 综合
 解决方案列表
  • [综合] 大数据框架基础Hive教程

    Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 术语“大数据”是大型数据集,其中包括体积庞大,高速,以及各种由与日俱增的数据的集合。使用...

    59
    热度
  • [综合] 大数据框架基础Hive数据类型

    本章介绍Hive不同的数据类型,用于创建表。Hive所有数据类型分为四种类型,给出如下: 列类型 文字 Null值 复杂类型 列类型 列类型被用作Hive的列数据类型。它们如下: 整型 整型数据可以指定使用整型数据类型,INT。当数据范围超过INT的范围,需要使用BIGINT,如果数据范围比IN...

    42
    热度
  • [综合] 大数据框架基础HBase计数和截断

    count 可以使用count命令计算表的行数量。它的语法如下: count‘<tablename>’ 删除第一行后,表emp就只有两行。验证它,如下图所示。 hbase(main):023:0>count'emp'2row(s)in0.090seconds=>2 trunc...

    85
    热度
  • [综合] 大数据Hive创建表

    本章将介绍如何创建一个表以及如何将数据插入。创造表的约定在Hive中非常类似于使用SQL创建表。 CREATETABLE语句 CreateTable是用于在Hive中创建表的语句。语法和示例如下: 语法 CREATE[TEMPORARY][EXTERNAL]TABLE[IFNOTEXISTS][db...

    67
    热度
  • [综合] 大数据Hive删除表

    本章介绍了如何在Hive中删除表。当从HiveMetastore删除表,它删除了表/列的数据及其元数据。它可以是一个正常的表(存储在Metastore)或外部表(存储在本地文件系统);不论什么类型Hive对待的方式相同。 DropTable语句 语法如下: DROPTABLE[IFEXISTS]ta...

    27
    热度
  • [综合] 大数据Hive分区

    Hive组织表到分区。它是将一个表到基于分区列,如日期,城市和部门的值相关方式。使用分区,很容易对数据进行部分查询。 表或分区是细分成桶,以提供额外的结构,可以使用更高效的查询的数据。桶的工作是基于表的一些列的散列函数值。 例如,一个名为Tab1表包含雇员数据,如id,name,dept和yoj(即...

    74
    热度
  • [综合] 大数据Hive内置运算符

    本章介绍Hive的内置运算符。在Hive有四种类型的运算符: 关系运算符 算术运算符 逻辑运算符 复杂运算符 关系运算符 这些操作符被用来比较两个操作数。下表描述了在Hive中可用的关系运算符: 运算符 操作 描述 A=B 所有基本类型 如果表达A等于表达B,结果TRUE,否则FALS...

    69
    热度
  • [综合] 大数据HiveQL Select Order By

    本章介绍了如何使用SELECT语句的ORDERBY子句。ORDERBY子句用于检索基于一列的细节并设置排序结果按升序或降序排列。 语法 下面给出的是ORDERBY子句的语法: SELECT[ALL|DISTINCT]select_expr,select_expr,...FROMtable_refer...

    32
    热度
  • [综合] 大数据HiveQL Select Where

    Hive查询语言(HiveQL)是一种查询语言,Hive处理在Metastore分析结构化数据。本章介绍了如何使用SELECT语句的WHERE子句。 SELECT语句用来从表中检索的数据。WHERE子句中的工作原理类似于一个条件。它使用这个条件过滤数据,并返回给出一个有限的结果。内置运算符和函数产生...

    46
    热度
  • [综合] 大数据HiveQL Select Group By

    本章介绍了SELECT语句的GROUPBY子句。GROUPBY子句用于分类所有记录结果的特定集合列。它被用来查询一组记录。 语法 GROUPBY子句的语法如下: SELECT[ALL|DISTINCT]select_expr,select_expr,...FROMtable_reference[WH...

    39
    热度
  • [综合] 大数据HiveQL Select Join

    JOIN是子句用于通过使用共同值组合来自两个表特定字段。它是用来从数据库中的两个或更多的表组合的记录。它或多或少类似于SQLJOIN。 语法 join_table:table_referenceJOINtable_factor[join_condition]|table_reference{LEFT...

    85
    热度
  • [综合] Kafka群集体系结构

    有关Kafka群集体系结构,请看下面的结构图。它显示了Kafka的集群图。 下表描述了上图中显示的每个组件。 Broker–Kafka集群通常由多个代理组成,以保持负载平衡。Kafka经纪人是无状态的,所以他们使用ZooKeeper维护他们的集群状态。一个Kafka代理实例可以处理每秒数十万次的读...

    27
    热度
  • [综合] Kafka工作流

    截至目前,我们已经了解了Kafka的核心概念。现在让我们来看看Kafka的工作流程。 Kafka只是分成一个或多个分区的主题集合。Kafka分区是消息的线性排序序列,每个消息由其索引标识(称为偏移量)。Kafka集群中的所有数据都是不相关的分区联合。传入消息写在分区的末尾,消费者依次读取消息。通过将...

    67
    热度
  • [综合] 大数据Kafka简单的生产者例子

    在这一节中将创建一个使用Java客户端发布和使用消息的应用程序。Kafka生产者客户端由以下API组成。 KafkaProducerAPI 下面来了解Kafka生产者API。KafkaProducerAPI的核心部分是KafkaProducer类。KafkaProducer类提供了一个选项,用于将K...

    53
    热度
  • [综合] 大数据Kafka与Storm整合

    在本章中,我们将学习如何将Kafka与ApacheStorm集成。 Storm是什么? Storm最初是由NathanMarz和BackType团队创建的。在很短的时间内,ApacheStorm成为分布式实时处理系统的标准,用于处理大数据。Storm速度非常快,每个节点每秒处理超过一百万个元组的基准...

    86
    热度
  • [综合] 大数据Kafka与Spark整合

    在本章中,将讨论如何将ApacheKafka与SparkStreamingAPI集成。 Spark是什么? SparkStreamingAPI支持实时数据流的可扩展,高吞吐量,容错流处理。数据可以从Kafka,Flume,Twitter等许多来源获取,并且可以使用复杂算法进行处理,例如:映射,缩小,...

    67
    热度
  • [综合] 大数据框架Kafka工具

    Kafka工具包装在org.apache.kafka.tools.*下。工具分为系统工具和复制工具。 系统工具 系统工具可以使用runclass脚本从命令行运行。语法如下– bin/kafka-run-class.shpackage.class--options 下面提到了一些系统工具– Kafk...

    23
    热度
  • [综合] 大数据框架Kafka应用

    Kafka支持许多最好的工业应用。在本章中,我们将简要介绍一些Kafka最显着的应用。 推特 Twitter是一种在线社交网络服务,提供发送和接收用户推文的平台。注册用户可以阅读和发布推文,但未注册的用户只能阅读推文。Twitter使用Storm-Kafka作为其流处理基础设施的一部分。 Linke...

    45
    热度
  • [综合] 大数据框架Spark是什么?Spark和Hadoop的区别

    Spark是加州大学伯克利分校AMP(Algorithms,Machines,People)实验室开发的通用内存并行计算框架。 Spark在2013年6月进入Apache成为孵化项目,8个月后成为Apache顶级项目。 Spark以其先进的设计理念,迅速成为社区的热门项目,围绕着Spark推出了Sp...

    54
    热度
  • [综合] 大数据框架Spark总体架构和运行流程

    本节将首先介绍Spark的运行架构和基本术语,然后介绍Spark运行的基本流程,最后介绍RDD的核心理念和运行原理。 Spark总体架构 Spark运行架构如图1所示,包括集群资源管理器(ClusterManager)、多个运行作业任务的工作结点(WorkerNode)、每个应用的任务控制结点(Dr...

    52
    热度