[综合] 大数据技术之Hadoop（MapReduce） 第8章 常见错误及解决方案

1）导包容易出错。尤其Text和CombineTextInputFormat。 2）Mapper中第一个输入的参数必须是LongWritable或者NullWritable，不可以是IntWritable.报的错误是类型转换异常。 3）java.lang.Exception:java.io.IOEx...

[综合] 大数据技术之Zookeeper 第2章 Zookeeper安装

2.1本地模式安装部署 1）安装前准备： （1）安装jdk （2）通过filezilla工具拷贝zookeeper到到linux系统下 （3）解压到指定目录 [atguigu@hadoop102software]$tar-zxvfzookeeper-3.4.10.tar.gz-C/opt/modul...

[综合] 大数据技术之Hive 第1章 Hive基本概念

1.1什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数...

[综合] 大数据技术之Hive第3章 Hive数据类型

3.1基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byte有符号整数 20 BIGINT long 8byte有符号整数 20 ...

[综合] 大数据技术之Hive第5章 DML数据操作

5.1数据导入 5.1.1向表中装载数据（Load） 1）语法 hive>loaddata[local]inpath'/opt/module/datas/student.txt'[overwrite]intotablestudent[partition(partcol1=val1,…)]; （...

[综合] 大数据技术之Hive第7章 函数

7.1系统内置函数 1）查看系统内置函数 hive>showfunctions; 2）显示内置函数用法 hive>descfunctionupper; 3）详细显示内置函数用法

[综合] 大数据技术之Hive第9章 企业级调优

9.1Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT*FROMemployees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.temp...

[综合] 大数据技术之Hive第11章 Hive实战

11.1需求描述 统计Youtube视频网站的常规指标，各种TopN指标： --统计视频观看数Top10 --统计视频类别热度Top10 --统计视频观看数Top20所属类别 --统计视频观看数Top50所关联视频的所属类别Rank --统计每个类别中的视频热度Top10 --统计每个类别中视频流量...

[综合] 大数据技术之Flume第2章 角色介绍

2.1Source source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spoolingdirectory、netcat、sequencegenerator、syslog、http、legacy 2.2Channel source...

[综合] 大数据技术之Kafka 第6章 kafka Streams

6.1概述 6.1.1KafkaStreams KafkaStreams。ApacheKafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。 6.1.2KafkaStreams特点 1）功能强大 高扩展性，弹性，容错 2）轻量级 无...

[综合] 大数据技术之HBase第2章 HBase安装

2.1Zookeeper正常部署 首先保证Zookeeper集群的正常部署，并启动之： [atguigu@hadoop102zookeeper-3.4.10]$bin/zkServer.shstart [atguigu@hadoop103zookeeper-3.4.10]$bin/zkServer....

[综合] 大数据技术之HBase第3章 HBase数据结构

3.1RowKey 与nosql数据库们一样,rowkey是用来检索记录的主键。访问HBASEtable中的行，只有三种方式： 1.通过单个rowkey访问 2.通过rowkey的range（正则） 3.全表扫描 Rowkey行键(Rowkey)可以是任意字符串(最大长度是64KB，实际应用中长度一...

[综合] 大数据技术之HBase第4章 HBase Shell操作

4.1基本操作 1）进入HBase客户端命令行 [atguigu@hadoop102hbase]$bin/hbaseshell 2）查看帮助命令 hbase(main):001:0>help 3）查看当前数据库中有哪些表 hbase(main):002:0>list 4.2表的操作 1）...

[综合] 大数据技术之HBase第5章 HBase API操作

5.1环境准备 新建项目后在pom.xml中添加依赖： <dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-server</artifactId><v...

[综合] 4天贯通JDBC技术

九、DBUtils 提供了QueryRunner类，类中有诸多重载update()和query()方法，供使用，用于堆数据库实现操作：增删改查 publicclassTestDBUtils{ QueryRunnerrunner=newQueryRunner(); //ScalarHandler...

[综合] 115个Java面试题和答案——终极（上）

30.你了解大O符号(big-Onotation)么？你能给出不同数据结构的例子么？ 大O符号描述了当数据结构里面的元素增加的时候，算法的规模或者是性能在最坏的场景下有多么好。 大O符号也可用来描述其他的行为，比如：内存消耗。因为集合类实际上是数据结构，我们一般使用大O符号基于时间，内存和性能来选...

[综合] Java常用英语汇总(更新升级版)

T. true真的 title标题 type类型 temp(=temporary)暂时的 throw扔 thread线程 temperate温度 tool工具 try试图 U. undefined未定义 UI(UserInterface)用户接口 update更新 URL(UniformResour...

[综合] PL-SQL经典试题

21.自定义异常:更新指定员工工资，增加100；若该员工不存在则抛出用户自定义异常:no_result declare --自定义异常 no_resultexception; begin updateemployeessetsalary=salary+100whereemployee_id=100...

[综合] SQL面试用题

5.查询员工中工资大于本部门平均工资的员工的last_name, salary和其department_id SELECTlast_name,salary,department_id FROMemployeesouter WHEREsalary> (SELECTAVG(salary) FROM...

[综合] 深度解析Java内存原型

一、Java虚拟机内存原型 寄存器：我们在程序中无法控制。 栈：存放基本类型的数据和对象的引用，但对象本身不存放在栈中，而是存放在堆中。 堆：存放用new产生的数据。 静态域：存放在对象中用static定义的静态成员。 常量池：存放常量。 非RAM存储：硬盘等永久存储空间。 二、常量池（const...