[综合] 导数执行的语句

1。测试取下来(jar包) cd/tmp/hduser0101 hadoopfs-get/apps/hduser0101/an_pafc_safe/lib/spark2phoenix.jar 2、开发put上去(jar包) hadoopfs-put-f/appcom/tmp/spark2phoen...

[综合] spark任务

spark脚本： #!/bin/sh sourceExitCodeCheck.sh exitCodeCheck(){ if[$1-ne0];thenecho'shellexecutereturnvalueis'$1'isnot0'exit$1 elseecho'shellexecutesuccess...

[综合] sqoop导入脚本

shell脚本示例： #!/bin/sh sourceExitCodeCheck.shopts=$@getparam(){ arg=$1 echo$opts|xargs-n1|cut-b2-|awk-F'=''{if($1=="'"$arg"'")print$2}' }IncStart=`getpa...

[综合] sqoop导出脚本

sqoop导出脚本： #!/bin/sh sourceExitCodeCheck.shopts=$@getparam(){ arg=$1 echo$opts|xargs-n1|cut-b2-|awk-F'=''{if($1=="'"$arg"'")print$2}' }IncStart=`getpa...

[综合] sqoop导出脚本（不同库）

shell脚本： #!/bin/sh sourceExitCodeCheck.shopts=$@getparam(){ arg=$1 echo$opts|xargs-n1|cut-b2-|awk-F'=''{if($1=="'"$arg"'")print$2}' }IncStart=`getpara...

[综合] hive建表语句（不同的数据分隔符存储数据，包括txt、orc、分区）

------------------------------------------------------------------ 指定分隔符 ------------------------------------------------------------------ usean_pafc...

[综合] hive建表语句（包括txt、Orc和分区）

-------------------------------- txt格式无分区 ------------------------------- usean_pafc_safe; createtablean_pafc_safe.sx_ela_bp_info ( id_ela_bp_infostri...

[综合] 日期字符串拆分算法

日期字符串拆分算法的java类： packagecom.paic.lbdp.intf.base.util;importjava.text.ParseException; importjava.text.SimpleDateFormat; importjava.util.ArrayList; impo...

[综合] Mapper reduce

MapReduce对应的java类： packagecom.paic;importjava.io.IOException; importjava.util.Iterator; importjava.util.StringTokenizer; importorg.apache.hadoop.fs.Pa...

[综合] Phoenix各个参数的含义及设置

Phoenix各个参数的含义及设置： 属性名称 属性描述 默认值 phoenix.query.timeoutMs 查询超时时间，默认为10分钟，单位：毫秒 600000 phoenix.query.keepAliveMs 当客户端的线程超过线程池的核心线程数量时，空闲线程等等待任务的默...

[综合] Mysql 定时器 根据订单的不同的状态进行超时判断并且修改

说一下逻辑， 每分钟遍历一下订单表内的所有数据，当状态为'未支付'下，已经20分钟后就超时，并且改为‘已超时’， 待发货下，已经3小时后就超时，并且改为‘已超时’ 先创建存储过程 createprocedureorder_checked() begin updateordersetSTATUS='...

[综合] spring-cloud 整合swagger2时启动报错没有发现controller的接口bean

在开发spring-boot+cloud整合swagger2时，报错如下： org.springframework.beans.factory.UnsatisfiedDependencyException:Errorcreatingbeanwithname'mainController':Unsa...

[综合] spring mvc 绑定属性时，同属性多对象如何区别

在一个接口中，可能会遇到接收多个对象的时候，这个时候可能会出现相同的属性，比如说Id,之类的，在默认情况下，会出现床同一个属性比如说id，那么每个对象的id都会相同，那么我们如何实现传值区别开： 这是时候我们需要@InitBinder这个注解 @InitBinder("user") publicvo...

[综合] spring cloud zuul 限流

pom.xml配置如下： <spring.zuul.limit.version>1.3.4.RELEASE</spring.zuul.limit.version><!--zuul整合提供分布式限流策略的扩展--><dependency><grou...

[综合] spring boot 配置 获取spring 上下文用来自行获取bean操作

第一步：实现ApplicationContextAware接口 第二步：给类加上注解@Component让spring识别并且注入 第三步：定义好静态的ApplicationContext，在ApplicationContextAware实现的setApplicationContext赋值过去； 后...

[综合] spring security oauth2 令牌生成源码解析

springsecurityoauth2令牌生成流程为（蓝色字体为类，红色字体为接口）： /oauth/token/请求-->TokenEndpoint-->ClientDetailsService(InMemoryClientDetailsService)-->ClientDet...

[综合] spring security oauth2 @EnableAuthorizationServer初始化时所有的bean都为null

在自己开发springsecurityoauth2jwt时，发现jwt不生效，debug才知道,EnableAuthorizationServer启动的时候所有的bean都为Null,当然加载不了jwt，一开始以为是bean加载顺序问题，然后无论怎么调顺序都没反应，最后各种查资料，解决方式如下： 引...

[综合] Map转化为 java 实体类 bean

自己不想再造轮子，就直接用方法实现，在这里做个记录： 利用org.apache.commons.beanutils.BeanUtils工具类，BeanUtils.populate实现Map转换为javaBean

[综合] spring boot rabbit mq 监听并且创建队列

正常情况下rabbitmq不会自动创建队列 在监听队列的时候使用 @RabbitListener(queuesToDeclare=@Queue("queue")) 这样就会自己去创建这个队列的监听 如何自动创建queue和自动绑定Exchanges(交换机)上 @RabbitListener(bi...

[综合] spring boot cloud hystrix 熔断配置说明

具体的参数在HystrixCommandProperties类中 circuitBreaker.sleepWindowInMiliseconds//熔断器打开后多少秒内熔断状态变成半熔断状态(对该微服务进行一次请求尝试，不成功则状态改成熔断，成功则关闭熔断器 circuitBreaker.Requ...