[综合] Gbase入库异常：sed: -e expression #1, char 29: unknown option to `s'

异常：用shell执行Gbase入库的脚本，一直报错，逐一排查问题。 异常一：如标题sed:-eexpression#1,char103:unknownoptionto`s' 检查发现入库的脚本中有一个传入服务器密码的变量替换未成功，脚本中中有一句变量（变量为服务器密码）替换的命令为 sed-i"s...

[综合] gbase数据库更改字段类型

背景：gbase数据库不支持直接修改列的数据类型如（ALTERTABLEtMODIFYbvarchar(10)这种语句），这里提供一个方法 假设有表“t”有两个字段“a”“b”数据类型都为varchar（10）现在要将“b”的数据类型改为int（10） 1.在“b”后边添加一个新字段“c”数据类型...

[综合] gbase集群加载入库与导出文件

背景：常用加载与导出语句，与其他数据库基本无差，mark下 脚本里的sql执行 `cat/opt/script/gbase/gbase.txt`-Dstg_noas-vvv-f</opt/script/temp/test.sql 用户密码通常写在gbase.txt中 加载： loaddatai...

[综合] gbase集群优化-建表时指定压缩模式

背景：gbase使用过程中可合理的指定不同的压缩模式，有的表需要高存储，但是不需要高操作，有的表要保证查询性能，可以通过指定压缩比的做法，达到集群的高可用性。 列级int型压缩方式选项：0，1，5列级char型压缩方式选项：0，3，5表级组合压缩方式为：（0，0）、（1，3）、（5，5），第一位为i...

[综合] shell里for循环的几种写法

背景：for循环是常用的语法结构，shell里的for循环与其它语言有些差别，这里提供3个模板，以1~50的累加为例 脚本内容如下： #!/bin/bash#test.shell #1.列表for循环{}中可以是一个list sum=0 foriin{1..50}do #循环开始 let"sum+=...

[综合] flume http source windows 中文乱码

flumeHTTPSource默认的是utf-8的编码，flume服务用在linux机器上都是没问题的，但当把flume服务部署在windows机器上的时候，会出现乱码问题。从源码检查乱码出现在那里： 1.在刚接收到请求的时候，打印requestBody里的内容是正常的，数据正常。 2.数据存到ev...

[综合] flume报错信息收集

1.当httpsink的端口，有异常的时候，sink不成功，会报transaction的提交错误，如下： 2019-02-2716:13:24,313(lifecycleSupervisor-1-0)[INFO-org.apache.flume.instrumentation.MonitoredCo...

[综合] flume-hive-sink偶发kryo缺失异常（cdh）

flume写入hive开始正常，后续有时候报jar包缺失，有时候又正常，按提示导入相关jar包后没再出现 异常信息： （Causedby:java.lang.ClassNotFoundException:com.esotericsoftware.kryo.Serializer） 导入相应的jar包后...

[综合] elasticsearch-updateRequest的应用

#step1：插入数据，全部更新之前的curl-XPUT'localhost:9200/test/type1/1'-H'Content-Type:application/json'-d'{ "name":"zhangsan","age":10,"sex":"女","phone":"13456789"...

[综合] 策略枚举

/***Createdby*Describe策略枚举（枚举类里套一层枚举），工作日1倍工资，节假日2倍工资*枚举类里的枚举类型其实就是该类的一个实例化*/ publicenumSalaryPay{//星期的枚举MONDAY(PayType.WORK),TUESDAY(PayType.WORK),WE...

[综合] 消息队列MQ选型对比

特性 ActiveMQ RabbitMQ RocketMQ Kafka 单机吞吐量 万级，吞吐量比RocketMQ和Kafka要低了一个数量级 万级，吞吐量比RocketMQ和Kafka要低了一个数量级 10万级，RocketMQ也是可以支撑高吞吐的一种MQ 10万级别，这是kafka最大的优点...

[综合] hbase过滤器应用-and跟or的简单实现

1.运算符 <LESS <=LESS_OR_EQUAL =EQUAL !=NOT_EQUAL >=GREATER_OR_EQUAL >GREATER 排除所有NO_OP 2.过滤器组FilterList可利用过滤器组，实现sql中，and跟or的模式 //MUST_PA...

[综合] kylin交流

谁有kylin开发经验啊，加个QQ好友交流一下呗，QQ：294936039，谢谢

[综合] 从初级开发给大龄架构师review代码来看慢慢人生路

本人就职于世界前30强旗下科技公司，初级小开发一枚，组内现在仅存一位年龄40+的架(zhen)构(shui)师(a) 一次版本需求，我们的架构师写了一个消费者-生产者的代码，快要到发版了都无法正常实现业务功能，这时候私下找我一起看一下代码，如下 问题：在生产者这边给一个对象的属性进行赋值A，这消费者...

[综合] 记一次生产大对象导致的OOM让架构师连夜排查解决

为何半夜告警电话狂打不停，为何上线用户投诉不断，是道德的沦丧还是人性的扭曲，NO，是代码的缺陷。 Java8的JVM内存管理中，大对象生成直接放入老年代的，当老年代空间不足，就会进行FullGC，频繁的生成大对象，会进行频繁的FullGC，甚至直接OOM导致应用宕机。 有时候一段平平无奇的代码，看似...

[综合] commons-lang2.6在高并发下使用ExceptionUtils.getFullStackTrace()获取异常详情导致的性能下降

某天，在不知情的情况下，实施私自接入了某其他平台数据，由于数据不规范，导致生产出现阶段性大面积异常报错，有大量线程阻塞，处于BLOCKED状态，应用性能下降一倍。通过线程堆栈日志定位到：阻塞线程都阻塞在org.apache.commons.lang.exception.ExceptionUtils....

[综合] maven+springmvvc项目出现错误

在运行maven项目时出现错误：java.lang.ClassNotFoundException:org.springframework.web.servlet.DispatcherServlet。出现原因： 可能是没有导入spring-webmvc的jar包以及依赖包org.springfram...

[综合] 在导入jar依赖之后依旧显示jar包不存在

可能是pom.xml中<dependecy>时，<classifier>sources</classifier>的存在导致改错误。

[综合] 项目报错：Request processing failed; nested exception is java.lang.NullPointerException

原因：对为null的对象进行操作。

[综合] 解析数据的时候出现： org.jboss.resteasy.spi.UnhandledException: java.lang.IllegalArgumentExcepti

现在我发现的出现原因有如下： 子父类具有一样的属性字段。所以要修改字段名称，使子类和父类的字段名称不重复 在使用@SerializedName时。参数中value和alternate的值一样。-需要改成改成不一样的。