[综合] 【转】如何利用awk累加第一列的值

以下是一个五行文件的例子： seq5|awk'BEGIN{sum=0;print"总和:"}{if(NR<=4)printf$1"+";sum+=$1;if(NR==5)printf$1"="}END{printsum}'总和: 1+2+3+4+5=152、catnear_log|sort|u...

[综合] Linux Find命令查找指定时间范围内的文件的例子

例如查找2019-08-08到2019-11-23号之间的文件，使用如下命令即可： findlog/-name'*.log'-newermt'2019-08-08'!-newermt'2019-11-23' 找出3天”以前”被改动过的文件72小时之前 find/var/log/-mtime+3-ty...

[综合] Mysql 添加 create_time, update_time 创建时间 更新时间 自动更新

#添加创建更新时间字段 ALTERTABLE`表名` ADDCOLUMN`create_time`datetimeNOTNULLDEFAULTCURRENT_TIMESTAMPAFTER`最后一个列名`, ADDCOLUMN`update_time`timestampNULLDEFAULTCURRE...

[综合] spark 将dataframe数据写入Hive分区表

1、将DataFrame数据写入到Hive表中 从DataFrame类中可以看到与hive表有关的写入Api有以下几个： registerTempTable(tableName:String):Unit， insertInto(tableName:String):Unit insertInto(ta...

[综合] 线程池（八）线程池配置合理线程数

CPU密集型 CPU密集的意思是该任务需要大量的运算，而没有阻塞，CPU一直全速运行。CPU密集任务只有在真正的多核CPU上才能得到加速（通过多线程），而在单核CPU上，无论你开几个模拟的多线程任务都不可能得到加速，因为CPU总的运算能力就那些。CPU密集任务配置尽可能少的线程数量，一般公式：CP...

[综合] python写入Excel遇到Exception: Attempt to overwrite cell

这是由于在建表的时候对一个单元格重复操作： sheet.write(“infoPlist”） 解决办法如下：添加cell_overwrite_ok=True sheet.write(“infoPlist”,cell_overwrite_ok=True)

[综合] Python 将数据写入文件(txt、csv、excel)

一、将列表数据写入txt、csv、excel 1、写入txt deftext_save(filename,data):#filename为写入CSV文件的路径，data为要写入数据列表.file=open(filename,'a')foriinrange(len(data)):s=str(data[...

[综合] Hive分区表跨集群迁移

（1）先从集群1使用hadoopfs-get将文件下载到本地磁盘（2）再使用hadoopfs-put将数据上传至集群2的hdfs上（3）在集群2上创建语句一模一样的表（4）给集群2的同名hive表添加分区，数据就会自动加载到Hive表中 添加分区可写一个脚本： 首先在集群1下，shell命令行执行...

[综合] hive建表之后如何给表添加注释

hive建表时没给表加注释(是表的注释,不是字段的注释),现在想补一下,在不能删表的前提下的操作方法： ALTERTABLE表名SETTBLPROPERTIES('comment'='注释内容')举个例子：ALTERTABLEda.shop_recharge_serial_monthlySETTBL...

[综合] 解决hue窗口中文报错问题

在hue中查询条件加了中文,或者有中文注释都会报错(1366,Incorrectstringvalue:…forcolumnsearchatrow1) 修改hue元数据库的字符编码 alterdatabasehuecharactersetlatin1;altertablebeeswax_queryh...

[综合] Java FileWriter输出换行

使用Java的FileWriter写文件，需要换行时，假设已经新建FileWriterfr, 在Windows操作系统中，fr.write("\n");是不行的，需要fr.write("\r\n");即回车换行 而在Linux系统中，只要fr.write("\n");即可 为了程序能在不同操作系统运...

[综合] JDBC流式读取MySQL表

一张MySQL大表，我们希望遍历表中的数据，一般情况下都是一次性读进内存中，这样就会给服务器增大很大的压力，那我们可以不可以流式读取MySQL表呢，就像ElasticSearch的scrollSearch一样的效果。答案是可以的。 经过看Statement的源码找到了如下片段： /***Weonly...

[综合] Linux vim 编辑文件底部显示[converted]解决办法

Linuxvim编辑文件底部显示[converted]，而且汉字显示乱码，这是因为文件的编码问题造成的： 解决办法： :setfileencoding=utf-8

[综合] 记第一次开发面试

环节一：自我介绍 环节二：java基础和数据库基础 String和StringBuilder的区别 List有几类 linkedList和ArrayList的区别 CopyOnWriteArrayList的线程安全 树与链表的区别 java异常有哪几种 栈溢出和OOM的场景 如何改变栈内存大...

[综合] 分析aqs源码自记

独占模式请求锁acquire() 尝试获取锁tryAcquire true=>继续运行 false=>执行addWaiter，获取返回的node作为acquireQueued的参数执行 acquireQueued(addWaiter())==true=> acquireQue...

[综合] systemctl服务目录

centos:/usr/lib/systemd/systemubuntu:/etc/systemd/system，但实际部分是从/lib/systemd/system中软连接的

[综合] 监控服务运行状态并发送通知邮件文档

使用的是QQ邮箱，需要先在邮箱中开通smtp服务 QQ邮箱开通stmp 目录结构 根目录/var/haofangproject/email ├──alive.sh监控脚本├──emailStatus.txt服务运行状态├──isRun.txt服务故障转变正常运行发送内容├──noRun.txt服务正...

[综合] 记多益视频面

自我介绍和项目介绍 java的缺点 哈希的碰撞冲突，我引用到了hashmap里，并说了hashmap的扩容机制和碰撞处理 如何防止死锁 平衡二叉树是什么，他的作用，为什么会有这种作用 你的学习方式是什么。 使用递归调用的注意事项 怎么判断链表有循环引用 你项目中的cicd，是怎么部署的，部署架构是怎...

[综合] 记广州联晟现场面

mysql的优化 mysql中notexsit和notin的区别 mybatis的一级二级缓存 springmvc的处理流程 spring管理的方法是否线程安全，为什么，如何设定为线程安全的 描述一下我的跟打器项目的表创建思路或者处理流程 vue的标签有哪些 vif和vshow的区别 arrayli...

[综合] zookeeper与kafka基础集群搭建记录

一、zookeeper 1.下载 官方下载 本文相同版本zookeeper3.7.0，百度云盘提取码：f258 2.安装 (1)简单单机安装脚本 拿着压缩包一次安装成功，没什么意外，贴上安装指令。 #!/bin/bash tar-zxvfapache-zookeeper-3.7.0-bin.ta...