-
[综合] 关于CSS的四个问题
一、伪类选择器和伪元素选择器都有哪些?有什么区别?分别挑选两个聊一下具体的使用场景。 「伪类选择器」 动态伪类: :hover把鼠标放在链接上的状态 :active选择正在活动链接 :focus选择元素输入后具有焦点 静态伪类: :link选择所有未访问链接 :visited选择所有访问过的链接 :...
43
热度 -
[综合] caffe 网络模型可视化python例程
所有目录与文件均是基于caffe根目录。 在绘制之前,先安装两个库: (1)安装graphviz(graphviz的是一款图形绘制工具,用来被python程序调用绘制图片) 未安装graphviz会出现:Syntaxerror"dot"notfoundinpath. 安装graphviz不要用pip...
93
热度 -
[综合] shell脚本:sparkstreaming local模式下的任务调度和error信息邮件预警
实现功能:1.监控sparkstreaming任务进程是否存在,不存在调起任务 2.监控日志文件,监控脚本通过Crontab一分钟调度一次,每次执行获取两分钟内的日志信息,匹配ERROR,发邮件 config.txt文件(里面有任务名称,任务执行脚本,任务日志路径) ################...
40
热度 -
[综合] linu crontab定时任务大坑:ps aux | grep *** 与文件名冲突
我的.sh文件名为hiveserver2_monitor.sh 脚本内容 source/etc/profile now_time=$(date+"%Y-%m-%d%H:%M:%S")functioncheckProcess() {hive_process=$(psaux|grephiveserve...
92
热度 -
[综合] Hadoop namenode启动之后datanode启动不了
在将非HA的namenode转为HA的配置过程中执行格式语句,启动的时候发现namenode起了,datanode没启动 hadoopnamenode-format sbin/start-dfs.sh 1.查看日志hadoop/logs下 一般是由于namenode和datanode的cluster...
90
热度 -
14
热度 -
[综合] flume hdfs sink报错: java.lang.NoSuchFieldError: IGNORE_CLIENT_LOCALITY
集群环境:CDH6.2.0 Hadoop3.0.0 在使用flumehdfssink时报错,java.lang.NoSuchFieldError:IGNORE_CLIENT_LOCALITY flumesink在相应目录下创建了.tmp文件,但无法写入数据 2020-03-1618:32:44,75...
97
热度 -
[综合] flume自定义拦截器:根据业务数据中的时间戳实现数据在hdfs中的正确分区
业务场景:埋点数据落hive表,且埋点数据中带有数据产生时的时间字段 业务流程:kafka->flume->hdfs->hive 问题:晚到的埋点数据会落到哪个分区中9点产生的埋点数据由于数据上报或者flumesink的延迟会落到9点的分区中么?答案是不会的 flume抽取到的数据...
90
热度 -
[综合] NoClassDefFoundError: org/apache/flink/streaming/api/environment/StreamExecutionEnvironment 已解决
依赖中有配置 <!--<scope>provided</scope>-->去掉即可
73
热度 -
[综合] Flink1.11 Jdcb方式写mysql测试用例
本demo是计算窗口内wordCount然后写入mysql //数据通过jdbc方式sink到mysqlwindowCounts.addSink(JdbcSink.sink("replaceintoflink_test(words,nums)values(?,?)",newJdbcStatement...
81
热度 -
[综合] Flink面试常见的25个问题(无答案)
flink和sparkstreaming的优缺比较 FlinkonYarn任务提交流程 FlinkSql的执行过程 Flink所使用的版本 Flink内存模型 FlinkWatermark机制 FlinkCheckPoint机制?kafkaexactly-once的两阶段提? Flink状态存储ba...
49
热度 -
[综合] 致大数据开发者的一句忠言
时间:2022年4月20号 背景:在公司一年半后选择离职,三月份找了将近一个月的工作,最终算是拿到满意的offer 找工作的感受:四年工作经验,三份工作经历,面的是大数据开发岗,因为过往工作内容比较繁琐,集群运维,Flink实时,数据治理,数仓报表都做过,就是因为什么都做过,貌似简历里没办法体现某一...
75
热度 -
[综合] (1) nginx整体结构、进程模型
一:nginx的整体结构 (1.1)master进程和worker进程概览(父子关系) //启动nginx,看到了一个master进程,一个worker进程//ps-ef命令//第一列:UID,进程所属的用户id//第二列:进程ID(PID),用来唯一的标识一个进程//第三列:父进程ID(PPID)...
61
热度 -
[综合] (2.1)终端和进程的关系
(1.1)终端与bash进程 //ps-ef|grepbash//pts(虚拟终端),每连接一个虚拟终端到乌班图linux操作系统,//就会出现一个bash进程(shell[壳]),黑窗口,用于解释用户输入的命令//bash=shell=命令行解释器//whereisbash (1.2)终端上的开...
8
热度 -
[综合] (2.3)Unix/Linux操作系统体系结构,信号编程初步
一:Unix/Linux操作系统体系结构 //类Unix操作系统体系结构分为两个状态(1)用户态,(2)内核态 //a)操作系统/内核:用来控制计算机硬件资源,提供应用程序运行的环境 //我们写的程序,他要么运行在用户态,要么运行在内核态。一般来讲运行在用户态; //当程序要执行一些特殊代码的时...
13
热度 -
[综合] (2.4)信号编程进阶、sigprocmask范例
一:信号集 //一个进程,必须能够记住这个进程当前阻塞了哪些信号 //000000000000000000000 //我们需要“信号集”的这么一种数据类型(结构),能够把这60多个信号都表示下(都装下)。 //0000000000,0000000000,0000000000,00,00000000...
71
热度 -
[综合] (2.5)fork函数详解、范例演示
一:fork()函数简单认识 //创建进程; //进程的概念:一个可执行程序,执行起来就是一个进程,再执行起来一次,它就又是一个进程(多个进程可以共享同一个可执行文件) //文雅说法:进程定义为程序执行的一个实例; //在一个进程(程序)中,可以用fork()创建一个子进程,当该子进程创建时, ...
50
热度 -
[综合] (2.6)守护进程详解、范例演示
一:普通进程运行观察 //ps-eopid,ppid,sid,tty,pgrp,comm,stat,cmd|grep-E'bash|PID|nginx' //a)进程有对应的终端,如果终端退出,那么对应的进程也就消失了;它的父进程是一个bash //b)终端被占住了,你输入各种命令这个终端都没有反...
54
热度 -
[综合] (3.1)信号高级认识范例,服务器架构初步
一:信号高级认识范例 //ps-eopid,ppid,sid,tty,pgrp,comm,stat,cmd|grep-E'bash|PID|nginx' //用kill发送USR1信号给进程 //(1)执行信号处理函数被卡住了10秒,这个时候因为流程回不到main(),所以main中的语句无法得到...
42
热度 -
[综合] (3.2)读配置文件、查泄漏、设置标题实战
一:基础设施之配置文件读取 //(1.1)前提内容和修改 //使用配置文件,使我们的服务器程序有了极大的灵活性,是我们作为服务器程序开发者,必须要首先搞定的问题; //配置文件:文本文件,里边除了注释行之外不要用中文,只在配置文件中使用字母,数字下划线 //以#号开头的行作为注释行(注释行可以有...
81
热度