[综合] 【巨杉案例】银行高并发实时账单查询

前言 银行的核心系统上的交易流水仅会保存近期的数据，此前，银行在柜面进行账单查询时也仅能查询近期的数据。其他的历史流水，银行会采用离线存储的方式将数据归档至磁带库、光盘库或者将数据至别的系统。这样的数据架构归划模式使得柜面系统上很难实现更多的历史账单柜面查询。 1.面临的挑战 如果需要支持客户的历史...

[综合] 【实践样例】SequoiaDB集群扩容实践代码样例

不同的适用场景下应该选择不同的扩容方式，本文主要介绍了四种主要的扩容实践与代码样例。 方案一 环境准备 建立数据域 db.createDomain("domainbefore",["datagroup1","datagroup2","datagroup3"],{AutoSplit:true}); 建...

[综合] 巨杉大学SVP专家分享 | Apache Hop基于web的可视化流式批处理

01前言 近年来，随着互联网技术的发展，数据早已成为各行业的生命源泉，数据管理的重要性不言而喻。日前，在「巨杉最具价值专家」技术交流会中，北京傲飞商智软件有限公司CEO初建军老师（jianjunchu@apache.org）对ApacheHop基于web的可视化流式批处理平台主题进行了详细的讲解。 ...

[综合] 【回顾】数据安全“黑天鹅”事件频现，看金融级数据库如何保障数据安全

互联网上有关一家创业公司数据丢失的事件，引发了IT业界的热烈探讨。2018以来，数据安全事故频发。7月24日，由于某云广州一区主备两条运营商网络链路同时中断，导致部分用户出现资源访问失败、控制台登录异常。2018年7月18日，某海外平台全球负载均衡系统出现问题，导致Snapchat等多个热门在线服务...

[综合] 架构 | 新一代分布式数据库架构详解

分布式数据库技术发展多年，但是在应用、业务的驱动下，分布式数据库的架构一直在不断发展和演进。开源金融级分布式数据库SequoiaDB，经过6年的研发，坚持从零开始打造数据库核心引擎。在技术探索中，选择了更适合云数据库场景的架构和引擎设计。本文也将详细展开，介绍目前SequoiaDB的架构与设计理念。...

[综合] 【回顾】对话巨杉数据库核心研发团队：分布式数据库自研之路

一直以来，数据库的核心研发团队都十分神秘，作为隐藏在幕后的隐士高人，他们对数据库发展以及数据库研发团队的看法是什么呢？本文我们就由巨杉数据库核心技术研发团队的“老司机”，向大家分享他分布式数据库的自研之路。 Q:作为数据库行业的“老司机”，您能否先介绍一下自己？ A：我叫Danny，是巨杉数据库核...

[综合] 最佳实践7| SequoiaDB巨杉数据库跨引擎事务

01前言 在最佳实践系列第六篇中，我们利用多副本，实现了OLTP、OLAP的负载隔离。那么，单就OLTP系统而言，能否实现跨引擎事务功能呢？比如我们有2套应用系统，一套基于MySQL开发，一套基于PosgreSQL开发，两个应用系统能否灵活地实现数据互相访问，并且实现事务隔离？ 在以往，这是不可能...

[综合] 巨杉 x DSG：突破单一IT架构限制，实现结构化数据高性能实时入湖

合作伙伴公司简介 迪思杰（北京）数据管理技术有限公司（以下简称DSG）,是全球领先的数据复制技术专业公司，拥有几乎所有主流数据库，如：Oracle、MySQL、PostgreSQL、DB2及各类国产数据库的实时日志分析复制技术和完全的自主知识产权。DSG全球领先的数据库统一实时转换数据模型，能够快速...

[综合] 如何安装SequoiaDB数据库

数据库安装 手工安装需要先分别在每一台主机上安装SequoiaDB，然后再命令行安装部署集群。 准备安装介质 请到SequoiaDB官方网站下载相应的版本。 下载地址：SequoiaDB 安装SequoiaDB 安装前准备 确保系统满足硬件和软件要求 使用root用户权限来安装SequoiaD...

[综合] Spark作为ETL工具与SequoiaDB的结合应用

一、前言 ETL一词较常用于数据仓库，但其对象并不仅限于数据仓库。ETL是指将数据从源系统中经过抽取（Extract）、转换（Transform）、加载（Load）到目标数据存储区的过程。常见的ETL工具有OracleDataIntegrator、InformaticaPowerCenter、Dat...

[综合] 不断提高自己的学习能力

[综合] lfpt_使用

ftp是一个支持下载，上传同时还有支持screen用法的工具，相当于ftp的客户端，有它支持访问文件的协议有:ftp,ftps,http,https,hftp,fish1.登陆的方式：lftp用户名：密码@ip地址[root@zhu2~]#lftpzhu:123456@192.168.70.137l...

[综合] 64位CentOS安装缺少32位库问题最有效的办法

今天在64位CentOS上安装了三款32位应用程序都提示找不到动态链接库，一看这些软件都是i686，在网上找了一些方法安装了N个lib,比如glibc.i686,glib-devel.i686等都没能完全解决。后来在一外国网站找到解决办法，内容如下： ifyouhaveamissinglibr...

[综合] 终于找齐了梦寐以求的物体缓动算法（Tween）

先说一下算法原理： x轴是时间，y轴是当前值，b是y轴的初始值，x轴的初始值是0，t是当前时间。当t（x轴）逐渐增加到达d时，当前值（y轴）会到达目标值（b+c）。 想详细理解的话可以找资料看看吧（貌似跟数学关系比较大）。 下面就介绍如何使用这个Tween了，首先b、c、d三个参数（即初始值，...

[综合] 工作是用来赚钱养活爱好的一种生活方式

一直以来都梦想自己能在兴趣范围内工作赚钱，可时间久了，再喜欢的工作最后也会被每天枯燥机械式的事情整的没有一点激情。完全验证了《程序员法则》这本书中那句经典的话：一旦兴趣变成了工作,兴趣就会被工作所累,从而让你对这个行业产生厌倦情绪。 我最开始的工作是一名网站编辑，因为平时喜欢写点小程序，偶尔会为...

[综合] 庄子：不要把时间浪费在做正事上

先秦诸子时代，当所有人厮混名利场时，只有庄子在野外淡定地玩泥巴。作为穷光蛋，他擅长挨饿，饿到借米吃还坚持耍刻薄。他是唯一的超脱者，世界想和他谈谈，他懒得理睬。 钓鱼是《古人装B指南》中第一条行为规范，姜子牙80多岁高龄，假装钓鱼，其实是钓文王。庄子也钓鱼，但是他不听装B指南的话，居然真的在钓鱼—...

[综合] 自己写的python操作FTP服务器（未完，没写下载操作）

#-*-coding:utf-8-*-importftplib importos classXMyFtp:time_out=30 ftp_user="yxjk"ftp_pwd="yxjk"ftp_host="192.168.10.95"ftp_port=21 ftp=None #FTP初始化def_...

[综合] 训练自己集中注意力就是要驯服这只大猴子

在互联网内容中每日浸泡的我们每个人，思路就象一只跳来跳去的猴子，一会想这个，一会想那个，而训练自己集中注意力就是要驯服这只大猴子。 在日常生活中，你可以采用下面这些技巧，让自己更加专注。 1、专注力到底是什么？ 专注的概念其实很简单，它就是讲你从多个方向中解放出来，一次只将精力放在一件事上。 “Co...

[综合] 基于codeigniter框架写的网站日志系统适配器（支持写入本地文件、数据库、远程服务器）

下图为文件结构： 核心为件为ShinowLog.php,以下为该文件代码 <?phpdefined('BASEPATH')ORexit('Nodirectscriptaccessallowed');/***ShinowCMS日志系统*采用驱动配置的调用模式，日志写入模式包括文件、数据库、远...

[综合] 大龄非专业程序员的觉悟：出来混，迟早要还的，现在觉得要学的东西越来越多了！

以前天天忙于本职工作，回到家还要照顾孩子，这样一天当中大部分时间都被工作和家庭占据。仅剩下的闲暇时间就用来看头条，刷短视频，玩游戏，听小说，这种方式一直持续到2019年的4月份。 到2019年7月份我就35周岁了，这个年龄是国内职场用工的分界线，如果不能成为一个优秀的管理者，后面的路将会越来越难走。...