大数据量、高并发业务怎么优化?(一)

博主这里的大数据量、高并发业务处理优化基于博主线上项目实践以及全网资料整理而来,在这里分享给大家 一. 大数据量上传写入优化 线上业务后台项目有一个消息推送的功能,通过上传包含用户id的文件,给指定用

大数据-业务数据采集

CDC CDC 是 Change Data Capture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入

【NoSql】缓存管理器CacheManager使用

缓存管理器CacheManager 一、背景 ​ 代码并发量因建行活动页上升,大量请求打到Mongo导致数据库cpu100%从而服务不可用,目前解决方案,使用编程式缓存,即对缓存的操作与业务代码耦合。

1.5 HDFS分布式文件系统-hadoop

1.5 HDFS分布式文件系统 1.5.1 HDFS 简介 HDFS(全称:Hadoop Distribute File System,Hadoop 分布式文件系统)是 Hadoop 核心组成,是分布

《MySQL必知必会》知识汇总四

十七、插入数据 本章将介绍如何利用sql的INSERT语句将数据插入表中 数据插入 插入分为以下几种方式:插入完整的行、插入行的一部分、插入多行、插入某些查询结果 插入完整的行 INSERT INTO

1.5.4 HDFS 客户端操作-hadoop

1.5.4 HDFS 客户端操作 1.5.4.1 Shell 命令行操作HDFS 基本语法 ​ bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 命令大全 [root@l

大数据-数据仓库

数仓分层 |分层|全称|译名|说明|压缩|列式存储|分区| |-|-|-|-|-|-|-| |ODS|Operation Data Store|原始层|原始数据|✅|❌|✅| |DIM|Dimensi

实例解析丨一文搞定GaussDB CM服务异常

摘要:本文主要为大家带来如何处理GaussDB CM服务异常问题。 本文分享自华为云社区《【实例状态】GaussDB CM服务异常》,作者:酷哥。 首先确认是否是虚拟机、网络故障,底层故障处理 PID

第十一章-并发控制

11章 并发数据 了解并发需要先了解的概念: 1.数据库是一个可以共享资源,可以多用户同时使用一个数据库,该数据库称为多用户数据库,如订票系统、银行系统 2.多事务执行方式: 1.事务串行执行 : 务

StoneDB 首席架构师李浩:如何选择一款 HTAP 产品?

作者:李浩 责编:宇亭 当我们选择一款 HTAP 数据库时,总是先被其相关文档里所描述的优异性能所吸引。卓越的性能是我们选择一款产品的出发点,因为我们希望该款产品能够解决我们业务中的痛点。而大家使用

糟糕,数据库异常不可用怎么办?

摘要:糟糕,数据库异常不可用怎么办?挺着急的,在线等。 本文分享自华为云社区《糟糕,数据库异常不可用怎么办?》,作者:GaussDB 数据库。 随着数字化转型的加速,数据量爆发式增长,用户对数据库运维

缓存管理器CacheManager使用

缓存管理器CacheManager 一、背景 ​ 代码并发量因建行活动页上升,大量请求打到Mongo导致数据库cpu100%从而服务不可用,目前解决方案,使用编程式缓存,即对缓存的操作与业务代码耦合。

1.4 Apache Hadoop完全分布式集群搭建-hadoop

1.4 Apache Hadoop 完全分布式集群搭建 软件和操作系统版本 Hadoop框架是采用Java语言编写,需要java环境(jvm) JDK版本:JDK8版本 集群: 知识点学习:统一使用v