GreatSQL内存消耗异常排查攻略：从系统到应用层面的深入分析 当 GreatSQL 数据库处于高并发高负载时，可能会发现 mysqld 进程的内存消耗远远超出设置的 innodb_buffer_pool_size 时，有时候甚至会高达甚至超过系统内存的90%，遇到这种问题时，心里经常会发慌，担心 ...

1. 让元数据为业务服务 1.1. 在过去十多年中，数据团队越来越擅长收集大量的数据 1.2. 公司如今正在收集越来越多关于其数据的数据，也就是元数据 1.2.1. dbt等ETL解决方案让跟踪和使用元数据变得容易，而云服务提供商则使栈中数据解决方案之间的元数据的互操作性变得更加无缝 1.2.2.  ...

港口企业作为交通运输枢纽，需要借助数字化手段提升管理水平、优化生产流程、提高运营效率，以适应日益增长的业务量和竞争压力。为了指导各地智慧港口的建设工作，交通运输部等多部门联合发布了《智慧港口建设指南》，明确了智慧港口建设的目标、原则、路径及重点任务，为港口的数据化、智能化提供了具体指导。随着物联网、 ...

环境说明 Docker Windows 11 PostgreSql 17 搭建步骤 0. 宿主机准备： 找个地方创建一个文件夹用来挂载容器中数据库Data文件夹，这里我用的是： C:\Users\Administrator\docker\Postgresql\replication 1. 主数据库准 ...

Beekeeper Studio —— 一款跨平台 SQL 编辑器和数据库管理器，适用于 Linux、Mac 和 Windows，支持 MySQL、Postgres、SQLite、SQL Server 等多种数据库。 ...

使用复杂度高的命令 Redis提供了慢日志命令的统计功能 首先设置Redis的慢日志阈值，只有超过阈值的命令才会被记录，这里的单位是微妙，例如设置慢日志的阈值为5毫秒，同时设置只保留最近1000条慢日志记录： # 命令执行超过5毫秒记录慢日志 CONFIG SET slowlog-log-slowe ...

1. 要点 1.1. 实现数据质量不能纸上谈兵，而获得“可靠数据”取决于数据分析和工程实践中的其他几个要素 1.2. 数据网格以及数据质量适用的地方 1.3. 数据质量在基于云的数据栈旅程中的作用 1.4. 知识图谱是更易于访问数据的关键 1.5. 分布式数据架构下的数据发现 1.6. 何时开始进行 ...

上个文章介绍了动态LINQ库。 然后动态造了一个查询，示例如下： //ctx是EF的DbContext，字段Value是字符串类型 await ctx.Tables.Where("As(Value,\"DateTime?\")>@0",datetime).ToListAsync(); 上面的查询条件 ...

本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述； 第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用； 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开； 通过这样的结构，您可以系统地学习每一层次的内容和设计原则 ...

目录单项选择题不定项选择题判断题 单项选择题 以下描述中正确的是（ ）。 （传统）商务智能主要关注的是对“过去时间”的“解释性研究” （答案） 数据科学的主要处理对象以结构化数据为主 数据科学主要关注的是对“未来时间”的“诊断性研究” （传统）商务智能的主要处理对象以非结构化数据为主 与传统科学不同 ...

本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述； 第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用； 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开； 通过这样的结构，您可以系统地学习每一层次的内容和设计原则 ...

GreatSQL 自动开启复制导致同步报错 1.背景概述 目前需要将生产数据恢复到一个单实例，再将单实例和生产节点配置主从关系，由于单表数据量较大，时间比较有限，考虑到导入导出的时间，并且GreatSQL支持XtraBackup备份恢复，能够加速数据的恢复，因此决定使用XtraBackup备份工具进 ...

1. 对数据进行认证 1.1. 数据认证是指在数据资产满足关于数据质量、可观测性、权责分配、问题解决和沟通等公司内共同遵守的SLA后，批准它们被用于整个组织的过程 1.2. 数据认证为人员、框架和技术构建了关键流程，使其与核心业务政策保持一致 1.3. 数据认证的要求会因业务需求、数据工程团队的能力 ...

引言 VTS（Vector Transport Service），全称向量传输服务，是一个由Zilliz开发的专注于向量和非结构化数据迁移的开源工具。VTS的核心特点在于其基于Apache SeaTunnel开发，这一事实使其在数据处理和迁移方面具有显著的优势。Apache SeaTunnel作为一 ...

Apache DolphinScheduler的JavaTask可以通过在任务执行日志中输出特定格式的参数来支持OUT参数的下游传输，通过捕捉日志并将其作为参数传递给下游任务。这种机制允许任务间的数据流动和通信，增强了工作流的灵活性和动态性。 那具体要怎么做呢？本文将进行详细的讲解。 0 修改一行源 ...

Kafka 概述 Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。 目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等 ...

当 Apache DolphinScheduler 运行几个月后，大部分朋友会发现 Logs 下的运行日志越来越多，这时可以考虑清理下 Logs/ 目录下的日志文件，比如设置只保留最近 3 天的日志，怎么操作呢？ 可以通过执行以下三个命令来实现： find ./logs -type f -mtime ...

搭建MySQL主从复制后，你会发现复制账号的密码是明文存储在mysq.mysql.slave_master_info这张系统表的User_password字段当中，早期MySQL版本中，账号密码存储在master.info文件中。如下案例所示： mysql> select * from mysql. ...

分布式锁 概述 分布式锁指的是，所有服务中的所有线程都去获取同一把锁，但只有一个线程可以成功的获得锁，其他没有获得锁的线程必须全部等待，直到持有锁的线程释放锁。 分布式锁是可以跨越多个实例，多个进程的锁 分布式锁具备的条件： 互斥性：任意时刻，只能有一个客户端持有锁 锁超时释放：持有锁超时，可以释放 ...

从架构到成本，SQL Server 和 PostgreSQL 四大区别全方位解析！ 今天我想分享 SQL Server 和 PostgreSQL 之间的四大关键区别。 在比较 SQL Server 和 PostgreSQL 这两种最常用的关系数据库管理系统（RDBMS）时，它们在架构、日志机制、并发 ...