Vacuum使用心得

最近在优化PG,在vacuum过程中发现了  (to prevent wrap)。于是花了一周实践深入了解并实践了一把。下面把这一周的心得分享一下,以备遇到同样情况的 朋友以及将来的自己 使用。

数据库总是不断地在执行删除,更新等操作。良好的空间管理非常重要,能够对性能带来大幅提高。在postgresql中用于维护数据库磁盘空间的工具是VACUUM,其重要的作用是删除那些已经标示为删除的数据并释放空间。

基础知识前述:

在PostgreSQL中,每个事务都有一个唯一的事务ID,被称为XID。注意:除了被BEGIN -COMMIT/ROLLBACK包裹的一组[……]

查看更多……

Kafka消费组(consumer group)

转载自: https://www.cnblogs.com/huxi2b/p/6223228.html

二、消费者组 (Consumer Group)

1 什么是消费者组

其实对于这些基本概念的普及,网上资料实在太多了。我本不应该再画蛇添足了,但为了本文的完整性,我还是要花一些篇幅来重谈consumer group,至少可以说说我的理解。值得一提的是,由于我们今天基本上只探讨consumer group,对于单独的消费者不做过多讨论。

什么是consumer group? 一言以蔽之,consumer group是kafka提供的可扩展且具有容错性的消费者机制。[……]

查看更多……

再见Docker!是时候使用Podman、Skopeo和Buildah新容器架构了

缘起:

很多人可能遇到过开机重启时,由于Docker守护程序在占用多核CPU使用100%C使用的情况,导致所有容器都无法启动,服务都不能用的情况。很悲催的是这事儿虫虫也遇到了,之前文章中虫虫介绍过利用Docker重构WP博客的新架构。由于VPS机器不是很稳定,时常会重启,重启时候就会遇到这个事情,VPS负载很高,容器都没有起来,网站就无法访问了。这时候只能杀掉所有容器并重启守护进程,才能恢复。经过了解该问题是由于Docker守护进程引起,而且Docker守护进程是以root特权权限启动的,是一个安全问题,那么有什么方法解决呢?

为什么Docker需要一个守护进程呢?

Podm[……]

查看更多……

Postgresql 逻辑结构和物理结构

1.数据库的逻辑结构

Database cluster: 由postgresql server管理的数据库的集合,下面由多个database组成

databsase: 由各种数据库对象构成,比如下图中的table,indexes, view,function,sequence…

所有数据库对象都有各自的oid(object identifiers),oid是一个无符号的四字节整数,相关对象的oid都存放在相关的system catalog表中,比如数据库的oid和表的oid分别存放在pg_database,pg_class表中。

如下所示:

2.数据库[……]

查看更多……

CentOS安装Harbor1.10.1并与docker集成

CentOS7安装Harbor-v1.10.1并与docker-19.03.6集成,使docker能够登录、推送、拉取Harbor中的镜像。

文章目录
CentOS安装Harbor-v1.10.1并与docker集成
一、安装docker-compose
二、Harbor的域名
三、生成自签证书
四、为各个docker客户端分发证书
五、安装Harbor
六、使用Harbor
6.1、访问Harbor WebUI
6.2、push镜像:docker ==> harbor
6.3、pull镜像: docker <== harbor
七、维护时常用命令
Harbor是一个开源的可[……]

查看更多……

Gatling性能测试

介绍

Gatling是一款功能强大的负载测试工具。它的设计易于使用,可维护性和高性能。

开箱即用,Gatling提供了对HTTP协议的出色支持,使其成为负载测试HTTP服务器的首选工具。

只要底层协议(如HTTP)可以以非阻塞方式实现,Gatling的体系结构就是异步的。这种架构允许我们将虚拟用户实现为消息而不是专用线程,这使得它们非常便宜。因此,运行数千个并发虚拟用户不是问题。(和jmeter区别点)

Gatling是一款基于Scala 开发的高性能服务器性能测试工具,它主要用于对服务器进行负载等测试,并分析和测量服务器的各种性能指标。Gatling主要用于测量基于H[……]

查看更多……

常见应用如何 配置数据库连接信息中显示应用名称ApplicationName

一、oracle以druid数据源为例子,在数据源connectionProperties添加属性v$session.program=lizhiqiang如下图,其他数据源类同都是添加此属性

二、Sqlserver1)Sqljdbc驱动,配置连接字符串即可,示例如下jdbc:microsoft:sqlserver://127.0.0.1:1433;DatabaseName=Web;applicationName=his2)jTDS驱动,配置连接字符即可jdbc:jtds:<server_type>://<server>[:<port>] [/<database>] [[……]

查看更多……

构建生产级具有融合Kafka的Debezium集群

Bhuvanesh2019-12-20295摘要:我们生活在DataLake世界中。几乎每个公司都希望其报告接近实时。Kafka是用于实时报告的最佳流媒体平台。RedHat基于Kafka连接器,设计了Debezium,这是一种开源产品,强烈推荐用于跨国数据库的实时CDC。

我们生活在DataLake世界中。现在,几乎每个公司都希望其报告接近实时。Kafka是用于实时报告的最佳流媒体平台。RedHat基于Kafka连接器,设计了Debezium,这是一种开源产品,强烈推荐用于跨国数据库的实时CDC。我发现设置此集群只是基本的安装步骤,因此,我为具有生产级的AWS设置了该集群,请查看下文。

[……]

查看更多……