pg.ddx.io pgsql-pt-geral@postgresql.org mailing list archive
help / color / mirror / Atom feedPostgres e CentOS 8
21+ messages / 7 participants
[nested] [flat]
* Postgres e CentOS 8
@ 2020-06-01 13:35 André Ormenese <aormenese@gmail.com>
2020-06-01 14:28 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 14:28 ` Re: Postgres e CentOS 8 Carlos Adean <carlosadean@linea.gov.br>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 18:57 ` Re: Postgres e CentOS 8 Arthur Nascimento <tureba@gmail.com>
2020-06-09 16:13 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-09 17:06 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
0 siblings, 6 replies; 21+ messages in thread
From: André Ormenese @ 2020-06-01 13:35 UTC (permalink / raw)
To: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Bom dia pessoal.
Estou com o PostgreSQL 12.2 instalado em CentOS 8.
Não é muito frequente, mas muito preocupante, que de tempos em tempos, mais
ou menos a cada 3 meses, meu hardware fica com alto índice de utilização de
CPU. Acima de 80%, e consequentemente o banco vira uma carroça de roda
quadrada.
Já tentei apagar os processos do banco (select´s) que estão retidos e
demorando muito para serem concluídos, mas não resolve, a máquina continua
lenta. Só consigo resolver o problema dando reboot na máquina.
Por acaso alguém utiliza o CentOS 8, e já teve esse tipo de problema?
Obrigado,
André
*Minhas figuras favoritas do folclore brasileiro são a democracia e o
estado laico.*
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
@ 2020-06-01 14:28 ` Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
5 siblings, 0 replies; 21+ messages in thread
From: Leandro Guimarães Faria Corcete DUTRA @ 2020-06-01 14:28 UTC (permalink / raw)
To: André Ormenese <aormenese@gmail.com>; Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Le lundi 01 juin 2020 à 10:35 -0300, André Ormenese a écrit :
> a cada 3 meses, meu hardware fica com alto índice de utilização de
> CPU. Acima de 80%, e consequentemente o banco vira uma carroça de
> roda quadrada.
Mas ¿quais os processos que consomem processador? Que diz o [h]top?
> Já tentei apagar os processos do banco (select´s) que estão retidos e
> demorando muito para serem concluídos, mas não resolve, a máquina
> continua lenta. Só consigo resolver o problema dando reboot na
> máquina.
Reiniciar o serviço postgresql não resolve? Não sei no
(CentOS|RedHat), mas devia ser algo como service postgresql restart.
--
/¯\ skype:leandro.gfc.dutra?chat Yahoo!: ymsgr:sendIM?lgcdutra
\ / +55 (61) 3546 7191 xmpp:leandrod@jabber.org
X +55 (61) 99302 2691 ICQ/AIM: aim:GoIM?screenname=61287803
/ \ BRAZIL GMT−3 https://useplaintext.email/#why-plaintext
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
@ 2020-06-01 14:28 ` Carlos Adean <carlosadean@linea.gov.br>
5 siblings, 0 replies; 21+ messages in thread
From: Carlos Adean @ 2020-06-01 14:28 UTC (permalink / raw)
To: André Ormenese <aormenese@gmail.com>; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
----- Original Message -----
> From: "André Ormenese" <aormenese@gmail.com>
> To: "Comunidade PostgreSQL Brasileira" <pgsql-pt-geral@lists.postgresql.org>
> Sent: Monday, June 1, 2020 10:35:38 AM
> Subject: Postgres e CentOS 8
> Bom dia pessoal.
> Estou com o PostgreSQL 12.2 instalado em CentOS 8.
>
> Não é muito frequente, mas muito preocupante, que de tempos em tempos, mais ou
> menos a cada 3 meses, meu hardware fica com alto índice de utilização de CPU.
> Acima de 80%, e consequentemente o banco vira uma carroça de roda quadrada.
>
> Já tentei apagar os processos do banco (select´s) que estão retidos e demorando
> muito para serem concluídos, mas não resolve, a máquina continua lenta. Só
> consigo resolver o problema dando reboot na máquina.
>
> Por acaso alguém utiliza o CentOS 8, e já teve esse tipo de problema?
>
> Obrigado,
> André
>
Seu texto não diz nada que ajude.
Ainda que alguém tenha tido o mesmo problema as causas podem ser completamente diferentes.
Só o postgreSQL roda nessa máquina?
O alto índice de utilização de CPU é resultado dos processos gerados pelo banco?
Qual o status das queries (select's) no banco?
Qual o status dos processos dos select's no S.O?
Ao invés de interromper os processos não seria melhor analisar as queries?
etc etc
Fica difícil dar qualquer pitaco sobre um ambiente totalmente desconhecido.
-- CA
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
@ 2020-06-01 14:48 ` Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
5 siblings, 1 reply; 21+ messages in thread
From: Vitor Hugo @ 2020-06-01 14:48 UTC (permalink / raw)
To: pgsql-pt-geral@lists.postgresql.org
Bom dia;
Se possível poste a saída dos comandos top, htop, netstat, |mpstat e
|||iostat| | para podermos ajudar.
Em 01/06/2020 10:35, André Ormenese escreveu:
> Bom dia pessoal.
>
> Estou com o PostgreSQL 12.2 instalado em CentOS 8.
>
> Não é muito frequente, mas muito preocupante, que de tempos em tempos, mais
> ou menos a cada 3 meses, meu hardware fica com alto índice de utilização de
> CPU. Acima de 80%, e consequentemente o banco vira uma carroça de roda
> quadrada.
>
> Já tentei apagar os processos do banco (select´s) que estão retidos e
> demorando muito para serem concluídos, mas não resolve, a máquina continua
> lenta. Só consigo resolver o problema dando reboot na máquina.
>
> Por acaso alguém utiliza o CentOS 8, e já teve esse tipo de problema?
>
> Obrigado,
> André
>
>
>
> *Minhas figuras favoritas do folclore brasileiro são a democracia e o
> estado laico.*
>
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
@ 2020-06-01 15:58 ` André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
0 siblings, 1 reply; 21+ messages in thread
From: André Ormenese @ 2020-06-01 15:58 UTC (permalink / raw)
To: ; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Vou responder os questionamentos todos aqui ....
Como é uma máquina de produção, já fiz o reboot, então não tenho como
enviar top, htop e demais comandos. No momento a máquina está com uso de
CPU entre 1,5 e 5 % de utilização, com alguns picos de no máximo 15%. Isso
é o histórico de uso padrão dela.
Reiniciar o serviço do Postgres resolve por pouco tempo. Mesmo fazendo isso
o uso de CPU não volta aos padrões de utilização da máquina, e logo em
seguida sobe acima dos 80%.
Tenho rodando apenas o banco e pgbouncer nesta máquina. Tenho também um
logstash (Elasticsearch) que roda um processo em java que consome dados
deste banco, mas ele está instalado em outro servidor. E já fiz o teste de
parar o processo do logstash, e nada se alterou.
Os processos que aumentam o consumo da CPU, são processos do Postgres, que
acabam demorando muito para rodar e vão se acumulando.
As queries são queries já conhecidas e não demoram muito a rodar. Quando a
máquina está em seu estado normal, essas queries não são problemas.
Tenho outro hardware idêntico que hoje é réplica deste banco, mas que já
foi master por um tempo, até que tive o mesmo problema. Na época, fiz a
troca. O que era replica virou master, e vice-versa. E agora o problema se
repete.
Venho de uma migração do FreeBSD. Os hardwares são os mesmos. No FreeBSD
rodava a versão 11.?? do Postgres, e nunca tive problema. Meu medo está
basicamente no CentOs 8.
Obrigado pela atenção de todos.
Em seg., 1 de jun. de 2020 às 11:48, Vitor Hugo <vitorhugo60@hotmail.com>
escreveu:
> Bom dia;
>
> Se possível poste a saída dos comandos top, htop, netstat, mpstat e iostat para
> podermos ajudar.
> Em 01/06/2020 10:35, André Ormenese escreveu:
>
> Bom dia pessoal.
>
> Estou com o PostgreSQL 12.2 instalado em CentOS 8.
>
> Não é muito frequente, mas muito preocupante, que de tempos em tempos, mais
> ou menos a cada 3 meses, meu hardware fica com alto índice de utilização de
> CPU. Acima de 80%, e consequentemente o banco vira uma carroça de roda
> quadrada.
>
> Já tentei apagar os processos do banco (select´s) que estão retidos e
> demorando muito para serem concluídos, mas não resolve, a máquina continua
> lenta. Só consigo resolver o problema dando reboot na máquina.
>
> Por acaso alguém utiliza o CentOS 8, e já teve esse tipo de problema?
>
> Obrigado,
> André
>
>
>
> *Minhas figuras favoritas do folclore brasileiro são a democracia e o
> estado laico.*
>
>
>
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
@ 2020-06-01 19:58 ` Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 21:10 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
0 siblings, 1 reply; 21+ messages in thread
From: Leandro Guimarães Faria Corcete DUTRA @ 2020-06-01 19:58 UTC (permalink / raw)
To: André Ormenese <aormenese@gmail.com>; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Le lundi 01 juin 2020 à 12:58 -0300, André Ormenese a écrit :
> Vou responder os questionamentos todos aqui ....
Mas não foi o que fizeste, explico.
> Como é uma máquina de produção, já fiz o reboot, então não tenho como
> enviar top, htop e demais comandos.
Sugiro deixar um [h]top ao menos rodando para capturar o problema.
> Reiniciar o serviço do Postgres resolve por pouco tempo. Mesmo
> fazendo isso o uso de CPU não volta aos padrões de utilização da
> máquina, e logo em seguida sobe acima dos 80%.
O que indicaria um problema do CentOS. Só para descartar um eventual
problema do núcleo do sistema, eu sugeriria um telinit 1 da próxima
vez.
> Os processos que aumentam o consumo da CPU, são processos do
> Postgres, que acabam demorando muito para rodar e vão se acumulando.
¿Mas quais?
> Venho de uma migração do FreeBSD.
¿Mas por quê? O PostgreSQL é nativo do BSD, onde foi criado e que
desenvolveu-se em grande parte para atender as necessidades do Ingres;
e normalmente o BSD é mais leve — a menos que precises dalgum aspecto,
por exemplo de gestão ou escalabilidade, que o BSD (ainda) não
fornece.
> Meu medo está basicamente no CentOs 8.
¿Por que CentOS? Ele é basicamente um /clone/ do Red hat. A menos que
precises homologar um sistema para Red hat sem pagar por isso, a
plataforma preferida, depois do BSD, é Debian ou algum derivado seu.
Outra coisa, parece que o CentOS está na 8.0.1905 — ¿em que
versão estás? Já verificaste se não há algum erro conhecido corrigido
entre a tua versão e a 1905?
--
+55 (61) 3546 7191 gTalk: xmpp:leandrod@jabber.org
+55 (61) 99302 2691 http://en.dutras.org/
BRAZIL GMT−3
https://useplaintext.email/#why-plaintext
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
@ 2020-06-01 21:10 ` André Ormenese <aormenese@gmail.com>
2020-06-03 00:38 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 02:27 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
0 siblings, 2 replies; 21+ messages in thread
From: André Ormenese @ 2020-06-01 21:10 UTC (permalink / raw)
To: ; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Em seg., 1 de jun. de 2020 às 16:58, Leandro Guimarães Faria Corcete DUTRA <
l@dutras.org> escreveu:
> Le lundi 01 juin 2020 à 12:58 -0300, André Ormenese a écrit :
> > Vou responder os questionamentos todos aqui ....
>
> Mas não foi o que fizeste, explico.
>
>
> > Como é uma máquina de produção, já fiz o reboot, então não tenho como
> > enviar top, htop e demais comandos.
>
> Sugiro deixar um [h]top ao menos rodando para capturar o problema.
>
Ok !!!
>
>
> > Reiniciar o serviço do Postgres resolve por pouco tempo. Mesmo
> > fazendo isso o uso de CPU não volta aos padrões de utilização da
> > máquina, e logo em seguida sobe acima dos 80%.
>
> O que indicaria um problema do CentOS. Só para descartar um eventual
> problema do núcleo do sistema, eu sugeriria um telinit 1 da próxima
> vez
Ok !!!
> .
>
>
> > Os processos que aumentam o consumo da CPU, são processos do
> > Postgres, que acabam demorando muito para rodar e vão se acumulando.
>
> ¿Mas quais?
>
Processos gerados quando se executa um select. Como esse abaixo gerado
através de um select no pgadmin.
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+
COMMAND
24913 postgres 20 0 20,5g 234108 231492 R 60,9 0,4 0:13.07
postmaster
Mas não é só o banco que fica lento. A máquina como um todo, senta.
>
> > Venho de uma migração do FreeBSD.
>
> ¿Mas por quê? O PostgreSQL é nativo do BSD, onde foi criado e que
> desenvolveu-se em grande parte para atender as necessidades do Ingres;
> e normalmente o BSD é mais leve — a menos que precises dalgum aspecto,
> por exemplo de gestão ou escalabilidade, que o BSD (ainda) não
> fornece.
>
Estamos padronizando os servidores em CentOS por conta de algumas
facilidades de instalação/administração de certos sistemas (ElastisSearch,
é um deles), e também na velocidade de atualização do ports do FreeBSD. Fiz
a migração meio a contra gosto, mas fui convencido pelo tempo de
atualização das aplicações do ports.
>
>
> > Meu medo está basicamente no CentOs 8.
>
> ¿Por que CentOS? Ele é basicamente um /clone/ do Red hat. A menos que
> precises homologar um sistema para Red hat sem pagar por isso, a
> plataforma preferida, depois do BSD, é Debian ou algum derivado seu.
>
Porque é o padrão adotado pela Universidade onde trabalho. Mantemos o mesmo
padrão por conta de compatibilidade e suporte (interno, na universidade).
>
> Outra coisa, parece que o CentOS está na 8.0.1905 — ¿em que
> versão estás? Já verificaste se não há algum erro conhecido corrigido
> entre a tua versão e a 1905?
>
CentOS Linux release 8.0.1905 (Core)
>
>
>
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 21:10 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
@ 2020-06-03 00:38 ` Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 12:09 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
1 sibling, 1 reply; 21+ messages in thread
From: Ranier Vilela @ 2020-06-03 00:38 UTC (permalink / raw)
To: André Ormenese <aormenese@gmail.com>; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Em seg., 1 de jun. de 2020 às 18:10, André Ormenese <aormenese@gmail.com>
escreveu:
>
>
>
>
> Em seg., 1 de jun. de 2020 às 16:58, Leandro Guimarães Faria Corcete DUTRA
> <l@dutras.org> escreveu:
>
>> Le lundi 01 juin 2020 à 12:58 -0300, André Ormenese a écrit :
>> > Vou responder os questionamentos todos aqui ....
>>
>> Mas não foi o que fizeste, explico.
>>
>>
>> > Como é uma máquina de produção, já fiz o reboot, então não tenho como
>> > enviar top, htop e demais comandos.
>>
>> Sugiro deixar um [h]top ao menos rodando para capturar o problema.
>>
> Ok !!!
>
>>
>>
>> > Reiniciar o serviço do Postgres resolve por pouco tempo. Mesmo
>> > fazendo isso o uso de CPU não volta aos padrões de utilização da
>> > máquina, e logo em seguida sobe acima dos 80%.
>>
>> O que indicaria um problema do CentOS. Só para descartar um eventual
>> problema do núcleo do sistema, eu sugeriria um telinit 1 da próxima
>> vez
>
> Ok !!!
>
>> .
>>
>>
>> > Os processos que aumentam o consumo da CPU, são processos do
>> > Postgres, que acabam demorando muito para rodar e vão se acumulando.
>>
>> ¿Mas quais?
>>
> Processos gerados quando se executa um select. Como esse abaixo gerado
> através de um select no pgadmin.
>
> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+
> COMMAND
> 24913 postgres 20 0 20,5g 234108 231492 R 60,9 0,4 0:13.07
> postmaster
>
> Mas não é só o banco que fica lento. A máquina como um todo, senta.
>
Não sei ao certo, mas me parece um problema de bloqueio pendente (race
condition)?
Teria como você fazer um EXPLAIN da (s) queries que estão travadas?
e postar?
Ranier Vilela
>
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 21:10 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 00:38 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
@ 2020-06-03 12:09 ` André Ormenese <aormenese@gmail.com>
2020-06-03 13:20 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-03 13:21 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
0 siblings, 2 replies; 21+ messages in thread
From: André Ormenese @ 2020-06-03 12:09 UTC (permalink / raw)
To: Ranier Vilela <ranier.vf@gmail.com>; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Em ter., 2 de jun. de 2020 às 21:40, Ranier Vilela <ranier.vf@gmail.com>
escreveu:
> Em seg., 1 de jun. de 2020 às 18:10, André Ormenese <aormenese@gmail.com>
> escreveu:
>
>>
>>
>>
>>
>> Em seg., 1 de jun. de 2020 às 16:58, Leandro Guimarães Faria Corcete
>> DUTRA <l@dutras.org> escreveu:
>>
>>> Le lundi 01 juin 2020 à 12:58 -0300, André Ormenese a écrit :
>>> > Vou responder os questionamentos todos aqui ....
>>>
>>> Mas não foi o que fizeste, explico.
>>>
>>>
>>> > Como é uma máquina de produção, já fiz o reboot, então não tenho como
>>> > enviar top, htop e demais comandos.
>>>
>>> Sugiro deixar um [h]top ao menos rodando para capturar o problema.
>>>
>> Ok !!!
>>
>>>
>>>
>>> > Reiniciar o serviço do Postgres resolve por pouco tempo. Mesmo
>>> > fazendo isso o uso de CPU não volta aos padrões de utilização da
>>> > máquina, e logo em seguida sobe acima dos 80%.
>>>
>>> O que indicaria um problema do CentOS. Só para descartar um eventual
>>> problema do núcleo do sistema, eu sugeriria um telinit 1 da próxima
>>> vez
>>
>> Ok !!!
>>
>>> .
>>>
>>>
>>> > Os processos que aumentam o consumo da CPU, são processos do
>>> > Postgres, que acabam demorando muito para rodar e vão se acumulando.
>>>
>>> ¿Mas quais?
>>>
>> Processos gerados quando se executa um select. Como esse abaixo gerado
>> através de um select no pgadmin.
>>
>> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+
>> COMMAND
>> 24913 postgres 20 0 20,5g 234108 231492 R 60,9 0,4 0:13.07
>> postmaster
>>
>> Mas não é só o banco que fica lento. A máquina como um todo, senta.
>>
> Não sei ao certo, mas me parece um problema de bloqueio pendente (race
> condition)?
> Teria como você fazer um EXPLAIN da (s) queries que estão travadas?
> e postar?
>
Ranier,
obrigado pela atenção, mas o problema não está diretamente no banco, e sim
no conjunto da obra.
As queries (todas) rodam sem problemas quando a máquina está ok. E ela fica
ok por 3...4.. meses.
Coloquei a questão aqui na lista por saber que a comunidade utiliza toda
sorte de SO. Caso alguém tenha passado por problema semelhante, isso
ajudaria. O Artur Nascimento deu um caminho, vamos investigar e testar.
>
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 21:10 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 00:38 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 12:09 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
@ 2020-06-03 13:20 ` Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-03 14:40 ` Re: Postgres e CentOS 8 Itamar Reis Peixoto <itamar@ispbrasil.com.br>
1 sibling, 1 reply; 21+ messages in thread
From: Vitor Hugo @ 2020-06-03 13:20 UTC (permalink / raw)
To: pgsql-pt-geral@lists.postgresql.org
Isto não pode ajudar muito mas voce pode colocar um script para rodar um
reboot automático quando a CPU chegar a certa porcentagem.
Acredito que sem os logs e parametros solicitadas será quase impossível
ajudar.
Em 03/06/2020 09:09, André Ormenese escreveu:
> Em ter., 2 de jun. de 2020 às 21:40, Ranier Vilela <ranier.vf@gmail.com>
> escreveu:
>
>> Em seg., 1 de jun. de 2020 às 18:10, André Ormenese <aormenese@gmail.com>
>> escreveu:
>>
>>>
>>>
>>>
>>> Em seg., 1 de jun. de 2020 às 16:58, Leandro Guimarães Faria Corcete
>>> DUTRA <l@dutras.org> escreveu:
>>>
>>>> Le lundi 01 juin 2020 à 12:58 -0300, André Ormenese a écrit :
>>>>> Vou responder os questionamentos todos aqui ....
>>>> Mas não foi o que fizeste, explico.
>>>>
>>>>
>>>>> Como é uma máquina de produção, já fiz o reboot, então não tenho como
>>>>> enviar top, htop e demais comandos.
>>>> Sugiro deixar um [h]top ao menos rodando para capturar o problema.
>>>>
>>> Ok !!!
>>>
>>>>
>>>>> Reiniciar o serviço do Postgres resolve por pouco tempo. Mesmo
>>>>> fazendo isso o uso de CPU não volta aos padrões de utilização da
>>>>> máquina, e logo em seguida sobe acima dos 80%.
>>>> O que indicaria um problema do CentOS. Só para descartar um eventual
>>>> problema do núcleo do sistema, eu sugeriria um telinit 1 da próxima
>>>> vez
>>> Ok !!!
>>>
>>>> .
>>>>
>>>>
>>>>> Os processos que aumentam o consumo da CPU, são processos do
>>>>> Postgres, que acabam demorando muito para rodar e vão se acumulando.
>>>> ¿Mas quais?
>>>>
>>> Processos gerados quando se executa um select. Como esse abaixo gerado
>>> através de um select no pgadmin.
>>>
>>> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+
>>> COMMAND
>>> 24913 postgres 20 0 20,5g 234108 231492 R 60,9 0,4 0:13.07
>>> postmaster
>>>
>>> Mas não é só o banco que fica lento. A máquina como um todo, senta.
>>>
>> Não sei ao certo, mas me parece um problema de bloqueio pendente (race
>> condition)?
>> Teria como você fazer um EXPLAIN da (s) queries que estão travadas?
>> e postar?
>>
> Ranier,
> obrigado pela atenção, mas o problema não está diretamente no banco, e sim
> no conjunto da obra.
>
> As queries (todas) rodam sem problemas quando a máquina está ok. E ela fica
> ok por 3...4.. meses.
>
> Coloquei a questão aqui na lista por saber que a comunidade utiliza toda
> sorte de SO. Caso alguém tenha passado por problema semelhante, isso
> ajudaria. O Artur Nascimento deu um caminho, vamos investigar e testar.
>
>
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 21:10 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 00:38 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 12:09 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 13:20 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
@ 2020-06-03 14:40 ` Itamar Reis Peixoto <itamar@ispbrasil.com.br>
2020-06-03 19:39 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
0 siblings, 1 reply; 21+ messages in thread
From: Itamar Reis Peixoto @ 2020-06-03 14:40 UTC (permalink / raw)
To: Vitor Hugo <vitorhugo60@hotmail.com>; +Cc: pgsql-pt-geral@lists.postgresql.org
On 2020-06-03 10:20 AM, Vitor Hugo wrote:
> Isto não pode ajudar muito mas voce pode colocar um script para rodar
> um reboot automático quando a CPU chegar a certa porcentagem.
>
em todas as máquinas fedora / centos que administro, elas chegam a ficar
mais de ano sem serem reiniciadas.
o pacote do postgresql e o kernel do centos são muito bem empacotados,
tenho certeza absoluta que deve estar faltando algum ajuste por ai.
seja aplicação mal desenvolvida ou tunning do banco de dados ou do
proprio postgresql.
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 21:10 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 00:38 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 12:09 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 13:20 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-03 14:40 ` Re: Postgres e CentOS 8 Itamar Reis Peixoto <itamar@ispbrasil.com.br>
@ 2020-06-03 19:39 ` Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
0 siblings, 0 replies; 21+ messages in thread
From: Leandro Guimarães Faria Corcete DUTRA @ 2020-06-03 19:39 UTC (permalink / raw)
To: Itamar Reis Peixoto <itamar@ispbrasil.com.br>; Vitor Hugo <vitorhugo60@hotmail.com>; +Cc: pgsql-pt-geral@lists.postgresql.org
Le mercredi 03 juin 2020 à 11:40 -0300, Itamar Reis Peixoto a écrit :
> em todas as máquinas fedora / centos que administro, elas chegam a
> ficar mais de ano sem serem reiniciadas.
O normal para o Debian estável seriam cinco anos ou mais.
> o pacote do postgresql e o kernel do centos são muito bem
> empacotados,
Vero. Que me lembre, o CentOS chega a corrigir problemas do Red Hat,
embora nenhum deles chegue à estabilidade dum Debian ou BSD. Mas há
outros problemas possíveis, por exemplo na máquina em si ou no suporte
do sistema a determinados componentes dela.
--
+55 (61) 3546 7191 gTalk: xmpp:leandrod@jabber.org
+55 (61) 99302 2691 http://en.dutras.org/
BRAZIL GMT−3
https://useplaintext.email/#why-plaintext
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 21:10 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 00:38 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 12:09 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
@ 2020-06-03 13:21 ` Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 14:33 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
1 sibling, 1 reply; 21+ messages in thread
From: Ranier Vilela @ 2020-06-03 13:21 UTC (permalink / raw)
To: André Ormenese <aormenese@gmail.com>; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Em qua., 3 de jun. de 2020 às 09:10, André Ormenese <aormenese@gmail.com>
escreveu:
>
>
> Em ter., 2 de jun. de 2020 às 21:40, Ranier Vilela <ranier.vf@gmail.com>
> escreveu:
>
>> Em seg., 1 de jun. de 2020 às 18:10, André Ormenese <aormenese@gmail.com>
>> escreveu:
>>
>>>
>>>
>>>
>>>
>>> Em seg., 1 de jun. de 2020 às 16:58, Leandro Guimarães Faria Corcete
>>> DUTRA <l@dutras.org> escreveu:
>>>
>>>> Le lundi 01 juin 2020 à 12:58 -0300, André Ormenese a écrit :
>>>> > Vou responder os questionamentos todos aqui ....
>>>>
>>>> Mas não foi o que fizeste, explico.
>>>>
>>>>
>>>> > Como é uma máquina de produção, já fiz o reboot, então não tenho como
>>>> > enviar top, htop e demais comandos.
>>>>
>>>> Sugiro deixar um [h]top ao menos rodando para capturar o problema.
>>>>
>>> Ok !!!
>>>
>>>>
>>>>
>>>> > Reiniciar o serviço do Postgres resolve por pouco tempo. Mesmo
>>>> > fazendo isso o uso de CPU não volta aos padrões de utilização da
>>>> > máquina, e logo em seguida sobe acima dos 80%.
>>>>
>>>> O que indicaria um problema do CentOS. Só para descartar um eventual
>>>> problema do núcleo do sistema, eu sugeriria um telinit 1 da próxima
>>>> vez
>>>
>>> Ok !!!
>>>
>>>> .
>>>>
>>>>
>>>> > Os processos que aumentam o consumo da CPU, são processos do
>>>> > Postgres, que acabam demorando muito para rodar e vão se acumulando.
>>>>
>>>> ¿Mas quais?
>>>>
>>> Processos gerados quando se executa um select. Como esse abaixo gerado
>>> através de um select no pgadmin.
>>>
>>> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+
>>> COMMAND
>>> 24913 postgres 20 0 20,5g 234108 231492 R 60,9 0,4 0:13.07
>>> postmaster
>>>
>>> Mas não é só o banco que fica lento. A máquina como um todo, senta.
>>>
>> Não sei ao certo, mas me parece um problema de bloqueio pendente (race
>> condition)?
>> Teria como você fazer um EXPLAIN da (s) queries que estão travadas?
>> e postar?
>>
>
> Ranier,
> obrigado pela atenção, mas o problema não está diretamente no banco, e sim
> no conjunto da obra.
>
> As queries (todas) rodam sem problemas quando a máquina está ok. E ela
> fica ok por 3...4.. meses.
>
Eu entendi, que o problema ocorre após algum tempo. E pelo que você
reportou, o problema é o Postgres.
Então, algo acontece na máquina, que provoca o problema.
Como disse o colega, são inúmeros os problemas que podem estar acontecendo.
Alguns tolos, outros mais sérios e difíceis de descobrir.
Como por exemplo, o Postgres pode estar indo pro disco, por algum motivo.
Então quando a máquina estiver lenta, seria o caso de se investigar com
explain, para tentar
verificar o que está acontecendo.
Existe também, algumas instruções sql, que podem ser usadas para se
recuperar informações
das estruturas internas do banco, que poderiam ajudar.
Ranier Vilela
>
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 21:10 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 00:38 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 12:09 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 13:21 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
@ 2020-06-03 14:33 ` André Ormenese <aormenese@gmail.com>
2020-06-03 14:45 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
0 siblings, 1 reply; 21+ messages in thread
From: André Ormenese @ 2020-06-03 14:33 UTC (permalink / raw)
To: Ranier Vilela <ranier.vf@gmail.com>; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Em qua., 3 de jun. de 2020 às 10:22, Ranier Vilela <ranier.vf@gmail.com>
escreveu:
> Em qua., 3 de jun. de 2020 às 09:10, André Ormenese <aormenese@gmail.com>
> escreveu:
>
>>
>>
>> Em ter., 2 de jun. de 2020 às 21:40, Ranier Vilela <ranier.vf@gmail.com>
>> escreveu:
>>
>>> Em seg., 1 de jun. de 2020 às 18:10, André Ormenese <aormenese@gmail.com>
>>> escreveu:
>>>
>>>>
>>>>
>>>>
>>>>
>>>> Em seg., 1 de jun. de 2020 às 16:58, Leandro Guimarães Faria Corcete
>>>> DUTRA <l@dutras.org> escreveu:
>>>>
>>>>> Le lundi 01 juin 2020 à 12:58 -0300, André Ormenese a écrit :
>>>>> > Vou responder os questionamentos todos aqui ....
>>>>>
>>>>> Mas não foi o que fizeste, explico.
>>>>>
>>>>>
>>>>> > Como é uma máquina de produção, já fiz o reboot, então não tenho como
>>>>> > enviar top, htop e demais comandos.
>>>>>
>>>>> Sugiro deixar um [h]top ao menos rodando para capturar o problema.
>>>>>
>>>> Ok !!!
>>>>
>>>>>
>>>>>
>>>>> > Reiniciar o serviço do Postgres resolve por pouco tempo. Mesmo
>>>>> > fazendo isso o uso de CPU não volta aos padrões de utilização da
>>>>> > máquina, e logo em seguida sobe acima dos 80%.
>>>>>
>>>>> O que indicaria um problema do CentOS. Só para descartar um eventual
>>>>> problema do núcleo do sistema, eu sugeriria um telinit 1 da próxima
>>>>> vez
>>>>
>>>> Ok !!!
>>>>
>>>>> .
>>>>>
>>>>>
>>>>> > Os processos que aumentam o consumo da CPU, são processos do
>>>>> > Postgres, que acabam demorando muito para rodar e vão se acumulando.
>>>>>
>>>>> ¿Mas quais?
>>>>>
>>>> Processos gerados quando se executa um select. Como esse abaixo gerado
>>>> através de um select no pgadmin.
>>>>
>>>> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+
>>>> COMMAND
>>>> 24913 postgres 20 0 20,5g 234108 231492 R 60,9 0,4 0:13.07
>>>> postmaster
>>>>
>>>> Mas não é só o banco que fica lento. A máquina como um todo, senta.
>>>>
>>> Não sei ao certo, mas me parece um problema de bloqueio pendente (race
>>> condition)?
>>> Teria como você fazer um EXPLAIN da (s) queries que estão travadas?
>>> e postar?
>>>
>>
>> Ranier,
>> obrigado pela atenção, mas o problema não está diretamente no banco, e
>> sim no conjunto da obra.
>>
>> As queries (todas) rodam sem problemas quando a máquina está ok. E ela
>> fica ok por 3...4.. meses.
>>
> Eu entendi, que o problema ocorre após algum tempo. E pelo que você
> reportou, o problema é o Postgres.
> Então, algo acontece na máquina, que provoca o problema.
> Como disse o colega, são inúmeros os problemas que podem estar acontecendo.
> Alguns tolos, outros mais sérios e difíceis de descobrir.
> Como por exemplo, o Postgres pode estar indo pro disco, por algum motivo.
> Então quando a máquina estiver lenta, seria o caso de se investigar com
> explain, para tentar
> verificar o que está acontecendo.
> Existe também, algumas instruções sql, que podem ser usadas para se
> recuperar informações
> das estruturas internas do banco, que poderiam ajudar.
>
> Ranier Vilela
>
Pessoal, eu entendo a necessidade das informações do estado da máquina no
momento que o problema está acontecendo, porém este cluster suporta
sistemas médicos de alta criticidade, 24 x 7, por isso tentei solucionar o
problema o mais rápido possível, e a coleta de informações ficou
prejudicada.
Vou deixar alguns scripts prontos para disparar quando o problema acontecer
novamente.
Agradeço a ajuda de todos !!!
Ranier, quais informações da estrutura interna do banco seriam
interessantes recuperar ?
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 21:10 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 00:38 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 12:09 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 13:21 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 14:33 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
@ 2020-06-03 14:45 ` Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 21:51 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
0 siblings, 1 reply; 21+ messages in thread
From: Ranier Vilela @ 2020-06-03 14:45 UTC (permalink / raw)
To: André Ormenese <aormenese@gmail.com>; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Em qua., 3 de jun. de 2020 às 11:34, André Ormenese <aormenese@gmail.com>
escreveu:
>
> Em qua., 3 de jun. de 2020 às 10:22, Ranier Vilela <ranier.vf@gmail.com>
> escreveu:
>
>> Em qua., 3 de jun. de 2020 às 09:10, André Ormenese <aormenese@gmail.com>
>> escreveu:
>>
>>>
>>>
>>> Em ter., 2 de jun. de 2020 às 21:40, Ranier Vilela <ranier.vf@gmail.com>
>>> escreveu:
>>>
>>>> Em seg., 1 de jun. de 2020 às 18:10, André Ormenese <
>>>> aormenese@gmail.com> escreveu:
>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>> Em seg., 1 de jun. de 2020 às 16:58, Leandro Guimarães Faria Corcete
>>>>> DUTRA <l@dutras.org> escreveu:
>>>>>
>>>>>> Le lundi 01 juin 2020 à 12:58 -0300, André Ormenese a écrit :
>>>>>> > Vou responder os questionamentos todos aqui ....
>>>>>>
>>>>>> Mas não foi o que fizeste, explico.
>>>>>>
>>>>>>
>>>>>> > Como é uma máquina de produção, já fiz o reboot, então não tenho
>>>>>> como
>>>>>> > enviar top, htop e demais comandos.
>>>>>>
>>>>>> Sugiro deixar um [h]top ao menos rodando para capturar o problema.
>>>>>>
>>>>> Ok !!!
>>>>>
>>>>>>
>>>>>>
>>>>>> > Reiniciar o serviço do Postgres resolve por pouco tempo. Mesmo
>>>>>> > fazendo isso o uso de CPU não volta aos padrões de utilização da
>>>>>> > máquina, e logo em seguida sobe acima dos 80%.
>>>>>>
>>>>>> O que indicaria um problema do CentOS. Só para descartar um eventual
>>>>>> problema do núcleo do sistema, eu sugeriria um telinit 1 da próxima
>>>>>> vez
>>>>>
>>>>> Ok !!!
>>>>>
>>>>>> .
>>>>>>
>>>>>>
>>>>>> > Os processos que aumentam o consumo da CPU, são processos do
>>>>>> > Postgres, que acabam demorando muito para rodar e vão se acumulando.
>>>>>>
>>>>>> ¿Mas quais?
>>>>>>
>>>>> Processos gerados quando se executa um select. Como esse abaixo gerado
>>>>> através de um select no pgadmin.
>>>>>
>>>>> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+
>>>>> COMMAND
>>>>> 24913 postgres 20 0 20,5g 234108 231492 R 60,9 0,4 0:13.07
>>>>> postmaster
>>>>>
>>>>> Mas não é só o banco que fica lento. A máquina como um todo, senta.
>>>>>
>>>> Não sei ao certo, mas me parece um problema de bloqueio pendente (race
>>>> condition)?
>>>> Teria como você fazer um EXPLAIN da (s) queries que estão travadas?
>>>> e postar?
>>>>
>>>
>>> Ranier,
>>> obrigado pela atenção, mas o problema não está diretamente no banco, e
>>> sim no conjunto da obra.
>>>
>>> As queries (todas) rodam sem problemas quando a máquina está ok. E ela
>>> fica ok por 3...4.. meses.
>>>
>> Eu entendi, que o problema ocorre após algum tempo. E pelo que você
>> reportou, o problema é o Postgres.
>> Então, algo acontece na máquina, que provoca o problema.
>> Como disse o colega, são inúmeros os problemas que podem estar
>> acontecendo.
>> Alguns tolos, outros mais sérios e difíceis de descobrir.
>> Como por exemplo, o Postgres pode estar indo pro disco, por algum motivo.
>> Então quando a máquina estiver lenta, seria o caso de se investigar com
>> explain, para tentar
>> verificar o que está acontecendo.
>> Existe também, algumas instruções sql, que podem ser usadas para se
>> recuperar informações
>> das estruturas internas do banco, que poderiam ajudar.
>>
>> Ranier Vilela
>>
>
> Pessoal, eu entendo a necessidade das informações do estado da máquina no
> momento que o problema está acontecendo, porém este cluster suporta
> sistemas médicos de alta criticidade, 24 x 7, por isso tentei solucionar o
> problema o mais rápido possível, e a coleta de informações ficou
> prejudicada.
>
> Vou deixar alguns scripts prontos para disparar quando o problema
> acontecer novamente.
>
> Agradeço a ajuda de todos !!!
>
> Ranier, quais informações da estrutura interna do banco seriam
> interessantes recuperar ?
>
Principalmente as informações relacionadas aos status dos "locks", não
tenho tais sqls, fácil nesse momento,
mas nas minhas pesquisas já me deparei com algumas.
Postgres registra várias status em tabelas internas, que podem ser
recuperadas por meio de selects.
Ranier Vilela
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 21:10 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 00:38 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 12:09 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 13:21 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 14:33 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-03 14:45 ` Re: Postgres e CentOS 8 Ranier Vilela <ranier.vf@gmail.com>
@ 2020-06-03 21:51 ` Ranier Vilela <ranier.vf@gmail.com>
0 siblings, 0 replies; 21+ messages in thread
From: Ranier Vilela @ 2020-06-03 21:51 UTC (permalink / raw)
To: André Ormenese <aormenese@gmail.com>; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Em qua., 3 de jun. de 2020 às 11:45, Ranier Vilela <ranier.vf@gmail.com>
escreveu:
> Em qua., 3 de jun. de 2020 às 11:34, André Ormenese <aormenese@gmail.com>
> escreveu:
>
>>
>> Em qua., 3 de jun. de 2020 às 10:22, Ranier Vilela <ranier.vf@gmail.com>
>> escreveu:
>>
>>> Em qua., 3 de jun. de 2020 às 09:10, André Ormenese <aormenese@gmail.com>
>>> escreveu:
>>>
>>>>
>>>>
>>>> Em ter., 2 de jun. de 2020 às 21:40, Ranier Vilela <ranier.vf@gmail.com>
>>>> escreveu:
>>>>
>>>>> Em seg., 1 de jun. de 2020 às 18:10, André Ormenese <
>>>>> aormenese@gmail.com> escreveu:
>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>> Em seg., 1 de jun. de 2020 às 16:58, Leandro Guimarães Faria Corcete
>>>>>> DUTRA <l@dutras.org> escreveu:
>>>>>>
>>>>>>> Le lundi 01 juin 2020 à 12:58 -0300, André Ormenese a écrit :
>>>>>>> > Vou responder os questionamentos todos aqui ....
>>>>>>>
>>>>>>> Mas não foi o que fizeste, explico.
>>>>>>>
>>>>>>>
>>>>>>> > Como é uma máquina de produção, já fiz o reboot, então não tenho
>>>>>>> como
>>>>>>> > enviar top, htop e demais comandos.
>>>>>>>
>>>>>>> Sugiro deixar um [h]top ao menos rodando para capturar o problema.
>>>>>>>
>>>>>> Ok !!!
>>>>>>
>>>>>>>
>>>>>>>
>>>>>>> > Reiniciar o serviço do Postgres resolve por pouco tempo. Mesmo
>>>>>>> > fazendo isso o uso de CPU não volta aos padrões de utilização da
>>>>>>> > máquina, e logo em seguida sobe acima dos 80%.
>>>>>>>
>>>>>>> O que indicaria um problema do CentOS. Só para descartar um eventual
>>>>>>> problema do núcleo do sistema, eu sugeriria um telinit 1 da próxima
>>>>>>> vez
>>>>>>
>>>>>> Ok !!!
>>>>>>
>>>>>>> .
>>>>>>>
>>>>>>>
>>>>>>> > Os processos que aumentam o consumo da CPU, são processos do
>>>>>>> > Postgres, que acabam demorando muito para rodar e vão se
>>>>>>> acumulando.
>>>>>>>
>>>>>>> ¿Mas quais?
>>>>>>>
>>>>>> Processos gerados quando se executa um select. Como esse abaixo
>>>>>> gerado através de um select no pgadmin.
>>>>>>
>>>>>> PID USER PR NI VIRT RES SHR S %CPU %MEM
>>>>>> TIME+ COMMAND
>>>>>> 24913 postgres 20 0 20,5g 234108 231492 R 60,9 0,4 0:13.07
>>>>>> postmaster
>>>>>>
>>>>>> Mas não é só o banco que fica lento. A máquina como um todo, senta.
>>>>>>
>>>>> Não sei ao certo, mas me parece um problema de bloqueio pendente (race
>>>>> condition)?
>>>>> Teria como você fazer um EXPLAIN da (s) queries que estão travadas?
>>>>> e postar?
>>>>>
>>>>
>>>> Ranier,
>>>> obrigado pela atenção, mas o problema não está diretamente no banco, e
>>>> sim no conjunto da obra.
>>>>
>>>> As queries (todas) rodam sem problemas quando a máquina está ok. E ela
>>>> fica ok por 3...4.. meses.
>>>>
>>> Eu entendi, que o problema ocorre após algum tempo. E pelo que você
>>> reportou, o problema é o Postgres.
>>> Então, algo acontece na máquina, que provoca o problema.
>>> Como disse o colega, são inúmeros os problemas que podem estar
>>> acontecendo.
>>> Alguns tolos, outros mais sérios e difíceis de descobrir.
>>> Como por exemplo, o Postgres pode estar indo pro disco, por algum motivo.
>>> Então quando a máquina estiver lenta, seria o caso de se investigar com
>>> explain, para tentar
>>> verificar o que está acontecendo.
>>> Existe também, algumas instruções sql, que podem ser usadas para se
>>> recuperar informações
>>> das estruturas internas do banco, que poderiam ajudar.
>>>
>>> Ranier Vilela
>>>
>>
>> Pessoal, eu entendo a necessidade das informações do estado da máquina no
>> momento que o problema está acontecendo, porém este cluster suporta
>> sistemas médicos de alta criticidade, 24 x 7, por isso tentei solucionar o
>> problema o mais rápido possível, e a coleta de informações ficou
>> prejudicada.
>>
>> Vou deixar alguns scripts prontos para disparar quando o problema
>> acontecer novamente.
>>
>> Agradeço a ajuda de todos !!!
>>
>> Ranier, quais informações da estrutura interna do banco seriam
>> interessantes recuperar ?
>>
> Principalmente as informações relacionadas aos status dos "locks", não
> tenho tais sqls, fácil nesse momento,
> mas nas minhas pesquisas já me deparei com algumas.
> Postgres registra várias status em tabelas internas, que podem ser
> recuperadas por meio de selects.
>
Aqui está um exemplo, dos recursos que o Postgres têm que podem ajudá-lo a
investigar a causa da lentidão.
1. pg_safe_snapshot_blocking_pids(int)
https://www.postgresql.org/docs/12/functions-info.html
2. https://wiki.postgresql.org/wiki/Lock_Monitoring
3. https://wiki.postgresql.org/wiki/Monitoring
4. https://wiki.postgresql.org/wiki/Show_database_bloat
Vaccum também pode "sentar" servidor, ao ser executado fora de hora.
Ranier Vilela
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:48 ` Re: Postgres e CentOS 8 Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Re: Postgres e CentOS 8 Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 21:10 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
@ 2020-06-03 02:27 ` Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
1 sibling, 0 replies; 21+ messages in thread
From: Leandro Guimarães Faria Corcete DUTRA @ 2020-06-03 02:27 UTC (permalink / raw)
To: André Ormenese <aormenese@gmail.com>; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Le lundi 01 juin 2020 à 18:10 -0300, André Ormenese a écrit :
> Estamos padronizando os servidores em CentOS por conta de algumas
> facilidades de instalação/administração de certos sistemas
> (ElastisSearch, é um deles), e também na velocidade de atualização do
> ports do FreeBSD. Fiz a migração meio a contra gosto, mas fui
> convencido pelo tempo de atualização das aplicações do ports.
Caramba, que estranho. Tiro no pé, por vários motivos. Nem tanto
por deixar o BSD — Debian e derivados também é boa pedida — mas por
escolher o CentOS, um mero /clone/ do RHES.
> Porque é o padrão adotado pela Universidade onde trabalho. Mantemos
> o mesmo padrão por conta de compatibilidade e suporte (interno, na
> universidade).
Uma universidade adotar o CentOS é meio que uma contradição em
termos. Leia _On Java universities_, do Joel Spolsky.
--
/¯\ skype:leandro.gfc.dutra?chat Yahoo!: ymsgr:sendIM?lgcdutra
\ / +55 (61) 3546 7191 xmpp:leandrod@jabber.org
X +55 (61) 99302 2691 ICQ/AIM: aim:GoIM?screenname=61287803
/ \ BRAZIL GMT−3 https://useplaintext.email/#why-plaintext
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
@ 2020-06-01 18:57 ` Arthur Nascimento <tureba@gmail.com>
2020-06-03 12:02 ` Re: Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
5 siblings, 1 reply; 21+ messages in thread
From: Arthur Nascimento @ 2020-06-01 18:57 UTC (permalink / raw)
To: André Ormenese <aormenese@gmail.com>; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Oi,
On Mon, 1 Jun 2020 at 10:36, André Ormenese <aormenese@gmail.com> wrote:
> Estou com o PostgreSQL 12.2 instalado em CentOS 8.
> Por acaso alguém utiliza o CentOS 8, e já teve esse tipo de problema?
Comece garantindo que Transparent Huge Pages (THP) está desabilitado.
Apesar de ter uma infinidade de possíveis causas para alto uso de CPU,
esse é um ponto importante em Centos/RHEL e que causa exatamente esse
sintoma (alto uso de CPU, baixo desempenho geral).
Obs.: Isso não é o mesmo que Huge Pages. Sem entrar em detalhes, mas
lembre que THP é ruim e Huge Pages é bom.
Tureba - Arthur Nascimento
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 18:57 ` Re: Postgres e CentOS 8 Arthur Nascimento <tureba@gmail.com>
@ 2020-06-03 12:02 ` André Ormenese <aormenese@gmail.com>
0 siblings, 0 replies; 21+ messages in thread
From: André Ormenese @ 2020-06-03 12:02 UTC (permalink / raw)
To: Arthur Nascimento <tureba@gmail.com>; +Cc: Comunidade PostgreSQL Brasileira <pgsql-pt-geral@lists.postgresql.org>
Em seg., 1 de jun. de 2020 às 15:57, Arthur Nascimento <tureba@gmail.com>
escreveu:
> Oi,
>
> On Mon, 1 Jun 2020 at 10:36, André Ormenese <aormenese@gmail.com> wrote:
> > Estou com o PostgreSQL 12.2 instalado em CentOS 8.
> > Por acaso alguém utiliza o CentOS 8, e já teve esse tipo de problema?
>
> Comece garantindo que Transparent Huge Pages (THP) está desabilitado.
> Apesar de ter uma infinidade de possíveis causas para alto uso de CPU,
> esse é um ponto importante em Centos/RHEL e que causa exatamente esse
> sintoma (alto uso de CPU, baixo desempenho geral).
>
> Obs.: Isso não é o mesmo que Huge Pages. Sem entrar em detalhes, mas
> lembre que THP é ruim e Huge Pages é bom.
>
Artur,
obrigado pela dica.
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
@ 2020-06-09 16:13 ` Vitor Hugo <vitorhugo60@hotmail.com>
5 siblings, 0 replies; 21+ messages in thread
From: Vitor Hugo @ 2020-06-09 16:13 UTC (permalink / raw)
To: pgsql-pt-geral@lists.postgresql.org
Qual o File System que esta utilizando no CentOS?
Em 01/06/2020 10:35, André Ormenese escreveu:
> Bom dia pessoal.
>
> Estou com o PostgreSQL 12.2 instalado em CentOS 8.
>
> Não é muito frequente, mas muito preocupante, que de tempos em tempos, mais
> ou menos a cada 3 meses, meu hardware fica com alto índice de utilização de
> CPU. Acima de 80%, e consequentemente o banco vira uma carroça de roda
> quadrada.
>
> Já tentei apagar os processos do banco (select´s) que estão retidos e
> demorando muito para serem concluídos, mas não resolve, a máquina continua
> lenta. Só consigo resolver o problema dando reboot na máquina.
>
> Por acaso alguém utiliza o CentOS 8, e já teve esse tipo de problema?
>
> Obrigado,
> André
>
>
>
> *Minhas figuras favoritas do folclore brasileiro são a democracia e o
> estado laico.*
>
^ permalink raw reply [nested|flat] 21+ messages in thread
* Re: Postgres e CentOS 8
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
@ 2020-06-09 17:06 ` Vitor Hugo <vitorhugo60@hotmail.com>
5 siblings, 0 replies; 21+ messages in thread
From: Vitor Hugo @ 2020-06-09 17:06 UTC (permalink / raw)
To: pgsql-pt-geral@lists.postgresql.org
Boa tarde;
Talvez o tipo de sistema de arquivo esteja interferindo na performance
do PostgreSQL, tente fazer uns testes com uma instalação do CentOS com
filesystem ZFS e BTRFS.
Em 01/06/2020 10:35, André Ormenese escreveu:
> Bom dia pessoal.
>
> Estou com o PostgreSQL 12.2 instalado em CentOS 8.
>
> Não é muito frequente, mas muito preocupante, que de tempos em tempos, mais
> ou menos a cada 3 meses, meu hardware fica com alto índice de utilização de
> CPU. Acima de 80%, e consequentemente o banco vira uma carroça de roda
> quadrada.
>
> Já tentei apagar os processos do banco (select´s) que estão retidos e
> demorando muito para serem concluídos, mas não resolve, a máquina continua
> lenta. Só consigo resolver o problema dando reboot na máquina.
>
> Por acaso alguém utiliza o CentOS 8, e já teve esse tipo de problema?
>
> Obrigado,
> André
>
>
>
> *Minhas figuras favoritas do folclore brasileiro são a democracia e o
> estado laico.*
>
^ permalink raw reply [nested|flat] 21+ messages in thread
end of thread, other threads:[~2020-06-09 17:06 UTC | newest]
Thread overview: 21+ messages (download: mbox mbox.gz follow: Atom feed)
-- links below jump to the message on this page --
2020-06-01 13:35 Postgres e CentOS 8 André Ormenese <aormenese@gmail.com>
2020-06-01 14:28 ` Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 14:28 ` Carlos Adean <carlosadean@linea.gov.br>
2020-06-01 14:48 ` Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-01 15:58 ` André Ormenese <aormenese@gmail.com>
2020-06-01 19:58 ` Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 21:10 ` André Ormenese <aormenese@gmail.com>
2020-06-03 00:38 ` Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 12:09 ` André Ormenese <aormenese@gmail.com>
2020-06-03 13:20 ` Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-03 14:40 ` Itamar Reis Peixoto <itamar@ispbrasil.com.br>
2020-06-03 19:39 ` Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-03 13:21 ` Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 14:33 ` André Ormenese <aormenese@gmail.com>
2020-06-03 14:45 ` Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 21:51 ` Ranier Vilela <ranier.vf@gmail.com>
2020-06-03 02:27 ` Leandro Guimarães Faria Corcete DUTRA <l@dutras.org>
2020-06-01 18:57 ` Arthur Nascimento <tureba@gmail.com>
2020-06-03 12:02 ` André Ormenese <aormenese@gmail.com>
2020-06-09 16:13 ` Vitor Hugo <vitorhugo60@hotmail.com>
2020-06-09 17:06 ` Vitor Hugo <vitorhugo60@hotmail.com>
This inbox is served by DDX for PostgreSQL; see mirroring instructions
for how to clone and mirror all data and code used for this inbox