Message-ID: <519BD32F.8040201@audifarma.com.co>
Date: Tue, 21 May 2013 15:03:59 -0500
From: Jeison Bedoya <jeisonb@audifarma.com.co>
User-Agent: Mozilla/5.0 (Windows NT 6.1;
	rv:17.0) Gecko/20130509 Thunderbird/17.0.6
MIME-Version: 1.0
To: pgsql-performance@postgresql.org
Subject: Re: performance database for backup/restore
References: <519B743F.7040407@audifarma.com.co>
	<CAMkU=1zo9vtmm6X5XQxwDXPppzZnfxrc-eW3FHxS0WpcUzPX3g@mail.gmail.com>
In-Reply-To: 
 <CAMkU=1zo9vtmm6X5XQxwDXPppzZnfxrc-eW3FHxS0WpcUzPX3g@mail.gmail.com>
Content-Type: multipart/alternative;
	boundary="------------080308060403070005090704"
Precedence: bulk
Sender: pgsql-performance-owner@postgresql.org

This is a multi-part message in MIME format.
--------------080308060403070005090704
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: 8bit

hi jeff thanks by your answer, when you say "database objects" you 
talking about the tables?, because i have 1782 tables in my database.

Umm, my boottleneck not is  on CPU because the top don´t show something 
about that, the memory is used 30%, and the IO not have problem, because 
the Fiber channel SAN have capacity of 8GB and tthe i/o transfer to the 
disk is no Upper to 1 GB.

can you explainme again how do you do a 6bg/min for pd_dump

thanks

Atentamente,


JEISON BEDOYA DELGADO
Adm. Servidores y Comunicaciones
AUDIFARMA S.A.

El 21/05/2013 11:11 a.m., Jeff Janes escribió:
> 2013/5/21 Jeison Bedoya <jeisonb@audifarma.com.co 
> <mailto:jeisonb@audifarma.com.co>>
>
>     Hi people, i have a database with 400GB running in a server with
>     128Gb RAM, and 32 cores, and storage over SAN with fiberchannel,
>     the problem is when i go to do a backup whit pg_dumpall take a lot
>     of 5 hours, next i do a restore and take a lot of 17 hours, that
>     is a normal time for that process in that machine? or i can do
>     something to optimize the process of backup/restore.
>
>
> How many database objects do you have?  A few large objects will dump 
> and restore faster than a huge number of smallish objects.
>
> Where is your bottleneck?  "top" should show you whether it is CPU or IO.
>
> I can pg_dump about 6GB/minute to /dev/null using all defaults with a 
> small number of large objects.
>
> Cheers,
>
> Jeff
>
> -- 
> NOTA VERDE:
> No imprima este correo
> a menos que sea absolutamente necesario.
> Ahorre papel, ayude a salvar un arbol.
>
> --------------------------------------------------------------------
> Este mensaje ha sido analizado por *MailScanner* 
> <http://www.mailscanner.info/>
> en busca de virus y otros contenidos peligrosos,
> y se considera que esta limpio.
>
> --------------------------------------------------------------------
> Este texto fue anadido por el servidor de correo de Audifarma S.A.:
>
> Las opiniones contenidas en este mensaje no necesariamente coinciden
> con las institucionales de Audifarma. La informacion y todos sus
> archivos Anexos, son confidenciales, privilegiados y solo pueden ser
> utilizados por sus destinatarios. Si por error usted recibe este
> mensaje, le ofrecemos disculpas, solicitamos eliminarlo de inmediato,
> notificarle de su error a la persona que lo envia y abstenerse de
> utilizar su contenido. 


--
NOTA VERDE:
No imprima este correo a menos que sea absolutamente necesario.
Ahorre papel, ayude a salvar un arbol.

--------------------------------------------------------------------
Este mensaje ha sido analizado por MailScanner
en busca de virus y otros contenidos peligrosos,
y se considera que esta limpio.

--------------------------------------------------------------------
Este texto fue anadido por el servidor de correo de Audifarma S.A.:

Las opiniones contenidas en este mensaje no necesariamente coinciden
con las institucionales de Audifarma. La informacion y todos sus
archivos Anexos, son confidenciales, privilegiados y solo pueden ser
utilizados por sus destinatarios. Si por error usted recibe este
mensaje, le ofrecemos disculpas, solicitamos eliminarlo de inmediato,
notificarle de su error a la persona que lo envio y abstenerse de
utilizar su contenido.


--------------080308060403070005090704
Content-Type: text/html; charset=ISO-8859-1
Content-Transfer-Encoding: 7bit

<html>
  <head>
    <meta content="text/html; charset=ISO-8859-1"
      http-equiv="Content-Type">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    <div class="moz-cite-prefix">hi jeff thanks by your answer, when you
      say "database objects" you talking about the tables?, because i
      have 1782 tables in my database.<br>
      <br>
      Umm, my boottleneck not is&nbsp; on CPU because the top don&acute;t show
      something about that, the memory is used 30%, and the IO not have
      problem, because the Fiber channel SAN have capacity of 8GB and
      tthe i/o transfer to the disk is no Upper to 1 GB.<br>
      <br>
      can you explainme again how do you do a 6bg/min for pd_dump <br>
      <br>
      thanks<br>
      <pre class="moz-signature" cols="72">Atentamente,


JEISON BEDOYA DELGADO
Adm. Servidores y Comunicaciones
AUDIFARMA S.A.</pre>
      El 21/05/2013 11:11 a.m., Jeff Janes escribi&oacute;:<br>
    </div>
    <blockquote
cite="mid:CAMkU=1zo9vtmm6X5XQxwDXPppzZnfxrc-eW3FHxS0WpcUzPX3g@mail.gmail.com"
      type="cite">
      <div dir="ltr">2013/5/21 Jeison Bedoya <span dir="ltr">&lt;<a
            moz-do-not-send="true"
            href="mailto:jeisonb@audifarma.com.co" target="_blank">jeisonb@audifarma.com.co</a>&gt;</span><br>
        <div class="gmail_extra">
          <div class="gmail_quote">
            <blockquote class="gmail_quote" style="margin:0 0 0
              .8ex;border-left:1px #ccc solid;padding-left:1ex">
              Hi people, i have a database with 400GB running in a
              server with 128Gb RAM, and 32 cores, and storage over SAN
              with fiberchannel, the problem is when i go to do a backup
              whit pg_dumpall take a lot of 5 hours, next i do a restore
              and take a lot of 17 hours, that is a normal time for that
              process in that machine? or i can do something to optimize
              the process of backup/restore.<br>
            </blockquote>
            <div><br>
            </div>
            <div style="">How many database objects do you have? &nbsp;A few
              large objects will dump and restore faster than a huge
              number of smallish objects.</div>
            <div style=""><br>
            </div>
            <div style="">Where is your bottleneck? &nbsp;"top" should show
              you whether it is CPU or IO.</div>
            <div style=""><br>
            </div>
            <div style="">I can pg_dump about 6GB/minute to /dev/null
              using all defaults with a small number of large objects.</div>
            <div><br>
            </div>
            <div style="">Cheers,</div>
            <div style=""><br>
            </div>
            <div style="">Jeff</div>
          </div>
        </div>
      </div>
      <br>
      --
      <br>
      <font color="green">NOTA VERDE</font>:
      <br>
      No imprima este correo
      <br>
      a menos que sea absolutamente necesario.
      <br>
      Ahorre papel, ayude a salvar un arbol.
      <br>
      <br>
--------------------------------------------------------------------
      <br>
      Este mensaje ha sido analizado por <a moz-do-not-send="true"
        href="http://www.mailscanner.info/"><b>MailScanner</b></a>
      <br>
      en busca de virus y otros contenidos peligrosos,
      <br>
      y se considera que esta limpio.
      <br>
      <br>
--------------------------------------------------------------------
      <br>
      Este texto fue anadido por el servidor de correo de Audifarma
      S.A.:
      <br>
      <br>
      Las opiniones contenidas en este mensaje no necesariamente
      coinciden
      <br>
      con las institucionales de Audifarma. La informacion y todos sus
      <br>
      archivos Anexos, son confidenciales, privilegiados y solo pueden
      ser
      <br>
      utilizados por sus destinatarios. Si por error usted recibe este
      <br>
      mensaje, le ofrecemos disculpas, solicitamos eliminarlo de
      inmediato,
      <br>
      notificarle de su error a la persona que lo envia y abstenerse de
      <br>
      utilizar su contenido.
    </blockquote>
    <br>
  <br />--
<br /><font color=green>NOTA VERDE</font>:
<br />No imprima este correo
<br /> a menos que sea absolutamente necesario.
<br />Ahorre papel, ayude a salvar un arbol.
<br />
<br />--------------------------------------------------------------------
<br />Este mensaje ha sido analizado por <a href="http://www.mailscanner.info/"><b>MailScanner</b></a>
<br />en busca de virus y otros contenidos peligrosos,
<br />y se considera que esta limpio.
<br />
<br />--------------------------------------------------------------------
<br />Este texto fue anadido por el servidor de correo de Audifarma S.A.:
<br />
<br />Las opiniones contenidas en este mensaje no necesariamente coinciden
<br />con las institucionales de Audifarma. La informacion y  todos sus
<br />archivos Anexos, son confidenciales, privilegiados y solo pueden ser
<br />utilizados por sus destinatarios. Si por error usted recibe este
<br />mensaje, le ofrecemos disculpas, solicitamos eliminarlo de inmediato,
<br />notificarle de su error a la persona que lo envia y abstenerse de
<br />utilizar su contenido.

</body>
</html>

--------------080308060403070005090704--