Received: from maia.hub.org (maia-2.hub.org [200.46.204.251]) by mail.postgresql.org (Postfix) with ESMTP id B7D1C63247B for ; Fri, 4 Jun 2010 05:09:59 -0300 (ADT) Received: from mail.postgresql.org ([200.46.204.86]) by maia.hub.org (mx1.hub.org [200.46.204.251]) (amavisd-maia, port 10024) with ESMTP id 96997-09 for ; Fri, 4 Jun 2010 08:09:51 +0000 (UTC) X-Greylist: from auto-whitelisted by SQLgrey-1.7.6 Received: from eu1sys200aog116.obsmtp.com (eu1sys200aog116.obsmtp.com [207.126.144.141]) by mail.postgresql.org (Postfix) with SMTP id E84906322B1 for ; Fri, 4 Jun 2010 05:09:50 -0300 (ADT) Received: from source ([209.85.219.228]) by eu1sys200aob116.postini.com ([207.126.147.11]) with SMTP ID DSNKTAi0zMlkgHRD2tvIaOkKrr5Fkvo2HbMV@postini.com; Fri, 04 Jun 2010 08:09:50 UTC Received: by ewy28 with SMTP id 28so262199ewy.18 for ; Fri, 04 Jun 2010 01:09:48 -0700 (PDT) Received: by 10.213.26.75 with SMTP id d11mr7679501ebc.90.1275638988404; Fri, 04 Jun 2010 01:09:48 -0700 (PDT) Received: from [172.31.31.66] ([193.173.172.45]) by mx.google.com with ESMTPS id 15sm556563ewy.4.2010.06.04.01.09.45 (version=SSLv3 cipher=RC4-MD5); Fri, 04 Jun 2010 01:09:47 -0700 (PDT) Message-ID: <4C08B4C5.60806@kensas.nl> Date: Fri, 04 Jun 2010 10:09:41 +0200 From: Ron Smeets User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.0; nl; rv:1.9.1.9) Gecko/20100317 Lightning/1.0b1 Thunderbird/3.0.4 MIME-Version: 1.0 To: pgsql-nl-algemeen@postgresql.org, ron.smeets@kensas.nl Subject: Re: Moet ik oppassen met wat ik index? References: <55edc4ade875e7d202da25aa99af67ad@xs4all.nl> <20100603105041.GC14254@monk.dh.sono> In-Reply-To: Content-Type: multipart/alternative; boundary="------------060508000403020008040609" X-Virus-Scanned: Maia Mailguard 1.0.1 X-Spam-Status: No, hits=-1.499 tagged_above=-10 required=5 tests=BAYES_50=0.8, HTML_MESSAGE=0.001, RCVD_IN_DNSWL_MED=-2.3 X-Spam-Level: X-Archive-Number: 201006/7 X-Sequence-Number: 43 This is a multi-part message in MIME format. --------------060508000403020008040609 Content-Type: text/plain; charset=ISO-8859-1 Content-Transfer-Encoding: 8bit Op 3-6-2010 19:53, Isaak schreef: > > Een index helpt het meest als hij alle velden bevat die in de > WHERE worden > gebruikt, op de manier waarop ze in de WHERE worden gebruikt. > Ga dus niet op elke kolom apart een index maken, maar verzamel > per index > een aantal kolommen die samen in een WHERE worden gebruikt. > > > Als ik het goed begrijp hebben multi-kolom indexen geen effect hebben > op SQL queries met WHERE clausules die niet gebruik maken van de meest > linkse index. Als dit zo is, moet ik wel een aparte index maken voor > elke veld die ik apart wil gebruiken in een WHERE clausule. > Het gaat erom dat je tenminste één where clause hebt die ervoor zorgt dat er een index gebruikt wordt en er voor zorgt dat het aantal resultaten zo snel mogelijk beperkt wordt. Ik neem aan dat je met de "meest linkse index" bedoelt : het eerste veld in de index. > Vb: Neem dat ik een index heb met volgende velden: naam, > naam_oorspronkelijk & auteur, dan zal een query zoals SELECT * FROM > boeken WHERE auteur = 'een naam'; niet gebruik maken van deze index, > omdat deze niet gebruik maakt van het veld "naam" in de WHERE clausule. > Klopt, omdat de index pas gebruikt gaat worden als je ook het veld "naam" gebruikt. > Als je geen PK hebt, hoe wijs jij dan aan welke records je wilt > verwijderen? > > > Gewoon door een ander veld te gebruiken en indien deze niet uniek is > een combinatie van velden. De tabel ter kwestie is een tabel die > acties van gebruikers opslaat, acties zoals "gebruiker bezoekt pagina > van boek x", of "gebruiker waardeert boek y". > > Ik houd me niet zo bezig met boeken maar ik weet dat het > computer-collectief en selecties er een paar hebben. > > > Ik ook niet meer tegenwoordig, moet ik eerlijk toegeven. Maar ik begin > het wat vervelend te vinden dat veel nuttige info op het internet > Engelstalige terminologieën bevatten. Hier verspil ik teveel tijd aan > om de betekenis ervan op te zoeken. > > Eerste wat bij mij opkomt is de vraag : is het nodig om tientallen > kolommen te hebben bij deze tabel, of kan er verder genormaliseerd > worden? > > Is het dan niet beter om zoveel mogelijk kolommen te maken die > toepasselijk zijn voor deze tabel? Waarom deze opsplitsen en gebruik > maken van lelijke JOINs? > Oeps... Normalisatie is de basis voor je modellering. Op basis van bijv. performance criteria of beheeroverwegingen kun je later weer denormaliseren. Maar dat dient altijd een bewuste ontwerpbeslissing te zijn. Bestudeer http://nl.wikipedia.org/wiki/Databasenormalisatie. > Kun je mij ook uitleggen wat je verstaat onder normalisatie? Ik ben > niet echt bekend met deze term. > > Verder inzake indexen : probeer niet te veel indexen aan te maken > op een > tabel. Elke extra index heeft impact op insert, update, delete > performance. Dit geldt voor ieder rdbms dus ook voor postgresql. > Je kunt > samengestelde indexen aanmaken, maar let daarbij op de volgorde van > velden in de index. Als je bijvoorbeeld een index aanmaakt op naam, > naam_oorspronkelijk, auteur en de where-clause van de query bevat > alleen > naam en auteur, dan wordt deze index niet gebruikt. > Dus het is zaak een overzicht te maken van alle belangrijke > where-clauses en daaruit af te leiden welke velden in aanmerking komen > voor indexering (al dan niet samengesteld). > > Ah, zoals boven vermeld dacht ik dat dit alleen toepasselijk was voor > de meest linkse indexen. Is het dan beter om samengestelde indexen > i.p.v. aparte te maken voor queries met meerdere WHERE clausules? > > Vb: SELECT * FROM boeken WHERE naam = 'postgresql' && auteur = > 'ikkeniet'; met een B-tree index dat bestaat uit naam & auteur of twee > aparte indexen van deze velden? Indien toch de eerste de beste manier > is biedt dit toch minder flexibiliteit dan twee aparte indexen? Dan > kan ik toch ook van deze indexen gebruik maken met queries die alleen > één van deze velden doorzoeken? > Klopt, maar in het onderhavige geval zou ik kiezen voor een samengestelde index. Dat betekent in de praktijk dat als je auteur gebruikt moet je ook naam gebruiken. Alles hangt natuurlijk af van wat de gewenste functionaliteit is van je applicatie. > Primaire sleutels zijn altijd een must, een index op een foreign > key is > ook altijd een must. > > > Bedoel je dan een index plaatsen op de velden waarvan de foreign keys > gebruik maken? Indien wel, dan is dit geen probleem want ik heb nog > geen enkele keer een foreign key moeten maken die niet gebruik maakt > van een PK van een tabel (en eerlijk gezegd heb ik gisteren pas leren > werken met foreign keys omdat ik dit altijd deed in pure PHP code). > > > Indien je werkt met een volledig vrije interface voor > eindgebruikers kun > je overwegen om een extra kolom toe te voegen van het type > ts_vector. In > deze kolom neem je dan alle relevante velden op. Deze kolom gebruik je > voor de zoekacties (dus moet er een index op). Zie : > http://www.postgresql.org/docs/8.4/static/textsearch.html. Hiermee kun > je op een eenvoudige wijze google-achtige zoekacties verwezenlijken. > > > Met het tsvector datatype heb ik helaas nog geen ervaring en ik > begrijp het hele concept ook nog niet zo goed. Indien ik zo'n kolom > zou aanmaken moet ik dan gewoon alle velden waarin gebruikers moeten > kunnen zoeken opslagen in deze kolom? Zal dit dan niet veel > ontoepasselijke resultaten opleveren als ik ook de beschrijvingen van > boeken in deze kolom opsla? Text search is een onderwerp dat je moet bestuderen. Je kunt inhoud van boeken, uitreksels, naam auteur, etc. allemaal opslaan in een apart text veld. Hierop kun je een index leggen. Zoeken wordt dan eenvoudig : binnen dit ene tekstveld. Je krijgt een google-achtige uitkomt met ranking van de resultaten. Groet, Ron Smeets Kensas bv --------------060508000403020008040609 Content-Type: text/html; charset=ISO-8859-1 Content-Transfer-Encoding: 7bit

Op 3-6-2010 19:53, Isaak schreef:

Een index helpt het meest als hij alle velden bevat die in de WHERE worden
gebruikt, op de manier waarop ze in de WHERE worden gebruikt.
Ga dus niet op elke kolom apart een index maken, maar verzamel per index
een aantal kolommen die samen in een WHERE worden gebruikt.

Als ik het goed begrijp hebben multi-kolom indexen geen effect hebben op SQL queries met WHERE clausules die niet gebruik maken van de meest linkse index. Als dit zo is, moet ik wel een aparte index maken voor elke veld die ik apart wil gebruiken in een WHERE clausule.

Het gaat erom dat je tenminste één where clause hebt die ervoor zorgt dat er een index gebruikt wordt en er voor zorgt dat het aantal resultaten zo snel mogelijk beperkt wordt. Ik neem aan dat je met de "meest linkse index" bedoelt : het eerste veld in de index.

Vb: Neem dat ik een index heb met volgende velden: naam, naam_oorspronkelijk & auteur, dan zal een query zoals SELECT * FROM boeken WHERE auteur = 'een naam'; niet gebruik maken van deze index, omdat deze niet gebruik maakt van het veld "naam" in de WHERE clausule.

Klopt, omdat de index pas gebruikt gaat worden als je ook het veld "naam" gebruikt.

Als je geen PK hebt, hoe wijs jij dan aan welke records je wilt
verwijderen?

Gewoon door een ander veld te gebruiken en indien deze niet uniek is een combinatie van velden. De tabel ter kwestie is een tabel die acties van gebruikers opslaat, acties zoals "gebruiker bezoekt pagina van boek x", of "gebruiker waardeert boek y".

Ik houd me niet zo bezig met boeken maar ik weet dat het
computer-collectief en selecties er een paar hebben.

Ik ook niet meer tegenwoordig, moet ik eerlijk toegeven. Maar ik begin het wat vervelend te vinden dat veel nuttige info op het internet Engelstalige terminologieën bevatten. Hier verspil ik teveel tijd aan om de betekenis ervan op te zoeken.

Eerste wat bij mij opkomt is de vraag : is het nodig om tientallen
kolommen te hebben bij deze tabel, of kan er verder genormaliseerd worden?
Is het dan niet beter om zoveel mogelijk kolommen te maken die toepasselijk zijn voor deze tabel? Waarom deze opsplitsen en gebruik maken van lelijke JOINs?

Oeps... Normalisatie is de basis voor je modellering. Op basis van bijv. performance criteria of beheeroverwegingen kun je later weer denormaliseren. Maar dat dient altijd een bewuste ontwerpbeslissing te zijn. Bestudeer http://nl.wikipedia.org/wiki/Databasenormalisatie.


Kun je mij ook uitleggen wat je verstaat onder normalisatie? Ik ben niet echt bekend met deze term.

Verder inzake indexen : probeer niet te veel indexen aan te maken op een
tabel. Elke extra index heeft impact op insert, update, delete
performance. Dit geldt voor ieder rdbms dus ook voor postgresql. Je kunt
samengestelde indexen aanmaken, maar let daarbij op de volgorde van
velden in de index. Als je bijvoorbeeld een index aanmaakt op naam,
naam_oorspronkelijk, auteur en de where-clause van de query bevat alleen
naam en auteur, dan wordt deze index niet gebruikt.
Dus het is zaak een overzicht te maken van alle belangrijke
where-clauses en daaruit af te leiden welke velden in aanmerking komen
voor indexering (al dan niet samengesteld).
Ah, zoals boven vermeld dacht ik dat dit alleen toepasselijk was voor de meest linkse indexen. Is het dan beter om samengestelde indexen i.p.v. aparte te maken voor queries met meerdere WHERE clausules?

Vb: SELECT * FROM boeken WHERE naam = 'postgresql' && auteur = 'ikkeniet'; met een B-tree index dat bestaat uit naam & auteur of twee aparte indexen van deze velden? Indien toch de eerste de beste manier is biedt dit toch minder flexibiliteit dan twee aparte indexen? Dan kan ik toch ook van deze indexen gebruik maken met queries die alleen één van deze velden doorzoeken?

Klopt, maar in het onderhavige geval zou ik kiezen voor een samengestelde index. Dat betekent in de praktijk dat als je auteur gebruikt moet je ook naam gebruiken. Alles hangt natuurlijk af van wat de gewenste functionaliteit is van je applicatie.

Primaire sleutels zijn altijd een must, een index op een foreign key is
ook altijd een must.

Bedoel je dan een index plaatsen op de velden waarvan de foreign keys gebruik maken? Indien wel, dan is dit geen probleem want ik heb nog geen enkele keer een foreign key moeten maken die niet gebruik maakt van een PK van een tabel (en eerlijk gezegd heb ik gisteren pas leren werken met foreign keys omdat ik dit altijd deed in pure PHP code).


Indien je werkt met een volledig vrije interface voor eindgebruikers kun
je overwegen om een extra kolom toe te voegen van het type ts_vector. In
deze kolom neem je dan alle relevante velden op. Deze kolom gebruik je
voor de zoekacties (dus moet er een index op). Zie :
http://www.postgresql.org/docs/8.4/static/textsearch.html. Hiermee kun
je op een eenvoudige wijze google-achtige zoekacties verwezenlijken.

Met het tsvector datatype heb ik helaas nog geen ervaring en ik begrijp het hele concept ook nog niet zo goed. Indien ik zo'n kolom zou aanmaken moet ik dan gewoon alle velden waarin gebruikers moeten kunnen zoeken opslagen in deze kolom? Zal dit dan niet veel ontoepasselijke resultaten opleveren als ik ook de beschrijvingen van boeken in deze kolom opsla?

Text search is een onderwerp dat je moet bestuderen. Je kunt inhoud van boeken, uitreksels, naam auteur, etc. allemaal opslaan in een apart text veld. Hierop kun je een index leggen. Zoeken wordt dan eenvoudig : binnen dit ene tekstveld. Je krijgt een google-achtige uitkomt met ranking van de resultaten.

Groet,
Ron Smeets
Kensas bv


--------------060508000403020008040609--