[HILFE] Speicherplatz & Performance

    • motzi0910
      motzi0910
      Black
      Dabei seit: 09.06.2005 Beiträge: 102
      Hi,

      ich hab ein Speicherplatzproblem mit meiner/n Datenbank(en) und bin mir nun (nachdem ich einige threats durchstöbert habe) nich wirklich sicher, was ich jetzt am besten machen soll!? Muss dazu sagen, dass ich absolut keine Ahnung von Datenbanken, Postgres usw. habe....(also falls mir hier jemand helfen will, bitte nehmt Rücksicht^^)

      da ich keine ahnung hab, was ihr alles wissen müsst, um eine passende Problemlösung vorschlagen zu können, schreib ich einfach mal alles auf, was mir einfällt....

      Problem:
      Da ich mich quasi niemehr um die db gekümmert hab seit ich den PC aufgesetzt habe (~vor 5Monaten) und damals alles einfach so installiert habe, is nu die Bootplatte voll. Außerdem bin ich mit der Performance nicht wirklich zufrieden...und da ich nun gezwungen bin mich drum zu kümmern, will ichs dann gleich "richtig" machen.

      Bootplatte is 150gig groß, der Postgres Ordner belegt 100gig.

      System:
      Vista 64Bit, Quad (Q9550), 8GB-Ram
      Raid-10 4x1TB aufgeteilt in 4 Partitionen
      - C: Bootplatte, 10GB frei von 154GB
      - D: mp3s_avis, 40GB frei von 1TB
      - E: priv_Daten, 300GB frei von 500GB
      - F: Poker, 190GB frei von 200GB

      Ziel:
      Performance optimieren (Importiergeschwindigkeit verbessern), Speicherplatz auf C frei machen.



      Bin atm dabei Hände zu purgen, aber das ist wohl nur ne kurzfristige Lösung.

      also was hab ich für Optionen!? (soweit ich das verstanden habe, folgendes)

      #1: Hands purgen, Vacuum/analyse ausführen.
      Dann Platten defragmentieren...WIE bzw mit welchem Prog kann ich das bei nem RAID10 machen!?
      - is wohl meine Lösung, bis ich was Besseres verstanden habe und in der Lage bin das auch zu machen^^

      #2: Irgendwie die DB backuppen und dann auf ne andere Partition umziehen
      - kp wie das geht, aber dazu gibts hier wohl irgendwo nen threat....ABER...das erhöht wohl nich die Performance!?

      #3: Neue, Externe USB platte kaufen und Postgres darauf installieren.
      - s.o., ABER...bringt das mehr Performance!? (hab irgendwo gelesen, dass es besser ist, wenn man mehrere Platten nutzt für den import.

      #4: ????

      so...was würdet ihr vorschlagen!? Bin für quasi alles offen!
      will nach der Aktion nur ein stabiles System haben, was beim Import das maximum aus meinem PC holt und worum ich mich erstmal nich kümmern muss
      (mal von purge/vacuum&analyse abgesehen).


      Danke schonmal im Voraus für eure Hilfe :)
      MfG
  • 5 Antworten
    • motzi0910
      motzi0910
      Black
      Dabei seit: 09.06.2005 Beiträge: 102
      *update*

      purgen und vacuum/analyse is nach 15h oder so fertig, waren so 14,5mio hände.
      nu sind wieder 60GB frei auf C....bringt mir, wie schon gesagt, nur nen kleinen aufschub....und defragmentiert hab ich auch noch nicht wegen dem raid.

      brauch also immernoch hilfe^^
    • netsrak
      netsrak
      Gold
      Dabei seit: 11.03.2006 Beiträge: 36.836
      Das einfachste ist, Postgresql auf F: neu zu installieren oder den Datenbereich dorthin zu verlagern.

      Performancemäßig dürfte es noch was bringen wenn du ein eigenes Raid (d.h. z.B. 2 eigene Festplatten als Raid1) für den Postgresql Data Bereich verwendest. Andere Raid Systeme bringen natürlich auch einen Performanceschub aber ich denke Raid1 ist bei deiner Konfiguration das einfachste.
    • motzi0910
      motzi0910
      Black
      Dabei seit: 09.06.2005 Beiträge: 102
      Hi netsrak,

      danke erstmal für deine Antwort.

      Wenn ich das richtig verstanden habe meinst du ein weiteres RAID1-System.
      Momentan hab ich halt alles auf den 4platten als RAID10...kp ob es besser/schneller ist, wenn man ein zusätzliches raid installiert.

      die frage ist, ob es überhaupt sinn macht, da ich im PC alle steckplätze in gebrauch habe, müsste ich ja irgendwas externes über usb/netzwerk oder so machen. gibts da ne sinnvolle, externe lösung? NAS? oder ne externe usb platte...oder was meinst du?

      also ist meine Vorgehensweise ungefähr so:

      1. aktulle Datenbank backuppen
      2. postgres komplett deinstallieren (wie^^)
      3. neustart
      4. postgres auf "F" neu installieren (welche version? hab atm 8.3)
      5. altes backup einlesen
      6. fertig und es geht alles :)

      was meinst du, wie lange das dauern kann...bzw welcher dieser schritte am besten ma über nacht durchzuführen ist!?


      Danke für die Hilfe
    • motzi0910
      motzi0910
      Black
      Dabei seit: 09.06.2005 Beiträge: 102
      und noch ne frage...wie groß sollte denn der verfügbare speicherplatz für ne DB sein? ich meine...wenn ich in nichmal 5Monaten die 100GB voll gemacht habe, sollte es ja schon bissl mehr sein^^ gibts da irgendwelche "richtlinien" o.ä.!?

      Habs grad mal überschlagen...wenn ich alles importiere was da ist, sind das ca.
      15 mio hände im monat....eher bissl mehr!?


      Danke
    • netsrak
      netsrak
      Gold
      Dabei seit: 11.03.2006 Beiträge: 36.836
      Also bei dem Raid Vorschlag hatte ich daran gedacht dein vorhandenes System neu aufzusetzen und entsprechend umzukonfigurieren. Das ist natürlich mit viel Arbeit und Zeit verbunden.

      Deine Vorgehensweise im anderen Fall ist richtig, du kannst ruhig die aktuelle Postgresql 8.4 verwenden. Zur Deinstallation gibt es hier oben bei den wichtigen Links eine Anleitung.
      Backup und Restore dauern jeweils länger und können über Nacht ausgeführt werden.
      Beim Anlegen der neuen DB bitte beachten dass du die gleiche Kodierung wie bei der Original DB einstellst.

      Zum Speicherbedarf: bei 15 Mio Händen brauchst du ca. 150 GB. Falls wir hier von HM reden solltest du geminte Hände direkt nach dem Importieren oder nach kurzer Zeit wieder purgen. Die Stats bleiben dabei erhalten.
      Ausserdem solltest du das Verzeichnis pg_log regelmäßig leeren. Man kann das Logging auch in der conf Datei abschalten. Für eine genaue Anleitung solltest du aber selbst suchen.