Import großer Datenmengen langsam

    • sinisterdexter
      sinisterdexter
      Bronze
      Dabei seit: 03.08.2006 Beiträge: 220
      Ja, ich gebe zu, es ist schon gemein, den Elefanten mit einer halben Million Hände zu quälen. Nichtsdestotrotz kommt das ja schonmal vor.

      Das Problem dabei ist, daß die Performance beim Analyseschritt gehörig einbricht, auf einem flotten, modernen System bin ich mittlerweile bei 40 Händen pro Sekunde. Dabei scheint der Flaschenhals die Platte zu sein, die rödelt nämlich am Anschlag. Sprich: es hängt an der Datenbank.

      Das klingt ganz so, als könne man da durch das Einrichten eines Indexes etwas dran drehen, oder durch geschicktes Caching...
  • 6 Antworten
    • Deradon
      Deradon
      Bronze
      Dabei seit: 03.09.2007 Beiträge: 1.653
      War bei 30/s, hab jetzt meine Platte ein wenig aufgeräumt und defragmentiert.
      Jetzt bin ich bei 80-90/s, und das Lesen / s ist jetzt auch bei ~500 rum (statt vorher 300).
    • smokinnurse
      smokinnurse
      Bronze
      Dabei seit: 26.03.2007 Beiträge: 14.745
      platte defragmentieren ist bei grossen datenbanken immer eine gute idee
    • sinisterdexter
      sinisterdexter
      Bronze
      Dabei seit: 03.08.2006 Beiträge: 220
      Die Platte war frisch und und hatte Dutzende Gigabyte frei, die Fragmentierung war nicht das Problem.

      Ab 700000 Händen in der Datenbank wird dann übrigens auch das Live-Update so langsam, daß der Elefant nicht mal die gespielten Hände in Echtzeit weggeschrieben bekommt. Irgendwas ist da noch nicht datenlastoptimiert.

      Ich habe jetzt erst mal eine frische Datenbank aufgemacht, und selektiv Hände importiert. Aber an die Performance mit vielen Datensätzen muß definitiv nochmal jemand ran.
    • galam
      galam
      Bronze
      Dabei seit: 06.03.2005 Beiträge: 11.136
      Ähm drüber nachgedacht, dass das einfach unglaubich viele Daten für die DB sind? PT ist das noch um welten langsamer ;) ABer natürlich versuchen wir das ganze zu optimieren.
    • sinisterdexter
      sinisterdexter
      Bronze
      Dabei seit: 03.08.2006 Beiträge: 220
      Original von galam
      Ähm drüber nachgedacht, dass das einfach unglaubich viele Daten für die DB sind? PT ist das noch um welten langsamer ;) ABer natürlich versuchen wir das ganze zu optimieren.
      Ich hatte schon mit Datenbanken zu tun, mir ist klar, daß das kein triviales Problem ist. Aber da die Daten aus exportierten PT-Datenbanken kommen, würde ich mal sagen, daß das ein realistischer use case ist.

      Ein selektives Datenbank-Export-Feature hätte mir btw. in der Situation weitergeholfen. Da ich die Files alle noch hatte, ging es aber auch so.
    • galam
      galam
      Bronze
      Dabei seit: 06.03.2005 Beiträge: 11.136
      Gut gut, wie gesagt daran wird noch gearbeitet.