Datenbanktausch Projekt

    • Korn
      Korn
      Bronze
      Dabei seit: 14.01.2005 Beiträge: 12.511
      Hey Leute,

      da das klassische Datamining mit PartyPoker nun leider nicht mehr möglich ist, wird es Zeit ein Datenbanktauschprojekt ins Leben zu rufen.

      Als technisches Mittel zum Datenbanktausch bieten sich denke ich Torrents an. Links zu diesen Torrents könnten in eime gesonderten Forum auf PokerStrategy.de gepostet werden.

      Wie funktioniert die Erstellung von torrents überhaupt?

      Was haltet ihr davon? Oder wie könnte es besser laufen?
  • 59 Antworten
    • Marcus
      Marcus
      Bronze
      Dabei seit: 23.01.2005 Beiträge: 357
      War das nicht verboten? Aber ja, ich wäre dazu bereit meine Datenbank hochzuladen.
    • Korn
      Korn
      Bronze
      Dabei seit: 14.01.2005 Beiträge: 12.511
      Es kommerziell zu machen ist verboten. Aber einfach so untereinander die ehrlich erspielten Datenbanken zu tauschen ist afaik völlig okay.
    • HoRRoR
      HoRRoR
      Black
      Dabei seit: 11.02.2005 Beiträge: 10.656
      Also torrents sind sicherlich langzeitgesehen das beste, am anfang stellt sich hlt nur das problem, dass nur einer die datei hat und es direkt 5 leute laden wollen und das sich ziemlich hinzieht, daher würd ich für den anfang, d.h. wenn die daten released werden zudem noch rapidshare dazu empfehlen, damit es anfangs direkt ein par seeder gibt.

      zudem braucht man doch glaub ich nen tracker oder sowas?


      und für die übersicht der torrents würd ich halt ne kleine seite machen, die man ja durchaus auf der mainseite einbauen könnte und dann eben für aktive partypoker spieler freischalten kann, damit nicht irgendwelche leute sich einfach anmelden und unsere hände abgreifen ;)

      ich würde mich auch bereiterklären die verwaltung davon zu übernehmen, d.h. man schickt mir einfach immer den torrent und ich würde das dann auf der seite aktualisieren und sortieren usw :)
    • Wiseguy
      Wiseguy
      Bronze
      Dabei seit: 05.02.2005 Beiträge: 2.033
      Die effizienteste Art das zu machen wäre wohl die Sammlung von Datenbanken und der Import bei einer zentralen Stelle.

      Also ich stelle mir das so vor:
      Man kann per Mail oder Upload immer die aktuellsten Datenbanken von sich hochladen und die werden dann automatisch von nem Script in eine "grosse" Datenbank integriert.

      Dann sollte man die Möglichkeit haben, sich die in verschiedenen Grössen runterzuladen - also am besten eine kleinere DB, die dafür die jeweils in der Woche neu hinzugekommenen Hands enthält und dann natürlich die "grosse" vollständige, auf einzelne Limits runtergebrochen.

      Ich kein Programmierer, aber zumindest der Import sollte recht einfach möglich sein - einfach ein Upload Script basteln und dann die neuesten Einsendungen in Pokertracker auf einem zentralen Rechner kombinieren lassen. Sowas könnte sehr wahrscheinlich automatisiert werden.

      Der Download müsste dann auch recht einfach möglich sein (Bittorrent). Dafür müsste Pokerstrategy einen Tracker aufsetzen - dürfte ja nicht problematisch sein, da ihr eh nen Webserver und auch schon nen TS-Server habt.
      Den Upload zu automatisieren halte ich auch nicht für äussers problematisch.
      Zumindest das Generieren der unterschiedlich grossen DB-Files sollte mit 2-3 SQL Statements machbar sein (ist ja im Idealfall alles PostgreSQL).

      Das Torrent File zu generieren is auch nicht hart - muss bloss jede Woche einmal gemacht werden, bzw kann von nem Programmierer auch automatisiert werden mit nem Script.

      Irgendwelche Einwände?
    • Korn
      Korn
      Bronze
      Dabei seit: 14.01.2005 Beiträge: 12.511
      Also, ich also ich lass euch nochmal bis morgen diskutieren, dann schaut sich unser Programmierer das mal an und wir setzen den besten Vorschlag um.
    • GUEST
      GUEST
      Dabei seit: 01.01.1970 Beiträge: 0
      Man kann ohne Probs Torrents für die ßffentlichkeit nicht zugägnig machen.

      Wir sollten auf jeden Fall die Dbs auf einen PS.de Server jagen und dann halt auf die Leute beschränken, die auch etwas hochgeladen haben oder selber verteilen. Sonst leecht der grossteil nur.
    • 3jersey3
      3jersey3
      Bronze
      Dabei seit: 11.12.2005 Beiträge: 5.387
      Original von loco90
      Man kann ohne Probs Torrents für die ßffentlichkeit nicht zugägnig machen.

      Wir sollten auf jeden Fall die Dbs auf einen PS.de Server jagen und dann halt auf die Leute beschränken, die auch etwas hochgeladen haben oder selber verteilen. Sonst leecht der grossteil nur.
      wenn es nicht schlimm ist das manche wie zb. ich nicht so große Datenbanken zur Verfügung stellen können wäre ich mit soeiner Regel auch einverstanden so kommt bestimmt am meisten zusammen

      gruß jersey
    • Wiseguy
      Wiseguy
      Bronze
      Dabei seit: 05.02.2005 Beiträge: 2.033
      Es geht eigentlich nur per Bittorrent, da der Upload so auch am besten ist, weil der jeweilige User auch mal offline und wieder online gehen kann und der Upload dann nicht völlig im Arsch ist...
      Zu der "Bestrafung" der Leecher ist folgendes zu sagen: wenn man sowas schon von Anfang an berücksichtigt, wirds wohl einfacher.
      D.h. man müsste irgendeine Regel einführen, die dann auch von der Trackersoftware berücksichtigt wird. Halte ich aber für kompliziert. Wenn alle was davon haben, denke ich, dass es am Anfang auch ohne gehen müsste...
    • HoRRoR
      HoRRoR
      Black
      Dabei seit: 11.02.2005 Beiträge: 10.656
      also gegen leecher ist das doch sehr sehr simpel oder irre ich mich?


      man kann bei dem tracker doch ein erforderliches ratio einstellen, so dass man sagen wir 1:1 leechen kann, 1 MB up, 1 MB down, das ist doch sehr sehr simpel. Natürlich ist 1:1 nicht geeignet dafür ;)
      Oder dürfte auch absolut gehn denk ich, d.h. nach 10MB hochladen kann man erstmal bis 200 MB downloaden oder sowas, da man selber ja viel viel weniger hochladen kann als man runterlädt, weil ich stelle 1 DB zur Verfügung, möchte aber gerne 5 andere laden oder so...

      Und dadurch resultiert halt, dass jeder der anfangen will was zu laden, zuerst seine eigenen Hände seeden muss, ist doch garkein problem.


      nunja und das ganze würd ich dann mit wiseguys vorschlag umsetzen, für den import der torrents etc



      nun noch eine frage am rande, am effektivsten ist es natürlich, wenn man die hände in den limits sortiert, doch nun meine frage, wenn ich nun meine database habe mit sagen wir 50k händen, davon sind 10k 0.25/0.50 beginner, 20k 0.5/1 und 20k 1/2, kann man die einzeln exportieren ??


      Und wird das ganze so ablaufen, dass wir Pokertracker Databanken sharen oder Handhistorys?
      Weil ich selber nutze Pokeroffice, ich kann zwar auch Pokertracker databanken importieren, aber mit meiner Pokeroffice Databank könnt ihr dann ja relativ wenig anfangen.
    • coruscine
      coruscine
      Bronze
      Dabei seit: 16.03.2005 Beiträge: 320
      Ich halte die Bittorrent-Lösung auch für am einfachsten.

      Ich denke es ist am sinnvollsten die "rohen" Handhistories zu share, da die viel weniger Platz benötigen als die daraus resultierenden Datenbanken. Meine gesamten HHs auf Party benötigen gezippt ca. 50MB wärend meine DB mehrere Gigs gross ist.

      Desweiteren sollten wir darauf achten dass die Daten streng homogen sind. D.h. es sollte nach Limit und FR/SH unterschieden werden.

      Wie wir das mit den share-ratios handhaben muss man sich noch überlegen. Gerade jmd der jetzt neu zu Party wechselt hat ja überhaupt keine Chance im großen Stil Daten zu sammeln. Ich würde hier nicht festlegen dass man initial eine bestimmte Menge an Daten uploaden muss bevor man überhaupt downloaden kann. Vielmehr sollte man die share-ratios der user tracken und dann eben gewisse Limits setzen. Also z.B ab 100 MB download mind. ration von 0.2; ab 300 MB mind. ratio von 0.5 ....
    • ChefTony
      ChefTony
      Bronze
      Dabei seit: 27.05.2005 Beiträge: 89
      Wichtig wäre, dass alle HH nach einem einheitlichem, für alle zugänglichen Format gepackt / hochgeladen werden.

      Ich würde Ordner vorschlagen (mit jeweiligem Limit und Upload-Datum benannt) in denen dann die HH als ein Haufen txt-Dateien sind - der Ordner dann gepackt als .zip. Die schrumpfen ja extrem.

      Damit sollte doch gesichert sein, dass a) die ßbersicht bleibt und b) jede Pokersoftware die HH importieren kann.
      Großes "oder"?

      Grüße,
      ChefTony
    • crimi
      crimi
      Bronze
      Dabei seit: 13.05.2005 Beiträge: 49
      HHF zentral sammel und dann komprimiert und sortiert verteilen, wobei doppelte Files eliminiert und vom chat- und sonstigem müll befreit sind.

      Habe das schon auf nem THEOS Rechner(Unix Derivat) gemacht, das war ein Projekt, wo die Spieler und deren Spielzüge auch noch erfasst und in eine DB geschrieben wurden. Hat bei 400MB Rohdaten (HHF) 17 min gedauert! Is aber nen anderes Thema
    • Lynar
      Lynar
      Bronze
      Dabei seit: 11.07.2005 Beiträge: 7.701
      Ich sehe ein anderes Problem.

      Wie kann man das machen das evtl. doppelte Daten wegfallen.

      z.b. Ich lade mir Daten herunter und integriere die in die DB. Kurz darauf fällt mir ein, dass ich meine Daten auch zur Verfügung stellen will. Wenn ich mich jetzt auf einen Zeitraum beschränke grenze ich zwar das ganze ein, es wird jedoch bestimmt vorkommen, dass bestimmte Datensätze immer häufiger werden.
      Diese müssten herausgefiltert werden, da sonst die zur verfügung gestellten Daten zwar immer mehr werden, die Ausbeute an neuen Händen aber immer geringer.
    • betout
      betout
      Black
      Dabei seit: 06.02.2005 Beiträge: 2.478
      Also ich z.B. habe die hand histories beim minen nie gespeichert, könnte also nur die poker tracker daten zur verfügung stellen.

      nur mal so als anmerkung.
    • PeFro
      PeFro
      Bronze
      Dabei seit: 22.05.2005 Beiträge: 527
      die kannste über utilities / export hand histories to file wieder auslesen
    • betout
      betout
      Black
      Dabei seit: 06.02.2005 Beiträge: 2.478
      Original von PeFro
      die kannste über utilities / export hand histories to file wieder auslesen
      nein eben nicht.
      die sind nicht in der hhdb database drin, einfach nicht gesafted.
      die kann man nicht recovern.
    • Macr0s
      Macr0s
      Bronze
      Dabei seit: 30.01.2006 Beiträge: 1.047
      Das Prinzip, welches Wiseguy vorgeschlagen hat in abgewandelter Form
      (dazu spaeter mehr) waere meiner Meinung nach optimal.
      Nur wenn man das ganze so in der Art umgesetzt, koennte es bei der
      groesse der Seite doch eventuell Probleme geben in bezug auf die
      "Private Nutzung" der Mining Daten.

      Nun zur effektiven Umsetzung eines Mining Datensatzes.


      1. Website mit Uploadscript fuer die HH (evtl mit unterschiedlichen
      Uploadwegen, Fileupload, c&p der HH innen Webformular)

      2. HH Daten werden per Script geparsed und in einen DB ueberfuehrt
      (Durch das parsen in die DB werden unvollstaendige und doppelte
      Haende eliminiert)

      3. Ein Script zum Auslesen, besser gesagt zum Rueckfuehren der Daten
      aus der DB in eine HH File. (Dadurch sind lupenreine Files fuer einzelne
      Tage und Limits erzeugbar)

      4. Nen Cronjob, der mittels von Script 3. die Files erstellt und zip'ped,
      welche dann entweder ueber ne Webseite oder einzelnen (zur
      Verbreitung ueber BT) zur Verfuegung gestellt wird.


      Imo ist, dass das beste und eleganteste Prinzip. Ausserdem laesst es sich
      locker in 1-2 Tagen umsetzen.
    • Macr0s
      Macr0s
      Bronze
      Dabei seit: 30.01.2006 Beiträge: 1.047
      Original von betout
      Original von PeFro
      die kannste über utilities / export hand histories to file wieder auslesen
      nein eben nicht.
      die sind nicht in der hhdb database drin, einfach nicht gesafted.
      die kann man nicht recovern.
      Doch man kann Sie recovern, PO bietet nen PT Datenimport an. Also
      geht es mit Hilfe eines Scripts, welches die PT DB ausliest.
    • coruscine
      coruscine
      Bronze
      Dabei seit: 16.03.2005 Beiträge: 320
      In Anknüpfung an meinen post von gestern schlage ich folgendes Modell vor, um konstanten Zuwachs an Hand Histories (HHs) zu sichern:

      Alle 2 Wochen wird eine Upload-Deadline festgesetzt (z.B. der 1. und 15. jedes Monats). Jeder ps.de User kann in dieser Zeit seine HHs (in gezippter Form) auf einen zentralen Server hochladen.
      Die HHs werden entpackt und den entsprechenden Limits sowie SH/FR zugeordnet. Am Ende der Deadline wird für jedes Limit ein Gesamt-Zip-File erstellt und zum download via entsprechendem Tracker-Link angeboten.
      Um permanenten Datennachschub zu gewährleisten wäre es sinnvoll den Link nur den Usern zugänglich zu machen die auch selbst in der letzten Upload-Periode Daten zur Verfügung gestellt haben. Hier müsste eine entsprechende Mindestanzahl an HHs gefordert werden.

      Mögliche Probleme:

      1. Es muss bei ps.de ein zentraler Server existieren, der die Daten verwaltet und speichert (zumindest die Daten der letzten 2 Upload-Phasen, danach sollten sie hoffentlich hinreichend verteilt sein.)

      2. Die Daten werden heterogen am Server ankommen. Es muss ein Skript erstellt werden, dass die Daten den Limits entsprechend sortiert und sicherstellt, dass keine HHs doppelt vorkommen. Man wird hier um den Einsatz einer Datenbank nicht herumkommen.

      3. Es muss eine User-Upload-Verwaltung eingerichtet werden die sicherstellt, dass nur "berechtigte" User (also User die auch selbst eine Upload durchgeführt haben) den Link zum aktuellen Datensatz erhalten (bzw. diesen nutzen können).
      Ebenso müssen die Tracker verwaltet und die share-ratios der User überwacht werden.

      4. Jeder Datensatz muss beim Release zunächst unter die Leute gebracht werden. Mit entsprechender Internetanbindung sollte dies aber kein Problem darstellen.