Flume mit PHP

Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

  • Wir richten in diesem Beispiel einen Thrift Client ein, der seine Events über Flume ins Hadoop Filesystem (HDFS) schreibt.
    Wir richten in diesem Beispiel einen Thrift Client ein, der seine Events über Flume ins Hadoop Filesystem (HDFS) schreibt.,

    Wir gehen an dieser Stelle davon aus, dass Flume, Thrift und die Thrift PHP Extension installiert sind.
    Ansonsten sind die die Verweise um das Nachzuholen:
    • [wiki]Apache Thrift Installation[/wiki]
    • [wiki]Thrift PHP Extension installieren[/wiki]
    • [wiki]Cloudera Flume Installation[/wiki]

    == Allgemeine Thrift Klassen ==
    Wir benötigen die allgemeinen PHP Klassen von Thrift. Dazu kopieren wir die Bibliotheken aus der Thrift Installation in einen Ordner in unserem Webroot.
    Den Code der Extension benötigen wir nicht mehr und löschen ihn.

    Quellcode

    1. mkdir -p /var/www/thrift-example
    2. cd ~/thrift-0.5.0
    3. cp -r lib/php/src/ /var/www/thrift-example/thrift
    4. rm -rf /var/www/thrift-example/thrift/ext


    == Flume Schema ==
    Wir benötigen den Aufbau eines Flume Events im Thrift Format. Dazu kopieren wir die Thrift Definition aus der Flume Installation in unser Webroot.

    Quellcode

    1. cd ~/flume
    2. cp src/thrift/flume.thrift /var/www/thrift-example/


    Das Flume Schema sieht wie folgt aus:

    Quellcode

    1. typedef i64 Timestamp
    3. enum Priority {
    4. FATAL = 0,
    5. ERROR = 1,
    6. WARN = 2,
    7. INFO = 3,
    8. DEBUG = 4,
    9. TRACE = 5
    10. }
    12. enum EventStatus {
    13. ACK = 0,
    14. COMMITED = 1,
    15. ERR = 2
    16. }
    18. struct ThriftFlumeEvent {
    19. 1: Timestamp timestamp,
    20. 2: Priority priority,
    21. 3: binary body,
    22. 4: i64 nanos,
    23. 5: string host,
    24. 6: map<string,binary> fields
    25. }
    27. service ThriftFlumeEventServer {
    28. oneway void append( 1:ThriftFlumeEvent evt ),
    30. void close(),
    31. }
    Alles anzeigen


    == Flume Thrift Klassen ==
    Nun erzeugen wir uns die PHP Klassencode für den Flume Service und kopieren ihn per Konvention in den packages Ordner innerhalb von Thrift.

    Quellcode

    1. cd /var/www/thrift-example/
    2. thrift --gen php flume.thrift
    3. mv gen-php/ thrift/packages


    == Flume Konfiguration ==
    Über den Flume Master können wir dem Flume Node mitteilen auf welchem Port und mit welchem Protokoll er lauschen soll.
    Dazu betreten wir den Flume Master mit der URL: localhost:35871/

    Über "config" aktualisieren wir den Node dann wie folgt.
    Wir richten unsere Ordnerstruktur nach Datum aus. Für den Dateiprefix verwenden wir außerdem eine dynamische Platzhaltervariable, die in den "fields" des Flume Events übertragen werden kann.

    Quellcode

    1. Source: rpcSource(1464)
    2. Sink: collectorSink("hdfs://localhost/tmp/flume/%Y-%m-%d/%H00/","%{cat}")


    In der Flume Master Overview könnt ihr im Anschluss sehen, falls es zu Fehlern gekommen ist.

    == Anwendungscode ==
    In unserem Beispiel wollen wir die Events als Remore Procedure Call (RPC) an Flume senden. Wir agieren damit als Sender.
    Als Anwendungsfall wollen wir die Anzahl an Seitenaufrufen speichern. Unsere Nachricht sieht dabei wie folgt aus, wir trennen die website und die Session ID mit einem Semikolon.

    Quellcode

    1. website;sessionid


    Als Protokoll nehmen wir "TBinaryProtocolAccelerated" weil es die Thrift PHP Extension nutzt und performanter ist. Alternativ lässt sich auch das "TBinaryProtocol" nutzen.

    Quellcode

    1. <?php
    2. $GLOBALS['THRIFT_ROOT'] = './thrift';
    3. include_once $GLOBALS['THRIFT_ROOT'] . '/Thrift.php';
    4. include_once $GLOBALS['THRIFT_ROOT'] . '/transport/TSocket.php';
    5. include_once $GLOBALS['THRIFT_ROOT'] . '/protocol/TBinaryProtocol.php';
    6. include_once $GLOBALS['THRIFT_ROOT'] . '/packages/flume/ThriftFlumeEventServer.php';
    8. $transport = new TSocket($host = 'localhost', $port = '1464');
    9. $protocol = new TBinaryProtocolAccelerated($transport);
    10. $client = new ThriftFlumeEventServerClient($protocol, $protocol);
    12. $transport->open();
    13. $timestamp = intval(microtime(true) * 1000);
    15. // log message
    16. $client->append(new ThriftFlumeEvent(array(
    17. 'priority' => Priority::INFO,
    18. 'timestamp' => $timestamp,
    19. 'host' => 'server1',
    20. 'body' => 'http://www.easy-coding.de/;100',
    21. 'fields' => array(
    22. 'cat' => 'torben'
    23. )
    24. )));
    26. $transport->close();
    Alles anzeigen


    Ihr könnt euch den gesamten Quelltext hier herunterladen: easy-coding.de/Attachment/1150…0eb363d2f138be6e991837db4

    Hier ein Screenshot aus dem Hue Webinterface:
    easy-coding.de/Attachment/1122…0eb363d2f138be6e991837db4
    Bilder

    • hue-flume-php.png

      30,55 kB, 708×437, 1.190 mal angesehen
    Dateien

    • thrift-example.zip

      (34,03 kB, 1.044 mal heruntergeladen, zuletzt: )

    9.422 mal gelesen