Thrift PHP Server

Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

  • Hier wird das Setup eines Thrift RPC Servers auf Basis von PHP erläutert. Der Server wird den Austausch von strukturierten und unstrukturierten Daten erlauben.
    == Einrichtung ==
    Wir gehen davon aus, dass Apache Thrift als Voraussetzung installiert ist. Sollte es noch nicht installiert sein, finden sich hier Anleitungen zur Einrichtung von Thrift und der PHP Extension.
    • [wiki]Apache Thrift Installation[/wiki]
    • [wiki]Thrift PHP Extension installieren[/wiki]

    Wir verwenden die aktuellen Quellen aus dem Thrift Trunk, falls einige Klassen noch bei euch fehlen, dann gleicht diese bitte mit dem Beispiel Download am Ende dieser Anleitung ab.

    == Service Definition ==
    Zu Beginn brauchen müssen wir einen Thrift Service definieren. Wir werden in diesem Beispiel die Thrift Definition von Flume verwenden.
    Der Flume Client ist ein normaler Thrift Client mit, dessen Schema im Thrift Format beschrieben wurde.
    Ihr könnt also auch jeden anderen Thrift Service implementieren.

    Quellcode

    1. struct ThriftFlumeEvent {
    2. 1: Timestamp timestamp,
    3. 2: Priority priority,
    4. 3: binary body,
    5. 4: i64 nanos,
    6. 5: string host,
    7. 6: map<string,binary> fields
    8. }
    10. service ThriftFlumeEventServer {
    11. oneway void append( 1:ThriftFlumeEvent evt ),
    13. void close(),
    14. }
    Alles anzeigen


    == Code generieren ==
    Mit dem Thrift Compiler erzeugen wir nun Client- und Serverdateien und verschieben diese anschließend in das packages Verzeichnis.

    Quellcode

    1. thrift --gen php:server flume.thrift
    2. mv gen-php/ thrift/packages


    == Implementierung ==
    Nun kommen wir zur Implementierung des Servercodes. Wir haben uns im Beispiel für den TForkingServer Server entschieden.
    Ansonsten müssen wir nur das Interface implementieren. Wir werden den Server als Beispiel in der Konsole laufen lassen und die Ausgaben direkt mit Ausgaben monitorn können.

    Wir haben den Server so implementiert, dass die angegebene Kategorie im Feld genutzt wird um die Methode zu bestimmen.

    Quellcode

    1. <?php
    2. $GLOBALS['THRIFT_ROOT'] = './thrift';
    4. require_once $GLOBALS['THRIFT_ROOT'] . '/Thrift.php';
    5. require_once $GLOBALS['THRIFT_ROOT'] . '/transport/TSocket.php';
    6. require_once $GLOBALS['THRIFT_ROOT'] . '/transport/TServerSocket.php';
    7. require_once $GLOBALS['THRIFT_ROOT'] . '/transport/TTransportFactory.php';
    8. require_once $GLOBALS['THRIFT_ROOT'] . '/protocol/TBinaryProtocol.php';
    9. require_once $GLOBALS['THRIFT_ROOT'] . '/server/TForkingServer.php';
    10. require_once $GLOBALS['THRIFT_ROOT'] . '/packages/flume/flume_types.php';
    11. require_once $GLOBALS['THRIFT_ROOT'] . '/packages/flume/ThriftFlumeEventServer.php';
    13. /**
    14. * thrift server to handle flume events
    15. * @author Torben Brodt <www.easy-coding.de>
    16. */
    17. class FlumeHandler implements ThriftFlumeEventServerIf {
    19. /**
    20. * public api call
    21. * @implements ThriftFlumeEventServerIf
    22. */
    23. public function append($evt) {
    24. $cat = $evt->fields['cat'];
    26. if(method_exists($this, $cat)) {
    27. $this->$cat($evt);
    28. } else {
    29. echo 'unknown method: '.$cat;
    30. }
    31. }
    33. /**
    34. * public api call
    35. * @implements ThriftFlumeEventServerIf
    36. */
    37. public function close() {
    38. echo "close";
    39. }
    41. /**
    42. * for debug purpose
    43. */
    44. protected function ping($evt) {
    45. print_r($evt);
    46. }
    47. }
    49. $handler = new FlumeHandler();
    50. $processor = new ThriftFlumeEventServerProcessor($handler);
    52. // will run server on port 9090
    53. $transport = new TServerSocket();
    54. $outputTransportFactory = $inputTransportFactory = new TTransportFactory($transport);
    55. $outputProtocolFactory = $inputProtocolFactory = new TBinaryProtocolFactory();
    57. $server = new TForkingServer(
    58. $processor,
    59. $transport,
    60. $inputTransportFactory,
    61. $outputTransportFactory,
    62. $inputProtocolFactory,
    63. $outputProtocolFactory
    64. );
    66. header('Content-Type: application/x-thrift');
    67. $server->serve();
    Alles anzeigen


    == Beispiel: Thrift zu Thrift ==
    Wir starten den Server nun mit

    Quellcode

    1. php -f server.php


    Den Sender aus dem Tutorial "[wiki]Flume mit PHP[/wiki]" lassen wir direkt auf unser Thrift Service zeigen.
    Dazu instanziieren wir den Socket mit Port 9090 und senden "ping" als Kategorie.

    Quellcode

    1. $transport = new TSocket($host = 'localhost', $port = '9091');
    2. ...
    3. $client->append(...
    4. 'fields' => array(
    5. 'cat' => 'ping'
    6. )
    7. );


    Sobald wir nun den Sender mit php -f sender.php aufrufen können wir in der Ausgabe des Servers sehen, dass der Event ankommt.

    == Beispiel: Thrift über Flume zu Thrift ==
    Wir werden die Ausgaben nun in einer lokalen Anwendung puffern und darüber zu unserem Thrift Service übertragen.
    Dazu benötigen wir ein Flume Setup wie es hier erläutert wird: [wiki]Cloudera Flume Installation[/wiki]

    Wir werden den Node über den Flume Master (localhost:35871/) wie folgt konfigurieren. Als Flume Sink verwenden wir den Server time.easy-coding.de wo der Flume Service läuft.
    * rpcSource(9091)
    * rpcSink("time.easy-coding.de", 9090)

    Wir binden den Flume Node damit an einen lokalen Port 9091, der die Anfragen dann wiederum an den Remote Server weiterleitet.

    == Beispiel: Strukturierte Daten von Thrift über Flume zu Thrift ==
    Um strukturierte Daten auszutauschen erstellen wir uns ein eigenes Thrift Schema "vector.thrift".

    Quellcode

    1. namespace java easycoding.thrift
    2. typedef i64 id
    4. enum VectorTarget {
    5. THREAD = 0,
    6. WIKI = 1,
    7. BOARD = 2,
    8. BLOG = 3
    9. }
    11. enum Vector {
    12. BROWSER = 0,
    13. OS = 1,
    14. GEO_REGION = 2
    15. }
    17. struct VectorSequence {
    18. 1: map<VectorTarget, id> targets,
    19. 2: map<Vector, string> env,
    20. 3: string query
    21. }
    Alles anzeigen


    Wir erzeugen die PHP Dateien und kopieren die Klassen in den packages Ordner

    Quellcode

    1. thrift --gen php vector.thrift
    2. mv gen-php/ thrift/packages


    Nun können wir mit folgendem Code das Event übertragen:

    Quellcode

    1. <?php
    2. $GLOBALS['THRIFT_ROOT'] = './thrift';
    4. require_once $GLOBALS['THRIFT_ROOT'] . '/Thrift.php';
    5. require_once $GLOBALS['THRIFT_ROOT'] . '/transport/TSocket.php';
    6. require_once $GLOBALS['THRIFT_ROOT'] . '/protocol/TBinaryProtocol.php';
    7. require_once $GLOBALS['THRIFT_ROOT'] . '/packages/flume/ThriftFlumeEventServer.php';
    9. $transport = new TSocket($host = 'localhost', $port = '9091');
    10. $protocol = new TBinaryProtocolAccelerated($transport);
    11. $client = new ThriftFlumeEventServerClient($protocol, $protocol);
    13. $transport->open();
    14. $timestamp = intval(microtime(true) * 1000);
    16. // log structed message
    17. require_once $GLOBALS['THRIFT_ROOT'] . '/protocol/TBinarySerializer.php';
    18. require_once $GLOBALS['THRIFT_ROOT'] . '/packages/vector/vector_types.php';
    19. $vector = new VectorSequence();
    20. $vector->query = 'thrift server example';
    21. $vector->targets = array(
    22. VectorTarget::THREAD => 100,
    23. VectorTarget::BOARD => 10
    24. );
    25. $vector->env = array(
    26. Vector::BROWSER => 'Firefox 3.5',
    27. Vector::OS => 'Ubuntu 10.10',
    28. Vector::GEO_REGION => 'de-16', // for berlin
    29. );
    31. $body = TBinarySerializer::serialize($vector);
    32. $client->append(new ThriftFlumeEvent(array(
    33. 'priority' => Priority::INFO,
    34. 'timestamp' => $timestamp,
    35. 'body' => $body,
    36. 'host' => 'server1',
    37. 'fields' => array(
    38. 'cat' => 'impression'
    39. )
    40. )));
    42. $transport->close();
    Alles anzeigen


    Im Thrift Server Code fügen wir nun die Methode Impression ein, damit wir das Objekt nutzen können:

    Quellcode

    1. /**
    2. * unserialize thrift object
    3. */
    4. protected function impression($evt) {
    5. require_once $GLOBALS['THRIFT_ROOT'] . '/packages/vector/vector_types.php';
    6. require_once $GLOBALS['THRIFT_ROOT'] . '/protocol/TBinarySerializer.php';
    8. $instance = TBinarySerializer::deserialize($evt->body, 'VectorSequence');
    9. print_r($instance);
    10. }

    easy-coding.de/Attachment/1133…e1cee234b8e87109d811e81bb
    == Download ==
    Ihr könnt euch den gesamten Quelltext der Beispiele hier herunterladen:
    Bilder

    • thrift-structured-data.png

      36,61 kB, 801×596, 1.553 mal angesehen
    Dateien

    13.848 mal gelesen