Für die Installation von Flume verwenden wir die Cloudera Distribution.
Dazu fügen wie zuerst die Paketquellen für die entsprechende Version hinzu. Zum Zeitpunkt des Wiki Beitrags ist die CDH3 aktuell. Ihr könnt das Beispiel natürlich auch auf eine andere Version anwenden:
DISTRO müsst ihr durch eure verwendete Version ersetzen. Verwendet ihr Ubuntu 10.10, muss es also maverick lauten.
Anschließend signieren wir den APT Key von Cloudera:
Danach können wir die Paketlisten aktualisieren
Im Beispiel wollen wir den Flume Master und den Flume Node auf einem Computer installieren, ihr könnt das natürlich für euer Setup anpassen
Nun müssen wir uns überlegen welche Rollen der Hadoop Node denn übernehmen soll. Im Beispiel entscheiden wir uns für ein Single Node Setup. Das heißt, dass alle Hadoop Komponenten erstmal auf einem Computer laufen sollen. Dazu installieren wir die folgenden Init Skripte.
== Flume Weboberfläche ==
Ihr könnt den Flume Master auf Port 35871 erreichen. Für localhost ruft ihr den Flume Master Service wie folgt auf: localhost:35871/
Ihr könnt den Flume Node auf Port 35862 erreichen. Für localhost ruft ihr den Flume Node Service wie folgt auf: localhost:35862/
== Flume als Entwicklungssystem ==
Wenn ihr euren Rechner eher selten für Flume nutzt, dann könnt ihr verhindern, dass Flume bei jedem Hochfahren des Rechners startet indem ihr die Initscripte aus den Runlevels entfernt:
Um alle Services zu starten oder stoppen könnt ihr dann z.B. folgenden Code nutzen:
== Literatur ==
Dazu fügen wie zuerst die Paketquellen für die entsprechende Version hinzu. Zum Zeitpunkt des Wiki Beitrags ist die CDH3 aktuell. Ihr könnt das Beispiel natürlich auch auf eine andere Version anwenden:
DISTRO müsst ihr durch eure verwendete Version ersetzen. Verwendet ihr Ubuntu 10.10, muss es also maverick lauten.
Anschließend signieren wir den APT Key von Cloudera:
Danach können wir die Paketlisten aktualisieren
Im Beispiel wollen wir den Flume Master und den Flume Node auf einem Computer installieren, ihr könnt das natürlich für euer Setup anpassen
Nun müssen wir uns überlegen welche Rollen der Hadoop Node denn übernehmen soll. Im Beispiel entscheiden wir uns für ein Single Node Setup. Das heißt, dass alle Hadoop Komponenten erstmal auf einem Computer laufen sollen. Dazu installieren wir die folgenden Init Skripte.
== Flume Weboberfläche ==
Ihr könnt den Flume Master auf Port 35871 erreichen. Für localhost ruft ihr den Flume Master Service wie folgt auf: localhost:35871/
Ihr könnt den Flume Node auf Port 35862 erreichen. Für localhost ruft ihr den Flume Node Service wie folgt auf: localhost:35862/
== Flume als Entwicklungssystem ==
Wenn ihr euren Rechner eher selten für Flume nutzt, dann könnt ihr verhindern, dass Flume bei jedem Hochfahren des Rechners startet indem ihr die Initscripte aus den Runlevels entfernt:
Um alle Services zu starten oder stoppen könnt ihr dann z.B. folgenden Code nutzen:
== Literatur ==