Für die Installation von Hadoop verwenden wir die Cloudera Distribution.
Dazu fügen wie zuerst die Paketquellen für die entsprechende Version hinzu. Zum Zeitpunkt des Wiki Beitrags ist die CDH3 aktuell. Ihr könnt das Beispiel natürlich auch auf eine andere Version anwenden:
DISTRO müsst ihr durch eure verwendete Version ersetzen. Verwendet ihr Ubuntu 10.10, muss es also maverick lauten.
Anschließend signieren wir den APT Key von Cloudera:
Danach können wir die Paketlisten aktualisieren
Danach installieren wir das Hadoop System mit
Nun müssen wir uns überlegen welche Rollen der Hadoop Node denn übernehmen soll. Im Beispiel entscheiden wir uns für ein Single Node Setup. Das heißt, dass alle Hadoop Komponenten erstmal auf einem Computer laufen sollen. Dazu installieren wir die folgenden Init Skripte.
Wollt ihr Hadoop auf nur einem Node betreiben, dann könnt ihr euch die Pseudo Konfiguration wie folgt installieren:
== Hadoop als Entwicklungssystem ==
Wenn ihr euren Rechner eher selten für Hadoop nutzt, dann könnt ihr verhindern, dass Hadoop bei jedem Hochfahren des Rechners startet indem ihr die Initscripte aus den Runlevels entfernt:
Um alle Services zu starten oder stoppen könnt ihr dann z.B. folgenden Code nutzen:
== Hadoop Frontend ==
Hue ist ein grafisches Frontend für Hadoop. Gerade wenn ihr mit Hadoop beginnt, macht es Spaß damit zu arbeiten, ihr könnt einfach das HDFS browsen und den Status von Map/Reduce Tasks beobachten.
Ihr könnt Hue aus der Cloudera Distribution installieren:
Wollt ihr verhindern, dass hue beim Computerstart geladen wird, könnt ihr die Runlevel Links wie folgt entfernen:
Danach könnt ihr über euren Browser auf Hue zugreifen: localhost:8088/
== Literatur ==
Dazu fügen wie zuerst die Paketquellen für die entsprechende Version hinzu. Zum Zeitpunkt des Wiki Beitrags ist die CDH3 aktuell. Ihr könnt das Beispiel natürlich auch auf eine andere Version anwenden:
DISTRO müsst ihr durch eure verwendete Version ersetzen. Verwendet ihr Ubuntu 10.10, muss es also maverick lauten.
Anschließend signieren wir den APT Key von Cloudera:
Danach können wir die Paketlisten aktualisieren
Danach installieren wir das Hadoop System mit
Nun müssen wir uns überlegen welche Rollen der Hadoop Node denn übernehmen soll. Im Beispiel entscheiden wir uns für ein Single Node Setup. Das heißt, dass alle Hadoop Komponenten erstmal auf einem Computer laufen sollen. Dazu installieren wir die folgenden Init Skripte.
Wollt ihr Hadoop auf nur einem Node betreiben, dann könnt ihr euch die Pseudo Konfiguration wie folgt installieren:
== Hadoop als Entwicklungssystem ==
Wenn ihr euren Rechner eher selten für Hadoop nutzt, dann könnt ihr verhindern, dass Hadoop bei jedem Hochfahren des Rechners startet indem ihr die Initscripte aus den Runlevels entfernt:
Um alle Services zu starten oder stoppen könnt ihr dann z.B. folgenden Code nutzen:
== Hadoop Frontend ==
Hue ist ein grafisches Frontend für Hadoop. Gerade wenn ihr mit Hadoop beginnt, macht es Spaß damit zu arbeiten, ihr könnt einfach das HDFS browsen und den Status von Map/Reduce Tasks beobachten.
Ihr könnt Hue aus der Cloudera Distribution installieren:
Wollt ihr verhindern, dass hue beim Computerstart geladen wird, könnt ihr die Runlevel Links wie folgt entfernen:
Danach könnt ihr über euren Browser auf Hue zugreifen: localhost:8088/
== Literatur ==