Voraussetzung für diese Anleitung ist, dass ihr Flume und Hadoop LZO bereits bereits wie geschildert installiert habt:
== LZO Bibliotheken ==
Wir müssen die LZO Dateien von Hadoop auch unter Flume bekannt machen. Beachtet, dass ihr im folgenden vielleicht den Ordnernamen Linux-amd64-64 ersetzen müsst.
== LZO Bibliotheken bekannt geben ==
Damit Flume die nativen LZO Erweiterungen lädt, muss der native Ordner noch über den Java Library Pfad bekannt gegeben werden.
Dazu legen wir die Datei /usr/lib/flume/bin/flume-env.sh an, falls sie noch nicht existiert und fügen folgenden Inhalt hinzu.
Auch hier muss wieder darauf geachtet werden, dass die richtige Architektur verwendet wird.
== LZO Konfiguration ==
Nun muss LZO noch in der Flume Konfiguration aktiviert werden. Falls unter /etc/flume/conf/flume-site.xml noch keine Konfiguration vorhanden ist, dann orientiert euch an der Beispielkonfiguration unter /etc/flume/conf/flume-site.xml.template.
Folgende Einstellung muss hinzugefügt werden:
Danach solltest ihr Flume neustarten:
== Flume mit PHP ==
Solltet ihr auch der Anleitung [wiki]Flume mit PHP[/wiki] gefolgt sein, dann könnt ihr die LZO komprimierten Sequence Files auch über LZO einsehen.
Sie sollten dann wie im Screenshot aussehen:
easy-coding.de/Attachment/1123…2bf9eec75c9f9e34b0f182f0f
== Alte Flume Version? ==
Die Flume Version <= 0.9.3-CDH3B4 enthält noch Fehler im Umgang mit der Kompression.
In der Flume User Group wurden die Probleme erörtert und gelöst.
Ich beschreibe den Workaround hier, der beschreibt wie man die entsprechenden Dateien aus den Git Quellen patcht.
- [wiki]Hadoop mit LZO[/wiki]
- [wiki]Cloudera Flume Installation[/wiki]
== LZO Bibliotheken ==
Wir müssen die LZO Dateien von Hadoop auch unter Flume bekannt machen. Beachtet, dass ihr im folgenden vielleicht den Ordnernamen Linux-amd64-64 ersetzen müsst.
== LZO Bibliotheken bekannt geben ==
Damit Flume die nativen LZO Erweiterungen lädt, muss der native Ordner noch über den Java Library Pfad bekannt gegeben werden.
Dazu legen wir die Datei /usr/lib/flume/bin/flume-env.sh an, falls sie noch nicht existiert und fügen folgenden Inhalt hinzu.
Auch hier muss wieder darauf geachtet werden, dass die richtige Architektur verwendet wird.
== LZO Konfiguration ==
Nun muss LZO noch in der Flume Konfiguration aktiviert werden. Falls unter /etc/flume/conf/flume-site.xml noch keine Konfiguration vorhanden ist, dann orientiert euch an der Beispielkonfiguration unter /etc/flume/conf/flume-site.xml.template.
Folgende Einstellung muss hinzugefügt werden:
Danach solltest ihr Flume neustarten:
== Flume mit PHP ==
Solltet ihr auch der Anleitung [wiki]Flume mit PHP[/wiki] gefolgt sein, dann könnt ihr die LZO komprimierten Sequence Files auch über LZO einsehen.
Sie sollten dann wie im Screenshot aussehen:
easy-coding.de/Attachment/1123…2bf9eec75c9f9e34b0f182f0f
== Alte Flume Version? ==
Die Flume Version <= 0.9.3-CDH3B4 enthält noch Fehler im Umgang mit der Kompression.
In der Flume User Group wurden die Probleme erörtert und gelöst.
Ich beschreibe den Workaround hier, der beschreibt wie man die entsprechenden Dateien aus den Git Quellen patcht.
7.968 mal gelesen