HUE. Быстрый старт
HUE (Hadoop User Experience) – это веб-интерфейс для анализа данных на Hadoop.
Hue позволяет взаимодействовать с кластером Hadoop из веб-консоли и выполнять задачи по анализу и обработке данных: выполнение задач MapReduce, выполнение запросов HiveQL, просмотр баз данных HBase и т.д.
-
Для доступа в HUE из Ambari передите на соответствующую вкладку в меню слева и выберите Hue WEB-UI.
Увеличить
-
Авторизуйтесь в системе, введя логин и пароль пользователя.
Увеличить
Для создания домашней директории на кластере выполните следующее:
-
Нажмите на имя пользователя в меню слева и перейдите в раздел My profile.
Увеличить
-
Включите чекбокс Create home directory и нажмите Update user.
Увеличить
После выполненных действий станет доступна домашняя директория пользователя в HDFS.
На вкладке Editor представлен список утилит, с которыми можно взаимодействовать из HUE.
Увеличить
Рассмотрим несколько примеров использования HUE:
Hive Editor
Ниже приведен пример взаимодействия с утилитой Hive Editor. Она позволяет писать запросы к базам данных Hive и отображать результаты в едином интерфейсе, что упрощает их анализ.
Перейдите в Hive Editor по пути Editor - Hive и введите запрос для создания тестовой таблицы. Запрос можно исполнять с помощью комбинации клавиш
Ctrl+Enter или пиктограммы "play".
Увеличить
Данный запрос можно сохранить, кликнув на соответствующую иконку.
Увеличить
Oozie Workflow
Составленный запрос Hive можно выполнить через Oozie - это еще один набор интерфейсов, предоставляемых Hue.
Oozie состоит из следующих основных частей:
- Workflow (рабочий процесс) хранит и запускает потоки операций, состоящие из разных типов заданий Hadoop (MapReduce, Pig, Hive и т. д.);
- Coordinator (координатор) - программа, которая запускает действия (обычно задания рабочего процесса) при выполнении набора условий. Условиями могут быть частота времени или другие внешние события;
- Bundle - высший уровень абстракции в Oozie. Предоставляет способ упаковать несколько заданий Coordinator и Workflow, а также управлять жизненным циклом этих заданий. Можно указать время начала работы Bundle.
Создадим workflow job на основе тестового скрипта Hive:
- Перейдите на вкладку Editor/Hive и сохраните тестовый скрипт (см. выше).
Увеличить
-
Перейдите на вкладку Scheduler/Workflow и перетяните иконку Hive Query в область Drop your action here.
Увеличить
-
Выберите скрипт из списка доступных и сохраните Workflow с помощью кнопки Save.
Увеличить
-
Запусте задание (job) на исполнение, нажав на пиктограмму запуска ("play"). При успешном выполнении вкладка Job Browser будет выглядеть так:
Увеличить
HDFS в HUE
В HUE также реализован браузер файловой системы HDFS, который доступен на вкладке Files. Через данный интерфейс можно создавать папки и файлы в HDFS, а также загружать данные из локальной файловой системы.
Создадим новую папку
test_guide и добавим туда базу данных в формате sql:-
Создайте папку, выбрав New - Directory.
Увеличить
-
Перейдите в созданную папку и загрузите файл, нажав Upload и указав его расположение в локальной файловой системе.
Увеличить
-
Выбранный файл загрузится в HDFS.
Увеличить
Для просмотра файлов в HDFS можно также использовать собственный веб-интерфейс данного компонента.