Lviv Hadoop User Group

на правах реклами

З задоволенням повідомляю, що у Львові з"явилася нова технологічна група за інтересами - на цей раз присв"ячена темі Hadoop та BigData загалом: Lviv Hadoop User Group

Перша зустріч запланована на кінець червня, зараз домовляємося за точну дату, так що підписуйтесь та слідкуйте за оновленнями.

Більше деталей

Невеликий рекламний псто, будe цікавий користувачам Hadoop

Невеликий рекламний псто, будe цікавий користувачам Hadoop & Google Chrome

Storm - big data solution for soft-real time

Hadoop - чудовий інструмент, що дозволяє реалізувати аналітику в домашніх умовах, перенести її на кластер і скейлити а ж до 4000 інстансів. Наприклад, можна написати свого конкурента Google Analytics, який на основі логів веб-серверу буде показувати статистику по країні, мові, відвіданому ресурсі чи ще будь-якій комбінації... купа варіантів, усе дуже просто і чудово масштабується. Єдина проблема, це буде зовсім не "в реальному часі". Це пов"язано з тим, що Хадуп пропонує нам так звану "пакетну" обробку даних.
На прикладі, це виглядає так: веб сервери пишуть логи з 11:00 до 11:59, о 12:00 вони починають писати нові логи, а ми забираємо логи за попередню годину (11:00 - 11:59) і починаємо їх процесати. Припустимо це займає біля 15ти хвилин. Отже, лише після 12:15 ми матимемо дані за попередню годину. Додаму сюди можливі проблеми - з нетфорком чи фейли в кластрі, тобто треба мати запас як мінімум на ще один перезапуск хадупівських джобів. Отже, ми можемо обіцяти кастомеру готові дані з затримкою хвилин в 40 (ну що б з гарантією 99%), а в маркетингових цілях - так і взагалі лише о 13:00 :)

Отже, виходе якось не дуже:( Звісно, нам би хотілося усю цю аналітику показувати в "в реальному часі" (в гугл аналітікс і така вкладка є), а для цього хадуп вже якось не дуже підходить...

Нащастя, і для цього вже придумали ріщення - називається Storm, родом з Твітера де використовується для побудови малопримітної колоночки "тренди". Ну а ще її можна застосувати, щоб показувати статистику по відвідуваннях для різних критеріїв, в режимі наближеному до реального часу.

Scaling Scalability: Evolving Twitter Analytics

За остані 2а роки хадупівський кластер виріс від 30 до 4000 машин. Хочете дізнатися the best practice, що використовуються в Twitter для обробки мільйонів твітів щодня? тоді вам сюди:
http://www.infoq.com/presentations/Twitter-Analytics

відео з 16 зустрічі

Відео з 16 зустрічі і навіть презентуха на розробці

Hadoop: the Big Answer to the Big Question of the Big Data from Victor Haydin

BigData with Pig

Apache Pig - це інструмент для швидкого створення програм на основі алгоритму мап-редюс,  використовує Hadoop на нижньому рівні. Як і Hadoop, є породженням корпорації Yahoo!
В основі до швидкого написання мап-редюс програм лежить використання скриптової мови Pig Latin. Ви пишеte лише відносно пpостий скрипт на SQL-подійбній мові навіть не замислюючись особливо над мап-редюс підходом, далі використовує Піг для того щоб виконати цей скрипт, який створює мап-редюс джоби, конфігурить і запускає їх. І він ще має вбудований оптимізатор, який оптимізує ваший скрипт, якщо ви раптом натупите!

Звичайно, на відміну від звичайно SQL вам знадобиться куди більше ф-цій для обробки даних зважаючи на те що схемою тут і не пахне. Для вирішення цього завдання Піг пропонує вам можливість написати власну ф-цію обробки даних за допомогою механізму User Defined Function (UDF), або взяти вже готову з апачівського PigBank чи Linkedin Data-Fu
Підозрюю, що у декого виникне підозра - "Піг скрипт має виконуватися значно повільніше". Насправді недовіра до Пігу доволі висока, як і до всього нового, та він себе вже добре зарекомендував в таких корпораціях як Yahoo!, Twitter, Linkedin, Nokia (o_O). і як показує їх практика, Піг скрипти лише трохи поступаються натівним мап-редюсам, але при цьому займають у 20 развів менше коду та вимагають у 16 раз менше часу на імплементацію. Хоча слід признати що 20% у швидкості ви певно втратите

Реальний приклад використання Pig: стаття, що я нещодавно прочитав і яка здалася мені доволі цікавою. Ідея полягає в тому, що за допомогою Піг скрипта та музичної бази даних ми спробуємо знайти екзотичні та популярні пісні з різних куточків світу. Кого зацікавило, раджу
http://blog.cloudera.com/blog/2012/08/process-a-million-songs-with-apache-pig/ (ті хто дочиають до кінця - молодці і зможуть насолодитися рідкісними африканськими піснями)