Translate

понеділок, 19 листопада 2012 р.

BigData with Pig


Apache Pig - це інструмент для швидкого створення програм на основі алгоритму мап-редюс,  використовує Hadoop на нижньому рівні. Як і Hadoop, є породженням корпорації Yahoo!
В основі до швидкого написання мап-редюс програм лежить використання скриптової мови Pig Latin. Ви пишеte лише відносно пpостий скрипт на SQL-подійбній мові навіть не замислюючись особливо над мап-редюс підходом, далі використовує Піг для того щоб виконати цей скрипт, який створює мап-редюс джоби, конфігурить і запускає їх. І він ще має вбудований оптимізатор, який оптимізує ваший скрипт, якщо ви раптом натупите!



Звичайно, на відміну від звичайно SQL вам знадобиться куди більше ф-цій для обробки даних зважаючи на те що схемою тут і не пахне. Для вирішення цього завдання Піг пропонує вам можливість написати власну ф-цію обробки даних за допомогою механізму User Defined Function (UDF), або взяти вже готову з апачівського PigBank чи Linkedin Data-Fu
Підозрюю, що у декого виникне підозра - "Піг скрипт має виконуватися значно повільніше". Насправді недовіра до Пігу доволі висока, як і до всього нового, та він себе вже добре зарекомендував в таких корпораціях як Yahoo!, Twitter, Linkedin, Nokia (o_O). і як показує їх практика, Піг скрипти лише трохи поступаються натівним мап-редюсам, але при цьому займають у 20 развів менше коду та вимагають у 16 раз менше часу на імплементацію. Хоча слід признати що 20% у швидкості ви певно втратите

Реальний приклад використання Pig: стаття, що я нещодавно прочитав і яка здалася мені доволі цікавою. Ідея полягає в тому, що за допомогою Піг скрипта та музичної бази даних ми спробуємо знайти екзотичні та популярні пісні з різних куточків світу. Кого зацікавило, раджу
http://blog.cloudera.com/blog/2012/08/process-a-million-songs-with-apache-pig/ (ті хто дочиають до кінця - молодці і зможуть насолодитися рідкісними африканськими піснями)

16-та зустріч Java User Group. Звіт


15-го листопада пройшла 16-та зустірч JUG Lviv.

Цього разу вона була достатньо велелюдною. Близько 60 людей відвідало нашу зустріч.
Ми дуже вдячні компанії Eleks за гостинно надане приміщення та Віктору Гайдіну за цікаву доповідь.

Також на зустрічі були представленні плани і побажання для розвитку JUG L`viv.

Також нагадую, якщо Ви маєте бажання допомогти в розвитку групи - пишіть на пошту групи jug.lviv@gmail.com чи мені особисто bohdan.bandrivskyy {at} gmail.com.

Будь-яка допомога - зробить групу цікавішою і дасть можливість розширити діяльність її в нових напрямках.



пʼятниця, 16 листопада 2012 р.

Java Day 2012


Цього року Java Day 2012 в києві в готелі "Русь".

Отже як це було:

Реєстрація була безкоштовна для людей, які завчасно реєструвалось. Це справді порадувало :) (халява :) ). В останній тиждень вона коштувала здається 300грн.

Поїздака. Укр залізниця була в соєму репертуарі - квитків зі Львова до Києва не було і прийшлось купувати зі Стрія!!! до Києва. Де тут логіка - незрозуміло... :)



четвер, 15 листопада 2012 р.

Java User Group - уже сьогодні!


Ми знаходимось на вул. Наукова, 7 корп. 7г.

На вході повідомите, що ви на Java User Group.

На всяк випадок контактний номер людини на місці – 0637247301 (Олена).

Вам необхідно доїхати до нічного клубу МІ100. Якщо дивитись на вхід у нічний клуб МІ100 то його слід обійти справа, пройти стоянку і за шлахбаумом повернути ліворуч і пройти в кінець, там побачите велику стоянку для велосипедів і навпроти неї вхід із маленькою табличкою eleks =)

Чекаємо вас на 19:00! Прохання не запізнюватись!

понеділок, 12 листопада 2012 р.

Functional Programming Principles in Scala



Coursera: Functional Programming Principles in Scala Review

Думаю ні для кого не секрет є те, що дуже великої популярності набувають всілякі онлайн курси. Спробуємо провести коротенький огляд найбільш очікуваного курсу цієї осені, а саме fp (functional programming) principles in Scala. 

Цей курс зацікавив багатьох з ряду причин:



субота, 10 листопада 2012 р.

16-та зустріч Java User Group. Apache Hadoop


Запрошуємо  Всіх  на після ювілейну зустріч Java User Group, яка відбудеться  15 листопада (четвер) о 19:00!

За адресою: Наукова 7г, 6 поверх, тренінг-центр. 

Компанія Eleks гостинно запросила нас для проведення нашої зустрічі.

На зустрічі будуть обговорюватись 2 теми:
- Зміни в JUG Lviv.(тема для розігріву) Куди рухатись дальше.
- Apache Hadoop.(тема вечора) Причини виникнення, історія, приклади використання і т.д. Доповідач: Віктор Гайдін  




П.С. Велике прохання, заповнити форму - це полегшить і пришвидшить прохід людей через охорону фірми.




четвер, 8 листопада 2012 р.

Java Magazine Nov/Dec 2012





Став доступний новий випуск Java Magazine Nov/Dec 2012, основні теми що освітлюються:
  • Java на службі агpapного бізнесу Нідерландів
  • Get Started with Java SE for Embedded Devices on Raspberry PI
  • Exploring Lambda Expressions for the Java Language and the JVM
  • Building Actor-Based Systems Using the Akka Framework




середа, 7 листопада 2012 р.

Devoxx 2012


З 12 по 16 Листопада в Антверпені (Бельгія) буде проходити найбільша не комерційна Java конференція в європі (а може і в світі)

Якщо випадково хтось збираєтсья відвідати - зголосіться!!!

На сайті конференції будуть викладені матеріали: http://www.devoxx.com



вівторок, 6 листопада 2012 р.

Selenium WebDriver - тестування web-сторінок з Java


Selenium вже давно користується заслугованою популярністю серед багатьох розробників, як інструмент тестування веб-сторінок. WebDriver - "новий" селеніум, який дозволяє виконувати інтеграційні тести описані в звичному коді (Java, C#, etc) в різноманітних браузерах чи віртуальному середовищі.




понеділок, 5 листопада 2012 р.

We Need a Programmer for President


Цікава стаття про наступниі вибори в США


Трішки велика і на англійській мові, але вартує прочитати:

http://java.dzone.com/articles/would-you-vote-programmer

неділя, 4 листопада 2012 р.

Вебінар Презентація Spring Hadoop


8 Листопада Spring буде проводити Вебінар по презентації Spring Data для Apache Hadoop

Презинтація розпочнеться о 17.00(укр. час).

Зареєструватись на вебінар і почитати про саму подію можна тут:
http://www.springsource.org/node/3669

Також цей тиждень ознаменувався виходом нового релізу Spring Framework 3.1.3.
Реліз ноути цієї версії спрінга можна прочитати ось тут:
http://www.springsource.org/node/3720




четвер, 1 листопада 2012 р.

EclipseLink ORM Persistence Framework


Для більшості java рограмістів сьогодні Hibernate == ORM. проте є ряд інших, не менш цікавих ORM, які можуть виявитися куди більш підходящим для вашого проекту, ніж улюблений Хібернейт.
Хочу звернути вашу увагу на EclipseLink, який пішов від ораклівського TopLink і сьогодні являє більш ніж підтримку персістенсу через JPA, але також JAXB, JCA та SDO (простими словами - можна працювати з XML, веб-сервісами чи но-скл базами). Але я сфокусуюся саме на ORM стороні цього рішення, і без дискутування чому ORM це погано і треба обережно совати його до свого проекту:)
Пропоную розглянути, як EclipseLink може допомогти, якщо на проекті Оракл СКБД



JUG Reset. Місяць перший. Результати. Road map.


Отже, що було зроблено:

- 22 статті за жовтень було опублікованоь
- 1052 унікальних заходів на статті (к-сть заходів на сам блог більша. Деякі статті можна прочитати не відкриваючи детальніше).
- 32 коментарі до статей
- Знайшли компанію, яка погодилась зробити блог з більшими можливостями ніж теперішній.

Планується:

- продовжувати публікувати 3< пости в тиждень
- провести зустріч в листопаді для обговорення змін. На даний час тема і місце не визначені.
- розширення діяльності групи з просто збирання раз на 1-2 в місяць. (Деталі на зустрічі).
- пошук спонсорів. Якщо знання не приваблюють людей - будем "насильно" зганяти народ, призами і футболками, на зустрічі :)

Потрібно:

- Відгуки про зміни !!!
- Пропозиції. Що змінити чи додати.

- Активність!!! Ні я ні Андрій самі це повноцінно не задрайваємо. 15 хв в тиждень від Вас і к-сть та якість статтей виросте в рази. Якщо Ви не знаєте, як саме допомогти - звертайтесь. Є пул статтей, які б хотілось мати і є матеріал, але бракує часу.


ПС. Потрібні ВАШІ відгуки!!!