Блог

Оптимизация функций вычисления min и max на Hadoop

Для сбора и анализа статистики функционирования LG Cloud было решено использовать Hadoop, который позволяет оперировать гигантскими объёмами данных и гибко масштабировать систему. Философия Hadoop — приближение кода к данным. Заключается она в том, что данные распределяются по кластеру и обработка их по возможности происходит на тех же нодах, где данные находятся физически (принцип data locality). Так как размер кода гораздо меньше размера данных, общая производительнось оказывается более высокой по сравнению с «традиционным» кластером.

Читать далее

Рубрика:

Повышаем эффективность использования EC2 инстансов в облаке

В этой статье я расскажу про одну особенность биллинга Амазона, которую полезно учитывать если вы делаете автоматически масштабируемый проект.

Читать далее

Рубрика:

Загадочный лимит обращений к CloudWatch

При работе с CloudWatch мы обнаружили недокументированные ограничения, которыми хотели бы поделиться.

В одном из наших проектов мы работали напрямую с объектами CloudWatch. Если кто не знает, CloudWatch — это сервис, предназначенный в первую очередь для мониторинга параметров EC2 инстансов, но в принципе его можно использовать и для других задач. Объект CloudWatch называется метрикой.

Читать далее

Рубрика:

Проблемы при установке Gerrit на CentOS 6.3

Gerrit — это инструмент для code-review при совместной разработке командой девелоперов: http://code.google.com/p/gerrit/. Он тесно интегрирован с репозиторием Git. В нашей компании мы используем оба эти решения, и я как системный администратор отвечаю за их установку и поддержку. 

Читать далее

Рубрика:

카테고리