Последние публикации

C 2017 года мы активно участвуем в развитии системы управления виртуальной инфраструктурой Apache CloudStack. За это время мы создали современный интерфейс пользователя CloudStack-UI, предложили несколько улучшений CloudStack и исправили ряд ошибок. CloudStack – расширяемый продукт с развитым интерфейсом расширений, который позволяет создавать подключаемые модули, изменяющие поведение системы или включающие новые функции.

Сегодня мы представляем первую версию расширения для службы централизованного сбора, хранения и обработки журналов служб, интегрированную с CloudStack. С помощью расширения cloud-vm-logs, администраторы могут собирать записи журналов с виртуальных машин и получать к ним доступ через API CloudStack. Для сбора и хранения записей журналов используется широко применяемый масштабируемый стек, основанный на Filebeat, Logstash, Elasticsearch.

Расширение позволяет пользователю фильтровать записи по времени, файлам журналов и ключевым словам. В следующей версии плагина мы планируем предоставить пользователю консольную утилиту для доступа к журналам, получение статистики журнала и настраиваемое время хранения записей.

Расширение предоставляется под лицензией Apache License 2. Исходный код расширения реализован на Java и доступен на GitHub. Если расширение окажется полезным для вас, будем рады обратной связи и предложениям улучшений.

В данной статье мы рассмотрим архитектуру кластера HDFS 2.x с поддержкой высокой доступности (HA) и процесс развертывания кластера. HA-режим является основным режимом, применяемым на “боевых” кластерах Hadoop и должен использоваться во всех приложениях, к которым предъявляются требования высокой доступности. Современные кластерные оркестраторы, такие как DC/OS или Cloudera CDH предоставляют отказоустойчивый HDFS “из коробки”, однако, бывают случаи, когда требуется развернуть кластер HDFS без использования дополнительных инструментов. В этом случае, вам поможет данное руководство. Кроме того, в этой статье вы сможете узнать о том, как устроен HA-режим в Hadoop HDFS.

Мы часто осуществляем развертывание различных кластерных систем, поэтому хорошие инструкции на вес золота. Сегодня мы предлагаем хорошую инструкцию по развертыванию кластера Hadoop, подходящего для разработки и малых кластеров без требований к высокой доступности.

При использовании DC/OS в масштабируемых системах часто используются десятки и даже сотни серверов. По мере необходимости или в случае аварийных ситуаций узлы могут перезагружаться, при этом фреймворки DC/OS определяют недоступность задач и запускают их на других “живых” узлах или дожидаются, когда выключенные узлы снова будут online и перезапускают остановленные задачи на них.

Иногда это приводит к появлению задач в экзотических состояниях, которые не могут быть удалены как средствами UI, так и средствами DC/OS CLI.

Мы обладаем положительным опытом переобучения разработчиков с различных технологий на другие. В 2008м мы перешли с Perl на Java, Python и PHP5, а в 2014м с PHP5 на Scala.

Наш переход был обусловлен тем, что прибыльность в сегментах падала, а нашим клиентам больше не требовались услуги разработчиков PHP5. Индустрия все время в движении: технологии становятся проще для потребителя, компании и специалисты, которые не хотят адаптироваться, вылетают с рынка. Так произошло с Adobe Flash, Flex, так сейчас происходит с компаниями, которые создают небольшие сайты и контентные проекты.

Дефицит высококлассных специалистов огромный, есть и те, кто “застрял” в своем стеке, проекте, команде. Мы готовы помочь таким специалистам и принять их в нашу команду, переучив на новые технологии. От Вас требуется обладать хорошими фундаментальными знаниями, проработать в индустрии несколько лет, желать освоить современных технологии.

Мы подготовили для Вас небольшое тестовое задание для оценки навыков. Выполните его, выкладывайте на GitHub и присылайте свое резюме нам с пометкой, на какой стек хотите переучиться.

Пример нашей вакансии на HH позволит понять в каких условиях Вы будете работать в Битворкс.