После практически семи лет разработки и тонкой подстройки, программное обеспечение для обработки больших объемов распределенных данных Apache Hadoop готово для промышленного использования. Накануне в среду фонд разработки программного обеспечения Apache Software Foundation сообщил о разработке первой стабильной версии Hadoop.

"Теперь пользователи этого программного обеспечения могут быть уверены в стабильности Hadoop и в его поддержке со стороны сообщества разработчиков открытого программного обеспечения", - говорит Арон Мерфи, вице-президент по разработке Apache Hadoop.

По его словам, в новой версии Apache Hadoop появились три основных момента, заслуживающих внимания. Во-первых, здесь появился законченный менеджер безопасности, работающий на базе протокола аутентификации Kerberos, что позволяет предприятиям поручать Hadoop обработку закрытой информации. Во-вторых, тут появился новый набор REST API (representational state transfer application programming interface), позволяющий Hadoop взаимодействовать с различными веб-технологиями, понятными многим ИТ-администраторам и веб-программистам. В-третьих, здесь появилась полноценная версия HBASE, позволяющая администраторам, знакомым с реляционными базами данных, хранить информацию в привычном виде.

Напомним, что продукт Hadoop был создан в 2005 году на базе алгоритма для обработки распределенных данных Google MapReduce. Значительный вклад в создание продукта внесла Yahoo, создавшая базу Hadoop и опробовавшая ее на почти 40 000 собственных серверах. Сейчас Hadoop представляет собой инструмент для процессинга больших объемов информации, разделенной между десятками или даже сотнями серверов.

Сейчас разработчиками Hadoop являются несколько сотен индивидуальных программистов и 35 крупных корпоративных разработчиков. Среди пользователей Hadoop значатся такие компании, как JPMorgan Chase, Ebay, IBM, Google и другие. Также Apache Hadoop имеет коммерческую реализацию с технической поддержкой, которую предоставляет компания Cloudera.