Antes de responder porque utilizar o Hadoop na nuvem é importante lembrar que estamos vivendo a era da informação com uma explosão de ambientes, ferramentas, aplicações, empresas e profissões que surgiram exclusivamente em função da informação e o Hadoop vem na esteira das necessidades da era da informação.
E por falar em informação, aqui vão algumas.
O que é Hadoop
É um ecossistema voltado para BigData.
Um conjunto de softwares para o armazenamento e processamento de big data, ou seja, grandes volumes dados.
Sua arquitetura distribuída foi desenvolvida para não depender de altíssimo poder de processamento de um único computador mas utilizar tal poder de processamento de vários, ou até milhares, de computadores de baixo custo formando clusters.
Possui seu próprio sistema de detecção de falhas na camada de aplicação para não depender de alta disponibilidade fornecida por hardware. Significa dizer que o Hadoop pode, por exemplo, entender uma falha num nó do cluster e se auto ajustar para continuar funcionando com alta disponibilidade.
Estrutura Principal do Hadoop
HDFS é o sistema de arquivos distribuído que armazena e gerencia volumes de dados massivos e que foi desenvolvido com a premissa do custo-benefício, ou seja, rodar em hardware de baixo custo, sistema operacional livre (como o Linux) e desenvolvimento em java para garantir a portabilidade.
MapReduce é o motor que recebe as requisições das aplicações cliente e realiza o processamento dos dados com técnicas de processamento paralelo de massivos conjuntos de dados armazenados em clusters.
O MapReduce de próxima geração (2.0) agora é chamado YARN com o processamento mais eficiente.
Hadoop Common que são as bibliotecas de base responsável por orquestrar o ecossistema.
Vantagens do Hadoop
Custo-Benefício
Hadoop é livre o que significa não há custos com licenciamento. Além disso, roda em um sistema operacional que também é livre o Linux (embora possa rodar em outro sistema operacional).
Por fim, seus muitos nós podem ser implementados sobre clusters de máquinas de baixo de custo.
Escalável
O poder de processamento de grandes quantidades de dados pode ser rapidamente expandido horizontalmente, ou seja, na medida em que mais nós são acrescentados ao cluster.
Confiabilidade
A arquitetura do ambiente Hadoop foi desenvolvida para ser tolerante a falhas e não depende de soluções de alta disponibilidade fora de sua estrutura.
Desempenho
O Hadoop utiliza técnicas de processamento paralelo independente onde nós do cluster processam dados armazenados que estão próximos conferindo mais velocidade para dados massivos.
Flexibilidade
Armazena dados tanto estruturados como não estruturados e possui uma grande quantidade de ferramentas de apoio, inclusive desenvolvidas pelo mesmo criador, que apoiam diversas áreas de negócio.
Hadoop na nuvem
Big Data e Cloud Computing estão entre os grandes impulsionadores é da transformação digital sendo a cloud pública o grande pivô da disseminação e popularização do uso de Big Data.
E o Hadoop tem surfado na onda de vantagens da nuvem.
Dentre algumas vantagens do Hadoop na nuvem que vale muito citar:
Custos
Investimentos com infraestrutura (hardware, climatização, energia, segurança física e etc) deixam de ser necessários e modelo pay-as-you-go (pague pelo que usar) torna o aspecto financeiro bastante atrativo para estratégias de Big data com Hadoop na nuvem.
Reciclagem
Teste, jogue fora, teste novamente, jogue fora …
Num ambiente de cloud computing essa cultura devOps se encaixa com muita precisão pois neste tipo de ambiente que se consegue maior agilidade para desfazer-se e reconstruir um ecossistema como o Hadoop na nuvem sempre que necessário.
Online
Ecossistemas Hadoop na nuvem ficam prontos há bem menos cliques quando comparados ao ambiente convencional e velocidade pode ser fundamental na estratégia de negócios.
Opções Disponíveis
São milhares de opções de sistemas para Analytics e Business Intelligence que se baseiam em hadoop e estão disponíveis nativamente na nuvem e com API para a nuvem. O Marketplace da AWS, por exemplo, oferece centenas de opções.
Entre as opções de ecossitesmas Hadoop na nuvem disponíveis estão o Amazon EMR, a Microsoft Azure HDInsight e o Google Cloud Dataproc.
A Computer Consulting é uma empresa com mais de 20 anos no mercado. Consultoria AWS parceira especializada em Cloud Computing, Linux e Cibersegurança.
