Conceitos & Principais características_
Conceito:
Capturar, armazenar, disponibilizar, analisar, visualizar e compartilhar grandes volumes de dados
Grandes volumes de dados vem sendo gerados desde que passamos a registrar informações. Com a recente disseminação dos sensores e IoT, essa geração de dados tornou-se exponencial.
A evolução da capacidade de processamento e os novos modelos de organização dos dados permitiram que este imenso volume de informações – sejam elas imagens, textos, sons, posts em redes sociais e mais uma infinidade de formatos – pudessem ser acessadas, combinadas, comparadas e analisadas de maneira rápida e transparente.
Principais características:
Os 7 “Vs” do Big Data
Volume: grandes volumes de dados, normalmente no casa de Petabytes
Velocidade: velocidade de captura, processamento e disponibilização dos dados
Variedade: mais do que diferentes fontes de dados, tratar diferentes formatos e mídias
Veracidade: acuracidade e confiabilidade da informação incorporada
Variabilidade: diferente da Variedade, trata do entendimento e interpretação do dado, com base no seu contexto
Visualização: como os dados são apresentado, interpretados e consumidos
Valor: geração de valor a partir da aplicação dos aprendizados obtidos na análise e interpretação dos dados
BigData is like teen sex
… everyone talks about it, very few really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it.
Dan Ariely (free adaptation)
Arquitetura
HDP - HortonWorks Data Platform
Na maioria de nossos projetos, adotamos a plataforma HDP – HortonWorks Data Plataform – como arquitetura básica de nossas implementações de Big Data, complementada por soluções – abertas e de mercado – para atender ao escopo completo de ingestão, armazenamento, tratamento de dados em tempo real, análises e geração de insights de negócio de nossos clientes
