Big Data

Big Data

Big Data consiste em conjuntos de dados volumosos, podendo estar centralizados ou distribuídos em diversos servidores, não necessariamente seguindo uma estruturação como nos bancos de dados relacionais.

Siglas

OLTP (Processamento de Transações Online), OLAP (Processamento Analítico Online), ROLAP (OLAP Relacional), MOLAP (OLAP Multidimensional), HOLAP (OLAP Híbrido) e DOLAP (OLAP Distribuído) são usados em contextos específicos para suportar análise de dados e tomada de decisões, cada um com suas próprias vantagens distintas.

Tipos de Dados

Os tipos de dados podem ser classificados em Estruturados (organizados em tabelas com colunas fixas, como em bancos de dados), Semi-Estruturados (com alguma estrutura, mas flexível, como documentos XML ou JSON) e Não Estruturados (sem uma estrutura definida, como texto livre, áudio e vídeo).

Data Warehouse

Um Data Warehouse é um sistema centralizado de armazenamento de dados que coleta informações de diversas fontes dentro de uma organização. Ele é projetado para análises e consultas complexas, fornecendo uma visão integrada e histórica dos dados empresariais.

Data Mining

Data Mining é o processo de descobrir padrões e informações úteis em grandes conjuntos de dados, utilizando técnicas estatísticas e de inteligência artificial para encontrar insights valiosos que podem guiar a tomada de decisões e revelar tendências ocultas nos dados.

ETL x ELT

ETL (Extração, Transformação, Carregamento) é o processo convencional de transformação de dados, enquanto o ELT (Extração, Carregamento, Transformação) inverte a ordem das etapas de transformação, tornando-o mais ágil.

Processo KDD

O Processo KDD (Knowledge Discovery in Databases) busca extrair informações valiosas de grandes conjuntos de dados, percorrendo etapas como seleção, pré-processamento, transformação, mineração de dados e avaliação para identificar padrões e insights úteis.

​

​

​

5Vs do Big Data

Os 5Vs do Big Data incluem: Volume (quantidade de dados), Velocidade (rapidez na geração e atualização dos dados), Variedade (diversidade dos tipos de dados), Veracidade (qualidade e confiabilidade dos dados) e Valor (importância dos dados para tomada de decisões e criação de valor).

Data Lake

Um Data Lake é um repositório amplo de dados que armazena informações de várias fontes e formatos, sem exigir uma estruturação prévia. Ele proporciona flexibilidade e escalabilidade para armazenar grandes volumes de dados brutos para análises futuras.

Tipos de análise de dados

Os tipos de análise de dados incluem: Descritiva (resumindo o passado), Diagnóstica (identificando causas e padrões passados), Preditiva (fazendo previsões sobre o futuro com base em dados passados) e Prescritiva (sugerindo ações específicas para otimizar resultados futuros com base nas previsões).

Data Mart

Data Mart é uma parte menor e especializada de um Data Warehouse, focando-se em áreas temáticas específicas ou departamentos dentro da organização, como marketing ou operações.

Data Swamp

Data Swamp é uma situação na qual os dados de uma organização estão desorganizados, mal gerenciados ou de baixa qualidade, assemelhando-se a um "pântano" de dados confusos e inutilizáveis, o que dificulta a análise e a extração de insights úteis.

​

​

Staging Area

A Staging Area é um local temporário onde os dados originais são copiados para serem processados ou transformados antes de serem entregues. O ETL solicita os dados dessa área, os trata e realiza a entrega final.

Power BI

O Power BI é uma plataforma que integra software, aplicativos e conectores para transformar várias fontes de dados em visualizações atraentes. Facilita a conexão com diferentes fontes de dados, incluindo Excel e data warehouses, para visualização e compartilhamento de informações importantes.