Questão de Tecnologia da Informação

O processamento de dados pode ser viabilizado por modelos de computação distribuída, permitindo a execução de cargas de trabalho tanto em lotes ( batch ) quanto em fluxos contínuos ( streaming ), visando à conversão de dados brutos em informações estruturadas ou semiestruturadas para consumo posterior.

Em arquiteturas de Big Data, o paradigma predominante é o schema-on-write , que exige que todos os dados (mesmo os não estruturados) sejam validados e tipados rigidamente antes de serem persistidos no sistema de armazenamento.

A camada de consumo ou visualização é opcional, dado que a extração de valor e o suporte à decisão ocorrem de forma automática e intrínseca durante o processo de transporte de dados entre os nós do cluster .

A camada de persistência em Big Data fundamenta-se obrigatoriamente em sistemas relacionais com propriedades ACID, visando garantir a integridade referencial estrita em todas as etapas do pipeline .

A camada de ingestão limita-se à coleta de dados em repouso via processos puramente batch, sendo tecnicamente incapaz de capturar fluxos de dados contínuos originados de sensores ou logs .