Qual é a diferença entre um banco de dados e um data warehouse?

Qual é a diferença entre um banco de dados e um data warehouse?

Eles não são a mesma coisa, ou pelo menos estão escritos na mesma coisa (ou seja, Oracle RDBMS)?

Confira isso para mais informações.

De um link anterior:

Base de dados

1. Usado para processamento transacional on-line ( OLTP ), mas pode ser usado para outros fins, como Data Warehousing. Isso registra os dados do usuário para o histórico.
2. As tabelas e junções são complexas, pois são normalizadas (para RDMS ). Isso é feito para reduzir dados redundantes e economizar espaço de armazenamento.
3. Entidade - Técnicas de modelagem relacional são usadas para o design do banco de dados RDMS.
4. Otimizado para operação de gravação.
5. O desempenho é baixo para consultas de análise.

Armazém de dados

1. Usado para processamento analítico online ( OLAP ). Isso lê os dados históricos dos Usuários para decisões de negócios.
2. As tabelas e junções são simples, pois são des normalizadas. Isso é feito para reduzir o tempo de resposta para consultas analíticas.
3. Técnicas de modelagem de dados são usadas para o design do Data Warehouse.
4. Otimizado para operações de leitura.
5. Alto desempenho para consultas analíticas.
6. Geralmente é um banco de dados.

É importante observar também que os Data Warehouses podem ser originados de zero a muitos bancos de dados.

De uma visão não técnica: um banco de dados é restrito a aplicativos ou conjunto de aplicativos específicos.

Um data warehouse é um repositório de dados no nível corporativo. Ele conterá dados de todos / muitos segmentos da empresa. Ele compartilhará essas informações para fornecer uma imagem global dos negócios. Também é fundamental para a integração entre os diferentes segmentos do negócio.

Do ponto de vista técnico: A palavra "Data Warehouse" não recebeu uma definição reconhecida. Pessoalmente, defino um data warehouse como uma coleção de data marts. Onde cada datamart consiste em um ou mais bancos de dados, onde o banco de dados é específico para um conjunto de problemas específico (aplicativo, conjunto de dados ou processo).

Basta colocar um banco de dados é um componente de um data warehouse. Existem muitos lugares para explorar esse conceito, mas como não há uma "definição", você encontrará desafios com qualquer resposta que você der.

Um armazém de dados é um TIPO de banco de dados.

Além do que as pessoas já disseram, os data warehouses tendem a ser OLAP, com índices etc. ajustados para leitura, não gravação, e os dados são desnormalizados / transformados em formulários mais fáceis de ler e analisar.

Algumas pessoas disseram que "bancos de dados" são os mesmos do OLTP - isso não é verdade. OLTP, novamente, é um TIPO de banco de dados.

Outros tipos de "bancos de dados": arquivos de texto, XML, Excel, CSV ..., arquivos simples :-)

A maneira mais simples de explicar isso seria dizer que um data warehouse consiste em mais do que apenas um banco de dados. Um banco de dados é uma coleção de dados organizados de alguma forma, mas um armazém de dados é organizado especificamente para "facilitar relatórios e análises". No entanto, essa não é a história completa, pois o data warehousing também contém "os meios para recuperar e analisar dados, extrair, transformar e carregar dados e gerenciar o dicionário de dados também são considerados componentes essenciais de um sistema de data warehousing".

Armazém de dados

DataBase : - OLTP (processo de transação online)

• São dados atuais, dados detalhados atualizados e dados isolados relacionais simples.
• O relacionamento da entidade é usado para projetar o banco de dados
• Transação simples ou quires de tamanho de banco de dados de 100 MB-GB

Armazém de dados

• OLAP (processo analítico online)
• Trata-se de dados históricos Esquema estrela, esquema de neve flexionada e galáxia
• O esquema é usado para projetar o armazém de dados
• Tamanho do banco de dados 100GB-TB Base aprimorada de desempenho de consulta para MINERAÇÃO DE DADOS VISUALIZAÇÃO DE DADOS
• Permite que os usuários obtenham uma compreensão e um conhecimento mais aprofundados sobre vários aspectos de seus dados corporativos por meio de acesso rápido, consistente e interativo a uma ampla variedade de visualizações possíveis dos dados

Data Warehouse x Banco de Dados: Um data warehouse é especialmente projetado para análise de dados, que envolve a leitura de grandes quantidades de dados para entender relacionamentos e tendências entre os dados. Um banco de dados é usado para capturar e armazenar dados, como detalhes de gravação de uma transação.

Data Warehouse: cargas de trabalho adequadas - análises, relatórios, big data. Fonte de dados - Dados coletados e normalizados de várias fontes. Captura de dados - operações de gravação em massa geralmente em uma programação de lote predeterminada. Normalização de dados - esquemas desnormalizados, como o esquema Star ou esquema Snowflake. Armazenamento de dados - Otimizado para simplicidade de acesso e consulta de alta velocidade. desempenho usando armazenamento colunar. Acesso a dados - Otimizado para minimizar E / S e maximizar a taxa de transferência de dados.

Banco de dados transacional: cargas de trabalho adequadas - Processamento de transações. Fonte de dados - Dados capturados como estão de uma única fonte, como um sistema transacional. Captura de dados - Otimizada para operações de gravação contínua, pois novos dados estão disponíveis para maximizar o rendimento da transação. Normalização de dados - esquemas estáticos altamente normalizados. Armazenamento de dados - Otimizado para operações avançadas de gravação em um único bloco físico orientado a linhas. Acesso a dados - grandes volumes de pequenas operações de leitura.

Qualquer armazenamento de dados para aplicativo geralmente usa o banco de dados. Pode ser um banco de dados relacional ou nenhum banco de dados sql atualmente em tendência.

O data warehouse também é banco de dados. Podemos chamar o banco de dados do data warehouse como armazenamento de dados especializado para fins de relatórios analíticos para a empresa. Esses dados são usados ​​para as principais decisões de negócios.

Os dados organizados ajudam a relatar e tomar decisões de negócios com eficiência.

Base de dados:

Usado para processamento transacional on-line (OLTP).

• Orientado a transações.
• Aplicação orientada.
• Dados atuais.
• Dados detalhados.
• Dados escaláveis.
• Muitos usuários, administradores / operacionais.
• Tempo de execução: curto.

Armazém de dados:

Usado para processamento analítico online (OLAP).

• Análise orientada.
• Orientado ao assunto.
• Data histórica.
• Dados agregados.
• Dados estáticos.
• Não há muitos usuários, gerente.
• Tempo de execução: longo.

Um Data Warehousing (DW) é um processo para coletar e gerenciar dados de várias fontes para fornecer informações comerciais significativas. Um data warehouse geralmente é usado para conectar e analisar dados de negócios de fontes heterogêneas. O data warehouse é o núcleo do sistema de BI desenvolvido para análise e geração de relatórios de dados.

A origem do data warehouse pode ser um cluster de bancos de dados, porque os bancos de dados são usados ​​para o processo de transação on-line, como manter os registros atuais ... mas, no data warehouse, ele armazena dados históricos que são para o processo analítico on-line.

Um Data Warehouse é um tipo de estrutura de dados geralmente hospedado em um banco de dados. O Data Warehouse refere o modelo de dados e que tipo de dados são armazenados lá - dados que são modelados (modelo de dados) para servir a um propósito analítico.

Um banco de dados pode ser classificado como qualquer estrutura que hospede dados. Tradicionalmente, isso seria um RDBMS como Oracle, SQL Server ou MySQL. No entanto, um banco de dados também pode ser um banco de dados NoSQL como o Apache Cassandra ou um MPP colunar como o AWS RedShift.

Você vê que um banco de dados é simplesmente um local para armazenar dados; um armazém de dados é uma maneira específica de armazenar dados e serve a um propósito específico, que é atender a consultas analíticas.

OLTP vs OLAP não informa a diferença entre um DW e um banco de dados, ambos OLTP e OLAP residem nos bancos de dados. Eles apenas armazenam dados de uma maneira diferente (diferentes metodologias de modelo de dados) e servem a propósitos diferentes (OLTP - transações de registro, otimizadas para atualizações; OLAP - analisa informações, otimizadas para leituras).

Veja em palavras simples: Dataware -> Dados enormes usando para Analítico / armazenamento / cópia e Análise. Banco de Dados -> Operação CRUD com dados usados ​​com freqüência.

Dataware house é o tipo de armazenamento que você não está usando diariamente e o banco de dados é algo que você está lidando com frequência.

Por exemplo. Se estivermos pedindo extrato bancário, ele nos fornece há 3/4/6 / more meses bcoz no banco de dados. Se você quer mais do que isso, armazena na casa Dataware.

Exemplo: Uma casa vale a pena $100,000e está valorizando a $1000cada ano.

Para acompanhar o valor atual da casa, você usaria um banco de dados, pois o valor mudaria todos os anos.

Três anos depois, você seria capaz de ver o valor da casa que é $103,000.

Para acompanhar o valor histórico da casa, você usaria um armazém de dados, pois o valor da casa deve ser

$100,000 on year 0, 
$101,000 on year 1, 
$102,000 on year 2, 
$103,000 on year 3.