Perguntas com a marcação «data-warehouse»

As topologias dominantes da modelagem do Data Warehouse (Star, Snowflake) são projetadas com relacionamentos um-para-muitos. A legibilidade, o desempenho e a estrutura da consulta diminuem severamente quando confrontados com um relacionamento muitos para muitos nesses esquemas de modelagem. Quais...

Percebi que minha empresa usa um processo ELT (extrair-carregar-transformar) em vez de usar um processo ETL (extrair-transformar-carregar). Quais são as diferenças nas duas abordagens e em quais situações uma seria "melhor" que a outra? Seria ótimo se você pudesse fornecer alguns...

Estou ajustando o desempenho de um data warehouse usando índices. Eu sou bastante novo no SQL Server 2014.A Microsoft descreve o seguinte: "Vemos o índice columnstore clusterizado como o padrão para armazenar grandes tabelas de fatos de data warehousing e esperamos que ele seja usado na maioria...

Ao usar uma tabela temporal com versão do sistema (nova no SQL Server 2016), quais são as implicações de autoria e desempenho da consulta quando esse recurso é usado para lidar com dimensões de alteração lenta em um grande armazém de dados relacionais? Por exemplo, suponha que eu tenha uma...

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Exchange Administrator Stack Exchange. Fechado há 4 anos . Eu me pergunto que essa...

Preciso oferecer suporte a campos e valores dinâmicos em um grande datawarehouse para armazenar o log de solicitações de API. Meu caso de usuário é que preciso armazenar todas as cadeias de consulta de solicitações de API e poder executar consultas com elas no futuro (para que não seja apenas...

Ocasionalmente, faço download de conjuntos de dados publicamente disponíveis na forma de dBs do Postgres. Esses conjuntos de dados são atualizados / modificados / expandidos ao longo do tempo pelo host do repositório. Existe um comando ou ferramenta do Postgres (idealmente FOSS) que possa mostrar...

Eu tenho um armazém de dados de 200 GB no SQL Server. Tenho experimentado tempos de execução muito lentos para algumas consultas; por exemplo, 12 horas para uma deleteconsulta simples com um inner join. Depois de fazer algumas pesquisas com os planos de execução, atualizei as estatísticas das 2...

Estamos começando a projetar os blocos de construção de um data mart / armazém e precisamos oferecer suporte a todos os fusos horários (nossos clientes são de todo o mundo). Ao ler as discussões on-line (e nos livros), uma solução comum parece ter uma dimensão separada de data e hora, além de um...

Com base em minha análise, um modelo dimensional completo para nosso data warehouse exigirá a extração de mais de 200 tabelas de origem. Algumas dessas tabelas serão extraídas como parte de uma carga incremental e outras serão uma carga completa. Para observar, temos cerca de 225 bancos de dados...

No Oracle Exadata (11gR2), temos um banco de dados relativamente robusto. cpu_count é 24 parallel_server_instances é 2 parallel_threads_per_cpu é 2 Observamos, através da observação no Oracle Enterprise Manager (OEM), que o desempenho foi péssimo devido à execução de consultas em série. Para...

Sou bastante novo no PostgreSQL, nunca fiz uma grande implantação usando-o antes. Mas tenho uma boa experiência em soluções corporativas e quero tentar aplicar um pouco do que aprendi usando o PostgreSQL. Eu tenho um site dimensionado para lidar com grande número de dados e tráfego. A...

Alguma literatura sobre compactação de dados do SQL Server que li afirma que o custo de gravação aumenta para cerca de quatro vezes o que seria normalmente necessário. Também parece implicar que essa é a principal desvantagem da compactação de dados, o que implica fortemente que, para um banco de...

Estou trabalhando em um cálculo de "parte traseira do envelope" para uma configuração de banco de dados de relatórios de 100 TB. Estou procurando pensamentos dos especialistas aqui. Ambiente proposto: Capacidade de armazenamento ~ 100 TB Tabelas ~ 200, tamanhos que variam de 1 GB a 5 TB. tamanho...

Estamos tentando otimizar um design de data warehouse que ofereça suporte a relatórios de dados por muitos fusos horários. Por exemplo, podemos ter um relatório de um mês de atividade (milhões de linhas) que precisa mostrar a atividade agrupada por hora do dia. E é claro que a hora do dia deve ser...

Estou envolvido em um novo projeto, no qual tenho que criar um cubo de dados a partir do sistema de banco de dados relacional existente. Eu entendi que, o sistema existente não foi projetado corretamente, não sei por onde começar. Minha pergunta é: Qual é a diferença entre o Star Schema e o...

Estamos apenas começando o design de um novo data warehouse e estamos tentando projetar como nossas dimensões de data e hora funcionarão. Precisamos oferecer suporte a vários fusos horários (provavelmente pelo menos GMT, IST, PST e EST). Inicialmente, pensávamos que teríamos uma dimensão de data e...

Depois de ler as Perguntas e respostas deste site sobre índices, uma pergunta veio à minha mente. E se, estiver usando uma tabela de dimensão de tempo com o menor nível de granularidade sendo o dia. Onde se deve colocar os índices? Randy Melder na pergunta: O que significa "índice" no RDBMS?...

Estamos construindo um data warehouse que inicialmente terá 1 TB e crescerá em torno de 20gigs por mês. Para determinadas tabelas, estamos executando processos ETL diários e outros, semanalmente / mensalmente. Quando há uma importação de dados em uma tabela, é necessário descartar e recriar os...

Eu sou novo no design de data mart e preciso limpar alguns conceitos. Eu li um pouco sobre modelagem de dimensões em que vejo que tabelas de fatos armazenam referências de chave estrangeira a tabelas de dimensões. Agora, suponha que eu tenha uma tabela de dimensões de número de telefone e uma...