Carregamento e atualização de dados

Para que a informação possa ser visualizada num dashboard, os dados devem ser previamente carregados no Vision. Este artigo descreve como os dados são carregados, as diferentes opções para os transformar através de processos ETL e as estratégias disponíveis para manter os datasets atualizados.

Dados no Vision

O Vision utiliza uma base de dados MongoDB própria. Por isso, toda a informação apresentada num dashboard deve ser previamente carregada num dataset do Vision.

Os dados podem ser carregados a partir de diferentes origens, como ficheiros csv ou Excel, serviços de carregamento de dados, bases de dados ou outros datasets do Vision.

No desenvolvimento de produtos Cegid existem duas formas principais de carregar dados num dataset:

• Modelo push: o produto envia os dados através de serviços de carregamento e eliminação de dados;
• Modelo pull: o Vision obtém os dados diretamente de uma base de dados do cliente através de uma consulta, depois de configurada a respetiva ligação.

Processos ETL de consolidação

Desde os dados de origem até à sua visualização no Vision, a informação pode passar por diferentes etapas de transformação ou consolidação, em função das necessidades de cada desenvolvimento:

1. Dados originais na base de dados: correspondem à estrutura de dados imutável que dá origem à informação;
2. Manipulações na própria base de dados de origem: tabelas consolidadas ou vistas. Tendo em vista a exploração de dados, especialmente em dados de origem transacional, podem fazer-se manipulações (ETLs) na própria base de dados através de procedimentos armazenados, vistas ou processos externos que consolidam tabelas. Em muitas ocasiões esta opção é descartada (exceto o uso de vistas) porque implica intervir na base de dados utilizada pelo cliente e manter os processos diretamente sobre ela;
3. Consulta do Vision à base de dados de origem: para carregar os dados num dataset do Vision, pode executar-se uma consulta SQL ou NoSQL à base de dados de origem. Esta opção requer que a lógica de negócio, as consolidações e os cálculos sejam resolvidos numa única consulta. Como vantagem, a consulta é executada sobre a base de dados onde residem os dados originais e apenas é necessário manter a consulta armazenada no Vision, sem criar objetos ou processos adicionais na base de dados de origem. Por isso, pode ser uma alternativa à consolidação na base de dados de origem, especialmente quando não é conveniente ou não é possível fazer alterações sobre ela.
4. ETL no Vision: um dataset do Vision pode utilizar outro dataset do Vision como origem de dados. A partir de um dataset principal podem construir-se outros datasets através de consultas do Vision. Esta etapa pode gerar redundância de dados, afetar o desempenho e aumentar o custo de manutenção, uma vez que a informação pode ser replicada em vários datasets e o Vision não foi concebido como uma ferramenta específica para processos ETL.
5. Consulta de dados nos widgets do Vision: a última etapa de transformação pode ser realizada na consulta que cada widget executa sobre o seu dataset. Estas consultas utilizam a linguagem própria do Vision e podem incorporar lógica de negócio, consolidações ou cálculos que não tenham sido feitos em etapas anteriores. Como as consultas são executadas em tempo real quando o utilizador visualiza o dashboard, é importante controlar a sua complexidade e o volume de dados processados para manter um tempo de resposta adequado.

Não existe uma única estratégia válida para todos os desenvolvimentos. A escolha dependerá de fatores como:

• A disponibilidade dos dados;
• A possibilidade de fazer alterações na base de dados;
• O desempenho das consultas e dos processos executados;
• Os custos associados;
• Os recursos disponíveis e o respetivo conhecimento técnico.

Atualização dos dados

A frequência de atualização dos dados está diretamente relacionada com o processo de carregamento.

Tal como acontece noutras ferramentas de BI, o Vision trabalha com dados consolidados armazenados na sua própria base de dados e executa consultas otimizadas sobre eles. Isto permite mostrar informação com um elevado grau de consolidação e tempos de resposta reduzidos.

No modelo push, o produto de origem determina quando e como os dados são carregados.

No modelo pull, é necessário definir um agendamento que estabeleça a frequência e o modo como o Vision atualiza a informação a partir da base de dados de origem.

Existem dois tipos de atualização:

• Carregamento completo: elimina os dados e carrega-os novamente;
• Carregamento parcial ou incremental: evita eliminar todo o conteúdo existente. Os carregamentos incrementais podem ser realizados de três formas:
  • Inserir apenas informação nova;
  • Eliminar uma parte dos dados existentes e voltar a carregá-la;
  • Inserir informação nova e atualizar parte dos dados existentes.

A estratégia de atualização dependerá da natureza dos dados de origem e do modelo de dados da base de dados de origem, uma vez que nem sempre é possível realizar carregamentos incrementais sem eliminar dados previamente.

Habitualmente é agendada uma atualização diária em horário noturno. Esta frequência costuma ser suficiente para manter atualizados dados de natureza mensal ou anual sem interferir na utilização do produto de origem ou do Vision.