Tipos de atualização SQL

Incremental Normal

O tipo de atualização incremental Normal mantém os dados existentes intactos e carrega novos conteúdos a partir de um determinado valor do campo Incremental.

Configuração de um incremental Normal

1. Incremental: é a coluna de uma tabela ou o alias de um campo presente na consulta SQL (e, portanto, o "alias de DB" ou Fieldname do campo no conjunto de dados) a ser usado na condição incremental, geralmente uma coluna numérica auto-incremental ou uma data;
2. Variable: é a variável utilizada internamente pelo Vision e assume o valor máximo do campo incremental no conjunto de dados antes da atualização ($last_value$). Este valor não é alterado, exceto nas situações em que é necessário implementar uma condição incremental mais complexa. Nestas situações, o Administrador do Vision deve ser contactado para avaliar o caso.
3. A condição incremental é adicionada à instrução SQL, inserindo na parte where da consulta um texto especial: $condition$. O Vision entende este texto como uma variável ao executar a consulta, resolve primeiro o valor de $last_value$ e substitui $condition$ por campo_incremental > last_value . Terá de escrever uma consulta SQL válida, inserindo a variável $condition$ corretamente na cláusula where da consulta.

Sintaxe SQL válida usando um alias na condição incremental

Incremental Janela

Este tipo de atualização é uma extensão do incremental normal, uma vez que insere dados de um valor anterior ao valor máximo do campo incremental no conjunto de dados. Só é possível utilizá-la com um campo incremental do tipo Data: a janela é o intervalo que especifica através da configuração.

Todos os dados do conjunto dentro da janela são eliminados e a consulta SQL é lançada com uma condição que resulta em dados a partir da data inicial da janela, incluindo registos com datas previamente carregadas e com novas datas não carregadas (como o incremental normal). Os registos no conjunto de dados anteriores ao início da janela não são alterados.

Este tipo de atualização dá resposta aos cenários em que não se pretende efetuar uma atualização completa mas que é necessário carregar novos registos e também alterar alguns registos recentes, sem especificar quais. Por exemplo: dados contabilísticos de um exercício aberto que são corrigidos, montantes de vendas que são modificados devido a descontos aplicados, etc.

A configuração deste tipo de atualização divide-se em 2 partes:

1. A parte incremental procede de forma semelhante à incremental normal: é necessário indicar o campo incremental e inserir na parte where da consulta SQL o texto $condition$, que será entendido como uma variável e o Vision substitui-lo-á pela expressão campo_incremental >= window_start_value.
2. É indicado como determinar a data de início da janela, que será uma data anterior à data atual window_start_value = today - X "time units". Para determinar X e time units estão disponíveis 3 opções diferentes:
   • Período atual: a janela é um período dinâmico que abrange o intervalo de tempo atual correspondente à unidade selecionada e que pode assumir os valores anos, meses, semanas, dias, horas ou minutos. Por exemplo, se escolher a unidade "anos", o início do intervalo começa no dia 1 de janeiro do ano atual, se for escolhida a unidade "mês", o dia 1 do mês atual, etc.
   • Intervalo exato: a janela é um intervalo de tempo fixo indicado pelo número de períodos e pela unidade de tempo, por exemplo, se for indicado "2 semanas" e a atualização for executada numa "quinta-feira", a janela começa na quinta-feira há 2 semanas.
   • Intervalo completo: esta opção é uma combinação do período atual e do intervalo exato, uma vez que arredonda o início da janela para o intervalo completo da unidade selecionada. Por exemplo, se indicar:
     - 1 ano, a janela tem início a 1 de janeiro do ano anterior ao ano atual (vai um ano para o passado e arredonda de acordo com a unidade de tempo);
     - 0 meses, o intervalo tem início no dia 1 do mês atual;
     - 2 semanas, o intervalo tem início no domingo de há 2 semanas (a semana na Vision inicia-se no domingo e termina ao sábado).

Configuração de um incremental Janela

Incremental Últimas Alterações

Este tipo de atualização mantém alguns dos dados existentes intactos, atualiza (ou elimina) alguns deles e também carrega novos conteúdos.

A configuração deste tipo de atualização divide-se em 3 partes:

1. Campo Incremental: é a coluna de uma tabela ou o alias de um campo presente na consulta SQL (e, por conseguinte, o "DB alias ou Fieldname" do campo no conjunto de dados) a utilizar na condição incremental, normalmente a data de criação/atualização de cada registo.
2. É necessário definir uma chave primária (PK) do registo. Na caixa de texto correspondente, são escritos os nomes dos campos que formam esta PK (primar Enter para ativar cada campo escrito). No processo de atualização, para cada registo que chega como resultado da consulta, o registo equivalente no conjunto de dados é procurado por comparação com a PK: se for encontrado, é atualizado pelo novo registo, e se não for encontrado, é inserido tal como está, uma vez que é um novo registo.
3. A condição incremental é adicionada à instrução SQL, inserindo na parte where da consulta um texto especial: $condition$. O Vision entende este texto como uma variável e, quando executa a consulta, resolve primeiro o valor de $last_value$ e substitui $condition$ por campo_incremental > last_value. Terá de escrever uma consulta SQL válida, inserindo a variável $condition$ corretamente na cláusula where da consulta.
4. O processo permite não só atualizar dados, mas também eliminar registos. Para tal, deverá incluir um campo na consulta SQL com o nome "_delete": quando o valor do campo é "true" e o PK do registo coincide com o PK de uma linha no conjunto de dados, o registo é eliminado. No entanto, esta parte não é obrigatória: se não for incluída, nenhum registo é eliminado.

Configuração de um incremental Últimas alterações

É importante referir que este tipo de atualização necessita de uma gestão e estruturação da informação lógica na base de dados:

• A consulta SQL deve preferencialmente incluir apenas novos registos ou registos a serem modificados. Neste sentido, trata-se de um processo quase incremental, ou seja, recomenda-se que não sejam incluídas informações de registos existentes que não tenham sofrido alterações, pois seriam transferidas informações desnecessárias entre a base de dados de origem e o Vision e, neste último, seriam efetuadas comparações de PK inúteis, uma vez que o conteúdo permanece igual. Para utilizar este tipo de atualização, deverá ter a data em que a informação foi registada (criação ou atualização), pelo que o campo incremental será essa data de "controlo", e não a data associada a outro evento presente no conjunto de dados (uma venda, uma fatura, etc.).
• O processo de eliminação é efetuado no Vision com base nas informações que chegam na consulta SQL. Neste sentido, na base de dados de origem deve ser efetuada uma eliminação lógica dos registos, ou seja, os registos devem ser marcados como eliminados em vez de uma eliminação física, caso contrário estes registos não fariam parte do resultado da consulta SQL. Se não for possível evitar a eliminação física, uma solução possível consiste em copiar os registos a eliminar para uma tabela auxiliar antes de os eliminar. Desta forma, estes registos já podem ser incluídos na consulta SQL, por exemplo, através de uma junção com a tabela auxiliar.