Snowflake, a plataforma de dados na cloud
A Snowflake tornou-se em poucos anos numa ferramenta de referência no mercado de Data Warehousing as a Service (DWaaS), destacando-se como uma alternativa aos sistemas tradicionais como são Oracle ou Hadoop.
Uma das grandes vantagens de Snowflakes é a sua velocidade no processamento de consultas: os dados são armazenados de forma distribuída em diferentes clusters, o que permite que as consultas sejam processadas em paralelo, encurtando significativamente o tempo de resposta. Tal como refere Ken Wook, Data Team Manager em CapSpecialty “Com Snowflake podemos executar relatórios que antes demoravam 2-3 dias em apenas 45 minutos”.
Esta velocidade é possível graças à sua arquitetura, constituída por 3 camadas fisicamente separadas:
- Uma camada superior com um conjunto de serviços em cloud, que permitem a gestão da segurança de acesso aos dados, a gestão de metadados, diferentes interfaces para carregar e descarregar dados, ferramentas de otimização, etc.
- Uma camada intermédia encarregue dos cálculos, completamente separada dos dados e organizada em clusters entre os quais se repartem as tarefas computacionais.
- Uma camada de armazenamento independente e centralizado que pode funcionar em Amazon Web Services, Google Cloud ou Microsoft Azure.
Outra grande vantagem do Snowflake é a gestão da segurança e das permissões de acesso aos dados, o que facilita a partilha de informação. A informação não é movida ou duplicada, mas são estabelecidas permissões de acesso, de modo a que a informação esteja sempre atualizada e disponível para os utilizadores ou organizações com as permissões necessárias. Além disso, a informação é automaticamente codificada pelo Snowflake, o que acrescenta um nível extra de segurança de forma transparente para o utilizador.
Snowflake é um produto desenvolvido desde o início com uma filosofia 100% cloud, pelo que a escalabilidade dos recursos é extremamente simples para o administrador, sendo gerida a partir do painel de controlo da ferramenta. Esta escalabilidade pode ser de dois tipos:
- Vertical para melhorar o desempenho em cenários de queries pesados e carregamento de dados.
- Horizontal para melhorar o desempenho em situações de elevada concorrência de queries.
Finalmente, seguindo esta filosofia Cloud, todos os custos são variáveis, dependendo do tempo de execução das consultas e do volume de dados armazenados, sem custos associados a estruturas físicas, o que lhe permite pagar pelo uso efetivo da ferramenta.
A nossa empresa fechou um acordo de parceria, tal como fizemos com a Qlik, desta vez com a plataforma Snowflake, o que nos permitirá melhorar a nossa carteira de serviços e capacidades no âmbito da gestão e governação de dados. Nas palavras de David Puig, Head of Data, "Snowflake está a tornar-se uma das ferramentas de maior crescimento e com mais potencial no campo da governação, armazenamento, processamento e partilha de dados na cloud. Esta colaboração permite à Izertis permanecer na vanguarda das novas tecnologias e assim fornecer, a todos os nossos clientes, novas soluções tecnológicas, graças ao serviço de monitorização tecnológica que efetuamos para continuarmos a ser uma referência no universo da gestão de dados".