Por Fernanda Stedile e Oberdan Schaider
Olá, pessoal!
Hoje vamos entender um pouco mais sobre as features analíticas do Azure. Vamos conhecer as ferramentas Databricks, Data Lake, Data Factory e Synapse. Afinal, o que esse “alphabet soup” quer dizer? Vamos lá!
Databricks
É uma plataforma de análise de dados usada no Azure e oferece duas ferramentas de desenvolvimento, com uso intenso de dados, sendo eles: Análise de SQL e Workspace do Azure Databricks.
A ferramenta Análise de SQL é um ambiente onde é possível realizar consultas para um fim específico e criar painéis com os dados que ficam armazenados em um Data Lake. Já o Workspace do Azure, permite a colaboração e interação de diversos profissionais numa plataforma, que é bastante intuitiva e simplificada na hora de criar fluxos de trabalho.
Data Lake
Esta ferramenta de armazenamento de dados, simplifica a forma como os dados são armazenados, sendo que podem ser de qualquer tipo, tamanho e forma e com velocidade, além disso o Data Lake torna a análise de dados em lote muito mais rápida.
Ainda nos possibilita processá-los e analisá-los em diferentes plataformas e linguagens, como SQL, Apache Hadoop, Apache Spark, R, Python, Java e .NET.
Data Factory
O Azure Data Factory é um serviço de integração de dados e ETLs. Com ele é possível criar e agendar pipelines, onde você pode buscar dados em inúmeros repositórios. Podendo utilizar o Azure Data Factory para conectar dados de diferentes origens para um armazenamento em comum, mesmo que algumas partes desses dados estejam armazenadas em On-Premisses. O ADF também conta com o serviço de monitoramento dos pipelines, por meio de Azure Monitor e PowerShell, por exemplo.
Synapse
O Azure Synapse facilita os insights entre DW e Big Data, através de alguns recursos como SQL, Spark e Pipelines. Com o SQL do Synapse podemos trabalhar com DW e virtualização de dados através do T-SQL em um modelo sem servidor ou dedicado. Com o Azure Synapse ainda há a possibilidade de integração com outros serviços disponibilizados pelos Azure, como Power BI e CosmosDB (falaremos sobre eles futuramente). Tudo isso pode ser feito através do Synapse Studio, o que facilita muito para nós.
Neste artigo demos uma pincelada em alguns dos principais serviços disponíveis no Azure. Em um próximo momento iremos nos aprofundar em cada um deles, mas por enquanto deu para ter uma ideia do que é essa “sopa de letrinhas”.