Olá, pessoal!

No post de hoje vamos abordar uma nova arquitetura de dados que está se tornando tendência. Conhecida como Data Mesh, ou malha de dados, trata-se de uma abordagem que pode ajudar as organizações a lidarem com problemas associados à análise de gran des conjuntos de dados que estão distribuídos em diferentes times e áreas do negócio. Ao contrário de um Data Warehouse ou Data Lake, onde centralizamos os dados para análises, o Data Mesh surge com uma proposta descentralizada e orientada por domínio.

Mas o que seria um design orientado a domínio?

Nessa proposta, os dados são direcionados para diversas equipes distribuídas nos domínios. Isso permite que cada equipe gerencie as suas integrações não dependendo de uma única equipe de engenharia de dados para sustentar o ambiente, fazendo com que cada um assuma a responsabilidade por seus dados.

Além disso, a equipe de domínio é responsável por satisfazer as necessidades de outros domínios, fornecendo dados de alta qualidade, de forma ágil e escalável, já que utiliza o autoatendimento com complexidade reduzida para uma entrega de dados mais rápida.

Cada domínio deve ser detectável, confiável, seguro (controle de acesso global), interoperável (padrão aberto) e autoexplicativo.

A malha propriamente dita surge quando as equipes usam os produtos de dados de outros domínios. Esse conceito apresenta uma grande vantagem, pois um time não precisa entender todas as regras de outro domínio para poder utilizar os dados e considerando que o domínio que detém os dados conhece as suas regras melhor do que qualquer outro, podemos presumir que a sustentação será mais ágil e assertiva.

Como identificar se uma organização necessita ou não da arquitetura de Data Mesh?

Se sua organização é considerada pequena e não tem várias equipes que precisam analisar e disponibilizar dados diariamente; ou se está feliz com seu sistema de integração de dados convencional, no qual há uma equipe central que consegue atender à organização sem atrasos ou outros problemas, essa solução não é para você.

A malha de dados deve ser utilizada quando se percebe um gargalo na equipe de dados, no qual esta não pode lidar com todas as questões analíticas da gestão. A equipe de dados normalmente precisa entregar respostas de forma rápida, porém, na maioria das vezes, ela gasta muito tempo realizando tratamentos nestes dados, o que atrasa todo processo de entrega.

Se este é seu caso, essa solução pode ser para você.

Se você se interessou pela malha de dados e por uma arquitetura de dados descentralizada, mas ainda tem dúvidas, entre em contato conosco.

Espero que este post tenha sido útil para você!

Até a próxima!