O DataOps pode ser definido como uma transformação tecnológica e cultural, cujo objetivo é aprimorar o uso dos dados em uma empresa ou organização. Em outras palavras, é um conjunto de práticas, processos e tecnologias integradas e orientadas a dados por meio de automação, além de métodos ágeis e flexíveis de engenharia de software para elevar a qualidade das informações – e também reduzir o tempo necessário às entregas em meio a uma cultura colaborativa e de melhoria contínua.

De acordo com Andy Palmer, Diretor Executivo e um dos fundadores da Tamr Inc., “DataOps é um método de gerenciamento de dados que enfatiza a comunicação, colaboração, integração, automação e medição de cooperação entre engenheiros, cientistas e outros profissionais de dados“. Aqui vale destacar que a base de dados mundiais atingiu, em 2018, 33 Zettabytes (ZB) – e deve chegar a 175 ZB em 2025; no entanto, apenas 2,5% desse volume foi analisado por empresas e organizações das esferas pública e privada, segundo o IDC.

DataOps e DevOps

Assim como o DevOps surgiu para trazer mais controle e agilidade ao desenvolvimento de aplicações, o DataOps nasceu a partir da necessidade de simplificar processos ao remover silos de dados para acelerar projetos de Machine Learning e Analytics. Sob a perspectiva da entrega de valor, o DevOps contempla a engenharia de sistemas e o DataOps a engenharia de dados, Analytics, Data Science e Business Intelligence (BI). Já do ponto de vista da qualidade, o DevOps enfoca a revisão de códigos, testes contínuos e monitoramento – enquanto o DataOps se ocupa da governança de dados e controle de processos.

Como o DataOps se relaciona com DataCentric?

DataCentric é a expressão que define o design de arquitetura em que os dados consistem em seu principal e permanente ativo enquanto as aplicações vêm e vão – ou seja, mesmo quando desaparecerem, o modelo continuará válido e útil. Assim,cada bit de funcionalidade da aplicação lê, grava e adiciona a informação a um banco de dados compartilhado para que seja sempre acesível por qualquer outro sistema. Grosso modo, isso significa que o DataCentric alivia o trabalho de adquirir e movimentar esses dados, que têm seu valor extraído pelo DataOps.

Estrutura e mudanças culturais

A estrutura do DataOps combina cinco elementos fundamentais, que vão de aspectos tecnológicos a mudanças culturais completas:

• tecnologias de habilitação como automação, ferramentas para gerenciamento de dados, Inteligência Artificial (IA) e Machine Learning;
• arquitetura de suporte a inovações contínuas e suas principais tecnologias, serviços e processos;
• enriquecimento de dados, ou seja, posicioná-los para que seja possível realizar análises precisas (ou seja, metadados inteligentes que o sistema cria automaticamente para, mais tarde, ganhar tempo no pipeline);
• estabelecimento da metodologia para construir e implementar as análises e pipelines de acordo com a governança e compliance estabelecidas – assim como o modelo de gestão.
• criação de uma cultura de colaboração entre as operações de TI, Cloud, arquitetura, engenharia e consumidores de dados. Assim, o DataOps poderá organizá-los para que estejam no lugar certo e na hora certa para promover o valor real do negócio.

Conclusão

Para todos os efeitos, quando uma empresa ou organização utiliza uma estratégia DataCentric, é essencial que promova uma mudança na abordagem de gerenciamento de dados. O modelo DataOps, nesse sentido, proporciona uma solução eficaz porque se baseia em conceitos como Agile e Lean, além da integração e entrega contínua para atender às necessidades exclusivas de dados e ambientes analíticos – e isso inclui a utilização de várias fontes e diversos casos que vão de armazenamento a Data Science.

Todavia, um estudo realizado pelo Gartner aponta que, em nível mundial, menos de 1% das empresas adotam o DataOps. Tal cenário, porém, deve mudar drasticamente em curto prazo, uma vez essa que a metodologia permite que os profissionais envolvidos em projetos de inovação e dados se unam em uma jornada colaborativa e automatizada. A conclusão, portanto, é evidente: o modelo DataOps oferece uma vantagem inestimável, principalmente quando se leva em consideração que a inteligência de negócios é condição sine qua non para que as organizações possam atingir seus objetivos e se mantenham competitivas.