Grande parte da falta de percepção deve-se ao enviesamento de dados
De cem pessoas, apenas cinco conseguem obter os insights necessários das inúmeras ferramentas de monitoramento que usam para monitorar o desempenho, a disponibilidade e a segurança de seus ativos digitais.
Os outros noventa e cinco? Eles também podem estar olhando para diagramas de Venn bonitinhos, mas ineficazes.
Uma das causas da falta de insights não é a escassez de ferramentas ou mesmo a falta de dados; é o viés contínuo nos dados.
Viés de dados contínuo
O viés de dados é causado pela curadoria opinativa dentro de um sistema. A curadoria de opiniões é o resultado de decisões tomadas sobre tudo, desde quais dados são coletados e de quais sistemas, até como as visualizações são exibidas nos painéis.
Uma das fontes mais significativas de viés de dados é o legado de sistemas baseados em agentes, que exigem a implantação de software adicional em qualquer sistema do qual você deseja coletar dados. Os agentes geralmente são pareados com uma plataforma de análise e, no passado, o preço desses produtos geralmente incluía o custo dos agentes. Com desconto para grandes implantações, é claro, mas ainda assim é uma proposta cara.
O custo de implantação — e gerenciamento — de agentes introduziu viés de dados porque limitou os sistemas dos quais você poderia coletar dados. Opiniões — experientes ou não — sobre a utilidade de monitorar um determinado aplicativo ou sistema muitas vezes influenciam a decisão de implantação.
O volume de dados gerados também é uma fonte de viés contínuo porque leva a decisões baseadas na opinião sobre o valor de pontos de dados específicos. Você realmente precisa de todas essas métricas ou podemos limitá-las a três ou quatro? A curadoria opinativa de métricas significa que não há como validar mudanças ou modificações nos dados em geral. Essas mudanças ou alterações podem ser indicativas de um possível problema — ou risco —, mas são ignoradas porque os dados foram considerados insignificantes.
Por fim, as decisões do painel sobre visualização distorcem ainda mais a interpretação e geralmente são baseadas em habilidades e experiências que podem não ser compartilhadas com outras pessoas que usam o painel. Até mesmo a escolha do gráfico pode introduzir viés. Isso é particularmente verdadeiro para métricas operacionais baseadas em séries temporais, como desempenho e tempo de atividade.
Os gráficos de barras são frequentemente usados para representar graficamente dados de séries temporais, mas não são tão impactantes quanto os gráficos de linhas. Um gráfico de barras nos força a comparar as alturas das barras para entender as mudanças no tempo de resposta, em vez de permitir que o formato da linha nos mostre o que está acontecendo. Essas decisões simples podem ter um impacto profundo nos operadores que dependem da visualização para oferecer insights sobre o estado operacional de um sistema.
Todas essas decisões introduzem viés, continuamente, nos dados e afetam nossa capacidade de interpretá-los — e assim obter insights sobre o que eles realmente significam.
Eliminando o viés de dados
Se quisermos melhores decisões em um mundo digital como padrão, precisaremos de melhores dados e isso significa eliminar o máximo possível de viés de dados.
Esta é uma das razões pelas quais o OpenTelemetry é tão promissor. Padronizar a maneira como a telemetria é gerada e ingerida usando agentes de código aberto (e, portanto, de baixo custo ou nenhum) contribuirá muito para eliminar uma das causas principais do viés de dados: o orçamento de TI. Ao garantir que você pode coletar telemetria de todos os sistemas, em vez de apenas alguns considerados "dignos", você elimina uma fonte significativa de viés em seus dados. É por isso que nossa visão de ponta inclui a noção de incorporar a geração de telemetria na própria plataforma, para que ela esteja sempre disponível, em qualquer lugar.
O data lake como serviço também pode ser um meio eficaz de lidar com o viés introduzido pela curadoria devido ao volume e ao custo de armazenamento ao longo do tempo. Ao terceirizar escala e capacidade, as organizações podem ingerir mais telemetria com mais liberdade, facilitando a descoberta de anomalias e padrões que afetam o desempenho e muito mais. Nos últimos cinco anos, vimos um menu crescente desses serviços, muitas vezes incluídos como parte da categoria XaaS, que continua consumindo o orçamento de TI em um ritmo cada vez maior. A Deloitte observou em um relatório sobre XaaS deste ano que quase metade das organizações alocará pelo menos metade de seus gastos com TI para XaaS.
Por fim, ao migrar de visualizações para insights, o problema de viés na entrega de dados operacionais no painel pode ser resolvido. Em vez de apenas exibir instantâneos de pontos de dados no tempo, os insights fornecem informações com base em padrões e relacionamentos descobertos nos dados. Além disso, os insights podem eliminar simulacros de incêndio desnecessários causados pela dependência de métricas binárias. Os sistemas modernos são criados para falhar e se recuperar automaticamente. Ser notificado sempre que isso acontece pode causar fadiga de alerta, o que reduz a produtividade. A capacidade de analisar telemetria no contexto de todo um fluxo de usuário significa entender quando um componente com falha requer intervenção e quando não. Migrar de um modo que depende da interpretação de múltiplas visualizações para aproveitar insights abrangentes pode eliminar alguns dos vieses inerentes à visualização.
À medida que os negócios se aproximam de um modelo digital padrão, eles necessariamente dependem cada vez mais de dados. Eliminar o viés nesses dados será um passo fundamental para garantir que as decisões baseadas nesses dados levem ao melhor resultado possível para os clientes e para a empresa.