Como é que a ciência dos dados pode ser automatizada?

No que diz respeito à automatização da ciência dos dados, descobri recentemente que este campo está a passar por uma revolução silenciosa. Sejamos honestos, o processo tradicional de análise de dados é tão complicado - só a limpeza de dados pode consumir a maior parte do dia, para não mencionar todas as análises estatísticas repetitivas e a criação de relatórios. Mas quando surgiram ferramentas como o DeepAnalyze, as coisas começaram a ficar interessantes. Em vez de simplesmente executar comandos, ele é capaz de pensar em todo o processo de análise por conta própria, como um cientista de dados experiente, o que me faz pensar: como será o futuro do trabalho de ciência de dados?

Como a automatização está a remodelar os fluxos de trabalho da ciência dos dados

Imagine chegar ao escritório numa segunda-feira de manhã e descobrir que o sistema gerou automaticamente o relatório de análise de negócios da semana passada. Não se trata de um simples resumo dos dados, mas de um relatório completo que inclui análise de tendências, deteção de anomalias e até recomendações preditivas. O melhor de ferramentas como o DeepAnalyze é que compreendem o "contexto" dos dados, por exemplo, ao analisar os dados de vendas, terá automaticamente em conta factores sazonais, o impacto das actividades de marketing, o que é difícil de fazer com as ferramentas de automatização tradicionais. São coisas que as ferramentas de automatização tradicionais não conseguem fazer.

Reparei num pormenor em particular: num parâmetro de referência, o DeepAnalyze-8B superou alguns grandes modelos comerciais com apenas 8 mil milhões de parâmetros. O que é que isto nos diz? A ciência de dados automatizada não requer necessariamente grandes quantidades de aritmética; é tudo uma questão de metodologia de formação. A sua formação baseada em cursos é como destilar anos de experiência de cientistas de dados num corpo de conhecimento replicável.

A automatização traz mais do que apenas ganhos de eficiência

Muitas pessoas podem pensar que a automatização se resume a poupar tempo, mas a realidade é muito mais do que isso. Quando os processos da ciência dos dados são verdadeiramente automatizados de ponta a ponta, as empresas podem efetuar mais análises exploratórias. Por exemplo, uma empresa de comércio eletrónico pode testar a eficácia de várias estratégias de marketing ao mesmo tempo, em vez de analisar apenas uma direção em profundidade de cada vez, como acontecia anteriormente. Este tipo de capacidade de análise paralela é uma espiral descendente num mercado competitivo.

Mas, por outro lado, a automatização não significa que os cientistas de dados estejam a perder os seus empregos. Pelo contrário, o seu papel está a mudar de "fazedor" para "guia". O que é necessário é a experiência na conceção de estruturas analíticas, na validação da exatidão dos resultados e na interpretação das conclusões numa perspetiva comercial. É uma mudança interessante, uma vez que as barreiras técnicas foram reduzidas, mas a fasquia da mentalidade foi elevada.

Uma coisa que aprendi recentemente ao experimentar ferramentas semelhantes é que a coisa mais valiosa da automatização não é o tempo que poupa, mas sim a capacidade de "encontrar conhecimentos inesperados". Os sistemas podem, por vezes, encontrar correlações que os analistas humanos podem não ter visto, como o facto de uma caraterística comportamental do utilizador aparentemente não relacionada ter um impacto significativo nas taxas de retenção. Esta capacidade é especialmente valiosa no mundo atual de volumes de dados cada vez maiores.

O atrativo e os desafios da fonte aberta

O facto de a DeepAnalyze ter escolhido o caminho do código aberto completo é realmente revelador. Significa que as empresas podem personalizar o seu desenvolvimento de acordo com as suas caraterísticas comerciais, como a incorporação de verificações de conformidade específicas em cenários de controlo de riscos financeiros ou a integração de bases de conhecimento especializadas na análise de dados de cuidados de saúde. Mas também traz novos desafios - como garantir que o processo de tomada de decisão destes sistemas automatizados é transparente e fiável? Esta poderá ser a próxima questão a focar.

Olhando para estes desenvolvimentos, não posso deixar de pensar: talvez não demore muito até que cada empresa tenha o seu próprio "cérebro da ciência dos dados", extraindo valor dos dados 24 horas por dia, 7 dias por semana. Nessa altura, a ciência dos dados poderá realmente tornar-se a infraestrutura da empresa, tal como a eletricidade. Mas até lá, temos de trabalhar na fiabilidade e na interpretabilidade. De qualquer modo, a era da ciência de dados automatizada está de facto a chegar, e muito mais cedo do que pensamos.