Ficou Interessado?

Blog

O lugar certo para o big data na nova década

Por Delano Lins, Head de Negócios

É difícil localizar uma definição perfeita para big data. A frase resume vagamente uma ideia de todos os dados disponíveis na internet. Os dados acionáveis, como testemunhamos hoje, dificilmente são uma entidade estática palpável. Ele está mudando implacavelmente em termos de volume, variedade, veracidade e valor a uma velocidade entorpecente. Em sincronia, a tecnologia e os métodos aplicados no manuseio e armazenamento de dados também estão mudando drasticamente. Cientistas e intelectuais classificaram essa enorme quantidade de dados, bem como as ferramentas e técnicas empregadas para coletar, armazenar, limpar e analisar como “Big data”.

Vimos a maturidade do big data de ser um zumbido para se tornar uma necessidade na última década. A nova década será caracterizada pela adoção em grande escala de análises de big data por todos os setores verticais, bem como pela crescente popularidade dos cursos de análise de big data em todo o mundo.

Através do espelho retrovisor – Analytics desde 1600

Ao contrário de sua nomenclatura, o conceito de dados é relativamente primitivo. As raízes da análise de dados podem ser rastreadas até 1663 DC. Enquanto estudava a peste bubônica, John Graunt documentou seu encontro com uma quantidade avassaladora de informações, provavelmente a documentação mais primordial de dados consideráveis. No início de 1800, a coleta e a análise de dados tornaram-se parte das ciências estatísticas. E os estatísticos se tornaram a primeira geração de analistas de dados.

A história dos cartões perfurados

Na década de 1880, o Census Bureau dos Estados Unidos da América estimou que o processo de coleta e análise de dados necessário para o censo populacional levaria até 8 anos. Praticamente a utilidade do empreendimento teria sido perdida devido a esse grande atraso. Estimativas adicionais foram feitas de que o censo a seguir pode levar até dez anos inaceitáveis. Felizmente, em 1881, Herman Hollerith inventou a máquina de tabulação, reduzindo efetivamente a duração de 8 anos para meros três meses. Herman, um jovem que trabalha no bureau, projetou sua máquina com base em tecnologias de cartões perfurados – de ponta, de acordo com os padrões da época. Sua máquina usava cartões perfurados semelhantes aos usados para determinar padrões de tecelagem de teares mecânicos.

O desenvolvimento gradual da análise de big data é acentuado por histórias interessantes e problemas resolvidos.

Decifrando o Enigma

No final dos anos 1930 e no início dos anos 1940, o enigma alemão era o elefante na sala. Esse engenhoso sistema de criptografia não apenas manteve os alemães um passo à frente de seus rivais nas atividades marciais. Também desempenhou um papel fundamental nos sucessos alemães iniciais durante as campanhas polonesas e francesas na primeira metade da segunda grande guerra. A máquina de guerra alemã era totalmente imprevisível e realizou algumas acrobacias impossíveis mantendo os aliados completamente no escuro. Um atraso na quebra do código significava resultados severamente prejudiciais para o mundo. O enigma desencadeou, em 1943, o primeiro dispositivo de processamento de dados do mundo chamado Colossus. Seguido por um dispositivo hipotético de John Von Neumann em 1945, denominado Computador Eletrônico Discreto Variável Automático (EDVAC).

O artigo de Neumann discutiu o armazenamento de programas pela primeira vez na história documentada, concebendo a ideia dos computadores modernos.

Essas etapas muito pequenas, mas significativas, foram fundamentais no desenvolvimento da ideia atual de big data.

Mudanças de paradigma impulsionadas por dados

53% das empresas adotaram ou investiram em infraestrutura de análise de big data até 2020, contra 17% em 2015. A influência de grandes empresas como Facebook, Amazon e Google, juntamente com a demanda absoluta do mercado, empurrou os proprietários de empresas de todas as capacidades para um ambiente centrado em dados. Vejamos algumas áreas-chave onde os efeitos da análise de big data são extremamente proeminentes.

Entretenimento

A Internet é uma importante fonte de entretenimento, seguida pela televisão. Ambos os meios são utilizados para alcançar as massas. Graças à incorporação massiva de estratégias baseadas em big data, o entretenimento moderno é personalizado, bem direcionado e centrado no consumidor. O marketing direcionado e o entretenimento sem dúvida sofreram uma revolução em termos de precisão e taxa de sucesso. Mas as bênçãos vão muito além da esfera do comércio e do entretenimento.

Medicina de precisão

A genética introduziu a noção de ser único em termos de características e fenótipos. Embora a maior parte de nosso genoma compartilhe um conjunto comum de sequências, nós, humanos, somos únicos por causa de polimorfismos e, às vezes, de mutações em nosso genoma. A diferença nas características e fenótipos pode se manifestar em uma diferença na suscetibilidade a doenças e aceitação de certos medicamentos. A susceptibilidade à tuberculose pode ser considerada como um exemplo. Em 2018, quase 23% da população mundial adoeceu devido a um surto de tuberculose e muitos morreram. Mas um estudo mostrou que as pessoas que, consciente ou inconscientemente, encontraram a bactéria da tuberculose, carregam um biomarcador para a tuberculose, mas não necessariamente os sintomas. Essa singularidade é uma bênção, mas no caso do desenvolvimento de drogas, a consideração dessa singularidade é uma maldição. Depois que os humanos se tornaram adeptos do sequenciamento do genoma, tornou-se possível projetar drogas precisas para populações portadoras de genótipos semelhantes.

A única dificuldade era, entretanto, o tamanho da população humana e o número de variações presentes. Hoje, devido aos impressionantes recursos de big data, esse único inconveniente também está dentro de um alcance impressionante. As drogas são projetadas tendo em mente as variações e polimorfismos vistos em uma região geográfica, às vezes também entre etnias e gêneros.

Diagnóstico de patologia

Graças à utilização de big data, nossos sistemas de diagnóstico de saúde tornaram-se menos errôneos. Os estudos histológicos e resultados baseados em imagens de investigações de saúde podem ser lidos com mais eficiência. Os médicos podem se concentrar mais em prescrever e cuidar do que na tomada de decisões diagnósticas patológicas devido à utilização de big data. Os modelos de reconhecimento de padrão e imagem baseados em aprendizado de máquina são muito mais fáceis de treinar e implementar devido à disponibilidade de recursos de big data. A detecção de metabolismo anormal e irregularidades na fisiologia, como os casos de hipotireoidismo e ossos quebrados, pode ser realizada sem assistência humana graças a esses modelos e ferramentas baseados em dados.

Serviços públicos mais eficientes, lá fora não aqui no Brasil kkk

A incorporação da análise de big data mudou os serviços públicos significativamente. Se considerarmos a gestão de desastres, agora é possível até mesmo prever onde e quando a próxima calamidade acontecerá. Isso naturalmente proporciona mais tempo e permite uma melhor preparação. Por exemplo, dados de radar do passado podem ser usados para revelar um padrão de movimentos de tornado e dados de danos podem ser analisados para a tomada de precauções. No ano passado, quase todas as tempestades que atingiram a costa leste dos Estados Unidos foram previstas corretamente e condados e cidades inteiras foram evacuadas para minimizar as vítimas.

A referência óbvia à pandemia

Um exemplo muito esclarecedor será a pandemia em andamento. A pandemia COVID19 foi uma surpresa muito desagradável, e novas cepas do vírus devem surgir nos próximos anos. Agora, com base nos dados disponíveis, um plano melhor para a próxima onda pode ser desenhado e executado. Isso inclui a imposição de bloqueios mais eficazes e normas de proteção pessoal mais rígidas.

Agricultura e nutrição

Uma alimentação melhor planejada pode aumentar as habilidades de combate a qualquer doença. O big data revela o que uma população precisa em uma determinada situação. Por exemplo, se o solo carece da quantidade necessária de iodo e ferro, a população que habita o solo pode sofrer de hipotireoidismo e até mesmo de contagens de hemácias mais baixas. Big data na forma de dados de solo podem ajudar a mitigar esse problema ao incluir os elementos deficientes na nutrição regional.

Os agricultores estão obtendo esses mesmos dados de solo, além de dados meteorológicos para um melhor plano de colheita. O processo de seleção da cultura nunca foi tão fácil. Devido à disponibilidade de análises sobre doenças do solo e clima, fertilizantes e medicamentos necessários para a manutenção da cultura também se tornaram mais simples.

Nota do autor

O big data é usado principalmente nos setores de marketing e publicidade direcionada. O rápido desenvolvimento em análise de negócios e análise de dados resultou em incorporação máxima também no caso de negócios e indústrias de tecnologia. Infelizmente, a utilidade do big data em serviços públicos e saúde é amplamente subestimada e exige um holofote à medida que a pandemia continua devorando meios de subsistência. O panorama geral da análise de big data deve ser enfocado desde o início do treinamento de big data.

A questão cética

Um cético humanista pode perguntar: “Quem vai acabar perdendo seus empregos por causa dessa utilização massiva de big data no treinamento. Até o momento, as ferramentas baseadas em big data não podem ser deixadas sozinhas sem supervisão. Nenhuma das decisões tomadas por ferramentas artificialmente inteligentes pode ser confiável com uma venda. Se uma ferramenta de recrutamento supervisionada considera as tendências anteriores e vieses indesejados como informações instrutivas, erros irreversíveis são inevitáveis. Por exemplo, se os dados anteriores revelarem um viés de recrutamento para candidatos do sexo masculino, a ferramenta de recrutamento baseada em big data pode parar de considerar as mulheres como candidatas em potencial. O big data pode ter se mostrado um meio superior de erradicar o erro humano, mas, neste estágio de desenvolvimento, ele não pode ser deixado sem assistência humana. Pode-se argumentar que, mesmo depois de atingir todo o seu potencial, as ferramentas de IA e de aprendizado de máquina não devem substituir o trabalho humano. Como o cérebro humano pode continuar a manter aquele pequeno título ousado da máquina mais versátil já conhecida por nós.