Série: os “Vs” do Big Data-volume

Em nosso primeiro artigo sobre os “Vs” do Big Data falaremos sobre o volume. O advento da internet e a evolução da computação propiciaram um visível aumento da produção de dados e de informação. A quantidade de dados produzidos somente pelas redes sociais é impressionante.

Para se ter uma ideia sobre os valores, estima-se que no ano de 2020 algo em torno de 45 zettabytes de dados serão produzidos, o que representa em linhas gerais 49 trilhões de gigabytes. São números realmente assustadores. Há pouco mais de algumas décadas, tais cifras seriam quase que inimagináveis.

Obviamente, com ordens de grandeza assim, as tecnologias de armazenamento e de processamento desses dados precisam ser muito poderosas. Para fazer esse trabalho, criaram-se tecnologias como Data Lake e Data Warehouse. Ambos funcionam como enormes repositórios de dados com poderosos sistemas de armazenamento, processamento e segurança de dados. No entanto, há algumas diferenças importantes entre ambos.

O Data Lake costuma receber todos os tipos de dados. Não há um tratamento prévio ou mineração dos dados antes de serem enviados ao repositório. Esse tipo de tecnologia necessita de engenheiros de dados e cientistas de dados para ser acessada, com intuito da obtenção de informações e conhecimentos.

Já o Data Warehouse, via de regra, recebe dados estruturados e que já passaram por certos tratamentos antes de entrar no repositório. Esse tipo de repositório costuma ser mais caro do que um Data Lake e atende a analistas e tomadores de decisões.

Grandes empresas (e mesmo empresas de médio porte) investem pesado em tecnologias de Big Data para dominar esse vasto oceano de dados e com isso conseguir informações lógicas e estruturadas que possam gerar novos conhecimentos e lucros. Há um enorme potencial de geração de empregos para esse setor, o que ocorre é falta mão de obra especializada.

O Big Data figura como grande promessa de investimentos já nesses anos vindouros. Quem sabe você não será o próximo a entrar nesse universo?! Até mais!

Fernando Montini é cientista de dados, pedagogo, químico industrial e mestre em Biologia.

Escreve para o blog sobre tecnologia na área de Ciência de Dados, Business Intelligence e Mercado Financeiro.

Big Data: a tecnologia que está dominando o mundo dos negócios

A Ciência de Dados é uma área abrangente, complexa, difícil e extremamente apaixonante. É muito provável que você já tenha ouvido termos pela internet como Machine Learning, Inteligência Artificial, Business Intelligence, algoritmos, entre outros termos que parecem sair de um filme de ficção científica. No entanto, são conceitos ou áreas pesquisados e desenvolvidos pela Ciência de Dados.

Há muitos conceitos e definições sobre a Ciência de Dados. Gosto de pensar a Ciência de Dados da seguinte forma: “Ciência de Dados é o uso conjunto de Matemática e Computação para solucionar problemas e gerar conhecimento”. Talvez essa frase expresse muito bem o que fazem os profissionais da área em suas pesquisas e trabalhos cotidianos.

Um dos campos mais procurados e pesquisados dentro do mundo da Ciência de Dados é o Big Data. Certo dia em uma aula de Bioestatística uma aluna brincou e disse que o termo parecia algo como o Big Brother e toda sua ideia de vigilância. Guardadas as proporções devidas, não é de todo mal essa analogia com tom humorístico.

Big Data é todo um conjunto de estudos e tecnologias que trabalham em grupo para coletar, armazenar, processar, analisar e gerar conhecimento a partir de um número enorme de dados. Os dados que alimentam os sistemas de Big Data são enormes, diversos, complexos e produzidos em velocidade incrível. Pense em sistemas de coleta de dados de empresas como Facebook, Google, Amazon etc. O aparato analítico e tecnológico para gerir esses dados é enorme.

É comum também quando nos referimos a Big Data mencionar os diversos tipos de “Vs” encontrados nos dados dentro desse mundo. Os principais são: volume, variedade, velocidade, veracidade e valor.

Nos próximos posts do blog, vamos explorar detalhadamente cada um desses “Vs” para que você tenha uma ideia bem completa e possa estar por dentro desse universo e entender como as empresas estão usando a tecnologia Big Data para seu diferencial frente ao mercado cada vez mais competitivo. Espero você nos outros posts!

Fernando Montini é cientista de dados, pedagogo, químico industrial e mestre em Biologia.

Escreve para o blog sobre tecnologia na área de Ciência de Dados, Business Intelligence e Mercado Financeiro.

Guerra das vacinas: quando a política toma o lugar da Ciência

Muitos estudiosos de Lógica e Epistemologia como Thomas Kuhn, Gaston Bachelard e Charles Peirce já demonstraram o caráter evolutivo do pensamento científico. A Ciência é até certo ponto “filha de sua época”.

Mesmo dentro desse caráter evolutivo do pensamento científico, é muito importante que a Ciência tente manter um alto padrão de rigor experimental e matemático. Muitos podem até discordar do meu ponto de vista, mas dediquei toda minha vida a praticar e ensinar Ciência e nesse fazer aprendi que o rigor experimental e matemático é a base de uma Ciência séria e bem-feita. Há outras visões que divergem dessa que defendo, mas deixemos para outro texto essa rica discussão.

Os últimos dias mostraram-se bem complicados nesta esfera de visões científicas e não-científicas sobre as vacinas em teste no Brasil. O critério último de validação das vacinas não devia ser esse ou aquele ponto de vista na política e sim o rigor matemático/estatístico e experimental ao qual a vacina foi submetido.

A Ciência, no entanto, necessita para seu funcionamento de um enorme aparato estrutural de pessoas, carreiras, departamentos, verbas etc. A guerra política pela vacina traz uma reflexão: a política não está invadindo a Ciência em um momento pontual. A Ciência, em sua estrutura, já trouxe os conflitos políticos para suas entranhas há certo tempo.

Quem já participou de algum grupo de pesquisa ou departamento de uma instituição de pesquisa sabe muito bem como isso ocorre. Uma burocracia digna de um romance de Kafka tomou conta de grande parte desses ambientes. As métricas de produção de artigos, a disputa pelo poder institucional e por financiamentos é o que dita as regras quase sempre.

Obviamente que há muitas coisas sérias e ótimas sendo produzidas e a Ciência continua seu caminhar a passos largos para descobertas maravilhosas e novos conhecimentos incríveis. Mas não nos enganemos: a política não está invadindo a casa da Ciência, foi a Ciência que a trouxe como convidada especial e ainda serviu seu melhor café!

Fernando Montini é cientista de dados, pedagogo, químico industrial e mestre em Biologia.

Escreve para o blog sobre tecnologia na área de Ciência de Dados, Business Intelligence e Mercado Financeiro.

---