Esdras Cândido*Fabio Iamada*
Clique aqui para visualizar a foto de Esdras Cândido, VP de Produtos e Serviços da Orys, consultoria especializada em inteligência de dados
A mineração está diferente nos dias de hoje. E o
engenheiro de dados sabe bem disso. Afinal, é nessa ciência que
atualmente está aplicada a nova atividade ‘mineradora’. E essa
engenharia contemporânea é a responsável por tratar da transformação dos
dados brutos de uma empresa.
É aí que começa a primeira ‘extração’ no processamento de dados,
que abarca a série de atividades para dar uma utilidade prática à
imensa quantidade de informação disponível. E a dinâmica segue um
ritual extremamente relevante com os processos de coleta, armazenamento
e distribuição dos dados, que estão sob a mira da engenharia de dados.
E quem é o profissional que faz isso? Quais as principais
responsabilidades e desafios do (a) engenheiro (a) de dados? É ele o
grande articulador por reunir, organizar e disponibilizar de maneira
simples e acessível todos os dados da empresa.
O engenheiro de dados tem propriedade para ir além das linguagens
(Java, Scala e Python e outras). Ele tem domínio amplo da lógica e do
quão complexo é o ecossistema de conceitos que povoa esta técnica,
incluindo inclui big data e computação em nuvem. São com base nesses
conhecimentos que o profissional de dados concebe, constrói e realiza
uma série de testes de arquiteturas de sistemas de processamento de
dados. É ele também o responsável por orientar soluções de aquisição de
dados e de combinação de fontes de dados.
Com essa gama definida, é o engenheiro quem elabora o chamado
pipeline de dados. É importante a criação desse processo pelo qual a
informação passa, incluindo a entrada no sistema, o processamento e o
armazenamento, facilitando assim as consultas a serem realizadas por
quem precisa desse levantamento. Outro embasamento relevante é que o
engenheiro de dados tenha também conhecimentos sobre análise preditiva e
prescritiva, para auxiliar end to end todas as etapas do trabalho.
A qualificação da tomada de decisão a partir dos dados também faz
parte do escopo de avaliação da engenharia de dados. Há ainda uma
composição com a ciência de dados, que atua de forma equivalente com a
engenharia de dados. Embora sejam áreas complementares, o trabalho do
cientista entra após o processo gerido pelo engenheiro, que desenvolve
toda uma infraestrutura para coletar, organizar e armazenar os dados.
Já o cientista de dados, chega para aplicar suas capacidades para
tratá-los. Cabe a ele ‘minerar’ os dados e extrair os melhores e mais
valiosos insights para seus clientes ou para a empresa em que trabalha.
Isso posto, cabe lembrar que todo esse ritual segue a segurança já
definida pela Lei Geral de Proteção de Dados (LGPD), que protege tanto o
consumidor como todos os envolvidos nesse ecossistema. A LGPD
disponibiliza amplos benefícios, porque limita os seus riscos, cria um
ambiente seguro, confiança e transparência, além de gerar resultados
positivos para todos.
Os desafios para o engenheiro de dados são imensos, no entanto,
seguir alguns princípios dão o caminho certo para conquistar
credibilidade e retorno. Destaco aqui quatro deles.
Boa interlocução. É essencial ser um bom
interlocutor e conseguir entender os desafios de cada área da empresa.
Não bastando somente entender de ‘bits e bytes’.
Alta capacidade de aglutinar os dados. Ter a
capacidade de selecionar, organizar e reunir, da forma mais eficaz
possível, os dados relevantes para as mais diversas áreas de uma
organização.
Ser um ‘trust advisor’ sobre as melhores e mais eficazes ferramentas tecnológicas de mercado.
E, por último e não menos importante, conseguir realizar a extração do valor dos dados por intermédio de ‘insights’ que façam a diferença na tomada de decisões da empresa.
Resumidamente, esses fatores, quando bem definidos e postos em
prática, elevam o valor do profissional da mais nova mineração, já que
os dados estão por toda a parte.
* Esdras Cândido é vice-presidente de Produtos e Serviços da Orys, consultoria especializada em inteligência de dados |
Nenhum comentário:
Postar um comentário