Equipe do TCE-ES responsável pelo Painel de Obras compartilha experiência com desenvolvedores do TCU 

Os servidores do Tribunal de Contas do Estado do Espírito Santo (TCE-ES) responsáveis pela criação e desenvolvimento do Painel de Obras, que integra o Painel de Controle, apresentaram a ferramenta e os detalhes do processo de trabalho aos desenvolvedores do Tribunal de Contas da União (TCU), em reunião realizada no último dia 13.   

O TCU está coordenando o desenvolvimento de um painel nacional de obras, e com esta interlocução com o TCE-ES, a equipe pode conhecer em detalhes do painel do Espírito Santo, e como se deu a aplicação de inteligência artificial, visto que o Painel de Obras apresenta uma relação de obras com necessidade de atenção especial, identificadas por meio do uso de IA.  

Pelo TCE-ES, a apresentação foi conduzida pela secretária de Controle Externo de Fiscalizações, Flávia Holz, e o Núcleo de Inovação e Gestão de Dados (Niged), do qual participaram o coordenador, Pedro Busatto, e a servidora Isabella de Albuquerque.  

Pelo TCU, participaram os servidores Ricardo Santos, Celso Bernardes, Paulo Henrique Nogueira, Carla Cristina Barros e Rafael Martins Gomes.  

A secretária Flávia Holz iniciou o encontro explicando que o TCE-ES está utilizando como fonte de dados as informações provenientes do Geo Obras, que é um sistema declaratório. Ao começar o desenvolvimento do Painel, a primeira providência foi realizar um processo de Levantamento, para verificar se o banco de dados estava atualizado, e circularizando também as informações contábeis do sistema CidadES, do TCE-ES.   

“É interessante o trabalho do Machine Learning, pois usamos dados de entrada a partir do levantamento, que precisamos tratar, e a partir dele, a equipe de TI foi vendo quais seriam as variáveis iniciais que realmente remetem a um percentual maior de obras paralisadas. Para que as obras com maior risco de paralisação fossem identificadas de forma automatizada”, destacou. 

O coordenador Pedro Busatto acrescentou que o Painel foi construído em Power BI, portanto é todo com dados interativos, detalhado por jurisdicionado, por empresa contratada, com mapa de calor. “Assim que eu clico em qualquer elemento aqui do Painel, aplico um filtro, automaticamente atualiza os demais gráficos”, demonstrou. 

Ele explicou também sobre a concepção da tabela de obras com necessidade de atenção especial, que seriam aquelas identificadas com risco de paralisação pelo modelo. Segundo ele, após a análise das características de cada obra apresentada durante o treinamento, o modelo de IA é capaz de determinar quais atributos são mais propícios a inferir uma possível paralisação. 

“E nós temos enfatizado que a exposição dessas obras não é para um pré-julgamento ou uma responsabilização ao gestor. E sim, para dar um apoio à gestão, para estar atenta a elas e evitar a paralisação”, acrescentou Flávia. 

Tecnologia 

A servidora do Niged Isabella de Albuquerque apresentou mais detalhes sobre o algoritmo de inteligência artificial desenvolvido.   

“A gente utiliza variáveis como, por exemplo, a quantidade de obras paralisadas e de obras não concluídas em que a empresa contratada está envolvida. A gente faz o mesmo considerando a unidade gestora contratante, e avalia o percentual gasto na obra. Durante o trabalho, nós ampliamos a ideia de usar a árvore de decisão, e usamos um algoritmo mais robusto.”, explicou. 

Busatto mostrou também que, quanto à classificação das obras, hoje a maioria delas (cerca de 4,5 mil) constam na categoria “Outros”. Tal fato prejudica o aprendizado do modelo, tendo em vista que dificulta a utilização desse atributo no processo de aprendizagem do algoritmo. Se esse atributo estivesse preenchido corretamente, com todas as obras dentro da sua respectiva classificação, o algoritmo poderia saber quais são os tipos mais propensos a sofrer algum tipo de paralisação.  Este, é um ponto que será aprimorado nas próximas etapas.  

“Para o futuro, vamos conseguir acertar esses registros, hoje classificados com “outros”. Quando conseguirmos construir uma base de dados compartilhada com todos os entes, a gente terá registro suficiente para fazer esse treinamento e poder acertar esses registros classificados como “outros”, disse.  

Flávia Holz complementou anunciando que, em breve, o Painel passará a ter como base os dados do recente sistema CidadES Contratações. “Estamos mudando o nosso sistema, construindo a nossa base de dados, para que ele seja a nossa fonte de informação”. 

Os servidores do TCU trouxeram questionamentos à equipe se ela teve a oportunidade de fazer imputação de dados, que técnicas utilizaram, entre outras dúvidas.  

Hoje, o TCU possui um Painel de Obras Paralisadas, que foi desenvolvido com base em um processo de Levantamento, que é realizado periodicamente pela Corte. Contudo, as obras que não estão paralisadas não estão contempladas no Painel. 

A ferramenta do TCE-ES também focou inicialmente nas obras paralisadas, de acordo com a desenvolvedora Isabela. 

“O Painel está em uma terceira publicação. Quando a gente fez a primeira versão, que foi um protótipo, ele foi focado em obras paralisadas, só para dar uma visão mais interativa para a base de dados. A partir de então, o segundo trabalho foi gerar informação a mais, acrescentar um insight, que veio através do modelo de classificação. A terceira etapa foi abrir o leque para todas as obras do Estado. Antes eram só obras paralisadas, e agora são todas. E ainda existem dados a adicionar que virão a colaborar com o trabalho do auditor”. 

A equipe do TCU também questionou se os dados das obras com necessidade de atenção especial, mostrados no Painel de Obras por meio de inteligência artificial, viraram objeto de fiscalização de controle externo. 

“Nós fizemos uma checagem in loco e vimos que realmente são obras problemáticas. Apesar das limitações, o resultado foi muito positivo. Nós usamos essa lista de alerta como trilha, no planejamento para a última fiscalização que a gente fez em uma obra de pavimentação. Para nós, da área de negócio, consideramos que foi positivo. As nossas checagens bateram”, destacou a secretária Flávia Holz.  

O desenvolvedor do TCU, Fábio Baptista, agradeceu o compartilhamento da experiência pelo TCE-ES. 

“Gostaria de agradecer a todos, parabenizar pelo trabalho, que é muito interessante. Foi de grande utilidade conhecer, e vamos tentar aproveitar alguns pontos no nosso trabalho também”, afirmou.