The Power of Public Data: Brazilian Open Data Portal

Day after day we generate vast amounts of data from the many diverse activities that make up the Climate FieldView™ platform, scoping a number of possibilities for ways in which we can implement artificial intelligence solutions to help improve farmer productivity. However, balancing and addressing both computational capacity as well as the maintenance of farmer data ownership are critical as we think about the usability of all this data.

When dealing specifically with data access, our platform prioritizes, values, and utilizes both farmer-owned, aggregated, and anonymized data, as well as public data resources provided by government agencies and universities.

In 2011, Brazil released the Brazilian Open Data Portal, whose main objective is to promote technological development with the use of open, publicly accessible data. In addition to this project, we have other agencies (like Conab) that not only provide information, but supplement data resources with reports that perform common analytics for the benefit of stakeholders. The goal is to enable people to do their own analysis with the data, but to additionally make the data usable for those parties without analytics capabilities.

This public data - especially that provided by Conab - presents us with great opportunities to improve our platform. More than 30 reports provided by Conab grant access to historical production, yield, and acreage information.

^{Not only does Conab provide valuable data for key crops, but additionally analyzes and visualizes key agricultural metrics to help inform planning decisions (chart courtesy Brazil Conab).}

The resources provided by the Brazilian agency can be of great value for internal studies, both in providing data to enrich predictive models. It also serves as a benchmark, so that its historical reports with statements of planted area, production and productivity forecasts serve as a parameter for enriching decision-making.

The use of public data goes further even than its ability to validate and improve our agronomic models. Like Conab, the Brazilian agency INPE provides reports to the public as it gathers environmental data. These reports come in the form of heat maps and data updated daily on fire risk in Brazilian territories. 

Given the great relevance of the recent fires in the Brazilian Pantanal (the world’s largest wetland region situated to the south of the Amazon rainforest), the INPE provides a path to farmer, farm, and environmental safety in the data it provides in tracking the spread of wildfires.

^{With a little analytics and a background in coding, building tools from public resources like these becomes a straightforward public service, like the chatbot I built to inform users of the closest active wildfire. Simple tools built with quality data can do incredible things for the public good!}

Expanding the vision for global public data initiatives, other similar projects exist in the European Union, with the creation of the EU Open Data Portal and Data.gov in the United States.

In many cases, the potential value provided by aggregated and analyzed data is massive. We applaud the efforts of government agencies and outside parties to build and stimulate a culture of data openness, which also values data privacy and ownership. These efforts will do great things not only to enable innovation, but to foster safety and the public good.

Versão em Portugues

Dia após dia, geramos quantidades exorbitantes de dados nas diversas atividades que compõem a plataforma Climate FieldView™, promovendo uma série de possibilidades de como podemos implementar soluções de inteligência artificial para ajudar a melhorar a produtividade do agricultor. No entanto, a capacidade computacional e a importância da mantendo os agricultores a propriedade de seus dados continuam sendo dois dos muitos desafios que enfrentamos ao pensar na usabilidade de todos esses dados.

Ao lidar especificamente com o acesso aos dados, nossa plataforma prioriza, valoriza e utiliza dados de propriedade do agricultor, de maneira agregada e anônima, bem como recursos de dados públicos fornecidos por agências governamentais e universidades.

Em 2011, o Brasil lançou o Portal Brasileiro de Dados Abertos, cujo principal objetivo é promover o desenvolvimento tecnológico com a utilização de dados abertos e publicamente acessíveis. Além desse projeto, contamos com órgãos governamentais que não só disponibilizam informações, mas que também complementam os recursos de dados com relatórios que realizam análises comuns em benefício dos stakeholders, como é o caso da Conab. O objetivo destas iniciativas, é permitir que as pessoas façam suas próprias análises com os dados, além de torná-los um produto utilizável ​​para as partes sem recursos analíticos na forma de relatório.

Esses dados públicos - principalmente os fornecidos pela Conab - nos apresentam grandes oportunidades de aprimorar nossa plataforma. Mais de 30 arquivos fornecidos pela Conab permitem o acesso a informações históricas de produção, produtividade e área plantada, além de outros dados relativos a características, como preço de insumos agrícolas.

Os recursos disponibilizados pela agência brasileira podem ser de grande valia para estudos internos, tanto no fornecimento de dados para enriquecimento de modelos preditivos, quanto como referência, para que seus relatórios históricos com demonstrativos de área plantada, projeções de produção e produtividade sirvam de parâmetro para enriquecimento da tomada de decisão.

Porém, o uso de dados públicos vai além de sua capacidade de validar e aprimorar nossos modelos agronômicos. Assim como a Conab, o INPE fornece relatórios ao público ao coletar dados ambientais. Esses relatórios vêm na forma de mapas de calor e dados atualizados diariamente sobre o risco de incêndio em territórios brasileiros.

Dada a grande relevância dos recentes incêndios no Pantanal brasileiro (a maior região úmida do mundo situada ao sul da floresta amazônica), o INPE fornece um caminho para o agricultor, a fazenda e a segurança ambiental nos dados que fornece no rastreamento da disseminação de incêndios florestais.

Expandindo a visão para iniciativas globais de dados públicos, temos outros projetos semelhantes na União Europeia, com a criação do Portal de Dados Abertos da UE e Data.gov nos Estados Unidos.

Nem todos os dados são públicos - nem deveriam ser! Mas, em muitos casos, o valor potencial fornecido pelos dados agregados e analisados ​​é enorme. Unir forças para construir e estimular uma cultura de abertura de dados, que também valoriza a privacidade e a propriedade dos dados, fará grandes coisas não apenas para permitir a inovação, mas para promover a segurança e o bem público.