Asegúrese de que los datos de alta calidad impulsen su IA

por Thomas C. RedmanEntorno e Innovación

La calidad de los datos es un problema (y una oportunidad) enorme para cualquier organización.

a IA no necesita fallar a escala global para causar un daño enorme a las personas, las empresas y las sociedades. Los modelos suelen equivocarse, tener alucinaciones, desviarse y pueden colapsar.

El interés principal aquí son los primeros proyectos de IA de una empresa. Es importante destacar que la calidad de los datos es un problema (y una oportunidad) enorme para toda la organización, pero la mayoría de las empresas lo han descuidado. Una de las consecuencias es que ni ellas ni sus altos directivos comprenden los problemas, cómo abordarlos ni los cambios organizacionales que deben realizar. Se encuentran en una situación difícil: deben protegerse a corto plazo, desarrollar las capacidades necesarias a largo plazo y, al mismo tiempo, formarse para poder hacerlo de manera eficaz. El objetivo de este artículo es ayudarles a dar los primeros pasos.

Obtener los datos correctos

Me parece conveniente enmarcar la idea de buenos datos a través de dos requisitos: 1) si son los “datos adecuados” para abordar el problema y 2) si esos “datos son correctos” o exactos.

Al seleccionar los datos adecuados para un proyecto, considere:

— Relevancia y exhaustividad

— Integridad y correcta representación

— Ausencia de sesgos

— Actualidad

— Definición clara

— Exclusiones apropiadas

Consideraciones más importantes en materia de datos correctos:

— Precisión

— Ausencia de duplicados

— Identificadores consistentes

— Etiquetado pertinente

El trabajo de garantizar la calidad de los datos no termina con el entrenamiento. Si se entrena bien un modelo con datos de alta calidad, se obtiene un buen modelo. Pero si ese modelo se alimenta con “datos futuros” de mala calidad, se obtienen resultados o predicciones erróneos. Los criterios de “los datos son correctos” y “los datos correctos” siguen siendo válidos.

A corto plazo: Adoptar una postura de “culpable hasta que se demuestre lo contrario.”

A nivel de proyecto, la responsabilidad general sobre la calidad de los datos debe recaer en la persona de más alto nivel que dirija la iniciativa. Debe reunir equipos de personas que puedan desarrollar el conjunto completo de requisitos y profundizar en los detalles para garantizar que se cumplan. Debe considerar la posibilidad de contratar talento externo si, como suele ocurrir, su empresa carece de la amplitud y profundidad de conocimientos necesarios para hacerlo.

Estos gerentes deben cuestionar incansablemente a los equipos de desarrollo de modelos y a otros sobre todo. Empiece por preguntar: “¿El problema que se propuso resolver y nuestro problema son el mismo?” Si no es así, tenga mucho cuidado. A continuación, analicen uno por uno los criterios adecuados para los datos de entrenamiento. Profundicen: ¿qué les hace pensar que los datos darán buenos resultados en las predicciones, respaldarán la ampliación del modelo a nuevos mercados y estarán libres de sesgos? Desconfíen cuando los proveedores se nieguen a responder, citando “nuestro modelo es propietario.” El modelo puede ser propietario, pero eso no significa que los datos lo sean.

A mediano plazo: Impulsar los esfuerzos de calidad en las fases iniciales.

Las empresas deben pasar de lidiar con datos erróneos en las fases finales a crear datos correctos en las fases iniciales. Como cualquier otra disciplina, la gestión de la calidad proporciona un amplio conjunto de fundamentos, métodos y herramientas sobre quién hace qué. Para introducirlos en su organización, comience con tres conceptos:

1. Enfoque intenso en el cliente y en la mejora de procesos, con el objetivo a largo plazo de crear los datos adecuados correctamente con identificadores y etiquetas apropiadas, desde la primera vez.

2. Responsabilidades de gestión claras, es decir, dejar claro que los departamentos comerciales (y no el departamento de TI, el director de riesgos o los directores de datos) son los responsables de la calidad de los datos. A su vez, esto implica responsabilidades claras para los equipos y las personas.

3. Involucre a tantas personas como pueda, en todos los niveles, en la medida de lo posible.

Artículo en inglés

AI does not need to fail on a global scale to cause enormous damage — to individuals, companies, and societies. Models frequently get things wrong, hallucinate, drift, and can collapse.

The primary interest here is a company’s first several AI projects. Importantly, data quality is an enormous organization-wide issue (and opportunity), yet most companies have neglected it. One consequence is that they, and their senior leaders, don’t understand the issues, how to address them, and the organizational changes they must make. They are in a tough spot — they must protect themselves in the short-term, build needed longer-term capabilities, and simultaneously educate themselves so they can do so effectively. This article aims to help them get started.

GETTING DATA RIGHT

I find it convenient to frame the idea of good data through two requirements: 1) whether it’s the “right data” to address the problem and 2) whether that “data is right,” or correct.

When sorting out the right data for a project, consider:

— Relevance and completeness

— Comprehensiveness and adequate representation

— Freedom from bias

— Timeliness

— Clear definition

— Appropriate exclusions

Most important data right considerations:

— Accuracy

— Absence of duplicates

— Consistent identifiers

— Correct labeling

The data-quality job does not end with training. Train a model well on high-quality data and you get a good model. But feed that model bad “future data” and you get bad results/ predictions. Both the “data is right” and “right data” criteria remain in force.

IN THE SHORT-TERM, ADOPT A “GUILTY UNTIL PROVEN INNOCENT” STANCE.

At the project level, overall responsibility for data quality must reside with the highest-level person leading the effort. They must pull together teams of people who can develop the full suite of requirements and dive into details to ensure they are met. They should consider acquiring external talent, if as is often the case, their companies lack the breadth and depth of skill needed to do so.

These managers themselves should relentlessly question model development teams and others about everything. Start with “are the problem you set out to solve and our problem the same?” If not, be very careful. Next, work through the right training data criteria one at a time. Dig deep — what makes you think the data will yield good predictions, support extending the model to new markets, and is bias-free? Be wary when vendors decline to answer, citing “our model is proprietary.” The model may be proprietary, but that doesn’t mean the data is.

IN THE MID-TERM, PUSH QUALITY EFFORTS UPSTREAM.

Companies should transition from dealing with bad data downstream to creating good data upstream. Like any other discipline, quality management provides a rich body of underlying foundations, methods, and tools on who does what. To bring them into your organization, start with three concepts:

1. Intense focus on customer and process improvement, with the long-term goal of creating the right data correctly with proper identifiers and labels, the first time.

2. Clear management accountabilities: Making clear that business departments, not IT, the Chief Risk Officer, or the Chief Data Officers, are responsible for data quality. In turn, this means clear roles responsibilities for teams and individuals.

3. Get as many people as you can, at all levels, as involved as you can.