Aprende lecciones de +100 libros. Los mejores resúmenes de los mejores libros. Información condensada, para personas ocupadas.

Los algoritmos de aprendizaje.

Para evitar patrones alucinantes, los algoritmos de aprendizaje deben restringirse y probarse para su validez.

Alucinar es ver algo que realmente no está allí. Curiosamente, las alucinaciones son un problema central en el mundo de los algoritmos. En 1998, un libro de gran venta, El Código Secreto de la Biblia, afirmó que la Biblia contenía predicciones ocultas que se revelaron al omitir selectivamente ciertas líneas y letras.

Sin embargo, los críticos refutaron esta afirmación al demostrar que se pueden encontrar “patrones” similares en Moby Dick y en las resoluciones de la Corte Suprema.

Este es un buen ejemplo de patrones alucinantes, que, en la jerga de ML, es el resultado del sobreajuste. El sobreajuste ocurre cuando un algoritmo es tan poderoso que puede “aprender” cualquier cosa. Verás, cuando arrojas suficiente potencia informática a un conjunto de datos como la Biblia, siempre encontrarás patrones porque la computadora puede construir modelos cada vez más complejos hasta que surjan algunos. Pero el modelo resultante no funcionará en ningún otro dato.

Por lo tanto, para obtener tus algoritmos bajo control, su poder tiene que ser delimitado por la limitación de su complejidad.

Con el tipo correcto de restricciones limitantes, te aseguras de que el alcance de tu algoritmo no sea demasiado grande y que los resultados sean verificables y consistentes. Si es demasiado flexible, tu algoritmo puede terminar como El Código Secreto de la Biblia, encontrando patrones en cualquier texto o conjunto de datos.

Pero, ¿qué sucede si tu algoritmo descubre múltiples patrones que explican los datos que tienes pero no está de acuerdo con los nuevos datos? ¿Qué resultado deberías creer? ¿Y cómo puedes estar 100 por ciento seguro de que tus resultados no son solo una casualidad?

Esto es cuando entran los datos de reserva.

Cuando estés preparando tu conjunto de datos original para el algoritmo de aprendizaje, es importante dividirlo en un conjunto de entrenamiento, que el algoritmo utiliza para aprender, y un conjunto de reserva, contra el cual probarlo.

De esta forma, puedes verificar los resultados y confirmar que los patrones encontrados en los datos son válidos.

Asegurar la validez de los resultados es de lo que se trata el trabajo de un experto en ML. Su trabajo es restringir el poder del algoritmo asegurándose de que las reglas no sean demasiado flexibles y que los resultados funcionen bien tanto con los datos del conjunto de entrenamiento como con los datos del conjunto de espera.