La tiranía de los algoritmos: cuando la eficiencia oculta la discriminación sistémica

Ningún actuario humano podría detectar. La empresa comienza a confiar en estas evaluaciones, ajustando sus primas y su selección de riesgos según las recomendaciones del modelo. Con el tiempo, la empresa descubre que su cartera de seguros se ha vuelto más rentable, pero también más homogénea: está asegurando a un conjunto cada vez más estrecho de clientes, aquellos que el modelo considera de bajo riesgo. La empresa no ha decidido conscientemente excluir a ciertos grupos de clientes; simplemente ha seguido las recomendaciones del modelo. Pero el modelo, al haber sido entrenado con datos históricos que reflejan discriminaciones pasadas, ha aprendido a reproducir esas discriminaciones, aunque de manera más sutil y menos detectable. La empresa no es racista ni clasista en sus intenciones, pero sus decisiones, mediadas por el modelo, producen resultados que refuerzan las desigualdades existentes. Este no es un caso de sesgo algorítmico en el sentido técnico; es un caso de internalización de sesgos sistémicos a través de la dependencia cognitiva. La empresa no solo reproduce la discriminación; la naturaliza al presentarla como el resultado de una optimización objetiva. Este ejemplo revela una dimensión del poder corporativo que va más allá de lo económico para adentrarse en lo político, aunque no en el sentido partidista del término. El poder de definir los criterios de racionalidad empresarial es, en última instancia, un poder político: el poder de decidir quién tiene acceso a recursos, quién es considerado un riesgo aceptable, quién merece crédito, seguro, empleo o vivienda. Cuando este poder se ejerce a través de algoritmos opacos, la democracia misma se ve amenazada.

Puntos clave

• 01Los modelos de IA entrenados con datos históricos reproducen discriminaciones pasadas.
• 02La empresa no tiene intención de discriminar, pero los resultados homogeneizan la cartera de clientes.
• 03El poder de definir racionalidad empresarial es político: decide quién accede a recursos.