Cathy O'Neil

Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos. En teoría, esto debería conducir a una mayor equidad: todos son juzgados de acuerdo con las mismas reglas, sin sesgo. Pero en realidad, ocurre exactamente lo contrario. Los modelos que se utilizan en la actualidad son opacos, no regulados e incontestables, incluso cuando estan equivocados. Esto deriva en un refuerzo de la discriminacion: si un estudiante pobre no puede obtener un prestamo porque un modelo de prestamo lo considera demasiado arriesgado (en virtud de su codigo postal), quedara excluido del tipo de educacion que podria sacarlo de la pobreza, produciendose una espiral viciosa. Los modelos apuntalan a los afortunados y castigan a los oprimidos: bienvenido al lado oscuro del big data.ONeil expone los modelos que dan forma a nuestro futuro, como individuos y como sociedad. Estas armas de destruccion matematica califican a maestros y estudiantes, ordenan curriculos, conceden (o niegan) prestamos, evaluan a los trabajadores, se dirigen a los votantes, fijan la libertad condicional y monitorean nuestra salud.

Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos. En teoría, esto debería conducir a una mayor equidad: todos son juzgados de acuerdo con las mismas reglas, sin sesgo. Pero en realidad, ocurre exactamente lo contrario. Los modelos que se utilizan en la actualidad son opacos, no regulados e incontestables, incluso cuando estan equivocados. Esto deriva en un refuerzo de la discriminacion: si un estudiante pobre no puede obtener un prestamo porque un modelo de prestamo lo considera demasiado arriesgado (en virtud de su codigo postal), quedara excluido del tipo de educacion que podria sacarlo de la pobreza, produciendose una espiral viciosa. Los modelos apuntalan a los afortunados y castigan a los oprimidos: bienvenido al lado oscuro del big data.ONeil expone los modelos que dan forma a nuestro futuro, como individuos y como sociedad. Estas "armas de destruccion matematica" califican a maestros y estudiantes, ordenan curriculos, conceden (o niegan) prestamos, evaluan a los trabajadores, se dirigen a los votantes, fijan la libertad condicional y monitorean nuestra salud.

.