Portada
mis comunidades
otras secciones
#1:
Traducción automática:
La semana pasada nos enteramos de que un famoso documento académico de 2010, en el que se basaron los grandes políticos para reforzar los argumentos a favor de los recortes de la austeridad, contenía errores significativos; y que esos errores se debían al mal uso de una hoja de cálculo de Excel.
Lamentablemente, no son los primeros errores de esta magnitud y naturaleza en el manejo de datos. Entonces, ¿qué es lo que ha fallado y cómo podemos solucionarlo?
Carmen Reinhart y Kenneth Rogoff, de Harvard, son dos de los economistas académicos más respetados e influyentes de la actualidad.
O al menos, lo eran. El 16 de abril, el estudiante de doctorado Thomas Herndon y los profesores Michael Ash y Robert Pollin, del Instituto de Investigación de Economía Política de la Universidad de Massachusetts Amherst, dieron a conocer los resultados de su análisis de dos trabajos de Reinhard y Rogoff de 2010, trabajos que también proporcionaron gran parte del material para el bestseller de 2011 La próxima vez es diferente.
El trabajo de Reinhart y Rogoff demostró que el crecimiento económico real medio se ralentiza (un descenso del 0,1%) cuando la deuda de un país supera el 90% del producto interior bruto (PIB), y esta cifra del 90% se empleó repetidamente en los argumentos políticos sobre las medidas de austeridad de alto perfil.
Durante su análisis, Herndon, Ash y Pollin obtuvieron la hoja de cálculo real que Reinhart y Rogoff utilizaron para sus cálculos; y tras analizar estos datos, identificaron tres errores.
El más grave fue que, en su hoja de cálculo Excel, Reinhart y Rogoff no habían seleccionado toda la fila al promediar las cifras de crecimiento: omitieron los datos de Australia, Austria, Bélgica, Canadá y Dinamarca.
En otras palabras, accidentalmente sólo habían incluido 15 de los 20 países analizados en su cálculo clave.
Cuando se corrigió ese error, los datos del "descenso del 0,1%" se convirtieron en un aumento medio del 2,2% del crecimiento económico.
Así que la conclusión clave de un documento seminal, que ha sido ampliamente citado en los debates políticos en América del Norte, Europa Australia y otros lugares, no era válida.
El documento fue citado por el candidato republicano a la vicepresidencia de Estados Unidos en 2012, Paul Ryan, en su propuesta de presupuesto para 2013, The Path to Prosperity: A Blueprint for American Renewal.
Sin duda, sin Reinhart y Rogoff, Ryan habría encontrado algún otro dato que apoyara su punto de vista conservador; pero debe haber estado encantado de tener a economistas de peso como Reinhart y Rogoff aparentemente en su esquina.
Eso sí, Reinhart y Rogoff no han intentado distanciarse de esta visión de su trabajo.
Mantenimiento de los registros
Como se ha dicho al principio, no es la primera vez que un error relacionado con los datos o las matemáticas resulta en una gran vergüenza y gasto. En un resumen de estos errores históricos, el periodista de Bloomberg Matthew Zeitlin señaló recientemente:
* la nave espacial Mariner 1 de la NASA, destruida minutos después de su lanzamiento en 1962, gracias a "un guión que faltaba en su código informático para transmitir las instrucciones de navegación"
* un error en una hoja de cálculo de Excel cometido por un asociado de un bufete de abogados de primer año, que añadió 179 contratos a un acuerdo para comprar los activos de la empresa en quiebra Lehman Brothers, en nombre del banco Barclay's
* la prohibición de vuelos en Europa en 2010, tras la erupción del Eyjafjallajokull de Islandia, para la que "muchos de los supuestos de los modelos informáticos no estaban respaldados por pruebas científicas"
Aunque en estas calamidades se produjeron muchos tipos diferentes de errores, el hecho de que los errores del documento de Reinhart-Rogoff no se identificaran antes puede atribuirse a la incapacidad generalizada de los investigadores científicos y de otro tipo de poner a disposición del público todos los datos y el código informático en una fase temprana, preferiblemente cuando el documento de investigación que documenta el estudio se somete a revisión.
Hemos tratado este tema en un artículo anterior en Math Drudge y en otro en el Huffington Post, destacando que la cultura de la informática no ha seguido el ritmo de su rápida preeminencia en la investigación científica y social moderna.
Ciertamente, la cuestión no es sólo para los economistas políticos, aunque la situación parece más grave en las ciencias sociales. En una carta privada que está circulando y que hemos leído, el psicólogo conductista Daniel Kahneman (economista con el premio Nobel) ha implorado a los psicólogos sociales que limpien sus actos para evitar un "choque de trenes".
Kahneman habla específicamente de la importancia de replicar los experimentos y los estudios sobre los efectos del priming.
Tradicionalmente, se ha enseñado a los investigadores a registrar todos los detalles de su trabajo, incluido el diseño experimental, los procedimientos, el equipo, los resultados brutos, el procesamiento de los datos, los métodos estadísticos y otras herramientas utilizadas para analizar los resultados.
En cambio, son relativamente pocos los investigadores que emplean la informática en la ciencia moderna -desde las simulaciones climáticas a gran escala y altamente paralelas hasta el simple procesamiento de datos de las ciencias sociales- que suelen tener tanto cuidado en su trabajo.
En la mayoría de los casos, no existe un registro del flujo de trabajo, la configuración del hardware y el software, y a menudo ni siquiera está disponible el código fuente (o ha sido revisado numerosas veces desde que se realizó el estudio).
Creemos que se trata de un entorno seriamente laxo en el que pueden proliferar el fraude deliberado y el error genuino.
Elevación de las normas
Creemos, y así lo hemos defendido, que debería haber nuevas normas significativamente más estrictas exigidas a los artículos por los editores de las revistas y los presidentes de las conferencias, junto con herramientas de software para facilitar el almacenamiento de los archivos relacionados con el flujo de trabajo computacional.
Pero hay mucha culpa para repartir. Los periodistas científicos deben informar mejor sobre estos temas críticos y no dejarse cegar por las cifras seductoras. No es la primera vez que datos de aspecto impresionante, que luego se anulan, han sido pregonados en los medios de comunicación. Y lo que está en juego puede ser enorme.
Si Reinhart y Rogoff (un gran maestro del ajedrez) hubieran hecho algún intento de permitir el acceso a sus datos inmediatamente después de concluir su estudio, se habría detectado el error de Excel y se podrían haber endurecido sus otros argumentos y conclusiones.
Puede que sigan siendo los economistas más peligrosos del mundo, pero ahora no estarían en la posición de salvar la cara a la luz de las críticas condenatorias en el Atlántico y en otros lugares.
Como dijo Matthew O'Brien la semana pasada en The Atlantic:
"Para un economista, las cinco palabras más aterradoras del idioma inglés son: No puedo replicar tus resultados". Pero para los economistas Carmen Reinhart y Ken Rogoff, de Harvard, hay siete aún más aterradoras: Creo que has cometido un error de Excel.
Escucha, los errores ocurren. Especialmente con Excel. Pero esperemos que no ocurran en documentos que proporcionan el edificio intelectual para un experimento económico -la austeridad- que ha dejado a millones de personas sin trabajo. Bueno, demasiado tarde".
La semana pasada nos enteramos de que un famoso documento académico de 2010, en el que se basaron los grandes políticos para reforzar los argumentos a favor de los recortes de la austeridad, contenía errores significativos; y que esos errores se debían al mal uso de una hoja de cálculo de Excel.
Lamentablemente, no son los primeros errores de esta magnitud y naturaleza en el manejo de datos. Entonces, ¿qué es lo que ha fallado y cómo podemos solucionarlo?
Carmen Reinhart y Kenneth Rogoff, de Harvard, son dos de los economistas académicos más respetados e influyentes de la actualidad.
O al menos, lo eran. El 16 de abril, el estudiante de doctorado Thomas Herndon y los profesores Michael Ash y Robert Pollin, del Instituto de Investigación de Economía Política de la Universidad de Massachusetts Amherst, dieron a conocer los resultados de su análisis de dos trabajos de Reinhard y Rogoff de 2010, trabajos que también proporcionaron gran parte del material para el bestseller de 2011 La próxima vez es diferente.
El trabajo de Reinhart y Rogoff demostró que el crecimiento económico real medio se ralentiza (un descenso del 0,1%) cuando la deuda de un país supera el 90% del producto interior bruto (PIB), y esta cifra del 90% se empleó repetidamente en los argumentos políticos sobre las medidas de austeridad de alto perfil.
Durante su análisis, Herndon, Ash y Pollin obtuvieron la hoja de cálculo real que Reinhart y Rogoff utilizaron para sus cálculos; y tras analizar estos datos, identificaron tres errores.
El más grave fue que, en su hoja de cálculo Excel, Reinhart y Rogoff no habían seleccionado toda la fila al promediar las cifras de crecimiento: omitieron los datos de Australia, Austria, Bélgica, Canadá y Dinamarca.
En otras palabras, accidentalmente sólo habían incluido 15 de los 20 países analizados en su cálculo clave.
Cuando se corrigió ese error, los datos del "descenso del 0,1%" se convirtieron en un aumento medio del 2,2% del crecimiento económico.
Así que la conclusión clave de un documento seminal, que ha sido ampliamente citado en los debates políticos en América del Norte, Europa Australia y otros lugares, no era válida.
El documento fue citado por el candidato republicano a la vicepresidencia de Estados Unidos en 2012, Paul Ryan, en su propuesta de presupuesto para 2013, The Path to Prosperity: A Blueprint for American Renewal.
Sin duda, sin Reinhart y Rogoff, Ryan habría encontrado algún otro dato que apoyara su punto de vista conservador; pero debe haber estado encantado de tener a economistas de peso como Reinhart y Rogoff aparentemente en su esquina.
Eso sí, Reinhart y Rogoff no han intentado distanciarse de esta visión de su trabajo.
Mantenimiento de los registros
Como se ha dicho al principio, no es la primera vez que un error relacionado con los datos o las matemáticas resulta en una gran vergüenza y gasto. En un resumen de estos errores históricos, el periodista de Bloomberg Matthew Zeitlin señaló recientemente:
* la nave espacial Mariner 1 de la NASA, destruida minutos después de su lanzamiento en 1962, gracias a "un guión que faltaba en su código informático para transmitir las instrucciones de navegación"
* un error en una hoja de cálculo de Excel cometido por un asociado de un bufete de abogados de primer año, que añadió 179 contratos a un acuerdo para comprar los activos de la empresa en quiebra Lehman Brothers, en nombre del banco Barclay's
* la prohibición de vuelos en Europa en 2010, tras la erupción del Eyjafjallajokull de Islandia, para la que "muchos de los supuestos de los modelos informáticos no estaban respaldados por pruebas científicas"
Aunque en estas calamidades se produjeron muchos tipos diferentes de errores, el hecho de que los errores del documento de Reinhart-Rogoff no se identificaran antes puede atribuirse a la incapacidad generalizada de los investigadores científicos y de otro tipo de poner a disposición del público todos los datos y el código informático en una fase temprana, preferiblemente cuando el documento de investigación que documenta el estudio se somete a revisión.
Hemos tratado este tema en un artículo anterior en Math Drudge y en otro en el Huffington Post, destacando que la cultura de la informática no ha seguido el ritmo de su rápida preeminencia en la investigación científica y social moderna.
Ciertamente, la cuestión no es sólo para los economistas políticos, aunque la situación parece más grave en las ciencias sociales. En una carta privada que está circulando y que hemos leído, el psicólogo conductista Daniel Kahneman (economista con el premio Nobel) ha implorado a los psicólogos sociales que limpien sus actos para evitar un "choque de trenes".
Kahneman habla específicamente de la importancia de replicar los experimentos y los estudios sobre los efectos del priming.
Tradicionalmente, se ha enseñado a los investigadores a registrar todos los detalles de su trabajo, incluido el diseño experimental, los procedimientos, el equipo, los resultados brutos, el procesamiento de los datos, los métodos estadísticos y otras herramientas utilizadas para analizar los resultados.
En cambio, son relativamente pocos los investigadores que emplean la informática en la ciencia moderna -desde las simulaciones climáticas a gran escala y altamente paralelas hasta el simple procesamiento de datos de las ciencias sociales- que suelen tener tanto cuidado en su trabajo.
En la mayoría de los casos, no existe un registro del flujo de trabajo, la configuración del hardware y el software, y a menudo ni siquiera está disponible el código fuente (o ha sido revisado numerosas veces desde que se realizó el estudio).
Creemos que se trata de un entorno seriamente laxo en el que pueden proliferar el fraude deliberado y el error genuino.
Elevación de las normas
Creemos, y así lo hemos defendido, que debería haber nuevas normas significativamente más estrictas exigidas a los artículos por los editores de las revistas y los presidentes de las conferencias, junto con herramientas de software para facilitar el almacenamiento de los archivos relacionados con el flujo de trabajo computacional.
Pero hay mucha culpa para repartir. Los periodistas científicos deben informar mejor sobre estos temas críticos y no dejarse cegar por las cifras seductoras. No es la primera vez que datos de aspecto impresionante, que luego se anulan, han sido pregonados en los medios de comunicación. Y lo que está en juego puede ser enorme.
Si Reinhart y Rogoff (un gran maestro del ajedrez) hubieran hecho algún intento de permitir el acceso a sus datos inmediatamente después de concluir su estudio, se habría detectado el error de Excel y se podrían haber endurecido sus otros argumentos y conclusiones.
Puede que sigan siendo los economistas más peligrosos del mundo, pero ahora no estarían en la posición de salvar la cara a la luz de las críticas condenatorias en el Atlántico y en otros lugares.
Como dijo Matthew O'Brien la semana pasada en The Atlantic:
"Para un economista, las cinco palabras más aterradoras del idioma inglés son: No puedo replicar tus resultados". Pero para los economistas Carmen Reinhart y Ken Rogoff, de Harvard, hay siete aún más aterradoras: Creo que has cometido un error de Excel.
Escucha, los errores ocurren. Especialmente con Excel. Pero esperemos que no ocurran en documentos que proporcionan el edificio intelectual para un experimento económico -la austeridad- que ha dejado a millones de personas sin trabajo. Bueno, demasiado tarde".
Comentarios
Traducción automática:
La semana pasada nos enteramos de que un famoso documento académico de 2010, en el que se basaron los grandes políticos para reforzar los argumentos a favor de los recortes de la austeridad, contenía errores significativos; y que esos errores se debían al mal uso de una hoja de cálculo de Excel.
Lamentablemente, no son los primeros errores de esta magnitud y naturaleza en el manejo de datos. Entonces, ¿qué es lo que ha fallado y cómo podemos solucionarlo?
Carmen Reinhart y Kenneth Rogoff, de Harvard, son dos de los economistas académicos más respetados e influyentes de la actualidad.
O al menos, lo eran. El 16 de abril, el estudiante de doctorado Thomas Herndon y los profesores Michael Ash y Robert Pollin, del Instituto de Investigación de Economía Política de la Universidad de Massachusetts Amherst, dieron a conocer los resultados de su análisis de dos trabajos de Reinhard y Rogoff de 2010, trabajos que también proporcionaron gran parte del material para el bestseller de 2011 La próxima vez es diferente.
El trabajo de Reinhart y Rogoff demostró que el crecimiento económico real medio se ralentiza (un descenso del 0,1%) cuando la deuda de un país supera el 90% del producto interior bruto (PIB), y esta cifra del 90% se empleó repetidamente en los argumentos políticos sobre las medidas de austeridad de alto perfil.
Durante su análisis, Herndon, Ash y Pollin obtuvieron la hoja de cálculo real que Reinhart y Rogoff utilizaron para sus cálculos; y tras analizar estos datos, identificaron tres errores.
El más grave fue que, en su hoja de cálculo Excel, Reinhart y Rogoff no habían seleccionado toda la fila al promediar las cifras de crecimiento: omitieron los datos de Australia, Austria, Bélgica, Canadá y Dinamarca.
En otras palabras, accidentalmente sólo habían incluido 15 de los 20 países analizados en su cálculo clave.
Cuando se corrigió ese error, los datos del "descenso del 0,1%" se convirtieron en un aumento medio del 2,2% del crecimiento económico.
Así que la conclusión clave de un documento seminal, que ha sido ampliamente citado en los debates políticos en América del Norte, Europa Australia y otros lugares, no era válida.
El documento fue citado por el candidato republicano a la vicepresidencia de Estados Unidos en 2012, Paul Ryan, en su propuesta de presupuesto para 2013, The Path to Prosperity: A Blueprint for American Renewal.
Sin duda, sin Reinhart y Rogoff, Ryan habría encontrado algún otro dato que apoyara su punto de vista conservador; pero debe haber estado encantado de tener a economistas de peso como Reinhart y Rogoff aparentemente en su esquina.
Eso sí, Reinhart y Rogoff no han intentado distanciarse de esta visión de su trabajo.
Mantenimiento de los registros
Como se ha dicho al principio, no es la primera vez que un error relacionado con los datos o las matemáticas resulta en una gran vergüenza y gasto. En un resumen de estos errores históricos, el periodista de Bloomberg Matthew Zeitlin señaló recientemente:
* la nave espacial Mariner 1 de la NASA, destruida minutos después de su lanzamiento en 1962, gracias a "un guión que faltaba en su código informático para transmitir las instrucciones de navegación"
* un error en una hoja de cálculo de Excel cometido por un asociado de un bufete de abogados de primer año, que añadió 179 contratos a un acuerdo para comprar los activos de la empresa en quiebra Lehman Brothers, en nombre del banco Barclay's
* la prohibición de vuelos en Europa en 2010, tras la erupción del Eyjafjallajokull de Islandia, para la que "muchos de los supuestos de los modelos informáticos no estaban respaldados por pruebas científicas"
Aunque en estas calamidades se produjeron muchos tipos diferentes de errores, el hecho de que los errores del documento de Reinhart-Rogoff no se identificaran antes puede atribuirse a la incapacidad generalizada de los investigadores científicos y de otro tipo de poner a disposición del público todos los datos y el código informático en una fase temprana, preferiblemente cuando el documento de investigación que documenta el estudio se somete a revisión.
Hemos tratado este tema en un artículo anterior en Math Drudge y en otro en el Huffington Post, destacando que la cultura de la informática no ha seguido el ritmo de su rápida preeminencia en la investigación científica y social moderna.
Ciertamente, la cuestión no es sólo para los economistas políticos, aunque la situación parece más grave en las ciencias sociales. En una carta privada que está circulando y que hemos leído, el psicólogo conductista Daniel Kahneman (economista con el premio Nobel) ha implorado a los psicólogos sociales que limpien sus actos para evitar un "choque de trenes".
Kahneman habla específicamente de la importancia de replicar los experimentos y los estudios sobre los efectos del priming.
Tradicionalmente, se ha enseñado a los investigadores a registrar todos los detalles de su trabajo, incluido el diseño experimental, los procedimientos, el equipo, los resultados brutos, el procesamiento de los datos, los métodos estadísticos y otras herramientas utilizadas para analizar los resultados.
En cambio, son relativamente pocos los investigadores que emplean la informática en la ciencia moderna -desde las simulaciones climáticas a gran escala y altamente paralelas hasta el simple procesamiento de datos de las ciencias sociales- que suelen tener tanto cuidado en su trabajo.
En la mayoría de los casos, no existe un registro del flujo de trabajo, la configuración del hardware y el software, y a menudo ni siquiera está disponible el código fuente (o ha sido revisado numerosas veces desde que se realizó el estudio).
Creemos que se trata de un entorno seriamente laxo en el que pueden proliferar el fraude deliberado y el error genuino.
Elevación de las normas
Creemos, y así lo hemos defendido, que debería haber nuevas normas significativamente más estrictas exigidas a los artículos por los editores de las revistas y los presidentes de las conferencias, junto con herramientas de software para facilitar el almacenamiento de los archivos relacionados con el flujo de trabajo computacional.
Pero hay mucha culpa para repartir. Los periodistas científicos deben informar mejor sobre estos temas críticos y no dejarse cegar por las cifras seductoras. No es la primera vez que datos de aspecto impresionante, que luego se anulan, han sido pregonados en los medios de comunicación. Y lo que está en juego puede ser enorme.
Si Reinhart y Rogoff (un gran maestro del ajedrez) hubieran hecho algún intento de permitir el acceso a sus datos inmediatamente después de concluir su estudio, se habría detectado el error de Excel y se podrían haber endurecido sus otros argumentos y conclusiones.
Puede que sigan siendo los economistas más peligrosos del mundo, pero ahora no estarían en la posición de salvar la cara a la luz de las críticas condenatorias en el Atlántico y en otros lugares.
Como dijo Matthew O'Brien la semana pasada en The Atlantic:
"Para un economista, las cinco palabras más aterradoras del idioma inglés son: No puedo replicar tus resultados". Pero para los economistas Carmen Reinhart y Ken Rogoff, de Harvard, hay siete aún más aterradoras: Creo que has cometido un error de Excel.
Escucha, los errores ocurren. Especialmente con Excel. Pero esperemos que no ocurran en documentos que proporcionan el edificio intelectual para un experimento económico -la austeridad- que ha dejado a millones de personas sin trabajo. Bueno, demasiado tarde".
#1 En serio publicas algo del 2013 sin ninguna advertencia?
NO SE HA RESPONDIDO A ESTO desde ese año? En que ha quedado la cosa? Es que han pasado casi 10 años. Madre mía
#4 Cierto que no vi en su momento que el artículo fuera de 2013, pero tras una búsqueda no encuentro nada que lo contradiga posteriormente, por lo que lo considero vigente.
Y no solo eso, sino que se ve que posteriormente han vuelto a suceder errores en las hojas de cálculo (con una frecuencia de más del 30% analizando más de 10.000 artículos publicados entre 2014 y 2020): https://theconversation.com/excel-autocorrect-errors-still-plague-genetic-research-raising-concerns-over-scientific-rigour-166554
No obstante, el que lo considere conveniente que vote el envío como antigua, que para eso está el voto.
#7 pues aquí ha salido varías veces (busca peo Reinhardt-Rogolf-como-se-escriba
)
#8 Vale, he visto que en 2013 se mandó esto:
El fracaso de los planes de austeridad en dos gráficas
El fracaso de los planes de austeridad en dos gráf...
elblogsalmon.com¿Cuánto desempleo provocaron Reinhart y Rogoff por su manipulación matemática?
¿Cuánto desempleo provocaron Reinhart y Rogoff por...
elblogsalmon.com#9 Sí, hay varios más incluso
No sé ni por dónde empezar.
Varios apuntes:
1) 15 de los 20 países efectivamente decrecieron un 0.1%
2) Los 5 restantes, y omitidos de la fórmula, crecieron tanto que harían que el promedio (asumo que ponderado por su PIB) subiese al 2.2%
3) De los dos puntos anteriores se desprende que quizás la relación entre crecimiento (de año a año) y deuda (acumulada) es muy volátil y no pueden establecerse normas generales. Es razonable que existan otras covariables críticas y efectos de stock que difieren en el tiempo las relaciones entre ambas.
4) Estamos asumiendo implícitamente que
siemprees bueno crecer económicamente. Estamos donde estamos en cuanto recursos y clima en base a ese supuesto.5) Los estudiantes, y por lo que se ve los profesores, de Economía no salen de la carrera necesariamente dominando el Excel. Lo sé de primera mano y es un gravísimo error. Por supuesto una equivocación la tiene cualquiera, pero como con los médicos, en estos casos cuestan vidas.
¿ Qué hace esto en ciencia ? No será en Economía ?
Que parezca un error para que los sociópatas campen a sus anchas.
#0 y demás meneantes, la última vez que muevo un meneo de economía fuera de
ciencia a un lugar más acertado, la próxima, irá a descarte por abuso o a el sub con menos visitas al que esté suscrito.
#13 Si, pero las formas que ha puesto de asegurar el resultado estoy seguro de que no las saben.
El más grave fue que, en su hoja de cálculo Excel, Reinhart y Rogoff no habían seleccionado toda la fila al promediar las cifras de crecimiento: omitieron los datos de Australia, Austria, Bélgica, Canadá y Dinamarca.
Por esto que mis excels incluyen cálculos de control, con detección automatizada de descuadres.
Por ejemplo, en un cuadro de números, los sumo vertical y horizontalmente, saco el total de ambos grupos de totales y hago que diga "error" si no coinciden. Además pongo conteos y compruebo que la suma de los conteos parciales coincida con el conteo general. Cosas asi.
Incluso más allá. Replicar los pivot mediante fórmulas, sacar gráficos de ambos y mirar si es lo mismo.
#2 Para eso hay que saber, pero lo de siempre que muchos informáticos no tenemos en cuenta: somos nosotros los que sabemos, los demás no necesariamente.
#12 Antes de publicar resultados, los señores estudiosos deberían hacerse hacer una auditoría de sus datos y cálculos. La revisión por pares no cubre eso, sino solamente la parte científica.