Hace 2 años | Por geralt_ a theverge.com
Publicado hace 2 años por geralt_ a theverge.com

Miles de estudios científicos tuvieron que desechar semanas de datos por culpa de un vídeo de TikTok realizado por una adolescente. Comienza con la recién graduada en el instituto Sarah Frank sentada en su dormitorio y sonriendo a la cámara. "Bienvenidos a los trabajos secundarios que recomiendo probar: primera parte", dice en el vídeo, señalando a los usuarios el sitio web Prolific.co. Ese vídeo obtuvo 4,1 millones de visitas en el mes siguiente a su publicación y envió a decenas de miles de nuevos usuarios a la plataforma Prolific.

Comentarios

p

La investigación en línea lo hace mucho más fácil. Programas una encuesta ... la pones en línea y en un día tienes 1,000 respuestas

Y a esto lo llaman ciencia.

D

#3 Si, es ciencia, adaptada a los nuevos tiempos. Esas encuestas cuestan mucho de preparar, y los resultados deben ser analizados con mucho cuidado.

p

#5 las encuestas hay que controlar a qué perfiles se les hace, si no tienen mucho sesgo y no valen para nada. Tú imagínate que quieres hacer una encuesta de intención de voto y te vas a la puerta de la sede del PSOE a hacer.

D

#9 si no puedes verificar los datos sociodemográficos básicos no es muy fiable de entrada. Ya pasaba antes y sigue pasando con los métodos online. Es más barato y rápido, cierto. Pero mucho menos fiable.

thorin

#11 Es cierto.
Supongo que seguirán la lógica de que la gente no tiene ningún beneficio por falsear su perfil.

También en esas encuestas pueden poner preguntas de control sobre sus datos sociodemográficos para descartar perfiles que han mentido.

Pero al final es eso, esto hace muy barata la investigación a costa de cierta incertidumbre en la fiabilidad del perfil.

D

#9 anda que no he hecho yo pocas encuestas remuneradas. Respondía al tun tun y deprisita

thorin

#12 Y posiblemente la habrás cagado en unas cuantas preguntas de control, quedando marcado como poco fiable.
En plataformas cómo Mechanical turk te quedarías sin cobrar la encuesta.

D

#13 no. Nunca. Esto lo hacia hace 6 años

thorin

#18 ¿Qué tiene que ver qué lo hicieras hace 6 años?

Y las preguntas de control son discretas a propósito, si lo respondes al tuntún no te vas a enterar. Tampoco te vas a enterar de que te han calificado cómo poco fiable.

D

#19 pues chico no se. Yo cobraba el euro o medio y no se más. Me seguian llegando propuestas de encuestas

m

#3: Yo he contestado algún estudio, comprobando antes que fuera legítimo (que era de la institución que decía ser), creo que uno era de una universidad andaluza, no sé si Granada, y otro del instituto Max Plank sobre la covid-19.

El problema es asegurarse que sea legítimo y no sean espías, y esperemos que las universidades nunca se presten a distribuir esos datos para fines que no sean estrictamente científicos.

geralt_

Traducción automática:

Miles de estudios científicos tuvieron que desechar semanas de datos por culpa de un vídeo de TikTok de 56 segundos realizado por una adolescente.

El vídeo del 23 de julio es corto y sencillo. Comienza con la recién graduada en el instituto de Florida y autodenominada "autora adolescente" Sarah Frank sentada en su dormitorio y sonriendo a la cámara.

"Bienvenidos a los trabajos secundarios que recomiendo probar: primera parte", dice en el vídeo, señalando a los usuarios el sitio web Prolific.co. "Básicamente, se trata de un montón de encuestas por diferentes cantidades de dinero y diferentes cantidades de tiempo".

Ese vídeo obtuvo 4,1 millones de visitas en el mes siguiente a su publicación y envió a decenas de miles de nuevos usuarios a la plataforma Prolific. Prolific, una herramienta para los científicos que realizan investigaciones sobre el comportamiento, no contaba con herramientas de selección para asegurarse de que entregaba muestras representativas de la población a cada estudio. De repente, los científicos acostumbrados a obtener una amplia mezcla de sujetos para sus estudios de Prolific vieron sus encuestas inundadas de respuestas de mujeres jóvenes de la edad de Frank.

Para los investigadores que se basan en muestras representativas de la población estadounidense, este cambio demográfico supuso un gran problema sin una causa obvia y sin una forma clara de solucionarlo.


Hacer ciencia en Internet

Aunque no es especialmente conocido, Prolific forma parte de una pequeña colección de herramientas en línea que han transformado la forma en que las empresas y los científicos estudian el modo de pensar y actuar de las personas. La primera y más grande de estas plataformas de investigación es Mechanical Turk, propiedad de Amazon, que fue lanzada en 2005 como una plataforma de propósito general para el trabajo de crowdsourcing en tareas repetitivas. Poco después de su lanzamiento, los científicos del comportamiento se dieron cuenta de su valor potencial para su investigación, y rápidamente revolucionó varios campos de investigación.

"Antes de que existiera Mechanical Turk, toda la investigación en ciencias sociales tenía que realizarse en el laboratorio. Había que traer a estudiantes de segundo año de universidad y someterlos a cuestionarios y encuestas y demás", dijo Nicholas Hall, director del Behavioral Lab de la Stanford School of Business.

"Es una tarea que requiere mucho tiempo y trabajo. La investigación en línea lo hace mucho más fácil. Programas una encuesta... la pones en línea y en un día tienes 1.000 respuestas", dijo Hall a The Verge. "Eso cambió la cara de las ciencias sociales".

El Behavioral Lab de Stanford utiliza principalmente la plataforma Prolific, más nueva y pequeña, para los estudios en línea en estos días, dijo Hall. Mientras que muchos clientes de Mechanical Turk son grandes empresas que realizan investigaciones corporativas, Prolific orienta su producto a los científicos.

La plataforma más pequeña ofrece más transparencia, promete tratar a los participantes en las encuestas de forma más ética y promete sujetos de investigación de mayor calidad que las plataformas alternativas como Mechanical Turk.

Los científicos que realizan este tipo de investigación en Estados Unidos suelen querer un grupo de sujetos que hablen inglés como primera lengua, que no tengan demasiada práctica en la realización de encuestas psicológicas y que, en conjunto, constituyan una muestra demográfica razonablemente representativa de la población estadounidense.

La mayoría estuvo de acuerdo en que Prolific hizo un buen trabajo proporcionando sujetos de alta calidad. El repentino cambio en la demografía de la plataforma amenazó con poner en peligro esa reputación.


Las secuelas de TikTok

En los días y semanas posteriores a que Frank publicara su vídeo, los investigadores se esforzaron por averiguar qué estaba ocurriendo con sus estudios.

Un miembro del Laboratorio de Comportamiento de Stanford publicó en un foro de Prolific: "Hemos notado un enorme salto en el número de participantes en la plataforma en el Pool de Estados Unidos, de 40k a 80k. Lo cual es estupendo, pero ahora muchos de nuestros estudios tienen un sesgo de género en el que el 85% de los participantes son mujeres. Además, la edad media ha sido de unos 21 años".

La psicóloga de Wayne State Hannah Schechter parece haber sido la primera persona en descifrar el caso.

"Esto puede ser inverosímil", tuiteó, enlazando al vídeo de Frank, "pero dado el momento, la viralidad del vídeo y la demografía de los seguidores del usuario...."

Los encuestadores de Prolific de toda la vida se quejaron en Reddit de que Frank había dificultado la búsqueda de encuestas pagadas para realizar en la sobrepasada plataforma.

"Ahora es sólo otro sitio de mierda para pasar horas y ganar centavos", escribió un usuario, que dijo que anteriormente había ganado 30 dólares a la semana en la plataforma.

Frank, que "calculó" que había ganado un total de unos 80 dólares haciendo encuestas en Prolific antes de su vídeo, dijo a The Verge que también notó una diferencia en la plataforma.

"Han aparecido menos estudios para mí y para todos los demás", dijo a The Verge. "He recibido algunos comentarios realmente mezquinos acusándome de arruinar el sitio por mí misma y de ser egoísta -aunque no recibí ninguna compensación por ese vídeo".

Añadió que esperaba que Prolific fuera capaz de establecer un sistema para hacer frente a su cambio demográfico.

"También predigo que mucha gente que se inscribió después de ver mi vídeo se olvidará de él, y la oleada se apagará", dijo.

El cofundador y director de tecnología de Prolific, Phelim Bradley, dijo a The Verge que muchos de los nuevos usuarios parecen estar abandonando.

"Antes de Tiktok, alrededor del 50% de las respuestas en nuestra plataforma provenían de mujeres", escribió en un correo electrónico. "La oleada elevó esta cifra hasta el 75% durante unos días, pero desde entonces, este número ha tendido a la baja, y actualmente hemos vuelto a que el ~60% de las respuestas sean de mujeres".

Según Bradley, unos 4.600 estudios fueron interrumpidos por TikTok de Frank, alrededor de un tercio del total que estaba activo en la plataforma durante la oleada. De ellos, dijo, la gran mayoría debería poder salvarse.

Prolific ha reembolsado a los investigadores cuyos estudios se vieron afectados de forma significativa por la oleada de mujeres encuestadas y ha introducido un nuevo conjunto de herramientas de selección demográfica. La empresa anunció estas medidas un mes después de que Frank publicara su vídeo. La empresa se ha reorganizado y ha puesto un equipo a cargo del equilibrio demográfico para reconocer y responder más rápidamente a este tipo de problemas en el futuro.

"Sinceramente, nos pilló por sorpresa y no predijimos la magnitud del impacto", dijo Bradley.

El aumento no es del todo malo. Refrescar el grupo de encuestados probablemente tenga beneficios a largo plazo, dice Vlad Chituk, un estudiante de psicología de Yale que estaba realizando varios estudios piloto en Prolific cuando se produjo la oleada. Cuando los sujetos realizan muchas encuestas psicológicas, aprenden los trucos que utilizan los científicos para recopilar datos, y eso puede influir en la forma en que responden a futuras preguntas de la encuesta. Los sujetos nuevos proporcionan datos de mayor calidad.

"Las mujeres jóvenes que disfrutan de TikTok también son personas", afirma.

En cuanto a Frank, dice que su video de side hustle es ahora el TikTok más popular que ha publicado.

"Definitivamente no se me ocurrió que el vídeo fuera a explotar. Sólo lo publiqué para mis amigos y seguidores, no para el alcance que terminó teniendo", dijo. "Creo que explotó porque el sitio es genuinamente genial, y a la gente le encantan las formas eficientes de ganar dinero".

Por el momento, Frank ha puesto en pausa la mayor parte de sus propias actividades secundarias mientras se asienta en su primer año en Brown.

Gry

Pues podían haber aprovechado la oportunidad para estudiar mujeres jóvenes...

p

Teniendo en cuenta, que en la actualidad solo se investiga sobre lo que quiere que se investiga quien maneja los fondos, la finalidad de las investigaciones ya está sesgada.

Mubux

Son ciencias sociales, y de ciencias tienen poco, la prueba es que son simplemente encuestas online con un control deficiente de quien responde.

Online podria ser un varón de 50 años o una niña de 12, quien lo va a controlar.

D

Como dijo un sabio.

Las encuestas son como los biquinis.
Pueden enseñar muchas cosas y al mismo tiempo tapar lo más importante.

No es un comentario machista sobre la forma de los bañadores .

Es un chascarrillo.

Tribuno

¿Y susodichas encuestas no tienen una metodología para el control de las muestras? ¿No hay validación de los datos? ¿No hay detección de errores?