Researching the moment of truth: feasibility, benefits, and challenges of in-the-moment surveys

Abstract

Aquesta tesi avalua la viabilitat, els beneficis i els desafiaments de les enquestes in-the-moment (en el moment), un mètode innovador que utilitza dades recollides de manera passiva (comportaments en línia i dades de geolocalització) per enviar invitacions a participar a enquestes immediatament després de detectar un esdeveniment d'interès. Reduint el lapse temporal entre l'esdeveniment i l'enquesta, aquest enfocament busca minimitzar els errors de mesura relacionats amb la memòria. Per assolir aquest objectiu, es van dur a terme dos experiments conjoint que van avaluar la disposició dels membres de panells en línia d’inscripció voluntària a participar en enquestes in-the-moment, un per cada tipus de dades emprades per detectar events. Posteriorment, es va avaluar l'eficàcia de diferents mètodes de notificació, crucials per assegurar respostes ràpides. Basant-se en aquestes troballes, es van implementar dos estudis experimentals que comparaven enquestes in-the-moment en contextos reals amb enquestes convencionals equivalents: un va investigar sol·licituds de feina en línia i l'altre, visites a la platja. Aquests experiments van validar les taxes de participació i van permetre avaluar la qualitat de les dades en ambdós mètodes. En conjunt, aquesta tesi proporciona nous coneixements per mitigar els errors relacionats amb la memòria mitjançant la integració de tècniques innovadores d'enquesta amb tecnologies emergents.

Esta tesis evalúa la viabilidad, los beneficios y los desafíos de las encuestas in-the-moment (en el momento), un método innovador que utiliza datos recogidos de manera pasiva (comportamientos en línea y datos de geolocalización) para enviar invitaciones a participar en encuestas inmediatamente después de detectar un evento de interés. Al reducir el lapso temporal entre el evento y la encuesta, este enfoque busca minimizar los errores de medición relacionados con la memoria. Para lograr este objetivo, se llevaron a cabo dos experimentos conjoint que evaluaron la disposición de los miembros de paneles en línea de inscripción voluntaria a participar en encuestas in-the-moment, uno por cada tipo de datos empleados para detectar eventos. Posteriormente, se evaluó la eficacia de diferentes métodos de notificación, cruciales para asegurar respuestas rápidas. Basándose en estos hallazgos, se implementaron dos estudios experimentales que comparaban encuestas in-the-moment en contextos reales con encuestas convencionales equivalentes: uno investigó solicitudes de empleo en línea y el otro, visitas a la playa. Estos experimentos validaron las tasas de participación y permitieron evaluar la calidad de los datos en ambos métodos. En conjunto, esta tesis proporciona nuevos conocimientos para mitigar los errores relacionados con la memoria mediante la integración de técnicas innovadoras de encuesta con tecnologías emergentes.

This thesis evaluates the feasibility, benefits, and challenges of in-the-moment surveys, a novel method that leverages passively collected data (online behaviors and geolocation data) to trigger surveys immediately after an event of interest is detected. By reducing the time gap between the event and the survey, this approach seeks to reduce memory-related measurement errors. To achieve this, two conjoint experiments assessed the willingness of opt-in online panelists to participate in in-the-moment surveys, one for each type of triggering data. The effectiveness of different notification methods was then evaluated, as these are crucial to ensuring timely responses. Building on these findings, two experimental studies compared in-the-moment surveys in real-world contexts with equivalent conventional surveys: one investigated online job applications, while the other explored visits to the beach. These experiments validated participation rates and assessed data quality across methods. Overall, this thesis provides new insights into mitigating memory-related errors by integrating innovative survey techniques with emerging technologies.