Impact of the mode of data collection on the quality of survey questions in social sciences

Author

Revilla, Melanie

Director

Saris, Willem E.

Lynn, Peter

Date of defense

2012-09-26

Legal Deposit

B. 32039-2012

Pages

141 p.



Department/Institute

Universitat Pompeu Fabra. Departament de Ciències Polítiques i Socials

Doctorate programs

Programa de doctorat en Ciències Polítiques i Socials

Abstract

This dissertation studies the impact of the mode of data collection on the quality of answers to survey questions, defined as the product of reliability and validity. Using data from the Netherlands about different topics (media, social and political trust, satisfaction, political orientation, left-right self-placement, attitudes toward immigration), it shows that the quality is similar in a computed assisted face-to-face survey using show cards (the European Social Survey, ESS) and a web survey based on a probability sample (the LISS panel). This is true both at the level of single items and composite scores. It suggests that standardised relationships across variables can be compared across these two modes. On the contrary, telephone interviews lead to some differences in quality. For complex concepts, measurement equivalence also holds, meaning that means and unstandardised relationships can be compared across the faceto- face and web surveys mentioned previously.


Esta tesis estudia el impacto que el método de recolección de datos en encuestas tiene sobre la calidad de las respuestas, definida como el producto de la fiabilidad y la validez. Utilizando datos de Holanda sobre temas diversos (utilización de los medios de comunicación, confianza social y política, satisfacción, orientaciones políticas, autoubicación en la escala izquierda-derecha, actitudes hacia la inmigración), se muestra que la calidad es similar en una encuesta cara-a-cara asistida con ordenador y utilizando tarjetas (la Encuesta Social Europea) y una encuesta online basada en una muestra probabilística (el panel LISS). Esto se cumple tanto para los indicadores simples, como para indicadores complejos. Los resultados sugieren que las relaciones estandardizadas entre variables son comparables entre los dos métodos de recolección. Al contrario, las entrevistas telefónicas producen diferencias de calidad. Para conceptos complejos, la equivalencia de las mediciones también está garantizada: las medias y las relaciones no estandarizadas son comparables en las entrevistas cara-a-cara y online.

Keywords

Mode of data collection; Face-to-face, telephone, web surveys; Quality of survey questions; Reliability and validity; Multitrait-multimethod approach; European Social Survey; LISS panel

Subjects

3 - Social Sciences

Documents

tmar.pdf

954.3Kb

 

Rights

ADVERTIMENT. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.

This item appears in the following Collection(s)