scispace - formally typeset
Search or ask a question
Journal ArticleDOI

Análisis de herramientas gratuitas para el diseño de cuestionarios on-line

TL;DR: In this article, the authors present the results of a study of web 2.0 herramientas web 2,0 gratuitas for the diseno de cuestionarios on-line.
Abstract: En este articulo se presentan los resultados de un estudio que tiene como objetivo analizar herramientas web 2.0 gratuitas para el diseno de cuestionarios on-line. El procedimiento se desarrolla en cuatro fases: (1) Identificacion y localizacion de herramientas; (2) Definicion de criterios de analisis; (3) Analisis de herramientas y (4) Analisis de resultados. Se analiza un total de 37 herramientas de las 45 identificadas. Se constata el elevado numero de aplicaciones existentes con versiones gratuitas que, en general, ofrecen funciones limitadas. Aunque las caracteristicas de algunas de ellas pueden ajustarse a las necesidades de los investigadores.

Summary (2 min read)

1. Introducción.

  • Al hilo de esta idea, numerosos investigadores señalan que los cuestionarios suministrados a través de Internet presentan ciertas ventajas sobre el resto de medios existentes.
  • Por otro lado, ofrecen un efecto de mayor anonimato a los -93 - Otro grupo de ventajas está relacionado con el formato de la encuesta on-line, como señalan los mismos investigadores.
  • Por otra parte, su formato permite introducir elementos multimedia (fotos, vídeos, etc.).
  • Por un lado, la obtención de los datos es infinitamente más rápida que en el caso de las encuestas presenciales, puesto que los cuestionarios on-line graban automáticamente la información que introducen los encuestados.

EFICACIA EFICIENCIA

  • Las encuestas on-line permiten prácticamente todo tipo de materiales de apoyo.
  • Disponen de las ventajas de los cuestionarios autoadministrados.
  • Permiten alcanzar a personas muy distantes geográficamente, con un coste mínimo.

Filtros y saltos de aplicación automática en el cuestionario

  • -94 - Este trabajo tiene como objetivo analizar las características de aquellas herramientas que cuentan con planes gratuitos para la creación de encuestas on-line.
  • Se indaga, por tanto, en las posibilidades que ofrece Internet para utilizar el cuestionario on-line como herramienta de recogida de datos en investigación educativa y social.
  • A continuación, describimos brevemente cada una de ellas.
  • Se accede tanto a las que tienen planes de pago como planes gratuitos, aunque nuestra finalidad es analizar solo los planes gratuitos.
  • Número de usuarios : Indica la cantidad de equipos registrados distintos desde los que acceder para diseñar, crear y gestionar las encuestas.

Survey Planet

  • Se intenta completar el registro en varias ocasiones pero no se consigue, por lo que los datos que muestran las tablas son los que indican en su web.
  • Tabla 2. Incidencias surgidas durante el análisis.
  • Tras ello se crea un cuestionario on-line en cada herramienta anotándose en una matriz de doble entrada los resultados del análisis.

3. Presentación de resultados.

  • También se ha detectado que algunas herramientas, a pesar de aparecer con denominaciones distintas, tienen características comunes, como el uso de interfaces similares o las mismas opciones de configuración y personalización.
  • Las mayores similitudes se dan entre eSurvey Creator y Online Encuesta y entre Free Online Surveys y Kwik Surveys, si bien WUFOO también cuenta con características similares a Survey Monkey.

3.1. Creación de una encuesta.

  • Google Docs, Lime Survey, Tus Encuestas y Type Form, also known as Estas herramientas son.
  • En este último caso, las plantillas están organizadas en temas .

3.2. Preguntas y respuestas posibles.

  • El resto sí establece, pero con distintos criterios: 10 herramientas (27%) fijan un número de respuestas por encuesta, 6 herramientas (16,2%) las establecen según un criterio temporal (por mes) y una herramienta (2,7%) por usuario.
  • En el ítem sobre los tipos de respuestas que ofrecen las herramientas para las preguntas formuladas, todas proporcionan distintos tipos de respuestas.

4. Discusión.

  • Esta investigación constata que existe en Internet una gran cantidad de aplicaciones gratuitas para crear, realizar y gestionar encuestas on-line, si bien la mayoría de ellas son versiones limitadas que permiten a los potenciales usuarios explorarlas antes de decidir si acceder, mediante pago, a versiones más completas.
  • Estos datos coinciden con las cifras aportadas por otros autores quienes certifican el avance de este tipo de encuestas.
  • En general las herramientas analizadas son estables y permiten construir encuestas sin dificultad.
  • De mayor interés para los investigadores son aquellas que permiten elaborarlas en múltiples idiomas y facilitan su creación a partir de plantillas preestablecidas, a la vez que ofrecen múltiples opciones de formato.
  • Sánchez et al. (2011) indican que uno de los problemas a los que se enfrentan los investigadores al utilizar encuestas on-line es que, si bien una parte importante de los hogares accede a Internet de forma habitual, hay que admitir que estos hogares tienen un perfil determinado, que determina el tipo de población encuestada.

Did you find this useful? Give us your feedback

Content maybe subject to copyright    Report

- 91 -
Lorca, S., Carrera, X. & Casanovas, M. Páginas 91 a 104
Píxel-Bit. Revista de Medios y Educación. Nº 49 Julio2016. ISSN: 1133-8482.
e-ISSN: 2171-7966. doi: http://dx.doi.org/10.12795/pixelbit.2016.i49.06
ANÁLISIS DE HERRAMIENTAS GRATUITAS PARA EL DISEÑO DE
CUESTIONARIOS ON-LINE
ANALYSIS OF FREE TOOLS FOR DESIGNING ONLINE
QUESTIONNAIRES
Sergio Lorca Montoya
1
sergio.lorca@murciaeduca.es
Dr. Xavier Carrera Farran
2
carrera@pip.udl.cat
Dra. Montserrat Casanovas Català
2
m.casanovas@didesp.udl.cat
(1)
Consejería de Educación y Universidades de la Región de Murcia. Avenida de la Fama,
15, 30003, Murcia (España)
(2)
Universidad de Lleida - Facultad de Educación, Psicología y Trabajo Social. Avenida
Estudi General, 4, 25001, Lleida (España)
En este artículo se presentan los resultados de un estudio que tiene como objetivo analizar
herramientas Web 2.0 gratuitas para el diseño de cuestionarios on-line. El procedimiento se
desarrolla en cuatro fases:(1) Identificación y localización de herramientas; (2) Definición
de criterios de análisis; (3) Análisis de herramientas y (4) Análisis de resultados. Se analiza
un total de 37 herramientas de las 45 identificadas. Se constata el elevado número de
aplicaciones existentes con versiones gratuitas que, en general, ofrecen funciones limitadas.
Aunque las características de algunas de ellas pueden ajustarse a las necesidades de los
investigadores.
Palabras clave: Herramientas Web 2.0, Cuestionario, Análisis de herramientas, Encuesta en
línea.
This article presents the results of a study that aims to analyze free web 2.0 tools for designing
online questionnaires. The procedure was developed in four phases: (1) Identification and
location of the tools; (2) Definition of analysis criteria; (3) Analysis of tools and (4) Analysis
of results. We analyzed 37 of a total 45 identified. It cconfirm the high number of existing
applications with free versions that, generally, offer limited functions. However, the
characteristics of some of them can meet the needs of researchers.
Keywords: Web 2.0 Tools, Questionnaire, Analysis tools, Online survey.

- 92 -
Lorca, S., Carrera, X. & Casanovas, M. Páginas 91 a 104
Píxel-Bit. Revista de Medios y Educación. Nº 49 Julio 2016. ISSN: 1133-8482.
e-ISSN: 2171-7966. doi: http://dx.doi.org/10.12795/pixelbit.2016.i49.06
1. Introducción.
No cabe duda de que la encuesta es una de
las técnicas más usuales de la investigación
cuantitativa para la recogida de datos
(Castañeda & Luque, 2004), técnica que ha
presentado una evolución muy notable desde
hace un tiempo. Así, la encuesta tradicional y
presencial, en sus diferentes concreciones
(cara a cara, autocumplimentadas en papel,
telefónicas), predominante desde sus
primeras aplicaciones hasta los años ochenta
del siglo XX, ha sufrido un descenso notable
en los últimos años como consecuencia de la
emergencia de nuevas modalidades de
recogida de la información (De Leeuw, Hox &
Dillman, 2008; Díaz, 2011; Dillman, Smyth &
Christian, 2009; Stoop, Billiet, Koch &
Fitzgerald, 2010), derivadas de las nuevas
condiciones sociales (Dillman et al., 2009).
Esas nuevas condiciones sociales vienen
determinadas por el avance tecnológico que
en las últimas décadas se ha producido, de la
mano de Internet y sus diferentes
herramientas y aplicaciones. En muy pocos
años el uso de las encuestas a través de
Internet se ha generalizado, como constata
Cuende (2010). En su trabajo confirma que el
21% de la investigación realizada durante
2009 se llevó a cabo en línea, frente al 18%
realizada a través del teléfono y el 12% cara a
cara. Este incremento está motivado, sin duda,
por las características particulares de la Red;
como son, la rapidez en la recogida de
información, el bajo coste de administración
y gestión, su adecuación para medir temáticas
sensibles (Kreuter, Presser & Toureangeau,
2008), gracias a la distancia física entre el
entrevistador y el entrevistado físico y la
libertad que ello supone, así como a la alta
interacción con el entrevistado que genera
una mejora en las respuestas al cuestionario
(Couper, 2000; Fricker & Schonlau, 2002; Kent
& Lee, 1999; Khode, 2015; Manfreda, Bosnjak,
Berzelak, Haas & Vehovar, 2008; Manfreda &
Vehovar, 2008). Por todas estas razones, a
pesar de su corta historia, se trata de una
modalidad que ha tenido un gran impacto en
la investigación basada en encuestas
(Couper & Miller, 2009).
En la actualidad numerosos investigadores
consideran que las encuestas por Internet
ofrecen información con tanta calidad como
las encuestas presenciales o telefónicas
(Callegaro, Manfreda & Vehovar, 2015; Chang
& Krosnick, 2009; Lamas, 2007; López, 2008;
Manfreda & Vehovar, 2008; Valls, 2007). De
hecho, algunos autores (Alarco & Álvarez,
2012) afirman que, precisamente, la Red y el
uso de herramientas de encuestas on-line han
supuesto una mejora notable en la forma de
investigar y han revolucionado las antiguas
formas de recogida de datos hasta el punto
de que están quedando obsoletas. Al hilo de
esta idea, numerosos investigadores señalan
que los cuestionarios suministrados a través
de Internet presentan ciertas ventajas sobre
el resto de medios existentes. Así, por ejemplo,
Castañeda y Luque (2004) recogen las
ventajas de estos medios en términos de
eficiencia y eficacia, ventajas que se resumen
en la Tabla 1.
A estas ventajas han de sumarse los
aspectos positivos de esta modalidad de
aplicación que señalan Fricker & Schonlau
(2002). En primer lugar, las encuestas online
presentan una serie de ventajas derivadas de
su relación con los informantes. Estos mismos
autores apuntan que ese tipo de
cuestionarios permiten llegar a una población
más amplia, habitualmente de difícil acceso,
como pueden ser personas hospitalizadas o
con movilidad reducida. Por otro lado,
ofrecen un efecto de mayor anonimato a los

- 93 -
Lorca, S., Carrera, X. & Casanovas, M. Páginas 91 a 104
Píxel-Bit. Revista de Medios y Educación. Nº 49 Julio2016. ISSN: 1133-8482.
e-ISSN: 2171-7966. doi: http://dx.doi.org/10.12795/pixelbit.2016.i49.06
informantes, puesto que no tienen delante al
entrevistador, lo que puede ayudar a disminuir
las dudas a participar (disminuye la no
respuesta total) o a eludir contestar a
preguntas determinadas (reduce la no
respuesta parcial).
Otro grupo de ventajas está relacionado
con el formato de la encuesta on-line, como
señalan los mismos investigadores. En primer
lugar, los costes de ese tipo de encuestas se
ven reducidos con respecto a otros métodos
de recogida de datos, puesto que no es
necesario ni personal ni material fungible para
su pasación. Además, el cuestionario siempre
está disponible, veinticuatro horas, siete días
a la semana, por lo que puede ser contestado
a cualquier hora del día o de la noche, lo que
favorece la participación de los encuestados.
Por otra parte, su formato permite introducir
elementos multimedia (fotos, vídeos, etc.).
Aparte del aumento del atractivo de los
cuestionarios que el elemento multimedia
supone, ello implica que esos elementos dan
opción a utilizar el cuestionario para indagar
acerca de procesos, procedimientos, sucesos,
técnicas, debates,… de carácter complejo.
Técnicamente, además, las encuestas on-line
pueden ser accesibles desde cualquier
navegador de Internet, dadas las mejoras en
los entornos CAWI (Computer Assisted Web
Interviewing), que posibilitan que sean
multinavegador.
Por último, también ofrecen ventajas por lo
que se refiere a la gestión de los datos. Por
un lado, la obtención de los datos es
infinitamente más rápida que en el caso de
las encuestas presenciales, puesto que los
cuestionarios on-line graban
automáticamente la información que
introducen los encuestados. Además, en el
caso de grandes muestras, permiten una mejor
gestión, ya que los sistemas CAWI ofrecen
registros, filtros, rangos, etc., lo que optimiza
el tratamiento de los datos.
El advenimiento de las tecnologías móviles
amplia toda esta relación de potencialidades
en cuanto se incrementa la disponibilidad y
accesibilidad (en cualquier momento y en
cualquier lugar) a la encuesta, puesto que el
usuario siempre lleva consigo el dispositivo
que le permite la conexión. Precisamente,
creemos que uno de los factores que habría
de tenerse en cuenta en los diseños de este
tipo de cuestionarios es el acceso cada vez
más elevado a través de tecnología móvil.
EFICACIA EFICIENCIA
Las encuestas on-line permiten prácticamente todo tipo de
materiales de apoyo.
Resulta más económico.
Disponen de las ventajas de los cuestionarios
autoadministrados.
Permiten alcanzar a personas muy distantes
geográficamente, con un coste mínimo.
Menor intrusión en la intimidad Alta velocidad en la recogida de datos.
Disponibilidad de un público ya segmentado en Internet y en
mayor grado seleccionando el lugar de colocación de la
encuesta.
Rapidez en la obtención de resultados, los
cuestionarios se codifican automáticamente.
Filtros y saltos de aplicación automática en el cuestionario
Al decidir el encuestado el momento de responder
las respuestas suelen ser de mayor calidad.
En Internet se puede desarrollar experimentación en un entorno natural con un nivel de control aproximado al que
ofrece una práctica de laboratorio.
Tabla 1. Ventajas en eficacia y eficiencia de la encuesta on-line (Castañeda & Luque,
2004: 25).

- 94 -
Lorca, S., Carrera, X. & Casanovas, M. Páginas 91 a 104
Píxel-Bit. Revista de Medios y Educación. Nº 49 Julio 2016. ISSN: 1133-8482.
e-ISSN: 2171-7966. doi: http://dx.doi.org/10.12795/pixelbit.2016.i49.06
2. Metodología: procedimiento y criterios
de análisis.
Este trabajo tiene como objetivo analizar
las características de aquellas herramientas
que cuentan con planes gratuitos para la
creación de encuestas on-line. Se indaga, por
tanto, en las posibilidades que ofrece Internet
para utilizar el cuestionario on-line como
herramienta de recogida de datos en
investigación educativa y social. Para llevar
a cabo el estudio se siguen cuatro fases: (1)
identificación y localización de herramientas;
(2) definición de criterios de análisis; (3)
análisis de herramientas y (4) análisis de
resultados. A continuación, describimos
brevemente cada una de ellas.
Fase 1- Identificación y localización de
herramientas. Fase indagatoria en la que se
recaba la mayor cantidad posible de
herramientas que permiten construir
encuestas on-line. Se accede tanto a las que
tienen planes de pago como planes gratuitos,
aunque nuestra finalidad es analizar solo los
planes gratuitos. En esta primera fase, se
identifican 45 herramientas distintas.
Fase 2- Definición de criterios de análisis.
A partir de los conocimientos previos sobre
este tipo de herramientas y de las propuestas
de Díaz (2011) se establecen 16 criterios de
análisis correspondientes a siete dimensiones
distintas (usuarios, encuestas, diseño,
preguntas, respuestas, recopilación de
respuestas y análisis de resultados) que se
definen a continuación.
· Número de usuarios (Usuarios): Indica
la cantidad de equipos registrados distintos
desde los que acceder para diseñar, crear y
gestionar las encuestas. Las opciones de
respuesta son: 1 cuando la aplicación sólo
permite crear un usuario o Ilimitados cuando
no establece un número máximo de usuarios.
· Número de encuestas (Encuestas):
Establece el número de cuestionarios que es
posible crear con el usuario o usuarios
registrados. Los valores de respuesta son:
Número de encuestas posibles y por otro lado
Ilimitadas cuando no hay restricción.
· Idioma (Encuestas): Muestra el idioma
en el que se puede crear una encuesta. Las
opciones de respuesta son: Nombre del
idioma o idiomas posibles (hasta 5 idiomas)
o bien Multilingüe cuando es posible crear
la encuesta en más de 5 idiomas diferentes.
· Plantillas (Diseño de encuestas):
Describe si permite crear encuestas a partir
de una plantilla base (satisfacción de
clientes, educación, eventos, salud, etc.). Las
opciones de respuesta son: cuando hay
plantillas, No cuando no dispone de ellas y
Número de plantillas disponibles cuando se
especifica el número de plantillas a utilizar.
· Formato/Tema (Diseño de encuestas):
Muestra si existe la posibilidad de editar el
formato de una encuesta para personalizarla
(colores, fuentes, fondos, etc.). Las opciones
de respuesta son: cuando existe la
posibilidad de editar el formato, No cuando
no está permitida la opción y Número de
temas con formato que se pueden cargar
cuando se ofrecen diversos formatos
preestablecidos.
· Número de preguntas (Preguntas):
Señala la cantidad de preguntas que se
pueden formular en la encuesta. Los valores
de respuesta son: Número de preguntas,
Número/encuesta cuando el número de
preguntas posibles está relacionado con un
número determinado de encuestas, Número/
usuario cuando el número de preguntas
posibles está relacionado con un número
determinado de usuarios, Ilimitadas cuando
no se ha restringido el número de preguntas
posibles y N/E cuando no se puede definir

- 95 -
Lorca, S., Carrera, X. & Casanovas, M. Páginas 91 a 104
Píxel-Bit. Revista de Medios y Educación. Nº 49 Julio2016. ISSN: 1133-8482.
e-ISSN: 2171-7966. doi: http://dx.doi.org/10.12795/pixelbit.2016.i49.06
con exactitud la cantidad máxima de
preguntas posibles.
· Tipos de preguntas (Preguntas):
Indica el número de posibles tipos de
preguntas que puede tener una encuesta
(abierta, cerrada, múltiple, etc.). Las opciones
de respuesta son: Número de tipos, cuando
haya diferentes tipos y N/E cuando no se
puede definir con exactitud la cantidad de
tipos de preguntas posibles.
· Número de respuestas (Respuestas):
Define la cantidad de respuestas que puede
tener la encuesta. Las opciones de respuesta
son: Número de respuestas, Número/
encuesta cuando el número de respuestas
posibles está relacionado con un número
determinado de encuestas, Número/usuario
cuando el número de respuestas posibles está
relacionado con un número determinado de
usuarios, Número/mes cuando el número de
respuestas posibles esté relacionado con un
número determinado al mes, Ilimitadas
cuando el número de respuestas es ilimitado
y, por último, N/E cuando no se puede definir
con exactitud la cantidad máxima de
respuestas posibles.
· Tipos de respuestas (Respuestas):
Indica el número de posibles tipos de
respuestas que puede tener una encuesta.
Las opciones de respuesta son: Número de
tipos, cuando hay diferentes tipos aunque
sin precisar su cantidad y N/E cuando no se
puede identificar con exactitud la cifra de tipos
de respuestas posibles.
· Dominio propio (Recopilación de
respuestas): Recoge si existe la posibilidad
de tener una dirección URL personalizada con
la encuesta. Las opciones de respuesta son
y No.
· Redes Sociales (Recopilación de
respuestas): Indica si la herramienta admite
compartir o publicar el enlace a la encuesta
en las principales redes sociales (Facebook,
Twitter, etc.). Las opciones de respuesta son
y No.
· Limitación de entradas IP
(Recopilación de respuestas): Señala si la
herramienta evita respuestas repetidas
limitando el acceso por dirección IP. Las
opciones de respuesta son y No.
· Informe tiempo real (Análisis de
resultados): Describe si la herramienta da
acceso a las estadísticas de respuestas de la
encuesta en tiempo real. Las opciones de
respuesta son y No.
· Resultados individuales (Análisis de
resultados): Muestra si la herramienta permite
consultar on-line las respuestas facilitadas
por cada encuestado de forma individual. Las
opciones de respuesta son y No.
· Impresión de informe (Análisis de
resultados): Indica si la herramienta presenta
la opción de imprimir un informe de los
resultados de la encuesta. Las opciones de
respuesta son y No.
· Gráficos autogenerados (Análisis de
resultados): Define si la herramienta ofrece la
generación automática de gráficos para
representar los datos obtenidos en la
Herramienta Incidencia
Quiz Revolution
Funcionamiento deficiente. Durante la configuración del cuestionario da fallos y error al
guardar.
Tus Encuestas Sólo permite crear la encuesta para integrarla en nuestra página web.
Survey Planet
Se intenta completar el registro en varias ocasiones pero no se consigue, por lo que los datos
que muestran las tablas son los que indican en su web.
Tabla 2. Incidencias surgidas durante el análisis.

Citations
More filters
Journal ArticleDOI
TL;DR: In this article, a descriptive exploratory correlational study that analyzes the link between art and wellbeing through an ad hoc on-line questionnaire, completed by 462 people of different age, sex, level of studies and artistic experience is presented.
Abstract: In the last decades, the functions of art have been the subject of many research projects. However, few studies focus on the link between art and wellbeing welfare from the point of view of the participant. This paper represents an example for a descriptive exploratory correlational study that analyzes the link between art and wellbeing through an ad hoc on-line questionnaire, completed by 462 people of different age, sex, level of studies and artistic experience. A vast majority of them consider art as being able to improve their mood, music being the preferred artistic means for it. Some believe that art is a more effective approach than others such as for example sport, however most participants prefer to combine it with other disciplines. People with an artistic background or experience proved to be more likely to use artistic expression to create well-being.

10 citations

01 Jan 2008

1 citations

Journal ArticleDOI
TL;DR: In this paper, a superposición of the Teoría unificada de aceptación y uso de la tecnología (UTAUT) and the Índice de clasificación de definición de proyecto (PDRI) is presented.

1 citations

Journal ArticleDOI
01 Sep 2021
TL;DR: In this article, the authors address the relationship marketing and its impact on customer loyalty in the company Tia S.A. on a population of 129,101 inhabitants belonging to the Economically Active Population.
Abstract: This article addresses the relationship marketing and its impact on customer loyalty in the company Tia S.A. The study is a quantitative research with a descriptive scope based on the survey methodology, using the Google Docs tool to a sample of approximately 384 inhabitants of the city of Machala, Ecuador and who are customers of Tia S.A. on a population of 129,101 inhabitants belonging to the Economically Active Population (EAP). The identified results of certain strategies that the company has been applying to retain its customers have been successful, however, strategies have been identified that have not been adequately managed by the company to produce the expected impact or results in its relationship with customers.

1 citations

Journal ArticleDOI
TL;DR: In this article, the authors compared and evaluated the different services and features offered by the online questionnaire tools and concluded that questionnaire plays a vital role in conducting research and needs more knowledge on subject, grammar and English language.
Abstract: Questionnaire plays a vital role in conducting research. Construction of questionnaire is an art and needs more knowledge on subject, grammar and English language. It is one of the data collection tools and it is widely used in survey method. Online questionnaire is the gift of the Information and Communication Technology (ICT), which helps to collect, analyse, evaluate and interpret data through online. This study compared and evaluated the different services and features offered by the online questionnaire tools.

1 citations

References
More filters
Journal ArticleDOI
TL;DR: By offering a typology of Web survey designs, the intent of this article is to facilitate the task of evaluating and improving Web surveys.
Abstract: As we enter the twenty-first century, the Internet is having a profound effect on the survey research industry, as it is on almost every area of human enterprise. The rapid development of surveys on the World Wide Web (WWW) is leading some to argue that soon Internet (and, in particular, Web) surveys will replace traditional methods of survey data collection. Others are urging caution or even voicing skepticism about the future role Web surveys will play. Clearly, we stand at the threshold of a new era for survey research, but how this will play out is not yet clear. Whatever one's views about the likely future for survey research, the current impact of the Web on survey data collection is worthy of serious research attention. Given the rapidly growing interest in Web surveys,' it is important to distinguish among different types of Web surveys. The rubric "Web survey" encompasses a wide variety of methods, with different purposes, populations, target audiences, etc. I present an overview of some of the key types of Web surveys currently being implemented and do so using the language of survey errors. In order to judge the quality of a particular survey (be it Web or any other type), one needs to do so within the context of its stated aims and the claims it makes. By offering a typology of Web survey designs, the intent of this article is to facilitate the task of evaluating and improving Web surveys. Web surveys represent a double-edged sword for the survey industry. On the one hand, the power of Web surveys is that they make survey data collection (as opposed to survey participation) available to the masses. Not only can researchers get access to undreamed of numbers of respondents at dramatically lower costs than traditional methods, but members of the general

2,170 citations

Journal ArticleDOI
TL;DR: The authors examined the effect of different modes of self-administration on the reporting of potentially sensitive information by a sample of university graduates, and found that the effects of the mode of data collection and the actual status of the respondent influenced whether respondents found an item sensitive.
Abstract: Although it is well established that self-administered ques- tionnaires tend to yield fewer reports in the socially desirable direction than do interviewer-administered questionnaires, less is known about whether different modes of self-administration vary in their effects on socially desirable responding In addition, most mode comparison stud- ies lack validation data and thus cannot separate the effects of differ- ential nonresponse bias from the effects of differences in measurement error This paper uses survey and record data to examine mode effects on the reporting of potentially sensitive information by a sample of re- cent university graduates Respondents were randomly assigned to one of three modes of data collection—conventional computer-assisted tele- phone interviewing (CATI), interactive voice recognition (IVR), and the Web—and were asked about both desirable and undesirable attributes of their academic experiences University records were used to evaluate the accuracy of the answers and to examine differences in nonresponse bias by mode Web administration increased the level of reporting of sensi- tive information and reporting accuracy relative to conventional CATI, with IVR intermediate between the other two modes Both mode of data collection and the actual status of the respondent influenced whether respondents found an item sensitive

1,011 citations

Journal ArticleDOI
TL;DR: In this article, the authors conducted a meta-analysis of 45 published and unpublished experimental comparisons between web and other survey modes and found that on average, web surveys yield an 11% lower response rate compared to other modes (the 95% confidence interval is confined by 15% and 6% to the disadvantage of the web mode).
Abstract: One question that arises when discussing the usefulness of web-based surveys is whether they gain the same response rates compared to other modes of collecting survey data. A common perception exists that, in general, web survey response rates are considerably lower. However, such unsystematic anecdotal evidence could be misleading and does not provide any useful quantitative estimate. Metaanalytic procedures synthesising controlled experimental mode comparisons could give accurate answers but, to the best of the authors' knowledge, such research syntheses have so far not been conducted. To overcome this gap, the authors have conducted a meta-analysis of 45 published and unpublished experimental comparisons between web and other survey modes. On average, web surveys yield an 11% lower response rate compared to other modes (the 95% confidence interval is confined by 15% and 6% to the disadvantage of the web mode). This response rate difference to the disadvantage of the web mode is systematically influenced by the sample recruitment base (a smaller difference for panel members as compared to one-time respondents), the solicitation mode chosen for web surveys (a greater difference for postal mail solicitation compared to email) and the number of contacts (the more contacts, the larger the difference in response rates between modes). No significant influence on response rate differences can be revealed for the type of mode web surveys are compared to, the type of target population, the type of sponsorship, whether or not incentives were offered, and the year the studies were conducted. Practical implications are discussed.

942 citations

Journal ArticleDOI
TL;DR: In this paper, the same questionnaires were administered simultaneously by RDD telephone interviewing, by the In- ternet with a probability sample, and by the Internet with a nonprobability sample of people who volunteered to do surveys for money.
Abstract: In a national field experiment, the same questionnaires were administered simultaneously by RDD telephone interviewing, by the In- ternet with a probability sample, and by the Internet with a nonprobability sample of people who volunteered to do surveys for money. The probabil- ity samples were more representative of the nation than the nonprobability sample in terms of demographics and electoral participation, even after weighting. The nonprobability sample was biased toward being highly engaged in and knowledgeable about the survey's topic (politics). The telephone data manifested more random measurement error, more survey satisficing, and more social desirability response bias than did the Inter- net data, and the probability Internet sample manifested more random error and satisficing than did the volunteer Internet sample. Practice at completing surveys increased reporting accuracy among the probability Internet sample, and deciding only to do surveys on topics of personal interest enhanced reporting accuracy in the nonprobability Internet sam- ple. Thus, the nonprobability Internet method yielded the most accurate self-reports from the most biased sample, while the probability Internet sample manifested the optimal combination of sample composition ac- curacy and self-report accuracy. These results suggest that Internet data collection from a probability sample yields more accurate results than do

924 citations

01 Jan 2002
TL;DR: In this paper, the authors examine what is known and not known about the use of the Internet for surveying and conclude that it is possible to implement Internet-based surveys in ways that are effective and cost-efficient.
Abstract: E-mail and World Wide Web surveys have been the subject of much hyperbole about their capabilities as well as some criticism of their limitations. In this report, the authors examine what is known and not known about the use of the Internet for surveying. Specifically, they consider evidence in the literature regarding response rates, timeliness, data quality, and cost. Using this evidence, the authors evaluate popular claims that Internet-based surveys can be conducted more quickly, effectively, cheaply, and/or easily than surveys conducted via conventional modes. They find that the realities of cost and speed often do not live up to the hype. Nonetheless, it is possible to implement Internet-based surveys in ways that are effective and cost-efficient. The authors conclude that the Internet will continue to grow in importance for conducting certain types of research surveys

647 citations