Implementation of the forced answering option within online surveys: Do higher item response rates come at the expense of participation and answer quality?

in Psihologija (2015), 48(4), 311-326

Online surveys have become a popular method for data gathering for many reasons, including low costs and the ability to collect data rapidly. However, online data collection is often conducted without ... [more ▼]

Online surveys have become a popular method for data gathering for many reasons, including low costs and the ability to collect data rapidly. However, online data collection is often conducted without adequate attention to implementation details. One example is the frequent use of the forced answering option, which forces the respondent to answer each question in order to proceed through the questionnaire. The avoidance of missing data is often the idea behind the use of the forced answering option. However, we suggest that the costs of a reactance effect in terms of quality reduction and unit nonresponse may be high because respondents typically have plausible reasons for not answering questions. The objective of the study reported in this paper was to test the influence of forced answering on dropout rates and data quality. The results show that requiring participants answer every question increases dropout rates and decreases quality of answers. Our findings suggest that the desire for a complete data set has to be balanced against the consequences of reduced data quality. [less ▲]

Die Erstellung von Sozialen Indikatoren als Entscheidungswissen im transdisziplinären Diskurs: Empirische Fallanalyse der European Expertgroup on Youth Indicators

in Verhandlungen der Kongresse der Deutschen Gesellschaft für Soziologie (2015), 1(35),

In postindustriellen Gesellschaften und insbesondere im Zeitalter der Wissensgesellschaft greift die Politik zur gesamtgesellschaftlichen Steuerung v.a. in Krisensituationen immer häufiger auf externes ... [more ▼]

In postindustriellen Gesellschaften und insbesondere im Zeitalter der Wissensgesellschaft greift die Politik zur gesamtgesellschaftlichen Steuerung v.a. in Krisensituationen immer häufiger auf externes Expertenwissen zurück, um: • Alternativen abzuwägen, • Entscheidungen zu treffen, legitimieren, bewerten und • als Frühwarnsystem zu fungieren. Auf EU-politischer Ebene wird dieses Treffen von Entscheidungen auf Basis von fundiertem Wissen als „evidence-based-policy-making“ bezeichnet. Was die Organisation und Produktion von Wissen angeht, beschreiben zahlreiche Studien einen Wandel dieser Prozesse in den heutigen modernen Gesellschaften, auch im politikberatenden Kontext. Die Art der Wissensdiffusion und die Rollenaufteilung haben sich verändert. Die traditionell lineare Vorgehensweise wird zumeist durch hybride Kooperationsmodelle, in denen unterschiedliche transdisziplinäre Akteure (wie Wissenschaft, Politik und Praxis) Wissen ko-konstruieren/-produzieren, abgelöst. Studienschwerpunkt: Während die klassischen akademischen Routinen und Methoden der Wissensgenerierung soziologisch gut erforscht sind, besteht jedoch Forschungsbedarf zu der Art und Weise, wie Wissen in diesem transdisziplinären Diskurs generiert wird. Schwerpunkt dieser Studie ist die Wissensgenerierung über quantitative Sozialindikatoren. Sie sind eine Form externen Wissens, welches hervorgebracht wird, um politische Entscheider im Entscheidungsprozess zu entlasten und ihre Entscheidung zu legitimieren. Das zentrale Ziel dieser Studie ist, die Einflüsse des Wissensdiskurses auf die traditionell wissenschaftlichen Methoden der Sozialberichterstattung zu erforschen. In einer empirischen Fallanalyse wird die Arbeit der transnationalen und -disziplinären Expertengruppe European Expert Group on Youth Indicators mittels einer Mehrfachtriangulation rekonstruiert. Sie operationalisiert die Indikatoren des European Dashboard on Youth Indcators im Diskurs zwischen Politik, Praxis und Wissenschaft (disziplinäre Interessen) sowie nationalen und internationalen Interessen, Zielen und kulturellen Identitäten. [less ▲]

„To force or not to force. That is the question!“: Die Auswirkungen des Einsatzes von Forced-Response-Fragen auf die Qualität der Befragungsergebnisse

in Verhandlungen der Kongresse der Deutschen Gesellschaft für Soziologie (2015), 1

Die Methode der Onlinebefragung hat sich innerhalb des letzten Jahrzehnts als Befragungsroutine etabliert. Sie ist zumeist mit niedrigen Kosten verbunden und ermöglicht es innerhalb kürzester Zeit hohe ... [more ▼]

Die Methode der Onlinebefragung hat sich innerhalb des letzten Jahrzehnts als Befragungsroutine etabliert. Sie ist zumeist mit niedrigen Kosten verbunden und ermöglicht es innerhalb kürzester Zeit hohe Fallzahlen zu erzielen sowie „fundierte“ Ergebnisse zu generieren. Dies führte einerseits zu einer Demokratisierung der Umfrageforschung, denn mithilfe der Onlinebefragung ist es nahezu jedem möglich ein Befragungsprojekt durchzuführen. Andererseits resultiert daraus aber auch, dass viele Befragungen von Laien durchgeführt werden, dadurch eine schlechte Qualität aufweisen und zahlreiche Operationalisierungsfehler enthalten. Ein Beispiel hierfür ist die Verwendung der Forced Response Option, deren Auswirkungen innerhalb dieses Forschungsprojektes untersucht werden. Theoretischer Hintergrund des Projektes Als Forced-Response wird allgemein die Möglichkeit bezeichnet den Respondenten einer Umfrage zur Beantwortung einer Frage zu verpflichten. Bei den meisten Programmpaketen zur Durchführung eines Onlinesurveys ist dies auf einfachste Art und Weise zu realisieren. Diese Praxis kommt zuweilen sehr häufig auch zur Anwendung, ohne dass sich die Fragesteller über eventuelle Folgen ihrer Wahl bewusst sind. In den Handbüchern der Programme wird diese Option als eine Lösung angepriesen, die den Item Non Response verringert. In der Methodenliteratur gibt es jedoch zahlreiche Bedenken und Gegenstimmen für diese Vor-gehens¬weise. Diese Bedenken speisen sich aus der Über¬legung, dass der Befragte plausible Gründe haben kann, um nicht zu antworten (der Befragte versteht die Frage nicht, die entsprechende Antwortkategorie fehlt, der Befragte will die Frage aus persönlichen Gründen bewusst nicht beantworten, usw.). Verpflichtet man den Befragten unter diesen Umständen eine Antwort zu geben, könnte dies möglicherweise dazu führen, dass die Befragung abgebrochen wird oder der Befragte eine willkürliche/inhaltsunabhängige Antwort gibt. Forschungshypothesen und Design Zusammenfassend lassen sich damit zwei zentrale Thesen aufstellen: 1. Forced-Response führt zu erhöhtem Unit Non Response. 2. Forced-Response führt zu weniger validen Antworten (Lügen oder Zufallsantwort). Allerdings gibt es bisher kaum empirische Untersuchungen, die diese Behauptungen belegen. Hier setzt diese Studie an und untersucht über ein Split Ballot Experiment die Folgen der Implementierung der Forced-Response-Option. Ergebnisse Diese zeigen, dass die Respondenten früher abbrechen beziehungsweise die neu¬trale Antwortkategorie häufiger wählen. Weiterhin zeigt sich, dass unter Antwortzwang die sozial wünschenswerte Antwortkategorie signifikant häufiger gewählt wurde [less ▲]

„To force or not to force. That is the question!“ – Die Auswirkungen des Einsatzes von Forced-Response-Fragen auf die Befragungsergebnisse –

Poster (2014)

Die Methode der Onlinebefragung hat sich innerhalb des letzten Jahrzehnts als Befragungsroutine etabliert. Sie ist zumeist mit niedrigen Kosten verbunden und ermöglicht es innerhalb kürzester Zeit hohe ... [more ▼]

Die Methode der Onlinebefragung hat sich innerhalb des letzten Jahrzehnts als Befragungsroutine etabliert. Sie ist zumeist mit niedrigen Kosten verbunden und ermöglicht es innerhalb kürzester Zeit hohe Fallzahlen zu erzielen sowie „fundierte“ Ergebnisse zu generieren. Dies führte einerseits zu einer Demokratisierung der Umfrageforschung, denn mithilfe der Onlinebefragung ist es nahezu jedem möglich ein Befragungsprojekt durchzuführen. Andererseits resultiert daraus aber auch, dass viele Befragungen von Laien durchgeführt werden, dadurch eine schlechte Qualität aufweisen und zahlreiche Operationalisierungsfehler enthalten (Jacob/Heinz/Décieux 2013; Schnell/Hill/Esser 2011). Ein Beispiel hierfür ist die Verwendung der Forced Response Option, deren Auswirkungen innerhalb dieses Forschungsprojektes untersucht werden. Theoretischer Hintergrund des Projektes Als Forced-Response wird allgemein die Möglichkeit bezeichnet den Respondenten einer Umfrage zur Beantwortung einer Frage zu verpflichten. Bei den meisten Programmpaketen zur Durchführung eines Onlinesurveys ist dies auf einfachste Art und Weise zu realisieren. Diese Praxis kommt zuweilen sehr häufig auch zur Anwendung, ohne dass sich die Fragesteller über eventuelle Folgen ihrer Wahl bewusst sind. In den Handbüchern der Programme (bspw. EFS Survey Manual 9.0) wird diese Option als eine Lösung angepriesen, die den Item Non Response verringert. In der Methodenliteratur gibt es jedoch zahlreiche Bedenken und Gegenstimmen für diese Vor-gehens¬weise (Kaczmirek 2005, Peytchev/Crawford 2005, Dillman/Smyth/Christian 2009, Schnell/ Hill/Esser 2011, Jacob/Heinz/Décieux 2013). Diese Bedenken speisen sich aus der Über¬legung, dass der Befragte plausible Gründe haben kann, um nicht zu antworten (der Befragte versteht die Frage nicht, die entsprechende Antwortkategorie fehlt, der Befragte will die Frage aus persönlichen Gründen bewusst nicht beantworten, usw.). Verpflichtet man den Befragten unter diesen Umständen eine Antwort zu geben, könnte dies möglicherweise dazu führen, dass die Befragung abgebrochen wird oder der Befragte eine willkürliche/inhaltsunabhängige Antwort gibt. Zusammenfassend lassen sich damit zwei zentrale Thesen aufstellen: 1. Forced-Response führt zu erhöhtem Unit Non Response. 2. Forced-Response führt zu weniger validen Antworten (Lügen oder Zufallsantwort). Allerdings gibt es bisher kaum empirische Untersuchungen, die diese Behauptungen belegen. Ziel des Projektes Über Split Ballot Experimente werden die genauen Folgen der Implementierung einer Forced-Response-Option empirisch abgebildet. Die Folgen sollen über die Analyse von Abbruchquoten und Antwortreaktionszeiten dargestellt werden. Die Feldphase des Online-Experiments endet Mitte Juli 2014, sodass wir dann in der Lage sind, aktuelle und bisher nicht veröffentlichte Ergebnisse auf dem Kongress zu präsentieren. [less ▲]

Antwortdifferenzen im Junk & Crime Survey: Ein Methodenvergleich mit goffmanscher Interpretation.

in Löw, Martina (Ed.) Vielfalt und Zusammenhalt. Verhandlungen des 36. Kongresses der Deutschen Gesellschaft für Soziologie in Bochum und Dortmund 2012 (2014)

Im Allgemeinen sind Fragen zu Ängsten, Einstellungen (z.B. gegenüber sozialen Gruppen, die als problematisch/gefährlich gelten) oder zu kritischen Erfahrungen und Erlebnissen sehr sensitive Themen für ... [more ▼]

Im Allgemeinen sind Fragen zu Ängsten, Einstellungen (z.B. gegenüber sozialen Gruppen, die als problematisch/gefährlich gelten) oder zu kritischen Erfahrungen und Erlebnissen sehr sensitive Themen für eine Befragung. Bei ihrer Analyse ist in den meisten Fällen zu berücksichtigen, dass sie in u. U. erheblichem Maße in „sozial erwünschter Form“ beantwortet und somit verzerrt werden. Gibt es einen Zusammenhang zwischen dem Grad der Antwort-Verzerrung und der Umfragemethode? Oder anders gefragt: Gibt es Gründe dafür, anzunehmen, dass die Online-Umfrage für sensible Themen besser geeignet ist als eine Telefonumfrage? In einer in Trier durchgeführten Untersuchung (n = 624) zu diesen Fragen („Junk-&-Crime-Survey“) wurden im Gabler-Häder-Design generierte Telefonnummern randomisiert und es wurde ihnen zufällig eine Befragungsmethode zugeordnet. Die eine Hälfte der Nummern sollte als Telefoninterview realisiert werden, bei der anderen Hälfte wurde telefonisch ein Link zu einer inhaltlich identischen Onlineumfrage mitgeteilt. Dieses Split-Ballot-Experiment bietet die Möglichkeit eines Vergleichs der beiden Methoden bezüglich der Antwortverteilung. Um den Einfluss von Methodenauswahleffekten (Stichwort „Onliner vs. Nonliner“) abzuschwächen und möglichst nur den Einfluss der Methode zu ermitteln, wurden 1.) Regressionsmodelle mit der Methodenvariable und anderen potenziell verzerrenden Variablen als Prädiktoren gerechnet und 2.) die soziodemografische Struktur der Methoden-Substichproben über ein Zwillingsmatching angeglichen. Der theoretische Rahmen für die Analyse der Geeignetheit von Online-Umfragen bei sensiblen Themen ist für uns Goffmans Unterscheidung von Front- und Backstage: Online-Umfragen betreffen per definitionem ausschließlich die Backstage der Befragten. Da es keine Ko-Präsenz von Befragten und Befragern gibt, gibt es auch keine Interaktion, die im Sinne Goffmans „störungsfrei“ über die Bühne gehen muss. [less ▲]

Tool zur einfachen und schnellen Erstellung von Fragebögen in Word

Software (2013)

Zentrales Anliegen bei der Konzeption und Realisierung dieser Dokumentvorlage war es, Standardlösungen für die häufigsten Frage‐ und Skalenformen anzubieten, die (in den meisten Fällen) per Mausklick ... [more ▼]

Zentrales Anliegen bei der Konzeption und Realisierung dieser Dokumentvorlage war es, Standardlösungen für die häufigsten Frage‐ und Skalenformen anzubieten, die (in den meisten Fällen) per Mausklick abrufbar sind und –abgesehen natürlich von dem Eintragen der jeweiligen Frageinhalte– nicht weiter modifiziert werden müssen. Das Instrument sollte also möglichst einfach handhabbar sein und nur noch ein Minimum an „Programmiertätigkeit“ des Nutzers erfordern. Die Dokumentvorlage ist deshalb modular aufgebaut und enthält Standardlösungen für Intervieweranweisungen, Fragen, Skalen, Listen, demographische Fragen und Anschreiben. [less ▲]

Lokale Netzwerkbildung als strategisches Konzept in der Prävention Evaluation einer Sensibilisierungskampagne zum Alkoholkonsum im Jugendalter

Book published by Springer VS (2013)

Die Studie befasst sich mit der Frage, ob und unter welchen Bedingungen es mit Hilfe von Kampagnen gelingt, durch lokale Netzwerkbildung bei Erwachsenen eine soziale Verantwortung für Gefährdungen von ... [more ▼]

Die Studie befasst sich mit der Frage, ob und unter welchen Bedingungen es mit Hilfe von Kampagnen gelingt, durch lokale Netzwerkbildung bei Erwachsenen eine soziale Verantwortung für Gefährdungen von Jugendlichen durch Alkoholkonsum zu entwickeln und zu stärken. Die Evaluation der Kampagne und ihrer Wirkungen setzt bereits bei der Frage nach den organisationalen Managementprozessen der Kampagne an, befasst sich mit der Identifizierung und Analyse der lokalen Netzwerke und schließt mit einer Untersuchung der Perspektiven und Reaktionen der Jugendlichen auf die Kampagne. [less ▲]

Präsentation der Ergebnisse des Forschungsprojektes SORES -Social responsibility as a strategic concept of prevention work-

Presentation (2012)

Die Studie befasste sich mit der Frage, ob und unter welchen Bedingungen es mit Hilfe von Kampagnen gelingt, durch lokale Netzwerkbildung bei Erwachsenen eine soziale Verantwortung für Gefährdungen von ... [more ▼]

Die Studie befasste sich mit der Frage, ob und unter welchen Bedingungen es mit Hilfe von Kampagnen gelingt, durch lokale Netzwerkbildung bei Erwachsenen eine soziale Verantwortung für Gefährdungen von Jugendlichen durch Alkoholkonsum zu entwickeln und zu stärken. Die Evaluation der Kampagne und ihrer Wirkungen setzte bereits bei der Frage nach den organisationalen Managementprozessen der Kampagne an, befasste sich mit der Identifizierung und Analyse der lokalen Netzwerke und schloß mit einer Untersuchung der Perspektiven und Reaktionen der Jugendlichen auf die Kampagne. [less ▲]

Präsentation der Ergebnisse des Forschungsprojektes SORES - Social responsibility as a strategicc concept of prevention work.

Presentation (2012)

Junk and Crime Survey: Kritische Methodenreflexion

Report (2011)

Im Wintersemester 2009/2010 startete das Forschungsprojekt „Sozialreport Trier“. Neben Sekundäranalysen von Daten der amtlichen Statistik und bestehenden Survey Daten wurden auch Primärdaten erhoben. Zum ... [more ▼]

Im Wintersemester 2009/2010 startete das Forschungsprojekt „Sozialreport Trier“. Neben Sekundäranalysen von Daten der amtlichen Statistik und bestehenden Survey Daten wurden auch Primärdaten erhoben. Zum einen eine Onlineerhebung an der Universität Trier, um die Akzeptanz der neuen Hochschulabschlüsse innerhalb der Studierendenschaft zu evaluieren und zum anderen eine Telefonbefragung der Bevölkerung der Stadt. Im Rahmen dieser Befragung ermittlten wir Daten zu den Themenbereichen „Partizipation, Integration und Exklusion“ sowie „Junk and Crime“. Ein besonderes Augenmerk lag neben der Kriminalität und Formen der Belästigungen auch auf der äußeren Erscheinung, der Gebäude, Plätze, Grünanlagen, Denkmäler und Straßen in Trier. Thema sind jedoch nicht die inhaltlichen Ergebnisse dieses „Junk and Crime Surveys“, methodologische Fragestellungen rund um das Mixed Mode Design dieser Studie. [less ▲]