Monika FIBY und Hans FIBY:
Sind Online-Befragungen kostengünstiger und repräsentativer?
Erfahrungen mit der Delphi-Umfrage "Future Landscape" im Internet

Monika Fiby wurde 1963 in Wien geboren, wo sie das Studium der Landschaftsplanung abgeschlossen hat. Nach mehreren Jahren Tätigkeit in der Straßenplanung absolvierte sie ein Postgraduate-Studium in den USA, wo sie ihre erste Internet-Umfrage durchführte. Derzeit ist sie in der Zooplanung tätig und betreut als Content Manager die Internetplattformen www.zoolex.org und www.natur-wien.at.

Hans Fiby wurde 1963 in Mistelbach geboren und studierte Informatik an der TU Wien. Er ist Ingenieurkonsulent für Informatik und Geschäftsführer der Rosinak & Partner ZT GmbH. Er beschäftigt sich mit Simulationsrechnungen im Verkehrs- und Umweltbereich und erstellt Web-Applikationen und Content-Management-Systeme.

Beide: Rosinak & Partner ZTGmbH, Schloßgasse 11, 1050 Wien, www.rosinak.at

Inhalt

1. Summary
2. Einleitung
3. Rahmenbedingungen
   1. Thema
   2. Methode
   3. Aufwandschätzung
4. Vorbereitung
   1. Die AdressatInnen
   2. Der Fragebogen
5. Durchführung
   1. Betreuung der AdressatInnen
   2. Datenverarbeitung
6. Kostenvergleich
7. Evaluierung
   1. Komfortvergleich
   2. Rücklauf
   3. Reaktionen
   4. Antwortverhalten
   5. Kosten
8. Empfehlung
9. Literatur

We believe that online surveys with more than 250 addressees are more cost effective on the internet than processing paper questionnaires.

Two rounds of the delphi survey "Future Landscape" gave us opportunities to make comparisons. We used both media, online questionnaire and paper questionnaire, parallel for both rounds of the survey and tracked our expenditures. Allmost all costs for an online survey are fixed costs, independent of the number of addressees. By contrast, allmost all costs for a mailing survey increase relatively to the number of addressees. Therefore, the costs for each of the media will be the same for a certain number of addressees. This number depends on extent, usability and complexity of the questionnaire, but also on the cost of reaching participants. Besides, color is free on the internet as opposed to print. In our case the break even point for an online survey was a total of 250 addressees. Surveys with complex questionnaires and participants in various countries will always be more cost effective on the internet. Reusing programs saves money for similar surveys. The target group is another issue when deciding between both media, online and off-line. Not everybody can be reached through the internet. Only if the target group can be expected to use the internet comfortably, an online survey will be representative. We used both media parallel to profit from each media. This allowed us to take advantage of the cost effectiveness of online surveys but still reach a representative group of participants with support of paper questionnaires. From our experience we can recommend the combination of both media for international participation with a number of addressees higher than 250.

1. Einleitung

Dieser Artikel beruht auf den Erfahrungen aus der Delphi-Umfrage "Future Landscape" zur Zukunft der Landschaft in Mitteleuropa. Die Umfrage war Teil des Forschungsmoduls Verantwortung für die Kulturlandschaft im 21. Jahrhundert - Prognose, Leitbilder und Konsequenzen künftiger Landnutzungsmuster und wurde zwischen November 2000 und Dezember 2002 von der "arp planning & consulting" in Wien bearbeitet. Das Projekt war ein Auftrag im Rahmen des Forschungsschwerpunktes "Kulturlandschaft" des österreichischen Wissenschaftsministeriums. Die Projektleitung erfolgte durch DI Dr. Heinz Dörr, Projektkoordination und Fragebogendesign durch DI Monika Fiby, MLA, und die Programmierung durch DI Hans Fiby, Rosinak & Partner ZTGmbH. Informationen zum Projekt finden Sie im Internet unter: www.futurelandscape.org, www.klf.at und www.rosinak.at.

Die Delphi-Umfrage "Future Landscape" wurde im Jahr 2002 in zwei Durchgängen, sowohl mittels Papier-Fragebogen und Postversand als auch mittels Online-Fragebogen im Internet, durchgeführt. In diesem Artikel vergleichen wir die Kosten des Fragebogens im Internet mit jenen des Papier-Fragebogens und diskutieren die Repräsentativität.

Unsere Erwartungen bezüglich Erreichbarkeit und Kosten wurden gänzlich erfüllt. Die Rücklaufquote war mit insgesamt 28% (Papier und online) erfreulich hoch. Die Kalkulation der Kosten zeigt, dass die Datenerhebung im Internet schon ab einer Einbeziehung von schätzungsweise 250 Personen zu empfehlen ist. Unsere Erfahrungen zeigen, dass sich ein paralleler Einsatz beider Medien in Hinblick auf Aufwand und Erreichbarkeit der TeilnehmerInnen lohnt.

2. Rahmenbedingungen

2.1 Thema

Das Projekt Verantwortung für die Kulturlandschaft im 21. Jahrhundert - Prognose, Leitbilder und Konsequenzen künftiger Landnutzungsmuster beschäftigte sich mit den Auswirkungen des Rückzugs der Landwirtschaft. Das Projektgebiet umfaßte Österreich, das südliche Bayern und Baden-Württemberg sowie die nordöstliche Schweiz. Zur quantitativen Analyse wurden statistische Daten aus den Regionen verglichen und interpretiert. Als qualitative Analyse wurde eine Delphi-Befragung in den vier Ländern durchgeführt.

2.2 Methode

Die "Delphi-Methode" wurde in den 70er-Jahren in den USA für Zwecke der Zukunftsforschung entwickelt. Die besondere Qualität der Delphi-Methode liegt in der Rückkopplung der Umfrageergebnisse. In mehreren Durchgängen werden die gleichen Fragen gestellt und die Ergebnisse vorhergehender Runden (Mittelwerte) bekannt gegeben. Durch diese Methode wird die Meinung der Fachleute fokussiert. Die jüngsten Delphi-Umfragen im deutschsprachigen Raum wurden vom Fraunhofer-Institut für Systemtechnik und Innovationsforschung in Deutschland zu Fragen der globalen Entwicklung von Wissenschaft und Technik, von der Österreichischen Akademie der Wissenschaften zu Fragen der Kultur und Gesellschaft sowie Technologie und vom Deutschen Verkehrsforum zum Transportmarkt im Wandel durchgeführt. In allen Fällen wurden Papier-Fragebögen mit der Post verschickt, eingesammelt und die Daten händisch in eine Datenbank eingegeben. In unserem Fall wurden Fragebögen am Internet online ausgefüllt.

Unter den Delphi-Umfragen im deutschsprachigen Raum, die in jüngster Zeit durchgeführt worden waren, ist uns keine bekannt, die einen Online-Fragebogen eingesetzt hätte. Für einfache Umfragen, beispielsweise durch das statistische Zentralamt der Schweiz, waren bereits Online-Fragebögen eingesetzt worden. Erfahrungen hatte es aber auch dort nur mit speziellen UserInnen-Gruppen, nämlich mit SchülerInnen und Beschäftigten eines Betriebes, gegeben. Diese Erfahrungen konnten wir bei der Entwicklung des Fragebogen-Layout nützen.

Das Projektteam entschloss sich nach einer Aufwandsschätzung dazu, die Delphi-Umfrage über das Internet durchzuführen. Die Abwicklung über das Internet ließ erhoffen, mit den zur Verfügung stehenden Mitteln einen möglichst großen und fachlich vielfältigen ExpertInnenkreis zu erreichen. Außerdem konnte man den Befragten im Internet einen zeitgemäßen technischen Komfort anbieten - u.a. als Kompensation für den erheblichen Zeitaufwand, der von den Befragten bei der Beantwortung zu leisten war. Damit aber nicht jener potenzielle TeilnehmerInnenkreis verloren geht, der über keinen Internet-Anschluss verfügt, wählten wir den Postweg als Ergänzung zur Internet-Umfrage.

Wir betraten also mit einer Delphi-Umfrage am Internet Neuland und sahen uns mit folgenden Fragen konfrontiert: Würden unsere TeilnehmerInnen den Fragebogen im Internet akzeptieren? Würden sie ihn ausfüllen können? Würden sie Bedenken bezüglich der Anonymität ihrer Teilnahme haben? Würde sich das neue Medium auf das Antwortverhalten auswirken? Und nicht zuletzt, würden unsere Erwartungen bezüglich Kosten und Erreichbarkeit erfüllt?

2.3 Aufwandschätzung

Die Umfrage sollte unsere Hypothesen zur Zukunft der offenen Landschaft absichern bzw. ergänzen. Aus diesem Grund war der Fragebogen umfangreich und beinhaltete auch eine farbige Karte des Projektraumes zur Orientierung der TeilnehmerInnen.

Die statistische Auswertung nahm unser Projektpartner Dr. Andreas Hilbert vom Institut für Statistik und Mathematische Wirtschaftstheorie an der Universität Augsburg vor. Für quantitative Analysen empfahl er, mindestens 1000 Adressen in die erste Umfrage einzubeziehen. Diese Zahl war rund dreimal höher als die ursprünglich geplanten 300 AdressatInnen für eine Delphi-Befragung mit ausschließlich qualitativem Charakter. Eine überschlägige Kalkulation der Druck- und Versandkosten zeigte die Undurchführbarkeit mit dem vorhandenen Budget. Die Kosten einer Online-Umfrage lagen jedoch weit darunter. Aus Stichproben schlossen wir, dass ungefähr ein Drittel unserer potenziellen TeilnehmerInnen einen Fragebogen am Internet aus verschiedenen Gründen nicht verwenden würde. Um diese TeilnehmerInnen nicht auszuschließen, sollte jedenfalls auch ein Papierfragebogen zur Verfügung stehen. Der Aufwand der Programmierung eines Internet-Fragebogens entsprach in etwa jenem der Kodierung und händischen Eingabe von Daten aus Papierfragebögen. Gemeinsam mit den Druck- und Versandkosten für rund ein Drittel der angestrebten TeilnehmerInnenzahl entsprachen die geschätzten Kosten dem Budgetrahmen. Wir entschlossen uns daher, die Umfrage parallel am Internet und mit Papierfragebögen durchzuführen.

3. Vorbereitung

3.1 Die AdrssatInnen

Die in unserer Delphi-Umfrage erfassten ExpertInnen sind von der Zukunft der offenen Landschaft betroffen und kommen aus Wissenschaft, Wirtschaft und Politik. Sie sind auf den Entscheidungsebenen Verwaltung, Interessenvertretung und Regionalpolitik mit der Landnutzung (Landwirtschaft, Tourismus, Gewerbe), mit Bildung und Ausbildung (landwirtschaftliche Schulen, Hochschulen und Naturschutzbewegung) und der Raum- und Landschaftsplanung befasst.

Obwohl mit der Delphi-Umfrage in erster Linie qualitative Aussagen von Experten gewonnen werden sollten, bemühten wir uns auch um eine möglichst ausgewogene Erfassung von Adressen aus den einzelnen Teilregionen, aus den verschiedenen Tätigkeitsbereichen und um einen angemessenen Frauenanteil. Die Repräsentativität sollte neben qualitativen auch quantitative Analysen erlauben.

Ab Sommer 2001 wurden mit Hilfe des Internets und persönlicher Kontakte Adressen von potenziellen TeilnehmerInnen in einer Datenbank gesammelt. Unsere Zielgröße waren 1000 Adressen von ExpertInnen, davon 50% aus Deutschland und der Schweiz sowie eine ungefähre Gleichverteilung auf die Bereiche Forschung und Bildung, Entscheidung und Nutzung. Von Erfahrungswerten aus anderen Delphi-Umfragen erhofften wir einen Rücklauf von 25 - 35%, bzw. 250 bis 350 Fragebögen in der ersten Runde und einen Rücklauf von 70 - 80% bzw. 210 bis 240 Fragebögen in der zweiten Runde.

Anfang Februar 2001 wurde das Projekt 1.150 AdressatInnen in Österreich, Deutschland und der Schweiz in einer ersten Aussendung vorgestellt und die Befragung angekündigt. Diese Aussendung erfolgte postalisch auch an jene AdressatInnen, die später mit E-Mail kontaktiert und in die Online-Umfrage einbezogen wurden. Dem ersten Schreiben waren ein Projekt-Folder und das Empfehlungsschreiben des zuständigen Ministeriums des jeweiligen Landes beigelegt. Datenblätter wurden verschickt, um Postanschriften zu kontrollieren und Email-Adressen zu erheben. Auf Basis der retournierten Datenblätter wurde die Adressdatenbank aktualisiert.

3.2 Der Fragebogen

Der Papier-Fragebogen wurde im November 2001 entwickelt. Dann erfolgte das Layout von Papier- und Online-Fragebogen. Daran schlossen Pretests zur Verständlichkeit und Usability von Ende November 2001 bis Ende Jänner 2002 an. Das Ausfüllen des Fragebogens sollte in etwa 60 Minuten möglich sein. Als die Struktur und der Text des Papierfragebogens feststanden, erfolgte Anfang Jänner 2002 die Programmierung des Online-Fragebogens mit dem Web-Applikationsserver Zope durch das Büro Rosinak & Partner. Zope erlaubt die Trennung von Layout und Programmierung sowie die Delegation von Administrationsrechten vom Programmierer an ProjektmitarbeiterInnen. Die Projektkoordinatorin wurde als Anwenderin in Zope eingeschult. Sie hatte Zugangsrechte, um Änderungen im Text und Layout des Fragebogens selbst durchzuführen. Textänderungen können mit Zope auch ohne HTML-Kenntnisse vorgenommen werden. Die Änderung von Antwortoptionen oder der Zahl von Antworten erfordert jedoch Grundkenntnisse in HTML. Änderungen in der Seitennavigation wurden jedenfalls vom Programmierer vorgenommen.

Dadurch war es möglich, dass ProjektmitarbeiterInnen große Teile der Fragebogeninhalte und des Layouts selbständig gestalten und Angaben zu neuen UserInnen anlegen oder löschen konnten. Auch die Abfragen der Datenbank konnten die ProjektmitarbeiterInnen selbst durchführen und somit Eingaben laufend kontrollieren. Die weitgehende Unabhängigkeit des Projektteams vom Programmierer nach dem Einrichten des Online-Fragebogens und der Datenbank war zweifellos ein Einsparungsfaktor bei den Durchführungskosten.

Der Online-Fragebogen enthielt Felder zum Ein- und Ausschalten und Felder, in die man Text tippen konnte. Im Vergleich zum Papier-Fragebogen ist das NutzerInnen-Verhalten im Internet leichter zu lenken. Wo es nur eine sinnvolle Antwortoption gab, wurden die Felder so definiert, dass nur eines davon eingeschaltet sein konnte. Im Gegensatz dazu können am Papier-Fragebogen auch ungültige Mehrfachantworten gegeben werden. In diesem Punkt ist die Online-Umfrage kosteneffektiver als der Papierfragebogen, weil online weniger irrtümlich ungültige Antworten gegeben werden.

Während der Nutzer oder die Nutzerin eines Papier-Fragebogens jederzeit zwischen den Seiten vor- und zurückblättern, den Fragebogen zur Seite legen und wieder aufnehmen kann, müssen NutzerInnen eines Online-Fragebogens Links betätigen, um zwischen den Seiten zu navigieren, und sich wieder authentifizieren, wenn sie die Arbeit im Internet unterbrechen und zum Fragebogen zurückkehren wollen. Es zählte zum beabsichtigten Benutzungskomfort, den Online-Fragebogen nicht in einer Sitzung bzw. auf einmal bearbeiten zu müssen, sondern beliebig unterbrechen zu können. Dies ermöglichte es, eine Frage zu reflektieren bzw. eine Formulierung im Rahmen der offenen Fragen gründlich zu überlegen.

Es wurde darauf geachtet, die Navigation so übersichtlich wie möglich zu gestalten, sodass die UserInnen jederzeit wissen, auf welcher Seite sie sich befinden. Dafür wurde die Seitenbezeichnung und -nummer an jedem Seitenanfang und -ende angezeigt. Die NutzerInnen konnten auch von jeder beliebigen Seite auf jede andere Seite wechseln - und zwar ohne dabei Daten zu verlieren, da sämtliche Links, die auf Seiten für Dateneingaben aufschienen, auch die Eingaben speicherten.

Um die Ergebnisse möglichst wenig von der Art der Dateneingabe abhängig zu machen, entwickelten wir das Design für Papier-Fragebogen und Internet-Fragebogen parallel und jeweils mediengerecht.

Die Seiteneinteilung wurde so optimiert, dass eine Papierseite jeweils einer Bildschirmseite entsprach. Auf einer Papier- oder Bildschirmseite wurden je ein bis fünf Fragen untergebracht. Der Umfang des ersten Papier-Fragebogens betrug 49 Fragen auf 20 Seiten, die doppelseitig auf 10 Blätter kopiert wurden. Dazu kam ein Deckblatt. Im Internet gab es neben den 20 Fragenseiten eine Einstiegseite mit Anleitung zur Navigation und eine Abschlussseite mit Dankesworten.

Auf der ersten Seite des Internet-Fragebogens wurde ein pdf-Dokument zum Ausdrucken angeboten. Dieses erzeugten wir aus dem Dokument, das wir für den Papier-Fragebogen verwendeten.

Da die Bildschirmanzeige wesentlich kürzer und breiter ist als eine Papierseite im DIN-A4-Format, müssen die meisten Seiten am Bildschirm "gescrollt" (hinaufgerollt) werden, damit man zum Seitenende gelangte. Wir formatierten die Seitenbreite am Bildschirm fix und boten die Seitennavigation am Anfang und am Ende jeder Seite an.

Im Internet verwendeten wir Farben, um das Layout zu gestalten. Wegen der Vervielfältigungskosten wollten wir diese Möglichkeit jedoch für den Papier-Fragebogen nicht nützen. Wir unterlegten Tabellenzeilen im Internet abwechselnd mit gelber und weißer (keiner) Farbe, um die Lesbarkeit zu erleichtern, während wir zu diesem Zweck am Papier Linien verwendeten. Die erste Seite des Fragebogens wurde in beiden Fällen grafisch ansprechend und mit Farbe gestaltet. Für den Papierfragebogen verwendeten wir hochwertiges Papier.

Am Ende des Online-Fragebogens wurde eine Liste der unbeantworteten Fragen angezeigt. Es wurde freundlich darauf hingewiesen, dass diese Fragen unbeantwortet geblieben waren und jeweils ein Link angeboten, um direkt auf die Seite mit den unbeantworteten Fragen zu gelangen. Diese Liste wurde in Gesprächen mit TeilnehmerInnen als "Dienst am Kunden" positiv erwähnt und ist ebenfalls ein Effektivitätsvorteil von Internet-Fragebögen.

Da die Eingaben laufend gespeichert wurden, war der Online-Fragebogen mit der Anzeige der letzten Seite abgeschlossen. Am Ende des Fragebogens erwarteten die UserInnen eine Möglichkeit, den Fragebogen sichtbar abzuschließen und zurückzusenden. Obwohl technisch nicht erforderlich, boten wir daher einen "Dummy"-Knopf an, auf dem "Absenden" stand und nach dessen Betätigung eine Nachricht angezeigt wurde, dass die Eingaben erfolgreich übermittelt worden waren. Im Gegensatz dazu mussten jene Befragten, die einen Papierfragebogen ausgefüllt hatten, am Ende nochmals aktiv werden, um den Fragebogen zurückzusenden. Unsere Erfahrung zeigte, dass Papierfragebögen fallweise ausgefüllt liegen blieben bis die Frist verstrichen war. Dies ist ein weiterer Effektivitätsvorteil von Online-Fragebögen.

Abbildung 1: Ausschnitt aus dem Online-Fragebogen

Abbildung 2: Ausschnitt aus dem Papier-Fragebogen

4. Durchführung

4.1 Betreuung der TeilnehmerInnen

Wir luden die TeilnehmerInnen mit persönlichen Emails ein, den Fragebogen online auszufüllen und teilen ihnen bei dieser Gelegenheit individuell Username und Passwort mit. Es bestand die Möglichkeit, den in unserer Einladung angebotenen Link zu benützen oder die Adresse selbst einzutippen (in unserem Fall: www.futurelandscape.org). Diese Hürde für die Internet-TeilnehmerInnen versuchten wir dadurch zu erleichtern, dass wir leicht merkbare Bezeichnungen wählten. Für die Befragung "Future Landscape" wählten wir als Usernamen Vor- und Nachnamen der AdressatInnen und als Passworte Pflanzennamen aus einem botanischen Lexikon. Damit war eine gewisse Assoziation zum Thema und im Einzelfall vielleicht ein origineller und witziger Bezug hergestellt. Für die TeilnehmerInnen bestand die Möglichkeit, sich während der Umfrage an eine Auskunftsperson zu wenden, deren Telefonnummer und Email-Adresse mit der Ankündigung der Befragung bekannt gegeben worden war.

Ende Februar 2002 wurden 300 Briefe (an Adressaten ohne Emailadresse) und 850 personalisierte E-Mails versandt. Mittels Authentifizierung hatten die TeilnehmerInnen bis zum Ende der Befragung jederzeit Zugang zu ihrem persönlichen Fragebogen. Die zuständige Projektmitarbeiterin konnte Usernamen und Passwörter bei Bedarf jederzeit ändern. Anfang März wurde mit Hilfe einer Datenbankabfrage erhoben, welche AdressatInnen noch nicht geantwortet hatten. 600 Personen wurden mit Email, andere telefonisch erinnert und die Teilnahmefrist um zwei Wochen verlängert. Die Einladung zur Teilnahme an der zweiten Runde erfolgte Mitte September 2002 postalisch an 120 TeilnehmerInnen und per Email an 385 Personen. Jene, die in der ersten Runde Internet-Seiten oder pdf-Dokumente ausgedruckt und ausgefüllt hatten, bekamen in der zweiten Runde einen Papierfragebogen zugeschickt, in der Annahme, dass sie diesen bevorzugen würden. Nach Abschluss beider Umfragerunden erhielten die TeilnehmerInnen ein Dankschreiben.

4.2 Datenberarbeitung

Das Projektteam konnte zu jedem Zeitpunkt über das Internet abfragen, wie viele Personen eine bestimmte Frage beantwortet hatten. Dies ermöglichte eine genaue Statistik des Rücklaufs. Die ausgesandten Papier-Fragebögen kamen parallel dazu mit der Post oder mit Fax zurück. Da wir sie nummeriert hatten, konnten wir die AbsenderInnen auch dann feststellen, wenn sie nicht namentlich auf den Kuverts vermerkt waren. Die Daten der Papier-Fragebögen wurden laufend eingegeben. Dafür verwendete die Mitarbeiterinnen des Projektteams dieselbe Oberfläche wie die TeilnehmerInnen der Online-Umfrage. Die Frist wurde in beiden Umfragerunden für die Internet-TeilnehmerInnen verlängert. In diesem Zeitraum langten jeweils die letzten Papier-Fragebögen mit der Post ein. Die Verlängerungsfrist für die Internet-TeilnehmerInnen konnte daher für die Dateneingabe der Papier-Fragebögen genützt werden.

Nachdem alle Daten eingegeben worden waren, wurde der Internet-Zugang Anfang April 2002 geschlossen. Die Daten wurden dem Projektteam vom Büro Rosinak & Partner in den Formaten HTML und als MS-Excel-Dateien auf CD-ROM zur Auswertung übermittelt.

5. Kostenvergleich

Die genaue Dokumentation des Material- und Arbeitsaufwandes am Beispiel der Delphi-Umfrage "Future Landscape" erlaubt einen Kostenvergleich von Papier- und Internet-Fragebogen.

Wir legten dem Kostenvergleich folgende Aufwendungen zu Grunde: Kuverts und Briefpapier wurden mit dem Logo "Future Landscape" bedruckt, Rückkuverts für die Fragebögen wurden für österreichische AdressatInnen, in der ersten Runde auch für deutsche AdressatInnen, frankiert. Briefe wurden am Laserdrucker ausgedruckt, Fragebögen kopiert (Titelblatt und Karte farbig). Es erfolgten insgesamt sechs Aussendungen mit der Post. Davon wurden im Kostenvergleich der Versand des Ankündigungsschreibens (mit Empfehlungsschreiben und Projektfolder) und die Mitteilung der Projektergebnisse nicht berücksichtigt: Dieser Versand bezog alle TeilnehmerInnen ein, unabhängig davon, ob sie sich an der Umfrage per Post oder am Internet beteiligten. Im Folgenden sind daher nur jene Aufwendungen (mit gerundeten Zahlenangaben) berücksichtigt, die für einen Kostenvergleich von Papierfragebogen und Fragebogen im Internet relevant sind. Zunächst zu den Aufwendungen für den Papierfragebogen:

• Der erste Fragebogen (20 Seiten, davon zwei Seiten farbig) wurde mit Begleitbrief an 140 Adressen in Österreich und an rund 160 Adressen in Deutschland und der Schweiz verschickt.
  Die Kosten für Material und Porto betrugen rund 1.500 Euro.
• Ein Dankschreiben erhielten jene Personen, die an der ersten Runde am Postweg teilgenommen hatten: Dies betraf 50 Adressen in Österreich und rund 50 Adressen in Deutschland und der Schweiz.
  Die Kosten für Material und Porto machten rund 70 Euro aus.
• Der zweite Fragebogen (17 Seiten, davon eine Seite farbig) wurde mit Begleitbrief an 120 Personen in Österreich sowie an 60 Personen in Deutschland und der Schweiz verschickt.
  Die Kosten für Material und Porto beliefen sich auf rund 400 Euro.
• Ein zweites Dankschreiben wurde an jene Personen gesendet, die an der zweiten Runde am Postweg teilgenommen hatten: Dies galt für 14 Adressen in Österreich sowie für 29 Adressen in Deutschland und der Schweiz.
  Die Kosten für Material und Porto betrugen rund 50 Euro.

Die Versandkosten für die Papier-Fragebögen beliefen sich also in der ersten Runde für 300 Personen auf rund 1.570 Euro und in der zweiten Runde für 180 Personen auf rund 450 Euro. Die relativ höheren Kosten in der ersten Runde wurden durch eine zusätzliche Farbkopie im Fragebogen und das Rückporto auch für deutsche TeilnehmerInnen verursacht.

Der spezifische Zeitaufwand für die Bearbeitung der Papier-Fragebögen umfasste das Ausdrucken der Briefe, das Kopieren und Kuvertieren, den Posteingang, die Dateneingabe und die Ablage der Fragebögen. Für die 300 Fragebögen der ersten Runde betrug der Zeitaufwand rund eine Personenwoche (40 Stunden) für den Versand, eine Personenwoche (40 Stunden) für den Posteingang und die Dateneingabe und 10 Stunden für das Dankschreiben. Wäre der Fragebogen nicht programmiert worden, müsste man eine weitere Personenwoche (40 Stunden) zum Kodieren der Fragen einkalkulieren. Dieser Aufwand entfiel allerdings, da die Kodierung im Zuge der Programmierung erfolgt war. Die Bearbeitung der zweiten Befragung erforderte insgesamt rund 60 Stunden.

Setzt man als Stundensatz 60 Euro an, ergeben sich für den Papierfragebogen spezifische Kosten von 6.970 Euro (1.570 + 90 x 60) für 300 AdressatInnen bzw. von 23,23 Euro je AdressatIn in der ersten Runde sowie von 4.050 Euro (450 + 60 x 60) für 180 Personen bzw. von 22,5 Euro je AdressatIn in der zweiten Befragung.

Der Online-Fragebogen wurde in der ersten Befragung für 850 Personen und in der zweiten Runde für 385 Personen vorbereitet. Die Kosten für den Online-Fragebogen setzten sich aus jenen für die Programmierung des Fragebogens, für das Versandprogramm für personalisierte Massen-Emails, für den Serverplatz und die Übermittlung der Daten zusammen: rund 2.700 Euro für die erste und rund 1.500 Euro für die zweite Runde, also insgesamt 4.200 Euro. Die Kosten der zweiten Runde waren wesentlich niedriger, da das Fragebogen-Programm aus der ersten Runde wiederverwendet werden konnte und nur das Layout neu zu erstellen war. Der Arbeitsaufwand umfasste das Vorbereiten der Adresslisten und der Texte für die Email-Nachrichten sowie den Versand der Emails: etwa acht Stunden (ein Arbeitstag) für die Aussendungen von zwei Fragebögen und zwei Dankschreiben.

Setzt man als Stundensatz 60 Euro an, ergeben sich für den Fragebogen im Internet spezifische Kosten von 2.940 Euro (2.700 + 4 x 60) für 850 AdressatInnen bzw. von 3,46 Euro je AdressatIn in der ersten Runde sowie von 1.740 Euro (1.500 + 4 x 60) für 385 Personen bzw. von 4,52 Euro je AdressatIn in der zweiten Befragung.

Diese Kostenschätzungen beinhaltet nur einen Teil der Gesamtkosten, die diese Umfrage verursachte, nämlich jene, die spezifisch für die Papier- oder Internet-Umfragen anfielen. Die Vorbereitung, Betreuung und Auswertung war für beide Medien gleich aufwändig, allerdings berücksichtigten wir bereits in der Vorbereitung, dass wir beide Medien nützen würden.

6. Evaluierung

6.1 Komfortvergleich

In der folgenden Tabelle sind die wesentlichen Komfortmerkmale des Online-Fragebogens für die ausfüllenden TeilnehmerInnen und für die auswertenden BearbeiterInnen aufgelistet. Einzelne Fragen bzw. ganze Fragebögen, die durch Komfortnachteile keine verwertbaren Umfrageergebnisse erzielen, vermindern die Effektivität der Umfrage.

6.2 Rücklauf

Zehn Tage nach dem Versand des ersten Fragebogens, am 25. Februar 2002, waren rund 17% der Fragebögen online ausgefüllt und rund 17% der ausgesandten Papierfragebögen beim Projektteam eingelangt. Bis zum 28. Februar, der ersten Frist für die Umfrage, stiegen diese Prozentsätze auf 22% (online) bzw. 21% (Papier). Bis zum offiziellen Abschluss der Umfrage am 15. März stieg der Rücklauf auf rund 36% (online) und 31% (Papier) an. Da bis zum 26. März, dem Ende der Dateneingabe, noch einzelne Antworten eintrafen, betrug der Rücklauf letztlich rund 36% (online) und 34% (Papier). Der Rücklauf der Internet-Version war also ähnlich groß wie jener des Papier-Fragebogens. Mit den 25 Ausdrucken vom Internet, die mit der Post zurückkamen, erhöhte sich der Rücklauf auf insgesamt 38%. Aus finanziellen und zeitlichen Gründen sandten wir Erinnerungen nur mit Email aus. Jene Personen, die Papier-Fragebögen erhalten hatten, wurden allerdings in Einzelfällen telefonisch erinnert. Dies dürfte die Erklärung für den letztlich etwas höheren Rücklauf der Online-Antworten sein (siehe dazu Abbildung 3).

Abbildung 3: Rücklauf zur Delphi-Umfrage im Frühjahr 2002

Die Einladung zur Teilnahme an der zweiten Runde erfolgte Mitte September 2002 postalisch an 120 TeilnehmerInnen und per E-Mail an 385 Personen. Auch das Ausfüllen des zweiten Fragebogens konnte in etwa 60 Minuten bewerkstelligt werden. Er umfasste zwar nur halb so viele Fragen wie der erste, dafür aber mehr Text. Aus der ersten Runde wurden zehn Fragen im Sinne der klassischen Delphi-Umfrage wiederholt; 15 Fragen der ersten Runde wurden neu formuliert, ergänzt oder zusammengefasst; 25 Fragen entfielen, weil sie eindeutig beantwortet waren, wurden aber in Zukunftsszenarien umgesetzt, die wir aus den Ergebnissen der ersten Befragung und unseren eigenen Analysen formulierten. Acht Zukunftsszenarien beschrieben wir in einem Anhang zum zweiten Fragebogen jeweils kurz. Die abschließende Frage bezog sich auf die Wahrscheinlichkeit des Eintretens dieser Szenarien.

Der Rücklauf aus der zweiten Runde entwickelte sich ähnlich erfreulich wie jener zur ersten Runde (siehe dazu Abbildung 4). Es wurden allerdings relativ mehr Papier-Fragebögen ausgefüllt. Bis zur Erinnerung, die nach 34 Tagen per E-Mail an 293 Personen verschickt wurde, hatten 45% der "Post-TeilnehmerInnen" und 31% der "Internet-TeilnehmerInnen" Fragebögen ausgefüllt. Bis zum Ablauf der ersten Frist am 31. Oktober stiegen diese Prozentsätze auf 50% bzw. 48%. Die Frist wurde um weitere 10 Tage verlängert und noch eine Erinnerung mit E-Mail an 208 TeilnehmerInnen verschickt, da wir den Eindruck hatten, dass der mögliche Rücklauf noch nicht ausgeschöpft war. Insgesamt war die Rücklaufzeit mit Rücksicht auf Urlaub, Erntezeit und Beginn des Studienjahres um drei Wochen länger als in der ersten Runde. Nach Beendigung der Umfrage am 12. November 2002 betrug der Rücklauf aus der zweiten Runde insgesamt 63%, davon entfielen 66% auf "Post-TeilnehmerInnen" und 62% auf "Internet-TeilnehmerInnen". Der Anteil der Post-TeilnehmerInnen war somit in der zweiten Runde etwas größer war als in der ersten; möglicherweise hatte das Interesse am neuen Medium nachgelassen.

Abbildung 4: Rücklauf zur Delphi-Umfrage im Herbst 2002

6.3 Reaktionen

Bei telefonischen Nachfragen, über Emails und aus den Bemerkungen auf Fragebögen erhielten wir zahlreiche Reaktionen auf die Umfrage. Der Fragebogen im Internet wurde außerordentlich gut aufgenommen. Die Reaktionen der Befragten auf die Verwendung des Internets waren großteils positiv und häufig anerkennend. Das Vertrauen in das Medium Internet ist aber noch nicht sehr groß, was die Übertragungssicherheit betrifft. Wir bekamen zahlreiche Anfragen, ob die Eingaben auch eingelangt seien. Zweifel an der Anonymität der Befragung (wegen der erforderlichen Authentifizierung) äußerten die TeilnehmerInnen jedoch nicht. Wir hatten die Anonymität der Auswertung zugesagt. Den Zusammenhang zwischen Daten und Personen stellten wir nur her, um in die zweite Befragung der Delphi-Umfrage jene Personen einzubeziehen, die an der ersten Runde teilgenommen hatten. Die Seriosität der beauftragenden Institution und Empfehlungsschreiben öffentlicher Stellen förderten wahrscheinlich die Glaubwürdigkeit unserer Zusicherung. Das Medium Internet dürfte in dieser Frage keine Rolle gespielt haben. Das Ausfüllen des Fragebogens im Internet schien jenen vereinzelt Probleme bereitet zu haben, denen das Medium Internet noch wenig vertraut war. Die Hotline half bei der Problemerkennung und Vertrauensbildung. Anregungen aus der ersten Runde wurden genützt, um die Abwicklung der zweiten Runde zu optimieren.

6.4 Antwortverhalten

Das Ausfüllen der beiden Fragebögen nahm jeweils rund 60 Minuten in Anspruch, je nachdem, wie viele offene Fragen (zum Hinweis: "Ihre Begründung" bzw. "Ihr Vorschlag") beantwortet wurden.

Wir sehen kaum Indizien, die auf ein abweichendes Antwortverhalten in den Papier- und Internet-Umfragen schließen lassen, wenngleich wir die Daten in dieser Hinsicht nicht auswerteten. Einzig offene Fragen dürften unserem Eindruck nach online häufig ausführlicher als am Papier beantwortet worden sein. Das Bedienen einer PC-Tastatur ist offenbar für viele einfacher, als mit der Hand zu schreiben. Dennoch ist die Akzeptanz für Papier-Fragebögen derzeit insgesamt wahrscheinlich höher. Einige Personen ersuchten uns, ihnen Papier-Fragebögen zuzusenden, weil sie diese bevorzugten. Der Rücklauf der ersten Befragung war im Internet etwas höher als mit der Post, was wir darauf zurückführen, dass viele neugierig waren, diese neue Anwendung zu testen. In der zweiten Befragung war der Rücklauf der Papierfragebögen etwas höher. Jeder Teilnehmer und jede Teilnehmerin hatte im Internet die Möglichkeit, den Fragebogen im pdf-Format auszudrucken. Auf diese Option wiesen wir jedoch nur sehr zurückhaltend hin. Wegen des relativ hohen Bearbeitungsaufwandes für Papier-Fragebögen sollte von dieser Option möglichst selten Gebrauch gemacht werden. Tatsächlich druckten nur 22 Personen in der ersten und eine Person in der zweiten Runde diesen Fragebogen aus und sandten ihn mit der Post an uns zurück.

Das Antwortverhalten der Teilnehmerinnen unterschied sich nicht von jenem der Teilnehmer. Von den kontaktierten Personen waren 85% männlich und 15% weiblich. Die Prozentsätze des Rücklaufs weisen das selbe Verhältnis auf.

Die AdressatInnen unserer Delphi-Umfrage waren zu rund 52% in Österreich, zu 34% in Deutschland und zu 14% in der Schweiz beheimatet. Der Rücklauf kam zu rund 51% (219) aus Österreich, zu 32% (140) aus Deutschland und zu 17% (73) aus der Schweiz. Die Prozentsätze entsprechen den Anteilen der Landesteile, die wir in unseren Projektraum einbezogen hatten.

Da rund ein Viertel der TeilnehmerInnen mittels Papierfragebogen geantwortet hatte, läßt sich keine sichere Aussage bezüglich der Repräsentativität der Internet-Umfrage im Vergleich zur postalischen Umfrage machen. Ein solcher Vergleich war nicht Auftragsgegenstand, könnte aber jederzeit angestellt werden. Die vorliegenden Zahlen lassen aber annehmen, dass die Repräsentativität der Teilnahme nicht vom Antwortmedium beeinflusst wurde.

6.5 Kosten

Aus dem Vergleich der spezifischen Kosten für die Teilnahme mit Papier- bzw. Online-Fragebogen in unserem Projekt schätzen wir, dass die Datenerhebung im Internet schon ab 250 AdressatInnen wirtschaftlicher ist als eine postalische Befragung.

Die spezifischen Kosten für den Online-Fragebogen von rund 5.000 Euro (für 850 Befragte) können beinahe als Fixkosten betrachtet werden, da der Arbeitsaufwand fast unabhängig von der Zahl der Befragten ist. Bei Internet-Umfragen ist die Kostendegression daher durch den hohen Fixkostenanteil und die geringen variablen Kosten pro TeilnehmerIn maximierbar.

Die spezifischen Kosten für den Papierfragebogen betrugen rund 11.000 Euro für 300 Befragte. Diese Kosten würden mit der Anzahl der Befragten steigen. Weil der Arbeitsaufwand beinahe linear steigt, ist bei weniger TeilnehmerInnen nicht mit großen Arbeitseinsparungen zu rechnen. Eine kleine Kostendegression ergibt sich aufgrund von Massenkopien und Massenversand. Zusätzlich sind bei einer Umfrage mittels Papierfragebogen allerdings die Kosten der Kodierung zu berücksichtigen. Wir schätzen daher vorsichtig, dass mit 5.000 Euro (vergleichbare Kosten der Online-Umfrage) die Kosten für eine Umfrage mittels Papier-Fragebogen für maximal 250 TeilnehmerInnen gedeckt wären.

Der Kostenvorteil von Datenerhebungen im Internet kommt besonders dann zum Tragen, wenn größere Personengruppen, vor allem im Ausland, befragt werden. In unserem Fall betrugen die spezifischen Kosten für die Teilnahme im Internet rund 4 Euro pro eingeladener Person, jene für die "Post-Teilnahme" im Vergleich dazu rund 23 Euro.

7. Empfehlung

Der Vorteil des gleichzeitigen bzw. parallelen Einsatzes von Internet- und Papierfragebogen liegt in der größeren Erreichbarkeit bei geringeren Kosten im Vergleich zur ausschließlichen Verwendung von Papier-Fragebögen. Die Internet-Umfrage schließt derzeit noch einige Personenkreise aus. Je nach Zielgruppe sind mehr oder weniger Personen mit dem Medium Internet vertraut und bewerten es als komfortabel. Standleitungen und "flat rates" (Fixpreis unabhängig von der online verbrachten Zeit) für den Internet-Zugang sind noch nicht sehr verbreitet. Arbeitsgewohnheiten spielen ebenfalls eine große Rolle bei der Akzeptanz des Mediums. Viele Leute meinen, am Papier einen besseren Überblick über die dargebotene Materie zu haben. Personen, die viel reisen oder lange Pendelfahrten unternehmen müssen, bevorzugen ebenfalls Papier-Fragebögen, die sie mitnehmen können. Um derartige Personen nicht als TeilnehmerInnen zu verlieren, ist es günstig, beide Alternativen anzubieten.

Mit dem Internet vertraute Personengruppen sind schon jetzt über das Internet einfacher und rascher zu erreichen als am Postweg. Ein Vergleich von Druck-, Versand- und Kodierungskosten mit den Kosten der Programmierung eines Internet-Fragebogens ist jedenfalls zu empfehlen.

Literatur

Deutsches Verkehrsforum (2002) Endbericht zur Delphi-Studie "Der Transportmarkt im Wandel", verfasst von Wagener & Herbst, Management Consultants (Potsdam) und dem Lehrstuhl für Betriebswirtschaftslehre an der Technischen Universität Dresden. Berlin.

Fraunhofer-Institut für Systemtechnik und Innovationsforschung (1998) Delphi-98-Umfrage "Zukunft nachgefragt". Studie zur globalen Entwicklung von Wissenschaft und Technik, im Auftrag des Bundesministeriums für Bildung, Wissenschaft, Forschung und Technologie. Karlsruhe.

Österreichische Akademie der Wissenschaften (1998) Delphi Report Austria: Gesellschafts- und Kultur-Delphi I+II, Technologie-Delphi I+II+II, Österreich 2013 - eine Querschnittsanalyse. Studie im Auftrag des Bundesministeriums für Wissenschaft und Verkehr, 6 Bände. Wien.

Rosinak & Partner ZTGmbH (2003) Unterlagen zum Praxisworkshop der Arbeitsgemeinschaft für Datenverarbeitung (ADV) "ZOPE für Webmaster", verfasst von Hans Fiby, Wien.