Remote
Evaluations

1. Veränderungen im Ablauf der Evaluierung

Die größte Veränderung bei einer Remote-Evaluierung ist der Ersatz der Vor-Ort-Mission durch eine virtuelle Datenerhebung, z. B. in der Form von Video- oder Telefonkonferenzen. Dies verändert zum einen die Zusammenarbeit im Gutachter*innenteam, da die gemeinsame Erfahrung der Vor-Ort-Mission entfällt. Zum anderen sollte auch die Aufgabenverteilung zwischen Gutachter*innen und Projektteam überdacht und angepasst werden. Schließlich hat die virtuelle Durchführung Auswirkungen auf die Datenerhebungsphase selbst, die sich sowohl im zeitlichen Ablauf als auch in logistischen Aspekten von einer Vor-Ort-Mission unterscheidet.

1.1 Zusammenarbeit im Gutachter*innenteam

In Remote-Evaluierungen ist es eine Herausforderung, im Evaluierungsteam, also zwischen Hauptgutachter*in und technischer*m Gutachter*in, ein gemeinsames Verständnis für das Vorhaben aufzubauen. Wenn möglich, sollte am Beginn des Prozesses ein persönliches oder virtuelles Treffen des Teams zur Vorbereitung der Evaluierung organisiert werden. Während der Datenerhebungsphase sollten neben den Interviews auch regelmäßige Debriefing-Treffen eingeplant werden, um die in den Interviews gewonnenen Eindrücke zu besprechen und einzuordnen. Schließlich sollte nach Möglichkeit ein persönliches oder virtuelles Treffen des Gutachter*innen-teams nach Abschluss der Datenerhebung stattfinden, damit eine Abstimmung zur Erarbeitung zentraler Punkte, insbesondere der Bewertungen, sowie zum gemeinsamen Bericht erleichtert werden kann.

Ohne Mission vor Ort ist es schwieriger, den Kontext des Vorhabens und die Anschlussfähigkeit der Evaluierungsergebnisse einzuschätzen, da persönliche Beobachtungen und eine Einschätzung der Situation im Projektland bzw. in den Projektländern fehlen. Dies ist vor allem dann relevant, wenn das Evaluierungsteam keine Länderexpertise hat und nicht im Land vernetzt ist. Um dem entgegenzuwirken, kann ein*e lokale*r Co-Evaluator*in hinzugezogen werden, welche*r das Evaluierungsteam bei der Einordnung in den kulturellen und administrativen Kontext, dem Zugang zu Gesprächspartner*innen, sowie bei der sprachlichen und interkulturellen Verständigung unterstützt. Falls der oder die lokale Co-Evaluator*in wenig Erfahrung mit Projektevaluierungen mitbringt, könnte eine Schulung zu Interviewtechnik, Protokollführung, Evaluierungskriterien o. ä. vor Evaluierungsbeginn notwendig sein. Alternativ kann auch eine Zusammenarbeit mit lokalen Evaluierungsinstitutionen in Betracht gezogen werden

Die virtuelle Arbeitsweise führt zu einer anderen Gewichtung des zeitlichen Aufwands für das Evaluierungsteam. So entfallen Reise- und Transportzeiten, dafür muss mehr Zeit für die Vorbereitung der Datenerhebung eingeplant werden. Der gestiegene Zeitaufwand entsteht durch eine pointiertere Erarbeitung und Auswertung von Fragebögen, einen Partnerworkshop zur Präsentation und Diskussion der vorläufigen Ergebnisse, der Versand einer ausführlichen Präsentation vorab und für den Austausch im Evaluierungsteam und mit dem Projektteam. Dies sollte entsprechend in der Planung und bei der Definition der Auftragsdetails berücksichtigt werden.

1.2 Rolle des Projektpersonals

Eine virtuelle Evaluierung kann zu einer Arbeitsentlastung des Projektpersonals führen, da die Reisezeit entfällt und die Terminabsprache teilweise vom Evaluierungsteam selbst übernommen werden kann. Nichtsdestotrotz müssen eine gewisse Arbeitsfähigkeit und aktive Rolle des Projektteams gegeben sein.

Die Projektkoordination ist weiterhin in die Vorbereitung der Projektevaluierung eingebunden. Die Teilnahme an Interviews mit den Projektpartnern ist jedoch noch weniger notwendig als bei Vor-Ort-Evaluierungen. Um den internen Austausch zwischen dem Evaluierungsteam und dem/der Projektkoordinator*in zu ermöglichen, sollte ausreichend Zeit eingeplant werden, da ein informeller Austausch, wie er bei Vor-Ort-Evaluierungen z. B. abends stattfindet, nicht möglich ist.

Für die Projektassistenz entfallen die logistischen Aufgaben der Reisevorbereitung. Sie kann jedoch die Terminabsprache unterstützen, sofern dies nicht vom Evaluierungsteam selbst übernommen wird, und die Betreuung der technischen Aspekte übernehmen. Dies umfasst z. B. das Aufsetzen von Videokonferenzräumen und die Durchführung von Testanrufen mit den Interviewpartner*innen, um sicherzustellen, dass die ausgewählte Video­konferenzlösung bei allen Beteiligten funktioniert.

Die potenzielle Rolle von lokalem Personal bei der Evaluierung wird wichtiger, insbesondere, wenn das Evaluierungsteam keine geographische Verankerung und Länderexpertise hat.

Falls nötiges Equipment bei den Partner*innen nicht vorhanden ist, kann der oder die lokale Mitarbeiter*in technische Unterstützung für Interviews bieten oder die Durchführung von virtuellen Laborbesichtigungen o. ä. fazilitieren. Zudem kann Auskunft zu länderspezifischen Fragen gegeben werden.

1.3 Virtuelle Interviewphase

Während die Interviewphase von Projektevaluierungen normalerweise innerhalb von einer bis zwei Wochen vor Ort durchgeführt wird, ergibt sich durch die Remote-Evaluierung die Möglichkeit, eine längere Zeitspanne für Interviews einzuplanen. Dies kann zum einen bei Evaluierungen in Ländern mit Zeitverschiebung eine Notwendigkeit sein, da weniger Zeit pro Arbeitstag zur Verfügung steht und weniger Gespräche pro Tag durchgeführt werden können. Zum anderen kann es Flexibilität geben, um auf limitierte Verfügbarkeiten der Gesprächspartner*innen einzugehen. Zugleich entfallen bei einer virtuellen Evaluierungsmission die Transferzeiten zwischen Interviews, was eine effizientere Durchführung ermöglicht und es erlaubt, Interviews thematisch anzuordnen und nicht, wie bei Vor-Ort-Missionen, praktischen Kriterien wie der geographischen Nähe zwischen Institutionen den Vorrang zu geben. Zudem können auch Stakeholder aus verschiedenen Orten in Interviews und Workshops eingebunden werden, die bei einer Vor-Ort-Evaluierung eventuell nicht berücksichtigt würden.

Andererseits sollte darauf geachtet werden, dass durch die gewonnene zeitliche Flexibilität nicht das Momentum der Evaluierung verloren geht. Um zu vermeiden, dass sich Eindrücke verflüchtigen, sollte der Evaluierungsprozess auch aus der Ferne möglichst kompakt durchgeführt werden.

Schalten sich die Interviewpartner*innen aus dem Homeoffice zu, kann das zu einer entspannteren Gesprächsatmosphäre beitragen und eventuell mehr Ehrlichkeit und Offenheit sowie eine bessere zeitliche Verfügbarkeit bedeuten. Jedoch kann dadurch auch die Einordnung in den Kontext erschwert werden, es kann mehr Ablenkungen und Hintergrundgeräusche geben, und das Gespräch könnte unter einer instabilen Internetverbindung leiden. Im Büro könnten hingegen das gegenseitige Verstehen und die Interpretation der Mimik durch das Tragen einer Maske zusätzlich erschwert werden.

Ein Vorteil der Online-Verbindung zu den Gesprächspartner*innen, z. B. über das Smartphone und verschiedene Apps, ist die Möglichkeit, auch nach dem Interview nochmals spontan in Kontakt zu treten, wenn ein Interviewee oder der/die Gutachter*in noch etwas nachträglich zur Sprache bringen möchte. Bei virtuellen Treffen kann, falls nötig, die Projektkoordination, der/die intermittierende Kurzzeitexperte*in, lokales Projektpersonal oder ein*e Projektpartner*in bei schwierigen Gesprächen zum Kontaktaufbau als Türöffner am Anfang des Gesprächs beteiligt sein.

Ein möglicher negativer Effekt der virtuellen Durchführung ist die oft als geringer wahrgenommene Verbindlichkeit der Termine, wenn es sich um Online-Meetings bzw. Telefonkonferenzen und nicht persönliche Treffen handelt. Um die Beteiligung wichtiger Interviewees an der Evaluierung sicherzustellen, kann neben dem Versand des Inception Reports durch die PTB eine Empfehlung durch eine aktive Partnerinstitution, z. B. den politischen Partner, ausgesprochen werden.

Die virtuelle Präsentation und Diskussion der vorläufigen Evaluierungsergebnisse mit den Partner*innen, welche normalerweise im Rahmen der Mission durchgeführt wird, sollte etwas zeitversetzt stattfinden, um diese besser vorbereiten zu können. Dies führt zu einer Entlastung des Evaluierungsteams gegenüber der häufig unter Zeitdruck vorbereiteten Präsentation der vorläufigen Ergebnisse vor Abschluss der Vor-Ort-Mission. Durch diesen zeitlichen Abstand zu den Interviews und eine intensivere Vorbereitung kann ein Partnerworkshop besser genutzt werden, z. B. indem man den Partner*innen die Präsentation vorher schickt und auch ihnen die Gelegenheit gibt, sich besser auf die Diskussion vorzubereiten. Der Workshop ist wichtig für die gemeinsame Interpretation der Ergebnisse und kann so als zusätzliches Erhebungsin­strument genutzt werden.

Bei Remote-Evaluierungen verändert sich auch die Zusammenarbeit mit Dolmetscher*innen. So können z. B. Simultanübersetzungen online auch punktuell leichter umgesetzt werden. Die Einbindung einer*s Dolmetschers*in sollte schon im Inception Report angekündigt und eventuell auch forciert werden, damit Interviewpartner*innen nicht aufgrund mangelnder Sprachkenntnisse ausgeschlossen werden und für mehr Informationsgewinn ohne Gesichtsverlust gesorgt werden kann.

2. Anpassung der Methoden der Datenerhebung

Die Datenqualität bei Remote-Evaluierungen ist oft nicht gleichwertig mit vor Ort erhobenen Daten, da bei virtuellen Evaluierungen, insbesondere folgende Aspekte erschwert werden:

• Tiefergehende Diskussionen
• Der Aufbau einer Vertrauensbeziehung mit den Interviewpartner*innen
• Ausstattung der Arbeitsräume (z. B. Labor­besichtigungen)
• Beobachtung der Gesprächspartner*innen in ihrem Arbeitsumfeld
• Informelle Kommunikation mit den Partner*innen und/oder mit dem Projektteam
• Erfassen der allgemeinen Situation im Land und im Sektor
• Gespür für den Kontext und die Anschlussfähigkeit der Empfehlungen.

Dem kann zum einen durch einen engen Kontakt zwischen Evaluierungs- und Projektteam, und die Begleitung des Prozesses durch lokales Personal entgegengewirkt werden. Zum anderen müssen die Methoden angepasst werden, um trotz virtueller Durchführung die notwendige Nähe zu den Gesprächspartner*innen herzustellen und den Projektkontext begreifen zu können.

Remote-Evaluierungen ermöglichen es, eine Vielfalt von Methoden zu nutzen. Ausschlaggebend ist, dass diese technisch einfach umsetzbar sind. So kann zum Beispiel ein Auftaktworkshop oder eine Videobotschaft des Evaluierungsteams zur Vorstellung der Gutachter*innen und Ziele der Evaluierung genutzt werden, um einen ersten Kontakt mit den Gesprächspartner*innen zu knüpfen.

2.1 Dokumente und Fragebögen

Wenn keine Datenerhebung vor Ort durchgeführt werden kann, werden qualitativ gute Dokumente wie Capacity-Development-Strategie, Organisationsanalysen o. ä., welche im Rahmen des Projekts erstellt wurden, noch wichtiger. Außerdem können zusätzliche Informationsquellen, wie Fotos von vorherigen Besuchen, Aufschluss über die Situation vor Ort geben.

Des Weiteren bietet eine vermehrte Nutzung von Frage­bögen in Remote-Evaluierungen den Vorteil, dass eine Vielzahl von Informationen eingeholt werden kann, auf deren Basis Interviews gezielter durchgeführt werden können. Die Fragebögen können bei Bedarf auf unterschiedliche Partnergruppen zugeschnitten werden. So können die Anzahl der nötigen Interviews reduziert, deren Ablauf thematisch definiert, und authentische schriftliche Reaktionen der Partner*innen im Bericht und/oder beim Partnerworkshop verwendet werden.

2.2 Interviews

In virtuell durchgeführten Interviews kann der Informationsgewinn eingeschränkt sein, da die Kommunikation eher auf die Tatsachen und die faktische Ebene (also Zahlen, Daten, Fakten) orientiert ist. Die Möglichkeiten, auch die emotionale Dimension miteinzubeziehen, wie die jeweiligen Gesprächspartner*innen die Zahlen, Daten, Fakten interpretieren und erleben, ist deutlich erschwert. Insgesamt kann die erlebte Realität der Gesprächspartner*innen weniger gut in der Evaluierung abgebildet und berücksichtigt werden.

Wenn kein Video beim Interview genutzt werden kann, bleiben außerdem Aspekte der nonverbalen Kommunikation wie Mimik, Körperhaltung, Gestik oder wie in Gesprächspausen reagiert wird, ohne Berücksichtigung. Deshalb sollte nach Möglichkeit ein Gespräch mit Video bevorzugt werden, wobei es empfehlenswert ist, bereits bei der Einladung zum Gespräch auf die Nutzung des Videos hinzuweisen. Dies hängt jedoch von Arbeitsweise und persönlichen Präferenzen der Gesprächspartner*innen ab – es gibt durchaus Gutachter*innen, die aufnahmefähiger sind, wenn sie sich auf den Ton allein konzentrieren, sowie Interviewees, die sich am Telefon offener und konzentrierter äußern, als wenn sie durch ihr Video abgelenkt sind.

Um auch in virtuell durchgeführten Interviews Nähe zu den Gesprächspartner*innen aufzubauen, kann es hilfreich sein, am Anfang des Gesprächs Platz für einen informellen Austausch zu schaffen. Dies kann eine Einstiegsfrage sein, wie z. B. „Von wo schalten Sie sich zum Interview zu?“. Eventuell kann der/die Projektkoordinator*in, eine lokale Fachkraft oder ein*e Vertreter*in einer Partnerorganisation beim Gesprächsbeginn dabei sein, um der sozialen Ebenen etwas mehr Raum zu geben und eine Annäherung zwischen dem Evaluierungsteam und dem/der Gesprächspartner*in zu erleichtern.

Um das Interview so effizient wie möglich zu gestalten und die bestmöglichen Ergebnisse zu erzielen, sollte die Gesprächsführung stringent sein und auf klaren, offenen und systemischen Fragen basieren. Es empfiehlt sich, mit einer sehr offenen und kreativen Frage das Interview zu starten, die dem/der Gesprächspartner*in die Möglichkeit geben, eigene Themen zu platzieren. Während der Interviews können technisch unkomplizierte narrative Methoden wie z. B. Storytelling oder online-basierte Tools wie Polls für Skalierungsfragen zur Anwendung kommen.

Dies ist auch bei Focus-Group-Interviews relevant, wobei es bei mehreren Teilnehmer*innen wichtig ist, Fragen und Diskussionen zu visualisieren. Hierfür können je nach Online-Konferenz-App Whiteboards oder ähnliche digitale Tools genutzt werden. Es kann außerdem hilfreich sein, den Teilnehmer*innen Informationen (z. B. Fragen oder Präsentationen) bereits vor dem Gesprächstermin zukommen zu lassen, damit sie sich vorbereiten können. Die Gruppengröße sollte eher klein gehalten werden, um die aktive Teilnahme aller Anwesenden zu ermöglichen. Es ist empfehlenswert, Teilnehmer*innen gezielt anzusprechen und nach ihrer Position zu fragen. Dabei ist zu beachten, dass Dissens im virtuellen Raum noch weniger geäußert wird als in Präsenzmeetings.

Wenn ein Gespräch aufgezeichnet werden soll, was bei virtuellen Interviews einfach umsetzbar ist, muss explizit das Einverständnis des/der Interviewees eingeholt werden. Eine Aufzeichnung hat den Vorteil, dass Informationen auch zu einem späteren Zeitpunkt, z. B. für den Informationsaustausch im Evaluationsteam, wortgetreu vorliegen. Allerdings ist die Auswertung zeitintensiv und das Aufzeichnen des Gesprächs kann zu weniger Offenheit des/der Interviewees im Gespräch führen.

2.3 Beobachtungen

Beobachtungen des Evaluierungsteams sind ein wichtiges Erhebungsinstrument in Evaluierungen. Die virtuelle Durchführung erschwert solche gemeinsamen Beobachtungen, zugleich ergeben sich aber auch neue Möglichkeiten.

So können technische Beobachtungen, wie z. B. Laborbesichtigungen oder Beobachtungen der Umsetzung von Erlerntem in der Praxis, z. B. in Unternehmen oder auf Märkten, durch Videoaufzeichnungen oder Live-online-Besichtigungen ersetzt werden. Bei Aufzeichnungen kann der/die technische Gutachter*in den Projektpartner*innen eine konkrete Aufgabe vorab schriftlich oder telefonisch mitteilen, dann werden die entsprechenden Inhalte von den Partner*innen vor Ort gefilmt und bei Bedarf kommentiert bzw. mit dem Evaluierungsteam besprochen. Alternativ kann das Labor während eines virtuellen Meetings „live“ besichtigt werden. Dafür kann ein*e Vertreter*in der Partnerinstitution oder das lokal Projektpersonal z. B. mit einem Smartphone das Evaluierungsteam durch das Labor führen. Eine Voraussetzung hierfür ist das nötige technische Equipment und eine ausreichend starke Internetverbindung.

Außerdem bietet die derzeitige Situation die Chance, dass mehr Projektaktivitäten virtuell stattfinden. Dadurch ergibt sich die Möglichkeit, dass das Evaluierungsteam beobachtend an solchen Projektaktivitäten teilnimmt und so Einblicke in die konkrete Zusammenarbeit im Projektkontext erhält. So können zumindest teilweise die fehlenden Beobachtungen im Arbeitsumfeld ersetzt werden.

3. Technische Aspekte der virtuellen Durchführung

Die virtuelle Durchführung von Evaluierungen bringt technische Herausforderungen und Möglichkeiten mit sich und bietet allen Beteiligten die Chance, gemeinsam zu lernen. Folgendes sollte bedacht werden:

Für die Vorbereitung der Interviews sollte zunächst definiert werden, welche digitalen Tools von den Partner*innen, dem Evaluierungsteam und der Durchführungsorganisation genutzt werden können. Dabei müssen sowohl die IT-Sicherheit und mögliche Einschränkungen durch organisationsinterne Bestimmungen als auch die Zugangsmöglichkeit (z. B. Kosten, benötigtes Endgerät, zusätzliche Hardware/Software oder Einstellungen, Datenverbrauch) und die für das Interview benötigten Funktionen bedacht werden. Ausschlaggebend sollte es sein, die Teilnahme der Partner*innen am Interview zu ermöglichen. Dementsprechend sollten bei Bedarf die Tools bzw. Durchführungsmodalitäten der Situation vor Ort angepasst werden. So sollte z. B. auf eine Videoschaltung verzichtete werden, wenn der/die Gesprächspartner*in ein knappes Datenvolumen zur Verfügung hat und für dieses selbst aufkommen muss.

Um technische Schwierigkeiten zu vermeiden, sollte neben der bevorzugten Video-/Telefonkonferenzlösung auch eine Alternative zur Verfügung stehen und den Gesprächspartnern kommuniziert werden. Nach Möglichkeit sollte ein Testlauf mit den Interviewees organisiert werden, um sicherzustellen, dass sie sich problemlos zuschalten können. In jedem Fall sollten die Telefonnummern der Gesprächspartner*innen bekannt sein, um einen direkten Kommunikationskanal zu haben, auf dem bei Bedarf ad hoc technische Probleme besprochen und behoben werden können.

Um die Organisation der Interviewagenda zu erleichtern, können digitale Tools zur Terminfindung, verwendet werden. Außerdem sind Kalendereinladungen mit Informationen und Link oder sonstigen Einwahldaten zum genutzten Video-/Telefonkonferenztool hilfreich. Es ist empfehlenswert, zwischen den Meetings ausreichend Zeit einzuplanen, um die Gesprächszeit verlängern zu können, falls technische Probleme auftreten.

4. Wichtige Überlegungen für die Durchführung einer Remote-Evaluierung

Um eine Evaluierung aus der Ferne durchzuführen, sollte zunächst die Unterstützung der Partner*innen bzw. ihre Bereitschaft sichergestellt werden, sich an der Remote-Evaluierung zu beteiligen und eventuell sogar als Mittler zu anderen Interviewpartner*innen zu fungieren. Ausschlaggebend hierbei sind die Beziehung zu den Projektpartner*innen und die Sensibilität des Projektkontexts. Auch das Thema Sprache und die mögliche Einbindung einer*s Dolmetschers*in sollte mitbedacht werden (siehe 1.3.).

Außerdem müssen die technischen Begebenheiten vor Ort eine virtuelle Durchführung erlauben. Das heißt, die Teilnahme an Videokonferenzen oder zumindest Telefonaten muss möglich sein. Im Idealfall sollten auch zusätzliche Erhebungsmethoden, wie z. B. das Filmen von Laboren machbar sein.

Remote-Evaluierungen sind oft kostengünstiger, ressourceneffizienter und umweltfreundlicher als Vor-Ort-Evaluierungen, da die Reisewege und Reisezeit entfallen. Um die Situation vor Ort ausreichend berücksichtigen zu können, sollte die Hinzunahme einer*s lokalen Co-Evaluator*in bzw. die Zusammenarbeit mit lokalen Evaluierungsinstitutionen in Betracht gezogen werden. Dies ist vor allem dann relevant, wenn kein Projektpersonal vor Ort ist.

Es sollte den Nutzer*innen der Evaluierung bewusst sein, dass gewisse Einschränkungen bei einer virtuellen Datenerhebung unvermeidbar sind und somit die Erwartungen an die Ergebnisse entsprechend angepasst werden müssen. Je höher die Einschränkungen bei einer Evaluierung sind, desto eher sollten die Evaluierungsergebnisse als Bereicherung der Überlegungen und als „Angebot“ gesehen werden (und nicht als absolute Wahrheit). Zugleich steigt die Bedeutung des Dialogs zwischen dem Evaluierungsteam und den Nutzer*innen, auch um die Ergebnisse z. T. gemeinsam zu interpretieren. Dafür sollte ausreichend Raum vorgesehen werden.

Zudem müssen die Rahmenbedingungen von Covid-19in Evaluierungen mitbedacht werden. Die dringliche Situation in manchen Partnerländern kann dazu führen, dass die Projektpartner*innen andere Prioritäten haben als die Teilnahme an Projektaktivitäten und an der Projektevaluierung. Andererseits kann durch die eingeschränkte Tätigkeit im Land die zeitliche Verfügbarkeit der Interviewees steigen. Weiterhin besteht die Möglichkeit, dass der zeitliche Abstand zu analogen Projektaktivitäten die Sichtweise auf diese beeinflusst und/oder, dass die Projektdynamik durch Covid-19 ausgebremst wurde und so die Evaluierungsergebnisse beeinflusst werden. Daher kann es sinnvoll sein, die Evaluierung zu nutzen, um die Anpassung des Projekts an die Covid-19-bedingten Umstände explizit zu thematisieren und Verbesserungsmöglichkeiten für eine virtuelle Projektumsetzung aufzuzeigen.

Text: Suzana Lange, Katharina Telfser and Stefan Wallerath

As of October 2020