Grundlagen der Evaluation und Qualitätssicherung

Grundlagen der Evaluation

Das Thema Evaluation und Qualitätssicherung ist nicht nur im Fokus von Kostenkontrolle und -Ersparnis ein relevantes Thema. Über die Effizienz hinaus gibt eine durchdachte Qualitätssicherung Möglichkeiten, die Wirksamkeit von Interventionen insgesamt zu steigern und somit richtungsweisend für die zukünftige Ausgestaltung zu sein. Dieses Referat soll eine Einführung in die Grundbegriffe geben und anhand des Beispiels der psychologischen Ambulanz in Osnabrück die praktische Relevanz aufzeigen.

Was ist Evaluation?

Qualität als abstrakter Begriff ist die Gesamtheit aller Merkmale in Bezug auf Eignung, um festgelegte Erfordernisse zu erfüllen. Der Vorgang, der im Sinne einer Ist-Soll-Wertdiskrepanz die Qualität herstellt, wird als Qualitätssicherung bezeichnet. Der Begriff des Qualitätsmanagements beinhaltet die Qualitätssicherung und darüber hinaus die Maßnahmen zur Analyse der Qualität, die Weiterentwicklung der Qualitätssichernden Maßnahmen, sowie die beständige Anpassung des zu erreichenden Soll-Wertes. Das Qualitätsmanagement hat demnach einen prozessorientierten Charakter. Evaluation hat primär das Ziel, praktische Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden. Evaluation ist „ziel- und zweckorientiert. Tabelle 1 soll dies in ein konkreteres Licht setzen. Insbesondere die Punkte der Spalte „Klärungsbedarf“ geben einen Hinweis auf die Wichtigkeit einer systematischen und durchdachten Vorgehensweise bei der Durchführung einer Evaluation.

Begriffsklärung

Da sich die einzelnen Begriffe überschneiden, ist es wichtig sie zu definieren. Auf abstraktester Ebene steht die Qualität, die es in einem hohen Maße zu erreichen gilt. Der Prozess, Qualität zu definieren und die Analyse der Qualitätssteigernden Maßnahmen ist das Qualitätsmanagement. Qualitätssicherung ist der Teil des Qualitätsmanagement, der sich mit der Erreichung der definierten Qualitätsgate befasst. Evaluation umfasst die überprüfung der praktisch angewendeten Maßnahmen auf ihre Tauglichkeit, die Qualität in geeignetem Maße zu steigern.

Evaluation im Gesundheitswesen
Anwendungsbeispiel: Qualitätszirkel

Einführung

Ein sowohl im klinischen, als auch generell in organisationalen Kontexten angewendete Qualitätssicherungsform ist der Qualitätszirkel. Der Qualitzätszirkel ist eine kleingruppenorientierte Arbeitsmethode, um internes Qualitätsmanagement in der Praxis zu etablieren und Strategien zur Qualitätsverbesserung zu erarbeiten. Mitarbeiter aus unterschiedlichen Berufsgruppen analysieren selbstständig ihre Arbeit und bewerten sie nach formulierten Qualitätskriterien. Ziel ist es, unter Koordination eines geschulten Moderators den eigenen Tätigkeitsbereich zu analysieren, ihn bezüglich formulierter Qualitätskriterien zu bewerten und daraus Qualitätsverbessernde Maßnahmen zu entwickeln. Es geht nicht primär darum, neues Wissen einzuführen, sondern bereits vorhandenes Erfahrungswissen adäquat anzuwenden und belegte Forschungsergebnisse oder Leitlinien umzusetzen. Dabei soll die Diskrepanz zwischen Erfahrungswissen und realem Handeln reduziert werden. „Betriebsblindheit“ soll durch detaillierte Analyse und Dokumentation von Arbeitsprozessen überwunden werden.

Rollen im Qualitätszirkel

Der Moderator schafft einen produktiven, ungestörten Nährboden für die Arbeit des Qualitätszirkels. Er ist kein fachlicher und inhaltlicher Leiter, sondern hat die Aufgabe, eine Balance in den Interessen und Persönlichkeiten der Teilnehmer zu schaffen. Der Moderator ist didaktisch und kommunikativ gut ausgebildet und in der Lage, eine Balance in den unterschiedlichen Interessen und Persönlichkeiten der Teilnehmer herzustellen. Er ist also kein inhaltlicher und fachlicher Leiter, sondern moderiert im wahrsten Sinne des Wortes. Zu Beginn liegt sein Fokus in der Initiierung der Gruppenarbeit und die kontinuierliche Teilnahme der Teilnehmer zu ermöglichen. Die regulären Teilnehmer sind gleichberechtigte Experten, die kontinuierlich und möglichst unvoreingenommen die Prozesse des Tagesgeschäftes analysieren und auf qualitative Schwachstellen abklopfen, mit der Folge der Optimierung und der Evaluation. Die Führungsebene dient der Unterstützung des Qualitätszirkels, Unterstützung der zeitnahen und vollständigen Umsetzung der erkannten Optimierungspotenziale. Vermeidung von überforderung der Teilnehmer vom Tagesgeschäft, sodass ausreichend
Zeit für die Arbeit im QZ verfügbar sind, ohne dass die reguläre Arbeit vernachlässigt werden muss.

Potenzielle Problemstellungen

Bestehen die Teilnehmer des QZ zum großen Teil aus Führungskräften, die die Arbeitsabläufe eher aus einer abstrakten Perspektive verstehen, werden Probleme übersehen, bzw. Standpunkte aus einer ungünstigen Sicht vertreten. Werden die Ergebnisse des QZ von der Führungsebene nicht ernst genommen und nicht zeitnah in praktische Maßnahmen umgesetzt, sinkt die Motivation und Lösungsorientierung der Teilnehmer. Werden die QZ-Treffen in reguläre Treffen „gequetscht“ (z.B. in wöchentliche Stationsbesprechungen), geht der spezielle Fokus des Qualitätszirkels verloren. Es bleibt eine normale, weniger effektive Besprechung übrig.

Begünstigende Faktoren

Bevorzugt sollten Mitarbeiter auf Arbeitsebene und direkte Leistungsträger in Qualitätszirkel aufgenommen werden, da sie näher an den praktischen Tätigkeiten sind als z.B. Führungskrafte. Ebenso wichtig ist die Verfügbarkeit eines geeigneten Moderators, der eine produktive Gruppendynamik unterstützt, in der jeder von jedem lernt und auch die Teilnehmer eine Stimme erhalten, die sonst einem dominanterem Teilnehmer gegenüber untergehen würden.

Rahmen

Die Teilnehmerzahl sollte idealerweise zwischen 6 und 10 liegen, die kleinste Gruppengröße sollte 4 nicht unterschreiten. Je größer die Gruppe ist, umso weniger kann sich der einzelne Teilnehmer tendenziell einbringen. Die Treffen des Qualitätszirkels sollten über den Zeitraum eines Jahres alle 4-6 Wochen abgehalten werden. Die Vertraulichkeit aller besprochenen Themen sollte explizit sichergestellt werden. Im Referat wurde der Qualitätszirkel in Kleingruppenform vermittelt, unterstützend und zusammenführend ist im Anhang dieser Ausarbeitung ein kurzes Quizz zu finden.

Der Qualitätsbegriff im Gesundheitswesen

Basierend auf Donabedian werden drei Teilaspekte von Qualität unterschieden, die aufgrund ihrer unterschiedlichen Blickwinkel unterschiedliche Ansatzpunkte für Qualitätsfördernde und gestaltende Maßnahmen bieten.
StrukturQualität umfasst nach Härter, Linster und Stieglitz (2003) die gesetzlichen und rechtlichen Rahmenbedingungen der Betätigung, räumlichbauliche Standards, Ausstattungsstandards, Erreichbarkeit, Qualifikation, Angebote und Konzepte, Vernetzung und Kooperation, Qualitätsleitsätze und professionelle Identität, sowie die
Organisationsstruktur. also z.B. die individuelle Qualifikation des Therapeuten, die Verfügbarkeit der jeweils erforderlichen Methoden oder auch die Erreichbarkeit des Klinikgebäudes mit öffentlichen Verkehrsmitteln. Die ProzessQualität beinhaltet nach Schulte (2000) die Punkte Gutachterverfahren und Behandlungsanträge, systematische Organisationsabläufe, Strukturierung und Standardisierung therapeutischer Prozesse und Schritte, klinisch- psychologische und klinisch- psychiatrische Leitlinien, Berücksichtigung formaler Kriterien und Standards, Dokumentation, Therapiekontrolle und Evaluation, also z.B. die Güte der Behandler-Patient-Beziehung oder die Frequenz, Dauer und Dosis der BehandlungsMaßnahmen, Faktoren die den Verlauf der Intervention beeinflussen. In der ErgebnisQualität sind nach Härter, Linster und Stieglitz (2003) Konstruktbereiche,  Operationalisierung, Strategien der Veränderungsmessung, Design, Kriterien der ErgebnisQualität und Methodenpakete, also z.B. die subjektive Zufriedenheit der Patienten, die durch die Intervention erreichten Verhaltensänderungen und die Compliance berücksichtigt. Um Bezug zu den Qualitätsdefinierenden Aspekten des Qualitätsmanagements zu nehmen, ist hier unvermeidlich die Frage berührt, was unter einer guten Therapie eigentlich zu verstehen ist. Diese wesentliche Frage wird im kommenden Abschnitt eingehender (wenn auch nicht erschöpfend) behandelt. Alle drei Qualitätsbegriffe sind als miteinander verbunden zu betrachten, Interventionen und Defizite in einem Teilaspekt wirken sich somit auf die übrigen Teilaspekte aus. Eine hohe StrukturQualität (z.B. hoch qualifizierte Therapeuten) könnte sich z.B. positiv auf die ProzessQualität (z.B. Patient fühlt sich aufgrund der Kompetenz des Therapeuten gut aufgehoben und zeigt infolge dessen eine aktivere Mitarbeit) und die ErgebnisQualität (um das Beispiel abzuschließen, könnte die erhöhte Mitarbeit über eine geförderte Selbstwirksamkeitsüberzeugung den Therapieerfolg begünstigen).

Praxisbeispiel: Evaluation der psychologischen Ambulanz Osnabrück

Die psychologische Ambulanz Osnabrück dient zum einen der psychotherapeutischen Behandlung von Patienten, zum anderen der Ausbildung angehender psychologischer Psychotherapeuten.
Seit dem Jahr 2003 findet ein Qualitätsmanagementkonzept Anwendung, dass insbesondere auf die ErgebnisQualität ausgerichtet ist. Zu mehreren Messzeitpunkten (vor der Intervention, während der Intervention, nach Abschluss, sowie katamnestisch 1 Jahr nach Therapieende) werden strukturierte und teilstrukturierte Fragebögen eingesetzt, um den Therapieverlauf zu erfassen.
Ab dem zweiten Messzeitpunkt werden sowohl momentane Zustände erfragt, als auch retrospektive Fragen („Erinnern sie sich:“) gestellt. Die Auswahl der nachfolgend aufgeführten Instrumente erfolgte vor dem Hintergrund von Howards Phasenmodell.

Exkurs Phasenmodell nach Howard

Das Phasenmodell nach Howard unterteilt den Therapieverlauf in drei aufeinander folgende Phasen. Zu jeder spezifischen Phase ist der Patient offen für unterschiedliche therapeutische Interventionen und weniger erreichbar für andere Interventionen.

1. Die Remoralisierungsphase: Diese Phase umfasst ca. die ersten 10-20 Sitzungen und zeigt sich in erhöhtem Wohlbefinden unabhängig von der angewendeten Intervention. Diese Phase beginnt bereits vor der Therapie, denn bereits die Entscheidung und Evaluation und Qualitätssicherung, Seminar „Einführung in die Gesundheitspsychologie“
   Erwartung, eine Therapie zu beginnen, bewirkt eine erste Remoralisierung. Auch die ungewohnte Erfahrung therapeutischer Aufmerksamkeit wirkt an dieser Stelle ein.
2. Die Mediationsphase ist gekennzeichnet von der Auseinandersetzung mit manifesten Symptomen, die charakteristisch für die jeweilige Erkrankung sind. Verbesserungen auf der Symptomebene sind in der Mediationsphase zu beobachten.
3. Die Rehabilitationsphase Viele psychische Probleme sind in einem interpersonellen Kontext zu verstehen, bzw. beziehen sich direkt auf die soziale Interaktion eines Menschen mit seiner Umwelt, z.B. bei Sozialangst. Therapeutische Veränderungen im
   interpersonellen Bereich, die sich z.B. auf die Fähigkeit zur Aufrechterhaltung von Freundschaften oder selbstwertförderlicher Interaktion mit der Stammfamilie beziehen, bewirken tiefere und langanhaltende Veränderungen über die Symptomebene hinaus. In der Rehabilitationsphase ist der Patient offen für Veränderungen dieser Kategorie. Diesem charakteristischen Therapieverlauf Rechnung tragend wurden Instrumente ausgewählt, die dem phasischen Therapieverlauf Rechnung tragen:
   1. SCL-90R (Symptomebene)
   2. IIP
   3. Fahrenbergs Fragen zur Lebenszufriedenheit
   4. Fragebogen zum emotionalen Befinden
   5. Persönlichkeitsselbstportait
   6. Persönlichkeitsstile (nur Screening)
   7. FEP-2 (außerhalb der 4 Messzeitpunkte jedes Quartal)
   8. BDI
   9. Offene Fragebögen zur Erhebung von Problemen und Zielen Zum ersten Messzeitpunkt vor Beginn der Therapie (bzw. innerhalb der probatorischen Sitzungen) werden zusätzlich zu den oben genannten Bögen soziodemografische Daten erhoben sowie Probleme bezeichnet und zu erreichende Ziele erfasst. Auch der Therapeut dokumentiert zu diesem Zeitpunkt eine erste Einschätzung. Der zweite Messzeitpunkt wird abhängig davon durchgeführt, ob eine Verlängerung der Therapie erfolgt. Nun wird zum ersten Mal mit dem VEV (Veränderung im Erleben und Verhalten) sowie mit retrospektiven Fragen der Veränderungsprozess abgebildet. Zum Abschluss der Therapie findet eine weitere Messung statt, in der wieder nach Veränderungen gefragt wird, jedoch aus motivationalen Gründen nicht mehr Ziele und Probleme erfragt werden. Der letzte
      Messzeitpunkt liegt im Abstand von 12 Monaten nach Abschluss der Therapie, um die Nachhaltigkeit der Behandlung zu erfassen.

Bis Anfang des Jahres 2008 wurden auf diese Weise Daten von ca. 500 Therapieverläufen erhoben.
Der Erfolg dieser Maßnahme ist schwierig zu quantifizieren, da es sich um eine Ausbildungsambulanz handelt, in der naturgemäß eine hohe Fluktuation von Therapeuten vorliegt. darüber hinaus erfordert eine Quantifizierung von Erfolg eine Kriteriendiskussion für Therapieerfolg. für einen Kostenträger mag dieser in der Herstellung einer schnellen Wiederherstellung der Arbeitsfähigkeit liegen. für den Patienten ist einerseits das Lindern der Symptome von Nutzen, darüber hinaus jedoch auch eine Besserung der interpersonellen Lebensumstände und Kompetenzen. In dieser Reihenfolge steigt vermutlich auch der Schwierigkeitsgrad der Datenerhebung. Insbesondere der Langzeiterfolg der Interventionen ist kaum zu erfassen, da die Quote der ausgefüllten Fragebögen bereits nach 12 Monaten auf ca. 10% gesunken ist. Ein direkter Nutzen ergibt sich für die Ausbildung der psychologischen Psychotherapeuten, die zu jedem Zeitpunkt ein objektives, auch für die Supervision wertvolles Feedback zur Verfügung haben. Geplant ist zusätzlich ein Feedbacksystem, in dem kritische Kennzahlen bei signifikanter Normabweichung einen Alarm auslösen.

Anhang

Quiz Qualitätszirkel

1. Ein QZ dient primär der internen
   1. Weiterbildung und Wissenserweiterung.
   2. Verringerung der Diskrepanz von Erfahrungswissen und gelebter Realität.
2. Ein Moderator hat in einem QZ die Aufgabe,
   1. das Öl im Getriebe zu sein, damit sich alle Teilnehmer optimal einbringen
      können.
   2. sich fachlich in allen Belangen gut auszukennen, um eine Richtung vorgeben zu
      können.
3. Ein Qualitätszirkel arbeitet besonders effizient,
   1. wenn die Treffen in reguläre Abteilungstreffen verflochten werden und somit zwei Fliegen mit einer Klappe geschlagen werden können.
   2. wenn die Teilnehmerzahl 10 nicht überschreitet und über mindestens 1 Jahr
      zusammengearbeitet wird.
4. Die Führungsebene hat die Aufgabe,
   1. die im QZ zu besprechenden Punkte mit genügend Vorlauf einzureichen.
   2. inhaltliche Freiheit zu gewähren, jedoch im QZ erarbeitete Maßnahmen zu
      unterstützen.

Literatur

• Bartholomäus, S. (2007). FEP: Ein ökonomisches Instrument zur Verlaufsbeurteilung von Psychotherapien. http://www.psycho.uni-osnabrueck.de/fach/klinische/04_submenues/schoettke/diplomarbeiten/bartholomaeus.pdf, Stand 01.02.2008.
• Härter, M., Linster, W., Stieglitz, R.-D. (Hrsg.) (2002). Qualitätsmanagement in der Psychotherapie. Göttingen: Hogrefe
• Renneberg, B. & Hammelstein, P. (2006). Gesundheitspsychologie. Heidelberg: Springer Howard, K. I., Lueger, R. J., Maling, M. S., & Martinovich, Z. (1993). A phase model of psychotherapy outcome: causal mediation of change. Journal of Consulting and Clinical Psychology, 61, 678-685.
• Müller, A. (2008). Reiki und Gesundheit. Hannover Reiki und Gesundheit
• Lutz, W., Schürch, E., Stulz, N., Schittke, H., Rogner, J., & Wiedl, K. H. (submitted). Entwicklung und psychometrische Kennwerte des Fragebogens zur Evaluation von Psychotherapieverläufen (FEP).