Investigating aspects of treatment fidelity in a new conversation-based therapy for people with agrammatic aphasia and their conversation partners

Heilemann, Claudia (August 2013): Investigating aspects of treatment fidelity in a new conversation-based therapy for people with agrammatic aphasia and their conversation partners., Treatment fidelity in einem neuen konversationsorientierten Therapieansatz für Menschen mit Agrammatismus und deren Konversationspartner. Masterarbeit, Ludwig-Maximilians-Universität München

Abstract

Background: When conducting a speech and language therapy intervention study, one essential part lies in the evaluation of the outcomes. The underlying therapy itself and its delivery are aspects which are mostly done in the background. There is little focus on the question: Was therapy delivered with fidelity, i.e. to what extent does the actual therapy delivery correspond to the planned delivery? If treatment fidelity (TF) is discussed in a paper, researchers often report on therapy manuals, training and supervision of therapists, or adherence to the therapeutic techniques. However, according to Cherney et al. (2013), TF is regarded as a crucial component of any behavioural treatment study (ibid.) and should therefore be assessed in a speech and language therapy intervention study.

Aim: The present thesis is part of a wider research project in which a new conversation-based therapy - called Better Conversations with Aphasia (BCA; Beeke et al., 2011; Beeke et al., submitted; Beckley et al., 2013) – was designed. The therapy was provided to eight people with agrammatism and their conversation partners (CPs), together called a dyad. It is an adaptation of a conversation training programme called SPPARC (Supporting Partners of People with Aphasia in Relationships and Conversation; Lock et al., 2001a). Every dyad was treated by the same speech and language therapist (SLT) and all therapy sessions were videotaped. The aim of the present thesis is to examine aspects of TF retrospectively and thereby assess the degree of uniform therapy delivery as planned.

Methods: The multifaceted concept of TF is introduced and applied to the wider research project. Using this concept, the degree to which the BCA therapy programme was delivered as planned, can be measured. This can be achieved by developing a pilot fidelity tool, which is based on a conceptual framework of TF (Carroll et al., 2007), on practices reported in the TF literature and on the generic session plans of the BCA therapy. The first step was to observe 23% of the therapy sessions and rate them with the tool. These observations were conducted on data of seven dyads. In addition, descriptive data were collected to enlarge the fidelity evaluation. In a last step, inter-rater reliability (IRR) of parts of the fidelity tool was also assessed with the help of a second observer who rated 20% of the sessions already used for the fidelity check.

Results: The results indicate that, in terms of therapy content, a high fidelity level of 91.9% was reached for the BCA therapy programme. Dyad-specific fidelity scores thereby ranged between 86% and 97%, which shows a certain degree of variability, even when only one therapist was delivering the intervention. It also suggests that each dyad received a satisfactorily equivalent intervention. The duration and frequency of the therapy sessions varied across the dyads. However, this reflects the individual and interactive nature of a conversation-based therapy. Qualitatively, the therapist showed a high degree of desired behaviour associated with the delivery of the BCA therapy programme (averaged across the dyads: 96.7%). Other potential moderators of fidelity, such as the acceptance of components of the therapy programme and the clients’ motivation, were also investigated in the present thesis, providing a multifaceted evaluation of TF. In terms of the inter-rater reliability of the designed fidelity tool, acceptable levels have been reached for almost all of the sessions observed by two qualified SLTs.

Future directions: For future investigations, the procedural section of the fidelity tool could be refined in terms of fewer, essential elements of the BCA therapy. Moreover, clearer rating guidelines are necessary for rating the fidelity tool reliably. A potential next step for future research might be to identify potential essential components of the BCA therapy and to relate the outcomes of the main BCA research project to TF data. However, the importance and value of a fidelity evaluation is already being demonstrated in the present thesis.

Abstract

Theoretischer Hintergrund: Eine Sprachtherapieevaluation besteht typischerweise aus der Messung des tatsächlichen Therapieeffekts. Die Evaluierung der Therapiephase, also inwieweit die ursprünglich vorgesehene Therapie übermittelt wurde (z.B. wie in einem Therapiemanual beschrieben), wird hingegen oft vernachlässigt. Die englischsprachige Literatur spricht in diesem Zusammenhang häufig von dem Konzept der treatment fidelity (TF) (was übersetzt in etwa dem Begriff ‚Therapiegenauigkeit‘ entspricht). Berichten Forscher über Aspekte dieses Konzeptes, dann wird dies meist auf das Therapiemanual, Therapeutenschulungen oder -supervisionen, oder auf die Messung der Therapiekonformität des Sprachtherapeuten bezogen. Jedoch wird das Konzept der TF nach Cherney et al. (2013) als eine wichtige Komponente einer verhaltenstherapeutisch orientierten (Sprach-)Therapiestudie angesehen.

Ziel: Die vorliegende Arbeit ist Teil eines übergreifenden Forschungsprojekts, in dem ein konversationsorientierter Therapieansatz entwickelt wurde (Better Conversations with Aphasia; BCA; Beeke et al., 2011; Beeke et al., submitted; Beckley et al., 2013). Dieser Therapieansatz basiert auf dem bereits vorhandenen Konversationstraining SPPARC (Supporting Partners of People with Aphasia in Relationships and Conversation; Lock et al., 2001a). Für die Umsetzung der BCA Therapie wurden acht Paare therapiert, die jeweils aus einer aphasischen Person mit agrammatischer Sprachproduktion sowie einer primären Bezugsperson bestanden. Die Therapie wurde dabei für alle Probanden von der gleichen Sprachtherapeutin durchgeführt und alle Therapiesitzungen wurden auf Video aufgezeichnet. Das Ziel der vorliegenden Arbeit besteht in der Anwendung des TF Konzeptes auf den BCA Therapieansatz, um den Grad der Konformität mit der ursprünglich vorgesehenen Therapie zu ermitteln.

Methodik: Zunächst wird das Konzept der TF beschrieben und auf die Daten von sieben Paaren der Hauptstudie angewendet. Um die Therapieübermittlung zu quantifizieren, also inwieweit sich die Therapeutin an dem vorgegebenen Therapieprogramm orientiert hat, wird sodann ein fidelity tool (d.h. ein Beobachtungsinstrument) entwickelt. Dieses Instrument basiert auf einem speziellen TF-Modell (Carroll et al., 2007), weiteren Methoden aus der TF Literatur und BCA-spezifischen Therapieplänen. Es werden insgesamt 23% der Therapiesitzungen mit Hilfe dieses Instruments beurteilt. Zusätzlich werden schriftliche Dokumente der Hauptstudie analysiert, um TF möglichst umfassend zu erörtern. Abschließend werden 20% der beurteilten Sitzungen von einem zweiten trainierten Beobachter eingeschätzt, um erste Aussagen über die Inter-rater Reliabilität des fidelity tools treffen zu können.

Ergebnisse: Die Analyse der Videoaufnahmen mithilfe des fidelity tools zeigt einen sog. fidelity score (Genauigkeitswert) von 91,9%, was laut Literatur eine hohe Therapiekonformität der Therapeutin anzeigt. Die individuellen fidelity scores liegen dabei zwischen 86% und 97%. Dies deutet einerseits auf einen gewissen Grad an Variabilität in der Therapieübermittlung hin, auch wenn ein und dieselbe Therapeutin die Therapie übermittelt. Andererseits lassen diese Ergebnisse annehmen, dass jedes Paar die Therapie zu einem zufriedenstellenden Ausmaß erhalten hat. Im Hinblick auf die Dauer und Frequenz der Therapiesitzungen zeigt sich ein eher heterogenes Muster. Dies spiegelt jedoch die interaktive Natur dieser Therapie wider. Zu durchschnittlich 96,7% wendet die Therapeutin erwünschte Therapieprinzipien während der Sitzungen an. Weitere Faktoren, die in der vorliegenden Arbeit erhoben wurden, zeigen, dass die Studienteilnehmer motiviert in der Therapie partizipieren, jedoch gibt es Hinweise auf einzelne Therapiekomponenten, die verbessert werden könnten. Fast alle der untersuchten Teile des fidelity tools weisen eine gute Inter-rater-Übereinstimmung auf.

Ausblick: In weiteren Forschungsbemühungen könnte angestrebt werden, die Anzahl der Items des fidelity tools zu minimieren, idealerweise auf die essentiellen Elemente der BCA Therapie. Außerdem wäre eine Einführung klarer Beurteilungsrichtlinien von Nöten, damit alle Teile des Instrumentes zuverlässig angewendet werden können. Ein nächster Schritt könnte darin bestehen, essentielle Komponenten des BCA Therapieprogrammes zu identifizieren, wofür die vorliegende Untersuchung eine erste Grundlage darstellt. Die vorliegende Arbeit demonstriert insgesamt die Wichtigkeit und das Potential einer fidelity Evaluation anhand der Anwendung des TF Konzepts auf die BCA Therapie.

• Dokumententyp: Hochschulschrift (Masterarbeit)
• Keywords: conversation-based therapy, treatment fidelity
• Fakultät: Psychologie und Pädagogik > Department Pädagogik und Rehabilitation > Abt. 3: Präventions-, Inklusions- und Rehabilitationsforschung > Sprachheilpädagogik > Sprachheilpädagogik und Sprachtherapie
• Themengebiete: 300 Sozialwissenschaften > 370 Bildung und Erziehung ; 400 Sprache > 410 Linguistik
• Sprache: Englisch