Equivalentie tussen elektronische en papieren Western Ontario Rotator Cuff index (WORC): een tweezijdige cross-over equivalentiestudie
R.N. Wessel1 F. Hollman2 J.R.W. Crutsen3 W.M. de Raadt4 K.G. Auw Yang1 N. Wolterbeek5 1Orthopedisch chirurg, Afdeling Orthopedie, St Antonius Ziekenhuis, Utrecht 2Orthopedisch chirurg, Afdeling Orthopedie, VieCuri Medisch Centrum, Venlo 3ANIOS, Afdeling Orthopedie, VieCuri Medisch Centrum, Venlo
4Onderzoeker, Afdeling Orthopedie, St Antonius Ziekenhuis, Utrecht 5Research coördinator, Afdeling Orthopedie, St Antonius Ziekenhuis, Utrecht
Correspondentie: F. Hollman, freekhollman@gmail.com
De Western Ontario Rotator Cuff Index (WORC) is een ziektespecifiek meetinstrument dat op papier wordt gebruikt bij patiënten met rotator cuff letsels. De wens om van papieren naar elektronische administratie over te stappen wordt steeds groter. Het is noodzakelijk om aan te tonen dat de meeteigenschappen vergelijkbaar blijven met het oorspronkelijke format. Het doel van dit onderzoek was om vast te stellen of de elektronische versie van de WORC vergelijkbare resultaten oplevert in vergelijking met de papieren versie van de WORC. De hypothese was dat er geen verschil zou bestaan tussen de elektronische en de papieren versie van de WORC en dat deze versies daarom als substitueerbaar konden worden beschouwd. Dit onderzoek is een cross-sectioneel onderzoek met een tweezijdig cross-over design. Alle patiënten (>18 jaar) die zich bij de orthopedische kliniek meldden met schouderproblemen zoals artrose, subacromiaal pijnsyndroom, rotator cuff of bicepspeesproblematiek of frozen shoulder, kwamen in aanmerking voor deze studie. Alle patiënten vulden een papieren en een elektronische versie van de WORC in, met een minimale tussenpoos van 30 minuten. Gepaarde samples t-test en intraclass correlatiecoëfficiënten werden berekend tussen de papieren en de elektronische versie van de WORC totaal- en domeinscores. Bland Altman-plots en de overeenstemmingsgrenzen werden opgesteld om de overeenstemming tussen de wijzen van toepassen te analyseren en te controleren op systematische verschillen. 91 proefpersonen leverden evalueerbare gegevens voor de equivalentievergelijking. Er werden geen significante verschillen gevonden tussen de twee toepassingswijzen met een gemiddeld gepaard verschil tussen 0,1 en 2,0 punten op een schaal van 0-100. De intraclass-correlatiecoëfficiënten lagen tussen 0,82 en 0,92. De scatterplot en de Bland Altman-plot van de totale WORC-scores toonden geen systematische fouten tussen de verschillende manieren van toepassing.
De resultaten van deze studie geven aan dat er geen significante verschillen zijn in WORC-scores tussen de elektronische en de papieren versie. Een elektronische WORC kan dus betrouwbaar worden gebruikt voor het verzamelen van resultaten bij orthopedische patiënten.
Introductie
De Western Ontario Rotator Cuff Index (WORC) is een ziektespecifiek meetinstrument dat op papier wordt gebruikt bij patiënten met rotator cuff letsels.12 De WORC is vertaald in verschillende talen en is uitgebreid gevalideerd.16 Echter, de WORC was initieel ontworpen als een papieren meetinstrument en de validatie had alleen betrekking op deze specifieke wijze van toepassen.
De wens om van een papieren naar een elektronische administratie over te stappen wordt steeds groter. Het verzamelen van elektronische gegevens biedt zowel voor de patiënt als voor de beheerder vele voordelen ten opzichte van dataverzameling op papier.4 Bijvoorbeeld: minder administratieve belasting, minder tijd tussen het invullen van de enquête en het invoeren van de gegevens, geen fouten bij de gegevensinvoer, minder onvolledige gegevens, nauwkeurigere gegevens, eenvoudiger implementatie van overgeslagen patronen, gemakkelijker te verspreiden en minder kosten in vergelijking met het verzenden van enquêtes via de post.4,5,8,9,17
Het is niet aanbevolen om de toepassingswijzen te veranderen zonder zorgvuldige overweging, aangezien een meetinstrument alleen in het gevalideerde format mag worden gebruikt.5 Het veranderen van de toepassingswijzen kan, onbedoeld, de meeteigenschappen van een meetinstrument beïnvloeden.4,9,11 Bij het digitaliseren van een papieren meetinstrument is het onvermijdelijk dat er kleine veranderingen optreden. In plaats van een antwoord op papier te omcirkelen, moeten patiënten bijvoorbeeld op een computerscherm op het gewenste antwoord tikken of klikken. In het geval van de WORC moet in plaats van een markering langs een horizontale lijn van 100 mm, een schuifregelaar op een horizontale lijn op het scherm worden verplaatst. Daarnaast zijn er verschillen in lay-out. Om de gebruiksvriendelijkheid en bruikbaarheid te verbeteren, zijn kleuren, lettergrootte en het splitsen van items en antwoorden over meerdere schermen factoren die het resultaat kunnen veranderen en beïnvloeden.7,9,13
Het is noodzakelijk om aan te tonen dat de meeteigenschappen vergelijkbaar blijven met het originele format, echter een volledige psychometrische validatie voor elke wijziging is niet praktisch en niet vereist.4 Het aantal wijzigingen in de inhoud en het format van het originele meetinstrument geeft een indicatie voor de benodigde validatie. Equivalentietesten door middel van een gerandomiseerd cross-overdesign met rapporteringscorrelaties is de aanbevolen methode voor het valideren van kleine tot middelgrote veranderingen.4,5
Het doel van deze studie was om te bepalen of de elektronische versie van de WORC vergelijkbare resultaten oplevert als de papieren versie van de WORC. Onze hypothese was dat er geen verschil zou bestaan tussen de elektronische en de papieren versie van de WORC en dat deze versies derhalve als substitueerbaar kan worden beschouwd.
Patiënten en methode
Dit onderzoek betrof een cross-sectioneel onderzoek in één centrum met een tweezijdig cross-over design. De Institutional Review Board keurde het onderzoek goed en alle patiënten tekenden een toestemmingsverklaring.
Patiënten
Alle patiënten ouder dan 18 jaar die zich presenteerden op de orthopedische kliniek van ons ziekenhuis met schouderproblemen zoals artrose, subacromiaal pijnsyndroom (SAPS), rotator cuff, bicepspees problematiek of frozen shoulder, kwamen in aanmerking voor deze studie. Exclusiecriteria waren onvoldoende beheersing van de Nederlandse taal, onvermogen om een computer te gebruiken, injectie uitgevoerd tussen de eerste en tweede meting, schouderinstabiliteit (luxatie), recente operatie aan de ipsilaterale zijde die de schouderfunctie zou kunnen beïnvloeden en geen bereidheid tot deelname.
Methode
De patiënten die in aanmerking kwamen, werden vooraf benaderd via een informatiebrief en mondeling in de wachtkamer. Zij werden gevraagd om een toestemmingsverklaring en vulden de eerste evaluatie in voordat zij de orthopedisch chirurg zagen. De tweede evaluatie werd ingevuld na hun afspraak. Alle patiënten vulden een papieren en elektronische versie van de WORC in. De twee beoordelingen werden gescheiden door een tussenpoos van minimaal 30 minuten, die werd beschouwd als een adequate wash-out periode, maar kort genoeg om ervoor te zorgen dat de schouderfunctie van de patiënt niet was veranderd.4,8 De volgorde van de toepassingswijzen (op papier of elektronisch) werd toegewezen op basis van wat het beste paste in het schema van de orthopedisch chirurg. Er werd daarbij gestreefd naar een gelijke verdeling in de volgorde van toepassing.
WORC
Voor dit onderzoek werd de gevalideerde Nederlandse versie van het papieren formulier van de WORC gebruikt.16 De elektronische versie werd gemaakt met behulp van REDCap (Research Electronic Data Capture), een veilige, webgebaseerde toepassing die ontworpen is om de dataregistratie voor onderzoek te ondersteunen.10 Conform de classificatie van Coons werd de wijziging van het instrument als gering geclassificeerd.4 Er werd echter besloten de wijziging aan te passen tot gemiddeld, vanwege de verminderde toegankelijkheid van de extra item-instructies aan het eind van de vragenlijst. De tekst was gelijk aan het gevalideerde papieren formulier. Het aantal wijzigingen rechtvaardigde de opzet van de gelijkwaardigheidsproef.
De WORC bestaat uit 21 items verdeeld over 5 subdomeinen: lichamelijke symptomen, sport en recreatie, werk, levensstijl en emoties. Bij de papieren WORC werd elk item gescoord op een horizontale lijn van 100 mm. De linkerkant van de lijn werd voorzien van een uitspraak die de best mogelijke score vertegenwoordigde en de rechterkant van een uitspraak die de slechtst mogelijke score vertegenwoordigde. De patiënten werd gevraagd een streepje langs de lijn te plaatsen om hun antwoord aan te geven. Daarna werd door de uitvoerende onderzoeker voor elk item handmatig de afstand in mm gemeten tussen de markering en het linker uiteinde van de lijn. De gegevens werden vervolgens ingevoerd in REDCap voor automatische scoring en administratie.
De elektronische WORC was voorzien van dezelfde instructies, itembeschrijving en itemvermeldingen als de papieren versie. Er werd gebruikgemaakt van een desktopcomputer die met een computermuis werd bediend. De horizontale lijnen waren digitaal verdeeld in 100 gelijke delen. De patiënten werden geïnstrueerd om de slider op de horizontale lijn op het scherm te bewegen om hun antwoord aan te geven. Het belangrijkste verschil met de papieren versie was dat de slider vóór de reactie al zichtbaar was (vervaagd) en in het midden van de lijn stond. Zoals gezegd waren de aanvullende item-instructies aan het eind van de vragenlijst geplaatst en konden ze dus alleen worden gelezen door naar het eind te scrollen. Om de papieren versie na te bootsen, hoefde geen van de items te worden beantwoord, zodat het in beide situaties mogelijk was een vraag over te slaan. Alle items werden op één pagina gepresenteerd (geen vorige of volgende knoppen). De scores van de elektronische WORC werden automatisch in ‘real time’ berekend, echter de item-, domein- en totaalscores waren niet zichtbaar voor de patiënten. De domein- en totaalscores werden allemaal uitgedrukt in percentages tussen 0%, het laagste functionele statusniveau, en 100%, het hoogste functionele statusniveau.12
Statistieken
Alle statistische analyses werden uitgevoerd met SPSS (IBM SPSS Statistics for Windows, Version 24.0. Armonk, NY: IBM Corp.). Er werd een gepaarde sample t-test uitgevoerd om de gepaarde verschillen tussen de toepassingswijzen te bepalen. Het gepaarde verschil tussen de toepassingswijzen mocht de eerder vastgestelde standaardmeetfout van 6,0 punten niet overschrijden.4,16 Intraclass correlatiecoëfficiënten (ICC, two-way mixed effects model, single rater, consistentie) werden berekend tussen de papieren en de elektronische versie van de WORC totaal- en domeinscores. Het 95% betrouwbaarheidsinterval (BI) voor de ICC werd ook berekend. Goede correlaties (>0,75) en correlaties vergelijkbaar met eerdere test-hertest resultaten werden verwacht vanwege de gepaarde waarnemingen.4,5,16
Bland Altman-plots en de overeenstemminggrenzen (gemiddeld verschil ± 1,96 x standaarddeviatie van het verschil) werden opgesteld om de overeenstemming tussen de papieren en de elektronische versie van de WORC te analyseren en om te controleren op systematische verschillen.2
Steekproefomvang
Naar aanleiding van de aanbevelingen over het bewijs dat nodig is om de gelijkwaardigheid van elektronische en papieren patiëntgerapporteerde uitkomstmaten te ondersteunen, zou een minimum van 43 patiënten met volledige gepaarde waarnemingen vereist zijn.4 Echter volgens de COnsensus-based Standards for the selection of health Measurement Instruments (COSMIN) zijn ten minste 50 deelnemers nodig om een meeteigenschap betrouwbaar te evalueren.14 Rekening houdend met mogelijke ongeldige of onvolledige gepaarde metingen, en de heterogene populatie, was het doel om 85 patiënten te includeren.
Resultaten
In totaal werden 93 patiënten in het onderzoek geïncludeerd, waarvan 91 proefpersonen evalueerbare gegevens verstrekten voor de equivalentievergelijking (tabel 1). Twee proefpersonen verstrekten slechts één toepassingswijzen, waardoor hun gegevens niet werden opgenomen in de equivalentievergelijking (figuur 1). Van de 91 patiënten startte 27,5% met de papieren versie van de WORC en vulde vervolgens de elektronische versie in. In de papieren versie ontbraken bij zeven patiënten een of meer items. Bij geen van de patiënten ontbraken items in de elektronische versie.
SD: standaardafwijking; SAPS: subacromiaal pijnsyndroom.
Figuur 1. Stroomdiagram van de studie populatie.
Het gemiddelde en de standaarddeviaties van de totale WORC- en domeinscores voor beide toepassingswijzen staan in tabel 2. Het gemiddelde gepaarde verschil voor de totale WORC-score was 1,1 punt op een 0-100 schaal. Voor de domeinscores varieerde het gemiddelde gepaarde verschil tussen 0,1 en 2,0 punten op een 0-100 schaal. Er werden geen significante verschillen gevonden tussen de twee toepassingswijzen. De intraclass-correlatiecoëfficiënten lagen tussen 0,82 en 0,92, hetgeen als goed tot uitstekend wordt beschouwd. De ICC-waarden waren ook vergelijkbaar met eerder gerapporteerde ICC-waarden (tabel 3). In geen van de wijzen werden bodem- of plafondeffecten waargenomen.
ICC: Intraclass correlatiecoëfficiënt; BI: betrouwbaarheidsinterval.
De scatterplot en Bland Altman-plot van de totale WORC-scores toonden geen systematische fouten tussen de toepassingswijzen (figuren 2 en 3). In de Bland Altman plot wordt het gemiddelde verschil van 1,1 punt en de grenzen van overeenstemming (-13,8 - 16,0) aangegeven met lijnen. Vijf patiënten vielen boven de bovengrens van overeenstemming, wat erop wijst dat deze patiënten een grotere variabiliteit tussen de toepassingswijzen vertoonden. Bij alle vijf patiënten waren de scores in de papieren versie hoger (betere functionele status) dan in de elektronische versie.
Figuur 2. Scatterplot van de papieren totaalscores en de elektronische totaalscores.
Figuur 3. Bland Altman-plot van de totale WORC-score inclusief de grenzen van overeenstemming.
Discussie
Er werden geen significante verschillen gevonden tussen de twee toepassingswijzen voor de WORC-totaalscores en domeinscores. De gemiddelde gepaarde verschillen waren veel lager dan de eerder vastgestelde standaardmeetfout van 6,0 punten.16 Vijf patiënten vielen boven de bovengrens van overeenstemming, wat erop wijst dat deze patiënten een grotere variabiliteit tussen de toepassingswijzen vertoonden. Alle vijf patiënten gaven een betere functionele status aan in de papieren versie in vergelijking met de elektronische versie. Dit kan worden veroorzaakt door de startpositie van de slider in de elektronische WORC-versie, die halverwege de lijn stond en mogelijk resulteerde in hogere en dus meer onbevredigende scores. Deze kleine verschillen tussen toepassingswijzen zijn eerder beschreven in beide richtingen voor andere vragenlijsten.1,3,6,15 De voordelen van efficiënte elektronische dataverzameling overtreffen de mogelijke kleine klinisch irrelevante verschillen.
Betreffende de compliantie en de volledigheid van de vragenlijsten, zou de invoering van de elektronische versie een positieve verandering teweeg kunnen brengen. In de papieren versie bijvoorbeeld ontbraken bij zeven patiënten een of meer items, waarvan twee patiënten per ongeluk de eerste bladzijde volledig hadden overgeslagen. Ondanks het feit dat antwoorden in de elektronische versie niet vereist waren, had geen van de patiënten in die versie ontbrekende items. Patiënten voelen zich misschien minder verplicht om alle vragen te beantwoorden als ze die op papier krijgen of het is makkelijker om een vraag over te slaan als de vraag voor hen niet geheel relevant is. Patiënten dwingen om alle items te beantwoorden door te verplichten een item in te vullen, vermindert het aantal ontbrekende gegevens. Patiënten verplichten om items te beantwoorden die voor hen misschien niet relevant zijn, kan echter leiden tot minder betrouwbare uitkomsten.
Gebruiksvriendelijkheid was geen specifiek onderdeel van deze studie. Uit eerdere studies is gebleken dat respondenten over het algemeen de voorkeur geven aan de elektronische versie boven de papieren versie.4In deze studie gaven enkele patiënten echter aan de voorkeur te geven aan de papieren versie boven de elektronische. Voorkomende reacties waren: "Ik ben gewend aan een tablet, niet aan een desktop-computer, daarom ben ik niet gewend een muis te gebruiken"; "Ik ben onhandig met computers"; "Ik heb mijn computerbril niet bij me"; "Ik heb schouderproblemen en heb moeite met het gebruik van de computermuis". De meeste van deze problemen zullen worden opgelost wanneer de patiënten hun eigen apparatuur in hun eigen omgeving gebruiken. Daarnaast bleek uit een eerder uitgevoerde meta-analyse dat er weinig aanwijzingen zijn dat de grootte van het computerscherm, de hoeveelheid computerervaring of de leeftijd van de deelnemer de equivalentie van de verschillende toepassingswijzen significant beïnvloeden.9 Deze meta-analyse omvatte 278 verschillende schalen (vragenlijsten) en de gemiddelde correlatiecoëfficiënt tussen de elektronische en de papieren versie bedroeg 0,90, waarvan 94% boven 0,75 lag. De in de huidige studie gevonden correlatiecoëfficiënten waren goed tot uitstekend (>0,82), hetgeen wijst op equivalentie van de metingen. Dit is vergelijkbaar met eerder gerapporteerde ICC WORC-waarden bij vergelijking binnen een methode (papier versus papier).16
Voor zover bekend is er slechts één eerdere studie waarin verschillende versies van de WORC zijn vergeleken.8 Deze studie vond hogere scores, echter niet significant verschillend, op de papieren versie in vergelijking met de elektronische versie, evenals op de domeinen lichaamsbeweging, sport, levensstijl en emotie. In die studie werden slechts 35 homogene patiënten geïncludeerd, wat onder de drempel van 50 proefpersonen ligt die nodig zou zijn om een meeteigenschap betrouwbaar te evalueren.14
Limitaties
Een limitatie van deze studie was de setting. De onderzoeker was altijd aanwezig bij het elektronisch invullen van de WORC, terwijl deze methode vooral gebruikt zal worden voor het zelfstandig en op afstand invullen van de vragenlijst.
De papieren versie werd in sommige gevallen zelfstandig ingevuld in de wachtkamer en soms in aanwezigheid van de onderzoeker. De tijd die een patiënt nodig had om de papieren vragenlijst in te vullen kon niet worden geregistreerd omdat de onderzoeker niet altijd aanwezig was. Verschil in invultijd tussen de methoden zou kunnen bijdragen aan inzicht in gebruiksvriendelijkheid.
Een andere limitatie was de ongelijke verdeling van de toepassingswijzen. Om logistieke redenen kreeg 73% van de patiënten eerst de elektronische versie aangeboden. Naar verwachting heeft dit de resultaten niet beïnvloed.
Verder zijn er verschillen tussen de toepassingswijzen die onvermijdelijk zijn, zoals de lengte van de lijnen die aan de deelnemers worden voorgelegd. De lijnen op de papieren vragenlijst moeten 100 mm lang zijn. In dit onderzoek waren de lijnen van 100 mm op het scherm 70 mm lang en konden ze door inzoomen worden vergroot of verkleind. In de praktijk zal het door de patiënt gebruikte apparaat de lengte van de lijnen op het scherm bepalen. Daarnaast wordt in de instructie van de papieren vragenlijst benadrukt om een enkele schuine streep te gebruiken om de lijn te markeren.16 Een schuine streep was technisch niet mogelijk en daarom werd een horizontale schuif gebruikt als markering. Helaas was het technisch niet mogelijk de dikte van het schuifje te veranderen en daardoor was het schuifje vrij dik in vergelijking met de lengte van de lijn. Deze factoren zouden de respons van de patiënt visueel kunnen beïnvloeden. Ondanks deze verschillen is een volledige psychometrische validatie voor elke aanpassing niet praktisch en niet vereist.4
In deze studie werd REDCap gebruikt om de digitale versie toe te passen. REDCap is een populair, wereldwijd gebruikt instrument voor het verzamelen van digitale data en werd eerder gebruikt in het validatieproces van een papieren naar een internet gebaseerde vragenlijst.3 De technische mogelijkheden van REDCap kunnen echter verschillen van andere platforms die gebruikt kunnen worden, waardoor de vraag rijst of de WORC digitaal gevalideerd is of dat de WORC alleen voor REDCap gevalideerd is?
Een sterk punt van deze studie is de tweezijdige cross-over design, die een grotere statistische power biedt.4 Verder vertegenwoordigen de deelnemers van de studie de gewenste populatie waarin de elektronische WORC zal worden gebruikt wat betreft geslacht, leeftijd, werkstatus en diagnose.
Conclusie
Het is niet aanbevolen de toepassingswijzen te wijzigen zonder zorgvuldige overweging, aangezien een meetinstrument alleen in de gevalideerde format moet worden gebruikt. De resultaten van deze studie geven aan dat er geen significante verschillen zijn in WORC-scores tussen de elektronische en de papieren versie. Een elektronische WORC kan dus betrouwbaar worden gebruikt voor het verzamelen van data bij orthopedische patiënten.
Disclosure Geen belangenverstrengeling aanwezig.
Referenties
1. Basnov M, Bech P, Hjollund NH. Reliability of short form-36 in an Internet- and a pen-and-paper version. Inform Health Soc Care 2009;34(1):53-58.
2. Bland JM. Measuring agreement in method comparison studies. Stat Methods Med Res 1999;8(2):135-160.
3. Bot AG, Neuhaus V, Mudgal CS, Ring D. The comparison of paper-and web-based questionnaires in patients with hand and upper extremity illness. Hand 2013;8:210-214.
4. Coons SJ, Hays RD, Lundy JJ, Sloan JA, Revicki DA. Recommendations on evidence needed to support measurement equivalence between electronic and paper-based patient-reported outcome (PRO) measures: ISPOR ePRO Good Research Practices Task Force report. Value Health 2009;12(4):419-429.
5. Farr J, Cole BJ. Validation Study of an Electronic Method of Condensed Outcomes Tools Reporting in Orthopaedics. J Knee Surg 2013;26(6):445-451.
6. Fouladi RT, Moller NP. Paper-and-pencil or online? Evaluating mode effects on measures of emotional functioning and attachment. Assessment 2002;9(2):204-215.
7. Geerdink LM, Looman CW, Suijlekom-Smit LW van. Development of a digital Childhood Health Assessment Questionnaire for systematic monitoring of disease activity in daily practice. Rheumatology 2009;48(8):958-963.
8. Godfrey JM, McCarty EC. Comparison of computerized and paper versions of the Western Ontario Rotator Cuff (WORC) Index. J Shoulder Elbow Surg 2013;22(4):500-504.
9. Gwaltney CJ, Shiffman S. Equivalence of electronic and paper-and-pencil administration of patient-reported outcome measures: a meta-analytic review. Value Health 2008;11(2):322-333.
10. Harris PA, Thielke R, Payne J, Gonzalez N, Conde JG. Research electronic data capture (REDCap)--a metadata-driven methodology and workflow process for providing translational research informatics support. J Biomed Inform 2009;42(2):377-381.
11. Hood K, Ingledew D, Gillespie D, Greene G, Ivins R. Mode of data elicitation, acquisition and response to surveys: a systematic review. Health Technol Assess 2012;16(27):1-162.
12. Kirkley A, Griffin S. The development and evaluation of a disease-specific quality-of-life questionnaire for disorders of the rotator cuff: the Western Ontario Rotator Cuff Index. Clin J Sport Med 2003;13(2):84-92.
13. Palmblad M. Electronic diaries and questionnaires: Designing user interfaces that are easy for all patients to use. Qual Life Res 2004;13:1199-1207.
14. Prinsen CAC, Bouter LM, Alonso J, Patrick DL, Vet HCW de. COSMIN guideline for systematic reviews of patient-reported outcome measures. Qual Life Res 2018;27(5):1147-1157.
15. Shervin N, Bragdon CR, Shervin D, Zurakowski D, Malchau H. Comparison of paper and computer-based questionnaire modes for measuring health outcomes in patients undergoing total hip arthroplasty. J Bone Joint Surg Am 2011;93(3):285-293.
16. Wessel RN, Fermont AJ, van Mameren H, Sonneveld H, Griffin S, Bie RA de. 2013 Dec 21;14:362. The conceptually equivalent Dutch version of the Western Ontario Rotator Cuff Index (WORC)©. BMC Musculoskelet Disord 2013;14.
17. Zbrozek A, Gogates G, Thorell R, Dell C, Molsen E. Validation of electronic systems to collect patient-reported outcome (PRO) data-recommendations for clinical trial teams: report of the ISPOR ePRO systems validation good research practices task force. Value Health 2013;16(4):480-489.