Moduly posilující reprodukovatelnost
Na stránce Report naleznete několik modulů zvyšujících výzkumnickou reflexivitu a transparenci kódování. Tyto moduly fungují pouze ve webové verzi reQualu, protože ta umožňuje kódování vícero kodéry a jejich srovnání.
První karta Summary poskytuje přehled o množství označených segmentů jednotlivými kódy v jednotlivých dokumentech. Pokud bychom chtěli vědět, jak často a kde použila kódy určitá kodérka, vybereme pouze jí v nabídkce Select users. Podobně můžeme omezit výběr jen na určité kódy nebo dokumenty v případě, že jich je hodně a celková tabulka je příliš rozsáhlá.
Karta Agreement nabízí možnost zviditelnění shody mezi kódy, kodéry a jejich atributy. Když rozbalíme nabídku Select metrics, máme na výběr dvě sady kontrol. První ukazuje shodu spočítanou na základě počtu překrývajících se písmen (znaků), druhý shodu na základě překryvu označených segmentů bez ohledu na počet znaků (segment). Výpočet je proveden pomocí Jaccardova koeficientu podobnosti, který se vypočítá jako poměr počtu shodně kódovaných znaků vůči počtu všech kódovaných znaků.
Rozdíl mezi shodou ve znacích a shodnou v segmentech si můžeme ukázat na příkladu:
- Kodérka A označí: Ale prostě já, u mě je ten problém, že já pivo nepiju, mně nechutná. (55 znaků)
- Kodérka B označí: Ale prostě já, u mě je ten problém, že já pivo nepiju, mně nechutná. Alkoholik nejsem. (71 znaků)
Shoda ve znacích bude 0.77 podle výpočtu 55/(55+71-55) = 0.77
Shoda v segmentech bude 1.00 podle výpočtu 1/(1+1-1) = 1.00
- Kodérka A označí: Ale prostě já, u mě je ten problém, že já pivo nepiju, mně nechutná. (55 znaků)
- Kodérka B označí: Ale prostě já, u mě je ten problém, že já pivo nepiju, (...) Alkoholik nejsem. (43 + 16 = 59 znaků)
Shoda ve znacích bude 0.77 podle výpočtu 43/(55+59-43) = 0.61
Shoda v segmentech bude 1.00 podle výpočtu 1/(1+2-1) = 0.50
Z příkladů vidíme, že každé kritérium je citlivé na jiné vlastnosti kódování. Zatímco počet společných znaků je spíše mechanická míra shody, společné segmenty více odrážejí významovou složku čtení dat.
Spočítá celkovou shodu kódování ve znacích ve všech dokumentech pro vybrané kodéry. Tato tabulka poskytuje přehled o celkové shodě kodérů v projektu.
Spočítá shodu kodování ve znacích ve všech dokumentech pro jednotlivé kódy a pro vybrané kodéry. Shoda je vážená, aby zohledňovala ??? Tato tabulka poskytuje přehled o tom jestli se liší shody v jednotlivých kódech. Umožňuje identifikovat problematické kódy.
Zobrazí heatmapu, ve které jsou porovnány dvojice kodérů na základě jejich shody ve znacích ve všech dokumentech a všech kódech. Čím je barva světlejší, tím je shoda vyšší. Tato tabulka umožňuje identifikaci dvojic kodérů, kteří jsou celkově "sladěni", a těch, kteří se naopak shodují nejméně.
Zobrazí heatmapu pro každý kód zvlášť, ve které jsou porovnány dvojice kodérů na základě jejich shody ve znacích ve všech dokumentech. Čím je barva světlejší, tím je shoda vyšší. Tato tabulka umožňuje zjistit, jestli jsou shody dvojic kodérů podobné ve všech kódech nebo jestli se shoda pro různé kódy liší a jak.
Zobrazí heatmapu pro zvolený atribut uživatelů (kodérů), ve které jsou porovnány jednotlivé skupiny kodérů na základě jejich shody ve znacích pro jednotlivé kódy ve všech dokumentech. Čím je barva světlejší, tím je shoda vyšší. Tato tabulka může odhalit kódy, které jsou citlivé na některý z atributů kodérů. Na obrázku například vidíme, že pro code 2 se více shodují muži s ženami než muži mezi sebou, což ukazuje, že gender kodérů v tomto kódu nehraje roli.
Stejná sada ukazatelů existuje pro shodu v segmentech. Jejich intepretace je stejná, jen s tím rozdílem, že shody se nepočítají v identicky kódovaných znacích, ale v překrývajících se segmentech.
Chceme-li shodu v kódování prozkoumat ještě podrobněji, použijeme kartu Text overlap. V nabídce vyberte, který dokument chcete zobrazit, který kód a případně určité kodéry, pokud bychom chtěli informaci třeba o shodě dvou kodérů.
Po kliknutí na tlačítko Browse se nám zobrazí překryvy označených dat kodérů pro daný kód a dokument. Čím světlejší je barva, tím vyšší je shoda mezi kodéry.
Když najedeme myší na zvýrazněný segment, zobrazí se jména kodérů, kteří jej kódovali. To poskytuje dobrý základ pro týmovou diskusi o kódování. Například o tom, jak dlouhé segmenty kódovat nebo jak výrazné případy jevu kódovat.
Tip! Tento modul lze také použít k tomu, aby uživatelé s právy k prohlížení reportu mohli sledovat, jak kódovali jednotliví kodéři, např. ve školním projektu.