Case study szkolenia językowego: jak odróżnić opinię od wyniku?
Jak czytać opisy wdrożeń, frekwencję, samoocenę i testy przed–po, aby wyciągać wnioski przydatne dla HR.
Najpierw ustal, czego dowodzi publikacja
Case study może opowiadać o uruchomieniu programu, doświadczeniu uczestników, zmianie umiejętności albo zastosowaniu języka w pracy. Wszystkie te tematy są użyteczne, ale odpowiadają na różne pytania. Błąd pojawia się wtedy, gdy sukces organizacyjny zostaje przedstawiony jako dowód skuteczności językowej.
Przy pierwszym czytaniu zaznacz: kim jest klient, ile osób objęto programem, jaki był cel i czas realizacji oraz skąd pochodzą dane. Jeżeli któregoś elementu brakuje, zapisz pytanie. Nie uzupełniaj luki własnym domysłem.
Cztery rodzaje wyniku, których nie warto mieszać
| Informacja | Co pomaga ocenić? | Czego sama nie wykazuje? |
|---|---|---|
| Liczba aktywnych osób i frekwencja | Wykorzystanie programu | Przyrostu umiejętności |
| Satysfakcja i samoocena | Doświadczenie uczestnika | Porównywalnej zmiany wyniku testu |
| Pomiar przed–po | Zmianę w badanym zakresie | Wyłącznego wpływu kursu |
| Zadanie zawodowe | Wykonanie konkretnej czynności | Automatycznego wzrostu całego poziomu języka |
Procent bez informacji o podstawie jest niepełny. „Większość uczestników poprawiła umiejętności” może oznaczać odpowiedź w ankiecie, ocenę lektora albo wynik testu. Każda wersja wymaga innej interpretacji.
Sprawdź mianownik i brakujące dane
Zapytaj, ilu pracowników rozpoczęło program, ilu wypełniło ankietę i ilu ma oba pomiary. Wynik osób, które ukończyły cały cykl, może różnić się od wyniku wszystkich zapisanych. Rezygnacje nie unieważniają automatycznie analizy, ale powinny być widoczne.
Przykład obliczeniowy: jeżeli 40 z 50 respondentów deklaruje poprawę, jest to 80% respondentów. Gdy program obejmował 100 osób, nie wolno bez dodatkowych danych napisać, że poprawę deklaruje 80% wszystkich uczestników. Nie wiemy, jak odpowiedziałaby pozostała połowa.
Test zewnętrzny nie rozwiązuje każdego problemu
Zewnętrzne narzędzie może ograniczyć część zależności od dostawcy szkolenia. Nadal trzeba sprawdzić zakres umiejętności, porównywalność wersji i warunki pomiaru. Samo oznaczenie CEFR nie pozwala dowolnie zestawiać dwóch różnych testów. Warto pytać także o termin pomiarów i inne kontakty uczestników z językiem.
Wzrost wyniku po kursie pokazuje zmianę. Bez dodatkowego projektu badania nie izoluje wyłącznej przyczyny. Uczestnik mógł równolegle pracować w nowym zespole, samodzielnie się uczyć albo częściej używać języka. Więcej o tym w poradniku o pomiarze efektów.
Imienna referencja i anonimowe studium
Podpisana wypowiedź ułatwia rozpoznanie autora i jego roli. Powinna jednak dotyczyć porównywalnej usługi. Opinia o indywidualnym kursie egzaminacyjnym nie opisuje automatycznie obsługi kilkuset pracowników. Z kolei anonimowe studium może zawierać szczegółowe dane, lecz ogranicza możliwość potwierdzenia ich u klienta.
Dobrze sformułowana prośba do szkoły brzmi: pokażcie przypadek podobny do naszego celu i wyjaśnijcie, co można, a czego nie można z niego wnioskować. Jeśli kontakt z klientem referencyjnym jest możliwy, powinien odbywać się za jego zgodą.
Jak wykorzystujemy te różnice w rankingu?
W analizie goFLUENT oddzielamy aktywność użytkowników od wyników językowych. Przy Berlitz opisujemy skalę i szybkość uruchomienia programu. W analizie Preply wyjaśniamy rolę ankiet, a przy choices — granice danych o zmianie poziomów u anonimowego klienta. Każdy przypadek ma wskazane źródło dostawcy.
Rubryka rankingu grupuje różne liczbowe opisy w szerokich progach, dlatego nie wystarczy porównać samej oceny. Przeczytaj kryterium dowodów oraz narracyjne wyjaśnienie rodzaju danych. Do decyzji zakupowej wykorzystaj podobieństwo projektu i jakość dokumentacji, nie największy procent w nagłówku.