Jak mierzyć efekty szkoleń językowych?

Rozdziel aktywność, umiejętności i zastosowanie

Frekwencja mówi, czy uczestnik korzystał z programu. Test językowy opisuje wybrane umiejętności. Zadanie zawodowe pokazuje, jak radzi sobie w konkretnej sytuacji. Żaden z tych wskaźników nie zastępuje pozostałych.

CEFR jest ramą opisu, nie nazwą testu

Rada Europy opisuje sześć poziomów A1–C2 za pomocą deskryptorów umiejętności. Ramę można uszczegóławiać do celu i kontekstu. Sam zapis „test CEFR” nie wyjaśnia, kto zbudował narzędzie, jak je sprawdzono ani które sprawności obejmuje. Źródło: Rada Europy — opisy poziomów.

Cambridge English wskazuje około 200 godzin nauki pod kierunkiem jako orientacyjny czas przejścia między poziomami, zależny m.in. od wcześniejszej nauki, intensywności i kontaktu z językiem. To przybliżenie, nie obietnica wyniku każdego kursu. Źródło: Cambridge English — guided learning hours.

Nie każda poprawa musi oznaczać zmianę pełnego poziomu. Drobniejsza skala może pomóc opisać zmianę; przykładem jest GSE 10–90. Sama większa liczba punktów skali nie dowodzi jednak lepszej trafności testu. Źródło: Pearson — Global Scale of English.

Przykładowy plan pomiaru

Poniższy schemat jest propozycją organizacji, a nie obietnicą określonego przyrostu.

Przed kursem: diagnoza potrzeb, pomiar startowy i zadanie zawodowe ocenione według zapisanych kryteriów.
W trakcie: frekwencja, realizacja zadań i krótka informacja zwrotna. Sprawdzenie, czy zmieniły się obowiązki uczestnika.
Po ustalonym etapie: porównywalny test oraz zadanie o podobnej trudności. Raport zmian i ograniczeń pomiaru.
Po wdrożeniu umiejętności: rozmowa o zastosowaniu w pracy, z przykładami i oddzieleniem samooceny od obserwacji.

Porównuj wyniki, które dają się porównać

Zapytaj o równoważność wersji testu, warunki przeprowadzenia, zakres umiejętności i niepewność wyniku. Zewnętrzny test zmniejsza część zależności od dostawcy szkolenia, ale nie rozwiązuje wszystkich problemów. Dwa produkty z oznaczeniem CEFR nie muszą być bezpośrednio wymienne.

W raporcie pokaż także liczbę osób z pomiarem początkowym i końcowym, rezygnacje oraz brakujące wyniki. Poprawa średniej w grupie, z której odeszła część osób, wymaga ostrożnej interpretacji.

Nie utożsamiaj zmiany z przyczyną

Uczestnik może korzystać z języka także poza kursem. Wynik przed i po szkoleniu pokazuje zmianę, ale sam nie izoluje wpływu dostawcy. Podobnie wzrost sprzedaży nie staje się automatycznie zwrotem z inwestycji w kurs.

Zobacz, jak nasza rubryka ocenia publiczny opis pomiaru i gdzie kończą się wnioski, które wolno z niej wyprowadzić.