Linguistic Evaluation of Large Language Models: Insights and Error Typologies from Polish Matura Exam Responses

Bartłomiej Alberski; Ewa Rudnicka; Arkadiusz Janz; Alicja Derych

doi:10.12797/LV.21.2026.42.04

Authors

Bartłomiej Alberski Wrocław University of Science and Technology https://orcid.org/0000-0002-9099-6627
Ewa Rudnicka Wrocław University of Science and Technology
Arkadiusz Janz Wrocław University of Science and Technology https://orcid.org/0000-0002-9203-5520
Alicja Derych University of Wrocław https://orcid.org/0000-0002-8819-2080

DOI:

https://doi.org/10.12797/LV.21.2026.42.04

Keywords:

LLM correctness, LLM evaluation, Polish Matura exam, typology of errors, human evaluation

Abstract

LINGUISTIC EVALUATION OF LARGE LANGUAGE MODELS: INSIGHTS AND ERROR TYPOLOGIES FROM POLISH MATURA EXAM RESPONSES

The article presents a manual analysis of texts generated by four large language models (LLMs): Bielik 2.3, GPT-4, LLaMA 3.1, and PLLuM 8x7B. The texts are in Polish and the text topic is based on the Polish Matura exam. This research extends previous work by Rafał Mazur (2024), who tested only one LLM (Chat GPT 3.0) and had not formulated his own typology of errors. In the article, a typology of language errors formulated for the purposes of this study is used, based on existing solutions (Buttler 1971; Markowski 2007, 2014; Burkacka 2014; Pędzich 2014a, 2014b), as well as quantitative and qualitative criteria concerning the model’s references to readings and cultural contexts. The study found that although GPT-4 made the fewest linguistic errors and did not hallucinate, it referred to the fewest number of texts, including no Polish readings or Polish cultural contexts. The PLLuM 8x7B, on the other hand, referred to the largest number of Polish readings of all models tested.

Downloads

Download data is not yet available.

References

Bańko M., 2001, Z pogranicza leksykografii i językoznawstwa. Studia o słowniku jednojęzycznym, Warszawa.
View in Google Scholar

Bogusławski A., 1976, O zasadach rejestracji jednostek języka, „Poradnik Językowy” 8, pp. 356–364.
View in Google Scholar

Burkacka I., 2014, Błędy składniowe, Centralna Komisja Egzaminacyjna, [on-line:] https://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_2_
View in Google Scholar

Sk%B3ad.pdf (access: 2 X 2025).
View in Google Scholar

Buttler D., Kurkowska H., Satkiewicz H., 1971, Kultura języka polskiego. Zagadnienia poprawności gramatycznej, Warszawa.
View in Google Scholar

Fan L., Li L., Ma Z., Lee S., Yu H., Hemphill L., 2024, A Bibliometric Review of Large Language Models Research from 2017 to 2023, „ACM Transactions on Intelligent Systems and Technology” vol. 15, iss. 5, pp. 1–25, https://doi.org/10.1145/3664930. DOI: https://doi.org/10.1145/3664930
View in Google Scholar

Grochowski M., 1981, O wyróżnianiu jednostek opisu semantyki leksykalnej, „Sborník Prací Filosofické Fakulty Brněnské University” vol. 30, iss. A29, pp. 31–37.
View in Google Scholar

Gryka P., Gradoń K., Kozłowski M., Kutyła M., Janicki A., 2024a, Detection of AI-Generated Emails – A Case Study, [in:] Proceedings of the 19th International Conference on
View in Google Scholar

Availability, Reliability and Security, pp. 1–8, https://doi.org/10.1145/3664476.3670465. DOI: https://doi.org/10.1145/3664476.3670465
View in Google Scholar

Gryka P., Gradoń K., Kozłowski M., Kutyła M., Janicki A., 2024b, Impact of Spelling and Editing Correctness on Detection of LLM-Generated Emails, [in:] Proceeding of the 19th Conference on Computer Science and Intelligence Systems (FedCSIS), vol. 39, pp. 603–608, https://doi.org/10.15439/2024F8906. DOI: https://doi.org/10.15439/2024F8906
View in Google Scholar

Karlińska A., Kocoń J., Piasecki M., Pęzik P., Kozłowski M., Ogrodniczuk M., Roszko R., 2025, Zakończenie projektu PLLuM, [on-line:] https://pllum.org.pl/blog/posts/zakonczenie-projektu-pllum (access: 10 III 2026).
View in Google Scholar

Kocoń J., Cichecki I., Kaszyca O., Kochanek M., Szydło D., Baran J., Bielaniewicz J., Gruza M., Janz A., Kanclerz K., Kocoń A., Koptyra B., Mieleszczenko-Kowszewicz W., Miłkowski P., Oleksy M., Piasecki M., Radliński Ł., Wojtasik K., Woźniak S., Kazienko P., 2023, ChatGPT: Jack of All Trades, Master of None, „Information Fusion” vol. 99, art. 101861, https://doi.org/10.1016/j.inffus.2023.101861. DOI: https://doi.org/10.1016/j.inffus.2023.101861
View in Google Scholar

Kocoń J., Piasecki M., Janz A., Ferdinan T., Radliński Ł., Koptyra B., Oleksy M., Woźniak S., Walkowiak P., Wojtasik K., Moska J., Naskręt T., Walkowiak B., Gniewkowski M., Szyc K., Motyka D., Banach D., Dalasiński J., Rudnicka E., Alberski B., Walkowiak T., Szczęsny A., Markiewicz M., Bernaś T., Mazur H., Żyta K., Tykierko M., Chodak G., Kajdanowicz T., Kazienko P., Karlińska A., Seweryn K., Kołos A., Chrabąszcz M., Lorenc K., Krasnodębska A., Wilczek A., Dziewulska K., Betscher P., Cieślińska Z., Kowol K., Mikoś D., Trzciński M., Krutul D., Kozłowski M., Dadas S., Poświata R., Perełkiewicz M., Grębowiec M., Kazuła M., Białas M., Roszko R., Roszko D., Vaičenonienė J., Utka A., Levchuk P., Kowalski P., Prawdzic-Jankowska I., Ogrodniczuk M., Borys M., Bulińska A., Gumienna W., Kieraś W., Komosińska D., Krasnowska-Kieraś K., Kobyliński Ł., Lewandowska M., Łaziński M., Łątkowski M., Mastalerz D., Milewicz B., Mykowiecka
View in Google Scholar

A.A., Peljak-Łapińska A., Penno S., Przybysz Z., Rudolf M., Rybak P., Saputa K., Tomaszewska A., Wawer A., Woliński M., Wołoszyn J., Wróblewska A., Żuk B., Żarnecki F., Kaczyński K., Cichosz A., Deckert Z., Garnys M., Grabarczyk I., Janowski W., Karasińska S., Kujawiak A., Misztela P., Szymańska M., Walkusz K., Siek I., Kwiatkowski J., Pęzik P., 2025, PLLuM: A Family of Polish Large Language Models, arXiv preprint arXiv:2511.03823, https://doi.org/10.48550/arXiv.2511.03823.
View in Google Scholar

Korniienko O., 2024, Enhancing Grammatical Correctness: The Efficacy of Large Language Models in Error Correction Task, Lviv, (master thesis), [on-line:] https://er.ucu.edu.ua/server/api/core/bitstreams/e7fab636-8f8e-4342-a892-4b510773fce4/content (access: 2 X 2025).
View in Google Scholar

Kozłowski M., Karlińska A., Tomaszewska A., Oleksy M., 2024, Polski duży model językowy, „IT w Administracji”, iss. 7–8 (200–201), pp. 60–63 [on-line:] https://itwadministracji.pl/wydanie/lipiec-sierpien-2024/ (access: 12 I 2025).
View in Google Scholar

Liao J., Chen X., Du L., 2023, Concept Understanding in Large Language Models: An Empirical Study, The Eleventh International Conference on Learning Representations, ICLR 2023, Kigali, Rwanda, May 1–5, 2023, [on-line:] https://openreview.net/pdf?id=losgEaOWIL7 (access: 10 III 2026).
View in Google Scholar

Lin S., 2024, Evaluating LLM s’ Grammatical Error Correction Performance in Learner Chinese, „PloS ONE” 19, (10):e0312881, [on-line:] https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0312881 (access: 2 X 2025), https://doi.org/10.1371/journal.pone.0312881. DOI: https://doi.org/10.1371/journal.pone.0312881
View in Google Scholar

Markowski A., 2007, Kultura języka polskiego. Teoria, zagadnienia leksykalne, Warszawa.
View in Google Scholar

Markowski A., 2014, Błędy leksykalne, frazeologiczne i słowotwórcze, [materiały pomocnicze], Centralna Komisja Egzaminacyjna, [on-line:] https://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_1_LeksFrazSlow.pdf (access: 2 X 2025).
View in Google Scholar

Mazur R., 2024, O poprawności językowej tekstów generowanych przez SI na przykładzie ChatuGPT, „LingVaria” XIX, nr 1 (37), pp. 119–138, https://doi.org/10.12797/LV.19.2024.37.08. DOI: https://doi.org/10.12797/LV.19.2024.37.08
View in Google Scholar

Pędzich B., 2014a, Błędy fleksyjne, [materiały pomocnicze], Centralna Komisja Egzaminacyjna, [on-line:] https://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_3_Fleks.pdf (access: 2 X 2025).
View in Google Scholar

Pędzich B., 2014b, Błędy stylistyczne, [materiały pomocnicze], Centralna Komisja Egzaminacyjna, [on-line:] https://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_4_Styl.pdf (access: 2 X 2025).
View in Google Scholar

Qiu Z., Duan X., Cai Z., 2024, Evaluating Grammatical Well-Formedness in Large Language Models: A Comparative Study with Human Judgments, [in:] Proceedings of the Workshop on Cognitive Modeling and Computational Linguistics, pp. 189–198, [on-line:] https://aclanthology.org/2024.cmcl-1.16.pdf (access: 2 X 2025), https://doi.org/10.18653/v1/2024.cmcl-1.16. DOI: https://doi.org/10.18653/v1/2024.cmcl-1.16
View in Google Scholar

Tang R., Chuang Y.-N., Hu X., 2024, The Science of Detecting LLM-Generated Text, „Communications of the ACM” nr 67 (4), pp. 50–59, [on-line:] https://dl.acm.org/doi/pdf/10.1145/3624725 (access: 2 X 2025), https://doi.org/10.1145/3624725. DOI: https://doi.org/10.1145/3624725
View in Google Scholar

Weissweiler L., Hofmann V., Kantharuban A., Cai A., Dutt R., Hengle A., Kabra A., Kulkarni A., Vijayakumar A., Yu H., Schütze H., Oflazer K., Mortensen D., 2023, Counting the Bugs in ChatGPT’s Wugs: A Multilingual Investigation into the Morphological Capabilities of a Large Language Model, arXiv preprint arXiv:2310.15113, [on-line:] https://arxiv.org/pdf/2310.15113 (access: 2 X 2025), https://doi.org/10.18653/v1/2023.emnlp-main.401. DOI: https://doi.org/10.18653/v1/2023.emnlp-main.401
View in Google Scholar

Wu J., Yang S., Zhan R., Yuan Y., Chao L., Wong D., 2025, A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions, „Computational Linguistics” 51 (1), pp. 275–338, https://doi.org/10.1162/coli_a_00549. DOI: https://doi.org/10.1162/coli_a_00549
View in Google Scholar

Web sources
View in Google Scholar

https://cke.gov.pl/images/_EGZAMIN_MATURALNY_OD_2023/Arkusze_egzaminacyjne/2023/Jezyk_polski/poziom_podstawowy/MPOP-P2-100-2305.pdf (access: 24 II 2025).
View in Google Scholar

https://isap.sejm.gov.pl/isap.nsf/DocDetails.xsp?id=WDU20160000405 (access: 24 II 2025).
View in Google Scholar