O poprawności językowej tekstów generowanych przez SI na przykładzie ChatuGPT
DOI:
https://doi.org/10.12797/LV.19.2024.37.08Keywords:
artificial intelligence, chatbot, linguistic mistakes, natural language processingAbstract
LANGUAGE ACCURACY OF TEXTS GENERATED BY AI: A CASE STUDY OF CHATGPT
The article aims to assess the linguistic accuracy of texts generated by ChatGPT, based on queries that mirror the instructions found in the 2023 secondary school final exam in Polish language and literature. The analysis focused on identifying and classifying language errors and evaluating their frequency. The results of the analysis revealed a varied level of accuracy in AI-generated texts. Most errors occurred in texts containing more complex constructions, where correct formulation required a comprehensive understanding of grammatical rules. The conclusions drawn from the analysis offer insights into the limitations of AI, which users should be mindful of when editing texts using chatbots.
Downloads
References
Ayers J.W., Poliak A., Dredze M. et al., 2023, Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum, „JAMAInternal Medicine” 183 (6), s. 589–596. DOI: 10.1001/jamainternmed.2023.1838. DOI: https://doi.org/10.1001/jamainternmed.2023.1838
Bender E.M., Gebru T., McMillan-Major A. et al., 2021, On the dangers of stochastic parrots: Can language models be too big?, [w:] FAccT ‘21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, s. 610–623. DOI: 10.1145/3442188.3445922. DOI: https://doi.org/10.1145/3442188.3445922
Bilińska P.P., 2020, Chatboty jako narzędzie dystrybucji treści wykorzystywane przez wydawców medialnych, „Studia Medioznawcze” 21, nr 3 (82), s. 689–707. DOI: 10.33077/uw.24511617.ms.2020.3.186. DOI: https://doi.org/10.33077/uw.24511617.ms.2020.3.186
Borji A., 2023, A Categorical Archive of ChatGPT Failures. DOI: 10.21203/rs.3.rs-2895792/v1.Burkacka I., 2014, Błędy składniowe, [on-line:] http://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_2_Sk%B3ad.pdf.
CKE, 2023, Egzamin maturalny. Język polski. Poziom podstawowy, [on-line:] http://cke.gov.pl/images/_EGZAMIN_MATURALNY_OD_2023/Arkusze_egzaminacyjne/2023/Jezyk_polski/poziom_podstawowy/MPOP-P2-100-2305.pdf.
Czesak A., Szałkiewicz Ł., Żurowski S., 2017, Dobry słownik jako nowy typ słownika języka polskiego, „Prace Filologiczne” 71, s. 75–87.
Dąbrowska A., Pasieka M., 2015, Błąd językowy – co to takiego? Rozważania o błędzie językowym w glottodydaktyce polonistycznej, „Acta Universitatis Lodziensis. Kształcenie Polonistyczne Cudzoziemców” 22, s. 21–47. DOI: 10.18778/0860-6587.22.02. DOI: https://doi.org/10.18778/0860-6587.22.02
Farina M., Lavazza A., 2023, ChatGPT in society: emerging issues, „Frontiers in Artificial Intelligence” 6. DOI: 10.3389/frai.2023.1130913. DOI: https://doi.org/10.3389/frai.2023.1130913
Gilson A., Safranek C.W., Huang Th. et al., 2023, How does ChatGPT perform on the United States medical licensing examination? The implications of large language models for medical education and knowledge assessment, „JMIR Medical Education” 9, nr art.e45312. DOI: 10.2196/45312. DOI: https://doi.org/10.2196/45312
Haque M.A., 2023, A brief analysis of „ChatGPT” – A revolutionary tool designed by OpenAI, „EAI Endorsed Transactions on AI and Robotics” 1, nr art. e15. DOI: 10.4108/airo.v1i1.2983. DOI: https://doi.org/10.4108/airo.v1i1.2983
Hącia A., 2023, ChatGPT, [on-line:] https://poradniajezykowa.uw.edu.pl/porady/chatgpt.
Jadacka H., 2006, Kultura języka polskiego. Fleksja, słowotwórstwo, składnia, Warszawa.
Koubaa A., Boulila W., Ghouti L. et al., 2023, Exploring ChatGPT capabilities and limitations: A critical review of the NLP Game Changer, Preprints.org, nr art. 2023030438. DOI: 10.20944/preprints202303.0438.v1. DOI: https://doi.org/10.20944/preprints202303.0438.v1
Lai V.D., Ngo N.T., Veyseh A.P.B. et al., 2023, ChatGPT beyond English: Towards a comprehensive evaluation of large language models in multilingual learning, arXiv. DOI:10.48550/arXiv.2304.05613. DOI: https://doi.org/10.18653/v1/2023.findings-emnlp.878
Machura M., 2023, ChatGPT. Dopisek, [on-line:] https://sjp.pwn.pl/poradnia/haslo/ChatGPT;22600.html.
Markowski A., 2006, Kultura języka polskiego. Teoria. Zagadnienia leksykalne, Warszawa.
Markowski A., 2014, Błędy leksykalne, frazeologiczne i słowotwórcze, [on-line:] http://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_1_LeksFrazSlow.pdf.
Mohamadi S., Mujtaba G., Le N. et al., 2023, ChatGPT in the age of generative AI and large language models: A concise survey, arXiv. DOI: 10.48550/arXiv.2307.04251.
Newton Ph.M., Xiromeriti M., 2023, ChatGPT performance on MCQ exams in higher education: A pragmatic scoping review, EdArXiv. DOI: 10.35542/osf.io/sytu3. DOI: https://doi.org/10.35542/osf.io/sytu3
Ozga K., 2020, Komunikat językowy w pułapce obrazu, [w:] G. Habrajska (red.), Teorie i praktyki komunikacji, Łódź, s. 343–361.
Pędzich B., 2014a, Błędy stylistyczne, [on-line:] http://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_4_Styl.pdf.
Pędzich B., 2014b, Błędy fleksyjne, [on-line:] http://www.oke.krakow.pl/inf/filedata/filesRa%BF%B1ce_b%B3%EAdy_j%EAzykowe_3_Fleks.pdf.
Pęzik P., 2020, Budowa i zastosowania korpusu monitorującego MoncoPL, „Forum Lingwistyczne” 7, s. 133–150. DOI: 10.31261/fl.2020.07.11. DOI: https://doi.org/10.31261/FL.2020.07.11
Szumska D., 2023, Ocalić od zapomnienia: wnikliwość jako kategoria (nie tylko) estetyczna, „Przegląd Rusycystyczny” 3 (183), s. 31–44.
Wolański A., 2023, ChatGPT, [on-line:] https://sjp.pwn.pl/poradnia/haslo/ChatGPT;22600.html.
Zaitsu W., Jin M., 2023, Distinguishing ChatGPT(-3.5, -4)-generated and human-writtenpapers through Japanese stylometric analysis, „PLoS ONE” 18 (8). DOI: 10.1371/journal.pone.0288453. DOI: https://doi.org/10.1371/journal.pone.0288453
Downloads
Published
Issue
Section
License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
