O poprawności językowej tekstów generowanych przez SI na przykładzie ChatuGPT
DOI:
https://doi.org/10.12797/LV.19.2024.37.08Keywords:
artificial intelligence, chatbot, linguistic mistakes, natural language processingAbstract
LANGUAGE ACCURACY OF TEXTS GENERATED BY AI: A CASE STUDY OF CHATGPT
The article aims to assess the linguistic accuracy of texts generated by ChatGPT, based on queries that mirror the instructions found in the 2023 secondary school final exam in Polish language and literature. The analysis focused on identifying and classifying language errors and evaluating their frequency. The results of the analysis revealed a varied level of accuracy in AI-generated texts. Most errors occurred in texts containing more complex constructions, where correct formulation required a comprehensive understanding of grammatical rules. The conclusions drawn from the analysis offer insights into the limitations of AI, which users should be mindful of when editing texts using chatbots.
Downloads
References
Ayers J.W., Poliak A., Dredze M. et al., 2023, Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum, „JAMAInternal Medicine” 183 (6), s. 589–596. DOI: 10.1001/jamainternmed.2023.1838. DOI: https://doi.org/10.1001/jamainternmed.2023.1838
View in Google Scholar
Bender E.M., Gebru T., McMillan-Major A. et al., 2021, On the dangers of stochastic parrots: Can language models be too big?, [w:] FAccT ‘21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, s. 610–623. DOI: 10.1145/3442188.3445922. DOI: https://doi.org/10.1145/3442188.3445922
View in Google Scholar
Bilińska P.P., 2020, Chatboty jako narzędzie dystrybucji treści wykorzystywane przez wydawców medialnych, „Studia Medioznawcze” 21, nr 3 (82), s. 689–707. DOI: 10.33077/uw.24511617.ms.2020.3.186. DOI: https://doi.org/10.33077/uw.24511617.ms.2020.3.186
View in Google Scholar
Borji A., 2023, A Categorical Archive of ChatGPT Failures. DOI: 10.21203/rs.3.rs-2895792/v1.Burkacka I., 2014, Błędy składniowe, [on-line:] http://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_2_Sk%B3ad.pdf.
View in Google Scholar
CKE, 2023, Egzamin maturalny. Język polski. Poziom podstawowy, [on-line:] http://cke.gov.pl/images/_EGZAMIN_MATURALNY_OD_2023/Arkusze_egzaminacyjne/2023/Jezyk_polski/poziom_podstawowy/MPOP-P2-100-2305.pdf.
View in Google Scholar
Czesak A., Szałkiewicz Ł., Żurowski S., 2017, Dobry słownik jako nowy typ słownika języka polskiego, „Prace Filologiczne” 71, s. 75–87.
View in Google Scholar
Dąbrowska A., Pasieka M., 2015, Błąd językowy – co to takiego? Rozważania o błędzie językowym w glottodydaktyce polonistycznej, „Acta Universitatis Lodziensis. Kształcenie Polonistyczne Cudzoziemców” 22, s. 21–47. DOI: 10.18778/0860-6587.22.02. DOI: https://doi.org/10.18778/0860-6587.22.02
View in Google Scholar
Farina M., Lavazza A., 2023, ChatGPT in society: emerging issues, „Frontiers in Artificial Intelligence” 6. DOI: 10.3389/frai.2023.1130913. DOI: https://doi.org/10.3389/frai.2023.1130913
View in Google Scholar
Gilson A., Safranek C.W., Huang Th. et al., 2023, How does ChatGPT perform on the United States medical licensing examination? The implications of large language models for medical education and knowledge assessment, „JMIR Medical Education” 9, nr art.e45312. DOI: 10.2196/45312. DOI: https://doi.org/10.2196/45312
View in Google Scholar
Haque M.A., 2023, A brief analysis of „ChatGPT” – A revolutionary tool designed by OpenAI, „EAI Endorsed Transactions on AI and Robotics” 1, nr art. e15. DOI: 10.4108/airo.v1i1.2983. DOI: https://doi.org/10.4108/airo.v1i1.2983
View in Google Scholar
Hącia A., 2023, ChatGPT, [on-line:] https://poradniajezykowa.uw.edu.pl/porady/chatgpt.
View in Google Scholar
Jadacka H., 2006, Kultura języka polskiego. Fleksja, słowotwórstwo, składnia, Warszawa.
View in Google Scholar
Koubaa A., Boulila W., Ghouti L. et al., 2023, Exploring ChatGPT capabilities and limitations: A critical review of the NLP Game Changer, Preprints.org, nr art. 2023030438. DOI: 10.20944/preprints202303.0438.v1. DOI: https://doi.org/10.20944/preprints202303.0438.v1
View in Google Scholar
Lai V.D., Ngo N.T., Veyseh A.P.B. et al., 2023, ChatGPT beyond English: Towards a comprehensive evaluation of large language models in multilingual learning, arXiv. DOI:10.48550/arXiv.2304.05613. DOI: https://doi.org/10.18653/v1/2023.findings-emnlp.878
View in Google Scholar
Machura M., 2023, ChatGPT. Dopisek, [on-line:] https://sjp.pwn.pl/poradnia/haslo/ChatGPT;22600.html.
View in Google Scholar
Markowski A., 2006, Kultura języka polskiego. Teoria. Zagadnienia leksykalne, Warszawa.
View in Google Scholar
Markowski A., 2014, Błędy leksykalne, frazeologiczne i słowotwórcze, [on-line:] http://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_1_LeksFrazSlow.pdf.
View in Google Scholar
Mohamadi S., Mujtaba G., Le N. et al., 2023, ChatGPT in the age of generative AI and large language models: A concise survey, arXiv. DOI: 10.48550/arXiv.2307.04251.
View in Google Scholar
Newton Ph.M., Xiromeriti M., 2023, ChatGPT performance on MCQ exams in higher education: A pragmatic scoping review, EdArXiv. DOI: 10.35542/osf.io/sytu3. DOI: https://doi.org/10.35542/osf.io/sytu3
View in Google Scholar
Ozga K., 2020, Komunikat językowy w pułapce obrazu, [w:] G. Habrajska (red.), Teorie i praktyki komunikacji, Łódź, s. 343–361.
View in Google Scholar
Pędzich B., 2014a, Błędy stylistyczne, [on-line:] http://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_4_Styl.pdf.
View in Google Scholar
Pędzich B., 2014b, Błędy fleksyjne, [on-line:] http://www.oke.krakow.pl/inf/filedata/filesRa%BF%B1ce_b%B3%EAdy_j%EAzykowe_3_Fleks.pdf.
View in Google Scholar
Pęzik P., 2020, Budowa i zastosowania korpusu monitorującego MoncoPL, „Forum Lingwistyczne” 7, s. 133–150. DOI: 10.31261/fl.2020.07.11. DOI: https://doi.org/10.31261/FL.2020.07.11
View in Google Scholar
Szumska D., 2023, Ocalić od zapomnienia: wnikliwość jako kategoria (nie tylko) estetyczna, „Przegląd Rusycystyczny” 3 (183), s. 31–44.
View in Google Scholar
Wolański A., 2023, ChatGPT, [on-line:] https://sjp.pwn.pl/poradnia/haslo/ChatGPT;22600.html.
View in Google Scholar
Zaitsu W., Jin M., 2023, Distinguishing ChatGPT(-3.5, -4)-generated and human-writtenpapers through Japanese stylometric analysis, „PLoS ONE” 18 (8). DOI: 10.1371/journal.pone.0288453. DOI: https://doi.org/10.1371/journal.pone.0288453
View in Google Scholar
Downloads
Published
Issue
Section
License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
