O poprawności językowej tekstów generowanych przez SI na przykładzie ChatuGPT

Autor

DOI:

https://doi.org/10.12797/LV.19.2024.37.08

Słowa kluczowe:

błędy językowe, chatbot, przetwarzanie języka naturalnego, sztuczna inteligencja

Abstrakt

LANGUAGE ACCURACY OF TEXTS GENERATED BY AI: A CASE STUDY OF CHATGPT

The article aims to assess the linguistic accuracy of texts generated by ChatGPT, based on queries that mirror the instructions found in the 2023 secondary school final exam in Polish language and literature. The analysis focused on identifying and classifying language errors and evaluating their frequency. The results of the analysis revealed a varied level of accuracy in AI-generated texts. Most errors occurred in texts containing more complex constructions, where correct formulation required a comprehensive understanding of grammatical rules. The conclusions drawn from the analysis offer insights into the limitations of AI, which users should be mindful of when editing texts using chatbots.

Pobrania

Brak dostęþnych danych do wyświetlenia.

Bibliografia

Ayers J.W., Poliak A., Dredze M. et al., 2023, Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum, „JAMAInternal Medicine” 183 (6), s. 589–596. DOI: 10.1001/jamainternmed.2023.1838. DOI: https://doi.org/10.1001/jamainternmed.2023.1838

Bender E.M., Gebru T., McMillan-Major A. et al., 2021, On the dangers of stochastic parrots: Can language models be too big?, [w:] FAccT ‘21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, s. 610–623. DOI: 10.1145/3442188.3445922. DOI: https://doi.org/10.1145/3442188.3445922

Bilińska P.P., 2020, Chatboty jako narzędzie dystrybucji treści wykorzystywane przez wydawców medialnych, „Studia Medioznawcze” 21, nr 3 (82), s. 689–707. DOI: 10.33077/uw.24511617.ms.2020.3.186. DOI: https://doi.org/10.33077/uw.24511617.ms.2020.3.186

Borji A., 2023, A Categorical Archive of ChatGPT Failures. DOI: 10.21203/rs.3.rs-2895792/v1.Burkacka I., 2014, Błędy składniowe, [on-line:] http://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_2_Sk%B3ad.pdf.

CKE, 2023, Egzamin maturalny. Język polski. Poziom podstawowy, [on-line:] http://cke.gov.pl/images/_EGZAMIN_MATURALNY_OD_2023/Arkusze_egzaminacyjne/2023/Jezyk_polski/poziom_podstawowy/MPOP-P2-100-2305.pdf.

Czesak A., Szałkiewicz Ł., Żurowski S., 2017, Dobry słownik jako nowy typ słownika języka polskiego, „Prace Filologiczne” 71, s. 75–87.

Dąbrowska A., Pasieka M., 2015, Błąd językowy – co to takiego? Rozważania o błędzie językowym w glottodydaktyce polonistycznej, „Acta Universitatis Lodziensis. Kształcenie Polonistyczne Cudzoziemców” 22, s. 21–47. DOI: 10.18778/0860-6587.22.02. DOI: https://doi.org/10.18778/0860-6587.22.02

Farina M., Lavazza A., 2023, ChatGPT in society: emerging issues, „Frontiers in Artificial Intelligence” 6. DOI: 10.3389/frai.2023.1130913. DOI: https://doi.org/10.3389/frai.2023.1130913

Gilson A., Safranek C.W., Huang Th. et al., 2023, How does ChatGPT perform on the United States medical licensing examination? The implications of large language models for medical education and knowledge assessment, „JMIR Medical Education” 9, nr art.e45312. DOI: 10.2196/45312. DOI: https://doi.org/10.2196/45312

Haque M.A., 2023, A brief analysis of „ChatGPT” – A revolutionary tool designed by OpenAI, „EAI Endorsed Transactions on AI and Robotics” 1, nr art. e15. DOI: 10.4108/airo.v1i1.2983. DOI: https://doi.org/10.4108/airo.v1i1.2983

Hącia A., 2023, ChatGPT, [on-line:] https://poradniajezykowa.uw.edu.pl/porady/chatgpt.

Jadacka H., 2006, Kultura języka polskiego. Fleksja, słowotwórstwo, składnia, Warszawa.

Koubaa A., Boulila W., Ghouti L. et al., 2023, Exploring ChatGPT capabilities and limitations: A critical review of the NLP Game Changer, Preprints.org, nr art. 2023030438. DOI: 10.20944/preprints202303.0438.v1. DOI: https://doi.org/10.20944/preprints202303.0438.v1

Lai V.D., Ngo N.T., Veyseh A.P.B. et al., 2023, ChatGPT beyond English: Towards a comprehensive evaluation of large language models in multilingual learning, arXiv. DOI:10.48550/arXiv.2304.05613. DOI: https://doi.org/10.18653/v1/2023.findings-emnlp.878

Machura M., 2023, ChatGPT. Dopisek, [on-line:] https://sjp.pwn.pl/poradnia/haslo/ChatGPT;22600.html.

Markowski A., 2006, Kultura języka polskiego. Teoria. Zagadnienia leksykalne, Warszawa.

Markowski A., 2014, Błędy leksykalne, frazeologiczne i słowotwórcze, [on-line:] http://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_1_LeksFrazSlow.pdf.

Mohamadi S., Mujtaba G., Le N. et al., 2023, ChatGPT in the age of generative AI and large language models: A concise survey, arXiv. DOI: 10.48550/arXiv.2307.04251.

Newton Ph.M., Xiromeriti M., 2023, ChatGPT performance on MCQ exams in higher education: A pragmatic scoping review, EdArXiv. DOI: 10.35542/osf.io/sytu3. DOI: https://doi.org/10.35542/osf.io/sytu3

Ozga K., 2020, Komunikat językowy w pułapce obrazu, [w:] G. Habrajska (red.), Teorie i praktyki komunikacji, Łódź, s. 343–361.

Pędzich B., 2014a, Błędy stylistyczne, [on-line:] http://www.oke.krakow.pl/inf/filedata/files/Ra%BF%B1ce_b%B3%EAdy_j%EAzykowe_4_Styl.pdf.

Pędzich B., 2014b, Błędy fleksyjne, [on-line:] http://www.oke.krakow.pl/inf/filedata/filesRa%BF%B1ce_b%B3%EAdy_j%EAzykowe_3_Fleks.pdf.

Pęzik P., 2020, Budowa i zastosowania korpusu monitorującego MoncoPL, „Forum Lingwistyczne” 7, s. 133–150. DOI: 10.31261/fl.2020.07.11. DOI: https://doi.org/10.31261/FL.2020.07.11

Szumska D., 2023, Ocalić od zapomnienia: wnikliwość jako kategoria (nie tylko) estetyczna, „Przegląd Rusycystyczny” 3 (183), s. 31–44.

Wolański A., 2023, ChatGPT, [on-line:] https://sjp.pwn.pl/poradnia/haslo/ChatGPT;22600.html.

Zaitsu W., Jin M., 2023, Distinguishing ChatGPT(-3.5, -4)-generated and human-writtenpapers through Japanese stylometric analysis, „PLoS ONE” 18 (8). DOI: 10.1371/journal.pone.0288453. DOI: https://doi.org/10.1371/journal.pone.0288453

Pobrania

Opublikowane

2024-05-06

Jak cytować

Mazur, R. (2024) „O poprawności językowej tekstów generowanych przez SI na przykładzie ChatuGPT”, LingVaria, 19(1(37), s. 119–138. doi: 10.12797/LV.19.2024.37.08.

Numer

Dział

Polszczyzna współczesna