Ocena učinkovitosti velikih jezikovnih modelov na medicinskem testiranju

magistrsko delo

Dragan Gostimirović (Avtor), Matjaž Gams (Mentor)

Povzetek

Umetna inteligenca je ključno preoblikovala tehnološki napredek, omogočila razvoj novih pristopov za reševanje kompleksnih problemov in izboljšala učinkovitost obstoječih procesov. Med širokim spektrom tehnologij umetne inteligence so veliki jezikovni modeli, kot so GPTji, posebej pomembni zaradi svoje sposobnosti razumevanja in generiranja človeškega jezika. Razvoj od pravilnih pristopov do naprednih algoritmov strojnega učenja kaže na pomembne mejnike v raziskavah umetne inteligence. Modeli, kot sta GPT-3 in GPT-4, so revolucionirali področje z razumevanjem konteksta in generiranjem relevantnega besedila. Predstavitev ChatGPT konec leta 2022 je pomenila prelomni trenutek, ki je omogočil generativnim jezikovnim modelom vodenje smiselnih pogovorov in izvajanje intelektualnih nalog. To je odprlo nove možnosti uporabe umetne inteligence v izobraževanju, programiranju in ustvarjanju vsebine, hkrati pa postavilo nova etična in praktična vprašanja. Magistrsko delo se osredotoča na analizo zmogljivosti GPT modelov – konkretno ChatGPT-3.5, ChatGPT-4, Copilot in Gemini, pri opravljanju medicinskega testa pa USMLE Step 1 2022. S študijo želimo oceniti njihovo sposobnost obdelave in razumevanja medicinskega znanja. Analiza bo izvedena z uporabo statističnega orodja PSPP, ki bo omogočilo učinkovito obdelavo in interpretacijo zbranih podatkov.

Ključne besede

umetna inteligenca;veliki jezikovni modeli;GPT modeli;ChatGPT;Microsoft Copilot;Google Gemini;medicinsko testiranje;USMLE Step 1 2022;umetna inteligenca v medicini;

Podatki

Jezik:	Slovenski jezik
Leto izida:	2024
Tipologija:	2.09 - Magistrsko delo
Organizacija:	VŠUP - Visoka šola za upravljanje in poslovanje Novo mesto
Založnik:	[D. Gostimirović]
UDK:	004.85:61:37.091.275(043.2)
COBISS:	200767491
Št. ogledov:	199
Št. prenosov:	2
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Angleški jezik
Sekundarni naslov:	Evaluating the performance of large language models in medical testing
Sekundarni povzetek:	Artificial Intelligence has fundamentally transformed technological progress, enabled the development of new approaches for solving complex problems, and improved the efficiency of existing processes. Within the broad spectrum of artificial intelligence technologies, large language models, such as GPTs, are particularly important due to their ability to understand and generate human language. The development from rule-based approaches to advanced machine learning algorithms marks significant milestones in artificial intelligence research. Models like GPT-3 and GPT-4 have revolutionized the field with their understanding of context and generation of relevant text. The introduction of ChatGPT at the end of 2022 represented a breakthrough moment, enabling generative language models to conduct meaningful conversations and perform intellectual tasks. This has opened new possibilities for the application of artificial intelligence in education, programming, and content creation, while also raising new ethical and practical questions. The master's thesis focuses on analyzing the performance of GPT models, specifically ChatGPT-3.5, ChatGPT-4, Copilot, and Gemini, in taking the medical USMLE Step 1 test 2022. The study aims to evaluate their ability to process and understand medical knowledge. The analysis will be conducted using the statistical tool PSPP, which will allow for efficient processing and interpretation of the collected data.
Sekundarne ključne besede:	Artificial intelligence;large language models;GPT;ChatGPT;USMLE Step 1 2022.;
Vrsta dela (COBISS):	Magistrsko delo/naloga
Študijski program:	0024995
Konec prepovedi (OpenAIRE):	1970-01-01
Komentar na gradivo:	Univ. v Novem mestu Fak. za ekonomijo in informatiko, magistrski študijski program 2. stopnje Upravljanje poslovnih in informacijskih sistemov, Smer: Upravljanje in razvoj informacijskih sistemov
Strani:	[5] f., 50 str., [142] str. pril.
ID:	24307099