거대언어모델 기반 인공지능의 일반물리학 학습 도구로서의 가능성 탐색: 문제 풀이 능력을 중심으로 (Investigating the potential of large language model-based AI as a learning tool in Introductory physics: A focus on problem-solving capabilities)

서지정보

· 발행기관 : 한국컴퓨터교육학회
· 수록지 정보 : 컴퓨터교육학회 논문지 / 27권 / 4호 / 147 ~ 158페이지
· 저자명 : 강동열

초록

최신 거대언어모델 기반 인공지능(LLM-AI)인 GPT-4o, ChatGPT4, Gemini Advanced, 그리고 Claude-3 Opus를 대상으로, 실제 대학의 일반물리학 교과목 정규 시험에서 발췌한 45개 문제에 대한 풀이 능력을 측정하였다. LLM-AI를 학습 도구로 사용하는 학습자 관점에서, 단순 문제 입력 방식과 문제에 추가 정보를 포함한 방식으로 각 문제를 3번씩 시도하였다. 그 결과, 모든 LLM-AI 모델들은 학생들의 평균 정답률인 50%를 웃도는 80% 이상의 정답률을 기록하였으며 특히, GPT-4o는 90%를 넘는 성능을 보였다. 또한, LLM-AI의 정답률이 낮은 문제들과 이에 대한 LLM-AI의 오답 유형을 분석하여 LLM-AI의 확률적 추론 방식의 특성과 한계를 논의하였다. 본 연구 결과는 LLM-AI 가 대학 일반물리학 교육에서 지능형 맞춤 학습 도구 등으로 활용될 가능성을 시사한다.

영어초록

This study evaluated the problem-solving capabilities of latest Large Language Model based Artificial Intelligence (LLM-AI) models, GPT-4o, GPT-4, Gemini Advanced, and Claude-3 Opus, on 45 problems extracted from actual university-level introductory physics course exams. From the perspective of a learner using LLM-AI as a learning tool, we attempted to solve each problem three times using two input methods: simple problem input and problem input with additional information. All LLM-AI models achieved accuracy rates exceeding 80% with the performance of GPT-4o more than 90%, which surpass the average student accuracy rate of approximately 50%. We also analyzed the problems with low accuracy rates of LLM-AI and their incorrect responses to discuss the characteristics and limitations of probabilistic inference reasoning of LLM-AI. The findings of this study suggest that the currently available LLM-AIs can be utilized as intelligent personalized learning tools in university-level introductory physics education.

참고자료

· 없음