챗지피티가 구글만큼 번역도 잘할 수 있을까? - 프랑스어 → 한국어 번역에서 성능평가 및 특성 분석 (ChatGPT peut-il traduire aussi bien que Google ? – Évaluation de ses performances et analyse de ses caractéristiques en traduction du français vers le coréen)

서지정보

· 발행기관 : 한국불어불문학회
· 수록지 정보 : 불어불문학연구 / 136호 / 427 ~ 462페이지
· 저자명 : 윤애선, 손승희

초록

최근 공개된 ChatGPT가 전문가뿐 아니라 일반 대중의 큰 관심을 끌고 있다. 다양한 분야에서 ChatGPT의 사용에 대해 기대와 우려의 시각이 공존한다. 교육 분야에서 첨단 기술을 무조건 배제하기보다, 본 연구진은 장점을 충분히 활용하고 단점을 보완하여 학습의 효율성을 높이는 것을 지향한다.
이를 위해서는 우선 그 특성과 성능을 파악하는 것이 중요하다. 이에, 본 연구에서는 ChatGPT-3.5의 프랑스어->한국어 기계번역 성능을 알아보기 위해, 구글신경망 기계번역 시스템(GNMT)과의 비교를 시도했다. 객관적인 비교를 위해, 선행연구에서 GNMT의 성능평가에 적용했던 동일한 방법론과 기준 및 평가말뭉치를 사용했다. ChatGPT의 주요 목적은 번역이 아니지만, 3.5 버전은 GNMT에 거의 근접하는 성능을 보였다. 몇 가지 오류 유형이 GNMT보다 ChatGPT-3.5에서 많이 발견되었는데, 원문에 없는 내용이 추가되거나 동일한 표현이 반복되는 현상이다. 한국어 번역문이 어색한 경우도 더 빈번했다. 이런 문제점은 생성형 모델의 특성에 기인한 것으로 보이는데, ChatGPT를 기계번역에 활용할 때 강화학습이나 미세조정을 통해 개선될 수 있을 것이다.
ChatGPT 류의 인공지능 시스템은 인간 삶의 양태를 변화시킬 것으로 보인다. 프랑스어 교육에서도 이러한 환경 변화를 충분히 고려하여 방향성을 모색하고, 첨단 기술을 능동적으로 적용하기 바란다.

영어초록

ChatGPT a suscité un vif intérêt, tant auprès des experts que du grand public. Des attentes et des inquiétudes subsistent quant à son utilisation dans de nombreux domaines. Plutôt que d’exclure les nouvelles technologies du domaine de l’éducation, nous visons à accroître l’efficacité de l’apprentissage en exploitant pleinement ses forces et en compensant ses faiblesses. Pour ce faire, il est important de comprendre d’abord ses caractéristiques et ses performances.
Cette étude a tenté de comparer ChatGPT-3.5 avec Google Translate (GNMT) pour évaluer ses performances en matière de traduction automatique. Bien que l'objectif principal de ChatGPT ne soit pas la traduction, sa version 3.5 a montré des performances comparables à celles de GNMT. Quelques types d'erreurs ont été observés plus fréquemment dans ChatGPT-3.5 que dans GNMT. Ces problèmes semblent être dû aux caractéristiques du modèle génératif tel que ChatGPT. Ses performances en traduction peuvent être suffisamment améliorées par un « apprentissage par renforcement » ou par un « ajustement fin ».
Des systèmes d’intelligence artificielle de type ChatGPT devraient changer profondément le mode de vie des individus. Nous espérons que les didacticiens ou les pédagogues français prendront pleinement en compte ces changements environnementaux, réviseront les orientations éducatives et appliqueront activement les nouvelles technologies.

참고자료

· 없음