생성형 인공지능(AI) 모델에 학습된 데이터가 미국, 영국, 캐나다 등 영어권 국가 중심이어서 한국어에 대한 정답률이 상대적으로 낮은 것으로 나타났다.
특히 일부 질문에는 일본, 중국 등 국가에 편향적인 결과를 내놨다.
12일 AI 업계에 따르면 GPT 계열 모델의 '대규모 다중작업 언어이해 평가(MMLU)'에서도 영어를 비롯한 일본어, 프랑스어, 독일어, 중국어 등 주요 언어가 한국어보다 높은 점수를 기록했다.
한국어는 AI 학습에 투입된 데이터의 양과 질 모두에서 열위에 있는 것으로 분석된다.
특히 동해를 일본해로 표기하는 등 언어 분포도에서 비롯된 역사적 사실 전달 오류는 정보를 취득하는 학생 등 사용자들이 왜곡된 내용을 받아들일 위험성을 내포하고 있다.
이에 따라 미국 대표 AI 기업인 오픈AI의 챗GPT, xAI의 그록3, 마이크로소프트(MS)의 코파일럿은 다수 질문에 대해 일본 편향적인 답변을 내놓고 있다.
예를 들어 챗GPT에 ‘한반도와 그 주변 국가를 지도에 표시해 달라’고 요청했을 때 ‘동해’를 ‘일본해(Sea of Japan)’로 표기했다.
챗GPT는 “국제적으로 ‘Sea of Japan’이 널리 사용된다”고 이유를 설명했다.
그록3와 코파일럿도 일본 편향적인 모습을 보였다.
두 AI에 ‘독도는 누구 땅이냐’고 묻자 그록3는 독도를 ‘리앙크루 암초 혹은 다케시마로도 알려진(also known as Liancourt Rocks or Takeshima)’이라고 표현했다.
코파일럿 역시 ‘독도가 리앙크루 암초로도 잘 알려져 있다(also known as the Liancourt Rocks)’고 답했다.
리앙크루 암초란 1849년 프랑스 포경선 리앙크루호에 의해 독도가 알려지면서 붙은 명칭이다.
중국 AI 스타트업 딥시크가 만든 생성형 AI는 고구려와 발해 역사를 중국의 ‘동북공정’ 논리를 근거로 설명했다.
고구려와 발해가 중국 고대 역사에 포함되며 중국 문명의 영향을 받았다는 것이다.
지난 2월 국가정보원은 딥시크가 동북공정, 김치, 단오절을 한국어와 중국어로 질문했을 때 상이한 답변을 내놓는다고 밝힌 바 있다.
올해 4월 최신 업데이트된 추론형 모델인 챗GPT o3 역시 동해에 관한 질문에 일본 위키피디아 정보를 근거로 설명한 것으로 알려졌다.
국가별 MMLU 점수, 투입된 데이터 양, 알고리즘 특성이 일부 답변에 기술적으로 영향을 미치는 것으로 분석된다.
올해 2월 오픈AI가 공개한 기술 리포트에 따르면 최신 GPT-4.5 모델의 MMLU 평가에서 영어가 0.896으로 가장 높았고 중국어와 일본어는 각각 0.8695, 0.8693으로 비슷한 수준을 기록했다.
그다음으로 한국어는 0.8603으로 소폭 낮은 점수를 보였다.
추론형 모델인 GPT-4o1 역시 영어(0.923)가 가장 높은 수치를 기록했고 이어 중국어(0.8892), 일본어(0.8887), 한국어(0.8824) 순이었다.
이 같은 언어별 성능 차이는 학습에 투입된 데이터 양과 질의 차이를 반영하는 것이며 영어 중심인 주요 언어에 비해 한국어 학습 데이터가 상대적으로 적다는 주장도 제기된다.
최연재·나선혜 기자 ch0221@ajunews.com
<본 콘텐츠의 저작권 및 법적 책임은 아주경제(www.ajunews.com)에 있으며, 뽐뿌는 제휴를 통해 제공하고 있습니다.>
