LLM의 정치적 편향을 정의하고 평가하기
Defining and evaluating political bias in LLMs
TL;DR AI
1분핵심 요약
OpenAI는 약 100개 주제에 걸친 500개 프롬프트로 ChatGPT의 정치적 편향을 측정하는 새 평가 체계를 도입했다.
회사에 따르면 ChatGPT는 중립적 프롬프트에서는 거의 객관적이며, 정치적으로 민감한 어려운 질문에서는 일부 편향이 나타나지만 GPT-5는 이전 모델보다 더 나은 성능을 보였다.
OpenAI는 실제 운영 응답 중 정치적 편향이 0.01%도 되지 않는다고 추정해, 실사용 환경에서 문제 발생 빈도가 매우 낮다고 설명했다.
정치적 중립성은 사용자 신뢰와 AI의 학습 도구로서의 신뢰도를 좌우하므로, 이런 평가와 개선이 중요하다.
같은 주제
