인간 평가

정성적 평가는 평가자가 주관적인 판단과 해석을 바탕으로 평가 대상을 분석하는 방법이다. 이는 숫자나 통계로 쉽게 측정하기 어려운 특성, 예를 들어 텍스트의 자연스러움, 디자인의 미적 감각, 또는 서비스 전반적인 느낌과 같은 요소를 평가할 때 주로 사용된다. 자연어 처리 분야, 특히 기계 번역이나 텍스트 요약과 같은 자연어 생성 작업에서 모델이 생성한 문장의 유창성이나 의미의 적절성 등을 판단할 때 정성적 평가가 핵심적으로 활용된다.

평가를 수행하는 방식에는 크게 절대 평가와 상대 평가가 있다. 절대 평가는 단일 샘플에 대해 미리 정의된 기준에 따라 점수를 매기는 방식이며, 상대 평가는 두 개 이상의 샘플을 비교하여 우열을 가리는 방식이다. 특히 여러 모델의 출력 결과를 나열하고 평가자에게 순위 평가를 요청하는 방법은 모델 간 성능 차이를 명확히 구분하는 데 효과적이다. 이러한 평가는 도메인 전문가나 크라우드소싱을 통해 모집된 평가자가 담당한다.

정성적 평가의 가장 큰 장점은 기계적인 정량적 평가 지표가 포착하지 못하는 세밀한 품질 차이와 사용자 경험을 파악할 수 있다는 점이다. 예를 들어, 챗봇의 응답이 문법적으로는 완벽할지라도 상황에 맞지 않거나 공감이 부족하다면, 정성적 평가를 통해 그 적절성이나 유용성 문제를 지적할 수 있다. 또한 생성된 내용의 사실성이나 독창성과 같은 복합적인 요소를 검증하는 데 필수적이다.

그러나 정성적 평가는 평가자 간 주관성 차이로 인해 결과의 일관성과 신뢰도가 떨어질 수 있으며, 많은 인력과 시간이 소요되어 비용이 크다는 한계를 가진다. 따라서 실제 연구나 개발 현장에서는 BLEU 점수와 같은 정량적 지표와 정성적 평가 결과를 상호 보완적으로 활용하여 인공지능 모델의 전반적인 성능을 종합적으로 판단하는 것이 일반적이다.

정량적 평가는 평가 항목에 대한 점수나 순위와 같이 수치화 가능한 척도를 사용하여 인간 평가를 수행하는 방법이다. 이는 평가 결과를 객관적으로 비교하고 통계적 분석을 가능하게 하여, 자연어 처리 모델의 성능을 명확하게 측정하는 데 주로 활용된다. 특히 기계 번역, 텍스트 요약, 대화 시스템과 같은 자연어 생성 작업의 품질을 평가할 때 핵심적인 역할을 한다.

평가 방식은 크게 절대 평가, 상대 평가, 순위 평가로 나눌 수 있다. 절대 평가는 단일 출력물에 대해 미리 정의된 척도(예: 1-5점 리커트 척도)로 직접 점수를 매기는 방식이다. 상대 평가는 두 개 이상의 모델 출력을 나란히 제시하여 어느 것이 더 우수한지 선택하게 하며, 순위 평가는 여러 출력을 질서에 따라 순위를 매기도록 요청한다. 이러한 정량적 척도를 통해 유창성, 적절성, 사실성과 같은 다양한 품질 속성을 측정할 수 있다.

정량적 평가의 결과는 일반적으로 평균 점수, 승률, 상관 계수와 같은 통계적 지표로 요약된다. 이는 인공지능 모델 개발 과정에서 서로 다른 알고리즘이나 하이퍼파라미터 설정의 성능을 비교하는 데 유용한 근거를 제공한다. 평가는 주로 해당 분야의 도메인 전문가나 크라우드소싱 플랫폼을 통해 모집된 평가자에 의해 수행되며, 평가자 간 일관성을 높이기 위해 명확한 평가 가이드라인과 훈련이 필수적이다.

이 방법의 주요 장점은 평가 결과가 수치화되어 객관적 비교와 재현이 용이하다는 점이다. 그러나 평가 척도가 실제 사용자의 경험을 완벽히 반영하지 못할 수 있으며, 평가자의 주관성이나 피로도가 결과에 영향을 미칠 수 있는 한계도 존재한다. 따라서 정량적 평가는 종종 정성적 평가나 실제 사용성 테스트와 함께 종합적으로 활용된다.

사용성 테스트는 제품이나 서비스의 사용 편의성을 평가하기 위해 실제 사용자를 대상으로 수행하는 실험적 평가 방법이다. 이는 사용자가 특정 작업을 수행하는 과정을 관찰하고, 그들이 겪는 어려움, 오류, 만족도 등을 종합적으로 분석하여 사용자 인터페이스(UI)와 사용자 경험(UX)의 문제점을 파악하는 데 주로 활용된다. 인간 평가의 한 형태로, 정성적 평가와 정량적 평가 방법을 모두 포함할 수 있다.

일반적인 사용성 테스트 절차는 평가 계획 수립, 참가자 모집, 테스트 세션 수행, 데이터 수집 및 분석, 결과 보고의 단계로 이루어진다. 테스트 세션에서는 참가자에게 특정 과제를 주고 수행하게 하며, 평가자는 참가자의 행동, 생각(생각 소리내기 기법), 성공 여부, 소요 시간 등을 기록한다. 이를 통해 사용성의 핵심 요소인 학습 용이성, 효율성, 기억 용이성, 오류 발생률, 주관적 만족도 등을 측정할 수 있다.

사용성 테스트는 소프트웨어 개발, 웹사이트 디자인, 모바일 애플리케이션 개발, 가전제품 인터페이스 설계 등 다양한 분야에서 필수적인 과정으로 자리 잡았다. 특히 애자일 개발 방법론과 사용자 중심 설계 철학이 보편화되면서, 개발 초기 단계부터 반복적으로 수행하여 설계를 개선하는 데 중요한 역할을 한다. 테스트를 통해 발견된 문제점은 프로토타입 수정이나 재설계에 직접 반영된다.

이 방법의 장점은 실제 사용 환경에서의 실질적인 피드백을 얻을 수 있다는 점이다. 그러나 테스트에 참여하는 사용자 수가 제한적일 수 있고, 실험 환경이 실제 사용 환경과 다를 수 있으며, 결과 해석에 평가자의 주관이 개입될 가능성 등의 한계도 존재한다. 이러한 한계를 보완하기 위해 원격 사용성 테스트 도구나 눈동자 추적(아이트래킹) 기술 등을 보조적으로 활용하기도 한다.

A/B 테스트는 두 가지 이상의 서로 다른 버전(예: A 버전과 B 버전)을 동시에 다른 사용자 그룹에게 노출하여, 어떤 버전이 사전에 정의된 목표 지표(예: 클릭률, 전환율, 사용 시간)에서 더 나은 성과를 보이는지 비교 평가하는 실험적 방법이다. 주로 웹사이트 디자인, 마케팅 캠페인, 앱 기능, 사용자 인터페이스 변경 사항의 효과를 객관적으로 측정하는 데 활용된다.

평가 절차는 일반적으로 가설 설정, 변수 설계, 대상 사용자 그룹 무작위 할당, 실험 동시 진행, 데이터 수집 및 통계적 분석의 단계로 이루어진다. 이 과정에서 통계적 유의성을 확인하여 성과 차이가 우연에 의한 것이 아닌 실험 변수에 의한 것임을 입증하는 것이 중요하다. A/B 테스트는 데이터 기반 의사결정의 핵심 도구로, 주관적 판단보다는 실제 사용자 행동 데이터를 바탕으로 최적의 방안을 선택할 수 있게 한다.

인간 평가의 한 방법으로서, 특히 사용자 경험 평가 분야에서 A/B 테스트는 광범위하게 적용된다. 예를 들어, 새로운 검색 알고리즘의 결과 페이지나 챗봇의 응답 스타일 변경이 사용자 만족도나 작업 효율성에 미치는 영향을 비교할 때 사용될 수 있다. 이는 정량적 평가에 속하며, 정성적 평가 방법인 사용자 인터뷰나 사용성 테스트와 상호 보완적으로 활용될 수 있다.

A/B 테스트의 주요 장점은 명확한 인과 관계 추론과 객관적 결과 도출에 있지만, 동시에 여러 변수를 테스트하기 어렵거나, 장기적 효과를 측정하기 부적합할 수 있으며, 실험 설계와 충분한 트래픽 확보가 선행되어야 한다는 한계도 지닌다.

평가 계획 수립은 인간 평가의 첫 단계로, 평가의 목표와 범위, 방법, 기준을 명확히 정의하는 과정이다. 이 단계에서 평가의 전반적인 방향이 결정되므로 신중하게 진행해야 한다.

먼저 평가의 목적을 구체화한다. 평가 대상이 되는 인공지능 모델의 유형(예: 기계 번역, 텍스트 요약, 대화 시스템)과 평가를 통해 확인하고자 하는 성능의 측면을 명확히 한다. 예를 들어, 기계 번역 모델의 경우 유창성과 적절성을 주요 평가 항목으로 삼을 수 있다. 목적에 따라 절대 평가 방식(단일 출력에 대한 점수 부여)이나 상대 평가 방식(여러 모델의 출력을 비교)을 선택한다.

다음으로 평가에 사용될 데이터셋과 평가 항목, 평가 척도를 설계한다. 평가할 모델의 출력 샘플을 선정하고, 각 샘플을 평가할 구체적인 기준(예: 문법적 정확성, 의미 보존도, 사실성)을 설정한다. 평가 척도는 리커트 척도(5점 또는 7점)나 순위 기반 척도 등이 활용된다. 또한 평가를 수행할 평가자의 자격(예: 도메인 전문가, 크라우드소싱 작업자)과 인원, 평가에 소요될 시간과 비용을 계획에 포함시켜 평가의 실현 가능성을 확보한다.

평가자 선정은 인간 평가의 신뢰성과 타당성을 결정하는 핵심 단계이다. 평가 결과의 품질은 평가자의 역량과 배경에 직접적으로 영향을 받기 때문에, 평가 목적과 대상에 맞는 적절한 평가자를 선정하는 것이 중요하다.

평가자는 일반적으로 도메인 전문가, 크라우드소싱 플랫폼의 작업자, 또는 일반 사용자로 구분된다. 도메인 전문가는 특정 분야에 대한 깊은 지식을 바탕으로 정교한 판단을 내릴 수 있어, 전문성이 요구되는 기계 번역이나 의료 분야 자연어 처리 모델 평가에 적합하다. 반면, 크라우드소싱 플랫폼을 통해 모집된 작업자는 비교적 낮은 비용으로 대규모 평가를 수행할 수 있으며, 일반 사용자는 실제 사용자 경험을 반영한 평가를 제공할 수 있다.

선정 과정에서는 평가자의 모국어 능력, 문화적 배경, 평가 과제에 대한 이해도, 그리고 편향을 최소화하기 위한 기준이 고려된다. 특히 자연어 생성 모델의 유창성이나 적절성을 평가할 때는 해당 언어에 능통한 평가자가 필요하다. 또한, 평가의 일관성을 높이기 위해 평가자에게 명확한 평가 지침과 교육을 제공하는 것이 일반적이다.

평가 수행 단계에서는 수립된 계획에 따라 실제로 평가 작업을 진행한다. 이 단계는 평가 데이터의 준비, 평가자의 교육, 평가 실시, 그리고 데이터 수집의 일련의 과정으로 구성된다. 특히 자연어 처리 분야에서 인공지능 모델의 출력을 평가할 때는, 평가 대상이 되는 기계 번역 문장, 텍스트 요약 결과, 대화 시스템의 응답 등을 평가자에게 제공한다. 평가는 주로 절대 평가나 상대 평가 방식으로 이루어지며, 평가자는 사전에 정의된 평가 항목에 따라 점수를 부여하거나 여러 출력 결과를 순위 평가하게 된다.

평가 수행의 구체적 방법은 평가의 목적에 따라 달라진다. 예를 들어, 유창성과 적절성을 측정하는 정성적 평가는 평가자가 주관적인 판단을 내리도록 요구하는 반면, 특정 정량적 평가 지표를 확인하는 작업은 더 객관적인 답변을 필요로 할 수 있다. 평가는 종이 설문지, 온라인 설문 조사 도구, 또는 전용 평가 플랫폼을 통해 이루어진다. 평가 과정에서 평가자의 피로도나 일관성을 유지하기 위해 평가 세션의 시간을 적절히 조절하고, 무작위 순서로 평가 항목을 제시하는 등의 방법이 사용된다.

평가 데이터의 품질을 보장하기 위해 수행 단계에서는 지속적인 모니터링이 필요하다. 평가자의 이해도를 확인하기 위한 사전 테스트나, 평가 도중 표준 답안과의 일치도를 측정하는 골드 표준 데이터에 대한 평가를 삽입하여 평가자의 신뢰도를 점검할 수 있다. 또한 크라우드소싱을 통해 다수의 평가자를 동원하는 경우, 불성실한 응답을 필터링하기 위한 주의 검사 질문을 포함시키는 것이 일반적이다. 모든 평가 결과는 체계적으로 기록되어 다음 단계인 결과 분석을 위해 준비된다.

수집된 평가 데이터는 체계적인 분석을 거쳐 최종 보고서로 작성된다. 분석 단계에서는 평가자 간 일치도를 계산하여 평가의 신뢰도를 검증하는 것이 중요하다. 평가자 간 일치도가 낮다면 평가 기준이 모호하거나 평가자 교육이 부족했을 가능성을 시사한다. 분석 방법은 평가 방식에 따라 달라지며, 절대 평가의 경우 각 평가 항목별 평균 점수나 분포를 계산하고, 상대 평가나 순위 평가의 경우 윈-타이-로스(Win-Tie-Loss) 비율이나 페어와이즈 비교(Pairwise Comparison) 통계를 활용한다.

분석 결과는 연구 또는 개발 목적에 맞게 보고서로 체계화된다. 보고서에는 평가 배경과 목적, 평가 방법론(평가 항목, 방식, 평가자 정보), 주요 분석 결과(통계 수치, 시각화 자료), 그리고 결론과 향후 개선 방향이 포함된다. 특히 자연어 처리 모델 평가의 경우, 모델이 생성한 텍스트 샘플과 해당 평가 점수를 함께 제시하여 결과를 구체적으로 보여주는 것이 일반적이다. 이 과정을 통해 얻은 인간 평가 결과는 인공지능 모델의 성능을 보완하는 핵심 지표로 활용되며, 궁극적으로 모델 개선을 위한 방향성을 제시한다.

사용자 인터페이스 평가는 소프트웨어나 웹사이트, 애플리케이션의 사용자 인터페이스가 사용자의 요구를 얼마나 잘 충족시키고, 직관적이며 효율적으로 사용될 수 있는지를 판단하기 위해 실시된다. 이 평가는 사용성과 접근성, 심미성 등 다양한 측면을 종합적으로 검토하여, 최종 사용자가 제품을 성공적으로 사용할 수 있도록 보장하는 것을 목표로 한다. 인간 평가의 핵심 원칙을 적용하여, 실제 사용자나 평가자의 피드백을 기반으로 인터페이스 디자인의 강점과 약점을 식별한다.

평가 방법은 크게 정성적 평가와 정량적 평가로 나뉜다. 정성적 평가에서는 사용성 테스트를 통해 소수의 사용자가 실제 과업을 수행하는 과정을 관찰하고 심층 인터뷰를 진행하여 사용자의 주관적 경험, 어려움, 감정을 파악한다. 반면, 정량적 평가는 A/B 테스트나 설문 조사를 통해 특정 인터페이스 요소가 과업 완료 시간, 오류율, 사용자 만족도 점수와 같은 측정 가능한 지표에 미치는 영향을 분석한다. 이러한 평가는 프로토타입 단계부터 최종 제품에 이르기까지 반복적으로 수행되어 디자인을 개선하는 데 직접적으로 활용된다.

사용자 인터페이스 평가의 효과성은 평가 계획의 충실성과 평가자 선정에 크게 의존한다. 평가 대상과 목표를 명확히 정의한 후, 제품의 실제 타깃 사용자 집단을 대표할 수 있는 참가자를 선정하는 것이 중요하다. 평가 수행 중 수집된 데이터(화면 녹화, 생각 말하기 프로토콜 기록, 설문 응답, 로그 데이터 등)는 체계적으로 분석되어, 구체적인 디자인 변경 권고 사항이 포함된 평가 보고서로 작성된다. 이를 통해 개발팀은 데이터에 기반한 의사결정을 통해 사용자 경험을 지속적으로 최적화할 수 있다.

사용자 경험 평가는 제품이나 서비스가 사용자에게 제공하는 총체적인 경험의 질을 측정하고 분석하는 인간 평가의 한 분야이다. 이는 단순히 기능적 오류를 찾는 것을 넘어, 사용자의 감정, 태도, 인지 과정, 만족도 등 주관적이고 정성적인 요소를 포괄적으로 조사한다. 평가의 목표는 사용자가 제품과 상호작용하는 전 과정에서 느끼는 편리함, 효율성, 즐거움 등을 이해하고, 이를 바탕으로 사용자 경험을 최적화하는 데 있다.

평가 방법은 크게 정성적 평가와 정량적 평가로 나뉜다. 정성적 평가에는 사용자 인터뷰, 초점 집단 인터뷰, 맥락적 질문법 등이 포함되어 사용자의 깊은 의견과 감정을 수집한다. 정량적 평가에는 설문조사를 통한 시스템 사용성 척도 측정, 사용성 테스트 중의 작업 성공률 및 소요 시간 분석 등이 있다. 또한, 사용자의 실제 행동 데이터를 수집하는 A/B 테스트나 눈동자 추적 기술도 중요한 보조 도구로 활용된다.

사용자 경험 평가는 웹사이트, 모바일 애플리케이션, 소프트웨어부터 물리적 제품 및 서비스 환경에 이르기까지 광범위하게 적용된다. 특히 인공지능 기반 서비스나 대화형 에이전트의 평가에서는 시스템 출력의 적절성과 유용성뿐만 아니라, 사용자가 느끼는 자연스러움과 신뢰도도 중요한 평가 척도가 된다. 궁극적으로 이 평가는 사용자 중심의 디자인 의사결정을 지원하여 제품의 시장 적합성과 사용자 충성도를 높이는 데 기여한다.

소프트웨어 품질 평가에서 인간 평가는 특히 자연어 처리 분야에서 기계의 출력물을 사람이 직접 판단하여 소프트웨어 품질을 측정하는 핵심 방법이다. 이는 기계 번역, 텍스트 요약, 대화 시스템 등 자연어 생성 모델의 성능을 검증하는 데 주로 활용된다. 자동화된 정량적 평가 지표만으로는 포착하기 어려운 언어의 미묘한 차이, 맥락 적절성, 실제 사용 환경에서의 유용성을 평가할 수 있다는 점에서 필수적이다.

평가 항목은 평가 목적에 따라 다양하게 설정된다. 기본적으로 생성된 텍스트의 문법적 정확성과 자연스러움을 판단하는 유창성과, 원문의 의미나 의도를 얼마나 정확히 전달했는지를 보는 적절성이 가장 일반적이다. 또한, 특정 작업에 얼마나 실용적인지 판단하는 유용성, 내용이 사실과 일치하는지 검증하는 사실성, 그리고 반복적이지 않고 새로운 정보를 제공하는지 평가하는 독창성 등도 중요한 평가 기준이 될 수 있다.

평가 방식은 크게 절대 평가, 상대 평가, 순위 평가로 나뉜다. 절대 평가는 단일 출력물에 대해 사전 정의된 척도(예: 1-5점 리커트 척도)로 점수를 매기는 방식이다. 상대 평가는 두 개 이상의 모델 출력을 나란히 비교하여 어느 것이 더 나은지 선택하도록 요청한다. 순위 평가는 여러 출력을 질서 있게 나열하도록 하여 선호도를 더 세분화하여 파악한다.

평가를 수행하는 평가자 선정도 중요한 요소이다. 평가의 정확성과 신뢰도를 높이기 위해 해당 분야의 도메인 전문가를 활용하는 경우가 많다. 대규모 평가가 필요할 때는 크라우드소싱 플랫폼을 통해 작업자를 모집하기도 하며, 최종 사용자 경험을 반영하기 위해 일반 사용자를 평가자로 참여시키는 경우도 있다. 평가자 간 일관성을 확보하고 주관성을 최소화하기 위해 명확한 평가 가이드라인과 교육이 필수적으로 동반된다.

인공지능 모델 평가, 특히 자연어 처리 분야에서의 인간 평가는 기계 번역, 텍스트 요약, 대화 시스템 등 자연어 생성 모델의 출력 품질을 측정하는 핵심 방법이다. 인공지능 모델의 성능을 정량적 지표만으로 완전히 파악하기 어려운 경우가 많기 때문에, 사람의 주관적 판단을 체계적으로 수집하여 모델의 실제 유용성과 한계를 평가한다.

평가 항목은 모델의 적용 분야에 따라 다르게 설정된다. 일반적으로 텍스트의 문법적 정확성과 자연스러움을 의미하는 유창성, 원문의 의미를 얼마나 정확하게 전달하는지를 보는 적절성이 기본적으로 평가된다. 또한 생성된 내용이 실제로 유용한지(유용성), 사실과 일치하는지(사실성), 그리고 단순한 반복이 아닌 새로운 정보를 제공하는지(독창성)와 같은 보다 높은 수준의 기준도 중요하게 다뤄진다.

평가 방식은 주로 절대 평가, 상대 평가, 순위 평가로 구분된다. 절대 평가는 단일 출력물에 대해 리커트 척도 등을 사용해 직접 점수를 매기는 방식이다. 상대 평가는 두 개 이상의 모델 출력을 비교하여 더 나은 것을 선택하도록 하며, 순위 평가는 여러 출력을 질서에 따라 순위를 매기게 한다. 평가자는 평가의 정밀도 요구사항에 따라 도메인 전문가를 활용하거나, 크라우드소싱 플랫폼을 통해 다수의 작업자를 모집하기도 한다.

이러한 인간 평가는 인공지능 모델 개발의 핵심 검증 단계로, 모델의 개선 방향을 제시하고 최종 사용자에게 제공될 서비스의 품질을 보장하는 데 기여한다. 그러나 평가자 간 일관성 유지, 평가 비용과 시간, 주관성 편향 등이 주요 과제로 남아 있다.

인간 평가의 가장 큰 장점은 평가 기준의 유연성과 맥락 이해 능력이다. 기계적 평가 지표는 주로 정량적 수치에 의존하지만, 인간 평가자는 자연어의 미묘한 뉘앙스, 맥락 적합성, 문화적 적절성, 논리적 일관성 등 복합적이고 주관적인 요소를 종합적으로 판단할 수 있다. 이는 특히 자연어 생성이나 기계 번역과 같이 출력의 질이 다차원적인 분야에서 기계 평가로는 포착하기 어려운 품질 차이를 감지하는 데 유용하다.

또한 인간 평가는 새로운 작업이나 평가 기준이 필요한 상황에 빠르게 적응할 수 있다. 새로운 평가 항목을 정의하고 평가자에게 설명하는 것만으로도 평가를 시작할 수 있어, 아직 표준화된 자동 평가 메트릭이 존재하지 않는 첨단 연구 분야나 특수 도메인에서 필수적인 역할을 한다. 예를 들어 생성된 텍스트의 창의성이나 감정 이입 정도와 같은 추상적인 개념을 평가할 때 인간의 판단이 거의 유일한 방법이 된다.

인간 평가 결과는 궁극적으로 해당 시스템의 최종 사용자 경험을 예측하는 데 직접적으로 활용될 수 있다는 점에서 실용적 가치가 높다. 사용자 조사나 사용성 테스트의 형태로 진행되는 평가는 시스템이 실제 사용 환경에서 어떻게 받아들여질지에 대한 신뢰할 수 있는 피드백을 제공한다. 이는 인공지능 모델을 개선하거나 제품의 시장 적합성을 검증하는 데 결정적인 자료로 작용한다.

인간 평가는 기계 평가가 포착하기 어려운 맥락이나 미묘한 뉘앙스를 평가할 수 있다는 장점이 있지만, 몇 가지 본질적인 한계를 지닌다. 가장 큰 문제는 평가 결과의 주관성과 일관성 부족이다. 평가자의 배경 지식, 개인적 편향, 기분과 같은 요인들이 평가 결과에 영향을 미칠 수 있으며, 동일한 출력을 다른 평가자가 평가하거나 동일한 평가자가 다른 시점에 평가할 경우 결과가 달라질 수 있다. 이는 평가의 신뢰도와 재현성을 저해하는 주요 원인이다.

또한 인간 평가는 상당한 시간과 비용이 소요된다는 경제적 한계가 있다. 특히 대규모 데이터셋에 대한 평가나 반복적인 평가가 필요한 경우, 전문 평가자를 고용하거나 크라우드소싱 플랫폼을 활용하더라도 자원 소모가 크다. 이는 연구나 개발 주기를 늦추고, 실시간으로 모델 성능을 모니터링하기 어렵게 만든다.

평가 과정 자체의 복잡성과 피로도도 중요한 한계점이다. 평가자는 수많은 샘플을 일관된 기준으로 평가해야 하며, 특히 모호성이 높은 작업에서는 판단 부담이 커진다. 이로 인해 발생하는 평가자 피로는 평가 품질 하락으로 이어질 수 있다. 또한 평가 항목(예: 유창성, 사실성)에 대한 정의와 평가 척도가 명확하지 않으면, 평가자 간 합의도가 낮아져 결과의 유효성이 떨어진다.

마지막으로, 인간 평가는 확장성에 한계가 있다. 새로운 도메인이나 언어로 평가 범위를 확장할 때마다 해당 분야의 전문 지식을 가진 평가자를 다시 찾아야 하는 어려움이 있다. 또한 평가 결과가 수치화되기까지의 지연 시간으로 인해, 인공지능 모델의 빠른 반복적 개발 및 최적화 과정에 즉시 통합하기가 어려운 경우가 많다.