V&V

검증(Verification)은 제품, 서비스 또는 시스템이 명세된 요구사항, 규격 및 조건을 충족하는지 여부를 평가하는 과정이다. 즉, "제품을 올바르게 만들고 있는가?"(Are we building the product right?)라는 질문에 답하는 활동이다. 이는 주로 개발 과정 중간에 수행되며, 설계 문서, 코드, 인터페이스 등이 사전에 정의된 기준과 일치하는지 확인하는 데 중점을 둔다. 주요 활동으로는 코드 리뷰, 정적 분석, 단위 테스트 등이 포함된다.

반면, 확인(Validation)은 개발된 제품이나 시스템이 사용자의 실제 요구와 의도된 용도를 충족시키는지 평가하는 과정이다. "올바른 제품을 만들고 있는가?"(Are we building the right product?)라는 근본적인 질문을 다룬다. 확인은 최종 제품이나 완성된 시스템을 대상으로 하며, 사용자 환경에서의 실제 성능과 효용성을 검증하는 데 목적이 있다. 대표적인 예로 사용자 인수 테스트(UAT)나 현장 시연이 있다.

두 개념의 차이는 종종 "검증은 명세서 대비, 확인은 사용자 요구 대비"라는 구문으로 요약된다. 검증은 공학적 정확성과 규격 준수를, 확인은 제품의 실용성과 고객 가치를 중시한다. 예를 들어, 소프트웨어의 특정 함수가 설계 문서대로 정확히 구현되었는지 검토하는 것은 검증에 해당한다. 반면, 그 소프트웨어 전체가 최종 사용자의 업무 문제를 해결하는 데 효과적인지 평가하는 것은 확인에 해당한다.

이 두 활동은 상호 보완적이며, 효과적인 품질 보증을 위해서는 모두 필수적이다. 검증 없이 진행된 확인은 제품이 내부적으로 결함이 많을 수 있으며, 확인 없이 진행된 검증은 기술적으로 정확하더라도 시장에서 필요로 하지 않는 제품을 만들 위험이 있다. 따라서 V&V는 제품의 무결성과 적합성을 모두 보장하기 위해 통합적으로 수행된다.

V&V의 궁극적인 목표는 개발된 제품이나 시스템이 명세된 요구사항을 정확히 구현했는지, 그리고 의도된 사용 환경과 목적에 부합하는지 확인하여 결함을 조기에 발견하고 제거하는 것이다. 이를 통해 최종 결과물의 품질, 신뢰성, 안전성을 보증하고, 사업적 및 기술적 위험을 최소화한다.

주요 목표는 다음과 같이 구체화된다. 첫째, 검증(Verification)을 통해 '제품을 올바르게 만들었는가'를 확인한다. 이는 설계 문서나 코드가 요구사항을 정확히 반영하고 있는지, 오류나 모순이 없는지를 점검하는 활동이다. 둘째, 확인(Validation)을 통해 '올바른 제품을 만들었는가'를 확인한다. 이는 완성된 제품이 사용자의 실제 요구와 운영 환경에서 기대한 대로 작동하는지 최종 검증하는 과정이다. 셋째, 개발 생명주기 전반에 걸쳐 결함을 조기에 그리고 체계적으로 식별하여 수정 비용을 크게 절감한다.

V&V의 필요성은 시스템의 복잡성 증가와 실패 시의 심각한 결과에서 비롯된다. 특히 소프트웨어 결함은 하드웨어 고장과 달리 예측이 어렵고, 일단 시스템에 내재되면 발견되지 않은 채로 유지될 수 있다. 따라서 안전-중요 시스템[2]에서는 V&V가 법적, 규제적 요구사항이 된다. 또한, 개발 후기 단계나 운용 중에 결함이 발견될 경우 그 수정 비용은 초기 발견 시보다 수십 배에서 수백 배까지 급증하므로, 경제적 관점에서도 V&V 투자는 필수적이다.

검증 활동은 개발 과정에서 생성된 산출물이 명세된 요구사항, 설계, 표준 및 기대에 부합하는지를 평가하는 체계적인 과정이다. 이 활동은 주로 "제품을 올바르게 만들었는가?"라는 질문에 답하는 데 초점을 맞춘다. 검증은 주로 개발 초기 단계부터 적용되며, 결함을 조기에 발견하여 수정 비용을 절감하는 것을 목표로 한다.

주요 검증 활동으로는 정적 분석, 동적 테스팅, 그리고 다양한 형태의 리뷰가 포함된다. 정적 분석은 소스 코드나 설계 문서를 실제로 실행하지 않고 분석하는 기법으로, 코드 리뷰, 인스펙션, 워크스루 등을 통해 문법 오류, 코딩 표준 위반, 잠재적 결함을 발견한다. 동적 테스팅은 소프트웨어를 실행하여 특정 입력에 대한 출력을 검사하는 방식으로, 단위 테스트, 통합 테스트, 시스템 테스트 등이 이에 해당한다.

검증 활동은 일반적으로 다음과 같은 다층적 접근 방식을 취하며, 각 단계별로 다른 기법과 도구가 활용된다.

이러한 활동들은 테스트 케이스와 테스트 스위트를 기반으로 수행되며, 테스트 자동화 도구를 활용하여 효율성을 높인다. 검증의 궁극적 목표는 내부 품질 속성을 보장하여, 최종 제품이 의도한 대로 구축되었음을 객관적 증거를 통해 입증하는 것이다.

확인 활동은 개발된 제품이나 시스템이 사용자의 요구사항과 의도된 사용 환경에서 올바르게 작동하는지를 평가하는 과정이다. 이는 최종 사용자나 고객의 관점에서 시스템의 가치와 유용성을 검증하는 데 중점을 둔다. 주요 목표는 '올바른 제품을 만들었는가?'라는 질문에 답하는 것이다. 확인은 종종 시스템의 외부적 행위와 사용자 만족도를 다루며, 검증(Verification) 활동이 명세서 대비 정확성을 다룬다면, 확인은 실제 필요와 목적 대비 적합성을 다룬다.

주요 확인 활동으로는 사용자 인수 테스트가 있다. 이는 최종 사용자 또는 고객 대표가 실제 운영 환경과 유사한 조건에서 시스템을 사용해보고, 계약상의 모든 요구사항이 충족되었는지 최종적으로 승인하는 공식적인 과정이다. 또한, 시나리오 검증을 통해 미리 정의된 사용 시나리오나 유스 케이스를 따라 시스템이 예상대로 동작하는지 확인한다. 이는 시스템이 복잡한 실제 업무 흐름 속에서도 정상적으로 기능하는지 평가하는 데 유용하다.

다른 확인 기법으로는 베타 테스트가 있다. 제한된 실제 사용자 집단에게 선출시판 제품을 제공하여 다양한 환경과 예상치 못한 사용 패턴에서의 시스템 안정성과 사용성을 평가한다. 또한, 시연을 통해 이해관계자 앞에서 핵심 기능을 직접 운영하여 요구사항 충족 여부를 시각적으로 검증하기도 한다. 이러한 활동들은 시스템이 단순히 명세를 따르는 것을 넘어, 사용자에게 진정한 가치를 제공하는지를 판단하는 근거가 된다.

소프트웨어 공학은 V&V 활동이 가장 체계적으로 발전하고 적용되는 핵심 분야이다. 소프트웨어의 복잡성과 결함으로 인한 비용 증가를 방지하기 위해, 개발 생명주기의 각 단계마다 검증과 확인 활동이 통합되어 수행된다. 이는 요구사항 분석, 설계, 구현, 테스팅, 유지보수에 이르는 전 과정에 걸쳐 소프트웨어 제품의 품질을 보증하는 체계적인 접근법을 제공한다.

주요 검증 활동으로는 코드 리뷰, 정적 분석, 단위 테스트, 통합 테스트 등이 있다. 코드 리뷰는 동료 평가를 통해 논리적 오류나 코딩 표준 위반을 발견하고, 정적 분석 도구는 실행 없이 소스 코드를 분석하여 잠재적 결함을 찾는다. 단위 테스트와 통합 테스트는 각 모듈과 모듈 간의 인터페이스가 명세대로 동작하는지 확인하는 데 목적이 있다.

확인 활동은 최종 소프트웨어 제품이 사용자의 실제 요구와 운영 환경에서 의도된 대로 작동하는지 평가하는 데 중점을 둔다. 대표적인 활동으로 시스템 테스트, 인수 테스트, 베타 테스트가 있다. 시스템 테스트는 완성된 시스템 전체를 대상으로 기능 및 비기능적 요구사항을 검증하며, 인수 테스트는 최종 사용자 또는 고객이 직접 수행하여 제품 수락 여부를 결정한다.

소프트웨어 공학에서 V&V의 효과성은 활동의 조기 시작과 지속적 수행에 달려 있다. 다음 표는 소프트웨어 개발 단계별 주요 V&V 활동의 예를 보여준다.

이러한 체계적인 V&V 접근은 소프트웨어의 신뢰성을 높이고, 유지보수 비용을 절감하며, 최종 사용자 만족도를 제고하는 데 기여한다.

시스템 공학에서 V&V는 단일 소프트웨어 컴포넌트를 넘어 전체 시스템의 통합적이고 종합적인 품질을 보장하는 핵심 활동이다. 이는 하드웨어, 소프트웨어, 운영자, 절차 등이 복잡하게 상호작용하는 시스템의 요구사항이 올바르게 구현되었는지(검증), 그리고 의도된 운영 환경에서 사용자 요구와 목적을 충족하는지(확인)를 평가하는 과정을 포함한다. 특히 임베디드 시스템은 제어, 모니터링 등의 특정 기능을 수행하기 위해 더 큰 기계나 장치 내에 내장된 컴퓨팅 시스템으로, 실시간성, 신뢰성, 자원 제약 등이 중요한 특징이다. 따라서 임베디드 시스템의 V&V는 소프트웨어 로직뿐만 아니라 센서, 액추에이터와의 상호작용, 타이밍 제약, 전력 소비, 물리적 환경과의 인터페이스 등을 종합적으로 검증하고 확인해야 한다.

시스템 수준의 주요 검증 활동에는 시스템 요구사항 검토, 아키텍처 설계 검증, 그리고 통합 테스트가 있다. 통합 테스트는 하위 시스템이나 컴포넌트들이 결합되어 설계대로 정확하게 동작하는지 확인한다. 반면, 확인 활동은 최종 사용자 또는 고객의 관점에서 시스템의 유용성과 적합성을 평가하는 데 중점을 둔다. 이는 시스템 수용 테스트나 현장 시험을 통해 수행되며, 시스템이 실제 운영 시나리오에서 의도된 임무를 성공적으로 완수할 수 있는지 검증한다. 임베디드 시스템에서는 HIL 테스트가 널리 사용되는데, 이는 실제 제어기(하드웨어)를 가상의 물리적 환경(시뮬레이터)에 연결하여 실제와 유사한 조건에서 시스템의 동작을 검증하는 방법이다.

임베디드 시스템 V&V의 복잡성은 다음과 같은 요소들에서 기인한다. 첫째, 실시간 시스템의 경우 작업이 엄격한 시간 제약 내에 완료되어야 하므로, 타이밍 분석과 성능 테스트가 필수적이다. 둘째, 제한된 메모리와 처리 능력을 가진 환경에서 동작하므로, 자원 사용량 검증이 중요하다. 셋째, 많은 임베디드 시스템이 안전-중요 분야에 적용되므로, 고장 모드 영향 분석과 같은 예측적 분석 기법을 통해 잠재적 위험을 식별하고 완화해야 한다.

이러한 포괄적인 접근을 통해 시스템 공학 및 임베디드 시스템 분야의 V&V는 제품이 단순히 오류가 없는 수준을 넘어, 예측된 환경과 예측되지 않은 조건 하에서도 견고하고 신뢰할 수 있도록 보장하는 역할을 한다.

안전-중요 시스템은 고장이나 오류가 발생할 경우 인명 피해, 큰 규모의 재산 손실, 심각한 환경 피해를 초래할 수 있는 시스템을 의미한다. 이러한 시스템의 개발에서는 V&V 활동이 법적, 규제적 요구사항으로 명시되며, 특히 엄격한 표준과 절차에 따라 수행된다. 의료, 항공, 자동차 산업은 대표적인 안전-중요 분야로, 각각의 산업별 표준이 V&V 활동의 범위와 깊이를 규정한다.

의료 기기 분야에서는 ISO 13485 품질 관리 시스템과 IEC 62304 의료 소프트웨어 생명 주기 프로세스 표준이 핵심적이다. 특히 IEC 62304는 소프트웨어의 안전 등급(A, B, C)을 분류하고, 각 등급에 맞는 V&V 활동(예: 위험 분석, 단위/통합/시스템 테스트, 변경 관리)을 요구한다. 임상 시험 전에 수행되는 실사용 테스트는 사용자 환경에서의 안전성과 유효성을 확인하는 중요한 확인 활동이다.

항공우주 분야에서는 소프트웨어 공인을 위한 표준인 DO-178C가 사실상의 세계적 기준이다. 이 표준은 소프트웨어의 안전 등급(A~E)을 정의하고, 각 등급에 따라 요구되는 V&V 목표와 활동을 상세히 명시한다. 예를 들어, 가장 높은 안전 등급인 Level A 소프트웨어는 요구사항 기반 테스트 커버리지 100%, 수정 조건/결정 커버리지 100% 등을 포함한 극도로 엄격한 검증을 요구한다. 이는 시스템의 고장이 재난적 결과로 이어질 수 있기 때문이다.

자동차 산업에서는 전기/전자 시스템의 기능 안전을 다루는 ISO 26262 표준이 핵심이다. 이 표준은 자동차 안전 무결성 수준(ASIL)을 A에서 D까지 등급화하며, V&V 활동은 할당된 ASIL 등급에 비례하여 강화된다. 주요 활동에는 안전 요구사항 검증, 하드웨어와 소프트웨어의 통합 테스트, 그리고 최종 제품의 안전성 확인을 위한 시스템 수준 검증이 포함된다. 특히 자율주행차의 등장으로 센서 퓨전 및 AI 알고리즘에 대한 V&V의 중요성과 복잡성이 급격히 증가하고 있다.

형식적 방법은 수학적 기초 위에 구축된 엄밀한 기법을 사용하여 시스템의 정확성을 검증하고 확인하는 V&V 접근법이다. 이 방법은 시스템의 요구사항, 설계, 또는 구현을 수학적 모델로 표현하고, 그 모델에 대해 논리적 추론이나 자동화된 도구를 이용해 정형적으로 분석한다. 일반적인 소프트웨어 테스팅이 특정 입력에 대한 출력을 검사하는 데 그치는 반면, 형식적 방법은 가능한 모든 입력과 시스템 상태를 수학적으로 탐구하여 오류 가능성을 이론적으로 배제하려는 목표를 가진다.

주요 기법으로는 정형 명세 작성, 모델 체킹, 정리 증명 등이 있다. 정형 명세는 시스템의 동작을 수학적 논리나 자동화 이론을 사용해 명확하고 모호함 없이 정의한다. 모델 체킹은 시스템의 유한 상태 모델과 명세된 속성(예: "교착 상태가 발생하지 않는다")을 자동화 도구로 검사하여 속성이 만족되는지 여부를 확인한다. 정리 증명은 시스템의 명세와 구현이 수학적 정리와 증명의 형태로 표현되어, 그 정리가 참임을 논리적으로 증명하는 과정을 포함한다.

이 방법들은 특히 고신뢰성이 요구되는 분야에서 유용하게 적용된다. 다음 표는 주요 형식적 방법 기법과 그 특징을 보여준다.

형식적 방법은 구현 전 설계 단계에서 잠재적 결함을 조기에 발견하고, 시스템의 핵심 안전 속성을 엄격하게 증명할 수 있다는 장점이 있다. 그러나 전문적인 지식이 필요하고, 도구 사용에 비용이 발생하며, 대규모 복잡 시스템 전체에 적용하기에는 실용적 어려움이 있을 수 있다. 따라서 실제 프로젝트에서는 위험도가 높은 핵심 구성 요소에 선택적으로 적용되는 경우가 많다.

시뮬레이션은 실제 시스템이나 환경을 소프트웨어나 하드웨어 모델로 구현하여, 제품이 완성되기 전에 그 동작과 성능을 평가하는 V&V 기법이다. 특히 물리적 프로토타입 제작이 어렵거나 비용이 많이 드는 복잡한 시스템(예: 항공기 제어 시스템, 자율주행차 센서 융합 알고리즘)에서 유용하게 활용된다. 시뮬레이션을 통해 다양한 운영 조건과 예외 상황을 안전하고 반복적으로 재현할 수 있으며, 이는 시스템의 내구성과 신뢰성을 사전에 검증하는 데 핵심적인 역할을 한다.

프로토타이핑은 요구사항이나 설계 아이디어를 빠르게 구체화한 실물 모델(프로토타입)을 제작하는 활동이다. 이는 주로 확인(Validation) 활동, 즉 '올바른 제품을 만들고 있는가?'를 검토하는 데 초점을 맞춘다. 사용자나 이해관계자는 프로토타입을 직접 조작하고 피드백을 제공함으로써 초기 요구사항의 모호함을 해소하고, 사용자 경험(UX)과 기능적 적합성을 조기에 평가할 수 있다. 프로토타입은 종종 점진적으로 발전하여 최종 제품의 기반이 되기도 한다.

이 두 기법은 상호 보완적으로 적용된다. 초기 단계에서는 요구사항 검증을 위해 프로토타입이 사용되고, 후기 단계에서는 통합된 시스템의 복잡한 동작을 검증하기 위해 시뮬레이션이 활용되는 것이 일반적이다. 최근에는 모델 기반 설계(MBD) 환경에서 설계 모델 자체가 실행 가능한 프로토타입이 되며, 이 모델을 기반으로 한 시뮬레이션이 설계 단계부터 검증 활동을 가능하게 한다[4]. 이는 개발 주기 초기에 결함을 발견하여 비용을 절감하고 개발 기간을 단축하는 데 기여한다.

테스트 자동화 도구는 소프트웨어 테스팅의 검증 활동을 자동으로 수행하도록 설계된 소프트웨어 애플리케이션 또는 프레임워크이다. 이 도구들은 반복적이고 시간 소모적인 테스트 작업을 스크립트나 코드로 정의하여 실행함으로써 테스트 효율성과 정확성을 높인다. 주요 목표는 인력에 의한 수동 테스트의 부담을 줄이고, 더 빠른 피드백 루프를 제공하며, 테스트 커버리지를 확장하는 것이다.

테스트 자동화 도구는 적용 범위와 목적에 따라 여러 유형으로 구분된다. 단위 테스트 프레임워크(예: JUnit, pytest)는 개별 코드 모듈의 검증에 사용된다. API 테스트 도구(예: Postman)는 서비스 간 통신 인터페이스를 검증한다. 사용자 인터페이스 테스트 도구(예: Selenium, Cypress)는 웹 또는 데스크톱 애플리케이션의 GUI 동작을 자동화하여 시뮬레이션한다. 성능 테스트 도구(예: JMeter)는 시스템의 부하 처리 능력과 안정성을 평가한다.

효과적인 테스트 자동화를 위해서는 적절한 도구 선정과 함께 지속적인 유지보수가 필수적이다. 자동화된 테스트 스크립트는 애플리케이션의 변경에 따라 함께 수정되어야 하며, 그렇지 않면 오류를 발생시키거나 신뢰성을 잃게 된다. 따라서 자동화는 반복 실행 가치가 높고 안정적인 기능에 집중하는 것이 일반적인 전략이다. 최근에는 지속적 통합/지속적 배포 파이프라인에 테스트 자동화를 통합하여 코드 변경 시마다 자동으로 테스트 스위트를 실행하는 방식이 표준화되고 있다.

V&V 활동은 국제적으로 인정받은 표준에 의해 체계적으로 정의되고 지침이 제공된다. 특히 국제표준화기구(ISO)와 국제전기기술위원회(IEC)에서 공동으로 제정한 일련의 표준들이 소프트웨어 공학 및 시스템 공학 분야에서 V&V의 기본 프레임워크를 구성한다.

핵심 표준으로는 소프트웨어 생명 주기 프로세스를 정의하는 ISO/IEC 12207과 시스템 생명 주기 프로세스를 다루는 ISO/IEC 15288이 있다. 이 두 표준은 생명 주기의 각 단계에서 수행해야 할 검증과 확인 프로세스 및 활동을 명시적으로 포함하고 있다. ISO/IEC 12207은 소프트웨어의 요구사항, 설계, 구현, 테스팅에 이르는 전 과정에서의 검증(Verification)과 확인(Validation) 작업을 규정하며, ISO/IEC 15288은 더 넓은 범위의 시스템(하드웨어, 소프트웨어, 인력, 절차 등을 포함)에 대한 V&V 접근법을 제공한다. 두 표준 모두 V&V를 단순한 테스팅 단계가 아닌, 계획부터 실행, 평가에 이르는 체계적인 프로세스로 규정한다는 공통점을 가진다.

이들 표준에서 정의하는 V&V 프로세스는 일반적으로 다음 단계를 포함한다.

이러한 표준의 채택은 조직이 개발하는 제품의 품질과 신뢰성을 객관적으로 증명하는 데 기여한다. 또한, 특히 국제적인 협업이나 공공 조달 시장에서 표준 준수는 필수적인 요구사항으로 작용하기도 한다. 표준은 구체적인 기법이나 도구보다는 '무엇을(What)' 해야 하는지에 초점을 맞춘 프로세스 표준이므로, 조직은 이를 자신의 개발 환경과 프로젝트 특성에 맞게 세부적인 절차와 기법으로 구체화하여 적용한다.

안전-중요 시스템을 개발하는 산업 분야에서는 제품의 신뢰성과 안전성을 보장하기 위해 엄격한 V&V 요구사항을 규정한 표준이 존재한다. 이러한 규정은 법적 구속력을 가지거나 산업계의 사실상 표준으로 자리 잡아, 해당 분야의 개발 프로세스에 필수적으로 적용된다.

항공우주 분야에서는 소프트웨어의 공인을 위한 표준인 DO-178C가 대표적이다. 이 표준은 항공기 탑재 소프트웨어의 개발 수명 주기 전반에 걸쳐 수행해야 할 검증과 확인 활동을 상세히 정의한다. 소프트웨어의 안전 등급(예: A~E등급)에 따라 요구되는 테스트 커버리지, 문서화, 독립성 수준 등을 명시하여, 소프트웨어 결함이 항공기 사고로 이어지는 것을 방지하는 것을 목표로 한다.

자동차 산업에서는 ISO 26262 표준이 기능 안전을 규정한다. 이 표준은 자동차 전기/전자 시스템의 안전 관련 고장 위험을 관리하는 체계적인 접근법을 제공한다. ISO 26262는 위험 분석과 평가를 통해 안전 목표를 설정하고, 이를 달성하기 위한 V&V 활동을 요구한다. 자동차 안전 무결성 수준(ASIL)에 따라 검증 및 확인 활동의 강도와 방법이 결정된다.

의료기기 분야에서는 IEC 62304 표준이 의료기기 소프트웨어의 수명 주기 프로세스를 규제한다. 이 표준은 소프트웨어 안전 등급(A, B, C)을 부여하고, 각 등급에 맞는 위험 관리, 검증, 확인 활동을 요구한다. 특히 소프트웨어 변경에 대한 확인과 유효성 확인을 강조하여, 시장 출시 후에도 지속적인 안전성을 보장한다.

이러한 산업별 규정들은 공통적으로 V&V 활동을 체계화하고 문서화할 것을 요구하며, 종종 독립적인 검증 및 확인 팀의 관여를 필수 조건으로 명시한다. 규정 준수는 해당 제품의 시장 출시를 위한 필수 조건이 되며, 인증 기관의 심사를 통과해야 한다.

전통적인 소프트웨어 공학의 검증 및 확인 방법론은 결정론적 로직과 명확한 요구사항에 기반하지만, 인공지능과 머신러닝 시스템은 데이터에 의해 학습되고 확률적 행동을 보이는 특성으로 인해 고유한 도전 과제를 제시한다. AI/ML 시스템의 V&V는 모델이 의도한 대로 동작하고, 신뢰할 수 있으며, 공정하고, 견고한지 보장하는 것을 목표로 한다. 주요 초점은 학습 데이터의 품질, 모델의 일반화 성능, 설명 가능성, 그리고 비정상적인 입력에 대한 견고성에 맞춰져 있다.

AI/ML 시스템의 검증 활동은 주로 개발 과정과 모델 자체의 정확성을 평가하는 데 중점을 둔다. 이는 학습 데이터셋의 편향 검토, 특성 공학의 적절성 분석, 모델 학습 과정의 재현성 확인, 그리고 다양한 메트릭(예: 정확도, 정밀도, 재현율)을 사용한 성능 평가를 포함한다. 정적 분석 도구는 코드뿐만 아니라 데이터 파이프라인과 모델 아키텍처를 검사하는 데도 적용된다. 반면, 확인 활동은 실제 운영 환경에서의 모델 행동과 사용자 요구사항의 충족도를 평가한다. 이는 실제 시나리오 기반의 테스트, A/B 테스트, 사용자 피드백을 통한 성능 모니터링, 그리고 모델이 의사결정에 미치는 실제 영향을 검증하는 과정을 포함한다.

AI/ML V&V의 핵심 과제는 다음과 같다.

이러한 도전 과제를 해결하기 위해 새로운 접근법이 등장하고 있다. 형식적 방법을 변형하여 신경망의 안전 속성을 검증하거나, 시뮬레이션을 통해 수많은 에지 케이스를 생성하여 테스트하는 방법이 연구된다. 또한, 모델의 의사결정을 설명하는 LIME이나 SHAP 같은 도구를 V&V 프로세스에 통합하고, 자동화된 테스트 프레임워크를 활용하여 지속적으로 모델 성능을 검증하는 방식이 확산되고 있다. 안전-중요 분야에서는 ISO 21448[5]나 ISO 22989[6]와 같은 표준 개발이 진행 중이다.

지속적 통합(CI)과 지속적 배포(CD)는 소프트웨어 개발 생명주기를 가속화하는 현대적 실천법이다. 이 환경에서 V&V는 전통적인 폭포수 모델에서의 후기 단계 집중 활동에서, 개발 프로세스 전반에 걸쳐 지속적으로 수행되는 활동으로 진화한다. 핵심 목표는 빠른 피드백 루프를 통해 결함을 조기에 발견하고, 소프트웨어의 품질을 지속적으로 보증하며, 배포 가능한 상태를 유지하는 것이다.

CI/CD 파이프라인 내에서 검증(Verification) 활동은 주로 자동화된다. 코드 커밋 시점에 자동으로 실행되는 정적 분석 도구, 단위 테스트, 통합 테스트는 코드가 명세와 표준을 준수하는지 검증한다. 테스트 자동화는 회귀 결함을 방지하는 핵심 수단이 된다. 반면, 확인(Validation) 활동은 파이프라인의 후반부, 특히 스테이징 환경에서 수행된다. 자동화된 사용자 인수 테스트(UAT)나 성능 테스트를 통해 사용자 요구사항과 비즈니스 가치를 충족하는지 확인한다.

이러한 환경의 주요 도전 과제는 테스트 커버리지와 속도 사이의 균형을 찾는 것이다. 방대한 테스트 스위트를 빠르게 실행해야 하므로, 테스트를 효율적으로 계층화하고 병렬 실행하는 전략이 필수적이다. 또한, 인프라스트럭처를 코드로 관리하고 테스트 환경의 일관성을 보장하는 것도 중요하다. 최근에는 V&V를 더욱 앞당기기 위해 시프트 레프트 테스팅 접근법과 함께, 프로덕션 환경에서의 제한적 롤아웃과 모니터링을 통한 확인(예: 카나리 배포, 카오스 엔지니어링)이 강조된다.