게임 이론과 내슈 평형(죄수의 딜레마)

게임 이론에서 분석 대상이 되는 게임은 공식적인 구성 요소들로 정의된다. 가장 기본적인 구성 요소는 참가자, 전략, 그리고 보수이다. 이 세 가지는 모든 게임의 핵심 골격을 이루며, 게임의 규칙과 결과를 수학적으로 명시하는 데 사용된다.

첫째, 참가자는 게임에서 의사결정을 내리는 주체이다. 참가자는 개인, 기업, 국가 등이 될 수 있으며, 각 참가자는 자신의 이익을 극대화하려는 합리적인 행위자로 가정된다. 둘째, 전략은 각 참가자가 게임에서 선택할 수 있는 모든 가능한 행동 계획을 의미한다. 이는 단순히 한 번의 행동일 수도 있고, 다양한 상황에 따른 조건부 행동 규칙의 집합일 수도 있다. 셋째, 보수는 각 참가자가 특정 전략 조합의 결과로 얻는 이득이나 손실을 수치화한 것이다. 보수는 효용, 이윤, 점수 등 다양한 형태로 표현되며, 보수 행렬이나 보수 함수를 통해 표시된다.

이 세 가지 구성 요소는 게임을 공식화하는 표준적인 틀을 제공한다. 예를 들어, 두 명의 참가자가 각각 두 가지 전략을 가진 간단한 게임은 다음과 같은 보수 행렬로 나타낼 수 있다.

위 표에서 각 괄호 안의 숫자 쌍 (A의 보수, B의 보수)은 해당 전략 조합이 선택되었을 때의 결과를 나타낸다. 게임 이론의 분석은 주어진 이러한 구성 요소 하에서, 참가자들이 어떻게 행동하며 그 결과가 무엇인지 예측하는 것을 목표로 한다.

협력 게임과 비협력 게임은 게임 이론에서 게임의 규칙과 참가자 간 상호작용 가능성에 따라 구분하는 핵심 분류 체계이다. 이 구분은 존 내슈가 명확히 정립했으며, 분석 방법과 해법 개념이 근본적으로 다르다.

비협력 게임은 참가자들이 사전에 구속력 있는 합의를 체결할 수 없는 상황을 모델링한다. 각 참가자는 자신의 보수를 극대화하기 위해 독립적으로 전략을 선택하며, 다른 참가자들의 선택을 예상하여 최선의 대응을 찾는다. 이 유형의 게임 분석에는 내슈 평형이 핵심 해법 개념으로 사용된다. 대표적인 예로 죄수의 딜레마, 치킨 게임, 공공재 게임 등이 있으며, 과점 시장에서 기업들의 가격 경쟁이나 군비 경쟁과 같은 상황을 설명하는 데 적합하다.

반면, 협력 게임은 참가자들이 구속력 있는 합의를 통해 협력 연합을 형성할 수 있는 상황을 다룬다. 분석의 초점은 연합이 창출할 수 있는 총 이익이 어떻게 참가자들 사이에 '공정하게' 분배될 수 있는지에 맞춰진다. 해법 개념으로는 슈플리 가치, 핵, 협상 집합 등이 사용된다. 노동자와 경영진의 단체 협상, 국제 협정 체결, 또는 공동 사업을 위한 기업 연합 형성과 같은 사례가 이에 해당한다.

이론적으로는 구분되지만, 실제 많은 상황은 두 요소가 혼재되어 있다. 예를 들어, 협상 과정 자체를 비협력 게임으로 모델링하여 그 균형을 분석한 뒤, 그 결과를 협력 게임의 해법과 연결시키는 접근법도 존재한다[1].

완전 정보 게임은 게임의 모든 참가자가 게임의 구조, 즉 가능한 모든 전략과 각 전략 조합에 따른 보수를 완벽하게 알고 있는 상황을 말한다. 체스나 바둑과 같은 전통적인 보드 게임이 대표적인 예시이다. 이러한 게임에서는 모든 행동이 공개적으로 이루어지며, 상대방의 가능한 수와 그에 따른 결과를 모두 계산할 수 있다. 따라서 게임 이론에서 완전 정보를 가정하면 참가자들의 합리적 의사결정 과정을 명확하게 모델링할 수 있다.

반면, 불완전 정보 게임은 적어도 한 명의 참가자가 게임의 핵심 요소에 대한 완전한 정보를 가지고 있지 않은 상황을 의미한다. 이는 상대방의 보수 함수를 모르거나, 상대방이 어떤 유형(예: 공격적 성향, 협력적 성향)에 속하는지 알지 못하는 경우를 포함한다. 포커 게임은 불완전 정보의 전형적인 예로, 상대방이 어떤 패를 들고 있는지 알 수 없기 때문에 블러핑과 같은 전략이 발생한다.

두 정보 구조는 게임의 해법과 전략적 균형에 근본적인 차이를 만든다. 완전 정보 게임에서는 역진 귀납법과 같은 방법을 통해 게임의 균형을 명확히 찾을 수 있는 경우가 많다. 그러나 불완전 정보 게임에서는 참가자들이 가진 정보의 비대칭성을 고려해야 하며, 이 경우 베이지안 내슈 평형과 같은 개념을 도입하여 분석한다. 여기서 참가자들은 자신이 가진 정보(신호)에 기반한 믿음(신념)을 형성하고, 그 믿음을 바탕으로 최적의 반응을 선택한다.

실제 경제, 정치, 사회적 상호작용의 대부분은 불완전 정보 하에서 이루어진다. 예를 들어, 기업 간 경쟁에서 상대방의 생산 비용을 정확히 알 수 없거나, 협상에서 상대방의 최저 가격을 모르는 상황이 여기에 해당한다. 따라서 불완전 정보 게임 이론은 현실 세계의 전략적 의사결정을 이해하는 데 더 널리 적용된다.

존 내슈는 20세기 중반 게임 이론 분야에 혁명적인 기여를 한 수학자이다. 그의 가장 중요한 업적은 1950년 발표한 박사 학위 논문 "비협력 게임"에서 내슈 평형 개념을 제시한 것이다. 이 개념은 모든 참가자가 자신의 선택을 고정했을 때, 어느 한 참가자도 단독으로 전략을 변경함으로써 이득을 볼 수 없는 상태를 정의한다. 당시 게임 이론은 주로 제로섬 게임이나 협력 게임에 집중되어 있었으나, 내슈는 보다 일반적인 비협력 게임의 해법을 체계화했다.

내슈의 접근법은 게임의 해를 하나의 '평형점' 집합으로 규정했다. 그의 정리는 유한한 수의 참가자와 유한한 전략을 가진 모든 비협력 게임에는 적어도 하나의 내슈 평형이 존재함을 증명했다. 이 존재 정리는 혼합 전략(확률적으로 다양한 순수 전략을 선택하는 것)을 허용할 때 성립한다. 이로 인해 경제학, 정치학, 생물학 등 다양한 분야에서 갈등과 협력의 구조를 분석하는 강력한 도구가 마련되었다.

내슈의 기여는 단순히 개념을 정립하는 데 그치지 않았다. 그의 작업은 비협력 게임 이론의 초석을 놓았으며, 이후 수십 년간 게임 이론의 핵심 분석 틀로 자리 잡았다. 1994년에는 게임 이론의 경제학적 응용에 기여한 공로로 라인하르트 젤텐, 존 하사니와 함께 노벨 경제학상을 수상했다. 그의 생애와 업적은 영화 《뷰티풀 마인드》를 통해서도 대중에게 널리 알려지게 되었다.

내슈 평형의 수학적 조건은 게임 이론에서 참가자들의 전략 선택이 서로에 대해 최적 반응이 되는 상태를 엄밀하게 정의한다. n명의 참가자가 있는 비협력 게임에서, 각 참가자 i는 이용 가능한 전략 집합 S_i를 가지며, 다른 모든 참가자들의 전략 조합을 s_{-i}로 표기한다. 참가자 i의 보수 함수는 π_i(s_i, s_{-i})로 나타낸다.

전략 조합 s* = (s*_1, s*_2, ..., s*_n)이 내슈 평형이 되기 위한 필요충분조건은, 모든 참가자 i와 그 참가자가 선택할 수 있는 모든 다른 전략 s_i ∈ S_i에 대해 다음 부등식이 성립하는 것이다:

π_i(s*_i, s*_{-i}) ≥ π_i(s_i, s*_{-i})

이 조건은 "다른 모든 참가자들이 자신의 평형 전략 s*_{-i}를 고수할 때, 어떤 참가자 i도 자신만 단독으로 전략을 변경하여(s_i로) 더 높은 보수를 얻을 수 없다"는 의미이다. 따라서 각 참가자의 선택은 다른 참가자들의 선택에 대한 최적 반응이 된다.

이 개념은 순수 전략과 혼합 전략으로 확장된다. 순수 전략은 특정 행동을 확정적으로 선택하는 것이고, 혼합 전략은 가능한 순수 전략들에 확률을 부여하여 무작위로 선택하는 것이다. 존 내슈는 모든 유한 게임(참가자 수와 전략 수가 유한한 게임)은 최소한 하나의 혼합 전략 내슈 평형을 가진다는 정리를 증명하였다[3].

이러한 수학적 틀은 게임의 해를 체계적으로 찾고 분석하는 도구를 제공한다.

죄수의 딜레마의 고전적 시나리오는 두 명의 공범이 체포되어 분리되어 심문을 받는 상황을 가정한다. 각 죄수는 상대방의 선택을 모른 채, 협력하여 침묵을 지키거나 배반하여 상대를 고발하는 두 가지 전략 중 하나를 선택해야 한다. 이 선택에 따라 결정되는 결과, 즉 보수는 다음과 같은 조건으로 주어진다.

결과는 두 죄수의 선택 조합에 따라 달라지며, 일반적으로 아래와 같은 보수 행렬로 표현된다. 이 행렬에서 각 셀의 첫 번째 숫자는 죄수 A의 보수(복역 기간), 두 번째 숫자는 죄수 B의 보수를 나타낸다. 숫자는 복역 기간을 의미하므로, 값이 작을수록 좋은 결과이다.

보수 구조의 핵심은 다음과 같다. 상대가 침묵할 때, 자신이 고발하면(0년) 침묵하는 것(1년)보다 이익이다. 상대가 고발할 때, 자신이 고발하면(2년) 침묵하는 것(3년)보다 이익이다. 따라서 상대의 선택에 관계없이, 개인에게는 항상 고발(배반)이 침묵(협력)보다 더 나은 전략이다. 이렇게 각 참가자가 자신의 보수를 극대화하는 우월 전략을 선택하면, 결국 둘 다 고발하여 각각 2년을 복역하는 (고발, 고발) 결과에 이르게 된다.

그러나 이 결과는 두 사람 모두가 침묵했을 경우의 결과(각각 1년)보다 열등하다. 여기서 개인의 합리적 선택이 집단적으로는 비합리적인 결과를 초래하는 모순, 즉 개인적 이성과 집단적 이성의 괴리가 발생한다. (고발, 고발)의 결과는 내슈 평형 상태이지만, 팔레토 최적은 아니라는 점에서 이 게임의 딜레마 본질이 드러난다.

죄수의 딜레마는 개별 참가자의 합리적 선택이 집단 전체에 비합리적인 결과를 초래하는 역설적 상황을 명확히 보여준다. 각 죄수에게는 배반과 침묵이라는 두 가지 전략이 존재한다. 개인적 이성에 따르면, 상대방의 선택과 관계없이 자신에게 항상 더 높은 보수를 제공하는 배반이 우월한 전략이다. 이 논리에 따라 양측 모두 배반을 선택하면, 그 결과는 서로에게 최악의 보수인 장기간의 복역이 된다.

반면, 집단적 이성의 관점에서 최선의 결과는 양측 모두 침묵을 지켜 짧은 복역을 하는 것이다. 이는 팔레토 최적 상태에 해당한다. 그러나 비협력적 게임 구조 하에서는 상호 신뢰와 협약이 강제되지 않기 때문에, 개인적 이성에 기반한 선택이 집단적 이성을 저버리는 결과를 낳는다. 이 갈등은 내슈 평형이 반드시 집단적으로 바람직한 결과를 보장하지 않음을 보여주는 대표적 사례이다.

이러한 갈등 구조는 시장에서의 담합 유지 문제, 공공재의 제공, 환경 오염 방지와 같은 다양한 사회적 딜레마 상황에서 반복적으로 나타난다. 각 경제 주체는 자신의 이익을 극대화하기 위해 규칙을 어기거나 기여를 게을리하려는 유인을 가지지만, 모든 주체가 그렇게 행동하면 전체 시스템이 붕괴되어 결국 모두에게 손해가 돌아온다.

죄수의 딜레마가 제시하는 핵심 질문은, 개별적 합리성이 집단적 비합리성으로 이어지는 이러한 함정을 어떻게 극복할 수 있는가이다. 이에 대한 한 가지 해법은 게임을 반복하여 미래에 대한 보복 가능성을 만드는 반복 죄수의 딜레마 모델에서 찾을 수 있다. 다른 해법으로는 제도적 장치나 외부적 규제를 도입하여 게임의 규칙 자체를 변경하는 방법이 있다.

죄수의 딜레마에서 각 참가자(죄수)는 두 가지 전략, 즉 침묵(협력)과 자백(배반) 중 하나를 선택한다. 각자의 선택이 결합되어 결정되는 결과(보수)는 일반적으로 다음과 같은 보수 행렬로 표현된다.

내슈 평형은 다른 참가자의 전략이 주어졌을 때, 어느 한 참가자도 자신의 전략을 단독으로 변경함으로써 이득을 볼 수 없는 전략 조합을 의미한다. 이 조건에 따라 죄수의 딜레마를 분석하면, (자백, 자백) 즉, 서로 배반하는 전략 조합이 유일한 내슈 평형이 된다.

이를 확인하기 위해, 죄수 A의 입장에서 생각해본다. 만약 죄수 B가 침묵을 선택한다면, A는 침묵을 선택할 경우 1년, 자백을 선택할 경우 0년의 징역을 받는다. 따라서 A는 자백(배반)을 선택하는 것이 유리하다. 반대로, 죄수 B가 자백을 선택한다면, A는 침묵 시 3년, 자백 시 2년의 징역을 받게 되어 역시 자백(배반)을 선택하는 것이 유리하다. 죄수 B의 사고 과정도 완전히 대칭적이다. 따라서 상대의 선택에 관계없이 배반이 항상 더 나은 결과를 보장하는 우월 전략이 된다.

결과적으로 두 죄수가 모두 이성적으로 자신의 이익을 극대화하려는 행동을 취하면, 그들은 서로 배반하게 되어 각자 2년씩 징역을 살게 된다. 이는 두 사람이 모두 침묵(협력)을 유지했을 경우 받게 될 각자 1년 징역보다 집단적으로 보면 더 나쁜 결과이다. 이 모델은 개인의 합리적 선택이 집단적으로는 비합리적인 결과(비효율)로 이어질 수 있는 고전적인 사례를 보여준다. 내슈 평형은 이러한 갈등 구조에서 예측되는 결과를 명확히 규정하는 도구 역할을 한다.

반복 죄수의 딜레마는 동일한 참가자들이 같은 죄수의 딜레마 구조의 게임을 여러 차례 반복하여 플레이하는 상황을 모델링한다. 일회성 게임에서는 상호 배반이 유일한 내슈 평형이지만, 게임이 반복됨에 따라 미래의 보복 가능성이 생겨 협력이 합리적인 전략으로 등장할 수 있다. 이는 참가자들이 장기적인 관계에서 신뢰와 보복의 메커니즘을 통해 협력적 결과를 도출할 수 있음을 보여준다.

가장 유명한 전략 중 하나는 티트포테이트이다. 이 전략은 상대방이 협력하면 다음 판에도 협력하고, 상대방이 배반하면 다음 판에는 배반으로 응수하는 방식으로, 단순하면서도 효과적인 협력을 유도한다. 1980년대 컴퓨터 토너먼트에서 티트포테이트 전략이 높은 성적을 거두며, 반복 상호작용 하에서 '눈에는 눈, 이에는 이'의 원칙이 강력함을 입증했다[6].

반복 횟수와 게임의 종료 시점은 결과에 결정적 영향을 미친다. 게임의 종료가 확실하고 공지되어 있다면, 마지막 판에서는 일회성 게임과 같아져 배반이 유리해지며, 이는 역설적으로 첫 판부터 협력이 무너지는 '역진귀납' 문제를 발생시킨다. 따라서 무한 반복이나 종료 확률이 불확실한 게임에서 협력의 동기가 더 강해진다.

이 모델은 국제 관계, 기업 간 경쟁, 사회적 규범의 형성 등 장기적 상호작용이 중요한 다양한 분야를 분석하는 데 널리 응용된다.

다수 참가자 게임은 두 명 이상의 참가자가 상호작용하는 상황을 모델링한다. 이 중 공공재 게임은 집단 행동의 딜레마를 보여주는 대표적인 예시이다. 이 게임에서 각 참가자는 자신의 자원 중 일부를 공동의 이익을 위해 기부할지, 아니면 개인적으로 소비할지 선택한다. 기부된 자원은 모든 참가자에게 동등하게 분배되는 공공재를 생산하는 데 사용된다.

게임의 구조상, 각 참가자에게는 다른 사람의 기부에 무임승차하는 것이 개인적으로는 합리적인 선택처럼 보인다. 그러나 모든 참가자가 같은 논리로 행동하면, 공공재는 전혀 생산되지 않거나 최소한의 수준에 머물게 된다. 이는 개인의 합리적 선택이 집단적으로는 비합리적인 결과(파레토 비효율성)를 초래하는 사회적 딜레마의 전형이다.

이 모델은 환경 보호, 자발적 세금 납부, 오픈소스 소프트웨어 개발 등 다양한 실제 상황을 설명하는 데 사용된다. 참가자 수가 증가할수록 개인의 기여가 전체 결과에 미치는 영향이 희석되어 무임승차 유인이 더 강해지는 경향이 있다. 반복 상호작용, 제도적 장치, 사회적 규범 등은 이 딜레마를 완화할 수 있는 요인으로 연구된다.

내슈 평형은 게임에서 어떤 참가자도 자신의 전략을 단독으로 변경함으로써 이득을 볼 수 없는 전략 조합을 의미한다. 그러나 많은 게임에서는 이러한 조건을 만족하는 전략 조합이 하나가 아니라 여러 개 존재할 수 있다. 이 현상을 다중 평형 문제라고 한다.

다중 평형이 존재할 경우, 게임의 결과를 예측하는 데 어려움이 생긴다. 참가자들이 서로 다른 평형을 예상하거나 선호한다면, 실제로 어떤 평형이 실현될지 결정하기가 모호해진다. 예를 들어, 조정 게임에서는 두 참가자가 서로 만나기로 한 약속 장소가 두 군데 있을 때, 둘 다 같은 장소를 선택해야만 성공하는 상황을 가정할 수 있다. A장소와 B장소 모두가 내슈 평형이지만, 참가자들 사이에 사전 조정이 없다면 서로 다른 장소를 선택할 위험이 존재한다[8]]은 초점점 이론을 제시했다]. 이는 게임 이론이 '어떤 결과가 발생할 것인가'라는 예측적 기능을 수행하는 데 한계를 보이는 대표적인 사례이다.

이 문제를 해결하기 위해 여러 가지 정제 개념이 개발되었다. 섭동 완전 평형은 참가자들이 아주 작은 확률로 실수를 할 가능성을 고려하여 불안정한 평형을 걸러낸다. 순차적 평형은 확장형 게임에서 정보 집합에 대한 믿음의 일관성을 요구한다. 또한, 공리적 접근법을 통해 평형을 선택하는 기준을 제시하거나, 게임의 역사나 문화적 맥락, 사회적 규범이 특정 평형으로 이끌 수 있다는 분석도 존재한다. 이러한 발전에도 불구하고, 다중 평형 상황에서의 최종 결과 선택 문제는 비협력 게임 이론의 근본적인 과제로 남아 있다.

내슈 평형은 비협력 게임에서 각 참가자가 주어진 다른 참가자들의 전략에 대해 자신의 보수를 최대화하는 전략을 선택하는 상태를 설명한다. 그러나 이러한 비협력적 해법은 현실의 많은 상호작용을 설명하는 데 몇 가지 근본적인 한계를 보인다.

첫째, 내슈 평형은 참가자들이 완전히 이기적이고 합리적이며, 상대방의 의도나 미래 관계에 대한 고려 없이 단일 게임의 결과만을 최적화한다고 가정한다. 이는 협력이나 신뢰, 공정성, 복수와 같은 사회적 규범이나 심리적 요인이 개인의 선택에 영향을 미칠 수 있는 상황을 제대로 반영하지 못한다. 예를 들어, 실험 경제학 연구들은 사람들이 내슈 평형이 예측하는 것보다 더 자주 협력적 선택을 한다는 것을 보여준다[9]. 둘째, 내슈 평형은 게임의 규칙(보수 행렬)이 모든 참가자에게 완벽하게 공통 지식이라는 완전 정보 가정에 크게 의존한다. 불확실성이나 정보의 비대칭이 존재하는 복잡한 상황에서는 평형 개념을 적용하거나 계산하는 것이 현실적으로 어려워진다.

마지막으로, 비협력 게임 이론과 내슈 평형은 참가자들이 사전에 구속력 있는 합의를 맺을 수 없는 상황을 전제한다. 따라서 담합이나 공식적 계약을 통해 더 나은 집단적 결과를 달성할 수 있는 가능성을 체계적으로 분석하지 않는다. 이는 법적 제도나 기관의 역할이 중요한 경제적, 정치적 상호작용을 분석하는 데 한계로 작용한다. 이러한 한계들을 보완하기 위해 협력 게임 이론, 행동 게임 이론, 그리고 반복 게임 이론 등이 발전하게 되었다.

경제학에서 내슈 평형과 죄수의 딜레마는 시장 구조, 특히 과점 시장과 기업 간 담합 행위를 분석하는 데 널리 활용된다. 과점 시장은 소수의 판매자가 시장을 지배하는 상황으로, 각 기업의 이윤은 자신의 가격 또는 생산량 결정뿐만 아니라 경쟁사의 결정에도 영향을 받는다. 이는 전형적인 비협력 게임의 구조를 가진다.

가장 간단한 모델인 쿠르노 경쟁에서는 각 기업이 경쟁사의 생산량을 주어진 것으로 보고 자신의 이윤을 극대화하는 생산량을 선택한다. 이 모델의 해는 내슈 평형에 해당하며, 각 기업은 다른 기업의 선택을 고려했을 때 자신의 전략을 변경할 유인이 없는 생산 수준에 머무른다. 그러나 이 평형 상태의 결과는 완전 경쟁 시장보다는 높지만 독점 시장보다는 낮은 가격과 총 생산량을 초래한다[11].

담합 상황은 죄수의 딜레마를 명확히 보여준다. 기업들이 협력하여 독점 수준의 가격을 유지하고 생산량을 제한하면 집단적 이윤이 최대화된다. 이는 팔레토 최적 상태에 해당한다. 그러나 각 기업에게는 협약을 어기고 상대방보다 조금 더 낮은 가격을 책정하거나 더 많은 양을 생산함으로써 시장 점유율과 이익을 늘릴 유인이 항상 존재한다. 모든 기업이 이러한 개인적 이성을 추구하여 배반할 경우, 시장은 경쟁적 가격 수준으로 돌아가고 모든 기업의 이윤은 감소한다. 따라서 비협력 게임의 해인 내슈 평형은 담합이 불안정할 수 있음을 시사한다.

위 표는 담합의 죄수의 딜레마를 단순화한 보수 구조를 보여준다. 상호 협력(10,10)보다 상호 배반(7,7)의 결과가 더 나쁨에도 불구하고, 상대방의 선택에 관계없이 낮은 가격 책정(배반)이 우월한 전략이 되어 (낮은 가격, 낮은 가격)이 내슈 평형이 된다. 이 모델은 왜 담합 협정이 법적 제재 없이는 쉽게 무너질 수 있는지 설명한다.

군비 경쟁은 죄수의 딜레마와 내슈 평형을 통해 분석되는 대표적인 정치학적 사례이다. 두 국가가 상대방의 군사력 증강에 대응하여 자신의 군비를 확장하는 과정은, 상호 협력(군비 통제)보다 상호 경쟁(군비 증강)이 각자의 합리적 선택이 되는 상황을 보여준다.

각 국가는 상대방이 군비를 축소할 경우 자신이 군비를 유지하거나 증강하면 상대적인 안보와 국제적 지위에서 이득을 볼 수 있다고 판단한다. 반대로, 상대방이 군비를 증강할 때 자신만 군비를 통제하면 심각한 안보 위협에 직면할 수 있다. 따라서 상대방의 선택에 관계없이 군비 증강이 상대적으로 더 나은 전략이 되며, 이는 게임 이론에서 우월 전략에 해당한다. 결과적으로 양국 모두 군비를 증강하는 것이 유일한 내슈 평형이 되어, 막대한 자원 소모와 안정성 저하라는 집단적으로 비합리적인 결과를 초래한다[12].

이 모델은 냉전 시기의 미국과 소련 간 핵무기 경쟁을 설명하는 데 빈번히 사용된다. 양국은 협상을 통해 군비 통제 조약(예: 전략무기제한협상)을 체결하려 노력했지만, 기본적인 게임의 구조는 상호 불신과 선제적 이득의 유인으로 인해 지속적인 경쟁 압력을 만들어냈다. 이는 일회성 게임이 아닌 반복 죄수의 딜레마 상황으로 볼 수 있으며, 장기적인 상호작용과 보복의 가능성이 협력(군비 통제)을 일부 유도할 수 있음을 시사한다.

진화 게임 이론은 게임 이론의 원리를 생물학적 진화 과정에 적용한 분야이다. 이 접근법은 유기체의 행동이나 형질이 자연 선택을 통해 어떻게 진화하는지를 분석하는 데 사용된다. 여기서 '게임'의 참가자는 개체나 유전자이며, '전략'은 유전적으로 프로그램된 행동 양식(예: 공격성, 협력)을 의미한다. '보수'는 해당 전략을 채택한 개체의 생식 성공도, 즉 적응도에 해당한다. 생물학적 맥락에서 내슈 평형은 진화적으로 안정한 전략이라는 개념과 밀접하게 연결된다.

진화적으로 안정한 전략은 한 집단 내에서 대부분의 개체가 채택하고 있을 때, 다른 어떤 돌연변이 전략도 침입하여 이를 대체할 수 없는 전략 상태를 말한다. 이는 게임 이론의 내슈 평형과 유사한 개념으로, 한 번 정착되면 집단 내에서 안정적으로 유지된다. 대표적인 예는 죄수의 딜레마를 진화적 맥락에 적용한 것이다. 예를 들어, 동물들이 서로 협력하거나 배반하는 상황에서, 단일 경기에서는 배반이 우월 전략이지만, 같은 개체들이 반복적으로 상호작용하는 반복 죄수의 딜레마 환경에서는 눈에는 눈과 같은 조건부 협력 전략이 진화적으로 안정해질 수 있다.

진화 게임 이론의 응용은 협력의 진화, 성 선택, 친족 선택, 신호 게임 등 다양한 생물학 현상을 설명한다. 예를 들어, 공격적인 싸움 대신 위협적인 신호만으로 대치를 끝내는 공손함의 의식은 과도한 부상 비용을 피하는 내쉬 균형에 해당할 수 있다[13]. 이 이론은 경제학의 합리적 선택이 아닌, 무의식적이고 유전적으로 고정된 행동 패턴의 진화를 모델링한다는 점에서 차별성을 가진다.

팔레토 최적(Pareto optimality)은 경제학 및 게임 이론에서 자원 배분이나 게임의 결과가 특정 조건을 만족할 때를 설명하는 개념이다. 어떤 상태에서 더 이상 한 참가자의 이득을 다른 참가자의 손해 없이는 증가시킬 수 없을 때, 그 상태를 팔레토 최적이라고 한다. 이 개념은 이탈리아의 경제학자 빌프레도 파레토의 이름을 따서 명명되었다.

팔레토 최적 상태는 반드시 모든 참가자에게 공평하거나 바람직한 상태를 의미하지는 않는다. 단지 주어진 자원과 제약 하에서 더 이상 '누구도 손해 보지 않고 누군가를 더 나은 상태로 만들 수 없는' 효율적인 배분 상태를 가리킨다. 예를 들어, 한 사회에서 모든 부가 한 사람에게 집중된 상태도, 그 사람의 부를 줄이지 않고는 다른 사람의 상태를 개선할 수 없다면 기술적으로는 팔레토 최적일 수 있다.

게임 이론, 특히 죄수의 딜레마에서 내슈 평형과 팔레토 최적의 관계는 중요한 통찰을 제공한다. 죄수의 딜레마의 고전적 모델에서, 두 죄수가 모두 배반하는 결과(내슈 평형)는 팔레토 최적이 아니다. 왜냐하면 두 죄수가 모두 침묵을 지키는 결과로 이동하면 누구도 손해 보지 않고(오히려 형량이 줄어들어) 두 사람 모두 더 나은 결과를 얻을 수 있기 때문이다. 이는 개별적 이성에 따른 선택이 집단적으로는 비효율적인 결과를 초래할 수 있음을 보여주는 대표적 사례이다.

따라서 많은 사회적 딜레마 상황에서 바람직한 목표는 내슈 평형이면서 동시에 팔레토 최적인 해법을 찾는 것이다. 이를 위해 반복 게임, 제도 설계, 신호 전달 등의 메커니즘이 연구된다. 팔레토 최적의 개념은 자원 배분의 효율성을 평가하는 기본 틀로서, 후생 경제학, 공공 정책 분석, 그리고 협상 해법을 모색하는 협상 게임 이론에서 널리 활용된다.

협상 게임은 게임 참가자들이 서로 협상하여 합의점을 찾는 과정을 모델링한 게임 이론의 한 분야이다. 이는 순수한 경쟁 게임과 달리, 협력을 통해 상호 이익을 창출할 수 있는 상황을 분석한다. 대표적인 협상 게임 모델로는 존 내슈가 제안한 내슈 협상 게임이 있으며, 이는 협상 해법을 공리적으로 접근하는 데 기초를 제공했다.

협상 해법은 특정 협상 상황에서 합리적인 합의가 무엇인지를 제시하는 개념이다. 내슈는 협상 해법이 만족해야 할 몇 가지 공리(합리성, 대칭성, 척도 불변성, 무관한 대안으로부터의 독립성)를 제시하고, 이를 만족하는 유일한 해법이 협상 가능한 보수의 곱을 최대화하는 점임을 증명했다[14]. 이 해법은 협상 당사자들의 협상력(위협점)과 가능한 이익의 크기를 종합적으로 반영한다.

협상 게임 이론은 노사 협상, 국제 무역 협정, 기업 간 합병 등 다양한 분야에 적용된다. 이는 내슈 평형이 비협력 게임의 결과를 설명하는 데 중점을 둔다면, 협상 게임은 협력을 통해 팔레토 최적에 도달할 수 있는 과정과 조건을 탐구한다는 점에서 차이가 있다.