행렬 연산

행렬의 덧셈과 뺄셈은 가장 기본적인 행렬 연산이다. 두 행렬 간에 덧셈이나 뺄셈을 수행하려면, 두 행렬의 행의 개수와 열의 개수가 각각 동일해야 한다. 즉, 크기가 같은 정방행렬 또는 직사각행렬끼리만 연산이 가능하다. 이 조건을 만족하는 두 행렬 A와 B가 있을 때, 두 행렬의 합 C = A + B는 각각의 대응하는 성분(원소)끼리 더하여 구한다. 예를 들어, C의 i행 j열 원소는 A의 i행 j열 원소와 B의 i행 j열 원소의 합이다. 뺄셈 C = A - B도 마찬가지로 대응하는 성분끼리 빼서 계산한다.

행렬의 덧셈은 교환법칙과 결합법칙이 성립한다. 즉, A + B = B + A 이며, (A + B) + C = A + (B + C) 가 성립한다. 이는 성분 단위의 덧셈이 실수나 복소수에서 이루어지며, 실수의 덧셈이 이러한 법칙을 따르기 때문이다. 또한, 모든 성분이 0인 영행렬은 덧셈에 대한 항등원 역할을 한다. 행렬 뺄셈은 덧셈의 역연산으로 정의되며, A - B = A + (-B)와 같이 스칼라곱을 이용해 표현할 수 있다.

이러한 연산은 선형대수학의 기초를 이루며, 벡터의 연산을 일반화한 것으로 볼 수 있다. 실제로 행벡터나 열벡터는 행렬의 특수한 경우이므로, 벡터의 덧셈과 뺄셈은 행렬 연산의 일부로 포함된다. 행렬 덧셈과 뺄셈은 선형 방정식 시스템을 다루거나, 선형 변환을 표현하는 데 필수적이다.

스칼라 곱셈은 행렬의 각 성분에 하나의 수(스칼라)를 곱하는 연산이다. 이때 사용되는 스칼라는 주로 실수나 복소수와 같은 수체의 원소를 의미한다. 행렬 A의 모든 성분 a_ij에 스칼라 k를 곱한 결과 행렬을 kA로 표기하며, 이는 행렬 A와 크기가 동일하다. 예를 들어, 2×2 행렬의 각 원소에 3을 곱하면, 결과 행렬의 모든 원소는 원래 원소의 3배가 된다.

스칼라 곱셈은 행렬 덧셈과 함께 벡터 공간을 정의하는 기본 연산 중 하나로, 행렬을 스칼라 배만큼 확대 또는 축소하는 효과를 가진다. 이 연산은 교환법칙과 결합법칙이 성립하며, 행렬 덧셈에 대한 분배법칙도 성립한다. 즉, 임의의 스칼라 k, l과 행렬 A, B에 대해 k(A+B) = kA + kB와 (k+l)A = kA + lA가 성립한다.

이 연산은 선형 변환을 다룰 때 핵심적인 역할을 하며, 컴퓨터 그래픽스에서 객체의 크기 조절(스케일링)이나 머신 러닝에서 경사 하강법 등의 최적화 과정에서 학습률(learning rate)을 파라미터에 곱할 때 널리 활용된다.

행렬 곱셈은 두 개의 행렬을 곱하여 새로운 행렬을 얻는 연산이다. 이 연산은 스칼라곱이나 행렬 덧셈과는 달리, 앞 행렬의 열 수와 뒤 행렬의 행 수가 같아야만 정의된다. 예를 들어, m×n 행렬 A와 n×p 행렬 B를 곱하면 그 결과는 m×p 행렬 C가 된다. 결과 행렬 C의 i행 j열에 위치한 원소는 행렬 A의 i행과 행렬 B의 j열의 대응하는 원소들을 곱한 후 모두 더한 값, 즉 내적으로 계산된다.

행렬 곱셈은 일반적으로 교환법칙이 성립하지 않는다. 즉, AB와 BA는 크기가 다를 수 있을 뿐만 아니라, 크기가 같더라도 그 값이 서로 다를 수 있다. 이는 수의 곱셈과 구별되는 중요한 특징이다. 그러나 결합법칙 (AB)C = A(BC)와 분배법칙 A(B+C) = AB + AC는 성립한다. 이러한 특성 덕분에 여러 행렬을 연속적으로 곱하는 복잡한 계산도 순서를 적절히 조정하여 효율적으로 수행할 수 있다.

행렬 곱셈은 선형 변환의 합성을 표현하는 자연스러운 도구로, 수학과 응용 분야에서 핵심적인 역할을 한다. 선형 방정식 시스템을 간결하게 표현하거나, 컴퓨터 그래픽스에서 물체의 회전 및 확대와 같은 기하학적 변환을 구현하는 데 사용된다. 또한 인공신경망을 비롯한 머신 러닝 모델에서 데이터와 가중치를 처리하는 기본 연산으로 널리 활용된다.

전치 행렬은 주어진 행렬의 행과 열을 서로 바꾸어 얻는 새로운 행렬이다. 어떤 행렬 A의 전치 행렬은 보통 A^T, A^t, 또는 A'로 표기한다. 예를 들어, m개의 행과 n개의 열을 가진 행렬을 전치하면 n개의 행과 m개의 열을 가진 행렬이 된다. 이 연산은 행렬의 대각선을 기준으로 원소들을 대칭 이동시키는 것과 같다.

전치 연산은 여러 가지 중요한 성질을 가진다. 먼저, 행렬의 전치를 두 번 취하면 원래의 행렬이 된다. 또한, 두 행렬의 합의 전치는 각각의 전치 행렬의 합과 같다. 스칼라 곱의 경우, 스칼라와 행렬의 곱을 전치한 것은 스칼라와 전치 행렬의 곱과 동일하다. 특히 중요한 성질은 두 행렬의 곱의 전치이다. 두 행렬 A와 B의 곱 AB가 정의될 때, 이 곱의 전치 행렬 (AB)^T는 B의 전치 행렬과 A의 전치 행렬의 곱, 즉 B^T A^T와 같다. 이는 순서가 뒤바뀐다는 점에 주의해야 한다.

전치 연산은 대칭 행렬과 반대칭 행렬을 정의하는 데 핵심적인 역할을 한다. 어떤 정사각 행렬이 자신의 전치 행렬과 같으면, 즉 A = A^T이면 그 행렬을 대칭 행렬이라고 한다. 반대로, 자신의 전치 행렬에 음의 부호를 붙인 것과 같으면, 즉 A = -A^T이면 그 행렬을 반대칭 행렬 또는 교대 행렬이라고 한다. 모든 정사각 행렬은 유일하게 하나의 대칭 행렬과 하나의 반대칭 행렬의 합으로 표현할 수 있다.

이 개념은 선형 대수학 전반에 걸쳐 광범위하게 활용된다. 내적 공간에서의 선형 변환과 그 수반 연산자를 행렬로 표현할 때 전치 연산이 등장하며, 최소 제곱법을 이용한 회귀 분석이나 다양한 최적화 문제에서도 필수적으로 사용된다. 또한, 전치 행렬의 개념은 복소수 성분을 가진 행렬로 확장되어, 켤레 전치 또는 에르미트 전치라는 더 일반화된 연산의 기초가 된다.

단위 행렬은 정사각 행렬의 한 종류로, 주대각선의 모든 성분이 1이고 나머지 성분은 모두 0인 행렬이다. 주로 기호 I 또는 E로 표시되며, 행렬 곱셈에 대한 항등원 역할을 한다. 즉, 임의의 행렬 A에 대해 A와 크기가 맞는 단위 행렬 I를 곱하면, IA = AI = A가 성립한다. 이 성질은 수학에서 숫자 1이 곱셈의 항등원인 것과 유사하다.

단위 행렬은 선형 변환의 관점에서 항등 변환을 나타낸다. 어떤 벡터에 단위 행렬을 곱하면 그 벡터 자체가 그대로 나오기 때문이다. 또한, 역행렬을 정의하거나 행렬식을 계산할 때 중요한 기준이 된다. 단위 행렬의 행렬식 값은 항상 1이며, 이는 가역 행렬의 필요조건과 연결된다.

단위 행렬의 개념은 컴퓨터 그래픽스에서 변환 행렬을 초기화하거나, 머신 러닝 알고리즘에서 정규화 항을 추가할 때, 또는 선형 방정식 시스템을 풀기 위한 가우스 소거법 과정에서도 활용된다.

역행렬은 정사각 행렬에 대하여 정의되는 특별한 연산이다. 어떤 정사각 행렬 A에 대해, A와 곱했을 때 단위 행렬 I가 되는 행렬을 A의 역행렬이라 하며, 보통 A^{-1}로 표기한다. 즉, A A^{-1} = A^{-1} A = I의 관계가 성립한다. 역행렬이 존재하는 행렬을 가역 행렬 또는 정칙 행렬이라고 부르며, 그렇지 않은 행렬을 특이 행렬이라고 한다.

모든 행렬이 역행렬을 가지지는 않는다. 역행렬 존재 여부는 행렬식의 값으로 판별할 수 있는데, 행렬식의 값이 0이 아니면 가역이며, 0이면 특이 행렬이다. 역행렬을 구하는 방법에는 여러 가지가 있다. 2×2 행렬의 경우 공식이 간단하지만, 그 이상의 크기를 가진 행렬에 대해서는 가우스 소거법이나 여인수를 이용한 방법, LU 분해 등이 사용된다.

역행렬의 개념은 선형 방정식 풀이에 핵심적이다. 연립일차방정식 Ax = b가 있을 때, 계수 행렬 A가 가역이면 해는 x = A^{-1}b로 유일하게 구할 수 있다. 또한, 선형 변환의 관점에서 보면, 어떤 변환을 나타내는 행렬의 역행렬은 그 변환의 역변환을 나타낸다.

역행렬은 다양한 수학 및 공학 분야에서 응용된다. 컴퓨터 그래픽스에서의 좌표 변환, 암호학의 일부 알고리즘, 그리고 머신 러닝과 통계학의 회귀 분석 등에서 역행렬 계산은 중요한 도구로 활용된다. 그러나 대규모 행렬이나 조건이 나쁜 행렬의 경우 수치적 안정성을 고려한 특별한 알고리즘이 필요하다.

행렬식은 정사각행렬에 대응되는 하나의 스칼라 값이다. 이 값은 행렬이 나타내는 선형 변환이 공간을 얼마나 확대 또는 축소하는지를 나타내는 척도로 해석된다. 행렬식이 0이면 해당 행렬은 가역행렬이 아니며, 이는 선형 변환이 공간을 낮은 차원으로 축소시킨다는 것을 의미한다. 이러한 성질은 연립 일차 방정식의 해가 유일하게 존재하는지 판별하는 데 핵심적인 역할을 한다.

2×2 행렬과 3×3 행렬에 대한 행렬식은 비교적 간단한 공식으로 계산할 수 있다. 일반적인 n×n 행렬의 행렬식은 여인수 전개나 다양한 행렬 분해 방법을 통해 구한다. 행렬식은 행렬의 고유값들의 곱과 같으며, 대각합과 함께 행렬의 중요한 불변량 중 하나이다.

행렬식은 기하학적 의미를 가지고 있어, 2차원에서는 두 벡터가 이루는 평행사변형의 넓이, 3차원에서는 세 벡터가 이루는 평행육면체의 부피를 계산하는 데 사용된다. 또한, 미적분학에서 야코비 행렬의 행렬식은 변수 변환 시 적분 요소의 크기 변화를 나타내는 야코비안으로 등장한다.

선형대수학의 여러 분야에서 행렬식은 기본적인 도구로 활용된다. 크래머 법칙은 행렬식을 이용해 연립방정식의 해를 표현하며, 행렬이 가역행렬인지 판별할 때 필수적이다. 또한, 특이값 분해나 고유값 분해와 같은 고급 주제를 이해하는 데도 기초가 된다.

대각합은 정사각행렬의 주대각선 성분들의 합을 의미하는 스칼라 값이다. 주대각선은 행렬의 왼쪽 위에서 오른쪽 아래로 내려가는 대각선을 가리킨다. n차 정사각행렬 A의 대각합은 tr(A) 또는 trace(A)로 표기하며, 수식으로는 tr(A) = a₁₁ + a₂₂ + ... + aₙₙ으로 표현한다. 이 연산은 행렬의 여러 기본적인 성질을 분석하는 데 유용하게 쓰인다.

대각합은 여러 중요한 성질을 가진다. 첫째, 두 행렬의 합의 대각합은 각 행렬의 대각합의 합과 같다(tr(A+B) = tr(A) + tr(B)). 둘째, 스칼라곱의 대각합은 스칼라와 원래 행렬의 대각합의 곱과 같다(tr(cA) = c tr(A)). 특히 흥미로운 성질은 두 행렬의 곱에 대한 순환 성질로, 행렬 곱셈이 일반적으로 교환법칙을 만족하지 않음에도 불구하고, tr(AB) = tr(BA)가 성립한다는 점이다. 이 성질은 확장되어 세 개 이상의 행렬의 곱에서도 순환적으로 적용될 수 있다.

이 연산은 수학과 공학의 여러 분야에서 응용된다. 선형대수학에서는 행렬의 고유값들의 합이 대각합과 일치한다는 사실이 알려져 있어, 고유값 문제를 연구하는 데 활용된다. 통계학과 머신 러닝에서는 공분산 행렬의 대각합이 전체 분산을 나타내는 지표로 사용되기도 한다. 또한 양자역학에서 관측 가능한 물리량의 기댓값을 계산할 때도 대각합 연산이 핵심적인 역할을 한다.

행렬 연산은 선형 방정식 체계를 풀기 위한 강력한 도구를 제공한다. 연립 일차 방정식은 계수 행렬, 변수 벡터, 상수 벡터를 사용하여 간결하게 Ax = b 형태의 행렬 방정식으로 표현할 수 있다. 여기서 A는 계수 행렬, x는 미지수로 이루어진 열 벡터, b는 상수항 열 벡터이다. 이 표현법은 방정식의 개수와 미지수의 개수가 많아질수록 특히 유용하며, 방정식 체계를 구조적으로 이해하고 해를 구하는 체계적인 방법을 가능하게 한다.

이러한 행렬 방정식의 해를 구하는 대표적인 방법은 역행렬을 이용하는 것이다. 만약 계수 행렬 A가 가역 행렬이라면, 양변에 A의 역행렬 A^(-1)을 곱하여 해 x = A^(-1)b를 직접 계산할 수 있다. 이 방법은 이론적으로 명확하지만, 실제로 역행렬을 계산하는 것은 계산 비용이 크기 때문에 변수의 수가 적은 경우나 이론적 분석에 주로 사용된다.

더 일반적이고 효율적인 방법은 행렬의 기본 행 연산을 체계적으로 적용하는 가우스 소거법이나 가우스-조르단 소거법이다. 이 방법들은 확장 행렬 [1]를 행 사다리꼴이나 기약 행 사다리꼴 형태로 변환하여 해를 구한다. 특히 가우스 소거법은 후진 대입 과정을 통해 해를 찾으며, 컴퓨터를 이용한 수치 계산에서 널리 채택된다. 이러한 알고리즘들은 일관성을 판별하고, 해가 무수히 많은 경우 자유 변수를 확인하며, 해가 존재하지 않는 경우도 명확히 보여준다.

행렬을 통한 선형 방정식 풀이는 공학, 경제학, 물리학 등 다양한 과학 기술 분야의 모델링과 계산의 기초가 된다. 복잡한 시스템을 선형 방정식 체계로 근사화한 후, 위의 방법들을 적용하여 미지의 상태나 최적의 매개변수를 찾아낼 수 있다.

행렬은 선형 변환을 표현하는 강력한 도구이다. 선형 변환이란 벡터 공간에서 벡터를 다른 벡터로 옮기는 규칙으로, 벡터의 덧셈과 스칼라배 연산을 보존하는 특성을 가진다. 예를 들어, 평면에서의 회전, 확대/축소, 대칭 이동 등이 대표적인 선형 변환에 해당한다.

m x n 크기의 행렬 A는 n차원 벡터를 m차원 벡터로 변환하는 선형 변환으로 작용한다. 구체적으로, n차원 열벡터 x에 행렬 A를 곱한 결과인 Ax는 m차원 열벡터가 된다. 이는 행렬 곱셈의 정의와 정확히 일치하며, 행렬 곱셈의 결합법칙은 여러 선형 변환을 연속적으로 적용하는 것과 동등함을 보여준다.

따라서, 행렬 연산을 연구하는 것은 본질적으로 선형 변환의 성질을 연구하는 것과 같다. 단위 행렬은 아무런 변환도 하지 않는 항등 변환에 해당하며, 역행렬이 존재한다는 것은 해당 선형 변환이 가역적이어서 변환을 되돌릴 수 있음을 의미한다. 이러한 관점은 선형대수학의 핵심 연결 고리 중 하나를 이룬다.

컴퓨터 그래픽스 분야에서 행렬 연산은 2차원 및 3차원 공간에서 물체의 위치, 회전, 크기 변환을 표현하고 계산하는 핵심 도구이다. 3차원 그래픽스에서 물체의 정점 좌표는 벡터로 표현되며, 이 벡터에 변환 행렬을 곱하여 새로운 위치나 형태를 얻는다. 이러한 변환에는 평행 이동, 회전 변환, 크기 변환 등이 있으며, 각 변환은 고유한 행렬로 정의된다. 여러 변환을 연속적으로 적용해야 할 때는 각 변환 행렬을 순서대로 곱하여 하나의 합성 변환 행렬을 만들 수 있다. 이때 행렬 곱셈은 결합법칙은 성립하지만 교환법칙은 성립하지 않으므로, 변환의 적용 순서가 최종 결과에 결정적인 영향을 미친다.

렌더링 파이프라인의 중요한 단계인 뷰 변환과 투영 변환도 행렬 연산을 통해 이루어진다. 카메라의 위치와 방향에 따라 장면을 재배치하는 뷰 변환과, 3차원 장면을 2차원 화면에 투영하는 투영 변환은 각각 뷰 행렬과 투영 행렬을 사용하여 수행된다. 특히 동차 좌표계를 도입하면 평행 이동을 포함한 모든 선형 변환을 행렬 곱셈으로 통일하여 표현할 수 있어 계산상의 효율성을 높인다. 이는 실시간 렌더링이 요구되는 컴퓨터 게임이나 시뮬레이션에서 매우 중요하다.

또한 행렬은 애니메이션과 스켈레톤 시스템에서도 광범위하게 활용된다. 캐릭터의 관절 구조를 표현하는 뼈대 애니메이션에서는 각 뼈의 변환 행렬을 계층적으로 곱하여 최종 정점의 위치를 계산하는 스키닝 과정이 필수적이다. 현대의 그래픽스 API인 OpenGL이나 DirectX는 이러한 복잡한 행렬 연산을 효율적으로 처리하기 위해 GPU의 병렬 처리 능력을 활용하며, 셰이더 프로그래밍을 통해 사용자 정의 행렬 연산을 구현할 수도 있다.

머신 러닝은 데이터로부터 패턴을 학습하고 예측을 수행하는 인공지능의 핵심 분야이다. 이 분야에서 행렬과 그 연산은 데이터와 모델을 표현하고 계산하는 데 필수적인 수학적 도구로 활용된다. 대규모 데이터셋은 종종 행렬 형태로 구성되며, 각 행은 하나의 데이터 샘플, 각 열은 하나의 특징을 나타낸다.

신경망을 비롯한 많은 머신 러닝 모델의 핵심 연산은 선형 변환이다. 이는 입력 데이터 벡터에 가중치 행렬을 곱하고 편향 벡터를 더하는 과정으로, 행렬 곱셈과 행렬 덧셈을 통해 구현된다. 모델 학습 과정인 경사 하강법에서는 손실 함수의 기울기를 계산하기 위해 전치 행렬 연산이 빈번하게 사용된다.

또한, 차원 축소 기법인 주성분 분석은 데이터 공분산 행렬의 고유값과 고유벡터를 계산하여 수행된다. 추천 시스템에서 사용되는 행렬 분해는 사용자-아이템 상호작용 행렬을 저차원의 잠재 요인 행렬들의 곱으로 분해한다. 이러한 고급 기법들 역시 행렬 연산에 깊이 의존하고 있다.

가우스 소거법은 선형 방정식으로 이루어진 연립일차방정식을 체계적으로 풀기 위한 알고리즘이다. 이 방법은 주어진 계수 행렬을 기본 행 연산을 반복 적용하여 상삼각행렬 형태로 변환하는 전진 소거 단계와, 그 뒤 미지수를 뒤에서부터 차례대로 구하는 후진 대입 단계로 구성된다. 기본 행 연산에는 한 행에 0이 아닌 상수를 곱하거나, 두 행을 교환하거나, 한 행의 배수를 다른 행에 더하는 세 가지 연산이 포함된다. 이 과정을 통해 방정식의 해를 구하거나, 행렬의 역행렬을 계산하거나, 행렬식을 구하는 데 활용할 수 있다.

가우스 소거법의 확장된 형태로 가우스-조르단 소거법이 있다. 이 방법은 전진 소거 후 추가로 후진 소거를 수행하여 계수 행렬을 단위 행렬 형태로 만든다. 이는 연립일차방정식의 해를 직접적으로 읽어낼 수 있게 하거나, 주어진 행렬의 역행렬을 계산하는 데 유용하게 사용된다. 이러한 알고리즘들은 수치해석의 기본 도구로서, 컴퓨터 과학과 공학을 비롯한 다양한 과학 분야에서 광범위하게 응용된다.

가우스 소거법은 계산 효율성 측면에서 중요한 의미를 지닌다. 크기가 n인 정사각행렬에 대한 연립방정식을 풀 때, 필요한 산술 연산의 횟수는 대략 n³에 비례한다. 그러나 이 방법은 수치적 안정성 문제에 민감할 수 있어, 계산 과정에서 발생할 수 있는 반올림 오차를 최소화하기 위해 부분 피벗팅 또는 완전 피벗팅 기법이 함께 사용된다. 이러한 변형들은 큰 계수를 가진 행을 피벗으로 선택하여 계산의 정확도를 높이는 데 기여한다.

LU 분해는 주어진 정사각행렬을 하삼각행렬(Lower triangular matrix)과 상삼각행렬(Upper triangular matrix)의 곱으로 분해하는 방법이다. 즉, 행렬 A가 주어졌을 때, A = LU를 만족하는 하삼각행렬 L과 상삼각행렬 U를 찾는 과정을 의미한다. 이 분해는 선형 방정식 시스템을 효율적으로 풀거나, 행렬식을 계산하거나, 역행렬을 구하는 데 널리 활용된다.

LU 분해의 핵심 아이디어는 가우스 소거법을 행렬 분해의 형태로 표현한 것이다. 가우스 소거법을 통해 행렬을 상삼각행렬 형태로 만들기 위해 수행하는 기본 행 연산들은, 하삼각행렬 L에 그 정보가 저장된다. L의 대각성분은 일반적으로 1로 설정하며, 이는 계산의 편의성을 위한 약속이다. LU 분해가 가능하기 위해서는 행렬이 특정 조건(예: 모든 선행 주부분행렬이 비특이)을 만족해야 한다.

이 분해의 가장 큰 실용적 가치는 선형 시스템 Ax = b를 풀 때 나타난다. 일단 A = LU로 분해되면, 원래의 문제는 두 개의 삼각 시스템 Ly = b와 Ux = y를 순차적으로 푸는 문제로 단순화된다. 삼각행렬에 대한 방정식은 전진대입법과 후진대입법을 통해 매우 빠르게 해를 구할 수 있어, 동일한 행렬 A에 대해 여러 다른 벡터 b에 대한 해를 반복적으로 구해야 할 때 계산 효율이 극대화된다. 이는 수치해석, 컴퓨터 과학, 공학 문제 해결에 필수적이다.

행렬 연산은 벡터 공간의 핵심적인 구조를 정의하는 데 필수적이다. 벡터 공간은 벡터의 집합과 스칼라 체 위에서 정의된 덧셈과 스칼라 곱셈 연산으로 이루어지며, 이 연산들은 특정한 공리들을 만족해야 한다. 행렬의 집합은 이러한 벡터 공간의 전형적인 예시이다. 주어진 크기의 모든 정사각행렬이나 직사각행렬의 집합은 행렬 덧셈과 스칼라곱 연산에 대해 벡터 공간을 이룬다.

행렬 연산은 벡터 공간 사이의 선형 변환을 표현하는 자연스러운 도구가 된다. 두 유한차원 벡터 공간 사이의 선형 변환은 행렬로 표현할 수 있으며, 변환의 합성은 행렬 곱셈에, 변환의 스칼라배는 행렬의 스칼라곱에 대응된다. 이는 선형대수학의 근본적인 연결 고리이다.

더 나아가, 고유값과 고유벡터의 개념은 행렬 연산을 통해 벡터 공간에서의 특별한 변환 특성을 분석하는 데 사용된다. 또한, 행렬식은 행렬이 표현하는 선형 변환이 벡터 공간의 부피를 어떻게 변화시키는지를 수치화한 것으로, 변환의 가역성 등을 판단하는 지표가 된다.

고유값과 고유벡터는 정사각행렬을 분석하는 데 핵심적인 개념이다. 어떤 정사각행렬 A에 대해, 영벡터가 아닌 벡터 v를 A로 선형 변환했을 때 그 결과가 원래 벡터 v의 스칼라배가 되는 경우, 즉 A v = λ v를 만족하는 스칼라 λ와 벡터 v가 존재한다. 이때 λ를 행렬 A의 고유값, v를 그 고유값에 대응하는 고유벡터라고 정의한다.

고유값과 고유벡터를 구하는 과정은 특성 방정식을 푸는 것으로 시작한다. 행렬 A의 고유값 λ는 특성 방정식 det(A - λI) = 0의 해로 구할 수 있으며, 여기서 det는 행렬식을, I는 단위 행렬을 의미한다. 각 고유값 λ_i에 대응하는 고유벡터는 동차 선형 방정식 시스템 (A - λ_i I) v = 0의 영이 아닌 해를 구함으로써 얻어진다.

이 개념은 다양한 분야에서 응용된다. 예를 들어, 선형 변환의 핵심적인 성질을 파악하거나, 선형 미분 방정식 시스템을 해결하는 데 사용된다. 통계학에서는 주성분 분석과 같은 다변량 분석 기법의 기초를 이루며, 양자역학에서는 관측 가능한 물리량을 연산자로 표현하고 그 고유값을 측정 가능한 값으로 해석한다.

고유값과 고유벡터는 행렬의 대각화 가능성과도 깊이 연관되어 있다. 행렬이 충분한 수의 일차독립인 고유벡터를 가질 경우, 그 고유벡터들을 열로 하는 행렬 P를 이용해 A = P D P^{-1} 형태로 대각화할 수 있으며, 이때 대각행렬 D의 대각 성분은 바로 고유값들이 된다. 이는 행렬의 거듭제곱 계산을 간소화하는 등 강력한 도구로 활용된다.

행렬의 분해는 복잡한 행렬을 여러 개의 특정 구조를 가진 더 단순한 행렬들의 곱이나 합으로 표현하는 것을 의미한다. 이러한 분해는 수치 선형대수학에서 행렬 연산의 효율성을 높이고, 이론적 분석을 용이하게 하며, 다양한 응용 분야에서 핵심적인 도구로 활용된다. 대표적인 분해 방법으로는 LU 분해, QR 분해, 고윳값 분해, 특이값 분해 등이 있다.

LU 분해는 정사각 행렬을 하삼각행렬(L)과 상삼각행렬(U)의 곱으로 분해한다. 이 방법은 선형 방정식 풀이나 행렬식 계산 시 가우스 소거법을 체계화하여 알고리즘의 효율성을 높이는 데 주로 사용된다. QR 분해는 행렬을 정규직교행렬(Q)과 상삼각행렬(R)의 곱으로 분해하며, 최소제곱법 문제를 풀거나 고윳값을 계산할 때 유용하다.

고윳값 분해는 정사각행렬을 고유벡터로 구성된 행렬과 고윳값이 대각선에 위치하는 대각행렬의 곱으로 표현한다. 이 분해는 선형 변환의 본질적인 특성을 이해하고, 행렬의 거듭제곱 계산 등을 간편하게 만든다. 특이값 분해는 직사각행렬에도 적용 가능한 보다 일반적인 분해로, 행렬을 두 개의 유니타리 행렬과 대각행렬의 곱으로 나타낸다. 이는 차원 축소, 데이터 압축, 주성분 분석 등 머신 러닝과 데이터 과학 분야에서 광범위하게 응용된다.

이러한 다양한 행렬 분해 기법들은 원래 행렬이 가지는 정보를 보존하면서도 계산상의 이점을 제공한다. 따라서 공학, 컴퓨터 과학, 통계학, 물리학 등 여러 학문 분야에서 복잡한 문제를 해결하기 위한 기초적인 수단으로 자리 잡고 있다.