특이값 분해 방식편집자 확인

특이값 분해는 임의의 m × n 크기의 실수 또는 복소수 행렬 A를 세 개의 행렬의 곱으로 분해하는 방법이다. 이 분해는 A = UΣV*의 형태로 표현된다. 여기서 U는 m × m 크기의 유니타리 행렬(실수 행렬의 경우 직교 행렬)이며, Σ는 m × n 크기의 대각 행렬이다. V*는 n × n 크기의 유니타리 행렬 V의 켤레 전치 행렬이다.

행렬 Σ의 대각 성분 σ₁, σ₂, ..., σₚ (p = min(m, n))은 특이값이라고 불리며, 일반적으로 내림차순(σ₁ ≥ σ₂ ≥ ... ≥ σₚ ≥ 0)으로 배열된다. 특이값은 항상 음이 아닌 실수이다. U의 열벡터는 왼쪽 특이벡터라고 하며, V의 열벡터는 오른쪽 특이벡터라고 한다. 이들 벡터는 각각 AA*와 A*A의 고유벡터와 관련이 있다.

표준적인 행렬 분해 공식은 다음과 같다.

이 공식에서 A = UΣVᵀ (실수 행렬의 경우) 또는 A = UΣV* (복소수 행렬의 경우)가 성립한다. 축소형 특이값 분해는 Σ를 p × p 크기의 정방 대각 행렬로, U와 V를 각각 m × p, n × p 크기의 열 직교 행렬로 취하는 형태이다. 이는 불필요한 영공간의 정보를 생략하여 계산 효율성을 높인다.

특이값 분해에서 핵심이 되는 구성 요소는 특이값과 특이벡터이다. 임의의 m × n 크기의 실수 또는 복소수 행렬 A에 대해, A의 특이값 분해 A = UΣV*는 두 개의 유니터리 행렬(또는 직교 행렬) U, V와 하나의 대각 행렬 Σ로 표현된다. 이때 Σ의 대각 성분 σ₁, σ₂, ..., σₚ (p = min(m, n))을 행렬 A의 특이값이라고 부른다. 특이값은 항상 0 또는 양의 실수(σᵢ ≥ 0)이며, 일반적으로 내림차순(σ₁ ≥ σ₂ ≥ ... ≥ σₚ ≥ 0)으로 정렬된다.

특이값에 대응하는 두 세트의 벡터가 존재한다. 행렬 U의 열 벡터 uᵢ를 왼쪽 특이벡터라고 부르며, 행렬 V의 열 벡터 vᵢ를 오른쪽 특이벡터라고 부른다. 이들은 각각 고유벡터의 개념과 연관된다. 왼쪽 특이벡터 uᵢ는 행렬 AA*의 고유벡터이고, 오른쪽 특이벡터 vᵢ는 행렬 A*A의 고유벡터이다. 이때 대응하는 고유값은 특이값의 제곱(σᵢ²)이다.

특이값과 특이벡터는 행렬 A의 기하학적 특성을 설명한다. 각 특이값 σᵢ는 해당하는 특이벡터 방향으로의 행렬 A의 "확대/축소 배율"을 의미한다. 구체적으로, 오른쪽 특이벡터 vᵢ에 행렬 A를 곱한 결과(Avᵢ)는 왼쪽 특이벡터 uᵢ의 방향을 가지며, 그 크기는 σᵢ가 된다. 즉, Avᵢ = σᵢ uᵢ 관계가 성립한다. 이 관계는 모든 i에 대해 성립하는 기본적인 항등식이다.

특이값의 크기는 행렬이 해당 특이벡터 방향으로 정보를 얼마나 강하게 전달하는지를 나타낸다. 큰 특이값은 행렬의 주요 패턴이나 구조와 연관되는 반면, 매우 작거나 0에 가까운 특이값은 상대적으로 덜 중요한 정보나 잡음에 해당한다. 이 성질은 차원 축소와 행렬 근사의 기초가 된다.

고유값 분해는 정방행렬에 대해 정의되는 반면, 특이값 분해는 임의의 직사각행렬에 적용할 수 있다. 그러나 주어진 행렬 A의 특이값과 특이벡터는 A와 그 전치 행렬의 곱으로 생성된 두 개의 대칭행렬인 A^T A와 A A^T의 고유값 분해를 통해 계산할 수 있다.

구체적으로, m×n 행렬 A의 특이값 분해 A = U Σ V^T를 계산하려면 다음 단계를 따른다. 먼저 n×n 크기의 공분산 행렬 A^T A를 구성한다. 이 행렬은 양의 준정부호 행렬이므로 모든 고유값이 실수이며 음이 아니다. A^T A를 고유값 분해하여 고유벡터 v_i와 대응하는 고유값 λ_i를 구한다. 이때 구해진 고유값 λ_i의 제곱근 σ_i = √λ_i 가 행렬 A의 특이값이 된다. 고유벡터 v_i들은 정규직교벡터 집합을 이루며, 이들이 오른쪽 특이벡터가 되어 행렬 V의 열을 구성한다.

다음으로, m×m 크기의 행렬 A A^T에 대해서도 유사한 과정을 거칠 수 있다. A A^T의 고유값은 A^T A의 고유값과 동일하며(0인 고유값 제외), 그 고유벡터들은 왼쪽 특이벡터 u_i가 되어 행렬 U의 열을 구성한다. 왼쪽 특이벡터 u_i는 공식 u_i = (1/σ_i) A v_i (단, σ_i ≠ 0)를 통해 오른쪽 특이벡터로부터 직접 계산할 수도 있다.

이 방법은 개념적 이해를 돕지만, 수치 계산에서는 A^T A를 명시적으로 구성하면 조건수가 제곱으로 악화되어 수치적 불안정성을 초래할 수 있다[2]. 따라서 실제 구현에서는 하우스홀더 변환과 기븐스 회전을 직접 사용하는 골럽-라인슈 알고리즘과 같은 더 안정적인 수치 알고리즘이 선호된다.

수치적 특이값 분해를 계산하는 가장 일반적이고 안정적인 알고리즘은 Golub-Reinsch 알고리즘이다. 이 알고리즘은 1970년 진 골럽과 크리스티안 라인슈가 제안한 2단계 접근법을 사용한다. 첫 번째 단계에서는 주어진 행렬을 이중대각행렬 형태로 변환하기 위해 하우스홀더 변환을 적용한다. 두 번째 단계에서는 이 이중대각행렬의 특이값을 찾기 위해 변형된 QR 알고리즘을 반복적으로 수행한다.

Golub-Reinsch 알고리즘의 주요 단계는 다음과 같이 요약할 수 있다.

이 방법은 계산의 수치적 안정성이 매우 높아 널리 채택되었다. 대부분의 현대 수치 선형대수 라이브러리는 이 알고리즘의 변형을 구현하고 있다. 특히 두 번째 단계에서 사용되는 QR 알고리즘은 이중대각행렬의 특성 덕분에 일반적인 고유값 분해에 비해 계산 효율이 크게 향상된다.

다른 알고리즘으로는 큰 희소 행렬이나 특정 구조를 가진 행렬에 적합한 랜초스 알고리즘이나, 병렬 계산에 유리한 Jacobi SVD 알고리즘 등이 존재한다. 그러나 밀집 행렬에 대한 표준적인 방법은 여전히 Golub-Reinsch 알고리즘과 그 개선판으로 간주된다. 이 알고리즘의 계산 복잡도는 일반적인 m x n 행렬에 대해 O(mn²) 또는 O(m²n) 수준이다[3].

트랜케이티드 SVD는 원본 행렬 A의 특이값 분해에서 가장 큰 k개의 특이값과 이에 대응하는 좌측 및 우측 특이벡터만을 사용하여, 원본 행렬의 근사 행렬 A_k를 구성하는 기법이다. 이는 차원 축소의 핵심 도구로 작동하며, 데이터의 주요 패턴을 보존하면서 노이즈를 제거하거나 계산 및 저장 비용을 줄이는 데 목적이 있다.

수학적으로, 행렬 A의 완전한 SVD가 A = UΣV^T로 주어질 때, 트랜케이티드 SVD 근사 A_k는 다음과 같이 정의된다.

A_k = U_k Σ_k V_k^T

여기서 U_k는 U의 처음 k개 열, V_k는 V의 처음 k개 열, Σ_k는 가장 큰 k개 특이값을 대각 원소로 가지는 k×k 대각 행렬이다. 이 근사는 에크하트-영 정리에 의해, 동일한 랭크 k를 가지는 모든 행렬 중에서 원본 행렬 A에 대한 프로베니우스 노름 또는 스펙트럼 노름 차이를 최소화하는 최적의 근사 행렬임이 보장된다.

트랜케이티드 SVD의 성능은 특이값의 감소 속도에 크게 의존한다. 특이값이 빠르게 감소하는 경우(즉, 첫 몇 개의 특이값이 대부분의 에너지를 차지하는 경우), 낮은 랭크 k로도 원본 행렬을 매우 정확하게 근사할 수 있다. 이는 다음과 같은 응용 분야에서 유용하게 활용된다.

트랜케이티드 SVD를 선택할 때의 핵심 과제는 적절한 k 값을 결정하는 것이다. k가 너무 작으면 정보 손실이 크고, 너무 크면 압축 또는 노이즈 제거 효과가 미미해진다. 이를 결정하기 위해 특이값의 스크리 플롯을 분석하거나, 교차 검증과 같은 경험적 방법이 종종 사용된다.

에크하트-영 정리는 특이값 분해를 이용한 행렬 근사 문제에서 최적의 해를 제공하는 근본적인 정리이다. 이 정리는 주어진 랭크 제약 하에서 원본 행렬과 근사 행렬 사이의 프로베니우스 노름 또는 스펙트럼 노름 차이를 최소화하는 방법을 명시한다.

구체적으로, 임의의 실수 또는 복소수 행렬 $A$가 $rank(A) = r$인 $m \times n$ 행렬이고, 그 특이값 분해가 $A = U \Sigma V^T$ (또는 $A = U \Sigma V^H$)라고 하자. 여기서 $\Sigma$는 대각 원소가 특이값 $\sigma_1 \ge \sigma_2 \ge ... \ge \sigma_r > 0$인 대각 행렬이다. 이때, 랭크가 $k$ ($k < r$) 이하인 모든 행렬 $B$ 중에서 $A$에 대한 최적의 근사 행렬 $A_k$는 다음과 같이 구해진다.

$A_k = U \Sigma_k V^T$, 여기서 $\Sigma_k$는 가장 큰 $k$개의 특이값만 남기고 나머지를 0으로 만든 대각 행렬이다.

이 근사 행렬 $A_k$는 다음의 노름 최소화 조건을 만족한다.

이 정리는 트랜케이티드 SVD가 단순한 계산 방법이 아닌, 수학적으로 검증된 최적의 저차원 근사법임을 보장한다. 따라서 차원 축소, 데이터 압축, 잡음 제거 등 다양한 응용 분야에서 이론적 근거로 활용된다. 예를 들어, $k$를 선택함으로써 데이터의 주요 신호(큰 특이값)는 유지하면서 상대적으로 작은 특이값에 해당하는 노이즈나 불필요한 변동을 제거할 수 있다[6].

주성분 분석(PCA)은 특이값 분해를 활용한 대표적인 차원 축소 기법이다. 고차원 데이터의 분산을 최대한 보존하면서 주요 특징을 추출하는 것이 목적이다. 데이터 행렬의 공분산 행렬을 분석하거나, 데이터 행렬 자체에 SVD를 직접 적용하여 계산한다.

데이터 행렬 \( X \) (각 행이 관측치, 각 열이 변수이며 평균이 0으로 조정되었다고 가정)에 대해, \( X \)의 특이값 분해는 \( X = U \Sigma V^T \) 형태로 나타난다. 이때, 오른쪽 특이벡터 행렬 \( V \)의 열벡터들이 바로 주성분 방향을 정의한다. 첫 번째 주성분은 데이터 분산을 가장 크게 하는 방향에 해당하며, 이는 \( V \)의 첫 번째 열벡터와 일치한다. 특이값 행렬 \( \Sigma \)의 대각원소(특이값)는 해당 주성분 방향의 분산 크기와 관련이 있다.

실제 계산에서는 데이터 행렬 \( X \)에 대해 SVD를 수행한 후, 상위 \( k \)개의 특이값과 해당하는 특이벡터만 선택하여 차원을 축소한다. 이는 원본 데이터를 \( X_k = U_k \Sigma_k V_k^T \)로 근사하는 트랜케이티드 SVD와 동일한 작업이다. 결과적으로 데이터의 노이즈를 줄이거나 시각화를 위해 2-3개의 주성분만 사용하는 등 다양한 응용이 가능하다. PCA는 이미지 인식, 금융, 생물정보학 등 고차원 데이터 분석의 전처리 단계에서 널리 사용된다.

특이값 분해는 사용자-아이템 상호작용 행렬을 저차원의 잠재 공간으로 분해하여 추천 시스템의 핵심 알고리즘으로 널리 사용된다. 이 행렬은 일반적으로 사용자(행)와 아이템(열)로 구성되며, 각 요소는 평점이나 클릭 여부와 같은 상호작용 강도를 나타낸다. SVD는 이 희소하고 고차원인 행렬을 더 낮은 랭크의 행렬 곱으로 근사함으로써, 관측되지 않은 상호작용을 예측하는 모델을 학습한다.

기본적인 모델은 사용자와 아이템을 각각 잠재 벡터로 표현한다. \( m \times n \) 크기의 평점 행렬 \( R \)은 \( R \approx U \Sigma V^T \)로 근사된다. 여기서 행렬 \( U \)는 사용자와 잠재 요인의 연관성을, \( V \)는 아이템과 잠재 요인의 연관성을 나타낸다. 대각 행렬 \( \Sigma \)의 대각원소인 특이값은 각 잠재 요인의 중요도를 의미한다. 학습 과정은 알려진 평점에 대한 예측 오차를 최소화하도록 이러한 잠재 벡터를 조정한다.

실제 적용에서는 희소성과 과적합 문제를 해결하기 위해 변형된 모델이 사용된다. 가장 대표적인 것은 잠재 요인 모델에 편향 항과 정규화를 추가한 것이다. 예측 평점은 다음 공식으로 계산된다: \( \hat{r}_{ui} = \mu + b_u + b_i + q_i^T p_u \). 여기서 \( \mu \)는 전체 평균 평점, \( b_u \)와 \( b_i \)는 각각 사용자와 아이템의 편향, \( p_u \)와 \( q_i \)는 SVD의 \( U \)와 \( V \)에 해당하는 사용자와 아이템의 잠재 벡터이다. 이 모델은 Netflix Prize 대회에서 그 유효성이 입증되었다.

이 방식의 주요 장점은 높은 예측 정확도와 잠재 요인에 대한 해석 가능성이다. 그러나 대규모 데이터에 대한 계산 비용이 크고, 새로운 사용자나 아이템에 대한 콜드 스타트 문제가 존재한다는 한계도 있다. 이러한 한계를 보완하기 위해 확률적 경사 하강법이나 교대 최소제곱법 같은 효율적인 최적화 알고리즘이 사용되며, 딥러닝 기반의 신경망 모델과 결합되는 경우도 많다.

특이값 분해는 행렬을 저차원으로 근사하는 능력을 바탕으로 이미지 압축에 효과적으로 활용된다. 하나의 회색조 이미지는 각 픽셀의 명암값을 원소로 갖는 행렬로 표현할 수 있다. 이 행렬에 SVD를 적용하면, 이미지는 특이값과 두 개의 직교 행렬(왼쪽 및 오른쪽 특이벡터 행렬)의 곱으로 분해된다. 이때 특이값은 크기 순으로 정렬되며, 가장 큰 몇 개의 특이값이 이미지의 주요 구조와 패턴을 설명한다.

압축 과정은 가장 큰 k개의 특이값과 이에 대응하는 특이벡터만을 선택하여 원본 행렬을 근사하는 트랜케이티드 SVD를 적용하는 것이다. 예를 들어, m x n 크기의 원본 이미지 행렬 A는 A ≈ U_k Σ_k V_k^T 로 근사된다. 여기서 U_k는 m x k, Σ_k는 k x k(대각), V_k^T는 k x n 행렬이다. 저장해야 할 데이터의 수는 원본의 m*n 개에서 k*(m + n + 1) 개로 줄어들며, k가 충분히 작으면 상당한 압축률을 달성한다.

이 기법의 장점은 압축률을 사용자가 선택한 k 값으로 유연하게 조절할 수 있다는 점이다. 또한, 특이값의 에너지 비율을 분석하여 필요한 k의 수를 결정할 수 있다. 그러나 색상 이미지의 경우 각 RGB 채널에 대해 독립적으로 SVD를 적용해야 하며, JPEG 같은 변환 기반 압축 표준에 비해 계산 비용이 높은 편이다. 따라서 SVD 기반 압축은 실시간 시스템보다는 압축의 원리를 보여주거나 특정 응용에서의 차원 축소 목적으로 더 많이 사용된다.

잠재 의미 분석(LSA)은 특이값 분해를 활용하여 단어와 문서 간의 의미적 관계를 추출하고, 고차원의 단어-문서 행렬을 저차원의 잠재 의미 공간으로 축소하는 기법이다. 이 방법은 단어의 표면적 형태를 넘어 숨겨진 의미 구조를 발견하는 데 목적이 있다.

기본 절차는 다음과 같다. 먼저, 문서 집합으로부터 TF-IDF 등의 가중치 기법을 적용한 단어-문서 행렬 A를 생성한다. 이 행렬 A에 대해 특이값 분해 A = UΣV^T를 수행한다. 여기서 좌측 특이벡터 행렬 U는 단어와 잠재 의미 간의 관계를, 우측 특이벡터 행렬 V^T는 문서와 잠재 의미 간의 관계를 나타낸다. 대각 행렬 Σ의 특이값은 각 잠재 의미 차원의 중요도를 의미한다.

의미 공간으로의 축소는 트랜케이티드 SVD를 통해 이루어진다. 가장 큰 k개의 특이값과 이에 대응하는 특이벡터만을 선택하여 행렬 A_k = U_k Σ_k V_k^T를 구성한다. 이 근사 행렬 A_k는 원래 행렬 A의 노이즈를 제거하고 주요 의미 구조를 보존한 저차원 표현이 된다. 이 공간에서 단어나 문서 벡터 간의 코사인 유사도 계산을 통해 의미적으로 유사한 항목을 찾을 수 있다.

LSA의 주요 응용 분야는 정보 검색, 문서 분류, 질의 응답 시스템 등이다. 그러나 단어 순서를 무시하는 가정(Bag-of-Words)에 기반하며, 결과의 해석이 어렵고 계산 비용이 큰 한계도 존재한다. 이러한 한계를 보완하기 위해 잠재 디리클레 할당(LDA)이나 단어 임베딩 기법들이 후속 연구로 제안되었다.

고유값 분해는 정사각행렬에 대해서만 정의되는 반면, 특이값 분해는 임의의 직사각 행렬에 적용할 수 있다. 이는 SVD가 훨씬 더 일반적인 도구임을 의미한다. 구체적으로, m x n 크기의 임의의 행렬 A에 대해, A = UΣV^T 형태의 분해가 항상 존재한다. 여기서 U와 V는 직교 행렬이고, Σ는 대각 성분에 특이값을 갖는 직사각 대각 행렬이다. 반면 EVD는 A가 정사각행렬이면서 대칭행렬(또는 정규행렬)일 때만 실수 고유값과 직교하는 고유벡터를 보장한다.

두 분해의 수학적 의미도 다르다. EVD는 행렬 A를 고유벡터 방향으로의 스케일 변환으로 해석한다. 즉, Av = λv 관계에서 고유벡터 v 방향으로의 변환은 단순히 λ배 스케일링이다. 반면 SVD는 두 개의 서로 다른 직교 좌표계(U와 V의 열벡터로 구성) 사이의 변환으로 해석된다. 행렬 A는 V 공간의 벡터를 U 공간의 벡터로 변환하며, 그 연결 고리는 특이값 σ에 의한 스케일링이다. 이는 기하학적으로, 행렬 A에 의한 변환은 회전(V^T)-스케일링(Σ)-회전(U)의 조합으로 볼 수 있다.

또한, SVD는 EVD와 밀접한 관련이 있다. 행렬 A^TA의 고유값 분해로부터 오른쪽 특이벡터 V와 특이값의 제곱을 얻을 수 있으며, AA^T의 고유값 분해로부터 왼쪽 특이벡터 U를 얻을 수 있다[8]. 따라서 SVD는 두 개의 대칭 행렬(A^TA와 AA^T)의 EVD를 포괄하는 개념으로 볼 수 있다. 이러한 일반성과 안정성 때문에, 비정방 행렬이나 수치적으로 민감한 문제를 다룰 때는 EVD보다 SVD가 선호되는 경우가 많다.

특이값 분해는 QR 분해 및 LU 분해와 같은 다른 행렬 분해법과 밀접한 관계를 가지며, 수치 선형대수학에서 상호 보완적인 역할을 한다. 각 분해법은 해결하려는 문제의 종류와 행렬의 특성에 따라 선택된다.

LU 분해는 정방 행렬을 하삼각 행렬(L)과 상삼각 행렬(U)의 곱으로 분해한다. 이 분해의 주된 목적은 선형 방정식 시스템을 효율적으로 풀거나 행렬의 행렬식을 계산하는 것이다. 반면, 특이값 분해는 정방 행렬뿐만 아니라 임의의 직사각형 행렬에 적용 가능하며, 행렬의 근본적인 기하학적 구조와 랭크, 노름 등을 분석하는 데 중점을 둔다. 수치적으로 LU 분해는 특이값 분해를 계산하는 과정에서 내부적으로 사용될 수 있다. 예를 들어, 이중대각화 단계를 거치는 일부 SVD 알고리즘은 행렬을 먼저 이중대각 행렬 형태로 만들기 위해 하우스홀더 변환 (이는 QR 분해와 관련됨)과 LU 분해의 아이디어를 활용하기도 한다.

QR 분해는 행렬을 정규직교 행렬(Q)과 상삼각 행렬(R)의 곱으로 분해한다. 이 분해는 최소제곱 문제를 풀거나 고유값을 반복적으로 계산할 때 핵심적인 도구로 사용된다. 특이값 분해와의 직접적인 연관성은 매우 강하다. 많은 실용적인 SVD 알고리즘의 첫 단계는 주어진 행렬에 QR 분해를 적용하여 이를 더 간단한 형태(예: 상삼각 행렬)로 만드는 것이다. 이후 이 간소화된 행렬에 대해 더 효율적으로 특이값과 특이벡터를 계산한다. 즉, QR 분해는 SVD 계산을 위한 전처리 단계로서 작동하여 수치적 안정성을 높이고 계산 비용을 줄이는 역할을 한다. 다음 표는 세 분해법의 주요 특징을 비교한다.

요약하면, LU 분해와 QR 분해는 주로 선형 시스템 해법이나 다른 계산을 위한 '도구'로서의 성격이 강한 반면, 특이값 분해는 행렬 자체의 구조를 탐구하고 데이터를 해석하기 위한 '분석 프레임워크'에 가깝다. 그러나 수치적 구현 측면에서 SVD는 이러한 다른 분해법들을 안정적이고 효율적인 알고리즘을 구성하는 구성 요소로 활용한다.

특이값 분해의 계산 복잡도는 사용하는 알고리즘과 입력 행렬의 크기 및 특성에 따라 달라진다. 일반적인 밀집 행렬(dense matrix)에 대해 가장 널리 사용되는 Golub-Reinsch 알고리즘의 계산 복잡도는 O(mn²)이다. 여기서 m과 n은 각각 행렬의 행과 열의 수이며, 일반적으로 m ≥ n을 가정한다[10]. 이는 행렬의 모든 특이값과 특이벡터를 계산하는 완전한 SVD(full SVD)의 경우에 해당한다.

계산 복잡도는 필요한 특이값의 개수나 근사 정밀도에 따라 조절될 수 있다. 예를 들어, 가장 큰 k개의 특이값과 해당 벡터만을 계산하는 트랜케이티드 SVD(truncated SVD)의 경우, 랜덤화 알고리즘(randomized algorithms)을 사용하면 복잡도를 O(mn log(k)) 수준으로 크게 낮출 수 있다. 이는 대규모 데이터셋이나 희소 행렬(sparse matrix)을 다룰 때 매우 유용하다.

다양한 알고리즘의 계산 복잡도를 비교하면 다음과 같다.

실제 응용에서는 행렬의 구조를 활용하여 계산 효율을 높인다. 희소 행렬의 경우, 0이 아닌 원소의 개수(nnz)에 선형적으로 의존하는 반복법(예: Lanczos 방법)을 사용할 수 있다. 또한, 행렬이 매우 크지만 저차원 근사가 충분한 경우, 트랜케이티드 SVD는 계산 비용과 저장 공간을 절약하면서도 핵심 정보를 보존하는 효과적인 방법이 된다.

희소 행렬은 대부분의 원소가 0인 행렬을 의미한다. 이러한 행렬은 네트워크 분석, 추천 시스템, 자연어 처리 등에서 매우 흔하게 나타난다. 특이값 분해를 희소 행렬에 직접 적용하는 것은 비효율적일 수 있다. 왜냐하면 표준 SVD 알고리즘은 행렬의 모든 원소를 대상으로 연산을 수행하여 밀집 행렬을 생성하는 경향이 있기 때문이다[11].

희소 행렬에 대한 효율적인 SVD 계산을 위해 여러 특화된 알고리즘이 개발되었다. 대표적인 방법으로는 랜초스 알고리즘의 변형이나, ARPACK과 같은 반복적 방법을 이용해 가장 큰 특이값 몇 개만을 계산하는 방식이 있다. 이는 전체 분해를 수행하지 않고도 트랜케이티드 SVD를 효과적으로 얻을 수 있게 해준다. 또한, 행렬을 밀집 형태로 변환하지 않고 희소성 구조를 유지하며 연산을 수행하는 라이브러리들이 존재한다.

아래 표는 희소 행렬 SVD 계산의 일반적인 접근법과 특징을 정리한 것이다.

이러한 방법들은 계산 복잡도와 메모리 사용량을 크게 줄여, 표준 SVD로는 처리하기 어려운 대규모 희소 데이터셋에 대한 분석을 가능하게 한다. 그러나 희소 행렬 처리 알고리즘은 일반적으로 근사 해를 제공하거나, 특정 조건(예: 매우 작은 특이값 계산)에서 수치적 불안정성을 보일 수 있다는 한계를 가진다.