텐서

수학에서 텐서는 벡터 공간과 그 쌍대 공간의 텐서 곱으로 구성되는 다중 선형 대수학적 객체이다. 가장 엄밀한 정의에 따르면, 텐서는 하나 이상의 벡터와 코벡터(쌍대 공간의 원소)를 입력받아 스칼라를 출력하는 다중 선형 사상, 즉 다중 선형 형식으로 볼 수 있다. 예를 들어, (1,2)차 텐서는 하나의 코벡터와 두 개의 벡터를 입력받아 선형적으로 스칼라 값을 반환하는 함수이다.

이러한 관점에서, 스칼라는 어떤 벡터나 코벡터도 입력받지 않는 0개의 인자를 가지는 (0,0)차 텐서로 간주된다. 벡터는 하나의 코벡터를 입력받아 스칼라를 주는 (1,0)차 텐서이며, 코벡터는 하나의 벡터를 입력받는 (0,1)차 텐서이다. 일반적인 (p,q)차 텐서는 p개의 코벡터와 q개의 벡터를 입력으로 받는 다중 선형 사상에 해당한다.

이 정의는 텐서를 특정 좌표계나 기저의 선택에 의존하지 않는 기하학적이며 내재적인 객체로 만든다. 텐서의 성분은 기저를 선택했을 때 나타나는 숫자들의 배열에 불과하며, 기저가 변환될 때 일정한 변환 법칙을 따라야 진정한 텐서로 인정된다. 이러한 추상적 정의는 물리학과 공학에서 좌표계에 무관하게 물리 법칙을 기술하는 데 필수적이며, 미분 기하학과 일반 상대성 이론의 기초를 이룬다.

텐서의 성분 표기법은 텐서를 좌표계에 따라 숫자의 배열로 구체적으로 표현하는 방법이다. 이는 텐서를 다루는 실용적인 계산의 기초가 된다. 가장 일반적인 방법은 지표 표기법 또는 인덱스 표기법이다. 이 표기법에서는 텐서의 각 성분을 하나 이상의 지표(아래첨자 또는 위첨자)로 식별한다. 예를 들어, 2차 텐서(행렬)의 성분은 $A^i_j$와 같이 두 개의 지표로 표현되며, 여기서 $i$는 행 번호, $j$는 열 번호에 해당하는 지표이다.

성분 표기법은 텐서의 변환 법칙을 명확히 드러낸다는 장점이 있다. 텐서는 좌표계가 변할 때 특정한 규칙에 따라 성분이 변환되어야 하는 기하학적 객체이다. 예를 들어, 벡터(1차 텐서)는 기저 벡터의 변환과 반대 방식으로 성분이 변환된다(반변 벡터). 반면, 코벡터(1차 공변 텐서)는 기저 벡터와 같은 방식으로 변환된다. 이러한 변환 성질은 지표의 위치(위첨자 반변, 아래첨자 공변)로 구분하여 표기한다.

텐서 연산도 성분 표기법으로 간결하게 표현할 수 있다. 텐서 곱은 단순히 성분들을 곱하는 것으로, 예를 들어 두 벡터의 텐서 곱은 $A^i B^j$와 같은 성분을 가진 2차 텐서가 된다. 축약 연산은 아인슈타인 합 규약을 적용하여, 한 쌍의 반변 지표와 공변 지표가 같을 때 그 지표에 대해 합을 취하는 것으로 표현한다. 이 규약을 사용하면 복잡한 텐서 방정식을 매우 간략하게 쓸 수 있어, 일반 상대성 이론이나 유체역학 등 물리학 분야에서 널리 활용된다.

텐서의 차수 또는 계수는 텐서가 몇 개의 벡터 공간의 텐서곱으로 구성되었는지를 나타내는 수치이다. 이는 텐서가 몇 개의 지표를 필요로 하는지, 즉 데이터 구조의 차원 수를 결정하는 기본적인 특성이다.

가장 낮은 차수의 텐서는 0차 텐서로, 이는 스칼라에 해당한다. 스칼라는 방향성을 가지지 않는 단일한 수치이며, 어떤 벡터 공간에도 속하지 않으므로 지표가 필요 없다. 1차 텐서는 벡터이다. 벡터는 하나의 지표(예: v_i)로 표현되며, 선형 공간의 한 요소를 나타낸다. 2차 텐서는 행렬이다. 행렬은 두 개의 지표(예: M_ij)를 가지며, 선형 변환을 표현하거나 두 벡터 공간 사이의 쌍선형 형식을 나타내는 데 사용된다.

3차 이상의 텐서는 고차 텐서로 분류된다. 예를 들어, 3차 텐서는 세 개의 지표(예: T_ijk)를 가지며, 컬러 이미지 데이터(높이, 너비, 색상 채널)나 세 개의 벡터를 입력으로 받는 삼중선형 형식을 표현하는 데 사용될 수 있다. 기계 학습과 딥러닝 프레임워크에서는 이러한 고차 텐서를 사용하여 미니배치 데이터, 다중 채널의 특징 맵, 또는 복잡한 시퀀스 데이터를 효율적으로 표현하고 연산한다. 따라서 텐서의 차수는 그 수학적 본질과 응용 분야에서의 데이터 표현 능력을 직접적으로 규정하는 핵심 개념이다.

응력 텐서는 재료 과학과 고체 역학에서 물체 내부의 한 점에서 작용하는 내부 힘의 상태를 완전히 기술하는 2차 텐서이다. 이는 단순히 힘의 크기만이 아니라, 그 힘이 작용하는 방향과 힘을 받는 면의 방향이라는 두 가지 방향 정보를 동시에 포함한다. 따라서 스칼라나 벡터로는 표현할 수 없는 물리량이며, 행렬 형태의 2차 텐서가 필요하다.

구체적으로, 응력 텐서의 각 성분 σ_ij는 j 방향에 수직인 단위 면적에 작용하는 힘의 i 방향 성분을 의미한다. 예를 들어, σ_xy는 y축에 수직인 면(y-면)에 작용하는 힘의 x방향 성분, 즉 전단 응력을 나타낸다. 이렇게 정의된 9개의 성분으로 이루어진 응력 텐서는 대칭 텐서의 성질을 가져, 독립적인 성분은 6개로 줄어든다.

응력 텐서는 고체 역학과 재료 과학의 핵심 개념으로, 변형률 텐서와 함께 후크의 법칙을 통해 연결되어 재료의 거동을 예측하는 데 사용된다. 또한, 유체 역학에서도 점성 유체의 응력 상태를 기술하는 데 응력 텐서가 활용된다. 이 개념은 물체가 외부 하중을 받을 때 내부에 생기는 복잡한 힘의 분포를 체계적으로 수학화하여, 교량, 건물, 비행기와 같은 구조물의 설계와 안전성 평가에 필수적이다.

물리학에서 강체의 회전 운동을 기술할 때, 질량 분포와 회전축의 방향에 따라 달라지는 관성의 척도를 나타내는 데 관성 모멘트 텐서가 사용된다. 단일한 스칼라 값인 관성 모멘트는 특정 축에 대한 값이지만, 임의의 방향에 대한 관성 모멘트를 체계적으로 계산하기 위해서는 2차 텐서인 관성 모멘트 텐서가 필요하다. 이 텐서는 질량 중심을 원점으로 하는 좌표계에서 정의되며, 강체를 구성하는 모든 질점의 위치 벡터 성분을 이용해 계산된다.

관성 모멘트 텐서는 3x3 대칭 행렬의 형태를 가지며, 대각 성분은 각 좌표축(x, y, z축)에 대한 관성 모멘트에 해당한다. 비대각 성분은 관성 곱이라고 불리며, 질량 분포가 좌표축에 대해 대칭적이지 않을 때 나타나는 값이다. 이 텐서를 통해 임의의 방향 단위 벡터가 주어졌을 때, 해당 방향을 회전축으로 하는 관성 모멘트는 텐서와 벡터의 이차 형식 연산으로 간단히 구할 수 있다.

관성 모멘트 텐서의 가장 중요한 물리적 응용은 강체의 회전 운동 방정식, 즉 오일러의 운동 방정식을 설정하는 것이다. 회전하는 강체에 작용하는 토크와 각속도 변화의 관계는 관성 모멘트 텐서를 통해 기술된다. 또한, 이 텐서를 대각화하면 주축과 주관성 모멘트를 얻을 수 있는데, 이는 강체가 안정적으로 회전할 수 있는 방향을 결정하는 데 핵심적이다.

일반 상대성 이론은 알베르트 아인슈타인이 제안한 중력 이론으로, 시공간의 기하학적 구조가 중력을 결정한다는 핵심 개념을 담고 있다. 이 이론에서 중력은 질량과 에너지에 의해 발생하는 시공간의 곡률로 해석되며, 이러한 곡률을 정량적으로 기술하는 데 텐서가 핵심적으로 사용된다.

시공간의 곡률은 리만 곡률 텐서라는 4차 텐서로 표현된다. 이 텐서는 계량 텐서로부터 유도되며, 계량 텐서는 시공간의 기본적인 기하학적 구조, 즉 두 점 사이의 거리와 각도를 정의하는 2차 텐서이다. 리만 곡률 텐서를 축약하면 리치 곡률 텐서가 되고, 이를 다시 축약하면 리치 스칼라가 얻어진다.

아인슈타인의 장 방정식은 이러한 기하학적 텐서들(리치 곡률 텐서, 리치 스칼라, 계량 텐서)과 물리적 내용을 담은 에너지-운동량 텐서를 연결하는 방정식이다. 이 방정식은 "시공간의 곡률은 그 속에 있는 물질과 에너지의 분포에 의해 결정된다"는 아이디어를 수학적으로 구현한다. 즉, 우측변의 에너지-운동량 텐서가 물질과 에너지의 분포를 나타내고, 좌측변의 아인슈타인 텐서가 시공간의 곡률을 나타내어 양변이 동등함을 보인다.

이러한 텐서 기반의 수학적 틀을 통해 일반 상대성 이론은 중력을 기하학의 언어로 서술할 수 있게 되었으며, 블랙홀, 중력파, 우주 팽창과 같은 현상들을 성공적으로 예측하고 설명하는 토대를 마련했다.

기계 학습, 특히 딥러닝 분야에서 텐서는 다차원 배열 형태의 데이터를 표현하는 핵심적인 자료 구조이다. 이는 스칼라, 벡터, 행렬의 개념을 고차원으로 일반화한 것으로, 인공신경망의 입력, 출력, 내부 매개변수 및 중간 계산 결과를 통일된 방식으로 다룰 수 있게 한다. 파이토치나 텐서플로와 같은 현대 딥러닝 프레임워크는 이러한 텐서 연산을 효율적으로 지원하는 라이브러리를 제공한다.

텐서의 차원 구조는 데이터의 특성을 직관적으로 나타낸다. 예를 들어, 흑백 이미지 데이터는 (높이, 너비)의 2차원 행렬로, 컬러 이미지는 (높이, 너비, 색상 채널)의 3차원 텐서로 표현된다. 배치 학습에서는 여러 데이터 샘플을 동시에 처리하기 위해 가장 앞에 배치 차원을 추가하여, 예를 들어 (배치 크기, 높이, 너비, 채널) 형태의 4차원 텐서를 구성한다. 자연어 처리에서는 (배치 크기, 시퀀스 길이, 단어 임베딩 차원) 형태의 3차원 텐서가 순환 신경망이나 트랜스포머 모델의 입력으로 사용된다.

이러한 다차원 표현은 선형대수학 기반의 병렬 연산과 최적화에 매우 적합하다. 합성곱 신경망의 필터 연산, 순전파와 역전파 과정에서의 행렬 곱셈, 경사 하강법을 통한 가중치 업데이트 등 신경망의 모든 핵심 연산은 텐서 간의 계산으로 이루어진다. 따라서 텐서는 현대 기계 학습 모델을 구성하고 데이터를 흐르게 하는 기본 단위로서의 역할을 담당한다.

기계 학습, 특히 딥러닝에서 신경망의 핵심 연산은 텐서를 기반으로 이루어진다. 신경망은 입력 데이터를 여러 층을 거쳐 변환하는데, 이때 각 층에서 수행되는 선형 변환과 비선형 활성화 함수의 적용은 모두 텐서 연산으로 표현된다. 예를 들어, 완전 연결층에서는 입력 벡터(1차 텐서)와 가중치 행렬(2차 텐서)의 곱셈이, 합성곱 신경망(CNN)에서는 입력 이미지(높이, 너비, 채널을 가진 3차 텐서)와 합성곱 필터(보통 4차 텐서) 간의 합성곱 연산이 핵심을 이룬다.

이러한 연산들은 효율적인 계산을 위해 GPU나 TPU와 같은 가속 하드웨어에서 병렬 처리된다. 대부분의 현대 딥러닝 프레임워크는 이러한 텐서 연산을 추상화하여 제공하며, 자동 미분 기능을 통해 역전파 알고리즘을 구현하는 데 필수적인 기울기 계산을 자동화한다. 따라서 고차원의 복잡한 데이터를 처리하는 신경망 모델의 설계와 훈련은 텐서와 그 연산에 대한 이해 없이는 불가능하다.

텐서 곱은 두 개 이상의 벡터 공간에서 새로운, 더 높은 차원의 벡터 공간을 구성하는 연산이다. 이 연산은 선형대수학의 기본 연산인 벡터의 덧셈과 스칼라곱을 확장한 개념으로, 다중 선형 형태를 다루는 텐서 이론의 핵심을 이룬다. 두 벡터 공간 V와 W의 텐서 곱 공간 V ⊗ W는, V의 원소와 W의 원소의 순서쌍 (v, w)에 대해 쌍선형성을 갖는 가장 일반적인 공간으로 정의된다.

구체적으로, 유한 차원 벡터 공간의 경우, 텐서 곱은 기저 벡터들의 곱으로 이해할 수 있다. 만약 V의 기저가 {e_i}, W의 기저가 {f_j}라면, 텐서 곱 공간 V ⊗ W의 기저는 {e_i ⊗ f_j}로 주어진다. 따라서 이 공간의 차원은 V의 차원과 W의 차원의 곱이 된다. 이 연산은 행렬의 크로네커 곱과 직접적으로 연결된다.

텐서 곱 연산은 결합 법칙을 만족하므로, 여러 벡터 공간에 반복적으로 적용하여 고차원 텐서 공간을 생성할 수 있다. 예를 들어, 벡터 공간 V의 세 번의 텐서 곱 V ⊗ V ⊗ V는 3차 텐서들의 공간이 된다. 이는 물리학에서 관성 모멘트 텐서나 응력 텐서와 같은 2차 텐서를 넘어, 더 복잡한 물리량을 표현하는 데 필수적이다. 또한 기계 학습의 다차원 배열 연산과 신경망의 내부 계산을 수학적으로 기술하는 데 널리 활용된다.

축약은 텐서의 특정한 두 지표에 대해 합을 취하여 새로운 텐서를 생성하는 연산이다. 이는 텐서의 차수를 낮추는 효과가 있으며, 행렬의 대각합 연산을 고차원으로 일반화한 개념으로 볼 수 있다. 예를 들어, 2차 텐서인 행렬의 대각합은 그 행렬의 두 지표를 축약하여 얻은 0차 텐서, 즉 스칼라 값이다.

물리학과 공학에서 축약 연산은 중요한 물리량을 도출하는 데 자주 사용된다. 응력 텐서와 변형률 텐서를 축약하면 압력이나 체적 변형률과 같은 스칼라량을 얻을 수 있으며, 아인슈타인 장방정식과 같은 복잡한 텐서 방정식을 단순화하는 데도 필수적이다. 지표 표기법을 사용할 때, 반복되어 나타나는 지표(더미 지표)에 대해 합을 취하는 규칙이 바로 축약 연산을 나타낸다.

기계 학습과 딥러닝 프레임워크에서도 텐서 축약은 내적 계산이나 특정 차원을 따라 합을 구하는 등 다양한 연산의 기초를 이룬다. 예를 들어, 두 벡터의 내적은 두 1차 텐서를 축약하여 0차 텐서를 얻는 과정이며, 신경망의 순전파 과정에서 가중치와 입력값의 곱셈 후 합을 계산하는 단계도 일종의 축약 연산에 해당한다.

텐서의 대각합은 주로 2차 텐서, 즉 행렬에 대해 정의되는 연산이다. 정사각 행렬의 대각합은 주대각선 성분들의 합으로, 행렬의 중요한 불변량 중 하나이다. 예를 들어, 3x3 행렬의 대각합은 (1,1), (2,2), (3,3) 위치의 세 성분을 더한 스칼라 값이다. 이 연산은 선형 변환의 특성을 나타내며, 특히 고윳값들의 합과 같다는 성질을 가진다.

더 높은 차수의 텐서에 대해서는 특정한 한 쌍의 인덱스에 대해 축약 연산을 수행하여 대각합을 정의할 수 있다. 이는 텐서의 두 인덱스를 선택하여 그 인덱스가 같은 값을 가질 때 모든 경우에 대해 합을 계산하는 것을 의미한다. 예를 들어, 4차 텐서의 첫 번째와 세 번째 인덱스에 대한 대각합을 취하면 2차 텐서(행렬)가 된다. 이러한 연산은 물리학과 미분 기하학에서 텐서의 계수를 줄이는 데 유용하게 사용된다.

대각합 연산은 텐서의 내적과 밀접한 관련이 있다. 두 개의 2차 텐서(행렬)의 프로베니우스 내적은 사실상 한 행렬과 다른 행렬의 전치 행렬의 대각합으로 계산될 수 있다. 또한, 텐서 곱으로 생성된 고차 텐서에 부분적 대각합을 적용하면 원래의 저차원 텐서들 사이의 다양한 내적 연산을 포괄하는 결과를 얻을 수 있다. 이는 복잡한 텐서 계산을 단순화하는 데 핵심적인 역할을 한다.

벡터와 스칼라는 텐서의 특별한 경우로 이해된다. 스칼라는 크기만을 가지는 물리량이며, 이는 0차 텐서에 해당한다. 예를 들어, 온도나 질량은 하나의 숫자로 표현되는 스칼라이다. 벡터는 크기와 방향을 가지는 물리량으로, 1차 텐서에 해당한다. 속도나 힘과 같은 개념은 벡터로 표현된다.

텐서는 이러한 개념을 더 높은 차원으로 일반화한 것이다. 2차 텐서는 행렬로 표현되며, 3차 이상의 텐서는 고차원 배열로 표현된다. 따라서 스칼라, 벡터, 행렬은 모두 텐서의 하위 집합이다. 이 관계는 텐서의 차수(계수) 개념으로 체계화된다.

물리학에서 이 개념은 필수적이다. 예를 들어, 공간 한 점의 압력은 스칼라로, 그 점에서의 전기장 세기는 벡터로 설명된다. 그러나 그 점에서의 응력 상태나 관성 모멘트와 같은 더 복잡한 물리량은 2차 텐서를 필요로 한다. 이처럼 텐서는 다양한 차원의 물리적 현상을 통일적으로 기술하는 수학적 언어를 제공한다.

기계 학습 분야에서도 이 구분은 명확하게 적용된다. 하나의 숫자 데이터는 스칼라, 한 명의 사용자에 대한 특징 벡터는 1차 텐서, 한 장의 흑백 이미지 데이터는 2차 텐서(행렬), 그리고 여러 채널을 가진 컬러 이미지 배치 데이터는 3차 또는 4차 텐서로 표현된다.

행렬은 수나 기호, 수식 등을 직사각형 모양으로 배열한 것으로, 선형대수학의 핵심적인 개념이다. 특히 행렬은 벡터에 대한 선형 변환을 표현하거나, 선형 방정식 계를 간결하게 나타내는 데 사용된다. 행렬의 각 성분은 실수나 복소수 등으로 이루어질 수 있으며, 행과 열의 개수에 따라 그 크기가 정의된다. 행렬 연산에는 덧셈, 스칼라곱, 그리고 가장 중요한 행렬 곱셈이 포함된다.

텐서의 관점에서 보면, 행렬은 2차 텐서에 해당한다. 스칼라는 0차 텐서, 벡터는 1차 텐서이며, 행렬은 두 개의 지표(행 인덱스와 열 인덱스)를 필요로 하는 2차 텐서이다. 이는 행렬이 두 개의 벡터 공간 사이의 선형 사상을 기술하거나, 하나의 벡터 공간에서 쌍선형 형식을 표현하는 객체라는 점에서 기인한다. 따라서 모든 행렬은 텐서이지만, 모든 텐서가 행렬인 것은 아니다. 3차 이상의 고차 텐서는 행렬로 표현하기 어렵다.

물리학과 공학에서 행렬은 매우 광범위하게 응용된다. 예를 들어, 회전 변환이나 좌표 변환을 기술하거나, 연립방정식을 푸는 데 필수적이다. 컴퓨터 그래픽스에서 3차원 물체의 이동, 회전, 크기 조절은 모두 행렬 연산으로 수행된다. 또한 양자역학에서 관측 가능한 물리량은 연산자로 표현되며, 이는 종종 무한차원의 행렬(정확히는 선형 연산자) 형태를 띤다.

기계 학습과 데이터 과학 분야에서 행렬은 데이터를 구성하는 기본 단위이다. 예를 들어, 사용자-아이템 평점 데이터는 행이 사용자, 열이 아이템인 행렬로, 이미지 데이터는 픽셀 값으로 이루어진 행렬로 표현될 수 있다. 주성분 분석이나 특이값 분해와 같은 많은 차원 축소 및 행렬 분해 기법들은 데이터 행렬의 구조를 분석하여 유용한 정보를 추출하는 데 기반을 둔다.

텐서장은 공간의 각 점에 텐서가 할당된 수학적 구조이다. 이는 스칼라장이나 벡터장의 개념을 고차원으로 일반화한 것으로, 미분 기하학과 물리학에서 공간의 기하학적 또는 물리적 성질을 국소적으로 기술하는 핵심 도구이다. 특히, 시공간의 곡률을 나타내는 리만 곡률 텐서와 같은 물리량은 텐서장으로 표현된다.

텐서장은 다양체 위에서 정의되며, 그 미분과 적분을 연구하는 분야를 텐서 해석이라고 한다. 텐서장의 변화율을 올바르게 정의하기 위해서는 접속의 개념이 필요하며, 이를 통해 공변 미분과 같은 연산이 가능해진다. 이는 일반 상대성 이론에서 중력을 기술하는 아인슈타인 방정식을 세우는 데 필수적이다.

물리학 및 공학에서 텐서장은 연속체의 성질을 설명하는 데 널리 사용된다. 예를 들어, 고체 내부의 응력 상태는 2차 응력 텐서장으로, 유체의 점성 변형률은 변형률 속도 텐서장으로 나타낼 수 있다. 또한, 전자기장은 전자기 텐서라는 2차 텐서장으로 간결하게 표현될 수 있다.