운영체제편집자 확인

초기 운영체제는 1950년대부터 1960년대 초반까지 등장한 시스템으로, 오늘날의 운영체제와 비교하면 매우 단순한 형태였다. 이 시기의 컴퓨터는 일괄 처리 시스템을 사용했으며, 운영자는 천공 카드나 종이 테이프로 작성된 프로그램과 데이터를 한꺼번에(일괄적으로) 입력했다. 컴퓨터는 이 작업들을 순차적으로 처리한 후 결과를 프린터나 천공 카드로 출력했다. 이 과정에서 IBM의 FORTRAN 모니터 시스템이나 GM-NAA I/O와 같은 초기 시스템은 카드 리더에서 작업을 읽고, 컴파일러나 어셈블러를 로드하며, 출력을 처리하는 기본적인 제어 기능을 제공했다. 이는 인간 운영자의 수작업을 줄이고 컴퓨터 자원의 유휴 시간을 최소화하기 위한 목적이었다.

1960년대 중반에는 다중 프로그래밍과 시분할 시스템의 개념이 도입되며 발전이 이루어졌다. 다중 프로그래밍은 여러 프로그램을 동시에 메모리에 적재하여, 하나의 프로그램이 입출력을 기다리는 동안 다른 프로그램이 CPU를 사용할 수 있게 함으로써 자원 활용률을 극대화했다. 시분할 시스템은 이 개념을 확장하여 여러 사용자가 터미널을 통해 동시에 컴퓨터와 상호작용할 수 있게 했다. 이 시기의 대표적인 시스템으로는 MIT의 CTSS, 벨 연구소와 MIT, GE가 협력하여 개발한 멀틱스가 있다. 멀틱스는 이후 유닉스 운영체제의 설계에 지대한 영향을 미쳤다.

초기 운영체제의 주요 특징은 다음과 같이 요약할 수 있다.

이러한 초기 발전은 컴퓨터를 단순한 계산 장치에서 다중 작업과 다중 사용자를 지원하는 범용 시스템으로 변화시키는 토대를 마련했다.

1960년대 후반부터 1970년대에 걸쳐 멀티태스킹과 멀티유저 기능을 갖춘 유닉스 운영체제가 등장했다. 켄 톰슨과 데니스 리치가 개발한 이 시스템은 C 언어로 작성되어 높은 이식성을 확보했고, 이후 학계와 산업계에 광범위하게 영향을 미쳤다. 같은 시기, IBM은 메인프레임 컴퓨터를 위한 OS/360과 같은 대규모 시스템을 발전시켰다.

1980년대에는 마이크로프로세서의 발전으로 개인용 컴퓨터가 보급되면서 새로운 운영체제 시장이 형성되었다. 마이크로소프트의 MS-DOS는 단일 사용자, 단일 작업 환경을 제공했으며, 이후 애플의 매킨토시 시스템은 그래픽 사용자 인터페이스를 대중화하는 데 기여했다. 1990년대 초반, 리누스 토르발스에 의해 개발된 리눅스 커널은 오픈 소스 모델을 통해 급속히 성장하여 서버 분야에서 중요한 위치를 차지하게 되었다.

1990년대 중반부터는 네트워크 기능과 선점형 멀티태스킹이 표준이 되었다. 마이크로소프트 윈도우 95는 개인용 컴퓨터에 강력한 멀티태스킹 환경을 도입했고, 윈도우 NT 계열은 기업용 시장을 겨냥한 안정적인 플랫폼을 제공했다. 한편, BSD 계열과 리눅스 배포판은 인터넷 인프라의 핵심 서버 운영체제로 자리 잡았다.

21세기에 들어서는 스마트폰과 태블릿 컴퓨터의 등장으로 모바일 운영체제가 새로운 주류로 부상했다. 구글의 안드로이드와 애플의 iOS는 터치 기반 인터페이스와 앱 생태계를 중심으로 한 현대 모바일 컴퓨팅의 기반을 마련했다. 또한, 가상화 기술과 컨테이너 기술의 발전은 클라우드 컴퓨팅 시대에 맞춰 운영체제의 역할과 배포 방식을 근본적으로 변화시키고 있다.

프로세스는 실행 중인 프로그램의 인스턴스이다. 운영체제의 프로세스 관리 기능은 이러한 프로세스의 생성, 종료, 상태 추적, 그리고 CPU 자원의 할당을 담당한다. 이를 통해 한정된 프로세서를 여러 프로세스가 효율적으로 공유하며 동시에 실행되는 것처럼 보이게 한다.

프로세스는 일반적으로 생성, 준비, 실행, 대기, 종료의 상태를 거친다. 운영체제는 각 프로세스의 상태를 관리하는 프로세스 제어 블록을 유지하며, 여기에는 프로세스 식별자, 프로그램 카운터, 레지스터 상태, 메모리 정보, 입출력 상태 등이 저장된다. 스케줄러는 준비 상태의 프로세스 중 다음에 실행할 프로세스를 선택하는 알고리즘을 수행한다. 대표적인 스케줄링 알고리즘으로는 선입 선처리, 최단 작업 우선, 라운드 로빈, 우선순위 스케줄링 등이 있다.

또한, 운영체제는 프로세스 간 통신과 동기화 메커니즘을 제공한다. 프로세스들이 데이터를 교환하거나 공유 자원에 순차적으로 접근할 수 있도록 공유 메모리, 메시지 전달, 세마포어, 뮤텍스 등의 기법을 관리한다. 이는 데이터의 일관성을 유지하고 교착 상태를 방지하는 데 핵심적이다.

메모리 관리는 운영체제가 컴퓨터의 주기억장치를 효율적으로 할당하고 추적하며 해제하는 핵심 기능이다. 이는 한정된 물리적 메모리 자원을 여러 프로세스가 안전하고 공정하게 공유할 수 있도록 보장한다. 주요 목표는 메모리 활용도를 극대화하고, 프로세스의 실행 속도를 높이며, 각 프로세스가 다른 프로세스의 메모리 공간을 침범하지 못하도록 보호하는 것이다.

관리 기법은 크게 연속 메모리 할당과 비연속 메모리 할당으로 나뉜다. 초기 시스템에서 사용된 연속 메모리 할당은 프로세스에 연속된 메모리 블록을 할당하는 방식이었으나, 외부 단편화 문제가 발생했다. 이를 해결하기 위해 페이징과 세그멘테이션 같은 비연속 할당 기법이 발전했다. 페이징은 물리 메모리를 고정 크기의 프레임으로, 논리 메모리를 같은 크기의 페이지로 나누어 매핑하며, 페이지 테이블을 사용해 주소 변환을 수행한다. 세그멘테이션은 프로그램을 논리적 단위인 세그먼트로 나누어 할당하는 방식이다.

운영체제는 가상 메모리 기술을 통해 실제 물리 메모리 용량보다 큰 논리적 주소 공간을 제공한다. 이는 필요하지 않은 페이지를 보조기억장치(예: HDD, SSD)의 스왑 영역으로 일시적으로 내보내는 스와핑 또는 페이징을 통해 구현된다. 요구 페이징은 프로그램 실행 초기에 모든 페이지를 메모리에 로드하지 않고, 실제로 접근이 발생할 때 해당 페이지를 적재하는 방식으로 메모리 사용을 최적화한다. 페이지 교체 알고리즘(예: LRU, FIFO)은 물리 메모리가 가득 찼을 때 어떤 페이지를 스왑 아웃할지 결정한다.

효율적인 메모리 관리는 시스템 전체의 성능과 안정성에 직접적인 영향을 미친다. 잘못된 관리로 인해 메모리 부족이나 과도한 스와핑(thrashing)이 발생하면 시스템 응답이 현저히 저하될 수 있다. 현대 운영체제는 캐시 메모리 관리, TLB(변환 색인 버퍼) 최적화, 다양한 페이지 크기 지원 등 하드웨어 특성을 고려한 고급 기법들을 통합하여 성능을 극대화한다.

파일 시스템은 운영체제가 보조기억장치에 저장된 데이터를 체계적으로 관리하고 접근할 수 있도록 하는 서비스 및 데이터 구조의 집합이다. 사용자와 응용 프로그램에게는 복잡한 하드웨어 제어 없이 파일과 디렉터리(폴더)를 생성, 삭제, 읽기, 쓰기, 검색할 수 있는 논리적 인터페이스를 제공한다. 파일 시스템의 핵심 역할은 저장 공간을 효율적으로 할당하고, 데이터의 무결성을 유지하며, 빠른 접근을 보장하는 것이다.

파일 시스템의 주요 구성 요소는 메타데이터 관리, 저장 공간 할당, 디렉터리 조직이다. 메타데이터는 파일 자체의 내용이 아닌, 파일 이름, 크기, 생성 시간, 접근 권한, 그리고 데이터 블록의 물리적 위치 정보 등을 포함한다. 대표적인 메타데이터 구조로 유닉스 계열 시스템의 inode가 있다. 저장 공간 할당 방식에는 데이터를 연속된 블록에 저장하는 연속 할당, 연결 리스트를 사용하는 연결 할당, 인덱스 블록을 활용하는 인덱스 할당 등이 있으며, 각 방식은 단편화와 접근 속도 측면에서 장단점을 가진다.

다양한 운영체제는 서로 다른 파일 시스템을 사용한다. 예를 들어, 마이크로소프트 윈도우는 주로 NTFS나 FAT32를, 리눅스는 ext4, XFS, Btrfs 등을, 애플의 macOS는 APFS를 기본 파일 시스템으로 채택한다. 이러한 파일 시스템들은 저널링[3], 암호화, 압축, 스냅샷 같은 고급 기능을 지원하기도 한다.

파일 시스템은 계층적 디렉터리 구조를 통해 파일을 조직화한다. 최상위에 있는 루트 디렉터리에서 시작하여 트리 형태로 디렉터리가 분기하며, 각 파일은 경로명으로 고유하게 식별된다. 네트워크를 통해 원격 파일 시스템에 접근할 수 있게 해주는 NFS나 SMB 같은 프로토콜도 파일 시스템 서비스의 확장으로 볼 수 있다.

입출력 관리는 운영체제가 컴퓨터의 다양한 하드웨어 장치와의 데이터 교환을 제어하고 조정하는 핵심 기능이다. 이는 중앙 처리 장치와 주기억장치 외의 모든 장치, 예를 들어 하드 디스크 드라이브, 키보드, 마우스, 모니터, 프린터, 네트워크 카드 등을 포함한다. 운영체제는 이러한 장치들의 상이한 속도와 복잡한 제어 방식을 추상화하여, 응용 프로그램이 단순하고 일관된 방식으로 장치를 사용할 수 있게 한다. 이를 통해 프로그램은 특정 하드웨어의 세부 사항을 알 필요 없이 파일을 읽거나 화면에 출력하는 등의 작업을 수행할 수 있다.

운영체제는 일반적으로 장치 드라이버라는 특수 소프트웨어 계층을 통해 입출력을 관리한다. 각 장치 드라이버는 특정 하드웨어 장치를 위한 번역기 역할을 하며, 운영체제 커널이 제공하는 표준 명령을 해당 장치가 이해할 수 있는 저수준 명령으로 변환한다. 입출력 작업은 대부분 중앙 처리 장치의 처리 속도보다 훨씬 느리기 때문에, 운영체제는 인터럽트와 직접 메모리 접근 같은 메커니즘을 활용하여 효율성을 높인다. 인터럽트는 장치가 작업을 완료했을 때 중앙 처리 장치에 알려주어, 중앙 처리 장치가 대기 상태에 머무르지 않고 다른 작업을 수행할 수 있게 한다. 직접 메모리 접근 컨트롤러는 중앙 처리 장치의 개입 없이 장치와 주기억장치 사이에 데이터를 직접 전송한다.

입출력 관리의 또 다른 중요한 측면은 버퍼링과 캐싱이다. 버퍼링은 데이터를 임시로 저장하는 메모리 영역을 사용하여, 서로 다른 속도로 동작하는 장치 간의 데이터 흐름을 완화한다. 예를 들어, 프린터로 보내는 데이터는 먼저 버퍼에 저장된 후 상대적으로 느린 프린터 속도에 맞춰 출력된다. 캐싱은 자주 사용되는 데이터의 복사본을 더 빠른 저장소에 보관하여 접근 속도를 높이는 기술이다. 디스크 캐시는 자주 읽는 디스크 블록을 주기억장치에 유지하여 전체 시스템 성능을 향상시킨다. 이러한 기법들은 사용자에게 투명하게 적용되어 시스템의 반응성과 처리량을 크게 개선한다.

커널 구조는 운영체제의 핵심 구성 요소인 커널이 어떻게 설계되고 조직되는지를 나타낸다. 주요 구조로는 단일형 커널, 마이크로커널, 혼합형 커널이 있으며, 각각 다른 설계 철학과 장단점을 지닌다.

단일형 커널은 모든 핵심 서비스(예: 프로세스 관리, 메모리 관리, 장치 드라이버, 파일 시스템)가 커널 공간에서 하나의 큰 실행 파일로 구현된다. 이는 구성 요소 간 통신이 함수 호출로 이루어지므로 성능이 우수하다는 장점이 있다. 대표적인 예로는 리눅스와 초기 유닉스가 있다. 그러나 한 구성 요소의 결함이 전체 시스템의 불안정으로 이어질 수 있고, 코드의 크기와 복잡성이 증가한다는 단점도 존재한다.

반면, 마이크로커널은 최소한의 기능(기본적인 프로세스 관리, 메모리 관리, IPC)만 커널에 남기고, 파일 시스템이나 장치 드라이버와 같은 대부분의 서비스를 사용자 공간에서 실행되는 서버 프로세스로 구현한다. 이는 모듈성과 신뢰성이 높으며, 서버의 충돌이 전체 시스템을 중단시키지 않는다는 장점이 있다. 그러나 서버 간 통신이 메시지 전달을 통해 이루어져 성능 오버헤드가 발생할 수 있다는 단점이 있다. 마이크로커널의 대표적인 예로는 마하와 미닉스가 있다.

이러한 설계 방식의 차이를 보완하기 위해 등장한 것이 혼합형 커널이다. 이는 성능을 위해 일부 비필수 코드를 커널 공간에 포함시키지만, 여전히 모듈화된 구조를 유지한다. 윈도우 NT 계열과 macOS의 커널이 이 범주에 속한다. 최근의 많은 시스템은 순수한 형태보다는 실용적인 요구에 맞춰 변형된 구조를 채택한다[4].

시스템 호출 인터페이스는 응용 프로그램이 커널의 서비스와 자원을 요청할 수 있도록 하는 프로그래밍 인터페이스이다. 응용 프로그램은 직접 하드웨어를 제어하거나 프로세스 관리, 파일 시스템 접근과 같은 운영체제의 핵심 기능을 실행할 수 없다. 대신, 시스템 호출을 통해 운영체제에게 서비스를 요청하고, 커널이 이를 대신 수행한 후 결과를 응용 프로그램에 반환한다. 이 인터페이스는 사용자 모드에서 실행되는 응용 프로그램과 커널 모드에서 실행되는 운영체제 사이에 보호된 경계를 형성하여 시스템의 안정성과 보안을 유지한다.

시스템 호출은 일반적으로 어셈블리 명령어나 C 언어와 같은 고급 언어의 라이브러리 함수를 통해 접근한다. 대표적인 예로 POSIX 표준은 open(), read(), write(), fork(), exec(), brk() 등 수백 가지의 시스템 호출을 정의한다. 응용 프로그램이 이러한 함수를 호출하면, 특정 레지스터에 시스템 호출 번호와 인자를 설정한 후 소프트웨어 인터럽트(예: int 0x80)나 전용 명령어(예: syscall/sysenter)를 실행하여 프리빌리지드 모드로 전환된다. 이후 커널의 시스템 호출 핸들러가 해당 요청을 식별하고 처리한다.

주요 운영체제별 시스템 호출 인터페이스는 다음과 같은 특징을 가진다.

이 인터페이스의 설계는 운영체제의 확장성과 호환성에 직접적인 영향을 미친다. 잘 정의된 시스템 호출 집합은 새로운 하드웨어를 지원하거나 성능을 개선할 때 커널 내부를 수정하더라도 기존 응용 프로그램의 이진 호환성을 유지할 수 있게 한다. 반면, 시스템 호출을 과도하게 사용하는 것은 컨텍스트 스위칭 오버헤드를 유발할 수 있어, 일부 운영체제는 메모리 매핑이나 시그널과 같은 메커니즘으로 이를 최소화하기도 한다.

데스크톱 운영체제는 개인용 컴퓨터에서 사용자를 위해 그래픽 사용자 인터페이스를 제공하고, 응용 프로그램을 실행하며, 하드웨어 자원을 관리하는 소프트웨어 플랫폼이다. 주로 마이크로소프트 윈도우, macOS, 리눅스 배포판 등이 이 범주에 속한다. 이들 시스템은 문서 작성, 인터넷 검색, 멀티미디어 재생, 게임 등 일반 사용자의 일상적인 컴퓨팅 작업을 지원하도록 설계되었다. 사용자 친화성, 광범위한 하드웨어 호환성, 풍부한 응용 프로그램 생태계가 주요 특징이다.

역사적으로 마이크로소프트의 MS-DOS와 애플의 초기 매킨토시 시스템이 데스크톱 환경의 기초를 놓았다. 1990년대에 마이크로소프트 윈도우가 시장을 주도하면서 그래픽 인터페이스와 멀티태스킹이 표준이 되었다. 애플의 macOS는 통합된 하드웨어-소프트웨어 생태계와 디자인에 중점을 두는 반면, 다양한 리눅스 배포판(우분투, 페도라 등)은 오픈 소스 모델과 높은 사용자 제어권을 제공한다.

주요 데스크톱 운영체제의 특징을 비교하면 다음과 같다.

현대 데스크톱 운영체제는 클라우드 컴퓨팅 서비스와의 통합, 가상 현실 지원, 향상된 보안 기능(예: TPM 활용) 등을 지속적으로 발전시키고 있다. 또한, 터치스크린 및 음성 인터페이스와 같은 새로운 입력 방식을 수용하며 사용자 경험을 진화시키고 있다.

서버 운영체제는 네트워크를 통해 클라이언트 컴퓨터에 서비스를 제공하는 서버 하드웨어를 운영하기 위해 설계된 운영체제이다. 주로 안정성, 보안성, 네트워크 처리 능력, 그리고 다중 사용자 및 다중 프로세스 지원에 중점을 둔다. 데스크톱 운영체제가 개인 사용자의 상호작용과 응용 프로그램 실행에 최적화되어 있다면, 서버 운영체제는 백그라운드에서 장시간 무중단으로 실행되어 데이터베이스, 웹 페이지, 파일 공유, 이메일 등의 서비스를 제공하는 데 특화되어 있다.

주요 서버 운영체제로는 유닉스 계열 시스템, 리눅스 배포판, 그리고 마이크로소프트 윈도우 서버 계열이 있다. 유닉스와 리눅스는 오랜 기간 서버 시장에서 높은 점유율을 차지해 왔으며, 그 안정성과 오픈 소스 생태계로 인해 대규모 데이터센터와 클라우드 인프라의 기반이 되고 있다. 마이크로소프트 윈도우 서버는 액티브 디렉터리와 같은 기업용 디렉터리 서비스와의 긴밀한 통합으로 중소기업 환경에서 널리 사용된다.

서버 운영체제는 일반적으로 명령 줄 인터페이스(CLI)를 통한 원격 관리가 중심이며, 그래픽 사용자 인터페이스(GUI)는 선택 사항이거나 관리 도구로 제한적으로 제공된다. 또한 고가용성(High Availability), 로드 밸런싱, 대용량 메모리 및 다중 프로세서 지원, 고급 파일 시스템(예: ZFS, NTFS), 그리고 강력한 방화벽 및 접근 제어 메커니즘을 포함하는 것이 일반적이다. 최근에는 가상화와 컨테이너 기술을 네이티브로 지원하거나 통합하여 물리적 서버 자원의 효율적인 분할과 관리를 가능하게 한다.

모바일 운영체제는 스마트폰, 태블릿 컴퓨터, 스마트워치 등의 휴대용 장치에서 실행되도록 설계된 운영체제이다. 데스크톱 운영체제와 비교하여 제한된 하드웨어 자원(배터리, 처리 능력, 메모리)을 효율적으로 관리하고, 터치스크린 기반의 사용자 인터페이스, 센서 통합(가속도계, GPS, 근접 센서 등), 그리고 항상 연결된 모바일 네트워크 환경을 최적화하는 데 중점을 둔다. 대표적인 예로는 구글의 안드로이드와 애플의 iOS가 있으며, 이 두 플랫폼이 시장의 대부분을 차지한다[5].

주요 모바일 운영체제들은 공통적으로 앱 생태계를 중심으로 발전했다. 애플 앱 스토어와 구글 플레이와 같은 공식 앱 스토어를 통해 서드파티 개발자가 애플리케이션을 배포하고 사용자가 쉽게 설치할 수 있는 환경을 제공한다. 이는 운영체제의 기능을 확장하는 핵심 요소가 되었다. 또한, 보안과 개인정보 보호에 대한 요구가 높아짐에 따라 샌드박싱 기술[6], 권한 관리 시스템, 정기적인 보안 업데이트가 필수 기능으로 자리 잡았다.

다른 주요 모바일 운영체제로는 다양한 IoT 기기와 웨어러블 장치에 사용되는 경량 리눅스 배포판, 그리고 과거에 시장 점유율을 차지했던 마이크로소프트의 윈도우 폰, 블랙베리의 블랙베리 OS 등이 있다. 모바일 운영체제의 발전은 클라우드 컴퓨팅 서비스와의 긴밀한 통합, 인공지능 어시스턴트의 내장, 그리고 웨어러블 및 스마트 홈 기기와의 연동으로 그 영역을 계속 확장하고 있다.

임베디드 운영체제는 특정 기능을 수행하는 전용 컴퓨터 시스템인 임베디드 시스템에서 실행되도록 설계된 운영체제이다. 일반적인 범용 운영체제와 달리, 제한된 하드웨어 자원(낮은 처리 능력, 적은 메모리)에서 효율적으로 동작하며, 실시간성, 신뢰성, 낮은 전력 소비 등 특정 요구사항을 충족하는 데 중점을 둔다. 주로 자동차, 가전제품, 산업용 제어 장치, 의료 기기, IoT 센서 등에 내장되어 특정 작업을 제어하고 관리한다.

이러한 운영체제는 크게 실시간 운영체제(RTOS)와 비실시간 운영체제로 구분된다. 실시간 운영체제는 작업 처리의 시간적 예측 가능성을 보장하며, 경성 실시간 시스템(마감 시간을 절대 지키지 못하면 시스템 실패로 간주)과 연성 실시간 시스템(마감 시간을 대체로 지킴)에 사용된다. 반면, 비실시간 임베디드 운영체제는 엄격한 시간 제약보다는 자원 효율성과 안정성에 초점을 맞춘다.

주요 임베디드 운영체제의 예는 다음과 같다.

이들 시스템은 모듈화가 잘 되어 있어 필요하지 않은 기능은 제외하고 최소한의 커널만 포함하는 경향이 있다. 또한, 전원 관리 기능이 중요하여 절전 모드 지원이 일반적이다. 개발은 주로 크로스 컴파일 환경에서 이루어지며, 호스트 컴퓨터에서 코드를 작성 및 컴파일한 후 타겟 하드웨어에 이식한다.

접근 제어는 운영체제가 시스템 자원과 데이터에 대한 접근을 허가된 사용자나 프로세스로 제한하는 보안 메커니즘이다. 이는 컴퓨터 보안의 핵심 요소로, 기밀성과 무결성을 유지하는 데 필수적이다. 운영체제는 사용자 식별, 인증, 권한 부여의 단계를 통해 접근을 통제한다. 가장 기본적인 수준에서는 사용자 계정과 암호를 이용한 인증이 이루어진다.

접근 제어 모델은 크게 세 가지로 구분된다. 첫째, 임의 접근 제어(DAC)는 객체의 소유자가 다른 주체에 대한 접근 권한을 결정한다. 예를 들어, 유닉스 계열 시스템의 파일 권한(rwx)이 이에 해당한다. 둘째, 강제 접근 제어(MAC)는 시스템 전체의 보안 정책에 따라 접근이 통제되며, 개별 사용자가 권한을 변경할 수 없다. 셀리눅스가 대표적인 예이다. 셋째, 역할 기반 접근 제어(RBAC)는 사용자 개인이 아닌 역할에 권한을 부여하는 방식으로, 기업 환경에서 널리 사용된다.

구현 메커니즘으로는 접근 제어 목록(ACL)과 능력 기반 보안이 있다. ACL은 각 객체에 연결되어 어떤 주체가 어떤 작업을 수행할 수 있는지 명시하는 목록이다. 반면, 능력 기반 시스템은 주체가 보유한 능력(권한 토큰)에 기반하여 접근을 허용한다. 현대 운영체제는 보통 이러한 모델들을 혼합하여 사용한다.

효과적인 접근 제어는 최소 권한의 원칙을 따르는 것이 중요하다. 이 원칙은 사용자나 프로세스가 자신의 작업을 수행하는 데 필요한 최소한의 권한만을 부여받아야 한다는 개념이다. 이를 통해 오류나 악의적 공격으로 인한 피해 범위를 제한할 수 있다.

운영체제는 악성 소프트웨어로부터 시스템과 사용자 데이터를 보호하기 위해 여러 계층의 방어 메커니즘을 구현한다. 이러한 방어는 주로 커널 수준과 사용자 공간에서 동작하는 보안 소프트웨어를 통해 이루어진다. 핵심 방어 전략은 예방, 탐지, 격리, 복구로 구분할 수 있다.

운영체제가 제공하는 기본적인 방어 수단으로는 접근 제어 리스트(ACL), 사용자 계정 컨트롤(UAC), 그리고 실행 가능 파일에 대한 권한 관리가 있다. 현대 운영체제는 주소 공간 배치 난수화(ASLR)와 데이터 실행 방지(DEP) 같은 기술을 사용하여 버퍼 오버플로우 공격을 어렵게 만든다. 또한, 커널 패치 보호와 서명된 드라이버 강제 같은 메커니즘으로 커널의 무결성을 유지하려고 노력한다.

사용자 공간에서는 안티바이러스 소프트웨어와 방화벽이 주요 방어선을 구성한다. 안티바이러스는 시그니처 기반 탐지와 휴리스틱 분석, 행동 기반 탐지를 결합하여 알려진 및 알려지지 않은 위협을 찾아낸다. 방화벽은 네트워크 트래픽을 모니터링하고 사전 정의된 규칙에 따라 불필요하거나 위험한 연결을 차단한다. 샌드박싱 기술은 의심스러운 응용 프로그램을 격리된 환경에서 실행시켜, 실제 시스템에 피해가 미치지 않도록 한다.

최근의 운영체제는 클라우드 기반 위협 인텔리전스와 통합된 실시간 보호 기능을 강화하고 있다. 예를 들어, 윈도우 디펜더는 마이크로소프트의 클라우드 서비스와 연동하여 새로운 위협에 빠르게 대응한다. 맥OS의 게이트키퍼와 노치 시스템은 공식적으로 서명되지 않은 앱의 실행을 제한한다. 리눅스 배포판도 SELinux나 AppArmor 같은 강제 접근 제어(MAC) 프레임워크를 통해 프로세스의 권한을 엄격하게 통제한다.