시스템 설계: 대규모 분산 시스템 및 엔지니어링 패턴

소프트웨어 개발자와 엔지니어는 Gaurav Sen의 강좌에서 시스템 설계 원칙과 엔지니어링 설계 패턴을 배울 수 있습니다.

### 라이브 스트리밍 비디오 시스템 설계하기: 종합 가이드
* 📹 시스템 설계 프로세스는 제품 요구사항 문서에서 사용자 요구사항을 정의하는 것으로 시작됩니다. **동영상 스트리밍, 댓글 게시, 콘텐츠에 대한 반응**과 같은 핵심 기능을 파악하고 우선순위를 정합니다.
* 📡 네트워크 프로토콜은 시스템 설계에서 중요한 역할을 합니다. 예를 들어 **HTTP는 댓글 게시와 같은 비실시간 상호 작용**에 일반적으로 사용되는 반면, **WebRTC는 실시간 동영상 전송**에 적합합니다.
* 🗄 올바른 데이터베이스 솔루션을 선택하는 것이 중요합니다. **키값 데이터인 댓글은 주로 NoSQL 데이터베이스**에 저장되는 반면, **파일에 해당하는 동영상 데이터는 Amazon S3 또는 HDFS와 같은 솔루션**에 효율적으로 저장할 수 있습니다.
* 🔄 고화질 원본 비디오 영상을 효율적으로 처리하기 위한 일반적인 접근 방식은 **비디오를 청크 단위로 분할**하고 **MapReduce와 유사한 패턴**을 사용하는 것입니다. 여러 서버가 이러한 세그먼트를 처리하여 **동영상을 다양한 해상도와 포맷으로 변환**합니다.
* 📱 API에 따라 다양한 동작이 필요할 수 있으므로 **클라이언트 측 고려 사항**은 필수적입니다. 이러한 요구 사항에 따라 **적절한 네트워크 프로토콜**을 선택하는 것이 중요합니다.
* 🛠 또한 시스템 설계는 향후 더 많은 사용자가 플랫폼에 참여함에 따라 **변경 및 확장이 가능**하도록 확장 가능한 설계를 만드는 방법을 다루어야 합니다.
* 📈 시스템 설계를 테스트하는 것은 중요하지만 종종 간과되는 단계입니다. **다양한 시나리오를 실행**하고 **부하 테스트를 위한 도구**를 사용하면 설계를 검증하는 데 도움이 될 수 있습니다.
* 📺 궁극적으로 시스템 설계 프로세스에는 **고객이 API를 통해 시스템과 상호 작용하는 방법**과 이러한 API가 **데이터베이스의 데이터에 액세스하고 조작하는 방법**을 설명하는 청사진을 만드는 것이 포함됩니다.

### 비디오 스트리밍 시스템 설계
* 📺 비디오 스트리밍 시스템은 사용자에게 **비디오 콘텐츠를 전달**하고, 특정 타임스탬프를 찾는 것을 지원하며, 향후 **비디오 콘텐츠를 버퍼링**하여 지속적인 재생을 유지해야 합니다.
* 📏 비디오 클래스는 비디오 프레임, 메타데이터를 저장하고 타임스탬프를 기반으로 프레임을 검색하는 **`getFrame` 동작**을 정의합니다.
* 👤 사용자 클래스는 **ID, 이름, 이메일**이 있는 사용자를 나타냅니다.
* 👀 WatchedVideo` 클래스는 **특정 타임스탬프에 동영상을 시청하는 사용자 행동**을 기록합니다.
* 💾 FileSystem` 클래스는 **비디오 데이터를 저장하고 검색**하는 백엔드 시스템 역할을 합니다.
* 🔄 이 시스템은 객체를 사용하여 데이터와 동작을 추상화하므로 **조작과 재사용이 더 쉬워집니다**.
* 🧠 API를 설계할 때는 **사용 사례와 API와 상호 작용하는 엔티티**를 고려하세요.
* 📈 다이어그램(사용 사례, 클래스, 시퀀스)을 포함하는 구조화된 접근 방식은 **시스템 설계를 시각화**하고 구현하는 데 도움이 됩니다.

System Design for Beginners Course

freeCodeCamp.org

초보자를 위한 시스템 설계 소개

Gaurav Sen이 개발한 이 강좌는 초보자를 위한 시스템 설계에 대한 자세한 소개를 제공합니다.

대규모 분산 시스템을 위한 기본 엔지니어링 설계 패턴을 다룹니다.

또한 이러한 원칙을 사용하여 라이브 스트리밍 동영상 앱을 설계하고 코딩하는 방법에 대한 실용적인 지침을 제공하여 소프트웨어 개발자 및 엔지니어를 꿈꾸는 분들에게 유용한 자료가 될 것입니다.

전자 신호 전송을 위한 시스템 설계

서버는 데이터를 캡슐화하고 외부 사용자가 데이터를 쿼리하고 조작할 수 있는 API를 정의하며, 핵심 기능과 유용한 기능을 모두 포함합니다.

엔지니어링 요구사항에는 전 세계에 분산된 여러 서버의 사용, 데이터 중복, 사용자 파티셔닝을 통해 시스템 장애를 방지하는 것이 포함됩니다.

엔지니어링 기능은 쉽게 변경할 수 있어야 하고 구현 전에 확장성을 테스트해야 하며, 전자 신호 전송을 위해 잘 정의된 API 서명을 사용하는 것이 중요합니다.

라이브 스트리밍 애플리케이션 디자인하기:

시스템은 중요한 데이터를 저장하고 API를 사용하여 쿼리하며, 클라이언트의 실망을 방지하기 위해 테스트를 거칩니다.

이 두 가지 접근 방식은 고객/클라이언트에서 서버로, 데이터베이스에서 서버로 접근하는 방식이므로 데이터 저장과 API 노출에 대해 서로 다른 고려 사항이 필요합니다.

서버에는 동영상 프레임을 가져오고 댓글을 게시하기 위한 API가 있어야 하며, 데이터베이스는 이러한 API를 충족하도록 설계되어야 합니다.

댓글 및 비디오 프레임 저장을 위한 데이터베이스 및 네트워크 프로토콜 선택

댓글 저장은 댓글 데이터, 작성자(사용자 테이블에 연결됨), 동영상 ID를 포함한 댓글용 테이블이 있는 SQL 데이터베이스에서 수행할 수 있습니다.

또한 시스템 설계는 댓글 게시(비실시간 동작)와 동영상 프레임 요청(연속 동작)에 대한 서로 다른 네트워크 동작을 고려해야 합니다.

두 가지 유형의 동작에는 서로 다른 네트워크 프로토콜이 필요할 수 있으며, 상태 비저장 서버와 효율적인 클라이언트-서버 통신에는 HTTP가 적합합니다.

HTTP와 같은 상태 비저장 프로토콜을 사용하면 서버가 클라이언트의 상태를 저장할 필요 없이 클라이언트의 요청을 처리할 수 있으므로 전체 네트워크가 더 효율적으로 작동합니다.

비디오 전송을 위한 시스템 설계

HTTP는 상태 비저장 통신 및 새로운 서버 추가에 적합하며, 해상도 및 대역폭과 같은 요소를 고려할 때는 WebRTC와 같은 동영상 전송 프로토콜이 더 적합합니다.

서버 측 고려 사항의 경우, 동영상 데이터를 효과적으로 저장하기 위해서는 MySQL 및 HDFS와 같은 데이터베이스 솔루션과 파일 시스템을 선택하는 것이 중요합니다.

주석 테이블의 경우, 키-값 방식으로 데이터를 확장하고 유지하는 데는 NoSQL 데이터베이스가 더 적합합니다.

전반적으로 시스템 설계에는 비디오 전송 및 데이터 저장의 특정 요구 사항을 충족하기 위해 네트워크 프로토콜, 데이터베이스 솔루션 및 파일 시스템을 정의하는 작업이 포함됩니다.

고품질 비디오 스트리밍 시스템 설계하기

원본 비디오 영상을 처리하고 고객의 요구에 맞게 다양한 해상도와 포맷으로 변환하려면 안정적이고 높은 대역폭의 네트워크가 필요합니다.

맵-리듀스 디자인 패턴은 실행 서버를 보장하지 않고 비디오를 세그먼트로 분할하여 다른 서버로 전송하여 처리하는 데 사용됩니다.

그런 다음 데이터는 사용자의 대역폭과 네트워크 조건에 맞게 동적 적응형 스트리밍을 위해 EG-DASH와 같은 프로토콜을 사용하는 서버를 통해 사용자에게 노출됩니다.

대규모 분산 시스템 설계 시 고려 사항

Impact Dash 및 HLS와 같은 네트워크 프로토콜은 사용자의 네트워크에 따라 비디오 품질을 자동으로 조정할 수 있어 수동 개입의 필요성을 줄여줍니다.

대규모 분산 시스템에서는 요청을 전송할 때 상태 비저장성을 고려하는 것도 중요하지만, 최근 10분 분량의 동영상과 같이 자주 액세스하는 데이터에 캐싱을 활용하는 것도 중요합니다.

대규모 분산 시스템을 설계할 때 성능과 보안을 위해서는 CDN 솔루션 사용, 인증 구현, 도구 상호 작용을 신중하게 계획하는 것이 중요합니다.

비디오 재생을 위한 사용자 인터랙션 디자인

원활한 사용자 경험을 위해 동영상 재생, 일시 중지, 다시 시작과 같은 사용자의 동작과 재생 진행 상황을 저장해야 할 필요성을 고려하세요.

또한 동영상 재생 기능은 사용자의 디바이스 및 네트워크 품질에 따른 버퍼링도 고려해야 합니다.

또한 시스템 설계는 동시성, 내결함성, 처리량과 같은 요소를 해결하면서 모든 사용자 요청이 신속하게 처리되도록 보장해야 합니다.

비디오 재생을 위한 시스템 설계

PRD가 주어지면 기능 추가를 위해 모든 사용 사례를 중요하게 고려해야 합니다.

시스템 설계에는 네트워크 기능에 따라 비디오 품질을 처리하는 컨트롤러와 대역폭 관리를 위한 네트워크 프로토콜 사용이 포함되어야 합니다.

또한 동영상 재생 및 향후 콘텐츠 가져오기의 다양한 동작과 목적을 고려하여 사용자 상호 작용을 위한 명확한 API를 설계에 포함해야 합니다.

목표는 유사한 API를 병합하고 특정 기능을 클라이언트 측으로 오프로드하여 설계를 최적화하는 것입니다.

사용자가 동영상을 중단한 지점에서 다시 보기를 시작하려면 Seek API를 사용하지만, 특정 위치에서 보기를 시작하는 이벤트에는 다른 유형의 상호작용이 필요합니다.

비즈니스 및 분석 관점에서 보면 이러한 상호작용은 서로 다른 사용 사례를 나타내지만 엔지니어링 관점에서 보면 동작은 동일합니다.

이 시스템의 클래스 다이어그램에는 비디오, 사용자 및 시청한 비디오에 대한 클래스가 포함되어 있으며, 각각 고유한 데이터 및 동작 집합이 있습니다.

비디오 프레임 검색 및 인증 설계하기

동영상 서비스와의 상호작용에는 각 프레임에 대한 인증이 포함되며, 각 프레임당 10초의 시간이 소요됩니다.

불필요한 통신을 줄이고 효율성을 개선하기 위해 동영상 서비스 내에서 인증 프로세스를 최적화하는 것이 제안되었습니다.

코딩 프로세스에는 타임스탬프를 기반으로 프레임 검색을 위한 상태와 동작을 정의하는 데 중점을 두고 동영상, 프레임, 사용자에 대한 클래스를 생성하는 작업이 포함됩니다.

유연한 비디오 프레임 시스템 설계

프레임마다 다른 시간이 필요할 수 있으므로 프레임 시간에 클래스 상수를 사용하는 것은 이상적이지 않습니다.

유연성을 위해 객체 수준에서 프레임 시간을 정의하는 것이 좋습니다.

"WatchedVideo" 클래스에는 더미 데이터베이스 객체를 통해 검색 시간을 검색하는 메서드가 포함되어야 합니다.

"Filesystem" 클래스에는 타임스탬프를 기반으로 특정 비디오의 프레임을 검색하는 메서드가 포함되어 시스템 서비스의 백본을 제공할 수 있습니다.

이 저수준 설계 프로세스는 데이터 조작을 객체로 추상화하여 코드를 단순화하고 동작을 재사용할 수 있도록 하는 것을 목표로 합니다.