1. 멀티미디어 스트림 이란?
ㅇ 멀티미디어 : 1 이상의 정보타입(영상,데이타,음성,그래픽 등)이 혼합된 미디어
ㅇ 스트림 : 데이터,패킷,비트 등의 일련의 연속성을 갖는 흐름/데이터 열(列)
ㅇ 스트리밍 미디어 : 즉시 재생 가능 미디어
- 전체 다운로드 없이도, 실시간 실행이 가능한 미디어를 말함
ㅇ 스트림 형식 : 비트 스트림 (Bitstream) 또는 미디어 스트림 (Media Stream)
- 비디오 엔코더(코덱)를 거쳐 나온 데이터 출력물(일련의 비트열)을 말함
. 이러한 비트열 정보들은 정해진 순서대로(규칙있게,신택스화되어) 기술되어 있음
.. 例) MPEG-2 비트 스트림 구조 등
2. 멀티미디어 전송 방식 구분
ㅇ 다운로드 방식 (Download)
- 재생(Play) 전에 데이타를 완전히 다운로드 받는 방식
- [참고] 비디오 파일 포멧 : 디지털 비디오 데이터를 저장,복원하기 위한 파일 포멧
. 例) AVI, MKV, MP4, ASF, MOV, WMV 등
ㅇ 스트리밍 방식 (Streaming)
- 점진적 다운로드 방식 (Progressive Download) : 파일 일부가 도착하는 대로 먼저 재생
. 전체 도착 전에 일부가 도착 즉시 재생을 시작, 사용자는 매우 빠르게 느껴짐
.. 네트워크 지원 속도가 동영상 재생 레이트 보다 반드시 높아야 함
. 주로, (웹 서버)/HTTP/TCP/IP 상에서 동작
.. 일반 웹 서버로도 구현 가능
. YouTube, ESPN, CNN 등에서 사용하는 저장 미디어 스트리밍 기술
. 例) Apple社 HLS (HTTP Live Streaming)
.. 애플社에서 2009년에 제창. 현재 가장 많은 대중성 확보
.. 전송 프로토콜 : HTTP 기반 (전용 서버,특정 포트 불필요, 일반 웹서버로도 송출 가능)
.. 전송 스트림 포멧 : MPEG-2 TS
.. 지원 : 동영상 H.264 등, 음성 AAC,MP3,AC-3 등
.. 파일 확장자 : .m3u8 (application/x-mpegURL, vnd.apple.mpegURL), .ts(video/MP2T)
.. 통상, 웹페이지의 video 태그 내 source 태그에서 소스 파일 위치(URL) 안내
.. 생방송, VOD 모두 가능
.. 자막과 음성 전환 가능
.. 적응 스트리밍이라고 하지만, 실제로는 점진적 다운로드 방식에 가까움
- RTP 또는 RTMP 스트리밍 방식 : 실시간 전송기술
. 데이터 프레임 별로 수신과 동시에 재생하나, 사용자에게는 거의 동시성 제공
.. 송수신 간에 필요한 만큼 적절히 데이터 프레임 량 조절하며 동영상 재생
. 주로, (미디어 서버)/RTP/UDP/IP 상에서 동작
.. 특별한 전용 미디어 서버(스트리밍 서버)가 반드시 필요함
. 例) 이러닝, VOD 서비스, 라이브 중계 등의 분야에서 가장 많이 사용
- 적응 스트리밍 방식 (Adaptive Bit Rate Streaming)
. 사용자의 대역폭 환경에 맞추어, 그에 맞는 스트리밍을 자동으로 보내줌
.. 네트워크 상태, 컴퓨팅 자원을 고려하여, 적절한 품질 프로파일을 요청하면,
.. 고속 연결이 가능하면, 고 화질 스트림을 받고, 저속 연결이면, 저 화질 스트림을 받게됨
. 기존의 HTTP를 사용하여, 미디어 전달을 인터넷에 적응시킴
.. 처리량을 최대화하는 대신, 손실을 최소화하면서 압축된 비디오 트래픽을 전송하며,
.. 이는 데이터 버퍼링과 대조적으로, 반드시 지연을 증가시키지 않고도 가능함
. 비디오는 작은 청크(스트림렛)로 분할되고,
각 청크는 다양한 품질 수준으로 사전에 인코딩되며, 각 수준은 특정 비트레이트를 요구함
.. 각 품질 수준별 청크들은, 일반 HTTP 웹 서버에 호스팅되며, URL을 통해 참조됨
.. 클라이언트는 서버에 청크를 순차적으로 요청하고 다운로드하여 재생함
. 클라이언트의 대역폭 계산은, 통상 매 청크 다운로드 후 반복되어,
.. 몇 초마다 변화하는 네트워크 대역폭에 적응할 수 있게 함
. 例) MPEG-DASH (Dynamic Adaptive Streaming over HTTP) 등
.. HTTP 기반의 비디오 및 오디오 스트리밍 표준
.. 다양한 네트워크 조건 하에, 고 품질 미디어를 제공하는 기술
.. 2012년에 ISO/IEC 23009-1로 표준화
.. 특징 : 동적 적응 스트리밍, HTTP 기반, 미디어 분할 등
3. 스트리밍 프로토콜 종류
ㅇ 인터넷 스트리밍 프로토콜
- HTTP 스트리밍
. HTTP/TCP/IP 을 통한 스트리밍 프로토콜 (흐름제어 있는 양방향성)
. 例) HLS, MPEG-DASH, MSS (Microsoft's Smooth Streaming) 등
- RTP, RTCP, RTSP 스트리밍 (주로, VoIP 등에 많이 쓰임)
. RTP/UDP/IP 을 통한 스트리밍 프로토콜 (흐름제어 없는 단방향성)
.. 오디오,비디오 등의 정보를 담은 일련의 패킷화된 정보 앞에 RTP 헤더를 붙힘
. 구분
.. 물리적 정보의 빠른 흐름 및 제어 : RTP (빠른 수송) / RTCP (수송 제어)
.. 스트리밍 재생 제어 : RTSP (RTP 스트림 전반에 대한 재생 제어,
세션 관리 등)
- MMS (Microsoft Media Server) : Microsoft社 독점
- RTMP (Real Time Messaging Protocol) : RealNetworks社(후에 Adobe社가 인수) 독점
. 장점 : 대역폭 효율이 뛰어나고 비디오 화질 변경이 용이
ㅇ 디지털 방송용 스트리밍 프로토콜
- MPEG 스트림
. MPEG 다중화 방식에 의해 패킷 스트림화된 것
.. 인터넷 상에서는 MPEG 다중화 스트림이 RTP 스트림 위에 또한 실릴 수도 있음
. MPEG 스트림 종류
.. PS(Program Stream), TS(Transport Stream), ES(Elementary Stream),
PES(Packetized Elementary Stream) 등
. MPEG 스트림화 例 : ES → PES 패킷 → PES 패킷 스트림 → TS 패킷 → TS 스트림
. 압축 부호화 종류
.. 비디오 압축 : MPEG-2, H.264 등
.. 음성 압축 : MPEG-2 오디오, AC-3 등
4. 멀티미디어 스트림 재생 Player 例
ㅇ 일반 웹브라우저 용
- 과거, 플래시 플레이어, Silverlight 등
- 현재, 웹브라우저 자체 포함 지원 (HLS, MPEG-DASH 등)
ㅇ 전용 Media Player
- RealNetworks社의 RealPlayer, MS社의 Windows Media Player, Apple社의 QuickTime 등
5. 스트리밍 서비스 구현 구분 例
ㅇ 저장 미디어 스트리밍 : 유튜브 등
ㅇ 인터넷 생중계 : 아프리카 TV 등
ㅇ 실시간 멀티미디어 응용 : VoIP,화상회의 등