AV1, H.265 트랜스코딩 테스트
Open in app Sign up Sign in Write Sign up Sign in Catenoid TechBlog · Follow publication Welcome to Tech Blog of Catenoid, a global VTaaS (Video Technology as a Service) provider. Follow publication AV1, H.265 트랜스코딩 테스트 H.264 → H.265 → AV1로의 코덱의 발전과 트랜스코딩 테스트 Jungin Kim (김정인) · Subscribe Published in Catenoid TechBlog · 12 min read · Jan 2, 2024 -- Share 요약 H.264 → H.265 → AV1로의 코덱 발전은 낮은 비트레이트에서도 높은 품질의 영상을 얻을 수 있게끔 발전되었다. 코덱은 데이터의 중복성과 불필요한 부분을 제거하여 데이터 용량을 압축하는 것이기 때문에 프레임 간의 차이가 적은 영상일수록 높은 효율을 나타낸다. 댄스영상, 뮤비영상과 같은 화면의 전환과 움직임이 많고, 비트레이트가 높은 영상일수록 AV1 코덱의 효용성이 높아지는 반면 온라인 강의와 같은 정적인 영상에서는 코덱별 효용의 차이가 크지 않다. 두 영상을 볼 때 어느 영상이 화질이 좋아보이나요? https://www.youtube.com/watch?v=iVRN_GSJUEA 영상의 화질이라고 한다면 저희에게 떠오르는 단어가 있습니다. 바로 화면의 선명도, 움직임의 부드러움 등이죠. 하지만 아무리 영상의 화질이 높아도 디바이스에서 영상이 끊기거나 재생이 불가하다면 우리는 영상을 시청할 수 없을 것입니다. 따라서 우리는 어떠한 디바이스에서 시청하더라도 원본영상의 화질을 떨어뜨리지 않고 재생할 수 있어야 합니다. https://www.movavi.io/codec-2/ 실제 카메라에서 동영상을 촬영할 때, 영상 데이터와 음성데이터를 전처리과정을 거치고 자체적으로 인코딩하여 영상을 저장합니다. 하나의 카메라에서 영상을 저장하고, 재생시킬 수 있어야하기에 그 디바이스에 맞게끔 영상을 인코딩 하는 것이죠. 위의 이미지처럼 우리는 영상을 찍을 때 카메라와 마이크를 통해 영상정보와 음성정보가 들어오게 됩니다. 각 영상, 음성별 지원하는 코덱으로 Encoding 을 진행하여 하나의 비디오(영상+음성) 파일이 만들어지게 됩니다. 비디오를 재생 시에는 각 영상과 음성을 Decoding 하여 모니터와 헤드폰에 정보를 전달하여 재생하게 됩니다. 미디어 회사들은 촬영된 영상을 다양한 디바이스에서 재생될 수 있도록 트랜스코딩하여 영상을 제공하고 있습니다. 이때 PC, 테블릿, 스마트폰 등 다양한 해상도의 디바이스에 맞춰 트랜스코딩된 영상이 선택됩니다. 영상의 품질을 결정하는 요소 영상의 품질을 결정하는 요소로 크게 해상도, 비트레이트, 프레임 속도가 있습니다. 영상의 품질을 결정하는 요소로 크게 해상도, 비트레이트, 프레임이 있습니다. 해상도는 한 화면을 구성하는 픽셀의 수입니다. 비트레이트는 초당 처리하는 데이터의 크기이며, 프레임속도는 초당 구성하는 정지된 화면의 수입니다. 또한 현대사회에서 라이브방송은 OTT, SNS, 이커머스, 쇼핑몰에서 필수적으로 사용되고 있는 서비스입니다. 라이브 방송이 이루어지려면, 영상이 촬영되자마자 실시간으로 영상파일을 일정 크기로 나누어 인코딩하여 해당 디바이스에 영상정보를 전송해야 합니다. 이처럼 VOD 서비스이거나 라이브 방송 서비스이거나 동일하게 전송되는 영상의 비트레이트가 네트워크 대역폭보다 높으면 영상의 재생이 끊기게 되고, 끊김을 방지하기 위해 비트레이트를 낮추면 영상의 품질이 떨어지게 됩니다. 이러한 이유로 미디어회사들은 원본 영상과 유사한 화질이면서 낮은 비트레이트인 영상을 원하게 됩니다. MPEG , 우리가 코덱을 제공해줄게!! https://www.mpeg.org/ 위에서 말한 비트레이트는 낮추되 원본 영상과 유사한 화질을 유지하는 노력은 코덱이란 프로그램의 발전으로 이어져 왔습니다. 코덱(코더 및 디코더의 줄임말)이란, Transcoding 을 진행할 때 사용하는 프로그램으로 비디오 및 오디오 스트림과 같이 멀티미디어 데이터를 인코딩(압축) 및 디코딩(압축된 상태에서 재생)하기 위한 프로그램입니다. 전세계에서 사용되는 영상을 위해 코덱의 기준이 필요하였고, 이에 MPEG (Moving Picture Experts Group) 인 비디오와 오디오 등 멀티미디어 표준 개발을 담당하는 그룹이 표준 코덱 (프로그램) 을 제시합니다. H.264는 2003년 , H.265는 2013년에 출시된 MPEG 의 대표 코덱 입니다. H.264 / AVC H.264 는 MPEG-4 Part 10 또는 AVC(Advanced Video Coding) 으로 알려져 있습니다. 고화질 비디오를 상대적으로 작은 파일 크기로 압축할 수 있어 인터넷이나 온라인 비디오를 스트리밍하는데 매우 효과적이었습니다. 불필요한 정보를 제거하고 비슷한 프레임 간의 유사성을 포착하여 파일 크기를 줄이는 것으로 압축 효율성을 달성합니다. H.265 (HEVC) H.265 는 HEVC (High Efficiency Video Coding) 으로 알려져 있습니다. 대역폭 사용률 H.265 비디오는 4K 해상도 비디오를 표시하기 위해 10~20Mbps의 인터넷 연결 속도가 필요합니다. 반면에 H.264는 동일한 작업을 수행하기 위해 약 30~50Mbps의 속도가 필요합니다. 압축비율 H.265는 H.264 압축 비율의 거의 두 배입니다. 즉, H.265는 같은 화질의 동영상을 H.264에 비해 절반의 크기로 압축할 수 있습니다. 파일크기 H.265는 더 낮은 비트레이트 사용하지만 H.264와 동일한 비디오 품질을 제공합니다. 즉, H.265는 특히 비디오가 동일한 비트레이트를 사용하여 압축 될 때 H.264에 비해 더 나은 화질을 제공합니다. H.265 (HEVC) 코덱 라이센스 비용 https://en.wikipedia.org/wiki/High_Efficiency_Video_Coding#Patent_licensing MPEG LA, HEVC Advance, Technocolor SA, Velos Media 가 대표적으로 코덱 라이선스에 대한 비용과 사용요건을 복잡하게 하고 있습니다. 무료로 제공되는 영상은 라이선스 비용을 걷지 않지만, 상업을 목적으로한 영상의 경우에는 복잡한 라이선스를 고려해서 비용을 지불해야 했습니다. HEVC 라이센스는 MPEG LA 에서 독립한 HEVC Advance, Technocolor SA, Velos Media 로 파편화되어 각각의 기구와 계약해야 하는 불편함을 지니게 되었습니다. Free AV1 Codec — AOM(Alliance for Open Media) https://zdnet.co.kr/view/?no=20190404122747 이러한 배경속에서 탄생하게 된 AV1 코덱 은 라이센스 비용을 지불해야했던 구글, 아마존, 마이크로소프트, 애플, 인텔, 엔비디아, 삼성 등으로부터 시작되었습니다. H.264 , H.265 코덱과 비교하여 상당히 높은 데이터 압축 효율성을 제공하면서 파일 크기나 전송 속도를 줄이는 것을 목표로 하였습니다. https://ko.wikipedia.org/wiki/AV1 장점 높은 압축 효율 : H.264 및 H.265 에 비해 약 30% 정도의 압축 효율성 개선을 제공 비용 무료 : AV1 은 오픈 소스 및 로열티 프리 비디오 코덱으로, 기업이나 개인이 추가적인 라이선스 비용을 지불할 필요 없이 사용 가능 넓은 지원 범위 : AV1 은 주요 웹 브라우저, 비디오 플레이어 및 스트리밍 서비스에서 지원되며 하드웨어 가속지원도 확대 단점 AV1 코덱은 인코딩 과정에서 상대적으로 높은 계산복잡도를 갖음 인코딩 시간이 길어지거나 하드웨어 리소스 사용량이 높아져 고사양의 하드웨어를 필요 AV1과 H.265 트랜스코딩 테스트 결과 다시 본론으로 돌아와서 AV1, H.265 트랜스코딩 테스트로 들어가보도록 하겠습니다. 앞에서 우리는 코덱이 H.264, H.265, AV1 으로 발전함에 따라 낮은 비트레이트로 화질이 좋은 영상을 제공하는 것을 알 수 있었습니다. 그 이유는 비트레이트가 낮을수록 적은 데이터를 사용하기 때문에 저사양의 디바이스 환경, 네트워크 제약 상황에서도 영상 시청에 대한 만족도를 높일 수 있기 때문입니다. 따라서 H.264에 비해 H.265와 AV1은 낮은 비트레이트임에서도 높은 품질의 영상을 제공하므로 높은 사양의 코덱을 선택할 이유가 생길 것입니다. 영상의 선명도가 높다는 부분은 우리가 육안으로 확인해야 할까요? 위의 사실을 알기 위한 측정도구 중 대표적으로 넷플릭스의 VMAF(Video Multi-method Assessment Fusion) 이 있습니다. https://netflixtechblog.com/vmaf-the-journey-continues-44b51ee9ed12 VMAF 에서는 영상의 품질평가를 하나의 알고리즘이 아닌 여러개의 알고리즘을 적용하여 원본 영상과의 유사성을 점수화합니다. 0점에서 100점 사이의 평균 점수로 환산되며, 93점 이상의 점수는 육안으로 차이를 알지 못합니다. https://github.com/fifonik/FFMetrics 이러한 VMAF 는 FFmpeg, libvmaf 등과 같은 라이브러리로 제공되는데, 저는 이 VMAF 가 적용된 툴인 FFMetrics 를 활용하여 원본 영상의 VMAF 점수를 얻어보도록 하겠습니다. libx264 : H.264 코덱 + 소프트웨어 인코딩 h264_nvenc : H.264 코덱 + 하드웨어 인코딩 (NVIDIA) hevc_nvenc : H.265 코덱 + 하드웨어 인코딩 (NVIDIA) av1_nvenc : AV1 코덱 + 하드웨어 인코딩 (NVIDIA) 가로축은 500kbps, 1200kbps 등 영상 인코딩을 한 비트레이트를 표기하며, 세로축은 VMAF 점수를 표기하였습니다. 500kbps 에서의 libx264, av1_nvenc VMAF 점수를 보면 32점, 64점을 획득한 것을 알 수 있습니다. 그렇다면 모든 영상에서 AV1 코덱이 다 좋을까요? 온라인 강의를 500kbps, 1200kbps 로 인코딩한 결과입니다. 처음 영상을 인코딩하였을 때에는 H.264 코덱으로 인코딩한 것과 AV1 코덱으로 인코딩한 VMAF 점수의 차이가 거의 2배정도 차이 났었습니다. 그러나 이번 트랜스코딩 테스트한 경우에는 VMAF 점수가 각 76점, 85점으로 9점정도의 차이만 보였습니다. 왜 이런 결과가 나왔을까요? 바로 두 영상의 움직임의 차이입니다. 첫 번째 실험에서 사용된 영상은 아이돌 가수의 댄스 영상이며, 두 번째 실험에서 사용된 영상은 온라인 강의입니다. 온라인 강의 영상은 댄스 영상보다 움직임이 적고, 주로 칠판과 선생님의 화면으로 구성되어 있습니다. 움직임의 차이 ?? 테스트 결과와 어떤 상관인데? https://www.youtube.com/shorts/r6NJIejBvJE 어렸을 때 한번 정도는 만들어봤을 법한 책으로 만든 애니메이션을 쉽게 떠올릴 수 있을 것입니다. 정지된 그림을 여러장 그린후 빠르게 페이지를 넘기면 마치 그림이 살아 움직이는 듯한 느낌을 받습니다. 이처럼 프레임은 초당 재생되는 정지 영상의 수를 나타내는 단위입니다. 만일 30 FPS (Frame Per Second) 단위이면 초당 30장의 정지영상이 재생된 것이고, 60 FPS (Frame Per Second) 단위이면 초당 60장의 정지영상이 재생된 것이겠죠. 당연하게도 프레임이 높을 수록 영상의 모션은 더욱 부드럽고 자연스러워지지만 그만큼 파일의 용량은 늘어나게 됩니다. 키프레임 (Key Frame) 은 영상의 시작 프레임과 끝 프레임 중에 전체 정보를 가지고 있는 중심 프레임을 의미합니다. 움직임이 적은 인터넷 강의와는 달리, 아이돌 가수의 댄스 영상은 많은 움직임과 다양한 화면전환이 특징입니다. 이런 경우에는 키프레임과 인터프레임(interframe, 이전프레임과의 차이를 기반으로 생성되는 프레임) 간의 간격이 커지게 되면 키프레임 간의 괴리가 커지게 됩니다. 코덱의 기본 압축 기술의 원리는 데이터의 중복성과 불필요한 부분을 제거하여 데이터의 용량을 줄이는 것이기 때문에, 영상 키프레임 간의 중복성이 낮아질수록 압축 기술의 효과를 갖지 못하는 것입니다. 결론 이 글에서는 코덱의 발전 과정에 대한 개요와 H.265 , AV1 코덱으로 인코딩 된 영상의 품질을 VMAF 로 측정한 결과를 다루었습니다. 코덱의 발전으로 낮은 비트레이트에서도 높은 품질의 영상을 얻을 수 있게 되었으며, VMAF 지표를 통해 실제 영상의 품질 향상을 수치상으로 확인할 수 있었습니다. H.265 , AV1 코덱의 효과는 온라인 강의 영상과 같은 정적인 영상보다 댄스 영상과 같이 움직임이 많고, 화면 전환이 많은 영상에서 높은 효율을 보입니다. 이를 통해 고객들에게 좋은 품질의 영상을 제공하여 시청 경험을 향상시키고자 한다면 H.265 및 AV1 코덱 사용을 고려해보시기를 권장합니다. Av1 Follow Published in Catenoid TechBlog 8 Followers ·Last published Jan 10, 2025 Welcome to Tech Blog of Catenoid, a global VTaaS (Video Technology as a Service) provider. Follow Subscribe Written by Jungin Kim (김정인) 0 Followers ·4 Following Subscribe No responses yet Help Status About Careers Press Blog Privacy Rules Terms Text to speech