Leitfaden zu Web-Video-Codecs

Die folgenden Video-Codecs sind diejenigen, die im Web am häufigsten verwendet werden. Für jeden Codec sind auch die Container (Dateitypen) aufgeführt, die sie unterstützen können. Jeder Codec enthält einen Link zu einem Abschnitt weiter unten, der zusätzliche Details über den Codec bietet, einschließlich spezifischer Fähigkeiten und Kompatibilitätsprobleme, die Ihnen bekannt sein sollten.

Wie bei jedem Encoder gibt es zwei grundlegende Gruppen von Faktoren, die die Größe und Qualität des kodierten Videos beeinflussen: spezifische Details zum Format und Inhalt des Quellvideos sowie die Eigenschaften und Konfiguration des Codecs, der bei der Kodierung des Videos verwendet wird.

Die einfachste Richtlinie lautet: Alles, was das kodierte Video mehr wie das ursprüngliche, unkomprimierte Video aussehen lässt, macht die resultierenden Daten im Allgemeinen auch größer. Es ist also immer ein Kompromiss zwischen Größe und Qualität. In einigen Situationen lohnt sich ein größerer Qualitätsverlust, um die Dateigröße zu reduzieren; in anderen Fällen ist der Qualitätsverlust inakzeptabel und es ist notwendig, eine Codec-Konfiguration zu akzeptieren, die zu einer entsprechend größeren Datei führt.

Der Grad, zu dem das Format des Quellvideos das Ergebnis beeinflusst, variiert je nach Codec und Funktionsweise. Wenn der Codec die Medien in ein internes Pixelformat umwandelt oder das Bild auf andere Weise als durch einfache Pixel darstellt, spielt das Format des ursprünglichen Bildes keine Rolle. Dennoch werden Dinge wie Bildrate und, offensichtlich, Auflösung immer einen Einfluss auf die Ausgabemenge der Medien haben.

Darüber hinaus haben alle Codecs ihre Stärken und Schwächen. Einige haben Probleme mit bestimmten Arten von Formen und Mustern oder sind nicht gut darin, scharfe Kanten zu reproduzieren, oder neigen dazu, Details in dunklen Bereichen zu verlieren, oder jede Anzahl von Möglichkeiten. Es hängt alles von den zugrunde liegenden Algorithmen und der Mathematik ab.

Der Grad, in dem diese Faktoren das resultierende kodierte Video beeinflussen, variiert je nach den genauen Details der Situation, einschließlich des verwendeten Encoders und dessen Konfiguration. Neben allgemeinen Codecop Optionen könnte der Encoder so konfiguriert werden, dass er die Bildrate reduziert, Rauschen bereinigt und/oder die Gesamtauslösung des Videos während der Kodierung verringert.

Die Algorithmen, die zur Videokodierung verwendet werden, verwenden in der Regel eine oder mehrere allgemeine Techniken, um ihre Kodierung durchzuführen. Im Allgemeinen wird jede Konfigurationsoption, die dazu bestimmt ist, die Ausgabemenge des Videos zu reduzieren, wahrscheinlich eine negative Auswirkung auf die Gesamtqualität des Videos haben oder bestimmte Arten von Artefakten in das Video einführen. Es ist auch möglich, eine verlustfreie Kodierungsform auszuwählen, die zu einer viel größeren kodierten Datei führt, jedoch mit perfekter Wiedergabe des Originalvideos nach dem Dekodieren.

Darüber hinaus kann jede Encoder-Software Variationen aufweisen, wie sie das Quellvideo verarbeitet, was zu Unterschieden in der Ausgabequalität und/oder -größe führen kann.

Die Optionen, die bei der Kodierung von Video zur Verfügung stehen, und die den Optionen zuzuweisenden Werte variieren nicht nur von einem Codec zum anderen, sondern auch je nach der von Ihnen verwendeten Kodierungssoftware. Die Dokumentation zu Ihrer Kodierungssoftware hilft Ihnen zu verstehen, welche spezifischen Auswirkungen diese Optionen auf das kodierte Video haben.

Artefakte sind Nebeneffekte eines verlustbehafteten Kodierungsprozesses, bei dem die verlorenen oder neu angeordneten Daten zu sichtbar negativen Effekten führen. Sobald ein Artefakt aufgetaucht ist, kann es eine Zeit lang bestehen bleiben, da Video auf folgende Weise angezeigt wird: Jedes Videobild wird angezeigt, indem ein Satz von Änderungen auf das aktuell sichtbare Bild angewendet wird. Dies bedeutet, dass Fehler oder Artefakte sich mit der Zeit summieren und zu Störungen oder anderweitig seltsamen oder unerwarteten Abweichungen im Bild führen, die eine Zeit lang anhalten.

Um dies zu beheben und die Suchzeiten durch die Videodaten zu verbessern, werden periodische Schlüsselbilder (auch als Intra-Frames oder I-Frames bekannt) in die Videodatei eingefügt. Die Schlüsselbilder sind vollständige Bilder, die verwendet werden, um sichtbare Schäden oder artefaktrückstände zu reparieren.

Aliasing ist ein allgemeiner Begriff für alles, was beim Wiederherstellen aus den kodierten Daten nicht genauso aussieht wie vor der Kompression. Es gibt viele Formen von Aliasing; die häufigsten, die Sie sehen können, beinhalten:

Moiré-Muster Ein Moiré-Muster ist ein großflächiges räumliches Interferenzmuster, das entsteht, wenn ein Muster im Quellbild und die Arbeitsweise des Codierers räumlich etwas aus der Ausrichtung kommen. Die vom Codierer erzeugten Artefakte führen dann zu seltsamen, wirbelnden Effekten im Muster des Quellbildes beim Dekodieren.
Treppeneffekt Der Treppeneffekt ist ein räumliches Artefakt, das auftritt, wenn diagonale gerade oder gebogene Kanten, die glatt sein sollten, ein gezacktes Aussehen annehmen und wie eine Treppe aussehen. Dies ist der Effekt, der durch "Anti-Alias" Filter reduziert wird.
Wagenradeffekt Der Wagenradeffekt (oder stroboskopischer Effekt) ist der visuelle Effekt, der häufig im Film zu sehen ist, bei dem ein sich drehendes Rad mit falscher Geschwindigkeit oder sogar rückwärts zu rotieren scheint, aufgrund einer Wechselwirkung zwischen der Bildrate und dem Kompressionsalgorithmus. Der gleiche Effekt kann bei jedem sich wiederholenden Muster auftreten, das sich bewegt, wie die Schwellen auf einer Gleislinie, Pfosten entlang der Straßenseite usw. Dies ist ein zeitbasiertes (zeitliches) Aliasing-Problem; die Geschwindigkeit der Drehung interferiert mit der Frequenz der Abtastung während der Kompression oder Kodierung.

Farbsaum ist eine Art von visuellem Artefakt, das als falsche Farben erscheint, die entlang der Kanten von gefärbten Objekten innerhalb der Szene eingeführt werden. Diese Farben haben keine beabsichtigte farbliche Beziehung zum Inhalt des Frames.

Der Akt des Entfernens von Daten im Prozess der Videokodierung erfordert, dass einige Details verloren gehen. Wenn genügend Kompression angewendet wird, können Teile oder möglicherweise das gesamte Bild an Schärfe verlieren, was zu einem leicht verschwommenen oder trüben Aussehen führt.

Verlorene Schärfe kann es schwierig machen, Text im Bild zu lesen, da Text—insbesondere kleiner Text—sehr detailorientierter Inhalt ist, bei dem kleine Veränderungen die Lesbarkeit erheblich beeinflussen können.

Verlustbehaftete Kompressionsalgorithmen können Klingeln einführen, einen Effekt, bei dem Bereiche außerhalb eines Objekts mit durch den Kompressionsalgorithmus erzeugten farbigen Pixeln kontaminiert werden. Dies geschieht, wenn ein Algorithmus verwendet wird, der Blöcke verwendet, die eine scharfe Grenze zwischen einem Objekt und seinem Hintergrund überqueren. Dies ist insbesondere bei höheren Kompressionsstufen üblich.

Beachten Sie die blauen und rosa Ränder um die Kanten des Sterns oben (sowie die Stufen und andere bedeutende Kompressionsartefakte). Diese Ränder sind der Klingeleffekt. Klingeln ähnelt in gewisser Hinsicht dem Moskito-Rauschen, mit dem Unterschied, dass der Klingeleffekt mehr oder weniger stetig und unverändert ist, während Moskito-Rauschen flimmert und sich bewegt.

Klingeln ist eine weitere Art von Artefakt, das es besonders schwierig machen kann, in Ihren Bildern enthaltenen Text zu lesen.

Posterisierung tritt auf, wenn die Kompression zu einem Verlust von Farbdetails in Verläufen führt. Anstatt von sanften Übergängen durch die verschiedenen Farben in einem Bereich wird das Bild grobkörnig, mit Farbklecksen, die das ursprüngliche Aussehen des Bildes annähern.

Beachten Sie die Blockigkeit der Farben im Gefieder des Weißkopfseeadlers im obigen Foto (und die Schneeeule im Hintergrund). Die Details der Federn gehen weitgehend aufgrund der Posterisierung verlorengegangen.

Konturierung oder Farbbänderung ist eine spezielle Form der Posterisierung, bei der die Farbblöcke Bänder oder Streifen im Bild bilden. Dies geschieht, wenn das Video mit einer zu groben Quantisierungskonfiguration kodiert wird. Infolgedessen zeigt der Videoinhalt ein "geschichtetes" Aussehen, bei dem anstelle von sanften Verläufen und Übergängen die Übergänge von Farbe zu Farbe abrupt sind, was Streifen von Farbe verursacht.

Im Beispielbild oben, beachten Sie, wie der Himmel Bänder aus verschiedenen Blautönen hat, anstatt ein konsistentes Gefälle zu sein, während sich die Himmelsfarbe dem Horizont nähert. Dies ist der Konturierungseffekt.

Moskito-Rauschen ist ein zeitliches Artefakt, das als Rauschen oder Kantengeschäftigkeit in Erscheinung tritt, das als flackernde Trübheit oder Schimmern auftritt, das grob den Kanten von Objekten mit harten Kanten oder scharfen Übergängen zwischen Vordergrundobjekten und dem Hintergrund folgt. Der Effekt kann dem Klingeln ähneln.

Das obige Foto zeigt Moskito-Rauschen an mehreren Stellen, einschließlich des Himmels um die Brücke herum. In der oberen rechten Ecke zeigt ein Ausschnitt eine Nahaufnahme eines Teils des Bildes, das Moskito-Rauschen aufweist.

Moskito-Rauschartefakte sind am häufigsten in MPEG-Video zu finden, können aber immer auftreten, wenn ein diskreter Kosinustransform- (DCT-)Algorithmus verwendet wird; dies schließt zum Beispiel JPEG-Standbilder ein.

Die Videokompression funktioniert im Allgemeinen, indem zwei Frames verglichen und die Unterschiede zwischen ihnen aufgezeichnet werden, ein Frame nach dem anderen, bis zum Ende des Videos. Diese Technik funktioniert gut, wenn die Kamera fixiert ist oder die Objekte im Bild relativ stationär sind, aber wenn es eine große Menge an Bewegung im Bild gibt, können die Unterschiede zwischen den Frames so groß sein, dass die Kompression keinen Nutzen bringt.

Bewegungskompensation ist eine Technik, die nach Bewegung (entweder der Kamera oder der Objekte im Sichtfeld) sucht und bestimmt, um wie viele Pixel sich das bewegte Objekt in jede Richtung bewegt hat. Dann wird diese Verschiebung gespeichert, zusammen mit einer Beschreibung der Pixel, die sich bewegt haben, die nicht nur durch diese Verschiebung beschrieben werden können. Im Wesentlichen findet der Encoder die bewegten Objekte und erstellt dann eine Art internes Frame, das wie das Original aussieht, jedoch mit allen in ihre neuen Positionen verschobenen Objekten. Theoretisch nähert dies das Aussehen des neuen Frames an. Dann, um den Job abzuschließen, werden die verbleibenden Unterschiede gefunden, dann der Satz von Objektverschiebungen und der Satz von Pixeldifferenzen in den Daten, die den neuen Frame repräsentieren, gespeichert. Dieses Objekt, das die Verschiebung und die Pixeldifferenzen beschreibt, wird als Restbild bezeichnet.

Originalbild	Zwischenbildunterschiede	Unterschied nach Bewegungsausgleich
Der erste vollständige Frame, wie vom Betrachter gesehen.	Hier sind nur die Unterschiede zwischen dem ersten Frame und dem darauffolgenden Frame sichtbar. Alles andere ist schwarz. Bei genauerem Hinsehen können wir sehen, dass die Mehrheit dieser Unterschiede von einer horizontalen Kamerabewegung herrührt, was dies zu einem guten Kandidaten für die Bewegungskompensation macht.	Zur Minimierung der Anzahl von unterschiedlichen Pixeln berücksichtigen wir hier die Schwenkbewegung der Kamera, indem wir zunächst den ersten Frame um zwei Pixel nach rechts verschieben und dann den Unterschied berechnen. Dies kompensiert die Schwenkbewegung der Kamera und erlaubt mehr Überlappung zwischen den beiden Frames.
Bilder von Wikipedia

Es gibt zwei allgemeine Arten der Bewegungskompensation: globale Bewegungskompensation und Blockbewegungskompensation. Die globale Bewegungskompensation passt im Allgemeinen für Kamerabewegungen wie Tracking, Dolly-Bewegungen, Schwenken, Kippen, Rollen und Auf- und Abbewegungen. Die Blockbewegungskompensation befasst sich mit lokalen Änderungen und sucht nach kleineren Abschnitten des Bildes, die mittels Bewegungskompensation kodiert werden können. Diese Blöcke haben normalerweise eine feste Größe, in einem Raster, aber es gibt Formen der Bewegungskompensation, die variable Blockgrößen erlauben und sogar Überlappungen von Blöcken möglich machen.

Es gibt jedoch Artefakte, die aufgrund der Bewegungskompensation auftreten können. Diese treten entlang der Blockgrenzen in Form von scharfen Kanten auf, die falsches Klingeln und andere Kantenphänomene erzeugen. Diese sind auf die Mathematik zurückzuführen, die bei der Kodierung der Restbilder verwendet wird, und können leicht bemerkt werden, bevor sie vom nächsten Schlüsselbild repariert werden.

In bestimmten Situationen kann es nützlich sein, die Abmessungen des Videos zu reduzieren, um die endgültige Größe der Videodatei zu verbessern. Während der sofortige Verlust an Größe oder Geschmeidigkeit der Wiedergabe ein negativer Faktor sein kann, kann durch sorgfältige Entscheidungsfindung ein gutes Endergebnis erzielt werden. Wenn ein 1080p-Video vor der Kodierung auf 720p reduziert wird, kann das resultierende Video viel kleiner sein, während es eine viel höhere visuelle Qualität hat; selbst nach dem Hochskalieren während der Wiedergabe kann das Ergebnis besser sein als die Kodierung des Originalvideos in voller Größe und die notwendige Qualitätseinbuße zu akzeptieren, um Ihre Größenanforderungen zu erfüllen.

Ähnlich kann man auch Frames aus dem Video vollständig entfernen und die Bildrate entsprechend verringern. Dies hat zwei Vorteile: Es macht das gesamte Video kleiner, und diese kleinere Größe ermöglicht es der Bewegungskompensation, noch mehr für Sie zu erledigen. Beispielsweise könnte man, anstatt Bewegungsunterschiede für zwei Frames zu berechnen, die zwei Pixel auseinander liegen aufgrund der zwischen-Bild-Bewegung, indem man jeden zweiten Frame überspringt, zu einer Berechnung der Differenz führen, die auf vier Pixel Bewegung herauskommt. Dadurch kann die gesamte Bewegung der Kamera durch weniger Restbilder dargestellt werden.

Die absolute minimale Bildrate, die ein Video haben kann, bevor dessen Inhalte nicht mehr als Bewegung vom menschlichen Auge wahrgenommen werden, liegt bei etwa 12 Bildern pro Sekunde. Darunter verwandelt sich das Video in eine Reihe von Standbildern. Kinofilme haben typischerweise 24 Bilder pro Sekunde, während Standardfernsehen etwa 30 Bilder pro Sekunde hat (etwas weniger, aber nahe genug) und hochauflösendes Fernsehen liegt zwischen 24 und 60 Bildern pro Sekunde. Alles von 24 FPS aufwärts wird im Allgemeinen als ausreichend flüssig angesehen; 30 oder 60 FPS sind ein ideales Ziel, abhängig von Ihren Anforderungen.

Am Ende liegen die Entscheidungen darüber, welche Opfer Sie bereit sind zu bringen, ganz bei Ihnen und/oder Ihrem Designteam.

Der AOMedia Video 1 (AV1) Codec ist ein offenes Format, das speziell für Internetvideos von der Alliance for Open Media entwickelt wurde. Es erreicht höhere Datenkompressionsraten als VP9 und H.265/HEVC und erzielt bis zu 50% höhere Raten als AVC. AV1 ist vollständig lizenzfrei und für die Nutzung durch das <video> Element und WebRTC konzipiert.

AV1 bietet derzeit drei Profile: main, high und professional, die mit zunehmender Unterstützung für Farbtiefen und Chroma-Subsampling bereitstehen. Zudem wird eine Reihe von Levels festgelegt, die jeweils Grenzen für verschiedene Attribute des Videos definieren. Zu diesen Attributen gehören Rahmenabmessungen, Bildfläche in Pixeln, Anzeige- und Dekodierungsraten, durchschnittliche und maximale Bitraten sowie Grenzen für die Anzahl der verwendeten Kacheln und Kachelspalten im Kodierungs-/Dekodierungsprozess.

Zum Beispiel bietet AV1 Level 2.0 eine maximale Bildbreite von 2048 Pixeln und eine maximale Höhe von 1152 Pixeln. Die maximale Bildgröße in Pixeln beträgt jedoch 147.456, sodass Sie kein 2048x1152 Video auf Level 2.0 haben können. Es ist jedoch erwähnenswert, dass die Levels zumindest für Firefox und Chrome bei der Software-Dekodierung derzeit ignoriert werden, und der Dekoder einfach das Beste versucht, um das Video anhand der bereitgestellten Einstellungen abzuspielen. Der Kompatibilität halber sollten Sie jedoch die Grenzen des ausgewählten Levels einhalten.

Der größte Nachteil von AV1 derzeit ist, dass es sehr neu ist und die Unterstützung immer noch in den meisten Browsern integriert wird. Zudem werden Encoder und Decoder immer noch hinsichtlich der Leistung optimiert, und Hardware-Encoder und Decoder befinden sich meist noch in der Entwicklung statt in der Produktion. Aus diesem Grund dauert es sehr lange, ein Video in das AV1-Format zu kodieren, da die gesamte Arbeit softwareseitig erfolgt.

Derzeit ist AV1 aufgrund dieser Faktoren noch nicht bereit, Ihre erste Wahl eines Videocodecs zu sein, aber Sie sollten beobachten, wann es einsatzbereit ist.

Der Advanced Video Coding (AVC) Standard der MPEG-4-Spezifikationsreihe wird von der identischen ITU H.264-Spezifikation und der MPEG-4 Part 10-Spezifikation spezifiziert. Es ist ein bewegungskompensationsbasierter Codec, der heute weit verbreitet für alle möglichen Medien eingesetzt wird, einschließlich Rundfunkfernsehen, RTP Videokonferenzen und als Videocodec für Blu-Ray-Discs.

AVC ist sehr flexibel und bietet eine Reihe von Profilen mit unterschiedlichen Fähigkeiten; zum Beispiel ist das Constrained Baseline Profile für den Einsatz in Videokonferenzen und mobilen Szenarien konzipiert und verwendet weniger Bandbreite als das Main Profile (das in einigen Regionen für Standard Definition Digital TV verwendet wird) oder das High Profile (das für Blu-Ray-Disc-Video verwendet wird). Die meisten der Profile verwenden 8-Bit-Farbkomponenten und 4:2:0 Chroma-Subsampling; Das High 10 Profile fügt Unterstützung für 10-Bit-Farbe hinzu, und fortgeschrittene Formen von High 10 fügen 4:2:2 und 4:4:4 Chroma-Subsampling hinzu.

AVC hat auch besondere Funktionen wie die Unterstützung mehrerer Ansichten derselben Szene (Multiview Video Coding), was unter anderem die Erstellung von stereoskopischen Videos ermöglicht.

AVC ist jedoch ein proprietäres Format, und zahlreiche Patente werden von mehreren Parteien bezüglich seiner Technologien gehalten. Die kommerzielle Nutzung von AVC-Medien erfordert eine Lizenz, obwohl der Via LA Patentpool keine Lizenzgebühren für das Streaming von Internetvideos im AVC-Format verlangt, solange das Video für Endbenutzer kostenlos ist.

Nicht-Webbrowser-Implementierungen von WebRTC (jede Implementierung, die die JavaScript-APIs nicht enthält) sind verpflichtet, AVC als Codec in WebRTC-Anrufen zu unterstützen. Während Webbrowser dazu nicht verpflichtet sind, tun es einige.

In HTML-Inhalten für Webbrowser ist AVC weitgehend kompatibel und viele Plattformen unterstützen Hardware-Codierung und -Dekodierung von AVC-Medien. Beachten Sie jedoch die Lizenzanforderungen, bevor Sie sich entscheiden, AVC in Ihrem Projekt zu verwenden!

Der H.263 Codec von ITU wurde in erster Linie für den Einsatz in Situationen mit geringer Bandbreite entwickelt. Insbesondere ist er für Videokonferenzen in PSTN (Public Switched Telephone Networks), RTSP und SIP (IP-basierte Videokonferenzsysteme) optimiert. Trotz seiner Optimierung für Netzwerke mit geringer Bandbreite ist er relativ CPU-intensiv und möglicherweise auf leistungsschwächeren Computern nicht ausreichend leistungsfähig. Das Datenformat ist dem von MPEG-4 Part 2 ähnlich.

H.263 wurde im Web nie weit verbreitet genutzt. Varianten von H.263 wurden als Basis für andere proprietäre Formate verwendet, wie beispielsweise Flash-Video oder den Sorenson-Codec. Kein großer Browser hat jedoch jemals H.263-Unterstützung standardmäßig enthalten. Bestimmte Media-Plugins haben die Unterstützung für H.263-Medien ermöglicht.

Im Gegensatz zu den meisten Codecs definiert H.263 die Grundlagen eines kodierten Videos in Bezug auf die maximale Bitrate pro Bild (Picture), oder BPPmaxKb. Während der Kodierung wird ein Wert für BPPmaxKb ausgewählt, und dann kann das Video diesen Wert für jedes Bild nicht überschreiten. Die endgültige Bitrate hängt von diesem Wert, der Bildwiederholrate, der Kompression und der gewählten Auflösung und Blockformat ab.

H.263 wurde durch H.264 ersetzt und wird daher als veraltetes Medienformat betrachtet, das Sie nach Möglichkeit vermeiden sollten. Der einzige wirkliche Grund zur Nutzung von H.263 in neuen Projekten ist, wenn Sie Unterstützung für sehr alte Geräte benötigen, auf denen H.263 die beste Wahl ist.

H.263 ist ein proprietäres Format, wobei Patente von verschiedenen Organisationen und Unternehmen wie Telenor, Fujitsu, Motorola, Samsung, Hitachi, Polycom, Qualcomm und anderen gehalten werden. Für die Nutzung von H.263 sind Sie gesetzlich verpflichtet, die entsprechenden Lizenzen zu erwerben.

Der High Efficiency Video Coding (HEVC) Codec wird durch ITUs H.265 sowie durch MPEG-H Part 2 (die sich noch in Entwicklung befindliche Fortsetzung von MPEG-4) definiert. HEVC wurde entwickelt, um eine effiziente Kodierung und Dekodierung von Videos in Größen zu unterstützen, einschließlich sehr hoher Auflösungen (einschließlich 8K-Video), mit einer Struktur, die es der Software ermöglicht, moderne Prozessoren optimal zu nutzen. Theoretisch kann HEVC komprimierte Datei-Größen erreichen, die halb so groß sind wie die von AVC, jedoch bei vergleichbarer Bildqualität.

Zum Beispiel besteht jede Coding Tree Unit (CTU), die den in früheren Codecs verwendeten Makroblock ähnelt, aus einem Baum von Luma-Werten für jedes Sample sowie einem Baum von Chroma-Werten für jedes Chroma-Sample, das in derselben Coding Tree Unit verwendet wird, sowie allen erforderlichen Syntax-Elementen. Diese Struktur ermöglicht eine einfache Verarbeitung durch mehrere Kerne.

Ein interessantes Merkmal von HEVC ist, dass das Hauptprofil nur 8-bit pro Komponente Farbe mit 4:2:0 Chroma-Subsampling unterstützt. Auch interessant ist, dass 4:4:4 Video speziell gehandhabt wird. Anstatt die Luma-Samples (die die Pixel des Bildes in Graustufen darstellen) und die Cb und Cr-Samples (die anzeigen, wie die Grautöne zu Farb-Pixeln verändert werden sollen) zu haben, werden die drei Kanäle stattdessen als drei monochrome Bilder behandelt, eines für jede Farbe, die dann bei der Wiedergabe kombiniert werden, um ein Vollfarbbild zu erzeugen.

HEVC ist ein proprietäres Format und wird von einer Reihe von Patenten abgedeckt. Die Lizenzierung wird von Via LA verwaltet; Gebühren werden den Entwicklern anstatt den Inhaltsproduzenten und -verteilern berechnet. Überprüfen Sie unbedingt die neuesten Lizenzbedingungen und -anforderungen, bevor Sie sich entscheiden, HEVC in Ihrer App oder Website zu verwenden!

Das MPEG-4 Video Elemental Stream (MP4V-ES) Format ist Teil des MPEG-4 Part 2 Visual Standards. Während MPEG-4 Teil 2 Video im Allgemeinen von niemandem verwendet wird, weil ihm ein überzeugender Wert im Vergleich zu anderen Codecs fehlt, hat MP4V-ES auf mobilen Geräten einen gewissen Einsatz. MP4V ist im Wesentlichen H.263-Kodierung in einem MPEG-4-Container.

Sein Hauptzweck ist der Einsatz im Streaming von MPEG-4 Audio und Video über eine RTP Sitzung. MP4V-ES wird jedoch auch zur Übertragung von MPEG-4 Audio und Video über eine mobile Verbindung unter Verwendung von 3GP verwendet.

Sie möchten dieses Format höchstwahrscheinlich nicht verwenden, da es von keinem großen Browser in relevanter Weise unterstützt wird und ziemlich obsolet ist. Dateien dieses Typs sollten die Erweiterung .mp4v haben, werden aber manchmal fälschlicherweise als .mp4 gekennzeichnet.

MPEG-1 Part 2 Video wurde zu Beginn der 1990er Jahre vorgestellt. Anders als die späteren MPEG-Video-Standards wurde MPEG-1 ausschließlich durch MPEG erstellt, ohne die Beteiligung der ITU.

Da jeder MPEG-2-Decoder auch MPEG-1-Video abspielen kann, ist es mit einer Vielzahl von Software- und Hardwaregeräten kompatibel. Es gibt keine aktiven Patente mehr in Bezug auf MPEG-1-Video, sodass es ohne Lizenzbedenken verwendet werden kann. Allerdings unterstützen nur wenige Webbrowser MPEG-1-Video ohne die Unterstützung eines Plug-ins, und da die Verwendung von Plug-ins in Webbrowsern veraltet ist, sind diese im Allgemeinen nicht mehr verfügbar. Dies macht MPEG-1 zu einer schlechten Wahl für den Einsatz auf Websites und in Webanwendungen.

MPEG-2 Part 2 ist das Videoformat, das durch die MPEG-2-Spezifikation definiert wird und auch gelegentlich mit der ITU Kennzeichnung, H.262, bezeichnet wird. Es ist dem MPEG-1-Video sehr ähnlich – tatsächlich kann jeder MPEG-2-Player MPEG-1 ohne weitere Maßnahmen automatisch handhaben – es wurde jedoch erweitert, um höhere Bitraten und fortgeschrittene Kodierungstechniken zu unterstützen.

Ziel war es, MPEG-2 in die Lage zu versetzen, Fernsehbilder in Standardqualität zu komprimieren, sodass auch interlaced Video unterstützt wird. Die Standard-Definition-Kompressionsrate und die Qualität des resultierenden Videos erfüllten die Bedürfnisse gut genug, dass MPEG-2 der primäre Video-Codec für DVD-Video-Medien ist.

MPEG-2 bietet mehrere Profile mit unterschiedlichen Fähigkeiten. Jedes Profil ist dann in vier Level verfügbar, die jeweils die Attribute des Videos erhöhen, wie Bildrate, Auflösung, Bitrate und so weiter. Die meisten Profile verwenden Y'CbCr mit 4:2:0 Chroma-Subsampling, aber fortgeschrittenere Profile unterstützen auch 4:2:2. Außerdem gibt es vier Levels, die jeweils Unterstützung für größere Bilddimensionen und Bitraten bieten. Zum Beispiel unterstützt die ATSC Spezifikation für Fernsehen in Nordamerika MPEG-2-Video in hoher Auflösung unter Nutzung des Main Profile auf High Level, was 4:2:0 Video bei sowohl 1920 x 1080 (30 FPS) als auch 1280 x 720 (60 FPS) bei einer maximalen Bitrate von 80 Mbps ermöglicht.

Jedoch unterstützen nur wenige Webbrowser MPEG-2 ohne die Unterstützung eines Plug-ins, und da die Verwendung von Plug-ins in Webbrowsern veraltet ist, sind diese im Allgemeinen nicht mehr verfügbar. Dies macht MPEG-2 zu einer schlechten Wahl für den Einsatz auf Websites und in Webanwendungen.

Theora, entwickelt von Xiph.org, ist ein offener und freier Video-Codec, der ohne Lizenzgebühren oder Lizenzen verwendet werden kann. Die Qualität und die Kompressionsraten von Theora sind vergleichbar mit MPEG-4 Part 2 Visual und AVC, wodurch es eine sehr gute, wenn auch nicht Spitzenwahl für die Video-Kodierung ist. Sein Status als lizenzfrei und seine relativ niedrigen CPU-Ressourcenanforderungen machen ihn zu einer beliebten Wahl für viele Software- und Webprojekte. Die geringe CPU-Belastung ist besonders nützlich, da keine Hardware-Dekoder für Theora verfügbar sind.

Theora basierte ursprünglich auf dem VC3-Codec von On2 Technologies. Der Codec und seine Spezifikation wurden unter der LGPL-Lizenz veröffentlicht und Xiph.org anvertraut, das ihn dann zum Theora-Standard entwickelte.

Ein Nachteil von Theora ist, dass er nur 8 Bit pro Farbkomponente unterstützt, ohne die Möglichkeit, 10 oder mehr zu verwenden, um Farbbanding zu vermeiden. Das gesagt, sind 8 Bit pro Komponente immer noch das am häufigsten verwendete Farbformat heutzutage, sodass dies in den meisten Fällen nur ein kleiner Nachteil ist. Außerdem kann Theora nur in einem Ogg-Container verwendet werden. Der größte Nachteil ist jedoch, dass er von Safari nicht unterstützt wird, was Theora nicht nur auf macOS, sondern auf all den Millionen von iPhones und iPads unerreichbar macht.

Das Theora Cookbook bietet zusätzliche Details über Theora sowie das Ogg-Containerformat, in dem es verwendet wird.

Der Video Processor 8 (VP8) Codec wurde ursprünglich von On2 Technologies erstellt. Nach dem Kauf von On2 hat Google VP8 als ein offenes und lizenzgebührenfreies Videoformat unter dem Versprechen veröffentlicht, die relevanten Patente nicht durchzusetzen. In Bezug auf Qualität und Kompressionsrate ist VP8 mit AVC vergleichbar.

Wenn von einem Browser unterstützt, ermöglicht VP8 Video mit einem Alpha-Kanal, sodass das Video mit dem Hintergrund gespielt werden kann, der durch das Video in einem von jedem Pixel-Alpha-Komponenten angegebenen Grad gesehen werden kann.

Es gibt eine gute Browser-Unterstützung für VP8 in HTML-Inhalten, insbesondere innerhalb von WebM Dateien. Dies macht VP8 zu einem guten Kandidaten für Ihre Inhalte, obwohl VP9 eine noch bessere Wahl ist, wenn es Ihnen zur Verfügung steht. Webbrowser sind verpflichtet, VP8 für WebRTC zu unterstützen, aber nicht alle Browser, die dies tun, unterstützen es auch in HTML Audio- und Video-Elementen.

Video Processor 9 (VP9) ist der Nachfolger des älteren VP8-Standards, entwickelt von Google. Wie VP8 ist VP9 vollständig offen und lizenzgebührenfrei. Seine Kodierungs- und Dekodierungsleistung ist vergleichbar oder etwas schneller als die von AVC, jedoch mit besserer Qualität. Die kodierte Videoqualität von VP9 ist vergleichbar mit der von HEVC bei ähnlichen Bitraten.

Das Hauptprofil von VP9 unterstützt nur 8-Bit-Farbtiefe bei 4:2:0 Chroma-Subsampling-Niveaus, aber seine Profile umfassen Unterstützung für tiefere Farbe und das gesamte Spektrum der Chroma-Subsampling-Modi. Es unterstützt mehrere HDR-Implementierungen und bietet erheblichen Spielraum bei der Auswahl von Bildraten, Seitenverhältnissen und Bildgrößen.

VP9 wird von vielen Browsern unterstützt, und Hardware-Implementierungen des Codecs sind ziemlich verbreitet. VP9 ist einer der beiden Video-Codecs, die von WebM vorgeschrieben werden (der andere ist VP8). Beachten Sie jedoch, dass Safari-Unterstützung für WebM und VP9 erst in Version 14.1 eingeführt wurde. Wenn Sie sich also entscheiden, VP9 zu verwenden, ziehen Sie in Betracht, ein Fallback-Format wie AVC oder HEVC für iPhone-, iPad- und Mac-Benutzer anzubieten.

VP9 ist eine gute Wahl, wenn Sie einen WebM-Container verwenden können (und eine alternative Videolösung bereitstellen können, wenn nötig). Dies ist besonders wahr, wenn Sie einen offenen Codec anstelle eines proprietären verwenden möchten.

Die Entscheidung, welchen Codec oder welche Codecs Sie verwenden möchten, beginnt mit einer Reihe von Fragen zur Vorbereitung:

• Möchten Sie ein offenes Format verwenden oder kommen auch proprietäre Formate in Frage?
• Haben Sie die Ressourcen, mehr als ein Format für jedes Ihrer Videos zu produzieren? Die Möglichkeit, eine Fallback-Option anzubieten, vereinfacht den Entscheidungsprozess erheblich.
• Gibt es Browser, für die Sie auf die Kompatibilität verzichten können?
• Wie alt ist die älteste Webbrowser-Version, die Sie unterstützen müssen? Müssen Sie beispielsweise auf jedem Browser arbeiten, der in den letzten fünf Jahren veröffentlicht wurde, oder nur im letzten Jahr?

In den nachstehenden Abschnitten bieten wir empfohlene Codec-Auswahlen für spezifische Anwendungsfälle. Für jeden Anwendungsfall finden Sie bis zu zwei Empfehlungen. Falls der Codec, der für den Anwendungsfall als am besten geeignet gilt, proprietär ist oder Lizenzzahlungen erfordern könnte, werden zwei Optionen bereitgestellt: zuerst eine offene und lizenzfreie Option, gefolgt von der proprietären.

Wenn Sie nur eine einzige Version jedes Videos anbieten können, können Sie das Format wählen, das Ihren Anforderungen am besten entspricht. Das erste wird als gute Kombination aus Qualität, Leistung und Kompatibilität empfohlen. Die zweite Option wird die breiteste Kompatibilität bieten, auf Kosten eines gewissen Maßes an Qualität, Leistung und/oder Größe.

Zuerst betrachten wir die besten Optionen für Videos, die auf einer typischen Website wie einem Blog, einer Informationsseite oder einer kleinen Unternehmenswebsite präsentiert werden, wo Videos zur Demonstration von Produkten verwendet werden (aber nicht, wenn die Videos selbst ein Produkt sind) und so weiter.

1. Ein WebM-Container, der den VP9-Codec für Video und den Opus-Codec für Audio verwendet. Diese sind alle offen und lizenzfrei und im Allgemeinen gut unterstützt, jedoch nur in recht aktuellen Browsern, weshalb ein Fallback eine gute Idee ist.

   html

   <video controls src="filename.webm"></video>
   

2. Ein MP4-Container und der AVC (H.264)-Videocodec, idealerweise mit AAC als Audiocodec. Der MP4-Container mit AVC- und AAC-Codecs ist eine weit verbreitete Kombination – in der Tat von jedem großen Browser unterstützt – und die Qualität ist für die meisten Anwendungsfälle typischerweise gut. Stellen Sie jedoch sicher, dass Sie Ihre Konformität mit den Lizenzanforderungen überprüfen.

   html

   <video controls>
     <source type="video/webm" src="filename.webm" />
     <source type="video/mp4" src="filename.mp4" />
   </video>
   

Wenn Ihre Aufgabe darin besteht, Videos in höchster Qualität zu präsentieren, werden Sie wahrscheinlich von der Bereitstellung möglichst vieler Formate profitieren, da die Codecs mit der besten Qualität tendenziell auch die neuesten sind und somit am wahrscheinlichsten Lücken in der Browser-Kompatibilität aufweisen.

1. Ein WebM-Container, der AV1 für Video und Opus für Audio verwendet. Wenn Sie in der Lage sind, beim Kodieren von AV1 das High- oder Professional-Profil zu verwenden, auf hohem Niveau wie 6.3, können Sie sehr hohe Bitraten bei 4K- oder 8K-Auflösung erzielen, bei exzellenter Videoqualität. Das Kodieren Ihres Audios mit dem Fullband-Profil von Opus bei einer Samplerate von 48 kHz maximiert die erfasste Audiobandbreite und erfasst nahezu den gesamten Frequenzbereich, der innerhalb des menschlichen Hörens liegt.

   html

   <video controls src="filename.webm"></video>
   

2. Ein MP4-Container, der den HEVC-Codec mit einem der fortgeschrittenen Main-Profile verwendet, wie Main 4:2:2 mit 10 oder 12 Bit Farbtiefe oder sogar das Main 4:4:4-Profil mit bis zu 16 Bit pro Komponente. Bei einer hohen Bitrate bietet dies exzellente Grafikqualität mit bemerkenswerter Farbwiedergabe. Zusätzlich können Sie optional HDR-Metadaten einfügen, um Video in hohem Dynamikbereich bereitzustellen. Für Audio verwenden Sie den AAC-Codec mit einer hohen Samplerate (mindestens 48 kHz, idealerweise aber 96 kHz) und kodiert mit komplexem Kodierungsverfahren statt schneller Kodierung.

   html

   <video controls>
     <source type="video/webm" src="filename.webm" />
     <source type="video/mp4" src="filename.mp4" />
   </video>
   

Derzeit sind keine verlustfreien oder sogar fast verlustfreien Videocodecs in Webbrowsern allgemein verfügbar. Der Grund dafür ist einfach: Video ist enorm. Verlustfreie Kompression ist per Definition weniger effektiv als verlustbehaftete Kompression. Zum Beispiel benötigt unkomprimiertes 1080p-Video (1920 x 1080 Pixel) mit 4:2:0-Chroma-Subsampling mindestens 1,5 Gbps. Die Verwendung verlustfreier Kompression wie FFV1 (die von Webbrowsern nicht unterstützt wird) könnte dies möglicherweise auf etwa 600 Mbps reduzieren, abhängig vom Inhalt. Das ist immer noch eine enorme Menge an Bits, die jede Sekunde durch eine Verbindung fließen müssen, und ist derzeit für keinen praktischen Einsatz in der realen Welt machbar.

Dies ist der Fall, obwohl einige der verlustbehafteten Codecs einen verlustfreien Modus haben; die verlustfreien Modi sind in aktuellen Webbrowsern nicht implementiert. Das Beste, was Sie tun können, ist, einen hochwertigen Codec auszuwählen, der verlustbehaftete Kompression verwendet, und ihn so zu konfigurieren, dass so wenig Kompression wie möglich durchgeführt wird. Eine Möglichkeit, dies zu erreichen, besteht darin, den Codec auf "schnelle" Kompression zu konfigurieren, was von Natur aus bedeutet, dass weniger Kompression erreicht wird.

Video extern vorbereiten

Um Video zu Archivierungszwecken außerhalb Ihrer Website oder App vorzubereiten, verwenden Sie ein Dienstprogramm, das die Kompression der ursprünglichen unkomprimierten Videodaten durchführt. Beispielsweise kann das kostenlose x264-Dienstprogramm verwendet werden, um Video im AVC-Format mit sehr hoher Bitrate zu kodieren:

x264 --crf 18 -preset ultrafast --output out-file.mp4 infile

Obwohl andere Codecs potenziell bessere Bestfallqualität bieten, wenn das Video irgendwo signifikant komprimiert wird, neigen ihre Encoder dazu, so langsam zu sein, dass die nahezu verlustfreie Kodierung, die Sie mit dieser Kompression erhalten, viel schneller bei etwa gleichem Qualitätsniveau ist.

Video aufzeichnen

Angesichts der Einschränkungen, wie nahe an verlustfrei Sie kommen können, könnten Sie in Betracht ziehen, AVC oder AV1 zu verwenden. Beispielsweise, wenn Sie die MediaStream Recording API verwenden, um Video aufzuzeichnen, könnten Sie Code wie den folgenden verwenden, wenn Sie Ihr MediaRecorder-Objekt erstellen:

const kbps = 1024;
const Mbps = kbps * kbps;

const options = {
  mimeType: 'video/webm; codecs="av01.2.19H.12.0.000.09.16.09.1, flac"',
  bitsPerSecond: 800 * Mbps,
};

let recorder = new MediaRecorder(sourceStream, options);

In diesem Beispiel wird ein MediaRecorder erstellt, der konfiguriert ist, AV1-Video unter Verwendung von BT.2100 HDR in 12-Bit-Farbe mit 4:4:4-Chroma-Subsampling und FLAC für verlustfreies Audio aufzunehmen. Die resultierende Datei wird eine Bitrate von nicht mehr als 800 Mbps verwenden, die zwischen den Video- und Audiotracks geteilt wird. Sie müssen diese Werte wahrscheinlich an die Hardwareleistung, Ihre Anforderungen und die spezifischen Codecs, die Sie verwenden möchten, anpassen. Diese Bitrate ist offensichtlich nicht realistisch für den Netzwerkversand und würde wahrscheinlich nur lokal verwendet werden.

Die Aufschlüsselung des Werts des codecs-Parameters in seine durch Punkte unterteilten Eigenschaften sieht wie folgt aus:

Die Dokumentation für Ihre Codecauswahl bietet wahrscheinlich Informationen, die Sie verwenden werden, wenn Sie Ihren codecs-Parameter konstruieren.

• Anleitung zu Web-Audiocodecs
• Mediencontainerformate (Dateitypen)
• Umgang mit Medienunterstützungsproblemen in Webinhalten
• Von WebRTC verwendete Codecs
• RFC 6381: Die "Codecs"- und "Profiles"-Parameter für "Bucket"-Medientypen
• RFC 5334: Ogg-Medientypen
• RFC 3839: MIME-Type-Registrierungen für 3GPP-Multimedia-Dateien
• RFC 4381: MIME-Type-Registrierungen für 3GPP2-Multimedia-Dateien
• RFC 4337: MIME-Type-Registrierungen für MPEG-4
• Video- und Audiocodecs in Chrome