Warum Netflix NGINX als Herzstück seines CDN gewählt hat

In den wenigen Jahren seit seiner Einführung ist der Online-Video-Streaming-Dienst von Netflix auf über 50 Millionen Abonnenten in 40 Ländern angewachsen. In „Einführung von Microservices bei Netflix“ haben wir bereits einige der Best Practices vorgestellt, die die Softwareentwicklungsingenieure von Netflix beim Übergang von einem traditionellen monolithischen Entwicklungsprozess zu kontinuierlicher Bereitstellung und Microservices übernommen haben: Lehren für die Architekturgestaltung und die Einführung von Microservices bei Netflix: Lehren für Team- und Prozessdesign .

In diesem Beitrag besprechen wir einen weiteren Hauptfaktor für den Erfolg von Netflix: sein Content Delivery Network (CDN), Open Connect . Wir sind stolz darauf, dass NGINX auf jedem Open Connect-Delivery-Gerät läuft und eine Schlüsselrolle dabei spielt, dass Netflix mit dem explosiven Wachstum des Videodienstes Schritt halten kann. Gleb Smirnoff von NGINX arbeitet seit über zwei Jahren mit dem Open Connect-Team zusammen und erklärte im vergangenen Oktober auf unserer Benutzerkonferenz nginx.conf2014, warum Netflix sich für NGINX (zusammen mit FreeBSD) entschieden hat, um diesen entscheidenden Teil seines Geschäfts voranzutreiben.

Warum Netflix sein eigenes CDN gebaut hat

Netflix hat die Bereitstellung von Streaming-Videos zunächst an drei große CDN-Anbieter (Akamai, Level3 und LimeLight) ausgelagert. Als der Dienst immer beliebter wurde, beschloss Netflix, dass der Aufbau und die Verwaltung eines eigenen CDN aus mehreren Gründen sinnvoll wäre:

• Aus praktischer Sicht hatten die CDN-Anbieter Mühe, ihre Infrastruktur in einem Tempo auszubauen, das mit der steigenden Kundennachfrage nach Video-Streaming von Netflix Schritt halten konnte.
• Aus finanzieller Sicht wurden die Kosten für das Outsourcing mit der zunehmenden Menge gestreamter Videos schnell unerschwinglich (eine Herausforderung, der sich viele beliebte Anwendungen und Web-Eigenschaften gegenübersehen).
• Aus geschäftlicher Sicht war klar, dass Video-Streaming den DVD-Verleih als wichtigste Einnahmequelle von Netflix ablöste und es daher keinen Sinn machte, einen entscheidenden Teil des Hauptgeschäfts des Unternehmens auszulagern.

Am wichtigsten ist jedoch, dass Netflix sein eigenes CDN erstellt hat, um eine bessere Kontrolle über die Anwendungsbereitstellung und das Benutzererlebnis zu haben. Um seinen Kunden optimale Streaming-Medien bereitzustellen, musste Netflix seine Kontrolle über die drei Grundkomponenten der Lieferkette maximieren:

• Der Videoplayer des Benutzers. Netflix kontrollierte diese Komponente bereits, da seine Entwickler alle gerätespezifischen Apps schreiben, mit denen Kunden Netflix-Inhalte ansehen.
• Das Netzwerk zwischen dem Benutzer und den Netflix-Servern. Es gibt keine Möglichkeit, diese Komponente direkt zu steuern, aber Netflix minimiert die Netzwerkdistanz zu seinen Kunden, indem es den ISPs kostenlose Video-Streaming-Geräte zur Verfügung stellt und ihnen im Gegenzug Rack-Platz in den Rechenzentren der ISPs zur Unterbringung der Geräte zur Verfügung stellt. (Geräte werden auch an Internet-Knotenpunkten [IXPs] platziert, um Kunden zu bedienen, deren ISPs kein Interesse an der Unterbringung von Geräten Dritter haben.) Beim Videostreaming kommt es besonders häufig zu Paketverzögerungen und -verlusten, falscher Ankunftsreihenfolge und unvorhersehbaren (nervösen) Roundtrip-Zeiten, die bei TCP/IP auftreten. Durch Minimieren der Netzwerkdistanz lässt sich die potenzielle Gefährdung durch diese Anomalien verringern.
• Der Videoserver (Open Connect selbst). Durch den Betrieb eines eigenen CDN hat Netflix die Freiheit, die CDN-Software so zu optimieren, dass Internetanomalien so weit wie möglich ausgeglichen werden. Es kann benutzerdefinierte TCP-Verbindungssteuerungsalgorithmen und HTTP-Module ausführen. Darüber hinaus kann es Server- und Netzwerkprobleme sehr schnell erkennen, Clients auf alternative Server umleiten und sich anschließend bei der Serverhardware anmelden und die Fehler „von innen“ beheben.

Netflix konnte Open Connect für Video-Streaming auf eine Weise optimieren, die mit einem generischen CDN eines Anbieters nicht möglich ist. Open Connect ermöglicht es Netflix, ein besseres Benutzererlebnis zu geringeren Kosten und mit besserer Transparenz hinsichtlich der Leistung der Anwendung weltweit anzubieten.

Warum sich Netflix für NGINX und FreeBSD entschieden hat

Von Anfang an bestand das Ziel von Netflix darin, „immer mehr Gigabit pro Sekunde aus einer einzigen Box herauszuholen“, wie Gleb es ausdrückt. Insbesondere musste Netflix die Zahl der Abonnenten maximieren, die jedes Gerät gleichzeitig bedienen konnte. Die Ingenieure von Open Connect gingen davon aus, dass zur Erreichung dieses Ziels Feinabstimmungen an der Software erforderlich sein würden. Daher entschieden sie sich aufgrund der unbegrenzten Erweiterbarkeit für Open-Source-Software.

Wie bereits erwähnt, platziert Netflix seine Video-Streaming-Geräte nach Möglichkeit in den Rechenzentren der ISPs seiner Kunden. Da die auf den Geräten ausgeführte Software in den Händen Dritter liegen würde, entschied sich Netflix für Projekte, die eine Lizenz im BSD-Stil anstelle der GNU Public License (GPL) verwenden.

Die spezifischen Open-Source-Projekte, die Netflix ausgewählt hat, waren:

• Als Betriebssystem verwende ich FreeBSD , da es als schnell und stabil gilt. Die Entwickler-Community ist stark und bereit, mit Anbietern zusammenzuarbeiten.

• NGINX als Streaming-Media-Server. Die bewährte Geschwindigkeit und Stabilität waren wichtig, da Netflix Open Connect so schnell wie möglich einführen wollte, ohne dass vorab Anpassungen vorgenommen werden mussten. Nachdem das CDN einsatzbereit war, konnte Netflix Verkehrsmuster untersuchen und die NGINX-Einstellungen optimieren.

  Ein weiterer Vorteil von NGINX besteht darin, dass die Open-Source-Software zwar unter einer BSD-ähnlichen Lizenz vertrieben wird, alle Kernentwickler jedoch Vollzeitmitarbeiter von NGINX, Inc. sind, das unternehmensweiten Support für das kommerzielle Produkt NGINX Plus bietet. In dieser Hinsicht kombiniert es die besten Funktionen von OSS und kommerzieller Software.

  Auch das flexible Framework von NGINX zum Ausführen benutzerdefinierter Module gefiel Netflix und das Open Connect-Team hat Module entwickelt, die speziell auf die Video-Streaming-Anforderungen des Unternehmens zugeschnitten sind.

Die Kombination von FreeBSD und NGINX bietet weitere Vorteile:

• Das ereignisgesteuerte Design von NGINX ist einer der Schlüssel zu seiner herausragenden Leistung und der Systemaufruf für Ereignisbenachrichtigungen kqueue von FreeBSD ist eine der besten APIs für Multiplex-E/A.
• Ohne dass Änderungen erforderlich sind, kann NGINX den Systemaufruf „sendfile“ zusammen mit dem Systemaufruf „aio_read“ verwenden. Zusammen verhindern die Aufrufe eine Blockierung der Festplatten-E/A und führen so zu einer hervorragenden Leistung.

NGINX Plus und NGINX können auch Ihre Anwendungsbereitstellung optimieren

NGINX wurde von Anfang an so konzipiert, dass es anpassungsfähig ist und jeden Aspekt der Anwendungsbereitstellung unterstützt. Um unseren gewerblichen Kunden die Bereitstellung von Anwendungen wie Netflix zu erleichtern, kombiniert NGINX Plus Web-Serving, Lastausgleich, Inhalts-Caching und Medien-Streaming in einem benutzerfreundlichen Paket. Sehen Sie sich unsere Fallstudien an, um zu erfahren, wie andere führende Unternehmen NGINX Plus verwenden, um ihre Anwendungen leistungsstark, sicher und skalierbar bereitzustellen.

Wir arbeiten gerne eng mit unseren Kunden zusammen und beraten sie, wie sie in ihren spezifischen Anwendungsbereitstellungsarchitekturen das Beste aus NGINX Plus herausholen können. Unsere Support- und Professional-Services -Teams können Ihnen mit Architekturberatung, Installation, Konfiguration, Updates und mehr helfen. Kontaktieren Sie uns, um mehr zu erfahren.

Videoaufzeichnung