Hinter den Kulissen – DDoS und Latenz
Kurzfassung: DDoS-Angriffe sind infam. Spieler*innen finden sie lahm, das bereitet uns Gram. Wir haben was geändert, was dem Spiel gut bekam.
Hallo! Die Infrastruktur-J-Mods sind mit einem neuen Hinter-den-Kulissen-Beitrag zurück. Dieses Mal befassen wir uns mit DDoS-Angriffen und der Latenz. Wie üblich wird dies ein sehr technischer Beitrag, aber wir werden unser Bestes tun, um die zugrundeliegenden Konzepte zu erklären. Falls danach noch Fragen offen bleiben, gib uns auf unseren sozialen Kanälen Bescheid, dann behandeln wie sie eventuell in einem zukünftigen Beitrag!
Verkehrspolizei
Im Sommer haben unsere beliebten Spiele neue Höhen erreicht. Uns als J-Mods und Fans hat das natürlich sehr gefreut. Leider hat das auch einige böswillige Parteien auf den Plan gerufen und zu manchen Zeiten waren RuneScape und Old School RuneScape wegen hypervolumetrischer Distributed-Denial-of-Service-Angriffe (DDoS-Angriffe) für Spieler*innen nicht mehr verfügbar.
Zu unserem Job hier hinter den Kulissen gehört es, sicherzustellen, dass uns deine super präzisen Klicks rechtzeitig und zuverlässig erreichen, selbst unter widrigen Bedingungen. Also sehen wir uns mal an, warum diese Angriffe so viel Schaden angerichtet haben.
Was ist ein DDoS-Angriff?
Klären wir zunächst einmal, was ein Denial-of-Service-Angriff (DoS-Angriff) ist. Dabei kommuniziert ein böswilliger Client so mit einem Server, dass er diesen davon abhält, anderen, rechtmäßigen Clients zu antworten. Es gibt drei grobe Kategorien von DoS-Angriffen:
- Volumetrisch: Das Netzwerk-Interface des Servers wird mit mehr Datenverkehr überflutet, als es bewältigen kann. Das kann man sich in etwa vorstellen wie eine verstopfte Toilette.
- Protokoll: Die Funktionsweise legitimer Interaktionen wird missbraucht, um Serverzeit oder -ressourcen zu verbrauchen. Stell dir eine alte Dame vor, die an der Kasse alle aufhält, indem sie mit Centstücken bezahlt.
- Anwendungsebene: Schwachstellen in Anwendungen werden ausgenutzt oder der Server wird mit legitimen Anfragen überschwemmt. In diesem Beispiel bezahlt die Dame ganz normal, kauft aber immer und immer wieder nur einen einzigen Artikel auf einmal.
Denial-of-Service-Angriffe (DoS-Angriffe) können leicht eingedämmt werden, weil der Angriff aus einer einzigen Quelle kommt: ein Eimer Kamelmist, eine alte Dame oder ein übergeschnappter Kunde. Sie sind leicht zu ermitteln und leicht zu blockieren.
Distributed-Denial-of-Service-Angriffe (DDoS-Angriffe) machen die Sache etwas spannender: Sie verwenden dieselben Methoden, aber von vielen verschiedenen Quellen aus – oft ganzen Flotten kompromittierter IoT-Geräte (IoT: Internet of Things; auch IdD: Internet der Dinge) wie dem Mirai Botnet –, sodass es schwerer ist, den schädlichen Datenverkehr vom legitimen zu unterscheiden.
Was bedeutet hypervolumetrisch?
Ein hypervolumetrischer DDoS-Angriff ist mit über einem Terabit schädlichem Netzwerkverkehr pro Sekunde die größte und am schwersten zu stoppende Art des Angriffs. Angriffe dieser Klasse können mehr als das Tausendfache unseres gewöhnlichen Datenverkehrsvolumens umfassen.
Du kannst dir Jagex’ Netzwerkkapazität als vierspurige Autobahn vorstellen, die zu den Jagex-Spielservern führt. Die dort fahrenden Autos kommen von einem weltweiten Straßennetzwerk und stehen für die Datenpakete, die viele verschiedene Clients senden.
Um auf die Jagex-Autobahn aufzufahren, müssen Autos einen Kontrollpunkt passieren, an dem der gute Datenverkehr vom schlechten getrennt wird. Diese Kontrollpunkte sind sehr effektiv, aber nicht perfekt. Ein kleiner Anteil schädlichen Verkehrs gelangt hindurch.
An einem normalen Tag gehören die meisten Autos zum guten Verkehr und benötigen nur eine Spur der Kapazität unserer Autobahn. Bei einem hypervolumetrischen DDoS-Angriff musst du dir den schlimmsten Stau vorstellen, den du je gesehen hast (für die Berliner*innen: die neue A100 am Eröffnungstag)! Der Kontrollpunkt macht weiter seine Arbeit, aber es kommt so viel Verkehr an, dass es genügt, wenn nur ein kleiner Anteil durchkommt, um die Autobahn zu blockieren. Alle vier Spuren sind verstopft und an der Auffahrt staut sich der Verkehr.
Man steht so lang an, dass legitime Verkehrsteilnehmende die Geduld verlieren und wieder heimfahren. In der wirklichen Welt äußert sich das als Netzwerk-Zeitüberschreitung.
Wie reagiert Jagex auf DDoS-Angriffe?
Jagex wird jedes Jahr das Ziel Hunderter DDoS-Angriffe. Diese werden immer häufiger und immer schädlicher – ein Trend, von dem die ganze Branche betroffen ist. Fast alle Angriffe werden durch Jagex’ Abwehrmechanismen automatisch eingedämmt.
Das Jagex-Netzwerk wird rund um die Uhr überwacht und geschützt. Wenn ein Angriff unsere Spieler*innen betrifft, treten unsere Infrastrukturtechniker*innen – gemeinsam mit denen unserer Partner – in Aktion. Die einzelnen Abschwächungsmaßnahmen, die wir ergreifen, können wir aus offensichtlichen Gründen nicht im Detail ausführen, aber unsere Technikteams analysieren und bekämpfen den Angriff aktiv.
Was tut Jagex zum Schutz gegen zukünftige Angriffe?
Es gibt drei wichtige Möglichkeiten der Infrastrukturerweiterung und -verbesserung, um diesen Angriffen entgegenzutreten:
- Die Erhöhung unserer weltweiten Kapazität für „Traffic Scrubbing“ (der Kontrollpunkt aus unserer Straßenanalogie) und die Verbesserung der zugehörigen Regeln, um die Menge an illegitimem Datenverkehr zu reduzieren, die bei einem Angriff in unser Netzwerk (die Autobahn) vordringt.
- Die Kapazitätssteigerung unseres eigenen Netzwerks (der Autobahn), um bei einem Angriff über zusätzlichen Ausweichraum zu verfügen.
- Die Kapazitätssteigerung unserer Backend-Netzwerke (private Straßen), um mehr Platz für die Horden von echten Spieler*innen zu schaffen, die uns während oder unmittelbar nach einem Angriff mit legitimen Login-Versuchen überschwemmen.
Als Reaktion auf kürzliche Angriffe haben unsere Infrastruktur-J-Mods:
- Unsere weltweite Scrubbing-Kapazität (Kontrollpunkte) überarbeitet und wesentlich erhöht.
- Die Bandbreite unserer Transitverbindungen (Autobahn) um 300 % gesteigert.
- Die Kapazität unserer Backend-Netzwerke (private Straßen) um 400 % gesteigert.
Also wird es keine DDoS-Angiffe mehr geben?
Das können wir nicht garantieren. Unsere bisherige Infrastruktur und unsere Abschwächungsmaßnahmen haben so lange ausgereicht, bis sie es eben nicht mehr taten.
Unsere Spiele zu schützen ist ein Wettrüsten, doch wir setzen weiter auf Analyse, Investitionen und Verbesserungen.
Was ist mit meiner Latenz?!
„Aber liebe anonyme Person, die Kartoffeln schält und diesen Blog schreibt, du hattest doch gesagt, du würdest auch über die Latenz reden? Warum war mein Ping ein paar Wochen nach den Angriffen immer noch so schlecht?“
Nun, liebe*r wissbegierige*r Spieler*in, das ist eine ausgezeichnete Frage.
Bleiben wir gleich beim Thema Kartoffeln: Hot-Potato-Routing, auch bekannt als Early-Exit-Routing. Dabei handelt es sich um eine Routing-Strategie, die gewöhnlich von Internetdienstanbietern eingesetzt wird, um dafür zu sorgen, dass deine Pakete den günstigsten, aber nicht notwendigerweise schnellsten Weg aus jedem Zwischennetzwerk nehmen.
Im Beispiel unten kann Internetanbieter A deine Pakete schneller ans Ziel bringen, zieht aber wegen der Hot-Potato-Strategie einen etwas längeren Weg vor, was seine eigenen Netzwerkkosten minimiert.
Um Spieler*innen die besten Zugangswege zu unseren Spielwelten zu bieten, nutzt Jagex die „Anycast“-Adressierungsart, um jede Spielwelt von vielen verschiedenen regionalen Points of Presence (Zugangsknotenpunkte, PoPs) zugänglich zu machen. So ermutigt Hot-Potato-Routing Internetanbieter, deine Pakete so schnell wie möglich ins Jagex-Netzwerk weiterzuleiten, damit wir sie direkt über unser „Backbone-Netz“ an ihr Ziel bringen können.
Wir haben bemerkt, dass manche Angriffe jeweils nur eine einzelne Region zum Ziel hatten. Wegen der Anycasting-Adressierung waren all unsere PoPs von schädlichem Datenverkehr betroffen, was auch für Spieler*innen in Regionen, die nicht Ziel des Angriffs waren, Auswirkungen hatte.
Als temporäre Gegenmaßnahme haben wir Anycast für ein paar Wochen deaktiviert. Das hat die regionalen Angriffe isoliert und unserem Backbone-Netzwerk den Druck genommen. Der Preis dafür waren höhere Latenzzeiten für viele Nutzer*innen.
Nachdem wir unsere neuen Abwehrmechanismen, erweiterte Points of Presence und erhöhte Netzwerkkapazität online gebracht hatten, haben wir die Anycast-Adressierung wieder aktiviert. Das sollte für die meisten Spieler*innen die normale Latenz wiederhergestellt haben, aber die Erweiterung unserer PoPs wird das Routing für manche Internetdienstanbieter ändern und nicht allen gleichermaßen nutzen. Wir haben für diesen Bereich noch mehr geplant, auf was wir in einem zukünftigen Beitrag eingehen werden.
F&A
Hier sind ein paar Antworten auf Fragen bzw. Kommentare, die wir regelmäßig gelesen haben!
Warum nutzt ihr nicht einfach Unternehmen XYZ?
Wir haben uns zusätzlich zur Verbesserung von internen Werkzeugen und Prozessen viele verschiedene Partner zur DDoS-Abschwächung angesehen, von Indie-Anbietern bis zu Großunternehmen. Wegen der speziellen Natur unserer Spiele funktioniert das, was für andere Firmen gut ist, nicht zwingend auch für uns, aber wir sind uns sicher, dass wir die beste Lösung für unsere Problematik gefunden haben.
Wer war der Angreifer?
Es ist sehr schwierig, das Anheuern von Botnetzen einer bestimmten Gruppe oder Person zuzuschreiben. Bei schwerwiegenden Angriffen schaltet Jagex die zuständigen Behörden ein.
Was ist mit den Cloud-Welten? Können die da helfen?
Mehr Kapazität hilft immer, aber DDoS-Schutzdienste wie AWS Shield Advanced oder Azure DDoS Protection stellen nicht zwingend eine Verbesserung unseres derzeitigen Ansatzes dar.
In Sachen Cloud-basierte Welten haben wir Fortschritte gemacht. Halte also die Augen offen.
Warum hattet ihr nicht von vornherein bessere Abwehrmechanismen?
Wir haben es jedes Jahr mit Hunderten von DDoS-Angriffen zu tun. Die meiste Zeit schützen unsere Abwehrmechanismen Gielinor automatisch, ohne dass wir manuell eingreifen müssen. Das heißt, die wenigsten dieser Angriffe verursachen eine nennenswerte Störung.
Die Angreifer passen sich und ihre Methoden ständig neu an. Wir erweitern unser Wissen stetig und werden immer weiter in diesen Bereich investieren.
Das klingt wie eine spannende Herausforderung. Kann ich helfen?
Wenn du solche Herausforderungen magst und mitmachen willst, halte Ausschau nach passenden Stellenanzeigen: https://www.jagex.com/careers.
Wer ist Mod 🐹?
Rechenleistung wird in Piepsen pro Sekunde und den gefletschten Zähnen des gerechten Zorns gemessen (hütet euch, DDoSer)!
„Könnt ihr einen Beitrag über XYZ schreiben?“ / „Meine Frage wurde hier nicht beantwortet!“
Lass uns eine Nachricht im Subreddit oder auf unserem offiziellen Discord-Server da, dann versuchen wir, das Thema in Zukunft zu behandeln.
Mods Kraken, Vxp, Bash, Maniac, Vallcore, Haydon, Cky, Qwert, Drax, M0iqp, Ibex, Adad, Roman... und 🐹