• E-Mail

    Abonnieren Sie unsere E-Mail Updates, um über geplante Wartungsarbeiten und Störungen informiert zu werden.

  • Twitter

    Folgen Sie @nine_ch_status auf Twitter.

  • RSS-Feed

    Abonnieren Sie unseren RSS-Feed.

    Abonnieren
  • API

    Über unsere REST-API können Sie diverse Informationen zum aktuellen Status abfragen.

    API Dokumentation
Archiviert Betriebsstörung

Allgemeine Störung

Zeitraum
30.07.2015, 10:50 CEST - 15:55 CEST
Betroffene Kunden
Letzigraben, CZH4.2, ES34, CZH4.1 und CZH0.1
Update #8 - Dienstag, 04. August 2015, 20:58 CEST

Massnahmen aus dem Incident vom 30.07.2015

Wie versprochen informieren wir Sie über über die neuen Erkenntnisse und die getroffenen Massnahmen zu unserem Ausfall vom 30. Juli 2015.

Neue Erkenntnisse

Am Standort Letzigraben sind derzeit zwei Datacenterbetreiber vorhanden: Einer auf dem ersten, der andere auf dem zweiten Stockwerk. nine.ch betreibt die Infrastruktur auf dem ersten Stockwerk. Die Zuführung der Glasfasern läuft über zwei verschiedene Trassees in den zweiten Stock und wird von dort aus auch an die Infrastruktur von nine.ch auf den ersten Stock verteilt.

Der Betreiber auf dem zweiten Stockwerk hat im Mai 2015 entschieden, dass das Datacenter auf diesem Stockwerk ohne Nachfolgelösung aufgelöst und somit zurückgebaut wird. Unser Glasfaser-Lieferant hat entsprechend einen Umbau seiner Infrastruktur - weg vom zweiten Stock - in Angriff genommen und mit dem Datacenterbetreiber koordiniert. Diese Migration war auf August 2015 geplant, entsprechende Vorarbeiten wurden vorgenommen. Am 30. Juli wurde im Auftrag des Datacenterbetreibers die Infrastruktur zurückgebaut, inklusive derjenigen unseres Glasfaser-Lieferanten, welche um 10:07 Uhr unauthorisiert entfernt wurde.

Unser Glasfaser-Lieferant hat nach Lokalisierung der Bruchstelle mehrere Spleissequippen aufgeboten, Ersatzmaterial angefordert und seine gesamte Infrastruktur neu aufgebaut. Der erfolgreiche Abschluss der Arbeiten konnte um Mitternacht bekannt gegeben werden. nine.ch konnten dank einer Übergangslösung den Standort Letzigraben bereits um 15:50 Uhr wieder online nehmen.

Das Entfernen der Infrastruktur unseres Glasfaser-Lieferanten innerhalb des Rechenzentrums führte zu dem Unterbruch unserer redundanten Glasfaser-Verbindung an diesen Standort Letzigraben.

Wieso war colozüri.ch von diesem Ausfall ebenfalls betroffen?

Der Standort colozüri.ch ist über die Upstream-Provider Level3, Swisscom und SwissIX an das Internet angebunden. Der Upstream-Provider Level3 war von dem Ausfall ebenfalls betroffen, da dieser den selben Glasfaser-Lieferanten wie nine.ch nutzt und ebenfalls über das Datacenter Letzigraben geführt wird. Diese Abhängigkeit war bei der Auftragserteilung an Level3 nicht vorhanden. Es ist nun Gegenstand von weiteren Abklärungen, wie eine solche Änderung vorgenommen werden konnte. Somit waren zwischen 10:07 und 12:10 Uhr die Standorte colozüri.ch und e-shelter nur über Swisscom und SwissIX an das Internet angebunden, weshalb die Services von nine.ch nur noch über einige Schweizer Provider erreichbar waren.

Unsere Massnahmen

Die Redundanz unserer Infrastruktur ist für ein Durchtrennen der Glasfaserkabel zwischen den Datacenter-Standorten ausgelegt, inklusive der Steigleitungen innerhalb der Datacenter. Solche Vorfälle gab es in der Vergangenheit, ohne dass dies zu Unterbrüchen führte. Ein gleichzeitiger Unterbruch beider Zuführungen, insbesondere verursacht durch ein Eingreifen auf einer gesicherten Datacenter-Fläche, konnte unsere Redundanz nicht abstützen.

Mit der Eröffnung des zusätzlichen Datacenter-Standorts e-shelter im März 2015 verfolgt nine.ch bereits einen Ausbau der bestehenden Infrastrukturen und weitere Optimierungen. Kurzfristig werden wir zusätzlich folgende Massnahmen umsetzen:

a) Die Abhängigkeit zwischen Letzigraben und colozüri.ch durch den Upstream-Provider Level3 auflösen, sodass der Standort colozüri.ch auch vollständig unabhängig vom Standort Letzigraben an das Internet angeschlossen ist.

b) Einen weiteren Upstream-Provider am Standort e-shelter in Betrieb nehmen (bereits in Planung, notwendige bauliche Massnahmen werden seitens e-shelter bis Ende August abgeschlossen sein).

c) Die Prüfung der Kabelführungen sämtlicher Upstream-Provider, um eventuelle gegenseitige Abhängigkeiten aufzudecken.

d) Eine Prüfung, in welcher Form wir unsere Glasfaser-Lieferanten weiter diversifizieren können.

Unsere Verantwortung

Es ist unsere Verantwortung aus den Ereignissen von letzter Woche die richtigen Schlüsse zu ziehen. Es hat für uns die höchste Priorität, unsere Infrastruktur so zu verändern, dass auch beim Eintreten eines solchen Vorfalls die Anbindung garantiert werden kann. Unser wichtigstes Anliegen ist es, Ihnen eine Infrastruktur mit höchster Verfügbarkeit zu bieten. Wir bedauern diesen Ausfall und die Ihnen entstandenen Umstände ausserordentlich.

Bitte zögern Sie nicht, mich und mein Team für weitere Auskünfte oder bei Unklarheiten zu kontaktieren.

Freundliche Grüsse

Philipp Koch

--

Nine Internet Solutions AG, Albisriederstr. 243a, CH-8047 Zuerich

Tel +41 44 637 40 00 | www.nine.ch

Update #7 - Donnerstag, 30. Juli 2015, 18:33 CEST

Incident Report

Was ist passiert?

Heute Morgen, Donnerstag, 30. Juli 2015, wurden um 10:07 Uhr während Umbauarbeiten eines dritten Datacenterbetreibers am Datacenter-Standort Letzigraben sämtliche Glasfaser-Zuführungen unseres Glasfaser-Lieferanten fälschlicherweise durchtrennt.

Mit dieser Durchtrennung wurden unsere Verbindungen zu den weiteren Datacenter-Standorten colozüri.ch und e-Shelter ebenfalls unterbrochen. Die Zuführung an den Datacenter-Standort Letzigraben ist redundant über verschiedene Trassees organisiert, wird aber im Gebäude selbst zusammengeführt. Somit war der Standort Letzigraben von der Verbindung in das Internet abgeschnitten.

Betroffen waren jedoch nicht nur die Systeme am Standort Letzigraben, auch alle weiteren Standorte konnten nur noch eingeschränkt erreicht werden. Der Grund hierfür liegt darin, dass zwei der vier Uplink-Provider von nine.ch den gleichen Lieferanten wie nine.ch für ihre Glasfaser nutzen, welche ebenfalls über den Standort Letzigraben geführt wurden. Deswegen waren diese Uplinks ab 10:07 Uhr ebenfalls offline und die Systeme von nine.ch konnten nur noch innerhalb der Schweiz von einzelnen Providern erreicht werden.

Unsere Notfall-Massnahmen

Als erste Notfall-Massnahme haben wir das Routing von nine.ch dahingehend angepasst, dass wir die fehlenden zwei Uplinks kurzfristig durch einen zusätzlichen Uplink ersetzen konnten. Ab 12:10 Uhr war die Anbindung wieder hergestellt, das Routing war ab 12:30 Uhr wieder vollständig rekonstruiert und alle nine.ch-Kunden an den Standorten colozüri.ch und e-shelter wieder vollständig erreichbar. Wir konnten hier auf zahlreiche Unterstützung der Schweizer ISP-Branche zählen und sprechen an dieser Stelle einen herzlichen Dank an alle beteiligten Personen und Unternehmen aus!

Um 13:30 Uhr konnte der Glasfaser-Lieferant die Ursache der Störung identifizieren und uns eine geschätzte Wiederinbetriebnahme auf 19:00 Uhr kommunizieren. Noch vor dieser Nachricht haben wir mehrere Szenarien geprüft, wie wir den Standort Letzigraben mit einer Übergangslösung ohne den betroffenen Glasfaser-Lieferanten wieder online nehmen können. So haben wir den Standort Letzigraben über eine alternative Verbindung einer unserer Upstream-Provider angebunden. Der Standort Letzigraben war ab 15:50 Uhr wieder vollständig erreichbar.

nine.ch hat drei Datacenter mit vier Uplink-Partnern, wie kann das passieren?

Alle Datacenter sind über einen redundanten Glasfaserring angebunden. Redundant im Sinne von einer doppelten Zuführung über unterschiedliche Trassees zum Gebäude, und im Fall von colozüri.ch und e-shelter über unterschiedliche Steigleitungen innerhalb des Datacenters bis zu der redundanten Infrastruktur von nine.ch. Beim Standort Letzigraben ist die Redundanz zum Gebäude vorhanden, aber innerhalb des Gebäudes werden die Glasfasern zusammengeführt. Dieser Umstand führte dazu, dass nicht nur die Erreichbarkeit des Standorts abgeschnitten wurde, sondern auch zwei Uplinks von nine.ch nicht mehr funktionierten.

Wie geht es weiter?

Sobald der Standort Letzigraben wieder über unseren Glasfaser-Lieferanten angebunden ist, werden wir die Übergangslösung abbauen und den ursprünglichen Zustand wiederherstellen.

Weiter werden wir die Ursachen – auch zusammen mit unserem Lieferanten – analysieren und entsprechende Massnahmen beschliessen, kommunizieren und umsetzen.

Es tut uns leid!

Als Infrastruktur-Betreiber ist die Verfügbarkeit unserer Dienstleistungen einer der wichtigsten Anliegen. Es ist unsere Passion, jederzeit schnell und kompetent zu reagieren. Wir sehen es als unsere Aufgabe, unseren Kunden eine hervorragende Verfügbarkeit zu ermöglichen. Dies ist uns heute Donnerstag nicht gelungen. Für die entstandenen Ausfallzeiten und Umstände bitte ich Sie um Entschuldigung.

Bitte zögern Sie nicht, mich und mein Team für weitere Auskünfte oder bei Unklarheiten zu kontaktieren.

Freundliche Grüsse

Philipp Koch

--

Nine Internet Solutions AG, Albisriederstr. 243a, CH-8047 Zuerich

Tel +41 44 637 40 00 | www.nine.ch

Update #6 - Donnerstag, 30. Juli 2015, 15:54 CEST

Es freut uns sehr, die erfolgreiche Inbetriebnahme der Übergangslösung anzukündigen. Somit ist der Standort Letzigraben wieder online und alle Kunden und Services auch an diesem Standort sind wieder mit dem Internet verbunden.

Eine ausführliche Stellungnahme und Kernursachen-Analyse folgt.

Update #5 - Donnerstag, 30. Juli 2015, 14:49 CEST

Wir sind auf gutem Weg die Überbrückungslösung über einen alternativen Lieferanten und über einen weiteren Datacenter-Standort erfolgreich zu realisieren. Wir schätzen den Zeitpunkt der Wiederinbetriebnahme des Datacenters Letzigraben auf 17:00 Uhr.

Update #4 - Donnerstag, 30. Juli 2015, 14:01 CEST

Leider sind wir am Standort Letzigraben nach wie vor nicht an das Internet angebunden. Heute um 10:07 Uhr wurde die redundante Glasfaserzuführung zu diesem Standort Letzigraben unterbrochen. Das heisst konkret, dass aus einem noch unbekannten Grund beide Zuführungen gleichzeitig ausgefallen sind.

Dieser Zustand hält nach wie vor an, weshalb unsere und Ihre Infrastruktur am Standort Letzigraben weiterhin nicht verfügbar ist. Unser Glasfaserlieferant hat soeben den Zeitpunkt für die Wiederinbetriebnahme auf heute 19:00 Uhr geschätzt.

Zusätzlich arbeiten wir an einer Überbrückungslösung, welche über einen alternativen Lieferanten die Zuführung an den Standort Letzigraben ermöglicht. Wir setzen alles daran, dass dieser Weg zu einer schnelleren Wiederinbetriebnahme als heute 19:00 Uhr führt.

Selbstverständlich werden wir Sie über sämtliche Neuigkeiten weiterhin informieren.

Update #3 - Donnerstag, 30. Juli 2015, 12:28 CEST

Der Workaround ist in Betrieb, alle Kunden am Standort Letzigraben sind jedoch nach wie vor vom Netzwerk getrennt.

Unser Glasfaser-Provider konnte den Unterbruch lokalisieren und hat mit den Reparaturen begonnen. Sobald wir vom Provider ein Update erhalten, werden wir Sie wieder informieren.

Bitte entschuldigen Sie die Umstände.

Update #2 - Donnerstag, 30. Juli 2015, 12:12 CEST

Der Workaround konnte erstellt werden und ist in Betrieb.

Es könnten noch vereinzelt Verbindungsprobleme auftreten, bitte wenden Sie sich in diesem Fall an unser Support-Team unter support@nine.ch oder +41 44 637 40 40.

In Kürze wird auf dieser Seite ein ausführlicher Incident-Report zu diesem Ausfall veröffentlicht werden.

Wir bitten Sie um Entschuldigung für die Störung.

Update #1 - Donnerstag, 30. Juli 2015, 11:28 CEST

Aufgrund eines Unterbruchs des Glasfaserrings ist unser Netzwerk zur Zeit nur eingeschränkt erreichbar.

Wir gehen davon aus, dass der Workaround in 1 bis 1.5 Stunden erstellt ist.

Bitte entschuldigen Sie diese Störung.

Meldung

update1 Aufgrund einer erheblichen Störung im Netzwerk ist ein Teil der Server derzeit nicht oder nur eingeschränkt erreichbar.

Dauer der Störung ist nicht abschätzbar.

Unsere Techniker arbeiten an der Lösung des Problems. Weitere Informationen folgen auf unserer Status-Webseite status.nine.ch.

Bitte entschuldigen Sie die Umstände.