Ursachenanalyse: Offline-Alarme für Geräte

Vorfallsdatum: 1. Mai 2026

Zusammenfassung

Das Control Center erzeugte eine Serie fälschlicher Offline-Alarme für Geräte, nachdem Heartbeat-Daten veraltet waren. Ursache für die veralteten Heartbeat-Daten waren wiederholte Timeouts bei Control-Center-Abfragen an Microsoft Service Log Analytics.

Auf Basis der verfügbaren Betriebsdaten blieben Geräte und Data Center während des gesamten Vorfalls voll funktionsfähig. Der Vorfall betraf die Genauigkeit von Monitoring und Alarmierung, nicht den Betrieb der Geräte oder des Data Centers.

Auswirkungen

Mehrere Geräte wurden im Control Center fälschlicherweise als offline markiert.
Offline-Benachrichtigungen für Geräte wurden erzeugt und später automatisch aufgelöst.
In den geprüften Logs gibt es keinen Hinweis auf einen tatsächlichen Ausfall der Geräteflotte oder des Data Centers.

Zeitverlauf

08:55 MESZ: Abfragen der Uptime-Metriken an Microsoft Service Log Analytics begannen mit Timeouts fehlzuschlagen.
08:57 MESZ: Auch Abfragen des Monitoring-Status begannen mit Timeouts fehlzuschlagen.
09:43 MESZ: Das Control Center begann, Offline-Benachrichtigungen für Geräte zu erzeugen.
10:40 MESZ: Die Abfragen der Uptime-Metriken erholten sich und frische Heartbeat-Daten wurden empfangen.
10:45 MESZ: Die Geräte wurden automatisch wieder als online markiert und Auflösungsbenachrichtigungen wurden erzeugt.

Ursache

Das Control Center behandelte fehlende aktuelle Heartbeat-Telemetrie als Hinweis darauf, dass Geräte getrennt waren. Während des Vorfalls schlugen Abfragen an Microsoft Service Log Analytics wiederholt aufgrund von Timeouts fehl. Dadurch erhielt das Control Center keine aktuellen Uptime-Metriken für die betroffenen Geräte. Nachdem die zuletzt bekannten Heartbeat-Daten veraltet waren, stufte die Offline-Erkennung mehrere Geräte als getrennt ein und löste Offline-Alarme für Geräte aus.

Behebung

Die Abfragen an Microsoft Service Log Analytics erholten sich, frische Uptime-Metriken wurden empfangen, und das Control Center löste die betroffenen Gerät-offline-Status automatisch auf.

In den geprüften Logs wurde keine Wiederherstellungsmaßnahme auf Geräte- oder Data-Center-Seite festgestellt.

Folgemaßnahmen

Robustheit der Offline-Erkennung verbessern, wenn Telemetriedaten verzögert oder nicht verfügbar sind.
Ausfall von Log Analytics gemeinsam mit Microsoft untersuchen.