Real User Experience Score

Die korrekte Überwachung der Endbenutzererfahrung auf SaaS-Plattformen ist ein hochkomplexes Thema. Wir wissen jedoch, dass das Verständnis der Ergebnisse nicht kompliziert sein sollte. Daher stellen wir die Ergebnisse in Form eines leicht verständlichen Scores bereit. Stellen Sie sich das wie eine Schulnote vor – 100 ist die beste Punktzahl, die Sie erreichen können, und 0 die schlechteste.

Wie sollte ich die Scores lesen?

Unsere Scores sind standardmäßig mit einigen integrierten Bereichen versehen.

• Gut
  • Scores zwischen 85+ und 100
  • In Status-Widgets im Portal grün kodiert
  • Benutzer würden berichten, dass die Plattform normal läuft, wenn die Scores im guten Bereich liegen.
  • Statistisch gesehen ist ein Score von 87 schlechter, aber der Benutzer wird es wahrscheinlich nicht bemerken.
• Beeinträchtigt
  • Scores zwischen 50+ und 85
  • In Status-Widgets im Portal gelb kodiert
  • Der durchschnittliche Benutzer würde „wahrnehmen“, dass die überwachte SaaS-Plattform langsam läuft, aber die Langsamkeit reicht wahrscheinlich nicht aus, um den Benutzer an der Arbeit zu hindern.
• Degradiert
  • Scores zwischen 0 und 50
  • In Status-Widgets im Portal rot kodiert
  • Die Benutzererfahrung ist so stark beeinträchtigt, dass Benutzer nicht normal arbeiten können.

Wie bewerten wir?

In unseren Bewertungsmechanismus fließen viele Faktoren ein. Zunächst einmal verbinden wir uns nicht einfach mit M365 und sagen, dass es in Ordnung ist.

Die Möglichkeit, einen SaaS-Dienst zu „erreichen“, bedeutet nicht, dass dieser Dienst für Ihre Benutzer zufriedenstellend funktioniert. Daher ist unser Score das Ergebnis mehrerer realer Benutzersimulationen, die wir kontinuierlich aus dem Kontext der Benutzer heraus durchführen und die in drei unterschiedlichen Scores münden, die uns helfen, potenzielle Ursachenbereiche zu identifizieren und zu isolieren:

1. Authentifizierung: Können sich Benutzer erfolgreich beim SaaS-Dienst authentifizieren und authentifiziert bleiben?
2. Networking: Können Benutzer den SaaS-Dienst erfolgreich und zufriedenstellend erreichen?
3. API: Können Benutzer erfolgreich und zufriedenstellend mit dem SaaS-Dienst interagieren?

Wir tun dies für jeden der überwachten M365-Workloads/-Dienste und jeden Benutzer einzeln und vergleichen das anschließend mit dem, was als „normal“ erwartet wird.

Was meinen wir mit „erwartetem Normalzustand“?

Um den erwarteten Normalzustand zu berechnen, betrachten wir die individuelle Situation und die Erwartungen des Benutzers. Die Erwartungen eines Benutzers an die Netzwerkerfahrung beim Arbeiten in einem Büro mit einer 100-Gbit-LAN-Verbindung unterscheiden sich wahrscheinlich ein wenig von denen im Homeoffice mit einem 10-MB-Wi-Fi-Netzwerk.

Sie müssen außerdem berücksichtigen, dass der erwartete „Normalzustand“ von Tageszeit und Wochentag abhängen kann. Am Montagmorgen beispielsweise, wenn sich alle gleichzeitig anmelden, ist die Authentifizierung für alle wahrscheinlich etwas langsamer und sollte daher nicht mit einem Freitagnachmittag verglichen werden. Der Benutzer bemerkt dies möglicherweise nicht einmal, aber ein normales Überwachungstool könnte – und würde wahrscheinlich – einen Fehlalarm auslösen, wenn man diese spezifischen zeitbezogenen Situationen nicht berücksichtigt.

Und ähnlich verhält es sich mit all den verschiedenen Diensten. Jeder Workload/Dienst besteht aus mehreren Funktionen und APIs, die zugänglich sein müssen, damit die Dienste genutzt werden können. Manchmal einzeln, manchmal in einer Abfolge. Das Verständnis der Feinheiten der Konnektivität zwischen ihnen und die Fähigkeit, sie zu verfolgen, gibt uns die Möglichkeit anzugeben, ob ein Ausfall beispielsweise das gesamte OneDrive (einschließlich der Weboberfläche) betrifft oder nur, wenn es im Desktop-Client geöffnet wird. So können Sie Ihre Benutzer umleiten, falls nur einer der beiden Clients betroffen ist.

Die obigen Beispiele sind nur einige der vielen Kriterien und fortgeschrittenen Berechnungen, die bei der Berechnung des „erwarteten Normalzustands“ des Benutzers eine Rolle spielen. In Wirklichkeit besteht er aus Hunderten Millionen von Datenpunkten, die jede Minute berechnet und berücksichtigt werden.

Welche Scores identifizieren wir?

Wir bewerten die Benutzererfahrung sowohl für einzelne Benutzer als auch für die Organisation.

• Benutzererfahrung: Dieser Score gibt an, wie die aktuelle Erfahrung des Benutzers im Vergleich zur normalen Erfahrung des Benutzers unter ähnlichen Umständen ist.
• Organisationsweite Benutzererfahrung: Dieser Score hilft Ihnen, schnell zu erkennen, ob es Gruppen oder Bereiche Ihrer Organisation gibt, die eine weniger als optimale Erfahrung haben, welche Dienste betroffen sind, und Trends zu sehen.

Zusätzlich bewerten wir die Qualität von Teams-Calls:

• Call-Qualitäts-Score: Basierend auf unseren einzigartigen Daten, die uns minütliche Call-Metriken während des laufenden Calls liefern, gibt dieser Score an, wie die Gesamtqualität eines Calls auf Basis der Erfahrung der einzelnen Teilnehmer war. Für diesen Score gewichten wir die Auswirkungen, die Störungen während des Calls auf die Benutzer selbst und auf andere haben. Etwa wenn die gesendete Video- oder Audioqualität eines Benutzers während einer Präsentation schlecht ist (was alle betrifft) im Gegensatz dazu, ob ein Benutzer einen schlechten Empfang von eingehendem Audio/Video hat, während er sich im reinen Zuhörmodus befindet (was nur ihn selbst betrifft).

Anforderungen & Hinweise

Um eine genaue Bewertung für Benutzer oder die gesamte Organisation bereitzustellen, benötigen wir idealerweise mindestens 1 Woche an erfassten Daten und für eine genaue organisationsweite Bewertung idealerweise mindestens 100 überwachte Benutzer.