White Paper 05: Die Kennzahlen Illusion – Was ist eigentlich „Key“ an Key Performance Indicators ?

Artificial Intelligence und Machine Learning – bieten neue Möglichkeiten die Unternehmenssteuerung bzw. das Controlling grundlegend zu verbessern – arbeiten wir aktuell vielleicht mit Methoden von gestern um die Probleme von morgen zu lösen ?

Digitalisierungslücke

Immer wieder weisen Studien darauf hin, dass die Steuerungs- und KPI-Systeme in vielen Unternehmen grundsätzliche Probleme aufweisen (Gräf et. al: 2013, Schrage/ Kiron 2018a):

• Unzureichende Datenbasis: Steuerungssysteme basieren immer noch auf zu vielen finanziellen Informationen und deutlich zu wenig externe Informationen.
• Unzureichende Wirkung: KPIs sind teilweise eher willkürlich ausgewählt – gleichzeitig mangelt es den Kennzahlensystemen an Zusammenhängen zwischen den einzelnen Indikatoren.
• Unzureichende strategische Ausrichtung: Erfolgreiche Steuerung erfordert Kennzahlensysteme, die das Geschäftsmodell des Unternehmens abbilden, bzw. die Innovation von Geschäftsmodellen unterstützt.

Andererseits sind die technologischen Fortschritte der letzten Jahre atemberaubend (Seufert 2020a, Seufert 2020b). Dies gilt nicht nur für die Gewinnung und Erschließung völlig neuer Datenquellen, sondern auch für die Möglichkeiten, riesige Datenmengen unverdichtet zu speichern und diese auf regelmäßige Muster und Abhängigkeiten hin zu analysieren, um Ursache-Wirkungs-Beziehungen zu verstehen, Maßnahmen abzuleiten, Vorhersagen zu treffen oder Simulationen durchzuführen (Seufert/ von Künssberg/ Treitz/ von Daacke 2020).

Allerdings erfordern derartige Ansätze den Einsatz neuer Analysemethoden, und v.a. eine radikal andere Sichtweise auf Daten und Entscheidungsmodelle (Schrage/ Kion 2018b). Neben einer stärkeren Automatisierung spielt – wie Abbildung 1 skizziert – v.a. die Integration fortschrittlicherer Analyse Verfahren auf Basis von Maschinellem Lernen und künstlicher Intelligenz eine zentrale Rolle.

Unzureichende Eignung traditioneller Analysemethoden

 

Anhand eines einfachen Beispiels sollen nachfolgend die Limitationen traditioneller Methoden kurz skizziert werden.

Stellen wir uns vor, wir sind bei einem internationalen Energieunternehmen verantwortlich für den Verkauf von Heizöl. Ziel ist es, die Absatzmenge zu erhöhen. Hierfür stehen uns folgende Erfahrungswerte zur Verfügung:

• Dämmung: Dicke der Dämmung auf einer Skala von 1 (sehr niedrig) bis 10 (sehr hoch).
• Temperatur: durchschnittliche Außentemperatur des letzten Jahres am Standort der Wohnung in Grad Celsius.
• Heizöl: Verbrauch in Litern Heizöl je Wohneinheit / Kunde im letzten Jahr.
• Anzahl der Bewohner je Wohneinheit
• Alter: Durchschnittsalter der Bewohner je Wohneinheit
• Wohnungsgröße: Größe der Wohneinheit auf einer Skala von 1 (sehr klein) bis 8 (sehr groß)

Der klassische Lösungsansatz wäre zu versuchen, manuell mittels deskriptiver Analysen Zusammenhänge zu identifizieren, darzustellen und diese zu interpretieren, um Handlungsempfehlungen für eine Steigerung des Heizölverbrauches abzuleiten. BI-Systeme bieten hierzu vielfältige Möglichkeiten. Beispielsweise wie in Abb. 3 dargestellt, Berechnungen anzustellen, die Daten zu filtern und sie in verschiedenster Art gegenüberzustellen.

Die potentiellen Probleme dieses heute weitverbreiten Ansatzes sind offensichtlich. Auszugsweise seien genannt:

Eine rein deskriptive Beschreibung der Daten liefert keine eindeutigen quantitativen Erkenntnisse über die Wirkung der einzelnen Einflussgrößen/ Indikatoren auf den Heizölverbrauch in Litern.

Es ist kaum beurteilbar, ob es Zusammenhänge zwischen den Daten gibt. Ob dies linear oder nicht linear sind. Ob diese Zusammenhänge nur bestimmte Wertebereiche gelten.

Darüber hinaus ist nicht erkenn- geschweige denn – simulierbar, ob es Wechselwirkungen zwischen den Einflussfaktoren gibt. Ob und wenn ja, wie stark sich diese Effekte auf den Heizölerbrauch auswirken.

Grundsätzlich besteht daher bei der deskriptiven Analyse – typisch für klassische BI-Systemen – ein großer Spielraum für Fehlinterpretationen, der zudem in hohem Maße davon abhängt, wer diese manuellen Analysen durchführt.

KPI Disruption durch AI/ ML basierter Analysemethoden

Hilfreich wären dagegen Modelle, welche folgende Informationen bereitstellten

1. Root-Cause-Analytics: Multivariate Ursache-Wirkungsmodelle, incl. der Abbildung nicht linearer Zusammenhänge und indirekter Effekte)
2. Predictive Analytics: Vorhersagemöglichkeiten auf Basis dieser Ursache-Wirkungsmodelle
3. Simulation: Manuelle What-If Analysen durch Variation der Inputwerte
4. Prescriptive Analytics: Automatische How-To-Achive Analysen, wie lässt sich ein bestimmtes Ziel erreichen

Verfahren des maschinellen Lernens, wie z.B. KNN- oder GBT-Algorithmen, ermöglichen, auf Basis großer unverdichteter Datenräume, die Extraktion derartiger Modelle. Im Sinne von Explainable AI (Arriet et al. 2020) lassen sich zudem ausgewählte Modellparameter und Ergebnisse transparent darstellen, und damit für den Business User besser nutzbar machen. Diese Kombination von ML/ AI und BI, sog. AI enabled BI, ermöglicht eine völlig andere Herangehensweise an die Unternehmenssteuerung.

Denkbar wären z.B.:

• Impact Factors for Prediction: Das Dashboard veranschaulicht anhand der Länge des Balkens, die Stärke des jeweiligen Einflussfaktors. Je länger der Balken, desto wichtiger ist der Einflussfaktor. Zudem wird die Wirkungsrichtung deutlich. Gibt es einen positiven (grün) oder negativen Zusammenhang (rot) zur Zielgröße Heizölverbrauch.

• Input for Model: Dieser Bereich stellt die Einflussfaktoren des Modells als Simulationsparameter dar. Bei einer Variation dieser Werte ließe sich z.B. auch die zugrundeliegende Verteilung berücksichtigen. Im Rahmen einer Simulation wäre z.B. durch eine Veränderung des Alters der Bewohner von 45 auf 53 (bei sonst gleichen Werten) direkt darstellbar, dass sich der Heizölverbrauch spürbar erhöht (von ~178,1 auf ~ 194,8 Liter) und die Bedeutung der Einflussfaktoren sich verändert. Während im ersten Fall das Alter den entscheidenden Einfluss auf die Höhe des Heilölverbrauches hat, ist es nun die Temperatur. (ggf. ein Hinweis auf indirekte Effekte und Nicht-lineare Zusammenhänge)

• Prediction/ Distribution of Predictions/ Gütemaße: Um das Ergebnis betriebswirtschaftlich besser einschätzen zu können, lässt sich die aktuelle Vorhersage zur Bandbreite der Zielwerte (Distribution of Predictions) in Relation setzen. Unerlässlich für eine betriebswirtschaftliche Beurteilung ist zudem die Modellgüte. Neben der in Abbildung 5 angezeigten Werte für Accuracy (z.B. prozentualer Fehler 4,68%) könnte die Erklärungsgüte des Models einbezogen werden. In diesem konkreten Fall liegt sie bei ~ 94% mit einer Streuung von ~1,9%. Dies bedeutet, dass durch das zugrundeliegende Model rund 94% der Schwankungen im Heizölverbrauch erklärt werden können, 6 % sind mit den vorhandenen Treibern nicht erklärbar. Dies wäre ggf. ein Ansatzpunkt den Datenraum zu erweitern, und neue Daten in das Modell einfließen zu lassen.

Implikationen für Unternehmenssteuerung/ Controlling – Aufbau von analytischer Methodenkompetenz

AI/ML bieten hervorragende Möglichkeiten die Unternehmenssteuerung/ Controlling grundlegend zu verbessern, den Wertbeitrag für die Unternehmen zu erhöhen und die Rolle im Unternehmen neu zu definieren (Seufert/ Schwarzwälder/ von Künssberg 2020). Aus Platzgründen können nur ausgewählte skizziert werden:

Nutzung neuer, unverdichteter Daten als Grundlage für das entdeckende Lernen neuer KPIs. Nicht allein das Optimieren bestehender Zielgrößen sollte im Fokus stehen, vielmehr geht es darum zu lernen, was eigentlich wie optimiert werden muss. Dabei geht es nicht um simple Wenn-Dann-Regeln. AI/ML ermöglicht die Identifikation komplexer Zusammenhänge auf Basis unverdichteter Daten (Seufert/ Treitz 2019). Auf diese Weise können z.B. nicht nur direkte/indirekte Effekte identifiziert und quantifiziert werden, sondern beispielsweise auch die regionale oder kundengruppenspezifische Gültigkeit dieser Effekte. Auf der Basis von AI/ML können so neue, für die strategische Ausrichtung des Unternehmens wichtige Zielgrößen identifiziert und neue KPIs vorgeschlagen werden.

Identifikation von (Schein) KPIs und Bereinigung des bestehenden KPI Dschungels. AI/ML ermöglicht die Identifikation von Ursache/Wirkungszusammenhängen incl. deren Quantifizierung. Auf diese Weise können bisherige (vermeintliche) Zusammenhänge und deren Treiber validiert und unnütze KPIs ggf. bereinigt werden.

Nutzung von KPIs als Datengrundlage für Maschinelles Lernen. Ein wesentliches Potential von AI/ML besteht darin, kontinuierlich aus den Daten zu lernen. Gerade in einem immer dynamischeren Wettbewerbsumfeld ermöglicht dies Steuerungsprozesse so aufzusetzen, dass die gelernten Treiber und deren Wirkungen als Grundlage für Maßnahmen gesetzt werden und der Erfolg dieser Maßnahmen automatisiert getrackt werden kann.

Nutzung der Möglichkeiten von AI/ML. Nicht nur neue Datenquellen (Breite), sondern auch die Granularität (Tiefe), d.h. der Detailgrad dieser Daten sind von entscheidender Bedeutung. Bei verdichteten Daten können wichtige Muster und ggf. ursächliche Treiber durch AI/ML nicht richtig erkannt werden. Auch die Umformung und Generierung neuer Daten aus Rohdaten (Feature Selection/Engineering) spielen eine wesentliche Rolle. KPIs als eine eigene Klasse von Data Assets können in diesem Kontext als Input für AI/ML eine zentrale Rolle spielen.

Literatur:

• Arriet et. al.: Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. In: Information Fusion 58 (2020) 82–115.
• Gräf et. al: KPI-Studie 2013-Effektiver Einsatz von Kennzahlen im Management Reporting, Horvath & Partners, 2013.
• Schrage/ Kion: Leading With Next-Generation Key Performance Indicators, MIT 2018.
• Schrage/ Kion: Understand the Real Keys to Effective KPIs, MIT Research Brief, 2018.
• Seufert/ Treitz: Künstliche Intelligenz und Controlling. In: Controller Magazin – Special, Mai/ Juni, 2019.
• Seufert/ Schwarzwälder/ von Künssberg: Auswirkungen der digitalen Transformation-Neupositionierung des Controllings am Beispiel der BASF SE. In: Gleich. R. (Hrsg.): Controlling Challenge 2025, Haufe 2020.
• Seufert/ von Künssberg/ Treitz/ von Daacke: Die Digitalisierungslücke – Digitale Transformation zwischen Wunsch und Wirklichkeit. In: Controller Magazin 2020 – November/ Dezember, S.68-73.
• Seufert: Digitale Transformation der Unternehmenssteuerung – Herausforderungen und Potentiale von BI, Big Data, AI und Cloud – Studienergebnisse 2020. Steinbeis Edition, Stuttgart 2020.
• Seufert: Tagungsband | Digital Finance & Controlling 2020: Die Digitale Transformation der Unternehmenssteuerung erfolgreich gestalten – Herausforderungen und Potentiale von Business Intelligence, AI und Advanced Analytics. Steinbeis Edition, Stuttgart 2020.