IBM AI Fairness (AIF360)

🏆 Das Schweizer Messer für Fairness-Analysen

Was es ist:
Das umfassendste Open-Source-Framework für Bias Detection und Mitigation. Entwickelt von IBM Research, wissenschaftlich validiert, production-tested.

Was wir damit machen:

• 70+ Fairness-Metriken berechnen
  • Demographic Parity
  • Equal Opportunity
  • Equalized Odds
  • Calibration
  • Individual Fairness
• Bias-Mitigation implementieren
  • Pre-Processing: Reweighing, Disparate Impact Remover
  • In-Processing: Prejudice Remover, Adversarial Debiasing
  • Post-Processing: Calibrated Equalized Odds, Reject Option
• Intersectionale Analysen
  • Multi-Attribut-Kombinationen
  • Versteckte Subgruppen identifizieren

Für welche Use Cases:

• HR-Recruiting (Annex III.4)
• Kreditscoring (Annex III.5b)
• Jedes System mit Protected Attributes

Unser Vorteil:
Wir sind einer der der wenigen deutschen Anbieter mit tiefer AIF360-Expertise.

Technische Details:

• Python-Library
• Scikit-learn kompatibel
• TensorFlow/PyTorch Integration
• 10+ Datasets inkludiert (für Benchmarking)

Output-Beispiel:
→ Disparate Impact Ratio: 0.65 (kritisch, <0.80)
→ Equal Opportunity Difference: 0.15 (problematisch)
→ Recommendation: Reweighing + Threshold Optimization
→ Expected Improvement: DI 0.65 → 0.82

Custom German NLP Bias Probes

🇩🇪 Deutsche Sprache, deutsche Bias-Muster

Was es ist:
Proprietäre Tools für Bias-Detection in deutschen Sprachmodellen.

Was wir damit machen:

• Stereotype Detection in BERT-Modellen
• „Der Arzt“ vs. „Die Krankenschwester“
• Gendered Language Bias
• Sentiment-Fairness für deutsche Texte
• Name-based Bias (deutsche vs. nicht-deutsche Namen)

Für welche Use Cases:

• Chatbots (Customer Service)
• Content Moderation
• Sentiment Analysis
• Text Classification

Unser Vorteil:
Deutsche Sprache hat spezifische Bias-Muster (Gendered Nouns, Sie/Du). Internationale Tools übersehen diese.

Technische Basis:

• German BERT (bert-base-german-cased)
• Custom Probe Tasks
• Stereotype Datasets (selbst kuratiert)

Markt-Differenzierung:

Einzigartig in Deutschland. Keine anderen Anbieter haben German NLP Bias Expertise auf diesem Level.

Microsoft Fairlearn

🔧 Constraint-basierte Fairness-Optimierung

Was es ist:
Praktisches Fairness-Engineering-Framework mit Fokus auf Trade-off-Analysen.

Was wir damit machen:

• Fairness-Constraints definieren
• „Demographic Parity muss >90% sein“
• „Equal Opportunity Difference <0.05“
• Grid Search für faire Hyperparameter
• Trade-off-Analysen visualisieren
• Fairness vs. Accuracy Pareto-Front
• Explizite Kosten-Nutzen-Rechnung

Wann wir Fairlearn nutzen:

• Für schnellere Prototypen (einfacher als AIF360)
• Für Client-Workshops (bessere Visualisierungen)
• Für scikit-learn-Pipelines (nahtlose Integration)

Unser Vorteil:
Kombination mit AIF360 für Best-of-Both-Worlds.

Output-Beispiel:
→ Baseline: 85% Accuracy, 0.70 Demographic Parity
→ Option A: 83% Accuracy, 0.85 DP (−2% Acc, +15% Fairness)
→ Option B: 80% Accuracy, 0.95 DP (−5% Acc, +25% Fairness)
→ Your Decision: Welchen Trade-off akzeptieren Sie?

SHAP (SHapley Additive exPlanations)

💡 Der Gold-Standard für Model Explainability

Was es ist:
Wissenschaftlich fundiertes Framework basierend auf Shapley Values aus der kooperativen Spieltheorie. NIPS 2017 Best Paper Award.

Was wir damit machen:

• Global Feature Importance
• Welche Features sind am wichtigsten?
• Wie stark ist der Einfluss?
• Local Explanations
• Warum wurde diese Entscheidung getroffen?
• Feature-by-Feature Contribution
• Feature Interactions
• Non-lineare Effekte visualisieren
• SHAP Interaction Values

Für welche Use Cases:

• Jedes ML-Modell (Tree-based, Neural Networks, Linear)
• Besonders kritisch: HR, Credit, Healthcare

Deutsche Marktanforderung:
„Warum hat das System so entschieden?“ ist keine optionale Frage im deutschen B2B-Markt. Es ist eine Erwartung. SHAP liefert die Antwort.

EU AI Act Compliance:
Artikel 13: „High-risk AI systems shall be designed and developed… to enable users to interpret the system’s output“
→ SHAP erfüllt diese Anforderung technisch.

Output-Beispiele:

• Global: „Credit Score wird zu 35% von Income beeinflusst“
• Local: „Ihr Antrag wurde abgelehnt wegen: Income (−15 points), Age (−8 points), Credit History (−12 points)“
• Counterfactual: „Mit €5k mehr Income wäre Approval wahrscheinlich“

Technische Details:

• Model-agnostic (funktioniert für fast alles)
• Schnelle Approximationen (Kernel SHAP, Tree SHAP)
• GPU-Beschleunigung möglich
• Integration: Python, R, Spark

LIME (Local Interpretable Model-agnostic Explanations)

🔍 Backup & Komplementär zu SHAP

Was es ist:
Model-agnostic Explanations durch lokale lineare Approximation.

Wann wir LIME statt SHAP nutzen:

• Text Explanations (Welche Wörter waren entscheidend?)
• Image Explanations (Welche Pixel-Regionen?)
• Sehr komplexe Ensembles (wo SHAP zu langsam ist)

Unser Ansatz:
SHAP = Primary, LIME = Validation & Special Cases

Output-Beispiel:
Text-Klassifikation: „Dieser Text wurde als ‚Negativ‘ klassifiziert wegen: ’schlecht‘ (0.45), ‚enttäuschend‘ (0.32), ’nie wieder‘ (0.28)“

Model Card Toolkit

📋 Standardisierte Model-Dokumentation

Was es ist:
Framework für transparente, strukturierte Model-Documentation (Google/TensorFlow).

Was wir damit erstellen:

• Intended Use & Limitations
• Training Data & Preprocessing
• Performance Metrics (gesamt & per Gruppe)
• Fairness Metrics
• Ethical Considerations

EU AI Act Relevanz:
Model Cards erfüllen Artikel 13 Transparenzanforderungen direkt.

Unser Service:
Wir erstellen production-ready Model Cards für Ihre Systeme.

Great Expectations

🗂️ Data Quality Engineering für AI

Was es ist:
Das führende Framework für Data Validation, Profiling und Documentation.

Was wir damit machen:

• Data Quality Tests definieren
• „Missing Values <5%“
• „Age between 18-100“
• „Income distribution matches training“
• Automated Testing in Pipelines
• Audit Trails (wann wurde was getestet?)
• Data Docs (automatische Dokumentation)

EU AI Act Artikel 10:
„Training, validation and testing data sets shall be relevant, sufficiently representative, and to the best extent possible, free of errors and complete.“

→ Great Expectations macht diese Anforderung messbar.

Unser Vorteil:

• Custom Expectation Suites für AI Act Compliance
• Integration mit Ihren ML-Pipelines
• Audit-ready Documentation out-of-the-box

Output-Beispiele:

• Data Quality Scorecard: 87/100 (gut, aber Verbesserungen möglich)
• 3 Critical Issues: Missing Values in Protected Attributes
• 12 Warnings: Outliers in Income Feature
• Recommendation: Data Cleaning Pipeline implementieren

Technische Details:

• Python-native
• SQL-Datenbank-Support
• Spark-kompatibel (Big Data)
• Cloud-ready (AWS, GCP, Azure)

Alibi Detect

🚨 Production-Monitoring für ML-Systeme

Was es ist:
State-of-the-art Framework für Drift, Outlier und Adversarial Detection. Entwickelt von Seldon.

Was wir damit machen:

• Data Drift Detection
• Kolmogorov-Smirnov Test
• Maximum Mean Discrepancy
• Chi-Squared Test
• Concept Drift Detection
• Outlier Detection
• Isolation Forest
• Variational Autoencoders
• Adversarial Detection
• Adversarial AE Detector

EU AI Act Artikel 72:
„Providers shall establish and document a post-market monitoring system“
→ Alibi Detect ist die technische Umsetzung.

Unser Service:

• Monitoring-Setup für Ihre Systeme
• Custom Drift-Detektoren
• Integration mit Alerting (Slack, E-Mail, PagerDuty)

Output-Beispiele:

• Data Drift Score: 0.35 (moderat, Aufmerksamkeit erforderlich)
• Feature „Age“ driftet signifikant (p<0.001)
• Prediction Distribution: 15% Shift nach rechts
• Recommendation: Model Retraining evaluieren

Evidently AI

📊 Visualisierung & Reporting

Was es ist:
User-friendly Dashboards und Reports für ML Monitoring.

Warum zusätzlich zu Alibi Detect:

• Bessere Visualisierungen (für Non-Technical Stakeholders)
• Interaktive HTML-Reports
• Pre-built Dashboards

Unser Ansatz:
Alibi Detect = Detection-Engine
Evidently = Visualization-Layer

Output:
Schöne, teilbare Reports für Management und Auditoren.

IBM ART (Adversarial Robustness Toolbox)

🛡️ Security Testing für AI

Was es ist:
Framework für Adversarial Attacks und Defenses.

Wann wir es nutzen:

• Red Teaming für kritische Systeme
• Security Audits
• Robustness Testing

Use Cases:

• Fraud Detection (Adversarial Environment)
• Autonomous Systems (Safety-critical)
• Face Recognition (Security-critical)

Service-Level:
ENTERPRISE nur (Premium Service)

Output:

Adversarial Attack Success Rate, Defense Recommendations

Captum (PyTorch Explainability)

🖼️ Computer Vision Explainability

Was es ist:
Explainability für PyTorch-Modelle, spezialisiert auf CV.

Wann wir es nutzen:

• Quality Inspection Systems (Industry 4.0)
• Medical Imaging
• Autonomous Vehicles

Output:
Visualisierungen: „Diese Pixel-Region führte zur Klassifikation“