Reinforcement Learning in der Theorie: von Markov-Entscheidungen bis RLHF

KI-Intensivseminar · 2 Tage

Agenten, Belohnungen und Strategien: die Verfahren des RL verstehen und einordnen

Das nehmen Sie mit

• Ein Problem als Markov-Entscheidungsprozess mit Zuständen, Aktionen und Belohnung formulieren.
• Q-Learning, Policy Gradients und Actor-Critic unterscheiden und einen Q-Learning-Agenten in einer Gridworld trainieren.
• DQN, PPO und die Rolle von RLHF beim Training von LLMs einordnen.
• Begründet entscheiden, welcher RL-Ansatz zu einer Aufgabe passt und wann der Aufwand nicht gerechtfertigt ist.

Ablauf

1. Teil 1

   Tag 1 – Modul 1 – Grundmodell: Agent, Umgebung und Belohnung

   • Agent, Umgebung, Zustand, Aktion und Belohnung als Bausteine jedes RL-Problems
   • Markov-Entscheidungsprozesse als formaler Rahmen für sequentielle Entscheidungen
   • Wertfunktion und Politik (Policy): was sie beschreiben und wie sie zusammenhängen
   • Vorführung: Ein Agent verbessert sein Verhalten durch Versuch und Irrtum
   • Ihre Aufgabenstellungen: wo bestärkendes Lernen bei Ihnen in Frage kommt
2. Teil 2

   Tag 1 – Modul 2 – Wertbasierte Verfahren: Bellman-Gleichungen und Q-Learning

   • Bellman-Gleichungen für Zustands- und Aktionswerte aufstellen
   • Q-Learning und temporale Differenz: Werte aus einzelnen Erfahrungsschritten nachführen
   • Übung: Einen Q-Learning-Agenten in einer Gridworld trainieren und seine gelernten Werte auswerten
   • Exploration versus Exploitation: wann der Agent Neues erprobt und wann er Bekanntes nutzt
3. Teil 3

   Tag 1 – Modul 3 – Policy-basierte Verfahren: Policy Gradients und REINFORCE

   • Policy Gradients: die Politik direkt über den Gradienten der erwarteten Belohnung verbessern
   • REINFORCE als Grundalgorithmus Schritt für Schritt nachvollzogen
   • Problemlagen, in denen Policy-Methoden den wertbasierten Verfahren überlegen sind
4. Teil 4

   Tag 2 – Modul 4 – Actor-Critic: Wertschätzung und Politik verbinden

   • Actor-Critic-Ansätze: ein Teil wählt Aktionen, ein zweiter bewertet sie
   • Übung: Den Ablauf eines Actor-Critic-Verfahrens skizzieren
   • Wie die Kombination das Training stabilisiert und starke Schwankungen dämpft
5. Teil 5

   Tag 2 – Modul 5 – Aktuelle Verfahren: Deep RL und RLHF

   • Deep RL im Überblick: DQN und PPO
   • RLHF: wie Reinforcement Learning beim Training von LLMs eingesetzt wird
   • Übung: Vorgegebene Problemstellungen jeweils einem RL-Ansatz zuordnen
   • Einsatzfelder, in denen RL heute praktisch eingesetzt wird
6. Teil 6

   Tag 2 – Modul 6 – Anwendung: Ansatzwahl, Fallstricke und Prototyp

   • Fallstudie: Für eine konkrete Problemstellung einen RL-Ansatz auswählen und begründen
   • Grenzen von RL und typische Fallstricke in Projekten
   • Aufwand gegen Nutzen: Kriterien, wann sich bestärkendes Lernen rechnet
   • Von der Idee zum Prototyp: erste Umsetzungsschritte
   • Persönlicher Fahrplan für den Einstieg ins Reinforcement Learning