Die Allgegenwärtigkeit von Künstlicher Intelligenz (KI) im Alltag macht es notwendig, das Thema in die Informatiklehrpläne zu integrieren, um junge Menschen auf einen verantwortungsvollen Umgang mit dieser Technologie vorzubereiten. Bisher mangelt es jedoch sowohl an praktischer Erfahrung im Unterrichten dieses neuen Themas als auch an evidenzbasierten Erkenntnissen zu Lehrund Lernprozessen. In diesem Beitrag wurde daher das erste Jahr der Umsetzung eines verpflichtenden Informatikunterrichts zum Thema KI in der 11. Jahrgangsstufe in Bayern untersucht. Dabei wurden mit dem Ansatz der Aktionsforschung themenspezifische Schwierigkeiten bei den Lernenden identifiziert. Die Analyse von Daten aus unterschiedlichen Erhebungsinstrumenten mithilfe von Methoden der Grounded Theory ergab vier Kernkategorien: Schwierigkeiten bei der Anwendung von KI-Konzepten, der Unterscheidung von wissens- und datenbasierten Ansätzen, der Bewertung der Ergebnisse von KI-Modellen und Schwierigkeiten bei der Einschätzung, ob reale Systeme KI-Verfahren einsetzen. Dieser Beitrag geht detailliert auf die zuletzt genannte Schwierigkeit ein und zeigt Implikationen für die Praxis auf.