Sprachlernplattform mit Bildanalyse und Wiederholungsalgorithmus

Wer auf Deutsch spielt, versteht die Dialoge oft nur halb, und nachschlagen unterbricht das Spiel. Ein Screenshot genügt: der Rest passiert von selbst.

Funktionen

• Screenshot an einen Telegram-Bot, Verarbeitung über eine Warteschlange
• OpenAI Vision liest den Text vom Bild und übersetzt ihn mit Erklärung der Grammatik
• Weboberfläche zeigt das Ergebnis, während es entsteht (server-sent events)
• Wendungen werden herausgezogen und in einer eigenen Datenbank gesammelt
• Wiederholung nach dem SM-2-Verfahren: was schwerfällt, kommt öfter

Ergebnis

• 51 Commits
• Läuft auf eigener Infrastruktur, kein fremder Dienst zwischen Nutzer und Daten

Aus derselben Grundlage

Auf derselben Kette aus Aufnahme, Warteschlange, Modellaufruf und eigener Datenbank sind zwei weitere Werkzeuge entstanden.

• Sprachnachrichten verstehen: Baileys liest WhatsApp mit, deutsche Sprachnachrichten laufen durch die Spracherkennung, jede Nachricht wird übersetzt, und ein Telegram-Bot gibt Abschrift, Übersetzung, Zusammenfassung und offene Aufgaben zurück.
• Trainer für Vorstellungsgespräche: Fragen und Antworten laut gesprochen, mit Zeitmessung, aufgebaut auf einer echten Laufbahn statt auf ausgedachten Beispielen.

Der Aufwand für das zweite und dritte Werkzeug lag jeweils bei einem Bruchteil des ersten, weil Warteschlange, Speicher und Bot-Anbindung bereits standen.

Technik: Node.js 22, TypeScript, OpenAI Vision, Telegram Bot API, SQLite, SSE