Ethel für Ihren Kurs

Im Fr¨¹hlingssemester 2024 gibt es bereits mehrere M?glichkeiten f¨¹r Dozierende, sich an der Entwicklung von Ethel zu beteiligen. Beachten Sie, dass Ethel kein Dienst ist; es ist ein praktisches und oft pragmatisches Experiment. Daher haben wir auch keine Kunden, w¨¹rden aber Kollaborateure begr¨¹ssen.

Custom Chatbot f¨¹r Ihren Kurs

Was ist das? Ihr Kurs k?nnte einen individuellen Chatbot haben, der auf Ihren Kursmaterialien basiert. Wenn die Studierenden mit dem Bot interagieren, werden die Antworten auf den von Ihnen bereitgestellten Materialien basieren. Dies k?nnte Vorlesungsskripte, Folien, ?bungen usw. umfassen. Wir experimentieren auch mit Multimedia, wie zum Beispiel Ihre annotierten Vorlesungsfolien oder Vorlesungsaufzeichnungen. Wir k?nnen viel gr?ssere Datenmengen verarbeiten als kommerziell verf¨¹gbare individuelle Bots wie die externe Seite GPTs, und die Daten bleiben in der Schweiz und unter der Kontrolle der ETH Z¨¹rich. Die Hoffnung liegt auf mehr Fakten und weniger Halluzinationen. Die ersten Bots sind online auf https://ethel.ethz.ch/.

Was sind die Risiken? Die zugrundeliegende Strategie der Retrieval Augmented Generation ist recht gut etabliert, aber wir haben festgestellt, dass sie auch ziemlich schnell an ihre Grenzen sto?en kann, zum Beispiel bei stark mathematischem Inhalt. Wir probieren verschiedene Methoden aus, um diese Herausforderungen zu ¨¹berwinden, k?nnen aber keine herausragenden Ergebnisse garantieren.

Was ben?tigen wir? Jegliches Material, das Sie uns geben k?nnen, und Ihre Geduld. Wir haben nicht die Ressourcen, Materialien rein aus Neugier zu verarbeiten, w¨¹rden aber diese Gelegenheit auf Kurse beschr?nken, die den Bot in einem gegebenen Semester aktiv nutzen w¨¹rden. Wir w?ren auch dankbar, wenn Sie Ihre Studierenden bitten k?nnten, den Bot zu verwenden und uns ihr Feedback zu geben.

Wann ben?tigen wir dies? Grunds?tzlich jederzeit. Es wird wahrscheinlich eine Woche dauern, Ihre Materialien zu verarbeiten, und wir arbeiten derzeit an Mechanismen, um Materialien im Verlauf des Kurses hinzuzuf¨¹gen.

Unterst¨¹tzung bei der Bewertung von handschriftlichen ?bungen und Pr¨¹fungen

Was ist das? Bei vielem, was wir lehren, ist nicht nur das Endergebnis, sondern auch dessen Herleitung wichtig. Wenn es um mathematische Inhalte geht, kommt man um das Handschreiben nicht herum, da das Setzen umfangreicher Herleitungen oder Beweise unzumutbar zeitaufwendig ist. Wir arbeiten an einer Pipeline zur Umwandlung handschriftlicher mathematischer Ausdr¨¹cke in ein maschinenlesbares Format und anschlie?ender Annotation oder Unterst¨¹tzung bei der Bewertung durch Ethel.

Was sind die Risiken? Es gibt zu viele Risiken, um dies online und in der Produktion zu machen. Mit der Genehmigung der IRB f¨¹hren wir asynchrone, offline Experimente durch, um den Prozess zu optimieren, Erfahrungen zu sammeln und Ergebnisse zu bewerten.

Was ben?tigen wir? Ihre Studierenden m¨¹ssten zustimmen, teilzunehmen und eine informierte Einwilligung unterschreiben. Wir br?uchten dann Scans der unbewerteten Aufgaben der Teilnehmenden sowie elektronische Dokumente mit der Aufgabenstellung, der Musterl?sung und dem Bewertungsraster. Am Ende br?uchten wir die Ergebnisse und Kommentare Ihres regul?ren Bewertungsprozesses zum Vergleich.

Wann ben?tigen wir dies? Wir arbeiten derzeit mit einer high-stake Pr¨¹fung in einem Kurs mit grosser Teilnehmerzahl, und das wird uns wahrscheinlich f¨¹r einige Wochen besch?ftigen. Wir w¨¹rden jedoch eine Beteiligung von Kursen mit ?bungszetteln mit geringem Einfluss auf Noten begr¨¹ssen, bei denen wir das KI-Feedback auch Ihren Studierenden zur Verf¨¹gung stellen k?nnten (formative Bewertung).

Unterst¨¹tzung bei der Bewertung von Jupyter Notebooks

Was ist das? Der Goldstandard zur Bewertung der Richtigkeit von Programmieraufgaben sind Unit-Tests, bei denen die Eigenschaften von Codeabschnitten mit sorgf?ltig erstellten Aussagen mit Eingaben und erwarteten Ausgaben untersucht werden. Gute Unit-Tests zu schreiben, kann m¨¹hsam sein, und f¨¹r ?bungen mit geringem Risiko, die Berechnungen in nicht-informatikbezogenen Kursen einbetten, sind sie m?glicherweise nicht erforderlich. Ein h?ufig verwendetes Werkzeug f¨¹r solche low-stake ?bungen sind Jupyter-Notebooks, und die Idee ist, Feedback auf diesen mit nat¨¹rlichsprachigen Bewertungsrastern zu geben.

Was sind die Risiken? Im Wesentlichen dieselben wie bei Feedback auf handschriftliche Aufgaben; Ethel k?nnte weniger hilfreiche Hinweise oder Code-Bewertungen geben.

Was ben?tigen wir? Im Wesentlichen dasselbe wie bei Feedback auf handschriftliche Aufgaben, ausser dass in diesem Fall ipynb-Dateien anstelle von gescannten Bl?ttern ben?tigt werden.

Wann ben?tigen wir dies? Wir haben noch keine Genehmigung der IRB f¨¹r diese Studie, w¨¹rden aber gerne mit Ihnen zusammenarbeiten, um sie einzurichten.