Um eine Rapid Cycle Evaluation (RCE™) in LearnPlatform durchzuführen, benötigen Sie verschiedene Datendateien. Abhängig von Ihren Forschungszielen sind vier Hauptdatentypen erforderlich:
- Nutzungsdaten
- Daten des Studierendeninformationssystems (SIS)
- Ergebnisdaten
- Preisdaten
Die Daten, die Sie bereits erfassen oder deren Erfassung Sie planen, liefern Ihrem Team die Informationen, die es benötigt, um seine Ziele zu erreichen. Manchmal genügt ein einzelner Datensatz (z. B. Nutzungsdaten), manchmal sind aber auch mehrere Datentypen erforderlich (z. B. Ergebnisdaten). Denn unterschiedliche Daten beantworten unterschiedliche Fragen. Das Support-Team von LearnPlatform hilft Ihnen gerne dabei, die benötigten Daten zu ermitteln.
Die datensichere und schnell arbeitende Auswertungs-Engine von LearnPlatform verarbeitet die Daten zusammen mit anderen Daten aus Ihrem Bezirk (wie demografischen Informationen und Testergebnissen). Die Auswertung der Programmnutzungsdaten zusammen mit anderen Daten hilft dabei, die Implementierung zu optimieren und bessere Ergebnisse zu erzielen.
Anmerkungen:
Das LearnPlatform-Forschungsteam unterstützt Sie bei diesem Projekt von der gemeinsamen Planung bis hin zur Suche nach den in diesem Dokument erwähnten Datendateien. Dies umfasst auch die notwendige Datenbereinigung, die Durchführung Ihrer RCEs und die Bereitstellung der zugehörigen Zusammenfassungsberichte. Ihre Hauptaufgabe besteht darin, uns den Zugriff auf die benötigten Daten zu ermöglichen und die Ergebnisse anschließend für Ihre Entscheidungen zu nutzen. Kontaktieren Sie uns unter support-lp@instructure.com .
Nutzungsdaten
Nutzungsdaten geben Aufschluss darüber, inwieweit ein Nutzer (z. B. ein Schüler) das Lerntechnologie-Tool genutzt hat. Beispiele für Nutzungsdaten (auch Nutzungsmetriken genannt) sind die Systemzeit (Minuten), die Nutzungsdauer in Tagen, die Gesamtzahl der Anmeldungen, die Anzahl der bearbeiteten Lektionen, die Anzahl der abgeschlossenen Lektionen und die Anzahl der gemeisterten Lektionen.
EdTech-Anbieter ermöglichen Administratoren häufig den Export von Nutzungsdaten. Je nach gewähltem EdTech-Tool müssen Sie sich möglicherweise an den zuständigen Schuladministrator oder direkt an das EdTech-Unternehmen wenden, um die Nutzungsdaten zu erhalten.
Checkliste für Nutzungsdaten
❏ Sind meine Daten auf Benutzerebene?
❏ Beinhaltet die Datennutzung durch die relevante Bevölkerungsgruppe?
❏ Enthalten meine Daten Benutzer-IDs, die mit meinen anderen Dateien übereinstimmen?
❏ Stammen meine Daten nur aus den ersten zwei Wochen nach Ende meines Testzeitraums? (bei Durchführung einer Ergebnisanalyse)
❏ Enthalten meine Daten mindestens eine eindeutige Kennzahl? (z. B. Gesamtzeit in Minuten, abgeschlossene Lektionen)
Anmerkungen:
- Diese Daten müssen auf Benutzerebene verfügbar sein. Daten auf Bezirks- oder Schulebene sind für die Verwendung in einer RCE nicht geeignet.
- Für die Ausführung eines RCE wird nur eine Nutzungsmetrik benötigt.
- Unser Team kann Ihnen dabei helfen festzustellen, ob die Nutzungsdaten eines Anbieters für eine RCE geeignet sind.
SIS-Daten
Die Daten von Schülerinformationssystemen (SIS) umfassen Schüleridentifikatoren und demografische Daten. Beispiele hierfür sind Schüler-ID, Klassenstufe, Schule, ethnische Zugehörigkeit, Geschlecht, Förderbedarf und Anspruch auf kostenloses/vergünstigtes Mittagessen.
RCE nutzt SIS-Daten auf zwei Arten:
- Um Unterschiede in der Hauptanalyse zu berücksichtigen : Die Rapid Cycle Evaluation (RCE) verwendet SIS-Daten als Kovariate in der Hauptanalyse, da SIS-Unterschiede zwischen Schülern, Klassen oder Schulen das Studienergebnis beeinflussen können. Beispielsweise könnte die Vergleichsgruppe mehr Schüler mit sonderpädagogischem Förderbedarf umfassen. Durch die Einbeziehung eines Indikators für sonderpädagogischen Förderbedarf können wir diese Variation zwischen den Gruppen berücksichtigen, sodass sie die Ergebnisse nicht verfälscht.
- Um Ergebnisunterschiede nach Untergruppen zu untersuchen: Die Rapid Cycle Evaluation (RCE) ermöglicht die Analyse von Gesamtergebnissen sowie Ergebnissen für spezifische Untergruppen. Durch die Einbeziehung von SIS-Daten können Nutzung und Leistung innerhalb von SIS-Untergruppen (z. B. Klassenstufe, Geschlecht, Schule) detailliert untersucht werden. Hat die Nutzung des EdTech-Produkts beispielsweise zu besseren Lernergebnissen in den verschiedenen Klassenstufen geführt?
Um SIS-Daten zu erfassen, müssen Sie sich möglicherweise an den SIS-Administrator oder Datenmanager Ihres Bezirks wenden, um Zugriff auf die Daten zu erhalten oder um diese in den Datenermittlungsprozess einzubeziehen.
Checkliste für Ergebnisdaten
❏ Sind meine Daten auf Benutzerebene?
❏ In der relevanten Population?
❏ Enthalten meine Daten Benutzer-IDs, die mit meinen anderen Dateien übereinstimmen?
❏ Stimmen meine Ergebnisse mit meinem Testzeitraum überein?
❏ Gibt es eine übersichtliche Spalte mit den Ergebnissen?
Checkliste für demografische Daten
❏ Sind meine Daten auf Benutzerebene?
❏ In der relevanten Population?
❏ Enthalten meine Daten Benutzer-IDs, die mit meinen anderen Dateien übereinstimmen?
❏ Enthalten meine SIS-Daten demografische Kennungen von Interesse?
Hinweis: Die Verwendung von SIS-Daten ist bei einer RCE-Studie zwar optional, unabhängig von Ihren Forschungszielen kann die Einbeziehung möglichst vieler SIS-Daten jedoch dazu beitragen, die Auswirkungen anderer Variablen auszuschließen und so die Sicherheit zu erhöhen, dass die Effekte der Intervention zugeschrieben werden können. Ihr Team kann mit LearnPlatform zusammenarbeiten, um die optimale Verwendung von SIS-Daten zu ermitteln.
Ergebnisdaten
Die Ergebnisdaten messen die Lernergebnisse, die das EdTech-Produkt laut Herstellerangaben beeinflussen soll. Um eine Ergebnisanalyse mit LearnPlatform durchzuführen (d. h. eine Analyse, die die Nutzung des EdTech-Produkts mit dem Lernerfolg der Schüler verknüpft), benötigt unser Forschungsteam ein standardisiertes, zuverlässiges und valides Messinstrument. Um zu untersuchen, wie sich EdTech auf den Lernerfolg der Schüler auswirkt, empfehlen wir die Verwendung eines Messinstruments, das den Lernerfolg der Schüler abbildet.
Beispiele für Ergebnisdaten sind standardisierte Testergebnisse, der Notendurchschnitt (GPA) oder die Anwesenheit. Es gibt zwei Hauptarten von Ergebnisdaten:
- Vor der Intervention: Leistungen oder Testergebnisse vor der Nutzung des EdTech-Produkts. Wir verwenden diese Daten als Kovariate in den RCEs, um Unterschiede in den Schülerleistungen vor der Verfügbarkeit der Intervention (d. h. des EdTech-Produkts) zu berücksichtigen.
- Nach der Intervention: Leistung oder Testergebnisse nach der Nutzung des EdTech-Produkts. Wir nutzen diese Daten, um die Schülerleistungen und die Auswirkungen der Intervention zu untersuchen.
Es gibt eine Vielzahl von Forschungsfragen, die Ihr Team mithilfe einer Ergebnisanalyse beantworten kann. Zwei gängige Arten von Ergebnisanalysen werden im Folgenden beschrieben:
- Ohne Vergleichsgruppe : Untersuchen Sie den Zusammenhang zwischen der Nutzung von EdTech-Produkten und dem Ergebnis nach der Intervention.
- Mit einer Vergleichsgruppe: Untersuchen, ob Schüler, die das EdTech-Produkt verwenden, bessere Ergebnisse erzielen als andere Schüler, basierend auf den Ergebnissen nach der Intervention.
Um Ergebnisdaten zu finden, bieten die meisten Bewertungssysteme einen einfachen Zugriff auf nutzerbezogene Berichte. Möglicherweise müssen Sie sich an den Bewertungsbeauftragten Ihres Bezirks wenden, um Zugriff auf diese Berichte zu erhalten. Ihr RCE-Teammitglied kann Ihnen ebenfalls mit Beispieldaten weiterhelfen.
Preisdaten
Die Preisdaten umfassen die Kosten für das Abonnement oder die Lizenz des EdTech-Produkts, berechnet pro Schüler oder Standort. Sie können auch weitere direkte und indirekte Kosten im Zusammenhang mit dem Produktbesitz beinhalten (z. B. Weiterbildungskosten, Personalaufwand). Die Preisdaten können in Nutzungs- und Ergebnisanalysen einbezogen werden, sind aber nicht verpflichtend.
Die Preisgestaltung wird üblicherweise während der technischen Implementierung in Ihre Produktbibliothek eingetragen. Alternativ können Kosteninformationen bei der Einrichtung der RCE übermittelt werden, sofern sie LearnPlatform noch nicht vorliegen. In diesem Fall sollten Sie sich an eine Person in Ihrem Unternehmen wenden, die über die Einkaufsinformationen für das gewünschte EdTech-Tool verfügt. LearnPlatform kann Ihnen auch helfen, die ungefähren Kosten pro Nutzer zu ermitteln, falls diese nicht aus der Rechnung des Anbieters hervorgehen.
Nicht verfügbare oder nicht zugängliche Daten
Es gibt viele Gründe, warum Daten möglicherweise nicht verfügbar sind. Manchmal sind die Daten nicht zugänglich, weil der Anbieter den Zugriff verweigert oder aktuell keine Daten erhebt. In anderen Fällen werden die Daten in einer unbrauchbaren Form präsentiert (z. B. eine aggregierte Anzahl abgeschlossener Aktivitäten auf Bezirksebene im Vergleich zu Daten auf Benutzerebene).
Sind die benötigten Daten nicht verfügbar, lässt sich die Forschungsfrage möglicherweise nicht beantworten. Daher ist es wichtig, bereits bei der Formulierung Ihres Forschungsziels zu prüfen, welche Daten verfügbar sind. Ihr RCE-Team unterstützt Sie während des gesamten Prozesses und bietet Ihnen alternative Möglichkeiten, um Ihnen möglichst viele Informationen zu beschaffen.