Der im März vom Lehrstuhl „Content Management und Web Technologien“ der Fakultät Medien der Bauhaus-Universität Weimar und dem spanischen Natural Language Engineering Lab der Universidad Politécnica de Valencia gemeinsam ausgeschriebene Wettbewerb „1st International Competition on Plagiarism Detection“ ist in dieser Woche erfolgreich zu Ende gegangen.

Seit Bestehen des Internets tritt Plagiarismus sehr häufig auf. Plagiate sind zwar vom Menschen sehr gut zu erkennen, die Masse der digitalen Dokumente, die es zu überprüfen gilt, etwa in Schulen, Universitäten und Verlagen, ist jedoch nur auf automatischem Wege zu bewältigen.

Ziel des Wettbewerbs war es, herauszufinden, wie gut aktuelle automatische Plagiat-Erkennungsalgorithmen sind. Hierüber ist bislang sehr wenig bekannt, da es noch keine standardisierten Testumgebungen und keine einheitlichen Qualitätsmaßstäbe für diese Verfahren gibt. Diese notwendigen Rahmenbedingungen werden seit längerem im Bereich Medieninformatik der Bauhaus-Universität Weimar erforscht und wurden von der Arbeitsgruppe um Professor Benno Stein auch für den aktuellen Wettbewerb aufgestellt.

Für den in dieser Größe und Form bisher einmaligen Wettbewerb hatten sich insgesamt 21 Teams registriert, 13 von ihnen reichten ihre Ergebnisse ein. Die Plagiats-Experten kamen aus Deutschland, Österreich, Spanien, Italien, Tschechien, den USA, Großbritannien, Nigeria, Südkorea, Israel, Griechenland, Brasilien, Kanada und der Ukraine.

Der Wettbewerb, dem sie sich stellten, unterteilte sich in zwei Aufgaben:

1.
Externe Plagiat-Analyse – Der Vergleich eines verdächtigen Dokumentes mit einer Menge von potentiellen Quelldokumenten, sowie das Auffinden von Stellen in beiden Dokumenten, die plagiiert sind.

2.
Intrinsische Plagiat-Analyse – Vorgegeben wird ein verdächtiges Dokument, in dem potentiell plagiierte Stellen anhand von Auffälligkeiten im Text, wie z.B. Brüchen im Schreibstil, identifiziert werden sollen.

Die zur Verfügung gestellte Textkollektion, der so genannte Korpus, bestand aus mehr als 20.000 verdächtigen Dokumenten und weiteren 20.000 Quelldokumenten. Im Korpus wurden auf der Basis von echtem Text durch einen Zufallsplagiator künstlich Plagiate erzeugt, die dann mit Hilfe der Erkennungsalgorithmen aufgespürt werden mussten.

Dabei erzielten die Teilnehmer zum Teil sehr gute Ergebnisse: Der beste Algorithmus in der externen Analyse findet 66 Prozent aller Plagiate, 74 Prozent der gefundenen Plagiate sind richtig. Und selbst bei der sehr viel schwierigeren intrinsischen Analyse fand der Sieger-Algorithmus fast die Hälfte (46 Prozent) aller Plagiate.

Der von Yahoo! Research gesponsorte 1. Preis über 500 Euro für den Gesamtsieger ging an Cristian Grozea (Fraunhofer FIRST - Fraunhofer Institut für Rechnerarchitektur und Softwaretechnik, Berlin), der auch den ersten Platz in der Externen Plagiat-Analyse belegte. Den Sieg in der Kategorie Intrinsische Plagiat-Analyse sicherte sich Efstathios Stamatatos (University of the Aegan, Griechenland).

Mit der Ausrichtung dieses Wettbewerbs stellt die Medieninformatik der Bauhaus-Universität Weimar einmal mehr ihre exzellenten Forschungsleistungen und ihre Vorreiterrolle auf dem Gebiet der digitalen Medien unter Beweis. Dies wurde in der vergangenen Woche mit der Förderungszusage über 7,5 Millionen Euro für den interdisziplinären Forschungsneubau „Digital Bauhaus Lab“ durch Bund und Land gewürdigt.

Korpus und Ergebnisse des Wettbewerbs stehen der Öffentlichkeit über den unten genannten Link zur Verfügung. So können sich etwa Käufer von Plagiat-Erkennungs-Software gezielt darüber informieren, was im Allgemeinen von einer solchen Anwendung zu erwarten ist. Wissenschaftler haben nun erstmals einen Vergleichsmaßstab, anhand dessen sie eigene Entwicklungen bewerten können.

Weitere Informationen unter:
Competition
Medieninformatik an der Bauhaus-Universität Weimar
Webis
Digital Bauhaus Lab

Kontakt:
Bauhaus-Universität Weimar
Fakultät Medien
Professur Content Management und Web Technologien
Martin Potthast (Wissenschaftlicher Mitarbeiter)
martin.potthast@uni-weimar.de
Tel.: +49 36 43/58 3720

Für Rückfragen steht Ihnen auch Antje Klahn, Presse- und Öffentlichkeitsarbeit der Fakultät Medien, unter +49 36 43/58 37 06 oder per E-Mail unter antje.klahn@uni-weimar.de jederzeit gern zur Verfügung.