Hallo Stephan,
ich fürchte, einen (computergestützten) Test, der eine verlässliche Aussage darüber macht, ob ein Text maschinell oder manuell übersetzt wurde, kann es nicht geben. Denn wenn die Programmierer einem Computer nur schwer beibringen können, wie man einen idiomatischen Ausdruck erkennt und übersetzt, wie sollen andere Programmierer anderen Computern beibringen, wie man ebensolche Fehler in Übersetzungen erkennt?
Ergo: Du wirst die Texte manuell überprüfen müssen. So eine Methode ist meines Erachtens auch in einer wissenschaftlichen Arbeit zulässig, wenn Du vorher verständliche Kriterien festlegst, auf die Du die Texte untersuchst. Wenn nun die für eine maschinelle Übersetzung typischen Fehler A, B, C in einem Text häufig auftreten, kannst Du dann die begründete Vermutung (wenn auch nicht die sichere Feststellung) anstellen, dass der Text maschinell übersetzt wurde. Mit absoluten Sicherheiten wäre ich ohnehin vorsichtig im Bereich der Sprach- und sonstigen Geisteswissenschaften.
Welche Kriterien kann man nun festlegen? Die bereits erwähnten idiomatischen Ausdrücke sind so ne Sache… Denn auch einem mittelmäßigen menschlichen Übersetzer kann es passieren, dass er sie nicht erkennt bzw. falsch übersetzt. Und wüsstest Du auf den ersten Blick, welche der folgenden Fehlübersetzungen von einem Sechstklässler und welche von Google stammt:
„John makes Mary circuit.“
„John makes ending with Mary.“
Eine gute menschliche Übersetzung erkennst Du selbstverständlich daran, dass sie sprachlich und inhaltlich korrekt ist und auch den Stil des Originaltextes wiedergibt.
Für eine schlechte menschliche und eine (per se schlechte) maschinelle Übersetzung fielen mir aus dem Stegreif folgende Punkte ein:
Da die Maschine bei der Übersetzung in der Regel einzelne Sätze (oder sogar nur Wörter) betrachtet und keine längeren Texte, ist ein typischer Fehler, dass Personalpronomen im Laufe eines Texts wechseln können (wenn z.B. „you“ mal mit „du“, mal mit „Sie“, mal mit „Euch“ und mal mit „man“ wiedergegeben wird). Ein menschlicher Übersetzer (auch ein schlechter) wird, auch wenn er ein falsches Pronomen verwendet, dieses vermutlich konsequent im ganzen Text verwenden.
Auf der anderen Seite unterlaufen einem (schlechten) menschlichen Übersetzer vermutlich deutlich mehr Rechtschreibfehler als einer Maschine – denn letztere entscheidet sich vielleicht für die falsche Übersetzung, wenn mehrere für einen Begriff zur Auswahl stehen. Da diese aber aus einem orthographisch korrekten Fundus ausgewählt wird, kann sich eigentlich kein Rechtschreibfehler einschleichen.
Ich denke, Dir werden beim Durchsehen der von Dir subjektiv als maschinell übersetzt bewerteten Texte noch mehr typische Fehler auffallen, aus denen Du Dir einen Kriterienkatalog erstellen kannst. Du solltest aber sicherheitshalber noch einmal Rücksprache mit dem/der Dozenten/in halten, ob er/sie einen solchen „Test“ für ausreichend erachtet und/oder noch weitere Vorgaben/Ideen hat. Meine Dozenten seinerzeit waren in der Regel mit solchen begründeten Vermutungen zufrieden, da Sprachwissenschaft ohnehin in den seltensten Fällen mit absoluten Sicherheiten arbeitet.
Gruß,
Stefan