Keine Onlineplattform ist vor Missbrauch sicher: Ein israelisches Kinderschutz-Start-up hat herausgefunden, dass ein Untergrundnetzwerk die Gif-Suchmaschine Giphy benutzt, um dort gesetzeswidrige Inhalte zu verstecken und innerhalb bestimmter Communities zu teilen.
Das Netz ist voller Gifs: In den sozialen Medien tauchen sie überall auf, und auch über viele Messenger können wir die animierten Bilder verschicken. Einer der bekanntesten Player auf dem Markt: die Gif-Suchmaschine Giphy. Sie hat mittlerweile eine große Reichweite und ist in etlichen Apps eingebaut.
Für das Benutzen der Suchmaschine gibt Giphy klare Regeln vor: Das Entwickeln oder Hochladen von gesetzeswidrigen Inhalten, die etwa Gewalt, Selbstverletzung oder Missbrauch darstellen, ist verboten. Trotzdem existieren innerhalb der Suchmaschine etliche Gifs mit kinderpornografischen Inhalten oder Anleitungen zur Selbstverletzung, wie das US-Techmagazin Techcrunch berichtet.
Keine Onlineplattform ist vor Missbrauch sicher
Das israelische Kinderschutz-Start-up L1ght ist mithilfe von künstlicher Intelligenz auf das verbotene Material gestoßen. Dabei hat es in externen Suchmaschinen wie Bing, Duckduckgo oder Yandex nach spezifischen Hashtags gesucht. Denn: Ähnlich wie Twitter arbeitet Giphy mit Hashtags, um Inhalte zu sortieren. Der Weg über die externen Suchmaschinen ist daher notwendig, da Giphy selbst Schlagwörter blockiert, die gegen die Nutzerregeln des Unternehmens verstoßen.
Mit der Kombination aus Hashtags und externen Suchmaschinen verstecken bestimmte Communities ihre gesetzeswidrigen Inhalte innerhalb der Gif-Suchmaschine. Das bedeutet: Ein verbotenes Gif wird bei Giphy hochgeladen und mit einem spezifischen Hashtag versehen, um nur von "Gleichgesinnten" gefunden zu werden.
"Bei den Abermillionen von Gifs ist es für Giphy trotz Software-Unterstützung sicher schwer, mit dem Moderieren des Contents überhaupt hinterherzukommen."
In den meisten Fällen wurden die gesetzeswidrigen Inhalte offenbar von privaten Accounts hinzugefügt. Indem sie ihren Account in einen Privatmodus setzen, können die Entwickler solcher Gifs die Filtersoftware des Unternehmens nämlich umgehen und die verbotenen Materialien für Außenstehende schwer auffindbar machen. Wie das genau funktioniert, hat das israelische Kinderschutz-Start-up nicht offengelegt, um die Vertreiber gesetzeswidriger Inhalte nicht noch weiter zu unterstützen.
"Giphy und andere, kleinere Plattformen standen bisher eher nicht so im Rampenlicht."
Das Startup selbst ist mithilfe von künstlicher Intelligenz auf die verbotenen Inhalte gestoßen. Neu ist: In der Vergangenheit wurden vor allem große Plattformen wie Facebook, Youtube, Whatsapp und Co. auf gesetzeswidrige Inhalte untersucht. Mit der aktuellen Herangehensweise von L1ght rücken jetzt auch vergleichsweise kleinere Netzwerke in den Fokus der Öffentlichkeit.