Es war eine lange Pandemie für das Forschungsteam von Twitter. Mit der Aufgabe, einige der schwierigsten Probleme der Plattform in Bezug auf Belästigung, Extremismus und Fehlinformationen anzugehen, flohen Mitarbeiter im November 2021 zu einem Betriebsrückzug ins Napa Valley. Trotz eines turbulenten Führungswechsels – Jack Dorsey war kürzlich zurückgetreten und hatte an seine Stelle den ehemaligen Chief Technology Officer Parag Agrawal berufen – fühlte sich die Gruppe geeint, ja sogar hoffnungsvoll. Nach Monaten des Online-Kampfes gegen Bösewichte nahmen sich die Mitarbeiter einen Moment Zeit, um sich zu entspannen. „Endlich hatten wir den Eindruck, ein geschlossenes Team zu haben“, erklärt ein Forscher.
Aber während des Abschiedsbrunchs am letzten Tag begannen die Telefone der Leute mit alarmierenden Nachrichten zu klingeln: Ihr Chef, Dantley Davis, Twitters Vizepräsident für Design, war gefeuert worden. Niemand wusste, dass es passieren würde. „Es war wie ein Film“, sagte ein Teilnehmer, der um Anonymität bat, da er nicht befugt ist, öffentlich über das Unternehmen zu sprechen. „Die Leute fingen an zu weinen. Ich saß nur da, aß ein Croissant und sagte: ‚Was ist los mit der Stimmung?‘ »
Die Nachricht kündigte eine Abwärtsspirale für die Forschungsorganisation an. Obwohl die Gruppe an Umstrukturierungen gewöhnt war, war eine Umbesetzung mitten in einer Veröffentlichung, die das Team zusammenschweißen sollte, zutiefst symbolisch.
Die Turbulenzen spitzten sich im April zu, als Elon Musk einen Vertrag zum Kauf von Twitter unterzeichnete. Interviews mit aktuellen und ehemaligen Mitarbeitern sowie 70 Seiten interner Dokumente deuten darauf hin, dass das Chaos um die Musk-Akquisition einige Teams an die Belastungsgrenze gebracht hat und viele Gesundheitsforscher zum Aufgeben veranlasst hat, wobei einige sagten, ihre Kollegen seien aufgefordert worden, Zähler zu depriorisieren -Extremismus-Projekte zugunsten einer Fokussierung auf Bots und Spam. Der Musk-Deal wird vielleicht nicht einmal zustande kommen, aber die Auswirkungen auf die Gesundheitsbemühungen von Twitter sind bereits klar.
Das Gesundheitsteam, das einst für die Förderung ziviler Gespräche auf der notorisch unhöflichen Plattform verantwortlich war, wurde von 15 Vollzeitmitarbeitern auf zwei reduziert.
Im Jahr 2019 stellte Jack Dorsey eine grundlegende Frage zu der von ihm mitgestalteten Plattform: „Können wir die Konversationsgesundheit tatsächlich messen?
Auf der Bühne bei einem TED-Vortrag in Vancouver sprach der CEO mit Mütze inbrünstig über die Investition in automatisierte Systeme zur proaktiven Erkennung von schlechtem Verhalten und „vollständiger Opferentlastung“.
In diesem Sommer begann das Unternehmen mit der Rekrutierung eines Teams von Gesundheitsforschern, um Dorseys Mission auszuführen. Seine Rede überzeugte Menschen, die in der Wissenschaft oder für große Technologieunternehmen wie Meta arbeiteten, Twitter beizutreten, inspiriert von der Aussicht, für einen positiven sozialen Wandel zu arbeiten.
Als der Prozess wie erwartet funktionierte, halfen Gesundheitsforscher Twitter bei der Ideenfindung für potenziellen Missbrauch neuer Produkte. Im Jahr 2020 arbeitete Twitter an einem Tool namens „Unmention“, mit dem Benutzer einschränken können, wer auf ihre Tweets antworten kann. Die Forscher führten eine „rote Team“-Übung durch, bei der Mitarbeiter aus dem gesamten Unternehmen zusammenkamen, um zu untersuchen, wie das Tool missbraucht werden könnte. Die Nichterwähnung könnte „mächtigen Leuten“ erlauben [to] abweichende Meinungen, Diskussionen und Korrekturen unterdrücken“ und „Belästigern, die versuchen, mit ihren Zielen in Kontakt zu treten, erlauben [to] zwingen Sie Ziele, persönlich zu antworten“, schrieb Red Team in einem internen Bericht.
Aber der Prozess war nicht immer so glatt. Im Jahr 2021 gab der ehemalige Twitter-Produktmanager Kayvon Beykpour bekannt, dass die oberste Priorität des Unternehmens die Einführung von Spaces sei. („Es war ein totaler Angriff, Clubhouse zu töten“, sagt ein Mitarbeiter.) Das Projektteam machte Überstunden, um das Feature herauszubringen, und plante keine Red-Team-Übung bis zum 10. August – drei Monate nach dem Start. Im Juli wurde die Übung abgesagt. Spaces ging ohne eine vollständige Bewertung der wichtigsten Risiken live, und weiße Nationalisten und Terroristen überschwemmten die Plattform Das Washington Post gemeldet.
Als Twitter schließlich im Januar 2022 eine Red-Team-Übung für Spaces abhielt, kam der Bericht zu dem Schluss: „Wir haben der Identifizierung und Minderung von Gesundheits- und Sicherheitsrisiken vor dem Start von Spaces keine Priorität eingeräumt. Dieses rote Team kam zu spät. Trotz kritischer Investitionen in den ersten anderthalb Jahren des Aufbaus von Spaces haben wir weitgehend auf realen Schaden reagiert, der von böswilligen Akteuren in Spaces verursacht wurde. Wir haben uns zu sehr auf die allgemeine Öffentlichkeit verlassen, um die Probleme zu erkennen. Wir haben Produkte und Funktionen veröffentlicht, ohne die potenziellen Auswirkungen auf die Gesundheit angemessen zu untersuchen.
Anfang dieses Jahres hat Twitter seinen Plan zur Monetarisierung von Inhalten für Erwachsene zurückgenommen, nachdem ein rotes Team festgestellt hatte, dass die Plattform das Material zur sexuellen Ausbeutung von Kindern nicht angemessen angegangen war. Es war ein Problem, vor dem Forscher seit Jahren gewarnt hatten. Mitarbeiter sagten, Twitter-Führungskräfte seien sich des Problems bewusst, stellten jedoch fest, dass das Unternehmen nicht die erforderlichen Ressourcen bereitgestellt habe, um es zu beheben.
Bis Ende 2021 hatten Twitter-Gesundheitsforscher Jahre damit verbracht, Maulwurf mit schlechten Schauspielern auf der Plattform zu spielen, und beschlossen, einen ausgefeilteren Ansatz für den Umgang mit schädlichen Inhalten anzuwenden. Von außen wird das Unternehmen regelmäßig dafür kritisiert, dass es gefährlichen Gruppen freien Lauf lässt. Aber intern fühlte es sich manchmal so an, als würden auch bestimmte Gruppen, wie Verschwörungstheoretiker, von der Plattform geworfen. demnächst – bevor Forscher ihre Dynamik untersuchen können.
„Der alte Ansatz war fast komisch ineffizient und sehr reaktiv – ein manueller Prozess des Fangens“, sagt ein ehemaliger Mitarbeiter, der anonym bleiben möchte, weil er nicht berechtigt ist, öffentlich über das Unternehmen zu sprechen. „Die Definition und das einfache Fangen von ‚bösen Jungs‘ ist ein verlorenes Spiel.“
Stattdessen hofften die Forscher, Personen zu identifizieren, die im Begriff waren, sich mit schädlichen Tweets zu beschäftigen, und sie mithilfe von Pop-up-Nachrichten und Interstitials zu gesünderen Inhalten zu bewegen. „Das Pilotprojekt wird es Twitter ermöglichen, Verhaltenssignale zu identifizieren und zu nutzen – statt Inhalte – und Benutzer zu erreichen, die gefährdet sind, mit Weiterleitung zu unterstützenden Inhalten und Diensten zu schaden“, heißt es in einer Erklärung Die Kante.
Twitter-Forscher haben sich mit Moonshot zusammengetan, einem Unternehmen, das sich auf die Untersuchung gewaltbereiter Extremisten spezialisiert hat, und ein Projekt namens Redirect gestartet, das von der Arbeit von Google und Facebook inspiriert wurde, um die Ausbreitung schädlicher Gemeinschaften einzudämmen. Bei Google gipfelte diese Arbeit in einer ausgeklügelten Kampagne, um Personen, die nach extremistischen Inhalten suchen, mit Anzeigen und YouTube-Videos anzusprechen, die darauf abzielen, extremistische Botschaften zu entlarven. Twitter plante, dasselbe zu tun.
Das Ziel bestand darin, das Unternehmen dazu zu bringen, nicht nur auf schlechte Accounts und Posts zu reagieren, sondern die Benutzer proaktiv zu einem besseren Verhalten zu führen.
„Die Bemühungen von Twitter, schädliche Gruppen einzudämmen, konzentrieren sich in der Regel darauf, diese Gruppen zu definieren, sie innerhalb eines politischen Rahmens zu benennen, ihre Reichweite (durch Zugehörigkeit und Gruppenverhalten) zu ermitteln und diejenigen innerhalb der Kohorte zu suspendieren oder falsch darzustellen“, heißt es in einer internen Projektzusammenfassung. „In diesem Projekt geht es vielmehr darum, das Nutzerverhalten vorgelagert zu verstehen und zu verarbeiten. Anstatt uns darauf zu konzentrieren, bösartige Konten oder Inhalte zu identifizieren, versuchen wir zu verstehen, wie Benutzer schädliche Gruppeninhalte in Konten finden, und diese Bemühungen dann umzuleiten. »
In der ersten Phase des Projekts, die letztes Jahr begann, konzentrierten sich die Forscher auf drei Gemeinschaften: rassistisch oder ethnisch motivierter gewalttätiger Extremismus, regierungs- oder autoritätsfeindlicher gewalttätiger Extremismus und Incels. In einer Fallstudie der Boogaloo-Bewegung, einer rechtsextremen Gruppe, die sich darauf konzentriert, einen zweiten amerikanischen Bürgerkrieg anzuzetteln, identifizierte Moonshot 17 hoch engagierte Influencer innerhalb der Community, die Twitter nutzten, um ihre Ideologie zu teilen und zu verbreiten.
Der Bericht skizzierte mögliche Berührungspunkte: einen, wenn jemand versuchte, nach einem Boogaloo-Begriff zu suchen, und einen anderen, wenn er sich mit einem Boogaloo-Inhalt beschäftigen wollte. „Der Ansatz von Moonshot zur Identifizierung der Kerngemeinschaft könnte Benutzer hervorheben, die sich in Richtung dieses Einflussbereichs bewegen, was zu einer Zwischennachricht von Twitter führt“, heißt es in dem Bericht.
Das Team schlug außerdem vor, eine Popup-Nachricht hinzuzufügen, bevor Benutzer extremistische Inhalte retweeten können. Die Interventionen sollten den Prozess des Auffindens und der Interaktion mit schädlichen Tweets reibungsloser gestalten. Gut gemacht, würde es die Auswirkungen extremistischer Inhalte auf Twitter verringern und es für Gruppen schwieriger machen, neue Follower zu rekrutieren.
Bevor diese Arbeit jedoch vollständig umgesetzt werden konnte, einigte sich Musk mit dem Twitter-Vorstand auf den Kauf des Unternehmens. Bald darauf verließen die Mitarbeiter, die die Moonshot-Partnerschaft leiteten, das Unternehmen. Und in den Monaten, seit Musk den Deal unterschrieben hat, ist das Gesundheitsforschungsteam so gut wie verschwunden und von 15 Mitarbeitern auf nur noch zwei geschrumpft.
„Der Verkauf des Unternehmens an Elon Musk war das i-Tüpfelchen in einer viel längeren Geschichte von Entscheidungen, die von leitenden Ebenen des Unternehmens getroffen wurden und zeigten, dass Sicherheit keine Priorität hatte“, sagte ein Mitarbeiter.
Mehrere ehemalige Forscher sagten, die Turbulenzen im Zusammenhang mit Musks Angebot zum Kauf des Unternehmens seien ein Wendepunkt gewesen und hätten sie dazu veranlasst, sich für weitere Arbeiten zu entscheiden.
„Das Chaos des Deals hat mir klar gemacht, dass ich nicht für ein privates Twitter arbeiten wollte, das Musk gehört, aber auch, dass ich nicht für ein öffentliches Twitter arbeiten wollte, das nicht Musk gehört“, sagte a ehemalige . sagte der Mitarbeiter. „Ich wollte einfach nicht mehr für Twitter arbeiten.“
Phase zwei von Project Redirect – die Twitter geholfen hätte zu verstehen, welche Interventionen funktionierten und wie Benutzer tatsächlich mit ihnen interagierten – erhielt Finanzmittel. Aber als das Geld ankam, waren keine Forscher verfügbar, um es zu überwachen. Berichten zufolge wurde einigen verbleibenden Mitarbeitern gesagt, sie sollten die Umleitung zugunsten von Bot- und Spam-bezogenen Projekten herabsetzen, auf die sich Musk bei seinem Versuch konzentriert hat, sich aus dem Geschäft zurückzuziehen.
Twitter-Sprecherin Lauren Alexander lehnte es ab, sich zu der Angelegenheit zu äußern.
Ein Mitarbeiter hielt die Frustration des Teams in einem Tweet fest: „Völlig uninteressiert daran, was Jack oder ein anderer C-Suiter zu dieser Übernahme zu sagen hat“, schrieb der Mitarbeiter und hielt einen Artikel über die Position des Twitter-CEO Parag Agrawal und des ehemaligen CEO Jack fest Dorsey. um den Deal mit Musk zu gewinnen. „Mögest du alle eine sehr lange Treppe hinunterfallen.“ (Der Mitarbeiter lehnte eine Stellungnahme ab.)
Laut aktuellen Mitarbeitern wurde der Tweet als Drohung an einen Kollegen gemeldet und der Mitarbeiter entlassen.
Previously published on www.theverge.com
