La classifica dei subreddit più nocivi

Che in certi subreddit tiri una brutta aria non è una novità. Recentemente un post su r/AskReddit ha posto la domanda "tra i subreddit più popolari, quali sono le comunità più nocive?" e ha ottenuto migliaia di risposte. Ma se vogliamo quantificare la nocività dei commenti su Reddit, i subreddit che ci vengono in mente sono davvero i peggiori?

Non necessariamente. L'azienda di data analysis Idibon ha recentemente ​creato un algoritmo per determinare quali siano i subreddit peggiori e i risultati sono stati in parte sorprendenti. Secondo l'analisi di Idibon, il principale imputato è /r/ShitRedditSays, seguito da subreddit come /r/OpieandAnthony (per i fan di un programma radio ​ormai cancellato) e /r/SubredditDrama.

I cerchi verdi rappresentano subreddit nominati nel post r/AskReddit, mentre quelli verdi sono della top 250. ​Courtesy DI Ben Bell"

"Sono rimasto sorpreso del fatto che /r/ShitRedditSays fosse in cima. Non me l'aspettavo," mi ha detto Ben Bell, responsabile della ricerca di Idibon. "C'erano subreddit come /r/JusticePorn che pensavamo fossero peggiori."

Per tutta l'analisi sono state necessarie alcune settimane, mi ha detto Bell. Prima di analizzare quali subreddit fossero più nocivi rispetto agli altri bisognava innanzitutto dare una definizione di "nocivo." Si è deciso di definire un singolo commento come nocivo se era un attacco personale (di un criticismo non costruttivo) o un appunto palesemente fazioso, o entrambi. Tipo "GASP stanno censurando LA TUA LIBERTA' DI PAROLA?? Mi viene da piangere /s" è nocivo, ha detto Bell.

Ma tracciare i commenti negativi potrebbe penalizzare i subreddit più frequentati, perciò si è deciso di tracciare anche i commenti di supporto, che Bell e i suoi colleghi hanno definito come ogni commento che includa parole di sostegno o apprezzamento—roba tipo "tifiamo per te!" L'equilibrio tra commenti nocivi e di sostegno, e i voti positivi o negativie, tutto ha fatto parte dell'analisi.

Per ottenere i dati puri, Bell ha usato Reddit API spulciando tra 1.000 commenti da ognuno dei 250 subreddit in cima alla lista, come i subreddit più popolari menzionati nel post originale di /r/AskReddit.

Bell ha deciso di includere nell'analisi i voti di ogni post, il che ha permesso di ottenere una rappresentazione più realistica dei subreddit peggiori.

"In alcuni subreddit ci sono davvero un sacco di persone che scrivono roba cattivissima, ma il fatto è che la comunità nel suo insieme non necessariamente li supporta," ha detto Bell. "Abbiamo usato i punteggi come un modo per calibrare le reazioni della community ai commenti nocivi.".

I risultati sono arrivati dopo un paio di settimane. Bell ha poi usato un modello di analisi che Idibon aveva sviluppato per un cliente che faceva ricerca sulla semantica positiva e negativa su Twitter e aveva eliminato tutti i commenti neutrali, arrivando a un dataset di 100 commenti per 100 subreddit.

I 10.000 commenti rimasti includevano tutti termini che il modello indicava come nocivi o di supporto. Bell li ha sottoposti al sito CrowdFlower per farli leggere e valutare. Ognuno è stato analizzato tre volte.

Poi ha valutato il numero totale di commenti a favore e contro per ogni subreddit e li ha comparati agli eventuali upvote. Se vi state chiedendo quale sia l'algoritmo, eccolo:

"Includere il modo in cui la comunità reagisce ai commenti negativi è stato un modo per sorvolare sui commenti in sé," ha detto Bell.

Ha anche usato i risultati per isolare i commenti faziosi da comparare attraverso i subreddit e, sorprendentemente, ha trovato particolarmente di cattivo gusto sub come /r/TheRedPill e /r/BlackPeopleTwitter. Questi subreddit votavano anche i commenti più faziosi, mentre gli altri subreddit che attiravano altri commenti malvagi come /r/jokes non lo tolleravano.

Courtesy Ben Bell

"Molti di loro erano davvero prevedibili," ha detto Bell. "Ero piuttosto contento del fatto che i risultati avessero un senso perché significava che la metodologia era azzeccata. E anche il fatto che corroborassero quanto già segnalato dai thread di Reddit era un buon segno."

Ma alcune delle opinioni non trovavano riscontro nei dati. Il subreddit /r/GetMotivated era stato segnalato come nocivo da un utente il cui commento aveva avuto 3.967 voti. Ma l'analisi di Bell non ha ottenuto lo stesso risultato.

Bell ha intenzione di fare ulteriori analisi in futuro per vedere se le dicerie su Reddit sono in linea con i dati effettivi.

"Una cosa interessante è che non ho incluso i subreddit più estremizzati. Mi piacerebbe anche approfondire la distinzione tra nocività e commenti positivi e negativi." Ha detto.

Anche se noi tutti amiamo parlare di Reddit come di un letamaio di interazione umana, è con il tempo e lo studio che capiremo se è davvero brutto come si dipinge.