Leral.net - S'informer en temps réel

Google est devenu raciste parce que ses utilisateurs le sont

Rédigé par leral.net le Lundi 2 Novembre 2015 à 09:00 | | 0 commentaire(s)|

J’ai grandi dans une petite ville de Pennsylvanie. Je ne trouvais pas ma place. J’étais geek et j’étais queer et l’hypocrisie de ma communauté me révoltait. Quand je suis arrivée sur Internet (c’était avant l’invention du World Wide Web), j’ai été émerveillée comme un enfant.

Dans ces premières communautés en ligne, j’ai rencontré des gens qui m’ont ouvert les yeux sur certains problèmes sociaux, et m’ont aidée à penser des questions que j’avais du mal à comprendre.

Des activistes transgenres m’ont aidée à comprendre ce qu’est le genre, des soldats à comprendre ce qu’est la guerre.

Aujourd’hui encore, quand je repense à cette période, je me dis souvent qu’Internet a été ma planche de salut  : tous les «  étrangers  » que j’y ai rencontrés m’ont permis de devenir ce que je suis aujourd’hui. C’est à cette époque que je suis tombée amoureuse d’Internet, d’un portail qui ouvrait sur la société complexe et interconnectée qui est la nôtre.

Le meilleur et le pire

J’ai étudié l’informatique  : je voulais concevoir des systèmes qui créeraient des liens entre les gens et aboliraient les barrières sociales.

Mon univers était plus large et j’ai vite compris qu’Internet était surtout une plateforme, et que les gens y faisaient le meilleur et le pire. Je voyais des activistes utiliser la technologie pour connecter les gens comme jamais auparavant – et des marketeurs utiliser les mêmes outils pour manipuler les gens et faire des profits.

J’ai alors cessé de croire que la technologie ferait à elle seule avancer le monde.

Naissance des réseaux sociaux

A la fin des années 90, la hype autour d’Internet avait créé une bulle énorme. Il devenait évident que de puissants intérêts économiques étaient à l’œuvre dans l’évolution de la technologie.

Après l’éclatement de la bulle des « dotcoms » en 2000, j’ai fait partie d’un réseau de gens décidés à concevoir des systèmes qui permettraient aux gens de se connecter les uns aux autres, de partager et de communiquer. J’étais alors devenue chercheuse, j’avais été formée par des anthropologues et j’étais curieuse de voir ce que les gens allaient faire des nouveaux outils qu’on appelait «  réseaux sociaux  ».

A leurs débuts, j’ai vu les gens prendre conscience qu’ils faisaient partie d’un énorme réseau mondial. C’était exaltant. Mes amis enclins à l’utopie se remirent à rêver  : on allait pouvoir utiliser cette structure pour abolir les barrières sociales et culturelles... Mais quand ces outils ont commencé à être utilisés par tout le monde, on a vu émerger, non les désirs utopiques des premiers développeurs, mais une complexité de pratiques qui ressemblait beaucoup au chaos de la vie ordinaire. [...]

Les Noirs sur MySpace

Sans surprise, quand les réseaux sociaux ont explosé, la technologie s’est trouvée prise dans les questions de classe et de race les Américains [n’ont pas le même rapport  au mot que les Français, ndlr] qui travaillent le pays.

Je me souviendrai encore d’un jour de 2007, où j’étais assise avec une jeune femme blanche de 15 ans, que j’appellerai Kat. Nous parlions de sa vie, et elle a remarqué en passant que tous ses amis avaient quitté MySpace pour aller sur Facebook, qui était plus sûr et qu’il ne se passait rien sur MySpace. J’ai dû lui jeter un regard qui l’a mise mal à l’aise parce qu’elle a commencé à se tortiller en baissant les yeux et a dit  :

«  Ce n’est pas vraiment raciste mais j’imagine qu’on pourrait dire ça. Je suis pas trop à fond dans le racisme mais je pense que MySpace est devenu plus, genre, ghetto, quoi.  »

Mark Zuckerberg, le 21 avril 2010 à San Francisco
Mark Zuckerberg, le 21 avril 2010 à San Francisco - JUSTIN SULLIVAN/GETTY IMAGES NORTH AMERICA/AFP

Je ne m’attendais pas à ça. Je lui ai posé d’autres questions  : je voulais en savoir plus, comprendre comment elle voyait les choses.

«  Les gens qui utilisent MySpace – et une fois de plus, ce n’est pas raciste –, c’est souvent plus des gens qui aiment le hip-hop et le rap, des trucs plus ghetto.  »

Un peu plus tard, elle m’a dit que les Noirs utilisent MySpace et que les Blancs utilisent Facebook.

J’ai relu mes notes de terrain

Fascinée par l’explication de Kat et par sa gêne, j’ai relu mes notes de terrain. Et de fait, de nombreux ados avaient fait des remarques qui, si on les lisait en gardant en tête l’histoire de Kat, montraient bien qu’un fossé social s’était creusé entre les deux sites, pendant l’année 2006-2007.

J’ai commencé à interroger les ados et j’ai rapidement recueilli plus de témoignages sur les façons dont la race influait sur les modes d’utilisation de la technologie.

Ce n’était pas la première fois que mes recherches mettaient en évidence des divisions raciales.

La migration des Blancs

J’avais cartographié les réseaux d’ados d’une même école sur MySpace et découvert que même dans les écoles «  bien intégrées  », les amitiés se distribuaient selon la race. Et j’avais vu et entendu d’innombrables exemples des façons selon lesquelles la race configure les dynamiques sociales qui émergent via les réseaux sociaux.

Dans notre société prétendument «  post-raciale  », les relations sociales et les dynamiques restaient configurées par la race. Mais aujourd’hui, les jeunes n’ont pas de vocabulaire pour parler des questions de race, ou interpréter ce qu’ils voient.

C’est ainsi qu’en 2006-2007, je vis se reproduire en ligne un phénomène que l’histoire connaissait bien : un « White Flight »  numérique. MySpace était décrit comme les centre-villes américains des années 70  : un endroit dangereux où traînaient des personnages malfamées, alors que Facebook était respectable et sans danger.

Celui qui a l’argent

Facebook avait avec lui l’argent, les médias et les utilisateurs les plus privilégiés et il est devenu l’acteur dominant du marché. Aujourd’hui, tout le monde va sur Facebook. Les divisions raciales, elles, ont seulement migré de technologie  : entre Instagram et Vine, par exemple.

Les ados n’ont pas créé les dynamiques racialisées des réseaux sociaux  : ils n’ont fait que reproduire ce qu’ils voyaient ailleurs et le projetaient sur leurs outils.

Ils n’étaient d’ailleurs pas les seuls. Journalistes, parents, politiciens et éditocrates leur fournissaient un langage raciste qu’ils reprenaient ensuite. Aujourd’hui, la valeur d’une technologie dépend – culturellement et financièrement – de l’usage qu’en font les membres les plus privilégiés de notre société. [...]

Jusque dans les pubs sur Google

Le «  Big data  » est un concept flou, qui englobe un certain nombre de technologies et de pratiques d’analyse de données massives. Cependant, aujourd’hui, le big data est surtout un phénomène de société, qui promet qu’on pourra résoudre tous les problèmes dans le monde, si seulement on arrive à recueillir un peu plus de données. Pourtant, la question que pose le big data n’est pas  : avons-nous assez de données  ? Mais bien  : pouvons-nous en tirer du sens et des savoirs susceptibles d’éclairer le social  ?

danah boyd, en avril 2010
danah boyd, en avril 2010 - Eddie Kay/Wikimedia Commons/CC

 

Je voudrais raconter un exemple, l’histoire de Latanya Sweeney, une brillante informaticienne. Latanya cherchait un jour son propre nom sur Google quand elle a remarqué que toutes les publicités qui apparaissaient proposaient des services de recherche d’antécédents criminels. Elles avaient des titres du genre de  : «  Latanya Sweeney  : a-t-elle déjà été arrêtée  ?  » qui suggéraient qu’il était bien possible qu’elle ait un casier judiciaire.

Intriguée, Latanya a lancé d’autres recherches sur Google, avec des noms plus blancs. Dans ces cas-là, les publicités proposées étaient bien différentes. Elle a alors lancé un test plus systématique et découvert qu’en effet, si on cherchait des noms noirs sur Google, on avait plus de chance de voir des publicités pour des services et des produits relatifs à la justice pénale.

Ce que le grand public n’a pas compris

L’histoire a été largement relayée par les médias. Mais ce que le grand public n’a pas vu, c’est que Google ne faisait pas de discrimination volontaire et qu’il ne vendait pas non plus ses publicités sur une base raciale. Google n’avait aucune idée du contenu des publicités. Il savait juste que ses utilisateurs cliquaient plus souvent sur ces pubs quand ils faisaient certaines recherches et qu’il valait donc mieux proposer ces pubs en lien avec des recherches statistiquement similaires.

En d’autres termes  : comme les utilisateurs racistes étaient plus susceptibles de cliquer sur ces publicités quand ils cherchaient des noms noirs, l’algorithme de Google se transformait pour proposer ces publicités en lien avec des noms identifiés comme noirs.

Pour le dire encore autrement  : Google devenait raciste parce que ses utilisateurs racistes l’entraînaient à l’être.

Le système « prédit »

Les préjugés de notre culture sont profondément inscrits dans d’innombrables bases de données, que nos systèmes utilisent pour apprendre et évoluer.

  • Les étudiants noirs ont plus de chance d’avoir déjà reçu des mesures disciplinaires à l’école que les étudiants blancs.
  • Les hommes noirs ont beaucoup plus de chances d’être arrêtés et contrôlés dans la rue, d’être arrêtés pour possession de drogue ou condamnés pour des délits, même quand leurs pairs blancs se comportent de la même façon.
  • Les pauvres ont bien plus de chances d’avoir des problèmes de santé, d’habiter plus loin de leur travail et d’avoir des difficultés à payer leur loyer.

Pourtant, tous ces paramètres, toutes ces données servent de base à des algorithmes évolutifs [ « learning algorithms », ndlr] personnalisés, à des outils judiciaires d’évaluation des risques, à l’établissement de scores de crédit et d’assurance. Ainsi, le système «  prédit  » que les gens qui sont déjà marginaux sont les personnes les plus à risques – et en conséquent, restreignent encore plus leurs options et s’assurent ainsi qu’ils deviennent ainsi, effectivement, des personnes plus à risques.

Quand mes pairs et moi avons imaginé des outils avec lesquels on pouvait cartographier tout le réseau de ses connaissances ou rendre public ses intérêts et ses goûts, ce n’est pas à ça que nous pensions. Nous n’avions pas créé des architectures pour reproduire les préjugés, mais nous n’avions pas conçu de systèmes pour les combattre non plus. [...]

Que faire de ces informations ?

Comment utiliser les données  ? Il n’y a pas de réponse simple. Un de mes collègues à Microsoft Research – Eric Horvitz – peut prédire avec une précision stupéfiante si quelqu’un va être hospitalisé, en se fondant sur ses recherches internet. Que doit-il faire de cette information  ? Prévenir les personnes en question  ? C’est plutôt intrusif et effrayant. Ne rien faire, alors  ? Mais est-ce bien éthique  ?

Quelle que soit la précision de nos prédictions, la question de leur utilisation est épineuse, sur le plan culturel comme social. Et la technologie ne résoudra pas ça pour nous.

Au contraire  : pour l’instant, la technologie nous empêche d’avoir un débat sain sur la capacité d’action, la dignité, la responsabilité et l’éthique.

Au bord d’un nouveau précipice

Les données, c’est le pouvoir. Or, nous voyons de plus en plus les données être utilisées pour dominer les gens. Cette situation n’est pas inéluctable – mais je sais aujourd’hui, d’expérience, que quand on laisse une technologie se développer sans la contraindre, elle finit presque toujours par profiter aux plus privilégiés aux dépens de tous les autres.

Nous sommes au bord d’un nouveau précipice. La plupart des activistes des médias concentrent leurs efforts sur la question du libre accès à Internet. Bien sûr, c’est une question cruciale. Mais je voudrais vous inciter à pousser la réflexion encore plus loin.

Nous sommes en train d’entrer dans un monde de prédictions, où de plus en plus de gens vont pouvoir juger d’autres gens, grâce à des données.

L’analyse de ces données pourra évaluer combien valent les gens, en tant que travailleurs, parents, emprunteurs, apprenants et citoyens. Ces analyses existent depuis des décennies mais elles pèsent de plus en plus dans la prise de décision, dans de nombreux secteurs. Et la plupart des gens ne comprennent pas du tout comment elles fonctionnent. [...]

Cours de techno pour tous

Un des plus gros problèmes aujourd’hui, c’est que les concepteurs et les utilisateurs des outils qui façonnent le futur se ressemblent tous énormément.

Dans la plupart des écoles américaines, l’éducation statistique et technique ne figure pas dans les programmes. Alors que les emplois liés à la technologie sont bien payés et qu’il faut aujourd’hui une certaine connaissance technique minimale pour pouvoir être citoyen à part entière, moins de 5% des lycées offrent des cours d’informatique avancés. Pour les jeunes de couleurs [ « black and brown », ndlr], les chances d’accéder à ces cours sont encore plus minces.

Si les gens ne comprennent pas comment agissent et fonctionnent ces systèmes, comment imaginer qu’ils pourront s’y opposer  ? [...]

Si nous voulons un monde meilleur...

De plus en plus, la technologie est appelée à jouer un rôle central dans tous les secteurs, toutes les communautés et toutes les interactions. On peut pousser les hauts cris ou rêver d’un monde où tous les problèmes disparaissent comme par magie  : c’est la solution facile.

Mais si nous voulons vraiment créer un monde meilleur, nous allons devoir faire réellement attention aux outils qui apparaissent, et apprendre à poser des questions qui fâchent  : comment peut-on s’en servir pour améliorer la vie des gens ordinaires  ?

Aujourd’hui plus que jamais, pour le bien de tous, ceux qui se préoccupent de justice sociale doivent comprendre la technologie, et ceux qui comprennent la technologie doivent s’engager pour la justice sociale.

rue89.nouvelobs.com