mardi 30 juin 2020

Les données marketing et technologiques sont racistes et biaisées: voici comment les spécialistes du marketing peuvent y remédier

Avec la résurgence du mouvement Black Lives Matter sur les médias sociaux, de nombreux spécialistes du marketing prennent un nouvel avis des problèmes que le BIPOC (un acronyme qui signifie Noir, indigène et personnes de couleur) et ses alliés parlent depuis des années.

Le plus notable d'entre eux C'est ainsi que les données - que nous considérons traditionnellement comme impartiales et «juste les chiffres» - sont en fait très influencées par les préjugés des ingénieurs, des spécialistes du marketing, des développeurs et des scientifiques des données qui programment, saisissent et manipulent ces données.

Alors que certains peuvent à peine remarquer ce phénomène, ce n'est en fait rien de nouveau.

Dans cette pièce, nous allons parler de:

  • Ce qu'est le biais implicite.
  • Comment cela affecte les données et la technologie marketing.
  • Pourquoi il est important de le reconnaître dans notre référencement et notre marketing.
  • Ce que les spécialistes du marketing peuvent faire.

Qu'est-ce qu'un biais implicite?

Pour vraiment comprendre comment ces modes ls codent le biais, il est important de comprendre comment fonctionne le biais implicite.

Selon research from The Ohio State University:

«[I] le biais implicite fait référence aux attitudes ou aux stéréotypes qui affectent notre compréhension, nos actions et nos décisions de manière inconsciente. Ces préjugés, qui englobent à la fois des évaluations favorables et défavorables, sont activés involontairement et sans la conscience ou le contrôle intentionnel d'un individu. "

Pour paraphraser, le biais implicite est essentiellement la pensée des gens que vous n'avez pas sachez que vous aviez.

Ces biais peuvent provenir de la façon dont nous avons été élevés, des valeurs que nos familles détiennent, des expériences individuelles, etc.

Et ils ne sont pas toujours mauvais stéréotypes, mais nous savons tout de même que les individus sont indiviles duels et les stéréotypes sont des généralisations larges et radicales - qui n'appartiennent pas à l'apprentissage automatique et aux statistiques prétendument impartiales.

Vous pensez que vous êtes à l'abri des biais implicites?

Consultez l'une des < un href="https://www.hfrance.fr/les-donnees-marketing-et-technologiques-sont-racistes-et-biaisees-voici-comment-les-specialistes-du-marketing-peuvent-y-remedier/article/405564/" target = "_ blank " rel = "noopener noreferrer "> Harvard's Implicit Association Tests (IAT) à voyez où se trouvent vos propres biais implicites.

N'oubliez pas que les biais implicites ne font pas de vous une mauvaise personne. C'est quelque chose que la majorité des gens ont.

C'est la façon dont nous y répondons qui compte!

Comment le biais implicite affecte-t-il les algorithmes et les données marketing?

Algorithmes et l'apprentissage machine est seulement aussi bon que les informations que nous alimentons ces modèles.

Comme les ingénieurs le disent souvent: "ordures entrantes, ordures sortantes".

Il y a quelques années chez MozCon, Britney Muller a démontré comment elle a créé un algorithme d'apprentissage automatique facile pour distinguer les photos de son serpent, Pumpkin, des photos du fondateur de Moz Rand Fishkin.

La clé du développement de son programme ML consistait à soumettre des photos de son serpent et en les marquant manuellement comme "Pumpkin" et en faisant de même pour Fishkin.

Finalement, le programme a pu distinguer le reptile du PDG.

De cela, vous pouvez voir où l'aspect manuel de l'apprentissage automatique entre en jeu - et où la bi les ases (implicites ou explicites) peuvent affecter les données que nous recevons.

Essentiellement, l'humain fournissant les entrées choisit comment l'algorithme apprend.

Si elle a changé les photos de serpents avec Fishkin photos, l'algorithme «impartial» appellerait Fishkin le serpent et le serpent un PDG.

Sites de photos

Une étude intitulée Être Noir dans Corporate America a constaté que «seuls 8 pour cent des personnes employées dans les professions de cols blancs sont des Noirs, et la proportion diminue fortement aux échelons supérieurs de l'échelle de l'entreprise, en particulier lors du passage de l'encadrement intermédiaire au niveau de la direction.»

Ceci malgré le fait que «les professionnels noirs sont plus susceptibles que leurs homologues blancs d'être ambitieux dans leur carrière et d'aspirer à un poste de haut niveau.»

En tant que spécialistes du marketing, il est important de se demander , comment les données que nous étiquetons et publions sur nos sites Web affectent-elles ce qui se passe dans la vie réelle?

Il peut s'agir du poulet et de l'œuf - la représentation doit-elle suivre les statistiques réelles du lieu de travail ou les statistiques du lieu de travail peuvent-elles être affecté par la représentation même dans des endroits «inoffensifs» comme des sites de photos d'archives?

Même anecdotique, ce dernier se révèle vrai.

Lorsque vous parlez à des amis en RH, ils ont confirmé à maintes reprises que les candidats aux entretiens d'embauche sont plus susceptibles de prendre position lorsqu'ils voient des personnes qui leur ressemblent à t e société, à des postes de direction et au sein de l'équipe d'entretien.

La représentation a toujours été un problème sur les sites de photographie, à tel point que spécialité photo sites ont récemment surgi en réponse avec exclusivement BIPOC, des personnes handicapées et des personnes dans des corps plus grands.

Même maintenant (fin juin 2020), une recherche de« femme working ”sur un site de banque d'images populaire donne plus de 100 images sur leur recherche de première page. Parmi ces 100+ photos…

  • 10 présentent des personnes apparaissant au BIPOC en arrière-plan ou en groupe.
  • 11 se concentrent uniquement sur le BIPOC en tant que personne principale.
  • 4 images montrent des personnes âgées dans un lieu de travail professionnel.
  • 0 images montrent des personnes dans des corps plus grands.
  • 0 images montrent des personnes handicapées.

Ces données sont basées uniquement sur une recherche rapide et un nombre approximatif, mais elles montrent que la représentation fait défaut.

En tant que spécialistes du marketing, il est essentiel que nous utilisions et demandions des images diversifiées et inclusives.

Si la photographie de votre site Web est composée de personnes de race blanche, c'est il est temps de changer.

Données Google

Dans son livre, " Algorithms of Oppression ", Safiya Noble, Ph.D. explique comment les personnes en qui nous avons confiance pour créer l'algorithme non biaisé et les modèles d'apprentissage automatique pour Google et les autres moteurs de recherche ne le sont pas eux-mêmes.

En fait, il y a quelques années, un employé de Google a continué un anti-diversité rant (qui a reçu des centaines de votes positifs d'autres employés) et n'a ensuite été licencié qu'après l'attention des médias.

Nous devons nous demander: "Combien d'autres travailler sur des algorithmes partagent des sentiments biaisés et anti-diversité similaires? »

Mais comment ce manque de sensibilisation autour de ces biais connus et inconnus se joue-t-il réellement dans la recherche?

Mon conjoint aime cuire au four et récemment, nous cherchions plus de détails sur une recette pour laquelle nous n'avions pas tous les ingrédients.

Incrédule que nous devions faire un autre voyage à l'épicerie, je suis allé chez Google pour demander: " Que faites-vous en fait avez-vous besoin de barres de citron? "

Dans ma hâte de prouver que j'ai raison, j'ai appuyé trop tôt sur le bouton Entrée et je n'ai reçu que" Que voulez-vous en fait n. ”

À ma grande horreur et consternation, voici mon résultat:

 résultat raciste google

En tant que responsable marketing, ma pensée immédiate était:" Qu'est-ce qui, dans mon historique de recherche, indiquerait à Google que ceci était le résultat correct pour moi? "

J'ai ressenti de la honte et de la culpabilité et honnêtement comme si j'étais un terrible allié.

Et puis j'ai pensé à un gamin noir à la recherche d'une recette ou d'un projet d'école et à ce sujet - et à quel point cela pourrait être déchirant.

Quand je l'ai annoncé sur Twitter, j'ai été surpris par le nombre de personnes qui défendaient le résultat.

Encore une fois, le même cri: "C'est juste les données. "

Et," il est logique d'obtenir ce résultat étant donné la requête. "

En tant que spécialistes du marketing, nous ne passons pas assez de temps à analyser les données d'entrée et la les personnes qui ont formé les machines.

Nous supposons que les données sont impartiales et équitables - que Google est une méritocratie de résultats.

Quand c'est vraiment notre travail de nous assurer qu'elles ne le sont pas ' t.

Nous travaillons pour influencer les résultats de recherche dans les directions de nos entreprises et de nos clients - pour leur propre profit et gain économique.

Pourquoi est-il logique que Google renvoie ce résultat - que le fait d'avoir la lettre «n» justifie à lui seul la recherche dans n'importe quel contexte?

(Pourquoi Google n'affiche-t-il pas d'informations sur l'azote - le gaz représenté par N sur le tableau périodique?)

La raison en est les données, toutes les données qu'ils ont sur cette lettre leur ont dit que c'était le plus pertinent pour les chercheurs.

Comme le dit Jonathan Wilson:

«Cela a également du sens grâce à la recherche sémantique. Au fil du temps, Google a vu que les personnes (blanches) disent, comme dans cet article, "le n-mot" [au lieu de la pleine explication]. C'est la même chose que d'utiliser 'pop' de manière interchangeable avec 'soda'. C'est plus un foyer du vaste racisme en Amérique qu'un algorithme dans ce cas, bien que quelqu'un [chez Google] puisse annuler manuellement le résultat. "

Algorithmes publicitaires Facebook

Au printemps 2019, leDépartement américain du logement et du développement urbain a poursuivi Facebook pour la manière dont il permettait aux annonceurs de cibler les annonces en fonction de la race, du sexe et de la religion (ce sont toutes des classes protégées en vertu de la loi américaine).

Facebook a affirmé s'être débarrassé de cette option manuelle pour que les annonceurs puissent discriminer, mais les données ont prouvé que leurs algorithmes ont repris là où la discrimination manuelle s'était arrêtée.

L'étude a révélé que les offres d'emploi pour les concierges et les chauffeurs de taxi sont présentées à une fraction plus élevée des minorités et les offres d'emploi pour les infirmières et les secrétaires sont présentés à une fraction plus élevée de femmes.

Selon Karen Hao du MIT Technology Review :

« Un biais se produit pendant la collecte des données lorsque les données de formation reflètent les préjugés existants. L'outil publicitaire de Facebook base ses décisions d'optimisation sur les préférences historiques que les gens ont démontrées. Si plus de minorités se sont engagées avec des annonces de location dans le passé, le modèle d'apprentissage automatique identifiera ce modèle et le réappliquera à perpétuité. Encore une fois, il… s'engagera sur la voie de la discrimination en matière d'emploi et de logement - sans qu'on lui dise explicitement de le faire. »

Modèles de reconnaissance faciale

A récent article NYTimes montre comment la reconnaissance faciale est également insuffisante sur la base des données introduites dans le modèle.

Robert Julian-Borchak Williams a été arrêté à tort en raison de ce manque de diversité dans la façon dont ces modèles sont formés ( repensez à la citrouille ee snake vs. Fishkin):

«En 2019, les algorithmes des deux sociétés ont été inclus dans une étude fédérale de plus de 100 systèmes de reconnaissance faciale qui ont révélé qu'ils étaient biaisés, identifiant à tort afro-américains et asiatiques visages 10 à 100 fois plus que les visages du Caucase. "

Des études montrent que" bien que la technologie fonctionne relativement bien sur les hommes blancs, les résultats sont moins précis pour d'autres données démographiques, en partie à cause de un manque de diversité dans les images utilisées pour développer les bases de données sous-jacentes. "

Cela a été prouvé encore plus loin sur un récent message Twitter" pour le plaisir "sur la soumission d'une image basse résolution dans un programme et Le modèle crée une image réaliste et haute résolution d'une personne à partir de cette image pixellisée initiale.

Lorsque plusieurs personnes ont soumis une photo très connue du président Barack Obama, les résultats étaient toujours des hommes blancs (même si la plupart tout le monde pouvait reconnaître de qui l'image pixélisée était réellement).

 apprentissage automatique par reconnaissance faciale

Encore une fois, ceci est un autre échec des données d'entrée dans les modèles d'apprentissage automatique et un manque d'examen de nos biais implicites lors de l'ingénierie, de la programmation, du codage, de la définition d'objectifs exécutifs (s'il n'y a pas d'objectif d'améliorer la reconnaissance des noirs, il n'est jamais construit), de priorisation, d'assurance qualité et marketing.

Algorithmes Uber & Lyft

Pourtant, une autre étude montre que les algorithmes que nous programmons - que même nous pensons qu'ils ne pourraient pas être affectés par les biais - le sont certainement.

Les données montrent que les applis de covoiturage comme Uber et Lyft facturer disproportionnellement de plus par mile pour les trajets vers et depuis la destination avec" un pourcentage plus élevé des résidents non blancs, des résidents à faible revenu ou des résidents de l'enseignement supérieur. "

Les auteurs de l'étude ont expliqué que:

" Contrairement aux services de taxi traditionnels, les prix des les services d'appels sont dynamiques, calculés en utilisant à la fois la durée du trajet demandé et la demande de services d'appels dans la région. Uber détermine la demande de trajets à l'aide de modèles d'apprentissage automatique, en utilisant des prévisions basées sur la demande précédente pour déterminer les zones dans lesquelles les conducteurs Alors que l'utilisation de l'apprentissage automatique pour prévoir la demande peut améliorer la capacité des applications de covoiturage à fournir des services à leurs utilisateurs, les méthodes d'apprentissage automatique sont connues pour adopter des politiques qui affichent une disparité démographique dans le recrutement en ligne, en ligne. publicités et prédiction de la récidive. "

Ce n'est pas la première fois, cependant.

En 2016, les données ont montré que les personnes avec des noms à consonance noire étaient plus susceptibles d'avoir leurs cavaliers annuler, les passagers noirs ont attendu plus longtemps que les cavaliers blancs, et les femmes ont été conduites inutilement plus loin que les hommes.

Non seulement cela affecte la vie quotidienne des gens, mais l'effet de compilation des données signifie que ces biais s'accumulent continuellement les uns sur les autres. - prouver et se réprouver - pour se solidifier dans notre subconscient en tant qu'humains et continuer d'affirmer (ou même de créer plus) de biais implicites.

Un résultat supplémentaire se présente comme une nouvelle réponse où les humains «passent le blâme» puisque la perception est que nous ne sommes pas responsables, ce sont les données.

Cela affecte la façon dont nous gérons nos entreprises, vivons nos vies, commercialisons nos produits et services, etc. C'est dans le tissu de notre société - et les algorithmes ne font qu'intensifier cet effet.

Conférences et panels marketing

Il n'y a pas de moyen plus simple de voir til ramifie les préjugés implicites dans notre vie quotidienne en tant que spécialistes du marketing que de regarder les leaders de l'industrie, les conférenciers invités, les listes d'experts, etc.

Bien que nous soyons tous aujourd'hui très hyper-conscients de blancs (et souvent à quel point masculins) la plupart des panels ou des listes d'experts sont, il semble toujours que peu de pression soit exercée sur les organisations pour diversifier leurs files d'attente.

Et, s'il y a de la pression, certains événements semblent toujours croire il n'y a pas de haut-parleurs BIPOC faciles à trouver , experts ou panélistes .

Ce n'est évidemment pas vrai et un autre exemple de notre propre confirmation et de nos biais implicites.

A Article CNN de 2015 parle de moyens rapides pour déterminer si vous affichez des biais cachés dans la vie quotidienne.

La première façon d'introsp ect sur cela est de regarder votre cercle intérieur - tout le monde est-il le même?

La même chose peut être dite pour les conférences et les organisateurs d'événements.

Si votre bassin de conférenciers et de candidats experts toujours la même chose, c'est un problème vous - pas celui de quelqu'un d'autre.

Si votre conférence a le même haut-parleur noir chaque année, il est essentiel que nous fassions le travail pour trouver les experts non blancs dans chaque domaine.

Comment pouvons-nous obtenir les plus jeunes opportunités BIPOC pour construire leur métier? Ils existent.

Ils pourraient tout simplement ne pas exister dans votre cercle.

Pourquoi est-ce important pour le référencement et le marketing?

Connaître le biais implicite des données et les algorithmes sont essentiels - maintenant plus que jamais - parce que de plus en plus de gens utilisent des technologies comme la recherche Google et les médias sociaux comme principaux outils de collecte d'informations.

Nous n'allons plus dans les bibliothèques et autres sources d'information gratuites pour être guidé par un professionnel avec des diplômes avancés en sciences de l'information.

(Bien que même ceux pLes professionnels avaient leurs propres biais qui servaient de mécanismes de contrôle de l'information - c'est pourquoi tant d'Américains apprennent à propos de Juneteenth en 2020.)

Au lieu de cela, la plupart des gens comptent sur Internet pour leur fournir le même type des processus de recherche.

Non seulement Internet est une source vaste et non réglementée, mais la base de l'optimisation des moteurs de recherche et de la publicité payante signifie que de nombreux chercheurs et internautes ne savent pas comment dire la vérité opinions des amateurs.

Et avec l'avènement des nouvelles sur les réseaux sociaux, tout le monde peut devenir une "source de nouvelles" et les utilisateurs ne sont pas souvent formés à les examiner dans le contexte des réseaux sociaux.

Dans «Algorithms of Oppression», Safiya Noble, Ph.D., souligne également que:

«Google biaise la recherche vers ses propres intérêts économiques pour sa rentabilité et pour renforcer sa domination du marché à tout prix. "

Cela signifie que ces géants de la technologie ne fonctionnent pas dans le meilleur intérêt des personnes qui utilisent ces plates-formes, mais dans leur propre intérêt commercial.

Si Google et Facebook (et d'autres géants des technologies de l'information) vont gagner de l'argent en corroborant continuellement nos propres biais de confirmation (c'est-à-dire en nous disant ce que nous voulons entendre et en nous maintenant dans notre propres échos d'informations), alors nous sommes coincés dans un cycle d'être à la merci de l'algorithmique et de nos propres préjugés personnels.

Que peuvent faire les spécialistes du marketing?

Les moteurs de recherche ne sont pas uniquement programmés par des ingénieurs chez Google ou Bing - ils s'appuient sur les pages et les données que les propriétaires de sites Web, les référenceurs et les spécialistes du marketing mettent sur les sites Web.

Un exemple populaire inclut la recherche " coiffures professionnelles hommes "et" coiffures non professionnelles hommes ".

Google affirme que la responsabilité ne repose pas sur leur modèle, mais sur le site Web et les données de texte de remplacement que les développeurs de sites et les référenceurs utilisent. pour ces images.

 exemple de coiffure google 1   exemple de coiffure google 2

Lorsque vous cliquez sur le premier résultat dans la deuxième image, il vous amène à un article qui appelle Google pour cet acte exact, qui ré-alimente le mêmes images à Google pour les coiffures non professionnelles.

En tant que spécialistes du marketing, nous devons reconnaître que cela fait partie du problème!

Google est connu pour ne pas prendre la responsabilité des préjugés dans la recherche, alors comment pouvons-nous devenir des spécialistes du marketing?

Nous pouvons contrôler le texte alternatif, la façon dont les fichiers sont nommés, la langue entourant les fichiers sur les sites, et plus encore.

Protéger les données des utilisateurs

Le marketing numérique moderne est basé sur les données des gens.

Les algorithmes et les modèles d'apprentissage automatique tirent parti de ces données pour affirmer en permanence les biais sur lesquels ils reposent.

S'il existe des moyens raisonnables de protéger les données de votre public cible, nous devrions y travailler.

A roundtable by The Brookings Institute a constaté que les gens croient que" les opérateurs d'algorithmes doivent être plus transparents dans leur traitement des informations sensibles "et que s'il existe des moyens de les utiliserdes données pour des résultats positifs - les modèles d'apprentissage automatique devraient les prendre en compte (là où ils sont légaux et applicables):

«Il a également été discuté que l'utilisation d'attributs sensibles dans le cadre d'un algorithme pourrait être une stratégie pour détecter et éventuellement guérir les biais intentionnels et involontaires. "

La première étape consiste à avoir ces discussions et à travailler sur une solution pour les données privées et protégées des personnes.

les informations d'identification personnelle ne font pas partie de l'algorithme ou du processus d'apprentissage automatique, elles ont la possibilité d'empêcher ces données d'être utilisées de manière biaisée.

Diversifiez votre équipe marketing et votre leadership

Le marketing en tant qu'industrie est toujours très blancs et masculins alors que notre public cible est très diversifié dans d'innombrables aspects.

C'est une erreur de penser qu'un seul type de personne " La perspective de s peut couvrir et comprendre les expériences de tous.

Par en diversifiant notre personnel marketing et en particulier notre leadership , nous pouvons voir où nos propres biais implicites entrent en jeu jouer dans la façon dont nous commercialisons nos produits et services.

Les moyens de le faire incluent:

  • Supprimer les noms des curriculum vitae.
  • Faire des entretiens téléphoniques avant le visage en face-à-face ou vidéo pour réduire les biais.
  • Ayez plus de diversité dans votre équipe d'entrevue.
  • Offrez des possibilités de mentorat aux nouveaux employés.
  • Assurez-vous que vous ' re examinant les biais dans les revues annuelles.
  • Favorisez la transparence salariale dans votre organisation.
  • Soutenez une classe de stagiaires.
  • Affichez les emplois dans des endroits plus diversifiés.

Écoutez sans défense

Celui-ci est difficile, surtout en ce moment.

Mais c'est une clé pour comprendre comment notre marketing affecte les autres au-delà de nous-mêmes.

Écoutez quand vos collègues du BIPOC vous disent que quelque chose dans votre marketing les met mal à l'aise ou n'est pas sensible aux expériences des autres.

J'étais à un conférence une fois où une femme s'est levée pour partager son expérience de travail sur une équipe de marketing tout blanc pour une campagne.

Pendant tout ce temps, elle s'est sentie mal à l'aise avec la diversité de la vidéo sur laquelle l'équipe a travaillé - la toute la distribution était blanche.

Elle en a parlé avec désinvolture ici et là, mais tout le monde dans l'équipe l'a ignorée.

Enfin, lorsque la vidéo a été présentée au PDG, un Indien, son premier commentaire était: «Pourquoi tout le monde dans la vidéo est-il blanc?»

Il est essentiel que nous écoutions les expériences des autres ouvertement et sans défense sur nos propres biais et erreurs implicites - cela fait de nous de meilleures personnes et mieux dans notre travail aussi.

Soulevez les autres au-dessus de vous quand vous le pouvez

C'est probablement la plus difficile.

Souvent, nous avons l'impression de travailler super difficile d'arriver où nous sommes et que nous voulons recevoir nos avantages pour tout ce que nous mettons.

Cependant, il arrive un moment où notre privilège en tant que spécialistes du marketing blanc ainsi que l'effet cumulatif de la popularité et de ce qui signifie que des opportunités peuvent se présenter pour nous que d'autres peuvent ne pas avoir.

Un exemple de cela serait d'arriver à un point où vous n'avez plus à vous présenter comme conférencier lors de conférences et d'événements marketing, mais qui sont demandé ou peut simplement demander à être un conférencier.

Pendant ce temps, d'autres doivent encore naviguer dans le processus de présentation et sont au gré des organisateurs de l'événement.

Le fait de soulever les autres dans cette situation serait inclure:

  • S'assurer que les événements prévoient d'avoir une gamme de conférenciers diversifiée et équitable avant d'accepter de parler.
  • S'assurer que le BIPOC et les femmes conférencières sont rémunérées pour leurs apparitions.
  • Même offrir votre place à un expert sous-représenté dans le même espace.

Ce n'est pas facile de renoncer à quelque chose quit on a l'impression d'avoir travaillé dur, mais cela montre que nous comprenons le fardeau supplémentaire que les experts BIPOC dans le même espace doivent supporter pour obtenir les mêmes résultats que nous avons atteints.

Appel et limiter vos propres biais implicites est difficile.

Et c'est encore plus difficile lorsque les algorithmes, la modélisation des données, l'apprentissage automatique et la technologie sont aggravés contre nous et renforcent nos biais.

Mais dans à long terme, c'est un moyen pour les spécialistes du marketing de travailler ensemble pour faire de notre espace un espace plus équitable, inclusif et représentatif pour tout le monde.

Remerciements spéciaux

Remerciements spéciaux et astuce chapeau SEO / marketing à Jonathan Wilson , Krystal Taing , Rohan Jha , et Jamar Ramos pour la prise en charge de l'édition, l'envoi de liens vers des sources / données d'actualités supplémentaires et des instructions sur cette pièce.

Plus de ressources:

  • Élever les femmes dans le référencement: l'industrie a encore un long chemin à parcourir
  • Comprendre les biais dans les systèmes de recherche et de recommandation
  • Qu'est-ce que le référencement éthique?

Crédits d'image

Toutes les captures d'écran prises par l'auteur, juin 2020

Aucun commentaire:

Enregistrer un commentaire