Applications langue – À lire avant achat : Apprendre une langue en 15 jours

Applications pour apprendre une langue :

C’est entre autres choses ce contre quoi Gebru, Mitchell et cinq autres scientifiques ont mis en garde dans leur article, qui appelle les LLM des « perroquets stochastiques ». « La technologie du langage peut être très, très utile lorsqu’elle est correctement définie, située et encadrée », déclare Emily Bender, professeur de linguistique à l’Université de Washington et l’un des coauteurs de l’article. Mais la nature polyvalente des LLM – et le caractère persuasif de leur mimétisme – incite les entreprises à les utiliser dans des domaines pour lesquels elles ne sont pas nécessairement équipées. Dans une récente allocution à l’une des plus grandes conférences sur l’IA, Gebru a lié ce déploiement précipité de LLM aux conséquences qu’elle avait vécues dans sa propre vie. Gebru est né et a grandi en Éthiopie, où une guerre croissante a ravagé la région la plus septentrionale du Tigré. L’Éthiopie est également un pays où 86 langues sont parlées, presque toutes non prises en compte dans les technologies linguistiques traditionnelles. Bien que les LLM aient ces lacunes linguistiques, Facebook s’appuie fortement sur eux pour automatiser sa modération de contenu à l’échelle mondiale. Lorsque la guerre du Tigré a éclaté pour la première fois en novembre, Gebru a vu la plate-forme patauger pour maîtriser la vague de désinformation. Ceci est emblématique d’un modèle persistant que les chercheurs ont observé dans la modération du contenu. Les communautés qui parlent des langues non prioritaires par la Silicon Valley souffrent des environnements numériques les plus hostiles. Gebru a noté que ce n’est pas non plus là que le mal s’arrête. Lorsque les fausses nouvelles, les discours de haine et même les menaces de mort ne sont pas modérés, ils sont ensuite récupérés en tant que données de formation pour créer la prochaine génération de LLM. Et ces modèles, répétant ce sur quoi ils sont formés, finissent par régurgiter ces schémas linguistiques toxiques sur Internet. Dans de nombreux cas, les chercheurs n’ont pas étudié suffisamment à fond pour savoir comment cette toxicité pourrait se manifester dans les applications en aval. Mais certaines bourses existent. Dans son livre de 2018 Algorithms of Oppression, Safiya Noble, professeur agrégé d’information et d’études afro-américaines à l’Université de Californie à Los Angeles, a documenté comment les préjugés intégrés dans la recherche Google perpétuent le racisme et, dans les cas extrêmes, motivent peut-être même la violence raciale. . « Les conséquences sont assez graves et importantes », dit-elle. Google n’est pas seulement le principal portail de connaissances pour les citoyens moyens. Il fournit également l’infrastructure d’information pour les institutions, les universités et les gouvernements étatiques et fédéraux. Google utilise déjà un LLM pour optimiser certains de ses résultats de recherche. Avec sa dernière annonce de LaMDA et une récente proposition qu’elle a publiée dans un document de préimpression, la société a clairement indiqué qu’elle ne ferait qu’augmenter sa dépendance à l’égard de la technologie. Noble craint que cela n’aggrave encore les problèmes qu’elle a découverts : « Le fait que l’équipe d’IA éthique de Google ait été licenciée pour avoir soulevé des questions très importantes sur les modèles de discrimination racistes et sexistes intégrés dans les grands modèles linguistiques aurait dû être un signal d’alarme. » BigScience Le projet BigScience a commencé en réponse directe au besoin croissant d’un examen scientifique minutieux des LLM. En observant la prolifération rapide de la technologie et la tentative de censure par Google de Gebru et Mitchell, Wolf et plusieurs collègues ont réalisé qu’il était temps que la communauté des chercheurs prenne les choses en main. Inspirés par des collaborations scientifiques ouvertes comme le CERN en physique des particules, ils ont conçu une idée de LLM open source qui pourrait être utilisé pour mener des recherches critiques indépendantes de toute entreprise. En avril de cette année, le groupe a reçu une subvention pour le construire à l’aide du supercalculateur du gouvernement français. Dans les entreprises technologiques, les LLM sont souvent construits par seulement une demi-douzaine de personnes qui ont principalement une expertise technique. BigScience souhaitait amener des centaines de chercheurs d’un large éventail de pays et de disciplines à participer à un processus de construction de modèles véritablement collaboratif. Wolf, qui est français, a d’abord approché la communauté française de la PNL. À partir de là, l’initiative a fait boule de neige en une opération mondiale englobant plus de 500 personnes. Le collaboratif est maintenant vaguement organisé en une douzaine de groupes de travail, chacun abordant différents aspects du développement et de l’investigation du modèle. Un groupe mesurera l’impact environnemental du modèle, y compris l’empreinte carbone de la formation et de l’exploitation du LLM et en tenant compte des coûts du cycle de vie du supercalculateur. Un autre se concentrera sur le développement de moyens responsables de rechercher les données de formation, en cherchant des alternatives à la simple récupération de données sur le Web, telles que la transcription d’archives radio ou de podcasts historiques. Le but ici est d’éviter le langage toxique et la collecte non consensuelle d’informations privées.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *