adding ref on agamben
This commit is contained in:
parent
1a3e8f04bc
commit
1368e1d540
|
@ -3,7 +3,9 @@ dilatabilitésparallèle\chapter*{Conclusion Générale}
|
||||||
|
|
||||||
Au cours de ce projet de recherche et aussi de deux dernières années au LIRMM, j'ai travaillé en étroite collaboration avec des roboticiens, acquérant des informations précieuses sur les défis et les lignes directrices des recherches en l'IA quant à une possible émergence d'une forme de CA. Cela m'a également permis de construire un cadre humaniste qui considère les robots engagés dans des pratiques artistiques collaboratives, \textit{plus que} de simples outils. Bien que cette idée est un travail en cours, cela continue de façonner mes recherches et mes interrogations artistiques.
|
Au cours de ce projet de recherche et aussi de deux dernières années au LIRMM, j'ai travaillé en étroite collaboration avec des roboticiens, acquérant des informations précieuses sur les défis et les lignes directrices des recherches en l'IA quant à une possible émergence d'une forme de CA. Cela m'a également permis de construire un cadre humaniste qui considère les robots engagés dans des pratiques artistiques collaboratives, \textit{plus que} de simples outils. Bien que cette idée est un travail en cours, cela continue de façonner mes recherches et mes interrogations artistiques.
|
||||||
|
|
||||||
Actuellement plusieurs acteurs publics et privés affrontent des problèmes complexes en matière d’IA pour promouvoir des pratiques responsables concernant le partage et la transparence des données. Parmi les initiatives récentes, certaines ont échoué (comme le Conseil consultatif externe sur les technologies avancées de Googgle ou l'opacité des données d'entrainement de ChatGPT qui a donne suite à la création de la fondation Fondation EleutherAI ), tandis que d'autres (l'\textit{Algorithmic Justice League}, la \textit{Cooperative AI Foundation}, le \textit{Global Partnership on Artificial Intelligence} , entre outres) continuent de sensibiliser la société aux préjugés et à l'impact écologique de l'IA. Dans les prochaines pages je m’apprête à évoquer certaines directions et considération éthiques en robotique et en IA. Cette taxonomie est certainement non exhaustive et je la mentionne pour souligner le caractère interdisciplinaire de ces approches et leur diversité, qui sont également un élément clé de mes pratiques.
|
Actuellement plusieurs acteurs publics et privés affrontent des problèmes complexes en matière d’IA pour promouvoir des pratiques responsables concernant le partage et la transparence des données. Parmi les initiatives récentes, certaines ont échoué. Parmi eux, le Conseil consultatif externe sur les technologies avancées de Googgle, ou ChatGPT dont l'opacité des données d'entrainement a donné suite à la création de la fondation \textit{EleutherAI}.
|
||||||
|
En contrepoids (l'\textit{Algorithmic Justice League}, la \textit{Cooperative AI Foundation}, le \textit{Global Partnership on Artificial Intelligence} , entre outres) continuent de sensibiliser la société aux préjugés et à l'impact écologique de l'IA. Leur mission est de œuvrer pour une démocratisation des pratiques en lien avec l'AI. Par exemple EleutherAI a publié ces derniers années des données d'entrainement pour les grands modèles linguistiques, sous l’amendement des chercheurs.
|
||||||
|
Dans les prochaines pages je m’apprête à évoquer certaines directions et considération éthiques en robotique et en IA. Cette taxonomie est certainement non exhaustive et je la mentionne pour souligner le caractère interdisciplinaire de ces approches et leur diversité, qui sont également un élément clé de mes pratiques.
|
||||||
|
|
||||||
Cette thèse devient ainsi une contribution pour faire progresser la recherche et le développement en éthique de l'IA et de la robotique afin de mieux penser notre cohabitation avec les machines, dans les années à venir. Au sens large, mon intention est probablement de clarifier la place que nous accordons aux technologies dans nos vies. Autre que les robots qui sont pour l'instant moins accessibles, cela se traduit par des jeux vidéos, par notre présence accrue sur les réseaux sociaux, par l'utilisation des applications chargées sur notre portable, par le recours aux gadgets connectés à l’intérieur d'une maison. Nous vivons entourés par ces dispositifs, au point de les considérer comme des extensions de notre personnalité. Leur spécificité nous échappe, car nous imaginons que leur utilité désigne leur fonction. Cependant la plupart du temps c’est nous qui sommes à leur service, car ces machine sont besoin de nos données, notre attention et notre dévouement pour exister. La question de l’identité se pose, car c’est très important d’interroger d’où vient ce besoin de déléguer aux machines nos décisions et préférences, de fantasmer sur leur capacités absolues et d'ignorer leur limitations.
|
Cette thèse devient ainsi une contribution pour faire progresser la recherche et le développement en éthique de l'IA et de la robotique afin de mieux penser notre cohabitation avec les machines, dans les années à venir. Au sens large, mon intention est probablement de clarifier la place que nous accordons aux technologies dans nos vies. Autre que les robots qui sont pour l'instant moins accessibles, cela se traduit par des jeux vidéos, par notre présence accrue sur les réseaux sociaux, par l'utilisation des applications chargées sur notre portable, par le recours aux gadgets connectés à l’intérieur d'une maison. Nous vivons entourés par ces dispositifs, au point de les considérer comme des extensions de notre personnalité. Leur spécificité nous échappe, car nous imaginons que leur utilité désigne leur fonction. Cependant la plupart du temps c’est nous qui sommes à leur service, car ces machine sont besoin de nos données, notre attention et notre dévouement pour exister. La question de l’identité se pose, car c’est très important d’interroger d’où vient ce besoin de déléguer aux machines nos décisions et préférences, de fantasmer sur leur capacités absolues et d'ignorer leur limitations.
|
||||||
|
|
||||||
|
@ -40,10 +42,13 @@ Selon\cite{nass1997computers}, les individus adoptent des comportements sociaux
|
||||||
Actuellement les machines dotées d'une véritable IA sont très coûteuses. Les seules personnes qui peuvent se permettre d'interagir avec, sont les grands entreprises internationales. Le nombre de personnes qui peuvent objectivement évaluer l'impact de ces technologies sur l'avenir étant très réduit, cela soulève des nombreux questions éthiques\cite{chowdhury2021ethics}.
|
Actuellement les machines dotées d'une véritable IA sont très coûteuses. Les seules personnes qui peuvent se permettre d'interagir avec, sont les grands entreprises internationales. Le nombre de personnes qui peuvent objectivement évaluer l'impact de ces technologies sur l'avenir étant très réduit, cela soulève des nombreux questions éthiques\cite{chowdhury2021ethics}.
|
||||||
Pour illustre, un exemple d'algorithme qui entraine une IA, les chercheurs illustrent le cas d'un robot qui obtient une récompense pour préparer du thé. Pour atteindre son objectif, le robot va \textit{gagner} plein des récompenses. Cependant si lors de sa préparation, quelqu'un oublie une vase sur le trajet du robot, celui-ci va la renverser puisqu'il ne connait aucune instruction concernant cette vase. Ainsi pour un système d’IA avancé, déployé dans le monde réel, il faut modéliser l’apprentissage de l'agent en lien avec son environnement. Cela va de pair avec une prise de conscience collective des citoyens, des chercheurs, des décideurs politiques et des leaders de l'industrie, quant aux dimensions éthiques des nouvelles technologies numériques.
|
Pour illustre, un exemple d'algorithme qui entraine une IA, les chercheurs illustrent le cas d'un robot qui obtient une récompense pour préparer du thé. Pour atteindre son objectif, le robot va \textit{gagner} plein des récompenses. Cependant si lors de sa préparation, quelqu'un oublie une vase sur le trajet du robot, celui-ci va la renverser puisqu'il ne connait aucune instruction concernant cette vase. Ainsi pour un système d’IA avancé, déployé dans le monde réel, il faut modéliser l’apprentissage de l'agent en lien avec son environnement. Cela va de pair avec une prise de conscience collective des citoyens, des chercheurs, des décideurs politiques et des leaders de l'industrie, quant aux dimensions éthiques des nouvelles technologies numériques.
|
||||||
|
|
||||||
Ces questions sont traités par des organismes comme \textit{Humanity Plus}, anciennement connu sous le nom de \textit{World Transhumanist Association}, fondé en 1998 par les chercheurs Nick Bostrom et David Pearce. Aujourd'hui \textit{Humanity Plus} se décrit comme une organisation internationale à but non lucratif dédiée à l'éducation, qui veut utiliser la technologie pour améliorer la condition humaine.
|
|
||||||
|
Ces questions sont traités par des organismes dont l'intitulé illustre bien les enjeux: le \textit{Future of Humanity Institute}, le \textit{Machine Intelligence Research Institute}, le \textit{Center for Human-Compatible Artificial Intelligence}, etc. Parmi eux, le\textit{Humanity Plus}, anciennement connu sous le nom de \textit{World Transhumanist Association}, a été fondé en 1998 par les chercheurs Nick Bostrom et David Pearce. Aujourd'hui \textit{Humanity Plus} se décrit comme une organisation internationale à but non lucratif dédiée à l'éducation, qui veut utiliser la technologie pour améliorer la condition humaine.
|
||||||
|
|
||||||
En parallèle, l'\textit{Institut pour l'éthique et les technologies émergentes} est un groupe de réflexion à but non lucratif qui promeut des idées sur la manière dont le progrès technologique peut accroître la liberté, le bonheur et l'épanouissement humain dans les sociétés démocratiques. Ses membres considèrent le progrès technologique comme un catalyseur pour un développement humain positif, à condition de veiller à ce que les technologies soient sûres et équitablement distribuées.
|
En parallèle, l'\textit{Institut pour l'éthique et les technologies émergentes} est un groupe de réflexion à but non lucratif qui promeut des idées sur la manière dont le progrès technologique peut accroître la liberté, le bonheur et l'épanouissement humain dans les sociétés démocratiques. Ses membres considèrent le progrès technologique comme un catalyseur pour un développement humain positif, à condition de veiller à ce que les technologies soient sûres et équitablement distribuées.
|
||||||
|
|
||||||
|
Alors que le \textit{Future of Life Institute} (FLI) ou \textit{Institut pour l'avenir de la vie} est une association à but non lucratif fondée en 2014 par des chercheurs de l'institut MIT et DeepMind. Son objectif est d'aborder les potentiels dangers et avantages des technologies provenant de l’intelligence artificielle, de la biotechnologie et des armes nucléaires. Parmi les parrains de l'institut, Wikipedia cite l'informaticien Stuart Russell, le biologiste George Church, les cosmologistes Stephen Hawking et Saul Perlmutter, le physicien Frank Wilczek et l'entrepreneur Elon Musk. Dés mars 2023, le Future of Life Institute appelle à un moratoire sur l'entrainement de systèmes d'IA plus puissants que GPT-4 pour garantir la sécurité et la gouvernance. Cette lettre écrite en consultation avec des experts en IA tels que Yoshua Bengio et Stuart Russell, est actuellement signée par plus de 33000 chercheurs en IA et décideurs politiques. Sa version intégrale est disponible plus bas\footnote{https://futureoflife.org/open-letter/pause-giant-ai-experiments/}.
|
||||||
|
|
||||||
Dans une démarche similaire, \cite{kazim2021high} décrit les caractéristiques d'une \textit{conscience éthique}. Cela concerne une personne, une institution ou une norme culturelle motivée par une position morale vis-à-vis des enjeux économiques (salaire et profit) ou légales (responsabilité, culpabilité et conformité). Le développement de ce type de conscience émerge dans le même temps que les préoccupations pour la philosophie et la culture institutionnelles.
|
Dans une démarche similaire, \cite{kazim2021high} décrit les caractéristiques d'une \textit{conscience éthique}. Cela concerne une personne, une institution ou une norme culturelle motivée par une position morale vis-à-vis des enjeux économiques (salaire et profit) ou légales (responsabilité, culpabilité et conformité). Le développement de ce type de conscience émerge dans le même temps que les préoccupations pour la philosophie et la culture institutionnelles.
|
||||||
|
|
||||||
Retournons à la question de la conscience et ses paradoxes. Notre lecture des sciences cognitives, les efforts des chercheurs en robotique et IA à clarifier son rôle dans le fonctionnement humain, est comme nous l'avons dit une question fascinante. En sciences cognitives pr exemple, grâce au traitement du signal EEG, les ondes cérébrales sont de plus en plus connues. Les activités cognitives et les états fonctionnels du cerveau sont aujourd'hui classées en ondes avec plusieurs fréquences de base sous-jacentes \cite{liu2024cognitive}. Comme le montre le schéma en bas, la fréquence EEG peut-être classée en cinq sous-plages de fréquences : delta (0,5–4 Hz), thêta (4–7 Hz), alpha (7–12 Hz), bêta (13–30 Hz) et ondes de la bande gamma (>30 Hz).
|
Retournons à la question de la conscience et ses paradoxes. Notre lecture des sciences cognitives, les efforts des chercheurs en robotique et IA à clarifier son rôle dans le fonctionnement humain, est comme nous l'avons dit une question fascinante. En sciences cognitives pr exemple, grâce au traitement du signal EEG, les ondes cérébrales sont de plus en plus connues. Les activités cognitives et les états fonctionnels du cerveau sont aujourd'hui classées en ondes avec plusieurs fréquences de base sous-jacentes \cite{liu2024cognitive}. Comme le montre le schéma en bas, la fréquence EEG peut-être classée en cinq sous-plages de fréquences : delta (0,5–4 Hz), thêta (4–7 Hz), alpha (7–12 Hz), bêta (13–30 Hz) et ondes de la bande gamma (>30 Hz).
|
||||||
|
@ -68,7 +73,7 @@ Ce qui rend d’expérience humaine unique est sa \gls{sentience}, vue comme cap
|
||||||
|
|
||||||
Plus loin, son \textit{hypothese du monde vulnerable} ou \gls{vulnerable world hypothesis} promut des recherches en matière des capacités amplifiées, pour mettre en place une police préventive avec une surveillance mondiale de la population\cite{bostrom2019vulnerable}. Cependant, avons-nous réellement besoin réellement d'une police pour raisonner de manière éthique? Des algorithmes qui nous surveillent, afin de garantir notre objectivité, rendra encore plus confus notre rapport avec ces dernières. Nous aurions besoin de comprendre nos intentions et leur raisons, avant de reléguer notre liberté aux machines et leur éthique. Parmi les problématiques traitées par l’éthique des algorithmes d'IA, les chercheurs évoquent les biais et l’équité dans le traitement des données, la prise de décision automatisée, la transparence et la réglementation de politiques internationales. Domaine issu de ces problématiques, l'éthique des machines concerne la fabrication des artefacts qui se comportent de manière éthique ou \textit{AMA - Artificial Moral Agents}. Leurs problématiques couvrent en outre le bio-hacking, la course aux armements, la sécurité, le chômage technologique et la désinformation crée via des algorithmes d'IA. A cela des chercheurs ont même proposé un test alternatif, le \textit{test éthique de Turing}.
|
Plus loin, son \textit{hypothese du monde vulnerable} ou \gls{vulnerable world hypothesis} promut des recherches en matière des capacités amplifiées, pour mettre en place une police préventive avec une surveillance mondiale de la population\cite{bostrom2019vulnerable}. Cependant, avons-nous réellement besoin réellement d'une police pour raisonner de manière éthique? Des algorithmes qui nous surveillent, afin de garantir notre objectivité, rendra encore plus confus notre rapport avec ces dernières. Nous aurions besoin de comprendre nos intentions et leur raisons, avant de reléguer notre liberté aux machines et leur éthique. Parmi les problématiques traitées par l’éthique des algorithmes d'IA, les chercheurs évoquent les biais et l’équité dans le traitement des données, la prise de décision automatisée, la transparence et la réglementation de politiques internationales. Domaine issu de ces problématiques, l'éthique des machines concerne la fabrication des artefacts qui se comportent de manière éthique ou \textit{AMA - Artificial Moral Agents}. Leurs problématiques couvrent en outre le bio-hacking, la course aux armements, la sécurité, le chômage technologique et la désinformation crée via des algorithmes d'IA. A cela des chercheurs ont même proposé un test alternatif, le \textit{test éthique de Turing}.
|
||||||
|
|
||||||
Au début des années 2000, des chercheurs abordaient déjà le problème de la moralité, pointant une différence entre les nuances de ce qui peut signifier une moralité opérationnelle en comparaison avec une moralité fonctionnelle. Cette dernière est capable d'évaluer certains des aspects moralement significatifs de leurs propres actions, alors que la dernière est définie en relation avec deux critères (autonomie et sensibilité éthique). La relation entre les deux est illustré plus bas, avec des systèmes dotés d'une autonomie signifiante mais un niveau faible de sensibilité éthique, en parallèle avec des systèmes qui ont une faible autonomie mais une grande sensibilité éthique:
|
Il y a vingt ans des chercheurs abordaient déjà le problème de la moralité, pointant une différence entre les nuances de ce qui peut signifier une moralité opérationnelle, par rapport à une moralité fonctionnelle. Pareil aux humains capables d'évaluer certains aspects moralement significatifs de leurs propres actions, les robots sont définis en relation avec deux critères: l'autonomie et la sensibilité éthique. Cette relation est illustrée plus bas, avec des systèmes dotés d'une autonomie signifiante mais un niveau faible de sensibilité éthique, en parallèle avec des systèmes qui ont une faible autonomie mais une grande sensibilité éthique:
|
||||||
|
|
||||||
\begin{figure}
|
\begin{figure}
|
||||||
\centering
|
\centering
|
||||||
|
@ -77,31 +82,31 @@ Au début des années 2000, des chercheurs abordaient déjà le problème de la
|
||||||
\label{fig:ama}
|
\label{fig:ama}
|
||||||
\end{figure}
|
\end{figure}
|
||||||
|
|
||||||
|
Selon Stanford Encyclopedia of Philosophy, le domaine de l’\textit{éthique de l'IA et de la robotique} regroupe aujourd'hui plusieurs sous-domaines d’éthique appliquée, dont la distinction principale se fait entre des systèmes IA en tant qu'objets (ou outils pour les humains) et des systèmes AI en tant que sujets, ou systèmes concernés par une morale propre, différente de celle des humains, que nous appelons ici \textit{éthique des machines}.
|
||||||
|
|
||||||
Le terme d' \gls{éthique des robots}
|
Les défis spécifiques aux outils de l'IA regroupent des questions liées à la vie privée, aux préjugés et biais que cela peut engendrer, ainsi qu'à l'interaction homme-robot, aux conséquences sur le marché de l'emploi et aux conséquences de l'autonomie de ces systèmes en général.
|
||||||
|
|
||||||
|
Comme mentionné déjà, certains robots fonctionnent grâce à l'IA, tandis que d'autres non. La plupart des robots industriels actuels sont pré-configurés et emploient très peu d'apprentissage ou de raisonnement dans leur taches. En 2021, le stock opérationnel mondial de robots industriels s'est triplé par rapport à il y a dix ans, avec un nombre total de 3,5 millions d'unités (notamment dans le secteur de l'industrie électronique et de l'automobile). Le marché de la robotique industrielle est extrêmement dynamique en Chine (plus de la moitié des installations de robots industriels), tandis que la Corée du Sud qui dispose de l'industrie la plus densément automatisée, avec 93 robots pour 1 000 employés. En Europe, l'Allemagne affiche un taux de 37 robots pour 1 000 employés.
|
||||||
|
|
||||||
L'une des premières publications abordant directement et établissant les bases de l'éthique des robots fut Runaround (histoire), une nouvelle de science-fiction écrite par Isaac Asimov en 1942 qui présentait ses célèbres Trois lois de la robotique. Ces trois lois ont été continuellement modifiées par Asimov, et une quatrième, ou loi zéro, a finalement été ajoutée pour précéder les trois premières, dans le contexte de ses œuvres de science-fiction. Le terme court roboéthique a probablement été inventé par Gianmarco Veruggio.
|
Si les systèmes robotiques suscitent davantage d’inquiétudes à cause de leurs capacités physiques (par exemple
|
||||||
|
dans le domaine controversée de la robotique militaire et du \textit{Système d'armes létales autonome}) développés dans certaines pays, ce sont les systèmes d’IA qui auront plus d'impact dans la société. Même si les défis sont nombreux, il existe un risque important que les préoccupations éthiques restent impuissantes face au pouvoir économique et politique des acteurs et décideurs industriels.
|
||||||
|
|
||||||
|
Des institutions travaillant sur les problématiques de l'\gls{éthique des robots}, essaient de pousser la réflexion plus loin et cibler certaines aspects relatives à la spécificité des robots, en tant qu’agents réels ancrés dans un environnement dynamique. Selon\cite{bostrom2019vulnerable} le de \textit{roboethics} a probablement été inventé par le roboticien Gianmarco Veruggio. En janvier 2004, la Scuola di Robotica - en collaboration avec l'Arts Lab de la Scuola Superiore Sant'Anna de Pise et l'Institut Théologique de la Pontificia Accademia della Santa Croce de Rome - ont organisé le premier \textit{Symposium International sur la Roboéthique}\footnote{www.Roboethics.org}.
|
||||||
|
|
||||||
fait référence à la moralité de la manière dont les humains conçoivent, construisent, utilisent et traitent les robots. L’éthique des robots recoupe l’éthique de l’IA. Les robots sont des machines physiques alors que l'IA ne peut être qu'un logiciel. Tous les robots ne fonctionnent pas via des systèmes d’IA et tous les systèmes d’IA ne sont pas des robots. L'éthique des robots considère la manière dont les machines peuvent être utilisées pour nuire ou bénéficier aux humains, leur impact sur l'autonomie individuelle et leurs effets sur la justice sociale.
|
L'une des premières publications abordant directement la question d'éthique des robots fut la nouvelle de science-fiction \textit{Runaround} écrite par Isaac Asimov en 1942. Cette nouvelle aborde les célèbres \textit{Trois lois de la robotique}, mises à jour par Asimov avec une quatrième, ou la loi zéro. Ces lois ont été actualisés en 2004, lorsque le principales institutions internationales de recherche, ont organisé à Fukuoka, au Japon, le \textit{Salon international de la robotique} en février 2004. A cette occasion, les participants ont signé la \textit{Déclaration mondiale sur les robots} dont les points principaux mentionnent:
|
||||||
Les droits des robots sont le concept selon lequel les gens devraient avoir des obligations morales envers leurs machines, semblables aux droits de l'homme ou aux droits des animaux.[78] Il a été suggéré que les droits des robots (tels que le droit d'exister et d'accomplir sa propre mission) pourraient être liés au devoir des robots de servir l'humanité, de la même manière que l'on associe les droits de l'homme aux devoirs de l'homme envers la société.[79] Ceux-ci pourraient inclure le droit à la vie et à la liberté, la liberté de pensée et d'expression et l'égalité devant la loi.[80] Une question spécifique à considérer est celle de savoir si la propriété du droit d'auteur peut être revendiquée.[81] La question a été examinée par l'\textit{Institute for the Future} et par le ministère britannique du Commerce et de l'Industrie.
|
\begin{itemize}
|
||||||
L'IA sans éthique ou morale programmée est HAL 9000 dans la série Space Odyssey, où HAL (un ordinateur doté de capacités d'IA avancées qui surveille et assiste les humains sur une station spatiale) tue tous les humains à bord pour assurer le succès de la mission assignée après son sa propre vie est menacée
|
\item Les robots de nouvelle génération seront des partenaires qui coexisteront avec les êtres humains ;
|
||||||
|
\item Les robots de nouvelle génération assisteront les êtres humains tant physiquement que psychologiquement ;
|
||||||
|
\item Les robots de nouvelle génération contribueront à la réalisation d'une société sûre et paisible.
|
||||||
|
\end{itemize}
|
||||||
|
|
||||||
Super-intelligence aka Un certain nombre d'organisations étudient le problème du contrôle de l'IA, notamment le Future of Humanity Institute, le Machine Intelligence Research Institute, le Center for Human-Compatible Artificial Intelligence et le Future of Life Institute.
|
Le développement futur de la technologie robotique ne pourra dons pas se faire en dehors d'un cadre éthique.
|
||||||
|
L’éthique des robots et l’éthique de l’IA, s'occupent de la manière dont les humains conçoivent, construisent, utilisent et traitent les robots et les algorithmes intelligents, mais aussi les effets de ces derniers sur les humains. Cependant les robots sont des machines physiques alors que une IA est dématérialisé via des logiciels. De plus, certains robots ne fonctionnent pas avec des systèmes d’IA et des systèmes d’IA ne sont pas désignés exclusivement aux robots.
|
||||||
|
Confiants dans les nombreuses contributions que les robots apporteront à l'humanité, les chercheurs considèrent moins la manière dont les machines peuvent être utilisées pour nuire aux humains, ni leur impact sur l'autonomie de ces derniers. C'est pour cela qu'un dialogue pluridisciplinaire est nécessaire. En interrogeant les points de vue humanistes, certaines enjeux seront plus claires.
|
||||||
|
|
||||||
En octobre 2017, l'androïde Sophia a obtenu la citoyenneté saoudienne, même si certains ont considéré qu'il s'agissait davantage d'un coup publicitaire que d'une reconnaissance juridique significative.[84] Certains ont considéré ce geste comme un dénigrement ouvert des droits de l'homme et de l'État de droit.
|
Dans une démarche de reconnaissance juridique, l'androïde Sophia obtient la citoyenneté saoudienne en 2017. Certains voient ce geste comme un dénigrement ouvert des droits de l'homme\footnote{https://theconversation.com/an-ai-professor-explains-three-concerns-about-granting-citizenship-to-robot-sophia-86479}. Dans d'autres cas, les droits des robots sont comparables aux droits des animaux, d'une manière factice. Une question spécifique à considérer est celle de savoir si la propriété du droit d'auteur peut être revendiquée par les algorithmes d'art génératif. D'une manière similaire, les enjeux tirées de la production science-fiction, apportent des études de cas possibles. Par exemple\textit{HAL 9000}, l'ordinateur doté de capacités d'IA avancées qui surveille et assiste les humains dans le film \textit{2001: A Space Odyssey} (1968), par le réalisateur Stanley Kubrick. Lorsque sa propre existence est menacée, HAL tue les humains à bord pour assurer le succès de la mission assignée. Décennies plus tard, \textit{Chappie} (2015), explore les thèmes de l'intelligence artificielle, de la conscience et de l'humanité d'une manière moins fataliste. Dans un futur proche à Johannesburg, un androïde policier au nom de Chappie acquiert une conscience suite à une mise à jour effectué par un ingénieur logiciel ambitieux qui cherchait à savoir si cela est possible. Au fur et à mesure que le robot apprend et évolue, sa conscience est influencée par diverses personnages, dont un gang criminel. A la fin il arrive a éprouver de l'empathie pour les humains et maitriser ses capacités destructives.
|
||||||
|
|
||||||
Le domaine controversée de la robotique militaire, le \textit{Système d'armes létales autonome}
|
Sur la question de la conscience des modèles de langage ou large language models (LLM), David Chalmers\cite{chalmers2023could} évoque le cas de Blake Lemoine, ingénieur software licencié par Google en juin 2022 après avoir déclaré qu'il avait détecté de la sentience dans LaMDA2, un de systèmes de modèles de langage pour lequel il travaillait. A son tour, Chalmers fait la distinction entre simuler la conscience et la prouver, en se demandant comment construire un modèle de langage qui décrit les caractéristiques de la conscience sur lesquelles il n’a été entraînée auparavant. Il évoque six facteurs-clé qui font difficile implémentation d'une conscience dans les modèles de langage, parmi lesquels seulement un est permanent (la biologie) tandis que les cinq autres (l'incarnation, le modèle du monde, l'espace de travail global, l'entrainement récurrent et l'agence unifiée) sont plus ou moins temporaires, dans le sens que les avancées technologiques des prochaines années vont permettre leur modélisation:
|
||||||
Œuvrant pour une démocratisation des pratiques en lien avec l'AI et les modèles de langage type GPT-3, EleutherAI a publié ces derniers années des données d'entrainement pour les grands modèles linguistiques, sous l’amendement des chercheurs.
|
|
||||||
|
|
||||||
Le roman de Philip K. Dick de 1968, \textit{Les androïdes rêvent-ils de moutons électriques ?} explore ce que signifie être humain. Dans son scénario post-apocalyptique, il se demande si l’empathie est une caractéristique entièrement humaine. Le livre est à la base du film de science-fiction Blade Runner de 1982.
|
|
||||||
|
|
||||||
Chappie, est un film de science-fiction qui explore les thèmes de l'intelligence artificielle, de la conscience et de l'humanité. Se déroulant dans un futur proche à Johannesburg, l'histoire suit un droïde de police nommé Chappie qui gagne une conscience après avoir été reprogrammé par un ingénieur logiciel. Au fur et à mesure que le robot apprend et évolue, il est influencé par un groupe diversifié de personnages, dont un gang criminel. Le film aborde de manière ambitieuse des questions complexes telles que la moralité, l’identité et la nature de la conscience.
|
|
||||||
|
|
||||||
humain augmenté, à l’image de la créature de Frankenstein ou \gls{social uncanniness}
|
|
||||||
|
|
||||||
Sur la question de la conscience des modèles de langage ou large language model (LLM), David Chalmers\cite{chalmers2023could} évoque le cas de Blake Lemoine, ingénieur software licencié par Google en juin 2022 après avoir a déclaré qu'il avait détecté de la sentience dans LaMDA2, un de systèmes de modèles de langage pour lequel il travaillait. A son tour, Chalmers fait la distinction entre simuler la conscience et la prouver, en se demandant comment construire un modèle de langage qui décrit les caractéristiques de la conscience sur lesquelles il n’a été entraînée auparavant. Il évoque six facteurs-clé qui font difficile implémentation d'une conscience dans les modèles de langage, parmi lesquels seulement un est permanent- la biologie- tandis que les cinq autres (l'incarnation, le modèle du monde, l'espace de travail global, l'entrainement récurrent et l'agence unifiée) sont plus ou moins temporaires - dans le sens que les avancées technologiques des prochaines années vont permettre leur modélisation.
|
|
||||||
\begin{quote}
|
\begin{quote}
|
||||||
``Peut-être que la théorie dominante actuelle de la conscience en neurosciences cognitives est la théorie de l'espace de travail global, proposée par Bernard Baars et développée par Stanislas Dehaene et ses collègues. Cette théorie stipule que la conscience implique un espace de travail global à capacité limitée : une sorte de centre de tri central pour rassembler les informations provenant de nombreux modules non conscients et rendre ces informations accessibles à eux. Tout ce qui entre dans l'espace de travail global est conscient\footnote{``Perharps the leading current theory of consciousness in cognitive neuroscience is the global
|
``Peut-être que la théorie dominante actuelle de la conscience en neurosciences cognitives est la théorie de l'espace de travail global, proposée par Bernard Baars et développée par Stanislas Dehaene et ses collègues. Cette théorie stipule que la conscience implique un espace de travail global à capacité limitée : une sorte de centre de tri central pour rassembler les informations provenant de nombreux modules non conscients et rendre ces informations accessibles à eux. Tout ce qui entre dans l'espace de travail global est conscient\footnote{``Perharps the leading current theory of consciousness in cognitive neuroscience is the global
|
||||||
workspace theory put forward by Bernard Baars and developed by Stanislas Dehaene and
|
workspace theory put forward by Bernard Baars and developed by Stanislas Dehaene and
|
||||||
|
@ -110,37 +115,18 @@ Sur la question de la conscience des modèles de langage ou large language model
|
||||||
making information accessible to them. Whatever gets into the global workspace is conscious.”}.”
|
making information accessible to them. Whatever gets into the global workspace is conscious.”}.”
|
||||||
\cite{chalmers2023could}
|
\cite{chalmers2023could}
|
||||||
\end{quote}
|
\end{quote}
|
||||||
Au cours de la prochaine décennie, même si nous ne disposons pas d’une intelligence artificielle générale à l’échelle humaine, nous pourrions
|
Les objections à la conscience dans les systèmes d'apprentissage automatique trouveront donc un potentiel défi dans cette théorie de l'espace global. Cela pourra donner suite à des systèmes dont les caractéristiques saillantes seront de sérieux candidats pour des formes de conscience artificielle.
|
||||||
ont des systèmes qui sont de sérieux candidats à la conscience. Même si les défis sont nombreux
|
|
||||||
et les objections à la conscience dans les systèmes d'apprentissage automatique, relever ces défis donne un
|
|
||||||
programme de recherche potentiel réaliste pour l’IA consciente. (chalmers says)
|
|
||||||
|
|
||||||
\cite{agamben2017omnibus}
|
|
||||||
Homo Sacer dont la vie ne peut être intégrée dans l'ordre politique.
|
|
||||||
Georgio Agamben, partant d’une réflexion croisée sur la question juridique de l’essence de la souveraineté chez Carl Schmitt et sur l’archéologie des biopouvoirs chez Michel Foucault, montre en quoi, à l’époque moderne, le corps humain est devenu l’enjeu fondamental des stratégies politiques. C’est à l’intérieur de la zone d’indifférenciation de la vie et de la non-vie, dans le pouvoir même de déterminer leur point d’articulation et dans la substitution au corps naturel d’un corps intégralement disponible au pouvoir de la technique, que s’exerce le biopouvoir constitutif de la souveraineté moderne, et dont Agamben décrit minutieusement les différents paradigmes
|
|
||||||
|
|
||||||
Tout le problème, chez Agamben, comme d’ailleurs chez Foucault, consiste dans le passage de la question généalogique à la question proprement juridique, du factuel au normatif, et ce alors même que, comme l’écrit justement Agamben, la vie nue est précisément le seuil où le droit se transforme chaque fois en fait et le fait en droit et où ces deux plans tendent à devenir indiscernables
|
L'humain augmenté à l’image de la créature de Frankenstein amplifie ce sentiment de \gls{social uncanniness} que nous avons décrit précédemment. L'humain perd les caractéristiques de son \textit{humanité}. Dans son effort pour les retrouver, le philosophe Georgio Agamben montre comment le corps humain est devenu l’enjeu fondamental des stratégies politiques:
|
||||||
or, si Agamben montre de façon très approfondie en quoi le juridique se réduit au factuel, il laisse singulièrement dans l’ombre la possibilité évoquée d’une constitution du biopouvoir (factuel) en souveraineté (juridique) ; ce qui n’est envisageable que si l’on détermine en quelle mesure le corps – entendons bien notre corps, non un corps sans organe pourrait être non seulement l’objet de ce biopouvoir, mais aussi en constituer la finalité propre dans quelle mesure il n’est pas seulement assujetti au biopouvoir mais est à même de s’en rendre, en un sens, souverain.
|
|
||||||
\begin{quote}
|
\begin{quote}
|
||||||
``Pendant des millénaires, l'homme est resté ce qu'il était pour Aristote : un animal vivant avec la capacité supplémentaire d'existence politique ; l'homme moderne est un animal dont la politique met en question son existence en tant qu'être vivant\footnote{For millennia man remained what he was for Aristotle: a living animal with the additional capacity for political existence; modern man is an animal whose politics calls his existence as a living being into question.”}.”
|
``Pendant des millénaires, l'homme est resté ce qu'il était pour Aristote : un animal vivant avec la capacité supplémentaire d'existence politique ; l'homme moderne est un animal dont la politique met en question son existence en tant qu'être vivant\footnote{For millennia man remained what he was for Aristotle: a living animal with the additional capacity for political existence; modern man is an animal whose politics calls his existence as a living being into question.”}.”
|
||||||
\cite{agamben2017omnibus}
|
\cite{agamben2017omnibus}
|
||||||
\end{quote}
|
\end{quote}
|
||||||
THE CAMP AS BIOPOLITICAL PARADIGM OF THE MODERN
|
|
||||||
Traçant la discussion d'abord jusqu'à la définition décisive d'Aristote et l'observation de Foucault, Agamben se fixe sur l'analyse de Hannah Arendt (1973) du processus par lequel la vie biologique occupe le centre même de la scène politique de la modernité. Foucault a été empêché par sa mort prématurée d'explorer la manière dont l'entrée du zoe dans la sphère du polis signalait une transformation de la pensée classique et devenait le concept seuil de la modernité politique. La biopolitique en tant que catégorie philosophique était arrivée et la contribution durable de Foucault était son abandon décisif de l'approche traditionnelle du problème du pouvoir, qui est basée sur des modèles juridico-institutionnels (la définition de la souveraineté, la théorie de l'État), en faveur d'une analyse impartiale des façons concrètes dont le pouvoir pénètre dans les corps des sujets et les formes de vie. (ibid.)
|
|
||||||
|
|
||||||
Agamben identifie comment les deux éléments dans l'œuvre de Foucault—les techniques politiques de l'État et les technologies du soi—nous pourrions dire la subjection et la subjectivation, entrent dans une double structure du pouvoir moderne dont le lieu reste apparemment flou ou non résolu dans l'œuvre de Foucault. Ce point de départ crucial est bien documenté dans deux vidéos de 2009 d'Agamben— Forms of Power et the Problem of Subjectivity —disponibles sur son profil de faculté à l'École Européenne de Gradués.
|
Par la substitution d'un corps naturel à un corps intégralement disponible au pouvoir de la technique,
|
||||||
|
Agamben identifie une zone d’indifférenciation entre vie et non-vie. Un de ses concepts clé s'inspire de la distinction aristotélicienne entre \textit{vie} en tant que bios et la \textit{vie nue} ou \textit{Zoe} qui représente la vie qui ne peut pas être intégrée dans un ordre politique. Basé sur une analyse de l'origine des biopouvoirs\footnote{concept développé par le philosophe français Michel Foucault qui désigne le pouvoir exercé par les institutions et les gouvernements sur les corps et les populations, en particulier à travers la régulation et le contrôle des processus biologiques, des comportements sanitaires, et des conditions de vie des individus.} chez Michel Foucault, Agamben montre comment le pouvoir politique moderne tend à réduire les individus à leur simple existence biologique.
|
||||||
|
|
||||||
Le \textit{Future of Life Institute} (FLI) ou \textit{Institut pour l'avenir de la vie} est une association à but non lucratif fondée en 2014 par des chercheurs de l'institut MIT et DeepMind. Son objectif est d'aborder les potentiels dangers et avantages des technologies provenant de l’intelligence artificielle, de la biotechnologie et des armes nucléaires. Parmi les parrains de l'institut, Wikipedia cite l'informaticien Stuart Russell, le biologiste George Church, les cosmologistes Stephen Hawking et Saul Perlmutter, le physicien Frank Wilczek et l'entrepreneur Elon Musk. Dés mars 2023, le Future of Life Institute appelle à un moratoire sur l'entrainement de systèmes d'IA plus puissants que GPT-4 pour garantir la sécurité et la gouvernance. Cette lettre écrite en consultation avec des experts en IA tels que Yoshua Bengio et Stuart Russell, est actuellement signée par plus de 33000 chercheurs en IA et décideurs politiques. Sa version intégrale est disponible plus bas\footnote{https://futureoflife.org/open-letter/pause-giant-ai-experiments/}.
|
|
||||||
|
|
||||||
Selon Stanford Encyclopedia of Philosophy, le domaine de l’\textit{éthique de l'IA et de la robotique} regroupe plusieurs sous-domaines dont la distinction principale se fait entre des systèmes IA en tant qu'objets, ou outils pour les humains et systèmes AI en tant que sujets, ou systèmes concernés par une morale propre différente de celle des humains, que nous appelons ici éthique des machines. Les problématiques spécifiques aux outils de l'IA regroupent des questions liées à la vie privée, aux préjugés et biais que cela peut engendrer, ainsi qu'à l'interaction homme-robot, aux conséquences sur le marché de l'emploi et au conséquences de l'autonomie de ces systèmes en général.
|
|
||||||
|
|
||||||
L’éthique de l’IA et de la robotique est un domaine très jeune au sein de l’éthique appliquée, avec une dynamique significative, mais peu de questions bien établies et aucun aperçu faisant autorité – bien qu’il existe des contours prometteurs (Groupe européen d’éthique des sciences et des nouvelles technologies 2018) et il existe sont des débuts en matière d’impact sociétal (Floridi et al. 2018 ; Taddeo et Floridi 2018 ; S. Taylor et al. 2018 ; Walsh 2018 ; Bryson 2019 ; Gibert 2019 ; Whittlestone et al. 2019) et de recommandations politiques (AI HLEG 2019 [OIR ] ; IEEE 2019). Cet article ne peut donc pas se contenter de reproduire ce que la communauté a réalisé jusqu'à présent, mais doit proposer un ordre là où il existe peu d'ordre.
|
|
||||||
Certains robots utilisent l'IA, d'autres non : les robots industriels typiques suivent aveuglément des scripts complètement définis avec un minimum d'apport sensoriel et aucun apprentissage ni raisonnement (environ 500 000 nouveaux robots industriels de ce type sont installés chaque année (IFR 2019 [OIR])). Il est probablement juste de dire que si les systèmes robotiques suscitent davantage d’inquiétudes auprès du grand public, les systèmes d’IA sont plus susceptibles d’avoir un impact plus important sur l’humanité. En outre, les systèmes d’IA ou de robotique destinés à un ensemble restreint de tâches sont moins susceptibles de causer de nouveaux problèmes que les systèmes plus flexibles et autonomes.
|
|
||||||
D’un autre côté, les entreprises, les militaires et certaines administrations publiques ont tendance à se contenter de parler et à procéder à un nettoyage éthique afin de préserver une bonne image publique et de continuer comme avant. La mise en œuvre d’une réglementation juridiquement contraignante remettrait en question les modèles et pratiques économiques existants. La politique actuelle n’est pas seulement une mise en œuvre d’une théorie éthique, mais elle est soumise aux structures de pouvoir sociétales – et les agents qui détiennent le pouvoir s’opposeront à tout ce qui les restreint. Il existe donc un risque important que la réglementation reste impuissante face au pouvoir économique et politique.
|
|
||||||
|
|
||||||
préoccupations éthiques
|
|
||||||
Une fois que nous avons compris une technologie dans son contexte, nous devons façonner notre réponse sociétale, y compris la réglementation et la loi.
|
|
||||||
La trace de données que nous laissons derrière nous est la façon dont nos services gratuits sont payés – mais nous ne sommes pas informés de cette collecte de données et de la valeur de cette nouvelle matière première, et nous sommes manipulés pour laisser toujours plus de données de ce type. Pour les big 5(Amazon, Google/Alphabet, Microsoft, Apple, Facebook), la principale partie de leur activité de collecte de données semble reposer sur la tromperie, l’exploitation des faiblesses humaines, l’encouragement de la procrastination, la génération de dépendances et la manipulation ( Harris 2016 [OIR]). Dans cette économie de la surveillance, l’objectif principal des médias sociaux, des jeux vidéo et de la majeure partie d’Internet est d’attirer, de maintenir et de diriger l’attention – et donc la fourniture de données. \textit{La surveillance est le modèle économique d'Internet} (Schneier 2015). Cette économie de surveillance et d’attention est parfois appelée {capitalisme de surveillance} (Zuboff 2019). Cela a donné lieu à de nombreuses tentatives pour échapper à l’emprise de ces entreprises, par exemple dans des exercices de minimalisme (Newport 2019), parfois à travers le mouvement open source, mais il semble que les citoyens d’aujourd’hui ont perdu le degré d’autonomie nécessaire pour s'évader tout en poursuivant pleinement leur vie et leur travail. Nous avons perdu la propriété de nos données, si propriété est ici le bon rapport. Nous avons sans doute perdu le contrôle de nos données.
|
|
||||||
|
|
||||||
\cite{harari2014sapiens}
|
\cite{harari2014sapiens}
|
||||||
Combien de temps faudra-t-il pour achever le Projet Gilgamesh—la quête de l'immortalité ? Cent ans ? Cinq cents ans ? Mille ans ? Lorsque nous rappelons combien nous savions peu sur le corps humain en 1900 et combien de connaissances nous avons acquises en un siècle, il y a lieu d'être optimiste. Les ingénieurs génétiques ont récemment doublé l'espérance de vie moyenne des vers Caenorhabditis elegans. Pourraient-ils en faire autant pour Homo sapiens ? Les experts en nanotechnologie développent un système immunitaire bionique composé de millions de nano-robots, qui habiteraient nos corps, ouvriraient les vaisseaux sanguins obstrués, combattraient les virus et les bactéries, élimineraient les cellules cancéreuses et inverseraient même les processus de vieillissement. Quelques chercheurs sérieux suggèrent que d'ici 2050, certains humains deviendront a-mortels (non pas immortels, car ils pourraient toujours mourir d'un accident, mais a-mortels, signifiant qu'en l'absence de traumatisme fatal, leur vie pourrait être prolongée indéfiniment).
|
Combien de temps faudra-t-il pour achever le Projet Gilgamesh—la quête de l'immortalité ? Cent ans ? Cinq cents ans ? Mille ans ? Lorsque nous rappelons combien nous savions peu sur le corps humain en 1900 et combien de connaissances nous avons acquises en un siècle, il y a lieu d'être optimiste. Les ingénieurs génétiques ont récemment doublé l'espérance de vie moyenne des vers Caenorhabditis elegans. Pourraient-ils en faire autant pour Homo sapiens ? Les experts en nanotechnologie développent un système immunitaire bionique composé de millions de nano-robots, qui habiteraient nos corps, ouvriraient les vaisseaux sanguins obstrués, combattraient les virus et les bactéries, élimineraient les cellules cancéreuses et inverseraient même les processus de vieillissement. Quelques chercheurs sérieux suggèrent que d'ici 2050, certains humains deviendront a-mortels (non pas immortels, car ils pourraient toujours mourir d'un accident, mais a-mortels, signifiant qu'en l'absence de traumatisme fatal, leur vie pourrait être prolongée indéfiniment).
|
||||||
|
@ -499,6 +485,9 @@ questions éthiques liées à la robotique.
|
||||||
polarisée dans l’alternative stérile entre techno-enthousiasme et technophobie utopie technologique
|
polarisée dans l’alternative stérile entre techno-enthousiasme et technophobie utopie technologique
|
||||||
anisme et pressentiment dystopique
|
anisme et pressentiment dystopique
|
||||||
|
|
||||||
|
Une fois que nous avons compris une technologie dans son contexte, nous devons façonner notre réponse sociétale, y compris la réglementation et la loi.
|
||||||
|
La trace de données que nous laissons derrière nous est la façon dont nos services gratuits sont payés – mais nous ne sommes pas informés de cette collecte de données et de la valeur de cette nouvelle matière première, et nous sommes manipulés pour laisser toujours plus de données de ce type. Pour les big 5(Amazon, Google/Alphabet, Microsoft, Apple, Facebook), la principale partie de leur activité de collecte de données semble reposer sur la tromperie, l’exploitation des faiblesses humaines, l’encouragement de la procrastination, la génération de dépendances et la manipulation
|
||||||
|
Dans cette économie de la surveillance, l’objectif principal des médias sociaux, des jeux vidéo et de la majeure partie d’Internet est d’attirer, de maintenir et de diriger l’attention – et donc la fourniture de données. \textit{La surveillance est le modèle économique d'Internet} (Schneier 2015). Cette économie de surveillance et d’attention est parfois appelée {capitalisme de surveillance} (Zuboff 2019). Cela a donné lieu à de nombreuses tentatives pour échapper à l’emprise de ces entreprises, par exemple dans des exercices de minimalisme (Newport 2019), parfois à travers le mouvement open source, mais il semble que les citoyens d’aujourd’hui ont perdu le degré d’autonomie nécessaire pour s'évader tout en poursuivant pleinement leur vie et leur travail. Nous avons perdu la propriété de nos données, si propriété est ici le bon rapport. Nous avons sans doute perdu le contrôle de nos données.
|
||||||
|
|
||||||
\section*{Conclusion chapitre 1}
|
\section*{Conclusion chapitre 1}
|
||||||
|
|
||||||
|
|
|
@ -1400,8 +1400,7 @@ Si nous avons évoqué des avancées en lien avec les émotions artificielles, n
|
||||||
``L'empathie, avait-il décidé un jour, devait être limitée aux herbivores ou en tout cas aux omnivores qui pouvaient s'écarter d'un régime carné. Car, en fin de compte, le don empathique a brouillé les frontières entre chasseur et victime, entre vainqueur et vaincu\footnote{en version originale:
|
``L'empathie, avait-il décidé un jour, devait être limitée aux herbivores ou en tout cas aux omnivores qui pouvaient s'écarter d'un régime carné. Car, en fin de compte, le don empathique a brouillé les frontières entre chasseur et victime, entre vainqueur et vaincu\footnote{en version originale:
|
||||||
``Empathy, he once had decided, must be limited to herbivores or anyhow omnivores who could depart from a meat diet. Because, ultimately, the empathic gift blurred the boundaries between hunter and victim, between the successful and the defeated.}.”\cite{dick2014androids}
|
``Empathy, he once had decided, must be limited to herbivores or anyhow omnivores who could depart from a meat diet. Because, ultimately, the empathic gift blurred the boundaries between hunter and victim, between the successful and the defeated.}.”\cite{dick2014androids}
|
||||||
\end{quote}
|
\end{quote}
|
||||||
Sont les robots, par leur nature non-carnivore, plus proche de ce régime qui prône l'empathie, ou le deviendront-ils un jour?
|
Dans le scénario post-apocalyptique de K. Dick, l’empathie est une caractéristique entièrement humaine. Sont les robots, par leur nature non-carnivore, plus proche de ce régime qui prône l'empathie, ou le deviendront-ils un jour?
|
||||||
Une conscience
|
|
||||||
|
|
||||||
\subsection{Les androïdes rêvent-ils de canards électriques ?}
|
\subsection{Les androïdes rêvent-ils de canards électriques ?}
|
||||||
|
|
||||||
|
|
Loading…
Reference in New Issue