Système d’évaluation Nextcloud Ethical AI

Nextcloud Hub 10 – votre espace de travail numérique unifié et modulaire

Blog, Communauté, Communiqué de presse

Challenges

Le domaine de l’IA évolue rapidement et bon nombre des nouvelles capacités sont confrontées à des défis éthiques, voire juridiques.

Par exemple, il faut faire face à des problèmes :

Confidentialité et sécurité des données des utilisateurs

Discrimination et préjugés

Consommation d’énergie

En particulier avec les technologies d’IA basées sur les réseaux neuronaux, la simple disponibilité d’un code source ouvert ne suffit plus pour affirmer que l’on contrôle ses données ou que le logiciel est sûr ou éthique. L’ensemble des données et le logiciel utilisés pour la formation, ainsi que la disponibilité du modèle final sont autant de facteurs qui déterminent le degré de liberté et de contrôle dont dispose l’utilisateur.

Normes éthiques en matière d’IA

Jusqu’à Hub 3, nous avons réussi à offrir des fonctionnalités telles que les ressources connexes, les fichiers recommandés, notre boîte de réception prioritaire et même la reconnaissance des visages et des objets sans dépendre de systèmes propriétaires ou de serveurs tiers.

Cependant, s’il existe une vaste communauté qui développe des technologies éthiques, sûres et respectueuses de la vie privée, il existe de nombreuses autres technologies pertinentes que les utilisateurs pourraient vouloir utiliser.

Avec Hub 4, nous voulons fournir aux utilisateurs ces technologies de pointe, mais aussi être transparents. Pour certains cas d’utilisation, ChatGPT peut être une solution raisonnable, alors que pour d’autres données, il est primordial d’avoir une solution locale, sur place et ouverte Pour les différencier, nous avons mis au point un classement de l’IA éthique.

Règles d’évaluation éthique de l’IA

Notre système d’évaluation éthique de l’IA est conçue pour donner un aperçu rapide des implications éthiques d’une intégration particulière de l’IA dans Nextcloud. Nous continuons bien entendu à encourager les utilisateurs à examiner de plus près la solution spécifique qu’ils utilisent, mais nous espérons ainsi simplifier le choix pour la majorité de nos utilisateurs et de nos clients.

L’évaluation comporte quatre niveaux :

Rouge 🔴

Orange 🟠

Jaune 🟡

Vert 🟢

Il est basé sur les points obtenus à partir de ces facteurs :

✅

Le logiciel (pour les inférences et la formation) est-il open source ?

✅

Le modèle formé est-il librement disponible pour l’auto-hébergement ?

✅

Les données de formation sont-elles disponibles et utilisables gratuitement ?

Si tous ces points sont remplis, nous lui attribuons une étiquette verte 🟢. Si aucune condition n’est remplie, nous attribuons une étiquette rouge 🔴. Si 1 condition est remplie, une étiquette orange 🟠 et si 2 conditions sont remplies, une étiquette jaune 🟡.

Nous ajoutons une note supplémentaire à l’évaluation : la partialité. Comme il n’est pas possible de prouver qu’il n’y a pas de biais, nous signalons simplement si, lors de notre dernière vérification, des biais majeurs (comme la discrimination fondée sur la race ou le sexe pour une technologie de reconnaissance faciale, par exemple) ont été découverts dans l’ensemble de données ou dans l’expression du modèle.

Il existe bien sûr d’autres considérations éthiques concernant l’IA. Les ensembles de données utilisés posent des problèmes juridiques (en particulier, les droits d’auteur) et la consommation d’énergie des réseaux neuronaux profonds est très préoccupante. Cependant, ces préoccupations sont malheureusement extrêmement difficiles à quantifier de manière objective et, bien que nous ayons l’intention d’essayer d’avertir les utilisateurs de tout problème non résolu, nous ne pouvons pas (encore) les inclure dans notre évaluation.

C’est pourquoi nous recommandons aux utilisateurs d’étudier eux-mêmes les conséquences de l’utilisation de l’IA pour leur cas personnel en utilisant le le système d’évaluation Nextcloud Ethical AI.