Elon Musk a dévoilé son propre chatbot d’intelligence artificielle pour défier ChatGPT, affirmant que le prototype est déjà supérieur à ChatGPT 3.5 sur plusieurs points de référence.
Baptisé Grok, il s’agit du premier produit de la société xAI de Musk et il est actuellement testé auprès d’un groupe limité d’utilisateurs américains.
Grok est développé à partir de données provenant de X anciennement Twitter, et est donc mieux informé des derniers développements que les robots alternatifs disposant d’ensembles de données statiques, selon le site web de l’entreprise. Il est également conçu pour répondre « avec un peu d’esprit et un côté rebelle », selon le communiqué.
Annonce Grok
4 novembre 2023
Grok est une IA calquée sur le Guide du voyageur galactique, donc destinée à répondre à presque tout et, bien plus difficile, même à suggérer les questions à poser !
Grok est conçu pour répondre aux questions avec un peu d'esprit et a un côté rebelle, alors ne l'utilisez pas si vous détestez l'humour !
Un avantage unique et fondamental de Grok est qu’il possède une connaissance du monde en temps réel via la plateforme 𝕏. Il répondra également à des questions délicates rejetées par la plupart des autres systèmes d’IA.
Grok est encore un tout premier produit bêta – le mieux que nous puissions faire avec 2 mois d'entraînement – alors attendez-vous à ce qu'il s'améliore rapidement chaque semaine qui passe avec votre aide.
Merci, l'équipe xAI
Pourquoi nous construisons Grok
Chez xAI, nous souhaitons créer des outils d'IA qui aident l'humanité dans sa quête de compréhension et de connaissance.
En créant et en améliorant Grok, nous visons à :
Recueillez des commentaires et assurez-vous que nous construisons des outils d’IA qui profitent au maximum à toute l’humanité. Nous pensons qu’il est important de concevoir des outils d’IA utiles aux personnes de tous horizons et de toutes opinions politiques. Nous voulons également donner à nos utilisateurs les moyens d'utiliser nos outils d'IA, dans le respect de la loi. Notre objectif avec Grok est d'explorer et de démontrer cette approche en public.
Renforcez la recherche et l'innovation : nous souhaitons que Grok serve de puissant assistant de recherche à tous, les aidant à accéder rapidement aux informations pertinentes, à traiter les données et à proposer de nouvelles idées.
Notre objectif ultime est que nos outils d’IA contribuent à la recherche de la compréhension.
Le voyage vers Grok-1
Le moteur qui alimente Grok est le Grok-1, notre LLM frontière, que nous avons développé au cours des quatre derniers mois. Grok-1 a connu de nombreuses itérations au cours de cette période.
Après avoir annoncé xAI, nous avons formé un prototype LLM (Grok-0) avec 33 milliards de paramètres. Ce premier modèle se rapproche des capacités de LLaMA 2 (70B) sur les références LM standard, mais n'utilise que la moitié de ses ressources de formation. Au cours des deux derniers mois, nous avons apporté des améliorations significatives aux capacités de raisonnement et de codage menant à Grok-1, un modèle de langage de pointe nettement plus puissant, atteignant 63,2 % sur la tâche de codage HumanEval et 73 % sur MMLU.
Pour comprendre les améliorations de capacités que nous avons apportées avec Grok-1, nous avons mené une série d'évaluations à l'aide de quelques références standard d'apprentissage automatique conçues pour mesurer les capacités en mathématiques et en raisonnement.
GSM8k : problèmes de mots mathématiques au collège (Cobbe et al. 2021), utilisant l'invite de chaîne de pensée.
MMLU : questions multidisciplinaires à choix multiples (Hendrycks et al. 2021), ont fourni des exemples en contexte de 5 plans.
HumanEval : tâche de complétion de code Python, (Chen et al. 2021), zéro-shot évalué pour pass@1.
MATH : problèmes de mathématiques au collège et au lycée écrits en LaTeX (Hendrycks et al. 2021), déclenchés par une invite fixe à 4 coups.
Référence
Grok-0 (33B)
LLaMa 2 70B
Inflexion-1
GPT-3.5
Grok-1
Paume 2
Claude2
GPT-4
GSM8k
56,8% 8 coups
56,8% 8 coups
62,9% 8 coups
57,1% 8 coups
62,9% 8 coups
80,7% 8 coups
88,0% 8 coups
92,0% 8 coups
MMLU
65,7% 5 coups
68,9% 5 coups
72,7% 5 coups
70,0% 5 coups
73,0% 5 coups
78,0% 5 coups
75,0% 5 coups + CoT
86,4% 5 coups
HumanEval
39,7% 0-tir
29,9% 0-tir
35,4% 0-tir
48,1 % 0 tir
63,2% 0-coup
-
70 % 0 tir
67 % 0 tir
MATHÉMATIQUES
15,7% 4 coups
13,5% 4 coups
16,0% 4 coups
23,5% 4 coups
23,9% 4 coups
34,6% 4 coups
-
42,5% 4 coups
Sur ces tests, Grok-1 a affiché d'excellents résultats, surpassant tous les autres modèles de sa classe de calcul, notamment ChatGPT-3.5 et Inflection-1. Il n'est surpassé que par les modèles qui ont été entraînés avec une quantité beaucoup plus importante de données d'entraînement et de ressources de calcul comme GPT-4. Cela montre les progrès rapides que nous réalisons chez xAI dans la formation des LLM avec une efficacité exceptionnelle.
Étant donné que ces références peuvent être trouvées sur le Web et que nous ne pouvons pas exclure que nos modèles aient été formés par inadvertance sur eux, nous avons noté manuellement notre modèle (ainsi que Claude-2 et GPT-4) lors de la finale nationale hongroise du lycée 2023 . en mathématiques , qui a été publié fin mai, après la collecte de notre ensemble de données. Grok a réussi l'examen avec un C (59 %), tandis que Claude-2 a obtenu la même note (55 %) et GPT-4 a obtenu un B avec 68 %. Tous les modèles ont été évalués à une température de 0,1 et à la même invite. Il convient de noter que nous n’avons fait aucun effort pour nous adapter à cette évaluation. Cette expérience a servi de test « réel » sur un ensemble de données pour lequel notre modèle n'a jamais été explicitement adapté.
Évaluation humaine
Grok-0
GPT-3.5
Claude2
Grok-1
GPT-4
Examen national de mathématiques du lycée hongrois (mai 2023)
37 % 1 coup
41 % 1 coup
55 % 1 coup
59 % 1 coup
68 % 1 coup
Nous fournissons un résumé des détails techniques importants du Grok-1 dans la fiche modèle .
Ingénierie chez xAI
À la frontière de la recherche sur l’apprentissage profond, une infrastructure fiable doit être construite avec le même soin que les ensembles de données et les algorithmes d’apprentissage. Pour créer Grok, nous avons créé une pile de formation et d'inférence personnalisée basée sur Kubernetes, Rust et JAX.
La formation LLM se déroule comme un train de marchandises qui avance à grands pas ; si un wagon déraille, le train tout entier est entraîné hors des voies, ce qui rend difficile sa remise debout. Il existe une myriade de causes de défaillance des GPU : défauts de fabrication, connexions desserrées, configuration incorrecte, puces de mémoire dégradées, retournements de bits aléatoires occasionnels, et bien plus encore. Lors de la formation, nous synchronisons les calculs sur des dizaines de milliers de GPU pendant des mois, et tous ces modes de défaillance deviennent fréquents en raison de l'échelle. Pour surmonter ces défis, nous utilisons un ensemble de systèmes distribués personnalisés qui garantissent que chaque type de panne est immédiatement identifié et automatiquement traité. Chez xAI, nous avons fait de la maximisation du calcul utile par watt l'objectif principal de nos efforts. Au cours des derniers mois, notre infrastructure nous a permis de minimiser les temps d'arrêt et de maintenir une utilisation élevée des flops de modèles (MFU), même en présence d'un matériel peu fiable.
Rust s'est avéré être un choix idéal pour créer une infrastructure évolutive, fiable et maintenable. Il offre des performances élevées, un écosystème riche et évite la majorité des bogues que l’on trouve généralement dans un système distribué. Compte tenu de la petite taille de notre équipe, la fiabilité de l’infrastructure est cruciale, sinon la maintenance prive d’innovation. Rust nous donne l'assurance que toute modification ou refactorisation de code est susceptible de produire des programmes fonctionnels qui fonctionneront pendant des mois avec une supervision minimale.
Nous nous préparons maintenant pour notre prochain saut dans les capacités de modèle, qui nécessitera une coordination fiable des entraînements sur des dizaines de milliers d'accélérateurs, l'exécution de pipelines de données à l'échelle Internet et la création de nouveaux types de capacités et d'outils dans Grok. Si cela vous semble passionnant, postulez pour rejoindre l'équipe ici .
Recherche à xAI
Nous donnons à Grok l'accès aux outils de recherche et aux informations en temps réel, mais comme pour tous les LLM formés à la prédiction du prochain jeton, notre modèle peut toujours générer des informations fausses ou contradictoires. Nous pensons que parvenir à un raisonnement fiable constitue l’orientation de recherche la plus importante pour remédier aux limites des systèmes actuels. Ici, nous aimerions souligner quelques directions de recherche prometteuses qui nous passionnent le plus chez xAI :
Surveillance évolutive avec l’assistance d’outils. Le feedback humain est essentiel. Cependant, fournir des commentaires cohérents et précis peut s'avérer difficile, en particulier lorsqu'il s'agit d'un code long ou d'étapes de raisonnement complexes. L’IA peut contribuer à une surveillance évolutive en recherchant des références provenant de différentes sources, en vérifiant les étapes intermédiaires avec des outils externes et en recherchant des commentaires humains si nécessaire. Nous visons à utiliser le plus efficacement possible le temps de nos tuteurs en IA à l'aide de nos modèles.
Intégration avec vérification formelle de la sécurité, de la fiabilité et de la mise à la terre. Pour créer des systèmes d’IA capables de raisonner en profondeur sur le monde réel, nous prévoyons de développer des capacités de raisonnement dans des situations moins ambiguës et plus vérifiables. Cela nous permet d'évaluer nos systèmes sans retour humain ni interaction avec le monde réel. L’un des principaux objectifs immédiats de cette approche est de donner des garanties formelles quant à l’exactitude du code, en particulier en ce qui concerne les aspects formellement vérifiables de la sécurité de l’IA.
Compréhension et récupération de contextes longs. Les modèles de formation permettant de découvrir efficacement des connaissances utiles dans un contexte particulier sont au cœur de la production de systèmes véritablement intelligents. Nous travaillons sur des méthodes permettant de découvrir et de récupérer des informations chaque fois que cela est nécessaire.
Robustesse contradictoire. Des exemples contradictoires démontrent que les optimiseurs peuvent facilement exploiter les vulnérabilités des systèmes d’IA, à la fois pendant la formation et pendant la détention, les amenant à commettre des erreurs flagrantes. Ces vulnérabilités constituent des faiblesses de longue date des modèles d’apprentissage profond. Nous sommes particulièrement intéressés par l’amélioration de la robustesse des LLM, des modèles de récompense et des systèmes de surveillance.
Capacités multimodales. Actuellement, Grok n'a pas d'autres sens, comme la vision et l'ouïe. Pour mieux aider les utilisateurs, nous équiperons Grok de ces différents sens qui pourront permettre des applications plus larges, notamment des interactions et une assistance en temps réel.
Nous pensons que l’IA recèle un immense potentiel pour apporter une valeur scientifique et économique significative à la société. Nous nous efforcerons donc de développer des garanties fiables contre les formes catastrophiques d’utilisation malveillante. Nous croyons qu’il faut faire tout notre possible pour garantir que l’IA reste une force du bien.
Si vous partagez notre optimisme et souhaitez contribuer à notre mission, postulez pour rejoindre l'équipe ici .
Accès anticipé à Grok
Nous proposons à un nombre limité d'utilisateurs aux États-Unis d'essayer notre prototype Grok et de fournir de précieux commentaires qui nous aideront à améliorer ses capacités avant une version plus large. Vous pouvez rejoindre la liste d'attente Grok ici . Cette version ne représente que la première étape pour xAI. Pour l’avenir, nous avons une feuille de route passionnante et déploierons de nouvelles capacités et fonctionnalités dans les mois à venir.
Grok est le fruit de deux mois de développement, selon l’annonce de xAI, et sera mis à la disposition de tous les utilisateurs de X Premium+ une fois qu’il sera sorti de la phase de test.
Musk a fait part de son ambition de développer X au-delà de sa base de plateforme sociale pour en faire une application universelle, à l’instar de WeChat de Tencent Holding Ltd. en Chine.
Grok serait un élément essentiel de ce développement – bien que xAI soit une société distincte, elle affirme vouloir travailler en étroite collaboration avec X, Tesla et d’autres entreprises.
Le gouvernement britannique a orchestré un sommet de deux jours couronné de succès, réunissant des dirigeants du monde entier pour convenir d’une position commune sur la sécurité de l’IA.
La conférence visait à assurer l’unité face aux défis sans précédent – à la fois les avantages et les risques – de l’intelligence artificielle (IA).
La secrétaire américaine au commerce, Gina Raimondo, était présente, tout comme la vice-présidente américaine Kamala Harris et le vice-ministre chinois des sciences Wu Zhaohui, parmi d’autres dirigeants de l’UE et du G7.
La réunion à Bletchley Park a également reçu la visite de personnalités de premier plan, dont Elon Musk.
Que s’est-il passé au sommet de Bletchley Park sur la sécurité de l’IA ?
À l’issue du sommet, la déclaration de Bletchley sur l’IA, axée sur la « frontière de l’IA » (une référence aux services d’IA générative tels que ChatGPT), a été signée par 27 pays et l’Union européenne.
Dans le document, un programme en deux points est détaillé pour aborder ce que l’on appelle les « risques liés à l’IA d’avant-garde » :
– Identifier les risques liés à la sécurité de l’IA qui suscitent des inquiétudes communes, en développant une compréhension scientifique commune et fondée sur des preuves de ces risques.
– Compléter cette compréhension au fur et à mesure que les capacités continuent d’augmenter, dans le cadre d’une approche globale plus complète pour comprendre l’impact de l’IA sur nos sociétés.
– Élaborer des politiques respectives fondées sur les risques dans nos pays afin de garantir la sécurité à la lumière de ces risques, en collaborant le cas échéant tout en reconnaissant que nos approches peuvent différer en fonction des circonstances nationales et des cadres juridiques applicables.
Débats autour d’une transparence accrue de la part des acteurs privés qui développent des capacités d’IA d’avant-garde, des mesures d’évaluation appropriées, des outils pour les tests de sécurité, et du développement de capacités et de recherches scientifiques utiles auprès du secteur public.
LIRE AUSSI Les Titans de la Tech ont rencontré les législateurs US pour discuter d'IA
Les réactions des principaux leaders d’opinion en matière d’intelligence artificielle dans le monde sont mitigées.
Le professeur Anthony Cohn, professeur à l’université de Leeds et responsable du thème des modèles fondamentaux à l’Alan Turing Institute, a déclaré à Science Media Centre :
« La présente déclaration est très visionnaire, mais, sans surprise, peu détaillée, et il est probable que « le diable sera effectivement dans le détail » pour créer un régime réglementaire efficace au niveau international, qui garantisse un déploiement sûr de l’IA, tout en facilitant les applications bénéfiques.
La participation d’un grand nombre de pays et d’organisations clés dans le monde entier ajoute à la crédibilité de la déclaration. Il s’agit inévitablement de la première d’une longue série d’étapes à franchir et deux autres réunions sont d’ores et déjà prévues au cours de l’année prochaine. »
De son côté, Rashik Parmar, CEO de BCS, The Chartered Institute for IT, adéclaré :
« La déclaration de Bletchley adopte une vision plus positive du potentiel de l’IA à transformer nos vies que beaucoup ne le pensaient, ce qui est également important pour renforcer la confiance du public.
« Je me réjouis également de voir que l’accent est mis sur les questions liées à l’IA qui posent problème aujourd’hui, en particulier la désinformation, qui pourrait donner lieu à des fausses nouvelles personnalisées lors des prochaines élections ; nous pensons que ces questions sont plus urgentes que les spéculations sur les risques existentiels. L’accent mis sur la coopération mondiale est essentiel pour minimiser les différences dans la manière dont les pays réglementent l’IA.
« Après le sommet, nous aimerions que le gouvernement et les employeurs insistent pour que tous ceux qui travaillent dans le domaine de l’IA soient des professionnels agréés et que leurs organisations et eux-mêmes soient tenus de respecter les normes éthiques les plus strictes ».
Ian Hogarth, responsable de la AI Frontier Model Taskforce (groupe de travail sur les modèles d’avant-garde en matière d’IA) au Royaume-Uni :
Marc de Kamps, professeur associé à l’école d’informatique de l’université de Leeds, dont les domaines d’expertise comprennent l’apprentissage automatique, fait remarquer :
« Un moratoire sur l’IA présentant des risques sera impossible à mettre en œuvre. Aucun consensus international ne se dégagera sur la manière dont cela devrait fonctionner. D’un point de vue technologique, il semble impossible de tracer une frontière entre les technologies « utiles » et « risquées », et les experts ne seront pas d’accord sur la manière de les équilibrer.
« Le gouvernement a choisi, à juste titre, de s’engager sur les risques de l’IA, sans être normatif sur la question de savoir si certaines recherches sont interdites.
« Toutefois, le communiqué ne précise pas les moyens d’atteindre ses objectifs et n’est pas assez explicite sur la nécessité d’un engagement avec le public ».
Elon Musk, quant à lui, a partagé une illustration politique, laissant entendre que si la déclaration de Bletchley Park adopte une approche unifiée pour identifier les risques, elle ne fait pas grand-chose pour les empêcher de se produire.
Le bilan
Dans l’ensemble, le sommet sur la sécurité de l’IA semble avoir été un succès significatif sur plusieurs fronts.
Tout d’abord, c’est un succès pour le Premier ministre britannique Rishi Sunak, qui a accueilli le sommet dans le cadre d’un effort diplomatique visant à améliorer la présence du Royaume-Uni sur la scène internationale.
Deuxièmement, le sommet semble avoir réussi à rassembler les principaux acteurs géopolitiques tels que les États-Unis, l’UE et la Chine autour d’une approche commune de la sécurité de l’IA.
Toutefois, il reste à voir si la déclaration de Bletchley Park deviendra un instrument efficace de collaboration internationale sur la sécurité de l’IA, compte tenu du peu de détails et des pouvoirs d’exécution limités.
Un nombre toujours croissant pour la réglementation de l’IA
Ses dernières semaines ont été marquées par de nombreux développements, qu’il s’agisse d’efforts de sensibilisation ou de mesures prometteuses en faveur d’une réglementation de l’IA :
– Le secrétaire général des Nations unies, António Guterres, a inauguré l’organe consultatif de haut niveau sur l’IA, composé de 39 experts du monde entier.
– Le président américain Joe Biden a fait un premier pas important vers la réglementation en publiant un décret sur l’IA, qui prévoit des mesures visant à atténuer les effets néfastes actuels et futurs de l’IA.
– Le même jour, le G7 a publié ses principes directeurs internationaux sur l’IA, ainsi qu’un code de conduite volontaire pour les développeurs d’IA.
– Le chef de la majorité au Sénat américain, Chuck Schumer, a organisé deux autres forums AI Insight. Lors du forum du 24 octobre, Max Tegmark, président de la FLI, a parlé de la possibilité de faire coexister l’innovation et la sécurité de l’IA, mais uniquement par le biais d’une réglementation et d’une surveillance gouvernementales.
Plusieurs campagnes ont suscité des discussions avant le sommet britannique sur la sécurité de l’IA :
– Control AI a plaidé avec force pour que le sommet aboutisse à des résultats significatifs. Un récent sondage réalisé pour eux par YouGov a révélé qu’une « majorité décisive » d’électeurs britanniques est favorable à une réglementation gouvernementale de l’IA.
– Une lettre ouverte appelant à un traité international sur l’IA a circulé et a été signée par un certain nombre d’éminents spécialistes de l’IA.
Découvrez le métier d'ingénieur en intelligence artificielle !
Tu hésites entre les sciences humaines et les nouvelles technologies ? Le métier d’ingénieur en intelligence artificielle va te permettre de ne pas avoir à choisir. Chargé de créer des programmes informatiques sachant raisonner comme un humain, l’ingénieur IA est un champion de la résolution de problèmes complexes.
L'ingénieur en intelligence artificielle est chargé de la conception et de la création de programmes, d'applications ou systèmes capables de raisonner comme l'Homme mais dénués de toute émotion, pouvant conduire à l'erreur chez l'être humain. Travaillant sur des projets spécifiques, l'ingénieur IA doit résoudre des problèmes complexes pour lesquels l'informatique classique atteint ses limites. L'ingénieur en intelligence artificielle doit alors fournir un travail de recherche long et fastidieux afin d'analyser et comprendre comment le cerveau humain fait une chose et comment il peut le retranscrire via la conception d'un programme informatique. Les champs d'application sont multiples, allant de la domotique à la bio-informatique, de la robotique à l'automatisation, de l'analyse prédictive à la production industrielle... Il pourra aussi bien développer des systèmes experts que des logiciels d'aide à la décision, ou encore des interfaces hommes-machines intuitives. Grâce à son expertise, l'ingénieur en intelligence artificielle va transformer la machine en un véritable collègue de travail en instaurant une relation de collaboration basée sur l'aide à la décision, de façon rationnelle et logique.
Les principales compétences
et qualités à avoir
Le métier d'ingénieur en intelligence artificielle nécessite de multiples compétences et savoir-être :
être à la pointe des nouvelles technologies ;
avoir de grandes compétences en ingénierie informatique, machine learning, deep learning, data science...
maîtriser les langages de programmation (Python, Java, C...) ;
maîtriser les systèmes automatisés ;
maîtriser les réseaux neuronaux ;
être force de proposition ;
être à l'écoute des autres ;
avoir l'esprit d'équipe et aimer le travail en équipe ;
faire preuve de rigueur, de curiosité et de persévérance ;
avoir le sens de l'analyse ;
savoir se remettre en question ;
faire une veille active sur l'actualité IA.
Le saviez-vous ?
Comment devenir ingénieur IA ?
Le métier d’ingénieur en intelligence artificielle nécessite un diplôme de niveau bac+5 minimum. De plus en plus de diplômes spécialisés en intelligence artificielle sont proposés dans les universités mais il est aussi possible :
Master Ingénierie en intelligence artificielle, Université Paris 8 ;
Mastère spécialisé Intelligence artificielle, Télécom Paris ;
Master informatique parcours Intelligence artificielle et apprentissage automatique, Université Aix-Marseille.
FORMATION
En savoir plus sur la Majeure Data science et intelligence artificielle d'Epita
Les conditions de travail
L'ingénieur en intelligence artificielle travaille pour le compte de son entreprise ou d'une entreprise cliente. Chargé de résoudre une problématique précise, il va s'appuyer sur les forces humaines en présence et travailler en équipe. Il doit se montrer à l'écoute, être pédagogue, mais aussi savoir prendre des décisions et convaincre. Ses horaires de travail sont des horaires de bureau classique, pouvant s'étendre selon les phases du projet.
Le salaire d’un ingénieur
en intelligence artificielle
Le salaire d'un ingénieur en intelligence artificielle va énormément différer selon s'il travaille pour un laboratoire de recherche public ou pour une entreprise du secteur privé. En tant que débutant, son salaire brut mensuel pourra se situer entre 1.700 et 3.750 euros. Avec de l'expérience, l'ingénieur en intelligence artificielle pourra bénéficier d'un salaire brut compris entre 4.000 et 5.500 euros par mois.
/https%3A%2F%2Fprofilepics.canalblog.com%2Fprofilepics%2F4%2F2%2F426588.jpg)
/image%2F0964619%2F20260710%2Fob_4ed1fd_unnamed.png)
/file%2F0964619%2F20260710%2Fob_b7466b_0200147745959-web-tete.webp)
/file%2F0964619%2F20260709%2Fob_749730_0200147745959-web-tete.webp)
/image%2F0964619%2F20260708%2Fob_3e1b5a_g-hxrtxwqameafw.jfif)