Le modèle de langage GPT-4, développé par OpenAI, semble avoir connu une baisse de performance, selon une étude menée par les universités de Stanford et Berkeley. Les chercheurs ont posé les mêmes questions au système en juin qu'ils avaient posées en mars et ont constaté que GPT-4 commettait plus d'erreurs qu'auparavant. En particulier, sa capacité à reconnaître les nombres premiers a chuté de manière spectaculaire, passant d'une précision de 97,6 % en mars à seulement 2,4 % en juin. De plus, GPT-4 était moins enclin à répondre à des questions sensibles et produisait plus d'erreurs de formatage lors de la génération de code.
La communauté technologique américaine a largement discuté de ces résultats, car de nombreuses entreprises ont basé leurs modèles commerciaux sur les offres d'OpenAI. Toute modification des modèles d'OpenAI peut affecter les résultats des interfaces de ces entreprises, les obligeant à ajuster constamment leurs applications.
Il existe plusieurs théories sur les raisons de cette baisse de performance. L'une d'elles suggère que les coûts élevés associés à l'interrogation du modèle pourraient avoir conduit OpenAI à simplifier le modèle pour économiser de l'argent. Cependant, OpenAI n'a pas fourni de réponse claire à cette question. La société a simplement déclaré que, bien que la plupart des mesures se soient améliorées, certaines tâches pourraient voir une diminution des performances.