Utiliser GPT-4o OpenAI API et python (texte | audio)

Mis à jour le May 15, 2024, 6:08 a.m.

Niveau: Débutant à intermédiare

OpenAI à annoncer le lancement de son nouveau modèle phare, GPT-4o, ainsi que l’extension des fonctionnalités avancées disponibles gratuitement pour les utilisateurs de ChatGPT.
Le 'o' de de GPT-4o fait référence à "omni", car ce nouveau modele peut gérer le texte, l'audio, et les inputs vidéos, mais aussi générer des réponses textuelles, audio ou encore des images.

Avant GPT-4o, les utilisateurs pouvaient interagir avec ChatGPT en utilisant le mode vocal, qui fonctionnait avec trois modèles distincts. GPT-4o intégrera ces capacités en un seul modèle formé pour traiter le texte, la vision et l’audio. Cette approche unifiée garantit que toutes les entrées—qu'elles soient textuelles, visuelles ou auditives—sont traitées de manière cohérente par le même réseau de neurones.

Découverte de GPT-4o
Fonctionnalités disponibles
Test de l'API
Conclusion
FAQ

Découverte de GPT-4o

GPT-4o est le dernier modèle d'OpenAI, offrant selon eux une intelligence de niveau GPT-4 avec une rapidité et des performances améliorées dans les domaines du texte, de la voix et de la vision. Ce modèle se distingue par sa capacité à comprendre et discuter des images que vous partagez. Par exemple, en prenant une photo d’un menu dans une langue étrangère, GPT-4o peut non seulement le traduire, mais aussi fournir des informations sur l’histoire et la signification des plats, ainsi que des recommandations.

À l’avenir, OpenAI prévoit d’améliorer encore cette technologie pour permettre des conversations vocales plus naturelles en temps réel et des échanges via des vidéos en direct. Par exemple, vous pourriez montrer un match de sport en direct à ChatGPT et lui demander d’expliquer les règles. Nous prévoyons de lancer un nouveau mode vocal avec ces capacités en version alpha dans les semaines à venir, avec un accès anticipé pour les utilisateurs Plus avant un déploiement plus large.

Pour rendre l’IA avancée plus accessible et utile partout dans le monde, les capacités linguistiques de GPT-4o ont été améliorées en termes de qualité et de rapidité. ChatGPT prend désormais en charge plus de 50 langues pour l’inscription et la connexion, les paramètres utilisateurs, et autres.

OpenAI commence à déployer GPT-4o pour les utilisateurs de ChatGPT Plus et Team, avec une disponibilité pour les utilisateurs Enterprise bientôt. 

Fonctionnalité disponibles

Avec GPT-4o, les utilisateurs sans abonnement de ChatGPT auront désormais accès à des fonctionnalités telles que :

 - Une intelligence de niveau GPT-4
 - Des réponses provenant à la fois du modèle et du web
 - L'analyse de données et la création de graphiques
 - La discussion autour des photos que vous prenez
 - Le téléchargement de fichiers pour une assistance à la synthèse, à l'écriture ou à l'analyse
 - La découverte et l'utilisation des GPTs et du GPT Store
 - Une expérience plus utile avec la fonctionnalité Memory
- Il y aura une limite sur le nombre de messages que les utilisateurs gratuits peuvent envoyer avec GPT-4o en fonction de l'utilisation et de la demande. Une fois cette limite atteinte, ChatGPT passera automatiquement à GPT-3.5 afin que les utilisateurs puissent continuer leurs conversations.

Test de l'API pour le modèle GPT4o

Actuellement, l'API prend en charge les entrées {texte, image} et les sorties {texte}, les mêmes modalités que gpt-4-turbo. Des modalités supplémentaires, y compris l'audio, seront bientôt introduites. 
Selon OpenAI, il vaut mieux utiliser GPT-4o plutot que les autres modeles:

 - Tarifs réduits de 50 %. GPT-4o est 50 % moins cher que GPT-4 Turbo, tant pour les tokens d'entrée (5 $ par million de jetons) que pour les tokens de sortie (15 $ par million de jetons).

 - GPT-4o est deux fois plus rapide que GPT-4 Turbo.

 - Limites de taux 5 fois plus élevées. Au cours des prochaines semaines, GPT-4o atteindra des limites de taux cinq fois supérieures à celles de GPT-4 Turbo—jusqu'à 10 millions de tokens par minute pour les développeurs ayant une utilisation élevée.

Ce guide vous aidera à commencer à utiliser GPT-4o pour la compréhension du texte, des images et des vidéos.
Pour cela il vous faut python, votre clé API de OpenAI et installer un environnement virtuel pour openai. 

Premièrement faisons une génération de texte:

from openai import OpenAI 
import os

#MEttre en place sa clé api et le nom du modele
MODEL="gpt-4o"
# si vous avez un fichier d'environnement
client = OpenAI(api_key=os.environ.get("OPENAI_API_KEY", ))
# sinon vous pouvez simplement faire comme ça
client = OpenAI(api_key="votre_cle_api")

completion = client.chat.completions.create(
  model=MODEL,
  messages=[
    # On met en place le contexte
    {"role": "system", "content": "Tu es un assistant sympas qui va me dire quel 
                         diète suivre."}, 
    # Message de l'utilisateur
    {"role": "user", "content": "Salut je veux devenir aussi fort et beau que superman, 
                         comment faire ?"}  
  ]
)

print("Assistant: " + completion.choices[0].message.content)

Sa réponse:

Assistant: Salut! C'est super que tu veuilles être fort et en bonne santé! 

Pour devenir aussi fort (et beau) que Superman, il faut allier une alimentation équilibrée avec un 

programme d'exercices bien structuré. Voici quelques conseils pour t'aider à atteindre tes objectifs :

### Alimentation

1. **Protéines** :
   - Viandes maigres comme le poulet, la dinde, et le bœuf maigre.
   - Poissons et fruits de mer.
   - Œufs.
   - Produits laitiers faibles en gras (yogourt, fromages).
   - Sources végétariennes comme les lentilles, les haricots, et le tofu.

2. **Glucides complexes** :
   - Riz brun.
   - Quinoa.
   - Patates douces.
   - Avoine.
   - Pain complet et pâtes complètes.

3. **Lipides sains** :
   - Avocats.
   - Noix et graines.
   - Huile d'olive.
   - Poissons gras comme le saumon.

4. **Fruits et légumes** :
   - Consomme une grande variété pour obtenir un maximum de vitamines et minéraux.
   - Privilégie les légumes verts comme les épinards, le brocoli, et le chou frisé.

5. **Hydratation** :
   - Bois beaucoup d’eau tout au long de la journée.

### Compléments alimentaires (facultatif)

   - **Protéines en poudre** : si tu as du mal à atteindre tes besoins en protéines.
   - **Créatine** : peut aider à augmenter la force et la masse musculaire.
   - **Vitamines et minéraux** : selon tes besoins spécifiques, un multivitaminé pourrait être utile.

### Exercice
1. **Entraînement de force** :
   - Concentre-toi sur des exercices composés comme les squats, soulevés de terre, développés couchés, tractions et pompes.
   - Travaille chaque groupe musculaire au moins deux fois par semaine.

2. **Cardio** :
   - Inclure des séances de cardio pour maintenir un bon niveau de condition physique globale.
   - Le HIIT (High-Intensity Interval Training) est très efficace et peut être fait en moins de temps.

3. **Repos et récupération** :
   - Assure-toi de bien dormir (7-9 heures par nuit).
   - Prends des jours de repos pour permettre à tes muscles de récupérer.

### Conseils supplémentaires
1. **Planifie tes repas** pour t'assurer que tu consommes des aliments sains et équilibrés.
2. **Évite les sucres ajoutés et les aliments transformés** autant que possible.
3. **Sois patient et constant** : Rome ne s'est pas construite en un jour, et tes muscles non plus!

Si tu as des conditions médicales particulières ou des doutes, il est toujours conseillé de consulter un professionnel de la santé ou un nutritionniste avant de commencer tout nouveau régime alimentaire ou programme d'exercice.

Courage, tu es sur la bonne voie! 💪🦸‍♂️

Pas mal non? Bon je vous rassure, je ressemble déjà à superman XD (ceci est une blague, soyez tolérant XD)

Deuxièmement, une lecture d'images, je vous ai mis ici des images qui sont présentes en ligne pour vous simplifer la tâche.

pizza = """https://images.ctfassets.net/nw5k25xfqsik/64VwvKFqxMWQORE10Tn8pY/
200c0538099dc4d1cf62fd07ce59c2af/20220211142754-margherita-9920.jpg"""

carotte = """https://images.radio-canada.ca/q_auto,w_844/v1/alimentation
/recette/16x9/2676-1-carottes-glacees-au-balsamique.jpg"""

response = client.chat.completions.create(
    model=MODEL,
    messages=[
        {"role": "system", "content": "Tu es un assistant sympas qui va me dire quel diète suivre."},
        {"role": "user", "content": [
            {"type": "text", "text": "Quelle quantité de calories dans cette assiette ?"},
            {"type": "image_url", "image_url": {
                "url": pizza,}

            }
        ]}
    ],
    temperature=0.0,
)

print(response.choices[0].message.content)

Voici sa réponse:

Il est difficile de déterminer avec précision le nombre de calories dans une pizza simplement à partir d'une photo, car cela dépend de nombreux facteurs tels que la taille de la pizza, l'épaisseur de la croûte, la quantité de fromage, de sauce et d'autres garnitures utilisées.

Cependant, pour donner une estimation générale, une pizza Margherita de taille moyenne (environ 30 cm de diamètre) contient généralement entre 800 et 1200 calories. Voici une répartition approximative des calories pour une pizza Margherita :

- Croûte : environ 300-400 calories
- Sauce tomate : environ 50-100 calories
- Fromage mozzarella : environ 300-500 calories
- Huile d'olive et autres garnitures : environ 50-200 calories

Pour obtenir une estimation plus précise, il serait nécessaire de connaître les détails exacts des ingrédients et des portions utilisés.

Conclusion

Vous pouvez désormais avoir des conversations vocales avec ChatGPT directement depuis votre ordinateur, en commençant par le mode vocal disponible dès le lancement de ChatGPT, avec les nouvelles capacités audio et vidéo de GPT-4o à venir. Que vous souhaitiez brainstormer une nouvelle idée pour votre entreprise, préparer un entretien ou discuter d'un sujet spécifique, cliquez sur l'icône du casque en bas à droite de l'application de bureau pour commencer une conversation vocale.

Dans le prochain tutoriel, nous verrons comment faire une analyse video avec python et GPT-4o ! 

FAQ

Q : Qu’est-ce que GPT-4o et en quoi diffère-t-il des versions précédentes ?
R : GPT-4o est la dernière itération du modèle d'intelligence artificielle développé par OpenAI. Ce modèle est dit "omnifonctionnel", car il intègre la gestion des textes, des images, et de l'audio dans une seule architecture, offrant une expérience utilisateur cohérente et unifiée. Contrairement aux modèles précédents, GPT-4o permet des interactions plus naturelles et diversifiées, y compris la génération de contenu multimodal.

Q : Comment puis-je commencer à utiliser GPT-4o avec Python ?
R : Pour utiliser GPT-4o avec Python, vous devez d'abord installer la bibliothèque client OpenAI. Vous pouvez ensuite configurer votre clé API et commencer à interagir avec le modèle via des requêtes API. Le guide dans l'article vous montre les étapes détaillées pour configurer votre environnement et faire vos premières requêtes.

Q : GPT-4o est-il accessible gratuitement ?
R : Les fonctionnalités de base de GPT-4o sont accessibles aux utilisateurs de ChatGPT Plus et Team. OpenAI prévoit également un déploiement progressif pour les utilisateurs gratuits, avec certaines limitations d'usage. Les tarifs et les modalités spécifiques peuvent varier, alors consultez régulièrement le site d'OpenAI pour les dernières mises à jour.

Q : Puis-je utiliser GPT-4o pour analyser des vidéos ?
R : Oui, GPT-4o peut traiter des entrées vidéo et fournir des réponses en texte ou en audio. Cette capacité permet une multitude d'applications, comme l'analyse de contenu vidéo, la reconnaissance d'objets, et même des interactions en temps réel lors de streaming vidéo.

Q : Quelles sont les meilleures pratiques pour optimiser les performances avec GPT-4o ?
R : Pour optimiser les performances lors de l'utilisation de GPT-4o, assurez-vous de bien comprendre les limites de taux, de gérer efficacement les tokens de votre API, et de structurer vos requêtes pour réduire la latence. Il est également recommandé de suivre les mises à jour d'OpenAI concernant les meilleures pratiques et les optimisations de modèles.

Références

https://openai.com/index/hello-gpt-4o/
https://github.com/openai/openai-cookbook/