• Contrôle de l'architecture
• Prix
• Confidentialité

• GPU vs CPU
• Delphine et Natacha
• Spéc matériel

• Spécification
• Limite matérielle
• Devstral Small 2
• Qwen 3.5

• Ollama
• Configuration
• Pull auto llm
• Pas assez de VRAM
• API

• Poser une question
• Décrire une image
• AI assistant Jetbrains

• Explication
• Pourquoi

• Besoin
• Limites

• Présentation rapide TF-IDF
• Similarité Cosinus
• Formules
• Embedding

• Présentation Qdrant
• Collections
• Requête

• Données
• Vectorisation
• Requêtes

• Extraction des données
• Vectorisation
• Envoi en base

• Vectorisation de la question
• Requêtes qdrant
• Fabrication question
• Requête à qwen

• Idempotence
• Erreurs

• Contrôle de l'architecture
• Prix
• Confidentialité

Les plus

• Administration complète
• Gestion du nombre de requêtes
• Customisation complètes

Les moins

• Gestion du matériel
• Connaissances bas niveau requises
• Plus de travail

Les plus

• Pas de tarification exhorbitantes
• Pas de limites de requêtes

Les moins

• Matériel couteux

• Les informations sont confidentielles
• Aucun accès au cloud
• Pas de sorti hors de France
• Compatible RGPD à 100%

• GPU vs CPU
• Delphine et Natcha
• Spéc matériel

Delphine

• i7-6700K (4 cœurs, 8 threads) ± 4.20GHz
• 16Go DDR4
• Nvidia Geforce RTX 4060 OC (8G) Ada Lovelace

Natacha

• i9-12900K (16 cœurs, 24 threads) ± 5GHz, ± 3.20GHz
• 64Go DDR5
• Pas de carte graphique

Vérification

• Port PCI Express pour la carte graphique
• Vérifier la compatibilité
• Vérifier la configuration du port dans le BIOS
• Plus récente -> plus de débit

Exemple

• Mauvaise config (mode gen 2), passage à gen3 -> bande passante doublée
• Résultats ? le llm se charge plus rapidement

• Sépcification
• Limite matérielle
• Devstral Small 2
• Qwen 3.5

• Savoir ce que le modèle prend en entrée (image, texte, …)
• Est-il multilingue ?
• Quelle est sa spécialité ?
• Sa taille
• La taille du contexte

Taille

• La taille du modèle est la principale limite
• Si taille > VRAM -> passage en mode CPU uniquement

Pour calculer à peu près

• Taille modèle + 1Go + 1Go (var) < VRAM

Solution

• Carte avec plus de VRAM
• Plusieurs cartes en parallèle (pas encore testé)

Spec

• Taille : 15GB
• Nombre de paramètres : 24B
• Entrée : texte, image

Explication du code suivant :

import serial
arduino = serial.Serial(port='/dev/ttyACM0', baudrate=9600)

Delphine

• Impossible, pas assez de VRAM

Natacha

• Solution correcte
• Temps : 5m20s -> trop long
• Tous les cœurs à 100%, ± 98°C

Spec

• Taille: 3.4GB
• Nombre de paramètres: 4.66B
• Entrée : texte, image

Explication du code suivant :

import serial
arduino = serial.Serial(port='/dev/ttyACM0', baudrate=9600)

Delphine

• Solution correcte
• Temps : 30s
• GPU à 75%,
• VRAM à 80%

Natacha

• Solution correcte
• Temps: 5m35s -> Trop long
• Tous les cœurs à 100%, ± 98°C

• Devstral Small 2 est trop gourmand
• Qwen est utilisable sur carte graphigue
• Qwen supporte aussi les images -> llm retenu