Quelques réponses rapides sur la confidentialité, le matériel et le fonctionnement de notre IA locale.
Comment est gérée la confidentialité ?
Le serveur est totalement isolé d’internet et ne transmet aucune information à des services externes. Les traitements se font exclusivement dans votre réseau, avec vos propres sources de données.
Quel matériel est utilisé ?
La solution repose sur une carte graphique NVIDIA récente exploitant des milliers de cœurs CUDA pour accélérer les calculs IA en parallèle. Cette architecture permet d’exécuter plusieurs modèles en même temps, de traiter des corpus volumineux et de garder des temps de réponse très courts, même en pleine charge.
Pourquoi Linux et Pop!_OS ?
Le serveur tourne sous Linux Pop!_OS, une distribution maintenue par System76 et reconnue pour sa bonne gestion des pilotes NVIDIA propriétaires et des workloads GPU. Elle est indépendante des grands fournisseurs de cloud, s’appuie sur des composants open source et permet de contrôler finement les mises à jour et la surface d’attaque logicielle.
Qu’est‑ce qu’un LLM ?
Un LLM (Large Language Model) est un modèle d’IA entraîné à comprendre et à générer du texte en langage naturel : il peut répondre à des questions, résumer, traduire ou rédiger des contenus.
Quels modèles et quelles tailles ?
Le serveur embarque plusieurs LLM de tailles différentes (modèles « légers » pour les réponses rapides et modèles plus volumineux pour les tâches complexes), sélectionnés pour fonctionner efficacement en local sur du matériel moderne.
Mes données servent‑elles à ré‑entraîner les modèles ?
Non. Les modèles fournis sont pré‑entraînés en amont et fonctionnent en lecture seule sur votre serveur. Les prompts, les conversations et les documents analysés ne sont jamais réinjectés dans un processus d’entraînement ou de fine‑tuning automatique, ni envoyés à un éditeur externe.
Le serveur stocke‑t‑il des données ?
Le serveur ne devient pas un nouveau silo de données : il se connecte à vos partages existants (NAS, serveurs de fichiers, bases documentaires) pour indexer et interroger les contenus, mais les fichiers restent dans votre stockage d’entreprise. Seuls des index techniques et des caches temporaires sont conservés localement pour accélérer les recherches.
En fin de contrat ou en cas de restitution, le SSD interne est systématiquement détruit physiquement, une pratique recommandée pour éliminer tout risque de récupération de fragments résiduels, même par des techniques d’analyse avancée.
Que se passe‑t‑il en cas de restitution ou de fin de contrat ?
En cas de restitution du PC, le SSD interne est systématiquement détruit physiquement, ce qui rend impossible toute récupération ultérieure des données techniques qu’il contenait.
Local vs cloud : quels avantages ?
En local, vos données restent dans votre réseau, sous vos politiques de sécurité et vos journaux d’audit, avec une latence minimale et aucun transfert vers un tiers. Dans le cloud, chaque requête envoie potentiellement du contenu sensible (contrats, données clients, code) hors de votre périmètre, ce qui complique la conformité et la maîtrise des accès.
De nombreux services d’IA publics prévoient dans leurs conditions que les échanges peuvent servir à améliorer ou entraîner leurs modèles, surtout lorsqu’ils sont utilisés via des comptes individuels ou non encadrés. En pratique, la plupart des entreprises ne disposent pas encore des procédures et des contrôles nécessaires pour empêcher ces usages de « shadow AI » par leurs équipes.