Les modèles de langage à grande échelle (LLM) transforment profondément la gestion des connaissances dans les organisations. Cet article présente un projet co-porté par l'Université de Reims Champagne-Ardenne pour l'hébergement souverain de solutions LLM, et explore l'utilisation des systèmes de génération augmentée par récupération (RAG) pour répondre aux défis d'adaptation, d'accès sécurisé et de dissémination efficace de l'information au sein des administrations universitaires. Comme ce projet soulève plusieurs enjeux techniques, organisationnels et éthiques, cet article vise à lancer une session de discussion et d'échange afin de guider l'implémentation réussie du projet.