Skip to content

Commit

Permalink
Merge pull request #3 from etalab/td_infra
Browse files Browse the repository at this point in the history
Td infra
  • Loading branch information
tdurouchoux authored Jun 20, 2024
2 parents af3aa51 + 517f6c2 commit dd8bccc
Show file tree
Hide file tree
Showing 2 changed files with 70 additions and 13 deletions.
19 changes: 16 additions & 3 deletions I-Accompagnement/2_Deja_Fait_Admin.qmd
Original file line number Diff line number Diff line change
Expand Up @@ -4,10 +4,23 @@

### 2. Ce qui est déjà fait ou expérimenté dans l’administration (Johnny Hélène Thibault)

cas d’usage
### A. Cas d’usage
* Dans une enquête incluant un champ « Commentaire », celui-ci peut être analysé par des LLMs afin d’identifier les thématiques saillantes exprimées dans ce champ. Ensuite, pour chacune de ces thématiques, les LLMs peuvent être utilisés pour dégager le sentiment prédominant (ex : positif, négatif, neutre) associé à chacune d’entre elles. In fine, grâce aux LLMs, le champ « Commentaire » peut ainsi être divisé en un nombre N de thématiques, et, pour chacune de ces thématiques, un contenu peut être généré afin de faire ressortir le sentiment majoritaire des répondants à l’enquête.

des infras

* [Albert France Services](https://www.france-services.gouv.fr/taxonomy/term/174#:~:text=%C2%AB%20Albert%20France%20services%20%C2%BB%20facilite%20les,des%20cas%20d%27usage%20donn%C3%A9s.)

* Albert Tchap ?

* [LLamandement](https://gitlab.adullact.net/dgfip/projets-ia/llamandement)

### B. Modèles

[Albert github](https://github.com/etalab-ia/albert)
[Albert hugging face]()

### C. Datasets

### D. Infrastructure
des modeles
des datasets/open data ?

64 changes: 54 additions & 10 deletions III-Deploiements/4_Infras_administrations.qmd
Original file line number Diff line number Diff line change
@@ -1,17 +1,61 @@
# Guide du LLM

### PARTIE III. Deploiements
# PARTIE III. Deploiements

### 4. Infras dispos pour l’administration (Thibault Katia)
## 4. Infras dispos pour l’administration (Thibault Katia)

SSP Cloud (Onyxia)

Cloud PI

Clouds privés (SECNUMCLOUD, Sens?)

(NuboNyxia à terme)
Dans beaucoup de cas l'infrastructure est un des principaux freins à la mise en production d'un cas d'usage d'IA générative. L'acquisition d'un cluster GPUs n'est pas toujours une possibilité pour des questions budgétaires ou techniques. Cependant, plusieurs solutions sont disponibles (ou en cours de construction) à destination des administrations pour externaliser cette infrastructure.

Cette approche est d'ailleurs en phase avec la directive ["cloud au centre"](https://www.legifrance.gouv.fr/download/pdf/circ?id=45446) qui encourage l'utilisation d'infrastructure externalisée pour les projets informatiques de l'administration.

Dans ce cadre, la principale variable a prendre en compte est les contraintes de sécurité de l'application. Cette question va à la fois déterminer les solutions accessibles et imposer des choix architecturaux. Un guide a été publié par l'Anssi sur le sujet en avril 2024 : [RECOMMANDATIONS DE SÉCURITÉ
POUR UN SYSTÈME D'IA GÉNÉRATIVE](https://cyber.gouv.fr/sites/default/files/document/Recommandations_de_s%C3%A9curit%C3%A9_pour_un_syst%C3%A8me_d_IA_g%C3%A9n%C3%A9rative.pdf)

3 principales solutions sont possibles :
- ![Cloud Public](#cloud-public)
- ![Cloud externe](#cloud-externe)
- ![API inférence](#api-inference)


### A. Cloud Public

Bien que l'état dispose de plusieurs offres cloud internes, la mise à disposition de GPU est encore très peu mature et peu développée

1. [SSP Cloud](https://datalab.sspcloud.fr/?lang=fr)

A ce jour, le SSP Cloud via sa plateforme ONYXIA, est la principale plateforme publique mettant à disposition des GPUs à ces utilisateurs. Les ressources sont cependant très limitées et la plateforme est plus orientée autour du développement de projet que de la mise en production.

cf ![Déploiement d'un LLM sur SSP Cloud](#Déploiement d'un LLM sur SSP Cloud)

2. Cloud PI

Cloud PI est le cloud du ministère de l'intérieur

# TODO Obtenir des infos sur la disponibilté éventuelle de GPU dans PI ?

3. Nubo

Via Nubonyxia

# TODO Roadmap du Bercyhub sur ce sujet ?

### B. Cloud externe

La qualificiation [SecNumCloud](https://cyber.gouv.fr/secnumcloud-pour-les-fournisseurs-de-services-cloud) a été mis en place par l'ANSSI pour assurer des normes de sécurité aux utilisateurs de produits cloud. A ce jour, peu d'entreprises ont acquis cette qualification

1. [Dassault - Outscale](https://fr.outscale.com/) **IAAS**
2. [Thales - Sens](https://www.s3ns.io/) (Implémentation de GCP sur une infrastructure sécurisée) **PAAS**
3. [Cloud Temple](https://www.cloud-temple.com/) **IAAS ?**
4. ...

### C. API inférence

1. Public : Albert API

2. Externe non sécurisée :

- [Mistral API](https://mistral.ai/fr/)
- [Hugging face - inference endpoint](https://huggingface.co/inference-endpoints/dedicated)
- [Groq](https://wow.groq.com/why-groq/)

### 5. Déploiement d'un LLM sur SSP Cloud

Expand Down

0 comments on commit dd8bccc

Please sign in to comment.