Le cours sur le calcul à haute performance (HPC) est axé sur l'étude des techniques, méthodes et outils utilisés pour résoudre efficacement des problèmes complexes nécessitant une puissance de calcul importante. Le cours aborde les architectures parallèles, les algorithmes et les modèles ...
Définition : Le terme Calcul intensif - en anglais : High-performance computing - désigne les activités de calculs réalisés sur un
supercalculateur, en particulier à des fins de simulation numérique et de pré-apprentissage d'intelligences artificielles.
il
1 Thousand years ago : Experimental Science (Description of natural phenomena) •
{
@
0
2 Lats few hundread years : Theoretical Science (Newton’s laws, Maxwell’s equations)
3 Last few decades : Computational Science (Simulation of complex phenomena)
4 Today : Data Intensive (Unify theory, experimentation, data captured by instruments, data generated by simulators, machines)
HPC a connu une longue histoire de croissance exponentielle de ses capacités de calcul :
•
Antikythera (mécanisme datant du IIe siècle avant J-C, l’un des premiers calcul mécanique)
⑥
Charles Babbage (machine analytique XIXe)
②
ENIAC (1946 : premier ordinateur électronique à usage général) >
CDC 160A (1960, premier superordinateur commercial)
i
Les problèmes NP-difficiles font référence à une classe de problèmes informatiques notoiremet
difficiles à résoudre efficacement. Ces porblèmes apaprtiennent à la classe : NP (temps
polynomial non déterministe)
Exemple : Problème de voyageur de commerce, compagnies aériennes, Rubik’s Cube, ect
Machine Learning : Branche de l’IA qui permet aux machines d’apprendre et de s’améliorer à partir de données.
Edge Computing : Modèle de traitement de données où le calcul et l’analyse sont effectués près des appreils et des capteurs.
Edge node : Dispositifs locaux qui sont proches des utilisateurs ou des capteurs.
Centre : Représente le cloud ou le centre de données centralisé où les données collectées par les noeufs Edge sont envoyées.
Dans le contexte de l’informatique en périphérie, Edge Node est chargé de l’inférence (utilisation d’un modèle préalablement entrainé)
Une partie des données collectées est envoyée au centre pour un traitement plus approfondi (Center responsable de l’entrainement
continu des modèles)
Le besoin de puissance de calcul :
'
=
à
Tsunami de données générées Décisions intelligentes Prise de décision rapide
Avec l’internet, les médias, les apps, ect, une Les avancées de l’IA et de machine learning La prise de décision rapide est cruciale. Les
quantité de massive de données est générées permettent de prendre des décisions entreprises doivent être en msure d’analyser
et doivent être coolectées / stockées. intelligentes. Cependant ceci demande une rapidement de grandes quantités de données,
grande puissance de calcul. d’identifier des tendances, ect
Exascale era : Période à venir où les supercalculateurs seront capables d’effectuer un quintillion (10^18) d’opéarations à virgule
flottante par seconde. L’ère ouvre de nouvelles possibilités : Modélisation & Simulation / IA / Data analytique / Cloud
il
Challenges for exponential IT : Economy / Energy / Complexity / Disruptions / Speed / Expertise ü
Dennard DRAM : Juin 1969
Loi de Dennard en 1974, décrit une tendance selon laquelle la taille des transistors diminue, leur puissance et leur densité
:
de transistor par unité de surface tout en offrant des performances accrues.
Mémoire DRAM (Dynamic Random Access Memory), type de mémoire volatile pour stocker et accéder rapidement aux
donnés. Contrairement à la SRAM, la DRAM nécessite un rafraichissement périodiques des données pour maintenir leur intégrité
'
SRAM : Mémoire volatile qui stocke les données de manère statique
(données conservées tant que l’alimentaton electrique est
maintenue), plusieurs transistors, pas besoin de rafraichissement ->
Temps d’accès très rapide.
.
DRAM : Mémoire volatile qui stocke les données de manière
dynamique, possède un transistor et un condensateur, les cellules
doivent être rafraichies pour maintenir données, plus dense en
stockage et moins cher.
, Challenge : La bande passante mémoire par coeur se réduit.
La bande passante maximale par SOC (System-on-a-Chip) est calculée en mutipliant le nombre de canaux par la largeur des
canaux et la vitessse de transfert en gigaoctets par seconde (GT/s) "
Ü
Bande passsante maximale par SOC = Nombre de canaux * Largeur des canaux * GT/s
Skylake est le nom de code d’une microarchitecture de processeur dévéloppée par Intel. Cela signifie que deux processeurs
Skylake sont utilisés dans une même configuration de système. Les configurations à double processeur (double socket)
permettent d’utiliser deux processeurs dans un même système pour améliorer les performances et la capacité de traitement.
La latence dans la hierarchie de la mémoire : délais de temps nécessaires pour accéder aux différents niveaux de la mémoire dans
un système informatique. Les niveaux de cache :
L1 (cache de niveau 1) L1 le + rapide, L2 / L3 un peu moins.
L2 (cache de niveau 2)
L3 (cache de niveau 3)
y
Situés plus près du microprocesseur (temps d’accès plus rapides / capacité de stockage + limité)
Mémoire principale : capacité de mémoire plsu importante, mais son accès est plus lent.
La loi de Little est une formule mathématique utilisée en théorie des files d’attente :
Nombre moyen d’éléments dans le système = Débit moyen * Temps moyen de séjour
÷
Concurrency (Nombre d’opérations simultanées) = Latence (temps nécessaire pour
effectuer une opération) * Bande passante (Quantité de données qui peut être
transférée par unité de temps)
Le modèle d’accès est essentiel pour les performances d’un système informatique. Voici quelques modèles d’accès :
Le modèle superscalar fait Le modèle de séléction spéculatie est utilisé lorsqu’une condition de sélection ne peut
référence à l’utilisation de être déterminée à l’avance, et donc plusieurs chemins d’execution sont explorés en
processeurs capables d’executer parallule, suivi de la selecion du resultat.
'
y
Le modèle stencil est utilisé plusieurs instructions en parallèle. Le modèle de réduction est utilisé lorsque
dans les algo qui appliquent des s des opérations doivent être effectuées sur
opérations similaires à chaque
un ensemble de données pour en dériver
élément d’un tableau en utilisant
une valeur agrégée.
des schémas de voisinage.
Les modèles Pack & Expend sont
utilisés pour manipuler les données
:
Le modèle de partition en comprimant ou en étendant un
consiste à diviser un ensemble de données.
problème en sous-problèmes
i
plus petit. Le modèle Nest fait référence à la
:
construction de boucles ou de
structures de controle imbriquées
Le modèle Gather/Scatter pour gérer des opérations
est utilisé pour collecter des répétitives.
données dispersées dans
différentes parties de la
mémoire et les rassembler
en un seul emplacement, ou
i ←
Les modèles de recehrche et de
correspondance sont utilisés pour
trouver des éléments
pour répartir.
Le modèle de Map est correspondants certaines
Le modèle Scan est utilisé pour
utilisé pour appliquer une conditions.
calculer une somme cumutative ou
fonction ou une opération à une opération cumulative sur une
chaque élément d’un séquence d’élément.
ensemble de données.
Fujio Masuoka : ingénieur Japonais, créateur de la mémoire flash. En 1980 il a developpé la technologie de la mémoire Flash qui a
revolutionner le stockage des données.
Mémoire Flash : mémoire non volatile qui peut stocker des données même en l’absence d’alimentation electrique. ne comporte pas de
pièce mobile, plus légère et consomme moins d’énergie.
Les avantages d'acheter des résumés chez Stuvia:
Qualité garantie par les avis des clients
Les clients de Stuvia ont évalués plus de 700 000 résumés. C'est comme ça que vous savez que vous achetez les meilleurs documents.
L’achat facile et rapide
Vous pouvez payer rapidement avec iDeal, carte de crédit ou Stuvia-crédit pour les résumés. Il n'y a pas d'adhésion nécessaire.
Focus sur l’essentiel
Vos camarades écrivent eux-mêmes les notes d’étude, c’est pourquoi les documents sont toujours fiables et à jour. Cela garantit que vous arrivez rapidement au coeur du matériel.
Foire aux questions
Qu'est-ce que j'obtiens en achetant ce document ?
Vous obtenez un PDF, disponible immédiatement après votre achat. Le document acheté est accessible à tout moment, n'importe où et indéfiniment via votre profil.
Garantie de remboursement : comment ça marche ?
Notre garantie de satisfaction garantit que vous trouverez toujours un document d'étude qui vous convient. Vous remplissez un formulaire et notre équipe du service client s'occupe du reste.
Auprès de qui est-ce que j'achète ce résumé ?
Stuvia est une place de marché. Alors, vous n'achetez donc pas ce document chez nous, mais auprès du vendeur elenaflt. Stuvia facilite les paiements au vendeur.
Est-ce que j'aurai un abonnement?
Non, vous n'achetez ce résumé que pour €5,49. Vous n'êtes lié à rien après votre achat.
