INF5171 - Programmation concurrente et parallèle
Plan de cours Automne 2024
Responsable(s) du cours
Coordination
|
Enseignement
|
Description officielle
Objectifs
Familiariser les étudiants avec les concepts de base et les différents paradigmes de la programmation concurrente et parallèle. Donner un aperçu de la mise en oeuvre de programmes concurrents et parallèles dans différents langages.
Sommaire du contenu
Architectures parallèles : architecture des processeurs (pipelines, coeurs multiples); multiprocesseurs, multi-ordinateurs, grilles de calculs. Types d’application concurrentes : à fils d’exécution multiples, parallèles, distribuées. Synchronisation et communication : variables partagées, échange de messages. Programmation par variables partagées : verrous, sémaphores, barrières, moniteurs. Mesures de performance: temps, coût, accélération, efficacité. Stratégies de programmation : parallélisme itératif, récursif, de flux, de données, de sac de tâches; parallélisme de résultat, d’agenda, de spécialistes.
Modalité d’enseignement
Ce cours comporte une séance obligatoire de laboratoire (2 heures).
Préalables académiques
Contenu détaillé
Sommaire
- Introduction et rappels des concepts des systèmes d’exploitation.
- Types d’architectures parallèles: processeurs multi-coeurs, processeurs graphiques, grappes de calcul.
- Parallélisme de tâche, de données et chemin critique.
- Analyse des algorithmes parallèles: temps d’exécution, accélération et efficacité.
- Synchronisation, opérations atomiques et communication interprocessus.
- Exploitation des instructions vectorielles
- Mesure de performance, compteurs de performance, intensité arithmétique, bande passante et effet de cache.
- Test et vérification des applications parallèles.
- Mise en oeuvre en C++ à l’aide de librairies modernes.
Introduction et rappels
- Survol des architectures parallèles
- Classe de traitement parallèle
- Calcul de l’accélération
- Assembleur Intel x86
- Rappels à propos des systèmes d’exploitation
Parallélisme de tâche
- Identification des sections séries et parallèles
- Gestion de fil d’exécution à bas-niveau
- Synchronisation: verrous, conditions, barrières
- Étude de cas avec la librairie Pthreads
Parallélisme de données
- Granularité du calcul
- Chemin critique d’exécution
- Division du travail en intervalle
- Conditions critique
- Analyse du coût et de l’accélération asymptotique
- Réduction et tri en parallèle
- Intégration en parallèle
- Étude de cas avec la librairie OpenMP et TBB
Hiérarchie de mémoire
- Organisation de la hiérarchie de mémoire
- Protocole de cohérence de cache
- Opérations atomiques
- Défaut de cache
- Patrons d’accès à la mémoire
- Problème de faux partage
- Profilage des accès mémoires
- Intensité arithmétique
- Modèle de la ligne de toit
Instructions SIMD
- Principe de fonctionnement
- Registres et instructions x86
- Utilisation de l’API intrinsèque
- Vectorisation automatique et avec OpenMP
- Élimination des branches
Programmes distribués
- Calcul sur grappe
- Modèles de communication
- Accélération en fonction de la taille du problème
- Notion d’efficacité
- Étude de cas avec MPI
Mesure de performance
- Mesure du temps écoulé
- Comparaison des méthodes de profilage
- Traçage d’application et du noyau
- Étude du code assembleur généré
- Outils statistique pour la comparaison des résultats
Vérification des programmes parallèles
- Stratégie de débogage
- Mise à l’échelle, banc d’essais de performance
- Méthode de test de charge
- Vérification formelle statique v.s. fonctionnement
- Étude de cas avec Helgrind et ThreadSanitizer
Calcul sur processeur graphique
- Différence entre architectures
- Définition et lancement de noyau de calcul
- Communication entre l’hôte et le périphérique
- Étude de cas avec OpenCL (ou équivalent)
Évaluation
Évaluation | Pondération (%) | Date |
---|---|---|
TP1 | 10 | 2024-09-27 |
Quiz 1 | 5 | 2024-10-10 |
TP2 | 10 | 2024-10-18 |
Examen intra | 25 | 2024-10-24 |
TP3 | 10 | 2024-11-15 |
Quiz 2 | 5 | 2024-11-28 |
TP4 | 10 | 2024-12-06 |
Examen final | 25 | 2024-12-12 |
Les sujets pour des travaux pratiques vont dépendre du matériel et de l’environnement disponible pour leur réalisation. Lorsque mentionné, les travaux devront être lancés sur la grappe de calcul dédiée au cours.
- TP1 : Programme en mémoire partagée 1
- TP2 : Programme en mémoire partagée 2
- TP3 : Programme en mémoire distribuée
- TP4 : Programme sur processeur graphique
Les travaux pratiques sont à réaliser seul ou en équipe de deux. Il est important que chaque personne comprenne bien les laboratoires et les travaux pratiques, car ils feront l’objet de questions aux examens. Le rapport et le code doivent être remis sur Moodle. Attention: aucune remise ne pourra être faite après la date limite.
En cas de divergences avec l’entente d’évaluation, les modalités de l’entente d’évaluation prévalent.
Médiagraphie
- MCCOOL, Michael, REINDERS, James, et ROBISON, Arch. Structured parallel programming: patterns for efficient computation. Elsevier, 2012.
- BUELER, Ed. PETSc For partial differential equations: Numerical solutions in C and Python. Society for Industrial and Applied Mathematics, 2020.
- WEN-MEI, W. Hwu, KIRK, David B., et EL HAJJ, Izzat. Programming Massively Parallel Processors: A Hands-on Approach. Morgan Kaufmann, 2022.
- ANDERSON, Robert, ANDREJ, Julian, BARKER, Andrew, et al. MFEM: A modular finite element methods library. Computers & Mathematics with Applications, 2021, vol. 81, p. 42-74.
- GROPP, William, LUSK, Ewing, et SKJELLUM, Anthony. Using MPI, third edition: portable parallel programming with the message-passing interface. MIT press, 2014.
- WILLIAMS, Anthony. C++ concurrency in action. Simon and Schuster, 2019.
- NIELSEN, Frank et NIELSEN, Frank. Introduction to MPI: the message passing interface. Introduction to HPC with MPI for Data Science, 2016.
Information sur les Services à la vie étudiante
Services
Les services à la vie étudiante accompagnent les étudiantes et les étudiants dans la réussite de leur parcours universitaire.
Bureau
Bureau des services-conseils (soutien psychologique, bien-être aux études, information scolaire et insertion professionnelle, orientation, emploi): pour prendre rendez-vous, communiquez au 514 987-3185 ou par courriel à [email protected].
Aide financière
Bureau de l’aide financière: pour prendre rendez-vous, écrivez à [email protected].
Bourses d’études
Concernant les bourses, pensez à consulter Le Répertoire institutionnel des bourses d’études (RIBÉ) et écrivez à [email protected] pour toute question.
Informations générales
Consultez les informations et l’ensemble des coordonnées et services offerts par les Services à la vie étudiante à l’adresse suivante: [email protected].
Politique d’absence aux examens
Reprise d’examen
L’autorisation de reprendre un examen en cas d’absence est de caractère exceptionnel. Pour obtenir un tel privilège, l’étudiant-e doit avoir des motifs sérieux et bien justifiés.
Conflits d’horaire
Il est de la responsabilité de l’étudiant.e de ne pas s’inscrire à des cours qui sont en conflit d’horaire, tant en ce qui concerne les séances de cours ou d’exercices que les examens. De tels conflits d’horaire ne constituent pas un motif justifiant une demande d’examen de reprise.
Procédure
L’étudiant.e absent.e lors d’un examen doit, dans les cinq (5) jours ouvrables suivant la date de l’examen, présenter une demande de reprise en utilisant le formulaire prévu, disponible sur https://info.uqam.ca/repriseexamen/.
Pièces justificatives
Dans le cas d’une absence de moins de cinq (5) jours pour raison médicale, l’étudiant.e doit joindre une déclaration sur l’honneur. Lors d’une absence de cinq (5) jours et plus, un billet médical est exigé. Les dates d’invalidité doivent être clairement indiquées sur le billet original. L’authenticité du billet pourrait être vérifiée.
Dans le cas d’une absence pour une raison non médicale, l’étudiant.e doit fournir les documents originaux expliquant et justifiant l’absence à l’examen ; par exemple, lettre de la Cour en cas de participation à un jury, copie du certificat de décès en cas de décès d’un proche, etc. Toute demande incomplète sera refusée. Si la direction du programme d’études de l’étudiant.e constate qu’un.e étudiant.e a un comportement récurrent d’absence aux examens, l’étudiant.e peut se voir refuser une reprise d’examen.
Pour plus d’informations
Consulter la page https://info.uqam.ca/repriseexamen/.
PLAGIAT Règlement no 18 sur les infractions de nature académique. (extraits)
Tout acte de plagiat, fraude, copiage, tricherie ou falsification de document commis par une étudiante, un étudiant, de même que toute participation à ces actes ou tentative de les commettre, à l’occasion d’un examen ou d’un travail faisant l’objet d’une évaluation ou dans toute autre circonstance, constituent une infraction au sens de ce règlement. (R18, art. 2.1, définition d’une infraction)
Liste non limitative des infractions mentionnées dans le R18 :
- la substitution de personnes ou l’usurpation d’identité (art. 2.2 a);
- le plagiat : l’utilisation totale ou partielle du texte d’autrui ou de la production d’autrui en le faisant passer pour sien ou sans indication de référence (art. 2.2 b);
- le recyclage/la réutilisation de travaux : le dépôt d’un travail aux fins d’évaluation alors que ce travail constitue en tout ou en partie un travail qui a déjà été soumis par la personne étudiante, aux fins d’évaluation académique à l’UQAM ou dans une autre institution d’enseignement, sauf avec l’accord préalable de la personne enseignante à qui ce travail est soumis (art. 2.2 c);
- la possession ou l’obtention par vol, manœuvre ou corruption de questions ou de réponses d’examen (art. 2.2 d);
- la possession ou l’utilisation de tout document ou matériel non autorisé préalablement, pendant un examen ou lors de la réalisation de travaux, incluant le recours aux outils informatiques ou moyens technologiques (art. 2.2 e);
- l’utilisation pendant un examen de la copie d’examen ou de tout autre matériel provenant d’une autre personne (art. 2.2 f);
- l’obtention de toute aide non autorisée, qu’elle soit collective ou individuelle (art. 2.2 g);
- l’obtention d’une évaluation non méritée notamment par corruption, chantage, intimidation ou toute forme de harcèlement ou la tentative d’obtenir une telle évaluation (art. 2.2 h);
- la falsification d’un document ou la création d’un faux document, notamment d’un document transmis à l’Université ou d’un document de l’Université transmis ou non à une tierce personne, quelles que soient les circonstances (art. 2.2 i);
- la falsification de données de recherche dans un travail, notamment une thèse, un mémoire, un mémoire- création, un rapport de stage ou un rapport de recherche (art. 2.2 j).
Les sanctions reliées à ces infractions sont précisées aux articles 3 et 5 du Règlement no 18 sur les infractions de nature académique.
Pour éviter de vous exposer à des sanctions :
- Consultez le site r18.uqam.ca pour plus d’information sur l’intégrité académique et le R18;
- Développez les bonnes pratiques en matière de recherche documentaire et de rédaction des travaux via l’outil Infosphère et les formations offertes par le Service des bibliothèques
Politique no 2
Le droit à la liberté académique universitaire est le droit de toute personne d’exercer librement et sans contrainte doctrinale, idéologique ou morale, telle la censure institutionnelle, une activité par laquelle elle contribue à l’accomplissement de la mission de l’Université.
Ce droit comprend la liberté :
- d’enseignement et de discussion;
- de recherche, de création et de publication;
- d’exprimer son opinion sur la société et sur une institution, y compris l’établissement duquel la personne relève, ainsi que sur toute doctrine, tout dogme ou toute opinion;
- de participer librement aux activités d’organisations professionnelles ou d’organisations académiques.
Il doit s’exercer en conformité avec les normes d’éthique et de rigueur scientifique généralement reconnues par le milieu universitaire et en tenant compte des droits des autres membres de la communauté universitaire.
En reconnaissant, en promouvant et en protégeant la liberté académique universitaire, cette politique soutient la mission de l’Université, laquelle comprend la production et la transmission de connaissances par des activités de recherche, de création et d’enseignement et par des services à la collectivité.
Pour plus d’information, vous pouvez consulter la section Liberté académique universitaire.
Politique no 16 visant à prévenir et combattre le sexisme et les violences à caractère sexuel
Les violences à caractère sexuel se définissent comme étant des comportements, propos et attitudes à caractère sexuel non consentis ou non désirés, avec ou sans contact physique, incluant ceux exercés ou exprimés par un moyen technologique, tels les médias sociaux ou autres médias numériques. Les violences à caractère sexuel peuvent se manifester par un geste unique ou s’inscrire dans un continuum de manifestations et peuvent comprendre la manipulation, l’intimidation, le chantage, la menace implicite ou explicite, la contrainte ou l’usage de force.
Les violences à caractère sexuel incluent, notamment :
- la production ou la diffusion d’images ou de vidéos sexuelles explicites et dégradantes, sans motif pédagogique, de recherche, de création ou d’autres fins publiques légitimes;
- les avances verbales ou propositions insistantes à caractère sexuel non désirées;
- la manifestation abusive et non désirée d’intérêt amoureux ou sexuel;
- les commentaires, les allusions, les plaisanteries, les interpellations ou les insultes à caractère sexuel, devant ou en l’absence de la personne visée;
- les actes de voyeurisme ou d’exhibitionnisme;
- le (cyber) harcèlement sexuel;
- la production, la possession ou la diffusion d’images ou de vidéos sexuelles d’une personne sans son consentement;
- les avances non verbales, telles que les avances physiques, les attouchements, les frôlements, les pincements, les baisers non désirés;
- l’agression sexuelle ou la menace d’agression sexuelle;
- l’imposition d’une intimité sexuelle non voulue;
- les promesses de récompense ou les menaces de représailles, implicites ou explicites, liées à la satisfaction ou à la non-satisfaction d’une demande à caractère sexuel.
Pour consulter la politique no 16
https://instances.uqam.ca/wp-content/uploads/sites/47/2019/04/Politique_no_16_2.pdf
Pour obtenir de l’aide, faire une divulgation ou une plainte
Bureau d’intervention et de prévention en matière de harcèlement
514-987-3000, poste 0886
Pour obtenir la liste des services offerts à l’UQAM et à l’extérieur de l’UQAM
Soutien psychologique (Services à la vie étudiante)
514-987-3185
Local DS-2110
CALACS Trêve pour Elles – point de services UQAM
514 987-0348
[email protected]
http://trevepourelles.org
Service de la prévention et de la sécurité
514-987-3131
Politique no 44 d’accueil et de soutien des étudiant.e.s en situation de handicap
Politique
Par sa politique, l’Université reconnait, en toute égalité des chances, sans discrimination ni privilège, aux étudiant.e.s en situation de handicap, le droit de bénéficier de l’ensemble des ressources du campus et de la communauté universitaire, afin d’assurer la réussite de leurs projets d’études, et ce, dans les meilleures conditions possibles. L’exercice de ce droit est, par ailleurs, tributaire du cadre réglementaire régissant l’ensemble des activités de l’Université.
Responsabilité de l’étudiant.e
Il incombe aux étudiant.e.s en situation de handicap de rencontrer les intervenant.e.s (conseiller.ère.s à l’accueil et à l’intégration du Service d’accueil et de soutien des étudiant.e.s en situation de handicap, professeur.e.s, chargé.e.s de cours, direction de programmes, associations étudiantes concernées, etc.) qui pourront faciliter leur intégration à la communauté universitaire ou les assister et les soutenir dans la résolution de problèmes particuliers en lien avec les limitations entraînées par leur déficience.
Service d’accueil et de soutien aux étudiant.e.s en situation de handicap
Le Service d’accueil et de soutien aux étudiant.e.s en situation de handicap (SASESH) offre des mesures d’aménagement dont peuvent bénéficier certains étudiant.e.s. Il est fortement recommandé aux de se prévaloir de ces services afin de réussir ses études, sans discrimination. Pour plus d’information, visiter le site de ce service : https://services.uqam.ca/services-offerts/soutien-aux-etudiants-en-de-situation-handicap/ et celui de la politique institutionnelle d’accueil et de soutien aux étudiant.e.s en situation de handicap : https://instances.uqam.ca/wp-content/uploads/sites/47/2018/05/Politique_no_44.pdf
Il est important d’informer le SASESH de votre situation le plus tôt possible :
- En personne : 1290, rue Saint-Denis, Pavillon Saint-Denis, local AB-2300
- Par téléphone : 514 987-3148
- Par courriel : [email protected]
- En ligne : https://vie-etudiante.uqam.ca/
Politique no 42 sur le harcelement
L’Université du Québec à Montréal (ci-après, l’« Université ») reconnaît à toutes les personnes membres de la communauté universitaire le droit d’être traitées avec dignité, équité et respect mutuel.
Toutes, tous sont susceptibles de subir du harcèlement. L’Université reconnaît que le harcèlement est majoritairement dirigé à l’endroit de certains groupes. Il s’agit notamment des femmes, plus particulièrement lorsque leur vécu se situe à l’entrecroisement de plusieurs formes de discrimination, des personnes issues des minorités sexuelles ou de genre, des communautés racisées ou ethnicisées, des communautés autochtones, des étudiantes, étudiants internationaux, ainsi que des personnes en situation de handicap. L’Université s’engage donc à tenir compte de leurs besoins spécifiques.
L’Université considère le respect mutuel, l’égalité, l’écoute et l’entraide comme des valeurs importantes qui favorisent l’épanouissement personnel ainsi que l’établissement de rapports harmonieux entre les personnes et entre les groupes, et qui permettent la mise en place d’un milieu sain et propice à la réalisation individuelle ou collective de sa mission universitaire.
L’Université croit que la collaboration de chaque personne et de chaque groupe de la communauté universitaire est essentielle pour favoriser la création d’un tel milieu et, en ce sens, elle compte sur la contribution de chaque personne.
L’Université juge que toute forme de harcèlement porte atteinte à la dignité et à l’intégrité physique ou psychologique d’une personne.
L’Université reconnaît sa responsabilité d’assurer un milieu de travail et d’études exempt de toute forme de harcèlement et veille à ce qu’aucune forme de harcèlement ne soit tolérée, quelle qu’en soit la source.
Pour plus de détails, consultez la politique complète : https://instances.uqam.ca/wp-content/uploads/sites/47/2018/05/Politique_no_42.pdf