High-Performance GPU-to-CPU Transpilation and Optimization via High-Level Parallel Constructs

Mots clés générés par l'IA : Portabilité des performances CUDA OpenMP PyTorch Fugaku

Points clés générés par l'IA

La licence de l'article ne nous permet pas de nous appuyer sur son contenu et les points clés sont générés à l'aide des métadonnées de l'article plutôt que de l'article complet.

  • Le parallélisme est la principale source de performance, mais les implémentations architecturales et les modèles de programmation changent à chaque nouvelle génération de matériel.
  • Cela entraîne souvent une réingénierie coûteuse des applications.
  • La plupart des outils de portabilité des performances nécessitent un portage manuel et onéreux des applications vers un autre modèle de programmation.
  • Une solution alternative a été proposée dans l'article "High-Performance GPU-to-CPU Transpilation and Optimization via High-Level Parallel Constructs".
  • Cette approche permet de traduire automatiquement les programmes écrits dans un modèle de programmation (CUDA) en un autre (threads CPU) basé sur Polygeist/MLIR sans nécessiter de portage manuel et coûteux.
  • Les résultats montrent qu'elle permet d'obtenir une accélération géométrique moyenne de 76 % par rapport au code OpenMP écrit à la main.
  • Ils ont réussi à faire fonctionner efficacement les noyaux CUDA de PyTorch sur le supercalculateur Fugaku uniquement avec l'intervention automatique de l'utilisateur.
  • Leur couche de compatibilité PyTorch utilisant les noyaux CUDA transpilés dépasse le backend natif CPU PyTorch de 2,7 fois en termes d'efficacité.
  • Cette approche pourrait avoir un impact significatif sur la réduction des coûts et des efforts liés à la portabilité des performances dans le domaine du calcul haute performance.
Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : William S. Moses, Ivan R. Ivanov, Jens Domke, Toshio Endo, Johannes Doerfert, Oleksandr Zinenko

Résumé : While parallelism remains the main source of performance, architectural implementations and programming models change with each new hardware generation, often leading to costly application re-engineering. Most tools for performance portability require manual and costly application porting to yet another programming model. We propose an alternative approach that automatically translates programs written in one programming model (CUDA), into another (CPU threads) based on Polygeist/MLIR. Our approach includes a representation of parallel constructs that allows conventional compiler transformations to apply transparently and without modification and enables parallelism-specific optimizations. We evaluate our framework by transpiling and optimizing the CUDA Rodinia benchmark suite for a multi-core CPU and achieve a 76% geomean speedup over handwritten OpenMP code. Further, we show how CUDA kernels from PyTorch can efficiently run and scale on the CPU-only Supercomputer Fugaku without user intervention. Our PyTorch compatibility layer making use of transpiled CUDA PyTorch kernels outperforms the PyTorch CPU native backend by 2.7$\times$.

Soumis à arXiv le 01 Jul. 2022

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

La licence de l'article ne nous permet pas de nous appuyer sur son contenu et l'assistant IA ne peut se servir que des métadonnées de l'article plutôt que de l'article complet.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2207.00257v1

La licence de cet article ne nous permet pas de nous appuyer sur son contenu et le processus de synthèse est ici effectué avec les métadonnées de l'article plutôt qu'avec l'article en tant que tel.

Alors que le parallélisme reste la principale source de performance, les implémentations architecturales et les modèles de programmation changent à chaque nouvelle génération de matériel, entraînant souvent une réingénierie coûteuse des applications. La plupart des outils de portabilité des performances nécessitent un portage manuel et onéreux des applications vers un autre modèle de programmation. William S. Moses, Ivan R. Ivanov, Jens Domke, Toshio Endo, Johannes Doerfert et Oleksandr Zinenko ont proposé une solution alternative dans leur article intitulé "High-Performance GPU-to-CPU Transpilation and Optimization via High-Level Parallel Constructs". Cette approche permet de traduire automatiquement les programmes écrits dans un modèle de programmation (CUDA) en un autre (threads CPU) basé sur Polygeist/MLIR sans nécessiter de portage manuel et coûteux. Les résultats montrent qu'elle permet d'obtenir une accélération géométrique moyenne de 76 % par rapport au code OpenMP écrit à la main. De plus, ils ont réussi à faire fonctionner efficacement les noyaux CUDA de PyTorch sur le supercalculateur Fugaku uniquement avec l'intervention automatique de l'utilisateur. Leur couche de compatibilité PyTorch utilisant les noyaux CUDA transpilés dépasse le backend natif CPU PyTorch de 2,7 fois en termes d'efficacité. Cette approche pourrait avoir un impact significatif sur la réduction des coûts et des efforts liés à la portabilité des performances dans le domaine du calcul haute performance.
Créé le 18 Avr. 2023

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Pourquoi avons-nous besoin de votes ?

Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.

Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.

La licence de cet article spécifique ne nous permet pas de nous appuyer sur son contenu et les outils de synthèse seront exécutés en utilisant les métadonnées de l'article plutôt que l'article complet. Cependant, l'outil produira quand même un bon résultat, et vous pouvez également essayer nos outils sur des papiers avec des licences plus ouvertes.

Articles similaires résumés avec nos outils d'IA

Naviguez à travers encore plus d'articles similaires en utilisant une

représentation arborescente

Recherchez des articles similaires (en version bêta)

En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.