専攻講演会
Department Lecture
Uncompromising Performance with Exocompilation
ハードウェアアクセラレータ最適化のためのプログラミング言語設計
Abstract:
Performance is the currency of modern computing. Achieving peak throughput on fast-evolving accelerators demands more control than today's compilers provide. I will present Exo and the Exocompilation paradigm: a user-schedulable programming language that shifts two responsibilities traditionally hard-coded in compilers--hardware backends and optimization strategies--into safe, extensible user libraries. In Exo, optimizations are expressed as verified rewrites that guarantee functional equivalence, and low-level primitives (e.g., explicit instruction selection, GPU asynchrony) give programmers precise control. This design enables targeting CPUs, GPUs, and matrix engines, and supports concise, reusable scheduling libraries that match or surpass the performance of state-of-the-art libraries such as cuBLAS and MKL. Exo-generated kernels already ship at scale, including on Apple devices.
AI技術の根幹を支えているのは、GPUやTPUといった行列演算エンジン、すなわちアクセラレータである。アクセラレータの性能をどれだけ引き出せるかによって、AIの性能や推論速度が大きく左右され、その最適化プロセスは「パフォーマンス・エンジニアリング」と呼ばれる。本講演では、パフォーマンス・エンジニアリングのためのプログラミング言語「Exo」を紹介する。Exoでは、最適化は機能的等価性が保証された検証済みの書き換えとして表現され、低レベルのプリミティブ(明示的な命令選択やGPUの非同期実行)により、プログラマに精密な制御を可能にする。この設計により、CPU、GPU、行列演算エンジンを対象とした最適化が可能となり、cuBLASやMKLといった最先端ライブラリに匹敵、あるいはそれを上回る性能を持つ、簡潔で再利用可能な最適化ライブラリを実現する。
Bio:
Yuka Ikarashi is a sixth-year PhD candidate at MIT CSAIL and an incoming assistant professor at Cornell University. She received her MS from MIT in 2022 and her BS from the University of Tokyo in 2020. Passionate about compilers and programming languages for high-performance computing, she created the Exo programming language. She has previously worked at Apple, Amazon, and CERN, applying her research to various accelerators and applications. She has been awarded the Quad Fellowship, the Masason Foundation Fellowship, the Funai Foundation Fellowship, the ML and Systems Rising Stars Award, and the Rising Stars in EECS Award. Originally from Tokyo, Japan, she is an avid traveler and has visited 36 countries.
五十嵐祐花(いからし ゆうか)は、現在MITコンピュータ科学・人工知能研究所(CSAIL)の博士課程6年目で、来年度よりコーネル大学の助教授に就任予定。2022年にMITで修士号、2020年に東京大学で学士号を取得。高性能計算のためのコンパイラやプログラミング言語に関心を持ち、Exoプログラミング言語を開発した。
