プリフェッチと近似計算に基づく高性能キャッシュシステム
2022年度研究会推薦博士論文速報
[システム・アーキテクチャ研究会]
中村 朋生
【背景】コンピューティング能力の需要拡大
【問題】メモリアクセス速度が処理のボトルネック
【貢献】高性能キャッシュシステムによるメモリアクセス速度の隠蔽
半導体技術の進歩により,現在のプロセッサは大規模で高速な処理を行うことができる.しかし,プロセッサを構成する各要素の動作速度と比較して,メモリからデータや命令を取得する速度(メモリアクセスレイテンシ)は数百倍と大きい.そのため,メモリアクセス処理がプログラムの実行速度のボトルネックとなりやすく,このメモリアクセスレイテンシを削減・隠蔽することが重要である.
メモリアクセスレイテンシを隠蔽する鍵は,プロセッサ内のメモリアクセスを管理するキャッシュシステムである.このキャッシュシステムがプロセッサ内で果たす役割は 1.命令供給 と 2.データ供給 の2つである(図).これら命令供給とデータ供給は,扱うメモリ量やアクセス傾向といった異なる性質を持つ.本研究では,キャッシュシステムを向上させる有力なアプローチとしてそれぞれの性質に応じてプリフェチと近似計算といった2つの技術に着目した(サムネ画像).
プリフェチは,未来にアクセスされるデータ・命令を予測し,あらかじめキャッシュメモリに挿入する技術である.プロセッサからのアクセスを待たずにキャッシュに挿入することができるため,主記憶へのメモリアクセスレイテンシを隠蔽でき得る.近似計算は,演算やデータに不確かな値を許容することで,処理速度向上や消費電力削減を達成する技術である.近似計算によってメモリ上のデータを非可逆圧縮することで,実効データサイズが縮小され,キャッシュの実効的な容量と実効メモリバンド幅を拡大することができる.
命令供給に対して効果の高いプリフェッチについて分析を行った結果,命令キャッシュミスをより有効に削減するためには,アドレスが正確に予測できることに加えて,十分早いタイミングのプリフェッチが重要であることが分かった.この分析に基づき,高い予測精度と早いタイミングでの予測を両立するD-JOLTプリフェッチャを提案した.D-JOLTは関数呼び出し情報を用いて予測を行う.どの程度直近の関数呼び出し情報を利用するかに応じて,予測精度を犠牲にした早いタイミングによる予測を,より高精度だが遅いタイミングによる予測で補う構成をとる.シミュレーション評価により,高い性能向上を示した.
データ供給に対して効果の高い近似計算に着目し,対象となるプログラムの性質を分析した結果,プログラム中の時間的・空間的な繰り返し構造を利用することで,計算精度を段階的に制御し,出力に対して必要十分な出力結果を得られうるとの洞察を得た.この分析に基づき,近似計算を制御する2つの近似計算フレームワーク,Stochastic Iterative Approximation(SIA),Stepwise Multi-Precision Approximation(SMA)を提案した.SIAは,オーバーヘッドを削減する拡張分岐命令とキャッシュミスレイテンシを削減する拡張ロード命令の導入により,計算精度を段階的にかつ動的に制御することができる.SMAは,複数精度でのデータのロードと演算を行うSIMD拡張命令の導入によって,段階的な近似処理を実現する.シミュレーション評価により,実行中での計算精度切り替え,およびに必要十分な出力品質にすることによる実行速度の向上を示した.
(2023年5月30日受付)
(2023年8月15日note公開)
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
取得年月:2023年3月
学位種別:博士(情報理工学)
大学:東京大学
正会員
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
研究生活 学部時代の講義や勉強を通じてコンピュータの仕組みに興味を持ち,研究室配属されてからはコンピュータアーキテクチャについて研究をするようになっていきました.研究室に入った直後は右も左も分かりませんでしたが,日々のミーティングや学会活動などの研究生活を通じて専門的な知識を身に付けることができました.吸収するだけの勉学とは異なり,新たな知識をアウトプットする生みの苦しさに悩まされることも多々ありましたが,博士課程という立場で自分の研究課題に責任を持ちつつ,人を先導して課題に向き合う力がついたように感じます.目標に対して課題を整理し,論理的な分析を着実に進めて目標に近づく課題解決能力を育むにあたって,博士課程という環境は代えがたいもののように思えます.