最近ちっとも更新していない大島です．

お誘いを受けて職場を異動しました．なかなかこのページに書くのにちょうど良いネタがありません．しばらくは，日々のネタは「向こうのサイト」に，学会発表等の情報はwikiに書くつもりでいます．

以上，近況報告終わり．

投稿テスト by iPhone

o- はじめに

新年度になり，新たにCUDAに関する研究を行ってみたいという学生が増えてくるだろうということで，ざっとメモしておきます．

ちなみにLinuxを用いる場合はこちら．（記述が古いですが，まぁ大枠は一緒でしょう．）

ここでは最低限の環境としてビデオカードを無視した内容を記述します．CUDA対応GPUが搭載されていなくても大丈夫です．なお，OSはWindowsXP Professionalを想定しています．他のWindowsの場合は適宜読み替えてください．

o- 準備：必要なソフトウェアの導入

CUDA Toolkit（CUDAツールキット）

CUDA SDK code samples（CUDA　SDKコードサンプル）

VisualStudio（VisualC++）2008

ToolkitとSDKはCUDA 3.0 Downloadsからダウンロードし，順番にを実行してインストールしましょう．（日本語サイトを利用する場合はこちら：CUDAプログラミングツールキットのダウンロード．私は習慣的に本家を利用していますが，おそらくどちらでも大丈夫．）

CUDA対応GPUを搭載しているPCの場合はついでにドライバも導入しておきましょう．

VisualStudioは，持っていない場合はMicrosoft Visual Studio 2008 Express EditionからVisualC++2008ExpressEditionを入手しましょう．無料で利用できます．（大学生・大学院生の場合は先生や事務に問い合わせると無料で上位の製品が使えたりすることもあるようです．）

CUDA ToolkitはデフォルトでC:\CUDAにインストールされます．

CUDA SDK code samplesはデフォルトでC:\Document and Settings\All Users\の中にインストールされますが，ここではC:\Program Files\NVIDIA Corporation\NVIDIA CUDA SDKにインストールしたとして話を進めます．（少し前のバージョンまではこちらでした．）

VisualStudioはデフォルトでC:\Program Files\Microsoft Visual 9.0にインストールされます．

インストールが終わったら，コマンドプロンプトを開き（ファイル名を指定して実行からcmd.exe），nvcc(nvcc.exe)とcl(cl.exe)が実行できることを確認しましょう．実行できない場合はそれぞれのパス（C:\CUDA\binおよびC:\Program Files\Microsoft Visual Studio 9.0\VC\bin）を環境変数PATHに追加してください．（詳細な操作手順はweb検索すればすぐにわかるので説明しません．）

なお，nvccが実行できない場合はCUDA_BIN_PATH，CUDA_INC_PATH，CUDA_LIB_PATH（それぞれC:\CUDA以下のbin,include,lib）なども追加されていないかもしれません．（再インストールした方が良いかも？）

clは実行するとmspdb80.dllが無いなどと言った警告が出るかもしれませんが，ここでは無視して構いません．

以上で準備が整いました．

o- コードの記述とコンパイル，実行

それでは実際にコードを記述しコンパイルしてみることにします．

今回は先ほどインストールしたCUDA SDK code samplesに含まれているプログラムを利用してみます．

C:\Program Files\NVIDIA Corporation\NVIDIA CUDA SDK\projects

以下に多数のサンプルがインストールされており，それぞれ.slnファイルが同梱されています．

C:\Program Files\NVIDIA Corporation\NVIDIA CUDA SDK\projects\deviceQuery\deviceQuery_vc90.sln

を開いてビルドすれば実行ファイルが生成され，実行すればCUDA対応GPUが搭載されていなくてもデバイスエミュレーションで動きます．（GPUの性能がコマンドプロンプトにテキスト表示されます．）

また，deviceQuery.cppを別の作業フォルダにコピーし，拡張子をcuに変更し，コマンドプロンプトから

>nvcc deviceQuery.cu -I”C:\Program Files\NVIDIA Corporation\NVIDIA CUDA SDK\common\inc” -L”C:\Program Files\NVIDIA Corporation\NVIDIA CUDA SDK\common\lib” -lcutil32 -o deviceQuery

とすれば実行ファイルdeviceQuery.exeが作成されます．

こうして作成されたdeviceQuery.exeは実行しようとするとcutil32.dllが無いと怒られてしまうので，実行前に

C:\Program Files\NVIDIA Corporation\NVIDIA CUDA SDK\common\lib\cutil32.dll

を

C:\Windows\sytem32

以下にコピーしておきましょう．

o- おわりに

以上，CUDAに触れるための方法を簡単にまとめてみました．テキストばかりで書いてしまいましたが，難しいところは特に無いと思います．

ちなみにこの記事は私が実際にVM上のWindowsXP Professionalでやったことのメモなので，うまく動かないということはそうそう無いと思いますが，何か記述抜けなどがあるかもしれないので，不具合などありましたら気軽にコメントで指摘してやってください．

今回のプログラム（deviceQuery）はGPUの情報を取得するだけのプログラムであり，この段階ではまだGPUは何も計算していません．実際に計算させる方法については，また機会があれば書くかも？（過去に書いた記事がカバーしている上に，それこそサンプルを見れば良い気がするのであまり必要性は感じませんが．）

昔作ったものを発掘．

誰かの参考になるかも知れないのでとりあえずアップしておきます．

単純なLU分解を適当にBlock並列化．Block並列化に走ったので変な同期関数（MPI_Barrierというなの強引なBlock間同期）が入っているあたりはちょっと謎ですが，作成したのがかなり前なのでよくわかりません．

特に価値のあるソースコードでもないので，いわゆる「煮るなり焼くなり好きにしろライセンス」扱いでどうぞ．

20080123lu.zip

実験的に行列積の並列化を行っていたところ、突然実行結果が合わなくなるという症状に見舞われた。

今のところ、BLOCKとTHREADの数を増やし、__syncthreadsを多く使うことで安定している気はする。

少なくとも10sec制限には引っかかっていない。

Sharedメモリを少し叩いているので、その辺が悪さをしているのだろうか？意外と難しい。こういうときにどうやってバグを発見・排除すればよいのか……。

（__syncthreadsが少ない時に全く同一の問題設定で計算結果が狂うことがあることを考えると、恐らく__syncthreadsの使いどころを間違えているのであろうと予想することはできる。）

GPU�ǥ饤�ե����� – Satoshi OHSHIMA’s web site

久しぶりにHLSLプログラム。

どう書く？orgに投げ込むついでにページを作成しなおしました。

もともとは性能評価などもやってからまとめてUPしようとしていたのですが、割と手間がかかってやる気がなくなっていたため、簡易化しました。

（こちらのサイトは本名でやってるのにハンドルネームがばれてしまうのは、あえて気にしないことにします。）

CUDA@WindowsXP/BootCamp/MacBookPro(GeForce8600M GT)な環境で導入に成功したのでメモを残しておきます。

• 参考資料
  1. MacBook Pro + Windows XP で CUDA を使う
  2. Drivers | drivers for mobile cards and laptops | laptopvideo2go.com
  3. MacBook ProのGeForce 8600M GTにnVidiaの最新ドライバを入れる方法
  4. CUDA 1.1 and 8600gt M (macbook pro) – NVIDIA Forums

nvidiaの公式ではBetaを含めて対応ドライバが公開されていないことに愕然としたが、1.から導入可能らしいという情報を得ました。

2.にいくつものドライバが上がっていますが、最新らしきものをDLしてsetup.exeを実行しても、対応ハードウェアがない旨を告げられて導入できません。

infファイルを上書きすることで入れられましたが、これでもCUDAが動きません。（CUDAプログラムを実行しても、対応デバイスが検出されなくてエラーしてしまう。）

3.と4.からinfファイルをハックすればよいことを知り、書き換えてドライバを再導入。CUDAプログラムの動作成功を確認しました。

性能評価は追々。とりあえずbandwidthTestの結果を貼り付けておきます。

Quick Mode
Host to Device Bandwidth for Pageable memory
.
Transfer Size (Bytes)   Bandwidth(MB/s)
 33554432               845.4

Quick Mode
Device to Host Bandwidth for Pageable memory
.
Transfer Size (Bytes)   Bandwidth(MB/s)
 33554432               761.2

Quick Mode
Device to Device Bandwidth
.
Transfer Size (Bytes)   Bandwidth(MB/s)
 33554432               2253.6

&&&& Test PASSED

ちなみにこちらは新GeForce8800GTSを搭載したLinuxPCでの実行結果。

Quick Mode
Host to Device Bandwidth for Pageable memory
.
Transfer Size (Bytes)   Bandwidth(MB/s)
 33554432               1883.7

Quick Mode
Device to Host Bandwidth for Pageable memory
.
Transfer Size (Bytes)   Bandwidth(MB/s)
 33554432               1444.5

Quick Mode
Device to Device Bandwidth
.
Transfer Size (Bytes)   Bandwidth(MB/s)
 33554432               51085.6

&&&& Test PASSED

倍以上違うのはちょっとショックですね。

物は試しということで、適当に組んで実行してみました。

参考（Right-looking法）：LU分解の並列化について

遅い。256*256の行列で4sec。CPUでは0.1sec。

globalメモリのアクセス削減と並列化をしてどう変わるかがポイントですかね。

ちなみに計算機スペックは以下の通り。

• CPU:Intel QuadXeon E5345 @ 2.33GHz, 4096KB cache
• GPU:新GeForce8800GTS

HPCS2008で東工大に来ています。せっかくだから、某西尾さんを見習ってメモを残してみることにします。一日目のメモは取ってなかったので無し。

論文のタイトルやアブストラクトは誰でも見られる場所（学会のwebサイト）で見られるので、このくらいwebに書いても大丈夫でしょう。

ちなみにHPCSは数学系が多めなので、私には内容的には理解できないものが多いです。

o- 「オンライン自動チューニングのためのBayes統計に基づく逐次実験計画法」須田 礼仁（東大）

自動チューニングの手法改善。性能が今ひとつでもばらつきがある場合は切り捨てずに採用する可能性があるのが特徴。

o- 「A Fast Ray Frustum-Triangle Intersection Algorithm with Precomputation and Early Termination」Kazuhiko Komatsu, Yoshiyuki Kaeriyama, Kenichi Suzuki, Hiroyuki Takizawa, Hiroaki Kobayashi （Tohoku University）

レイトレの高速化。データをまとめてSIMD演算、個人的には妥当な手法だと思う。1.5倍くらいまで速度向上。

o- 「グリッド計算による野球の勝率計算」大澤 清（東京工業大学）, 合田 憲人（国立情報学研究所）

タイトルを見て「なんだこれは」と思ったが、要するに統計・解析に基づく戦術分析。打率情報から最適打順探索。規模を大きくするためにグリッド計算。

o- 招待講演「超大規模量子計算が拓く強相関フェルミ原子ガスの新たな世界」町田昌彦（日本原子力研究開発機構）

量子計算の高性能化について。あまりにも分野違いすぎて内容の理解は……。

o- [最優秀論文] 「精度混合型Krylov部分空間反復法における疎行列ベクトル積のCell BE上での実装と性能評価」木原 崇智（筑波大学大学院）, 多田野 寛人（京都大学大学院）, 櫻井 鉄也（筑波大学大学院）

線型方程式の数値解法にCellを使う。精度は演算手法の選択でカバーしている模様。

o- 「性能モデルに基づくCPU及びGPUを併用する効率的なFFTライブラリ」尾形 泰彦, 遠藤 敏夫, 丸山 直也（東京工業大学）, 　松岡 聡（東京工業大学/国立情報学研究所）

いよいよもって私が修論で行き着かなかった部分へと突き進んでいる感じを受けた。

o- 「階層型領域間境界分割による並列多重格子法」中島 研吾（東京大学）

領域分割問題の評価。いわゆる大規模なシミュレーション方向。

o- パネルセッション「次世代スーパーコンピュータの利用に関する提言」

　　　パネリスト：　佐藤三久（筑波大）、寒川光（日本アイー・ビー・エム）、須田礼仁（東大）、関口智嗣（産総研）、松岡聡（東工大）

　　　モデレータ：　朴泰祐（筑波大）

発言内容を断片的にメモ：

• 佐藤先生
  • 逐次プログラムは遅くなりえる
  • 大学計算機センターとの使い分け（協調）も重要
  • どこでも使える、それをもって教育できるもの（MPIの次）を国際的に持つべき
• 寒川さん
  • 下位に改良→コンパイラに影響→開発の全てに影響
  • 賞金制度でモチベーションアップ？
  • 上から下まで全部見えている必要がある
• 須田先生
  • Science/Modeling/Algorithm/Programming/Hardwareの階層間分離・接続がうまくできていない（情報科学の問題）
  • 全部中身を知っている必要まではないが、共通の理解が必要
• 関口さん
  • SOA、グリッド、仮想化でエコシステムを回す
  • 文科省の要望？に対する駄目出し（対抗意見）色々
• 松岡先生
  • 肩の力を入れすぎ、もっとダーウィン的視点を
  • グリッドでなんでもやるのは幻想（利用環境の平準化の意味では◎）、集中にもメリットがある。
  • The Internet→IDC+ThinClient
  • エコシステム重要、スパコンは頑張って作るんじゃなくて、欲しい欲しいと言われて作る
• 朴先生：まとめ
  • ☆人材育成どうする、どういう方向へいく
  • 松岡先生：教育のニーズ、今がチャンスのはず
  • 関口さん：間口を広げることが重要
  • 朴先生：正当な対価、チューニングは「仕事」になる
  • 松岡先生：天才はマスから生まれる、教育ができていないと・間口が広くないと凄い人も生まれない
  • 朴先生：HPCは教科書すらない
  • ☆ターゲットジョブ
  • 超並列アプリをやるから京速、ではなく、システムのあるべき姿。iDCに比べてそんな凄くもない。
  • ☆ジョブ選択／計算コスト
  • 高すぎる：ハイエンドが高すぎるのでみんなローエンドに流れる
  • 安すぎる：民間を邪魔しちゃいかん
  • ☆グリッド技術
  • 環境の平準化。ハイエンドシステムバラバラ。ジョブ投入方法の統一とかサービスの仮想化とかは必要。

随分と長く書いてしまいましたが、HPCS2008終了。

ポスターセッションに複数のGPGPU研究があったりとなかなかに充実した内容でした。半分以上は中身がサイエンス過ぎてついていけませんが。

色々書いておこうと思いつつ、ろくに書けない2007年が過ぎ去ってしまいました。

2008年は今まで以上に色々と頑張ろうと思います。よろしくお願いいたします。