中古でInfiniBand部品を購入する「ガイドライン」(初版）
桜の季節なのに雪まじりで寒うございます。かえるのクーの助手の「井戸中 聖」でございます。
この２週間ばかりInfiniBandの記事や一部のマニュアル、オークションの出品状況、などをよく見ていました。実験シリーズもはじまったばかりではありますが、「今」の時点での中古部品の情報についてまとめます(内容的にほぼ重複）。また、「自宅InfiniBand普及委員会」としての目標や、今後の活動の方向を明確にします。（すなわち、注文部品がくるまでの苦し紛れの繋ぎの記事です。４月でもないのに不真面目な内容ですみません。ずっと家にいると遊びたくなるんです。）
何故Mellanox ConnectX-3 VPIをおすすめするのか
InfiniBandのメーカは数社あります（した）が、中古で手に入るのはおよそMellanox社（またはそのOEM）かQLogic（またはそのOEM）です。圧倒的にMellanox社の市場占有率が高く、そのため中古品が多く、情報も多いことがわかります。
また、各種情報にある通り、InfiniBandの中古市場は、圧倒的なHPC*1のボリュームと競争による更新サイクルに比べ、（知名度なのか、皆が最先端を求めるためか）だぶついており、世界的にほぼ投げ売り状態であるというのです。事実、現時点での利用価値を考えると、「本当にいいの？」的な価格で販売されているケースも多くみられます。
その中でも特にMellanox ConnectX-3 VPI をおすすめする理由は以下のとおりです。
・中古価格が圧倒的に安い。数も多い。
・Windows10 にも正規に対応している。（ConnectX-2などはWindows７対応までの模様）
・FDR(56Gbps)に対応している。(QDR(40Gbps)に比べて内部の実データ効率が良く、通信速度以上に実効速度上のメリットがある。≒QDRよりもかなりよい）
・InfiniBandにもEthernetにも使用できる。
・サーバ製品であるが、消費電力はそれほど高くなく（一般的な10GbE LANアダプタと同等がそれ以下）冷却に関する敷井が低い。
(2020/08/17追記)
このページが内容が薄い割にアクセスがあるので、情報を追記します。
・ConnectX-3にはいくつもの種類があります。OEM版ではなくMellanox社製の中古が欲しい場合は必ず型番（実物カードの裏側にあるModel NOのラベル)を確認しP/NがMCX354A-FCBT(2ポート版)かMCX353A-FCBT(1ポート版)を探しましょう。これがFDR版です。なお、末尾-FCBSもFDRですが再末尾Sはショートブラケット版です（なお、末尾Tはトールブラケット版)。注意しましょう。
・Ethernetだけできればよい場合は ConnectX-3 EN(MCX313A-BCBT(Single)/MCX314A-BCBT(Dual):40/56GbEでもよいです。MCX311A-XCATやMCX312A-XCBT は10GbEなので注意しましょう。
・MCX353A-TCBT、MCX354A-TCBT の製品番号もあります。これはFDR10(40Gbps)なので、あえて選ぶ製品ではないと考えます。（QDRと同じ40Gbpsですが、FDRなので伝送効率がよいです）
・MCX353A-QCBT、MCX354A-QCBT のスペックは QDR 40Gb/s or 10GbE です。FDR版(-FCBT)に比べると低スペックです。その分中古出品の価格がかなり安いケースがあります。eBayなどでは気長に待っているとFCBTでもかなり廉価な出品があります。気長に待ちましょう。
・OEM製品の製品をMellanox社製として出品しているケースがかなりあります。カード裏のP/Nラベル写真をしっかり確認しましょう。
・OEM製品はMellanox社製に比べてかなり安価に出品される傾向があります。本来の機能をいろいろ試したい場合はMellanox社製を探したほうが間違いありません。OEM製品はファームウェアの提供は各OEMメーカからとなります。機能も自社サーバの特性にあわせてあえて機能制限しているケースもあるようです。
特にFlexBootをやりたい場合はOEM版ではできないものもあるので、気をつけましょう。ただし、とにかく基本機能だけ使用して、安く大量に欲しい場合はOEM製品はねらい目です。
・サーバ製品ではブラケット長がショートのものが多数あります。両方交換できるタイプの出品は比較的高価です。まれにブラケットだけの出品がありますので欲しい場合は探してみてください。（わたくしはOEM版のショートブラケット版を安価に入手しフルハイトブラケットのみを別に入手したことがあります。そのときは（ブラケットだけで）１枚送料込み５００円でした）
・あたりまえですが、FDR(FCBT)版の製品にQDRスペック(40Gbps)のケーブルを接続するとちゃんとQDR(40Gbps)として動作します。
・ebayの中古出品にはかなり波があります。ほぼ定価に近いものから、価格設定ミスだよね？と思うものまで幅広くあります。欲しい方は短めのスパンで、こまめにチェックしましょう。JPNの価格が表示される場合でもJapanへのShippingができないものもあります。良くよみましょう。
・ごく最近まれにConnectX-3 Proや ConnectX-4 が手の届く範囲で出品されています。個人的には（まだ販売製品なので）販売完全終了になって２年ほどしないと、価格がこれなれないと予想しています。欲しい方は気長にお待ちください。もしくはお金の力でどうにかしてください。
・念のためですが、ConnectX-3 はPCIe x8 インターフェース製品（x16インターフェースのおおむね半分）です。PCIe x16インターフェースに問題なくささります。ささっていない部分があるのは違和感があるかもしれませんが問題ありません。x16カードにくらべて固定が弱いので、ぐらつきなどには十分な注意をして設置が必要です。x8専用のPCIeを持つマザーボードは最近皆無ですし。。。
・Made in China 版とMade in Israel 版ありますが、違いはないと思っています。RevisionはA1からA4までを確認しています。クラスターを組むならRevisionは（気持ち的）にあわせたほうがよいでしょう。
(追記ここまで)
自宅にInfiniBandを（中古で）導入するときのデメリットまたは障壁について
（←狩野永徳や俵谷宗達が有名です。）
・技術情報が10GbE LANよりも圧倒的に少ない。特に初期設定/構成決定やトラブルシューティングが必要な場合の情報が少ない。ただしInfiniBandのマニュアル類はネットで容易にアクセスできる。（英語だけど。。。）
（注：サメ*2に噛まれた中古ケーブルは使えません）
・ケーブルについては中古で出回る数が圧倒的に少ない。あった場合は価格はお手頃（投げ売り）であることが多い。ただし、外国の場合は輸送費がばかにならないので、結局割高になる。
・ケーブルについて、銅線ケーブルは太く取り回しにくい。長さに制約がある。（規格によるがFDRなら4mまで。中古で実質手に入るのは3mまでと思われる。）
・ケーブルについて、4mを超えるケーブルは光ファイバとなるが、中古市場でも相当高い。
（注：スイッチにもいろいろありますのでお間違え無く）
・InfiniBand スイッチについて、入手が困難な場合がある。（海外で出品されているもので安いものはたまにあるが、だいたい輸送費の方が高く、輸送費だけで数万することもざらである。入手するなら国内からが吉。）たまにジャンク扱い的な破格値のものもある。
（注：くれぐれも類似品と互換性にはご注意ください）
・InfiniBandスイッチの導入は、自宅にサーバ室がある方やラック愛好家の方以外には、実質的に無理がある。（何せサーバ製品ですから、爆音です。うるさ過ぎるこれを自室における人なんて、たぶんいません。消費電力もサーバPC並みかそれ以上です。）
（当委員会はそんな障壁をなくすための活動を行います）
自宅InfiniBand普及委員会の活動目標と方針
活動目標
まだInfiniBandを知らない潜在利用者に対し、そのメリットを啓蒙し普及を促す。
（←これは2055年の情報です）
５歳以上の日本人口の約0.001%すなわち122名の方が自宅InfiniBand導入に興味を持ち、そのうちの10%すなわち13名が実際に自宅にInfiniBandを導入されることを目標とします。（現時点のこのブログへのアクセス数を考えるとその1/20も危ういのですが、目標は大きく持ちます！）
方針
自宅へのInfiniBand導入にあたり、その障壁となる事項（ケーブル、InfiniBandスイッチの入手）を情報の発信により軽減し、皆さまが幸せなPCライフを送れるように致します。
導入については、委員会メンバー自体が人柱事例となり実験事例を紹介します。（ただし、おこずかいでできる範囲でです）状況が許せばですが、InfiniBandスイッチも入手します。自宅での実運用にむけての実証実験（主に熱対策や静音化についてになると思われます）もレポートします。
すこしだけ予告
・ロープロファイルのブラケットを外し、仮設置しているConnectX-3について、普通のPC用のフルハイトのブラケットを探し、装備します。（追加：１枚500円送料込みのものがebayにありました。中国からの出品でしたが、昨今のご時世で本当に注文から３カ月かかりました。ボロボロのダンボール箱で問題なく到着しました）
・風量も多く、取り回しのしやすい8cmのファンを各種入手し適したものをレポートします。（古いファンの軸鳴りがひどすぎ、買わざるを得ない状況なので、いっそいろいろ比較してネタにしちゃえ作戦です。まさに本末転倒の極みです。）
それでは、ご自宅で引き続き良い週末をお過ごしください。
注：皆にふざけすぎだと怒られたので、このページは削除・改変・または４月１日へ引っ越し予定です。あしからず。（→協議の結果：初志貫徹となりました。）
初版諸藩の事情で削除・引っ越しできなくなりました。委員会の重要議題として対処を協議中です。
協議の結論報告：このページの本質的内容は「遊んでいる部分」にあり、頂いた評価もおそらくはそれに対するものであるとの結論に至りました。食玩の「おまけ」が主役であることに相当し、このブログのスタイルも「前置き」と「蛇足」そして「おふざけ」が本当に言いたいことであることを再認識することになりました。
関係者の方々におかれましては、自宅で暇な中たいへんご迷惑をおかけいたしました。ここに深くお詫び申し上げます。
今後ともご指導ご鞭撻の程、よろしくお願い申し上げます。
なお、本日のアクセス数が21:00時点にもかかわらず過去最高を記録したことを、併せてご報告申し上げます。
