図1 802.3と802.1Qのイーサネットフレーム
大学のネットワークは、研究活動を目的に構築されたものである。研究の活動を快適に行うためには、大学のネットワークは大量の情報を処理する能力や、学術系組織との接続を求められる。
現状のキャンパスネットワークは、複数人の学生が講義の資料のダウンロードできるような性能や、ノートPCやスマートフォン、タブレットがキャンパス内であればどこでも自由にネットワーク利用できることが求められており、学生のキャンパスライフを充実させるためにはキャンパスネットワークは大きな存在となっている。
東京電機大学は、創立100周年を機に、教育や研究の新たな拠点として2012年に東京千住キャンパスを開設した。キャンパス内には、自由に利用できるパソコンや情報コンセント、印刷システム、無線環境が用意されている。この他にも、学生証はICカードとなっており、授業の出欠確認や入退室管理に利用しているほか、図書館の本の貸出の際にも利用されている。また、全学仮想デスクトップを導入するなど先進的な情報教育を行っている。
東京工業大学は、創立して130年以上を超える歴史をもつ国立大学である。中でも、大岡山キャンパスは1934年に設立された歴史あるキャンパスである。東京工業大学はTSUBAMEと呼ばれるスーパーコンピュータを保持しており、共同の研究でTSUBAMEは幅広く使用されている。また、インターネットに初めて接続した大学であり、ネットワークでも深い歴史を持っている。
本研究では、東京電機大学と東京工業大学の両キャンパスの管理者にインタビューを行い、管理組織の構成と管理範囲やネットワーク技術、ネットワーク構造を調査した。その結果、両キャンパスの管理組織の構成及び管理範囲は異なっているが、両キャンパス内ネットワークの基本構造はコア、ディストリビューション、アクセスの3層スター型構造であることがわかった。
VLANは、IEEE802.1Qで定義されているLANの物理的な接続と異なり論理的に接続することができる技術である。VLANはポートベースVLANとタグVLANの2種類がある。ここではタグVLAN(802.1QVLAN)について述べる。
タグVLANはイーサネットフレームにタグを付け、特定のVLAN宛にパケットを流すことができる。図1はタグがないパケット(802.3)とタグが追加されたパケット(802.1Q)の構造を示している。
図1 802.3と802.1Qのイーサネットフレーム
複数のスイッチ間で同一VLAN内の通信を行うには、一つのポートが複数のVLANに所属する必要がある。これにより、片方のスイッチの複数のVLANに所属しているポートは他方のスイッチからタグ付きのフレームを読み取り、同一VLANのポートにパケットを送ることができる。
図2タグVLAN(802.1Q VLAN)
VRRPはRFC3768で定義されているルータの冗長プロトコルである。VRRPは、複数のルータにより冗長化を行うために仮想ルータを構成する。この仮想ルータは、使用されていないIPアドレスと仮想MACアドレスが割り当てられる。
複数のルータの内1つが仮想ルータのMACアドレス宛のパケットのフォワーディングを担当するマスタールータである。他のルータはマスタールータが障害時にマスタールータに切り替わるように待機するバックアップルータである。また、バックアップルータは仮想ルータのMACアドレス宛のパケットを破棄する。
VRRPでは、マスタールータが定期的にマルチキャストアドレス(244.0.0.18)を使用してパケットをバックアップルータに送信する。バックアップルータは一定時間マスタールータからパケットが来なければ、バックアップルータ内で1つをマスタールータとして機能させる。
STPはIEEE802.1Dで定義されたハブの冗長プロトコルである。各ハブはBPDU(Bridge Protocol Data Unit)と呼ばれるフォーマットのデータのやりとりを行い、ルートブリッジへの最短経路のポートのみを使い、それ以外のポートをブロックする。これにより、全てのハブの接続関係は木構造となり、ブロードキャストパケットによるループが発生しない。各ハブは2秒ごとにBPDUのやりとりを行い、やりとりが失敗した場合は木構造を再構築する。
OSPFは、RFC2328で定義されているリンクステート方式のルーティングプロトコルであり、IGPで使用される。各ルータは自分のリンク情報をネットワーク内のOSPFルータに配布し、それをデータベースに保持する。このデータベースを元に、各ルータが独立して経路情報を計算する。
OSPFではネットワークをグループに分割することができ、このグループのことをエリアと呼ぶ。エリアを分割することで、ネットワークやルータの負荷を減らすことが可能である。各エリアは、32bitのエリアIDが割り振られる。エリアIDが0.0.0.0はバックボーンエリアと呼び、他のエリアは必ず1つのバックボーンエリアと接続しなければならない。また、複数のエリアに接続されているルータをエリア境界ルータ(Area Border Router)と呼ぶ。ABRの役割は各エリアで計算された経路情報を他のエリアにアナウンスする役割を持つ。ABRは接続しているエリアのLSDBを保持しており、エリアごとの最短パスツリーを構築する必要がある。
エリア間経路は、LSDBに含まれるSummary-LSAによって計算される。経路を計算するルータが1つのエリアにのみ接続する場合は、単純にLSDBに含まれているすべてのSummary-LSAを計算する。経路を計算するルータがABRの時は、バックボーンエリアのLSDBに含まれるSummary-LSAのみを計算する。
ルータは、LSDBに含まれるSummary-LSAを順番に参照し、そのLSAの生成元のルータIDをルーティングテーブルから検索する。これにより、ABRルータまでのネクストホップアドレスとコストを知ることができる。パスコストはABRルータまでのコストにSummary-LSAのメトリックを足したものである。宛先はLSIDとネットマスクで求められる。ABRルータはエリア間経路の計算が終わるとルーティングテーブルに登録する。経路が登録済みであればコストを比較して小さい方を登録する。
OSPFプロトコルでは外部ネットワークの経路情報を再配布するルータをAS境界ルータと呼ぶ。AS内から外部ネットワークに到達するためには外部ネットワークの情報をAS内に取り込む必要がある。この作業を再配布(redistribution)と呼ぶ。
外部経路のパスコストを計算するためには外部メトリック(AS境界ルータから宛先ネットワークまでのコスト)と内部コスト(経路を計算するルータからAS境界ルータまでのパスコスト)の2つを考慮する必要がある。AS境界ルータが他のエリアに存在する場合は、経路を計算するルータからエリア境界ルータまでのパスコストとエリア境界ルータからAS境界ルータまでのパスコストの合計となります。AS境界ルータで外部経路を再配布する場合、メトリックのタイプが1と2がある。タイプ1のメトリックは、外部メトリックと内部コストの合計値をパスコストとし、タイプ2のメトリックは、外部メトリックのみをパスコストとする。
外部経路は、LSDBに含まれるAS-External-LSAによって計算される。外部経路の計算にはエリア間経路の計算同様にエリア内で計算されてるルータ宛の経路を利用する。注意点はOSPFでは外部経路よりも内部経路が絶対に優先される。また、メトリックタイプではタイプ1の外部経路のほうがタイプ2のほうが優先される。
ルータは、LSDBに含まれるSummary-LSAを順番に参照し、そのLSAの生成元のルータIDをルーティングテーブルから検索する。これにより、ABRルータまでのネクストホップアドレスとコストを知ることができる。パスコストはABRルータまでのコストにSummary-LSAのメトリックを足したものである。宛先はLSIDとネットマスクで求められる。ABRルータはエリア間経路の計算が終わるとルーティングテーブルに登録する。経路が登録済みであればコストを比較して小さい方を登録する。
VSSは2台のスイッチを論理的に1台のスイッチにすることができるクラスタ技術である。現在は、Catalyst6500シリーズとCatalyst4500シリーズでVSSが利用することができる。VSSを導入後には、2つのスイッチのシャーシを18スロットとして扱うことできる。2台のシャーシのすべての物理インターフェースの名前には区別するためにスイッチIDが付加され、スイッチIDは1または2となる。また、VSSを利用したスイッチは2台のペアごとにユニークな仮想スイッチドメイン識別子が使用される。片方のスイッチに障害が発生した場合は、もう片方のスイッチで切り替えを自動的に行うことが可能である。
図3 VSSの概要図
VSSでは一つのシャーシはActiveとなり、もう一方のシャーシはStandbyとなる。コントロール層の機能はActive側の方で管理される。以下が管理する内容である。
また、データ層とトラフィックフォワーディングの観点では両方のVSSはactiveにトラフィックをフォワーディングする。
VSSでは2つのスイッチはデータとコントロールのトラフィックを定期的に送るために各スイッチはVSLとよばれるリンクで接続される。VSLは信頼性を確保するために、2本以上の同じ帯域のリンクから構成したインターフェースで構成される。VSLを通じてコントロールトラフィックの優先度を高くするために、すべてのVSLのコントロールフレーム上に特別なビットをセットする。VSL上のすべてのフレームはVSH(virtual switch header)でカプセル化が行われる。イグレスポートASICによって追加されたこのフレームはイングレスASICで取り外す。VSHの情報はイングレスポート番号や宛先ポート番号、VLAN、CoSなどがある。またサイズは32byte長である。このヘッダはレイヤ2ヘッダの前に置かれる。
VSSでは仮想MACアドレスが使われている。仮想MACアドレスがなければ、再起動や故障の際に、IPアドレスに対応するインターフェースのMACアドレスが変わってしまう。すると、隣接機器から見たSTPのトポロジーが変化し、ARPキャッシュの内容を更新しなければならない。仮想MACアドレスはVSSドメインが同一であれば常に同じになるため、先の現象を防ぐことができる。
VSSの機能として、シャーシをまたがるポートチャネル(MEC)がある。下の図のようにMECを構成する2本のメンバーは1台のスイッチのインターフェースであるのように扱われている。
図4 MECの構成図
具体的には、Swtich1が受信するフレームはすべて同じSwitch1のポートへ振り分けられる。また、Switch2が受信するフレームは、すべてSwitch2のポートに振り分けられる。Switch1のポートのリンク障害が起きた場合はVSL経由でフレームをSwitch2のポートへ振り分けるようになる。
次に、MECのメンバーに障害が発生した場合のトラフィックについて述べる。下の図は実際にMECが正常に動作している状態で、スイッチ間は対象にフローが流れている。これらのフローはVSLを通じては流れていない。
図5通常時のフロー
下の図がスイッチ1のポートに障害が発生した場合の図である。スイッチ1のフローはMECの左側のリンクから右側へ迂回するため、トラフィック断が発生する。Switch1の上から下へ流れるフローはVSL経由で流れるようになる。下から上のフローに関しては、MECで接続されている下側のスイッチが、Switch1のポートがダウンしているのを検出し、ポートチャネルのメンバーから外しており、Switch2へとフローを流している。
図6障害発生時のフロー
リンクアグリゲーションは複数のリンクをリンクアグリゲーショングループとして形成することができる技術である。リンクアグリゲーショングループは、グループ内の1つのリンクのMACアドレスに関連付けられている。そのため、MACクライアントはリンクアグリゲーショングループを一つのリンクとして扱うことができる。フレームの送信は、送信元のアドレスと送信先のアドレスを元にグループ内のいずれかのリンクを使用する。リンクの障害検知は、リンク間でマルチキャストアドレスを使用して一方のリンクから一定時間応答がなかった場合に行う。
StackWiseはCiscoの独自の機能で複数のCatalystスイッチを結合させ、1台のスイッチであるかのように利用できる機能である。特別なスタック相互接続ケーブルとスタッキングソフトウェアを使用して、最大9台のCatalystスイッチを1台のスイッチとして統合することができる。
相互接続されたスイッチは、1つをマスタースイッチとして選択する。マスタースイッチ以外のスイッチは、マスタースイッチに自身のMACアドレスを知らせる。マスタースイッチは他のスイッチのスイッチングテーブルやルーティングテーブルを作成し、他のスイッチへこのテーブル情報を送信する。これにより、スタック全体にスイッチングテーブルとルーティングテーブルが共有される。
ネットワークの接続はレイヤ2で行うため、専用のプロトコルが必要である。有線の認証では802.1Xが使用され、無線の認証はWPA2という認証方式が使われている。基本的な認証ではEAPが用いられており、端末が接続された時にサーバから開始されるプロトコルと認証情報を含む。ただし、認証方式は様々な方式が提案されている。外部の認証サーバに認証を委ねることで、認証情報を一元化することが可能となる。
IEEE 802.1Xはイーサネットに接続する際の認証規格である。802.1Xではサプリカント(Supplicant)、認証者(Authenticator)、認証サーバ(Authentication Server)の3つの構成要素がある。サプリカントは認証者のインターフェイスである。認証者は他の要素と同一LANに接続され、認証を用意にするためにある。認証サーバはRADIUSやEAPが解釈できるサーバである。
RADIUSは、認証、承認、履歴のマネジメントを提供する認証サーバである。認証は相手の示した身分を確認する処理を行う。承認はユーザにどのようなサービスの利用を許すかを決定する。履歴は利用者がサービスを利用したログと内容を計測し記録する処理である。
EAPは、PPPや802プロトコルなどのデータリンクのプロトコルでIPを必要せず、複数の認証方法をサポートする認証フレームワークである。EAPは重複排除と再送を提供するが、下位層のレイヤに依存している。断片化はEAP自体にはサポートはされていない。しかし、個々のEAPの方式はこれをサポートしてもよい。下がEAPの主な方式である。
東京電機大学は理工系総合大学の私立大学である。大学には、5学部5研究科がある。キャンパスは4キャンパス(北千住、鳩山、千葉ニュータウン、小金井)で構成されており、学生数約10000名、教員数約430名、職員数約180名が所属している。鳩山、北千住、千葉キャンパスは大学のキャンパスであり、小金井キャンパスは高等学校と中学校となる。また、神田には東京電機大学出版局が配置されている。敷地面積では、北千住は約約26,200 m2、鳩山は約348,000 m2、千葉ニュータウンは約205,000 m2、小金井は約22,000 m2となっている。
図7 東京電機大学の組織図
図8 設置学校と学部研究科
現在の東京電機大学のネットワークは総合メディアセンターが運用管理を行っている。総合メディアセンターは、1996年より電算機情報、図書、工学機器および研究用メディアを扱っている部署を一体の組織とし、メディア資源の有機的・効果的利用を促進するため発足された。総合メディアセンターは主に職員と一部の教員で構成され、運用管理や構築は総合メディアセンターの職員が担当している。
東京電機大学は、1989年から実験的にインターネットへの参加をし、IPアドレス(133.14.0.0/16,133.20.0.0/16)とドメイン名(dendai.ac.jp)を取得する。基幹ネットワークは10BASE5によるバス型からFDDIによるリング型と変化した。
1995年にはキャンパスにATMスイッチを導入する。キャンパス間接続はATMメガリンクとなり、ネットワークの構造は木構造ネットワークになる。
2000年にはGigabitEtherスイッチを導入し、ネットワーク構造はスター型と変化する。また、AS番号(17943)を取得し、対外接続はマルチホームとなる。
2005年では、キャンパス間接続は広域イーサネットによる接続となり、基幹ネットワークはEthernetとなる。また、認証方法はTelnetとなる。
2007年には、コアスイッチを多重化して冗長性を確保し、OSPFによるルーティングが行われる。また、認証方法はWeb認証が採用された。
2012年では、フロアスイッチとコアスイッチ接続、広域イーサネット、ファイアーウォールの多重化がされた。また、無線LANの導入やIEEE 802.1Xによる認証が採用された。
東京電機大学のネットワークは、総合メディアセンターが運用管理を行い、利用者である学生や教職員に快適な研究環境を提供しているという特徴がある。各キャンパス内のネットワークの基本構造はコア、ディストリビューション、アクセス層の3層スター型である。但し、千住キャンパスはディストリビューション層がない2層構造である。(図9)
図9 各キャンパス内のネットワーク構造
キャンパス間の接続は広域イーサネットで接続され、対外接続はマルチホームである。加えて、各キャンパスに2台のコアスイッチを設置することや、各層のスイッチの接続や、広域イーサネットを多重化することで、システムの一部に障害が発生した場合、システム全体の機能を維持することができる。この他にも、情報コンセントやアクセスポイントをキャンパス内に設置することで利便性を高めている。
小山[3]、盛田[4]らの研究を参考に年度別のネットワークの比較をした。(表1)
| 比較対象 | 2005年度 | 2007年度 | 2014年度 |
| 構造 | 3層構造 | 3層構造 | 2層構造と3層構造 |
| トポロジー | スター型 | スター型 | スター型 |
| ルーティング方式 | スタティック | ダイナミック(OSPF) | ダイナミック(OSPF) |
| 冗長性 | Ｘ | △ | ○ |
| 構成機器 | マルチベンダー | シングルベンダー | シングルベンダー |
| 認証方法 | Telnet | Web認証 | Web認証＋802.1X |
| 無線LAN | なし | 試用段階 | 運用 |
2005年度から、基本的な構成はスター型で変わっていない。しかし、ルーティング方式がスタティックなため、障害時には一部システムが停止する。
2007年度では、コアスイッチを多重化して、冗長性を持たせた。また、機器メーカーが単一になったことにより、運用・教育費の削減となった。加えて、認証方式がWeb認証となる。
2012年度では、アクセス層の各スイッチは2本の光ファイバーで接続されており、キャンパス間接続は2つの広域イーサネットと接続することでインターフェースレベルでの冗長性を持たせた。これは2007年のネットワークの故障率をもとにした改善である。加えて、認証方式がWeb認証とIEEE802.1Xに基づく認証方式となった。この他にも、全学で無線LANが導入され利便性が向上した。
鳩山キャンパスと千葉ニュータウンキャンパスのネットワーク構造は図10のようにコア層、ディストリビューション、アクセス層の3層構造となっている。コアスイッチはキャンパスネットワークの重要部分である。ディストリビューションスイッチは建物ごとに配置されるスイッチである。フロアスイッチは建物内の階ごとに配置される。各キャンパス内の接続では、各層のスイッチは主にマルチモードの光ファイバーを2本使用して異なる層のスイッチと接続される。責任分界点はアクセス層までである。
図10 鳩山、千葉のキャンパス内ネットワーク
2つのコアスイッチはVSSを用いて、VLANごとに1つの共通のゲートウェイIPアドレスを使用している。また、2つのコアスイッチは仮想MACアドレスを共有している。両方のコアスイッチは、インターフェイス上で入力トラフィックのパケット転送を行う。
コアスイッチとディストリビューションスイッチは2本のリンクで接続されていた。この2本のリンクはパケットの送信先アドレス、送信元アドレスなどを元にしてどちらかのリンクが使用される。片方のコアスイッチのリンクが障害となった場合には、プロトコルメッセージは他方のコアスイッチへのリンクとコアスイッチ間を結ぶリンクを経由して片方のスイッチに到達する。
ディストリビューションスイッチとフロアスイッチは2本のリンクで接続されていた。どちらかのリンクに障害が発生した場合は、障害を検知し片方のリンクを使用するようになっていた。リンクの障害を検知には、リンク間でマルチキャストアドレスを利用する。応答パケットが一定時間こなければ障害とみなす。
北千住キャンパスのネットワーク構造は図11のようにコア層、アクセス層の2層構造となっている。コアスイッチとフロアスイッチの接続は2本の光ファイバーを用いている。責任分界点は鳩山、千葉キャンパスと同様にアクセス層までとなっている。
図11 千住キャンパス内のネットワーク
コアスイッチとフロアスイッチの接続は図12となる。2つのコアスイッチはVSSを使用している。各フロアスイッチのスタックポートは専用のケーブルでリング型に接続されていた。これにより、いずれかのスタック内スイッチが故障した場合は、各スイッチは双方向のパスのうち動作している方に切り替える。各スイッチのリングのパスには、ルーティング情報やネットワークのトポロジー情報が流れており、スタック内で継続的に更新される。また、スタック内の1つのフロアスイッチのMACアドレスがスタック全体のMACアドレスとして使用される。
図12 コアスイッチとフロアスイッチの接続
図13は千住キャンパスの1号館のコアスイッチである。黄色のケーブルはシングルモードの光ファイバーであり、コアスイッチと1号館以外の階ごとにあるフロアスイッチとの接続で使用される。青色のケーブルはマルチモードの光ファイバーであり、コアスイッチと1号館の階ごとのフロアスイッチとの接続で使用されている。
図13 北千住のコアスイッチ
図14は1号館屋上にあるビーム転送装置である。このビーム装置と図15のアネックスのビーム装置とで無線通信が行われている。
図14 1号館屋上のビーム装置
図15 アネックスのビーム装置
電機大のキャンパス間接続は広域イーサネットを利用したレイヤ2であった。各拠点は広域イーサネット1に接続されている。千葉、千住、鳩山、データセンター2は広域イーサネット2に接続されている。データセンター2と大学の3キャンパスは2つの広域イーサネットと接続することで冗長性を持たせた。データセンター1にはネットワーク機器などがある。データセンター2には、ポータルサイトやアプリケーションのサーバがある。各拠点はそれぞれの広域イーサネットに対応した2つのVLANを使用して接続されている。
図16 レイヤ2でのキャンパス接続図
東京電機大学は大きく分けると研究用のネットワーク、教育用のネットワークが存在する。各拠点のルータはそれぞれのネットワークのルーティングテーブルを作成している 。各ネットワークはそれぞれ異なるVLAN設定しているため、レイヤ2においては通信できないようにしている。キャンパス間レイヤ3の接続は図17のように2つのVLANをバックボーンとなるように接続されている。2つのVLANは、それぞれの広域イーサネットに対応しているため冗長構成となる。それぞれの拠点のスイッチはOSPFでルーティングをする。階層構造をとっており、バックボーンエリアは0となっており、各キャンパスはそれぞれ異なるエリアで設定している。対外接続部分はエリア7で構成されている。
図17 レイヤ3でのキャンパス間接続図
電機大は、広域イーサネットを経由してSINET、IIJとマルチホーム接続されている。回線速度については、電機大とSINETは1Gb/sで接続され、電機大とIIJは500Mb/sで接続されていた。AS番号については、電機大は17943、SINETは2907、IIJは2497となっている。
図18 インターネット接続
アクセスポイントは全学で約300台配置されている。無線LANは802.11 a/b//n規格に対応している。
無線LANの種類は以下の3種類となっている。
主に研究と教育用の無線LANである。与えられたユーザーID(学籍番号)とパスワードを入力することで利用することができる。
来賓用などに用いられる無線LANである。与えられたパスワードを入力することで利用することができる。
eduaromは大学等教育機関にキャンパス無線LANの相互利用を実現する国立情報学研究所(NII)のサービスである。IEEE802.1Xに基づく認証がされている。
東京電機大学は図書館や教室、学生ラウンジに情報コンセントがある。利用者はPCと情報コンセントをLANケーブルで接続し、認証を行うことでインターネット利用が可能になる。認証手続きをするには、利用者はPCのWebブラウザを起動し、与えられたユーザID(学籍番号)とパスワードを表示された認証画面に入力する。
図19 有線の認証画面
無線LANの認証は、Web認証とIEEE 802.1Xに基づく認証である。Web認証のセキュリティ方式はWPA2-PSKである。これは、アクセスポイントと端末で事前にセキュリティキーを決めておき、端末に手動で入力をする方式である。利用者は、セキュリティキーの入力後に端末のWebブラウザの起動を行う。すると、Webブラウザに図21の画面が現れる。利用者はユーザID(学籍番号)とパスワードの入力をすることでユーザ認証を行う。認証後には、利用者は学内のネットワークが利用することができる。ユーザ認証から2時間でネットワークが切断されるため、再度ユーザ認証を行う必要がある。
図20セキュリティキーの入力
図21 Webブラウザに表示される認証画面
IEEE802.1Xのセキュリティ方式はWPA2エンタプライズである。これは、EAPを利用した方式である。クライアントのIDとパスワードはアクセスポイントを経由して認証サーバと通信し、利用者は認証を受ける。認証後には、Web認証と異なりEAPでユーザ認証を一定時間後に行うため、再度手動でユーザ認証を行う必要がない。利用者は図22のユーザ名に学籍番号とパスワードを入力することでネットワークの利用が可能となる。
図22 認証画面
東京電機大学のVLAN IDは、IPアドレスから求められるように対応付けられている。IPアドレスの上位16ビットから27ビットまでの各ビットの値とVLAN IDの上位2ビットから12ビットまでのビットの値を同一に設定する。また、VLAN IDの上位1ビット目の値は、千葉キャンパスで使用されるVLANならば0を使用し、他キャンパスで使用されるVLANならば1を使用する。図23がIPアドレスとVLAN IDとの対応図となる。
図23 グローバルIPアドレスとVLAN IDとの対応
東京工業大学は、理工系総合大学の国立大学である。大学には、3学部23学科あり、大学院には6研究科45専攻が設置され、研究所や研究院で構成されている。なお、3キャンパス(大岡山、すずかけ台、田町)で構成されており、学部生は約5000名、大学院生は約5000名、教員数約1200名、職員数約600名、非常勤教職員数約1700名が所属している。敷地面積では、大岡山は244,643 m2、すずかけ台は225,244 m2、田町は23,160m2となっている。
図24 東京工業大学の組織図
図25 各キャンパスの設置学部と研究科
東京工業大学は、日本で初めてインターネット接続をしたことで知られている。1984年に当時東京工業大学にいた村井純氏らが中心となり、JUNETと呼ぶ組織が作られた。最初に、東京工業大学と慶應義塾大学とのUUCPによる接続を行い、後に東京大学と接続を行い実験ネットワークとして運用を開始した。その後、多くの大学や企業の研究機関が参加し、約700の組織を結ぶネットワークとなる。また、JUNETは1994年に終了している。
1988年には日本で初めてのIPによるインターネット接続が行われた。東京工業大学と慶応義塾大学、東京大学を接続する。
1994年に大学としての運用が始まった。管理組織としてNetworkOperationCenter(通称NOC)と呼ばれる組織が誕生する。Titanetと呼ばれるキャンパスネットワークがNOCにより運用される。当時ではTSUBAMEなどを管理するコンピュータセンターとNOCは別組織であり、後に一体化をする。
2001年では、キャンパスネットワークを更新し、TitanetからSuperTitanetと呼ばれるキャンパスネットワークの運用が開始される。基幹ネットワークが1Gbpsとなり、スター型の構造となる。
2010年ではSuperTitanetからTitanet3と呼ばれるキャンパスネットワークの更新を行い、基幹ネットワークが2層構造となり、コア、エッジ間は10Gbps×2本の接続となる。
東工大のネットワークは、大規模かつ高性能であることと、それを支える教員主導の管理組織(NOC)があるという特徴がある。このため、研究上の需要に応じた柔軟な運用が可能となり、APAN、JGNとの接続や、TSUBAMEの運用管理などを可能にしている。キャンパス内ネットワーク構造は、コア、ディストリビューション、アクセス層の3層スイッチ構造である。但し、NOCが管理する範囲はコア、ディストリビューション層のスイッチまでであり、各建物内のアクセス層のスイッチは専攻による管理が行われている。そのため、NOCは10個以上の学内利用ポリシーを用意し、その用意したポリシーを専攻が適用する体制となっている。キャンパス間接続は、レンタルした光ファイバーで接続し、WDMで多重化を行っている。対外接続においては、大岡山の対外ルーターはキャンパス内にあるSINETノードと直接接続がされている。
2002年2月から運用が始まったSuperTitanetと呼ばれるキャンパスネットワークから、2010年にTitanet3と呼ばれるキャンパスネットワークへのリプレイスが行われた。[7]
SuperTitanetのネットワーク構造は、NOCの管理する範囲では、基幹スイッチ、拠点スイッチ、建物スイッチの3層スイッチ構造であった。Titanet3では、この3層スイッチ構造を、基幹スイッチ、建物スイッチの2層スイッチ構造にした。また、この2階層のファイバー網をシングルモード型で新たに敷設することで、NOCの管理するスイッチ数が大幅に削減することができ、建物スイッチまでのすべての幹線は10Gb/sとなった。
キャンパス間は10Gb/sを1波長とするWDMを導入し、キャンパス間の多量なネットワークトラヒックの需要を満たした。
各キャンパスは、2つのコアスイッチを設置し、各エッジスイッチと接続を行った。その際に、STPを用いた冗長接続を行っている。
また、最新のネットワーク機器を導入し、スイッチ機器は同一の操作性や、運用管理に必要な機能が提供されており、スイッチの状態やOSイメージをアップグレードでき、それに伴うサービス停止時間が許容可能な時間内に収まるようにした。
加えて、ネットワークセキュリティの対策として、ネットワーク接続されたサーバにセキュリティソフトをインストールし、キャンパスネットワークに接続したホストに対してネットワーク越しでセキュリティの脆弱性を検査する。
TSUBAMEは計算による科学技術研究の促進を目的として設置され、現在では東工大内のみに限らず学外の研究機関・民間企業に対しても幅広く使用されている。TSUBAMEは世界のスーパコンピュータ性能ランキングTOP500において、15位にランクインしている。TSUBAMEは、約1400のノードで構成され、単精度の浮動小数点演算性能は17.1ペタフロップスとなっている。図26は1ノードの写真であり、図27はTSUBAMEの写真である。
図26 TSUBAMEの1ノード
図27 TSUBAME
TSUBAMEは学内外問わず、幅広く利用されている。そのため、TSUBAMEの接続は十分な帯域を確保することが重要である。ディストリビューションスイッチとTSUBAMEは50G/sで接続されている。TSUBAMEの約1400のノード間はInfiniBandネットワークによって接続されている。
図28 TSUBAMEとの接続
図29各キャンパス内のネットワーク
東工大のネットワークの構造は、コア、ディストーション、アクセスの3層スイッチ構造であることは、電機大と同じであるが東工大の管理組織であるNOCの管理はコア層とディストリビューション層までであり、各建物内のアクセス層のスイッチは専攻による管理が行われている。田町キャンパスは、ディストリビューションスイッチのみで構成されており、このディストリビューションスイッチと大岡山キャンパスのコアスイッチは接続されている。
幹線部分はOSPFによるルーティングを行なっている。また、VLANを使用しているため、建物をまたがって同一セグメントを提供することが可能である。また、各キャンパス2台のコアスイッチを配置している。冗長接続を構成するため、コアスイッチの切り替えはVRRPを使用しており、ループをさせないためにSTPを利用している。
図30 大岡山のコアスイッチ
図30は大岡山のコアスイッチである。図31のディストリビューションスイッチは各コアスイッチと1本のシングルモードの光ファイバーで接続されている。
図31 大岡山のディストリビューションスイッチ
東京工業大学は最高性能のネットワークが求められるため、キャンパス間接続はWDMを導入し10Gb/sの倍数となる回線容量を確保している。キャンパス間接続図は図32となる。大岡山とすずかけ台キャンパスのコアスイッチ間は東急線のレンタルした光ファイバーとWDMで接続されている。大岡山キャンパスとすずかけ台キャンパス間には4芯のレンタルした光ファイバーがあり、これを利用して両キャンパスのコアスイッチ間で接続されている。また、大岡山とすずかけ台の対外接続ルーター間は、光ファイバーを2芯利用して接続されていた。大岡山キャンパスのコアスイッチと田町キャンパスのディストリビューションスイッチは、東急線のレンタルした光ファイバーとWDMで接続されている。こちらは、光ファイバーを2芯利用して、両キャンパスを接続している。図33は大岡山キャンパスにあるWDM装置である。
図32 各キャンパス間接続図
図33 大岡山キャンパス内のWDM装置(LightEdge4000)
東工大は、SINET、APAN、WIDE、JGNとマルチホーム接続されている。AS番号については、東工大9367、SINET2907、WIDE2503、APAN7660、JGN17934となっている。大岡山キャンパスの対外接続ルーターは大岡山キャンパス内に配置されているSINETノードと20Gb/sで直接接続されている。また、大岡山の対外接続ルータは東急線の光ファイバーを経由してWIDE、APAN、JGNノードと合計10Gb/sで接続されている。すずかけ台の対外ルータは商用の回線を用いて横浜のSINETノードと1Gb/sで接続されている。また、各キャンパスの対外接続ルータ同士は東急線の光ファイバーで接続されている。
図34 キャンパス全体概要図
図35 大岡山キャンパスの対外接続ルータ
東工大の無線LANの種類は以下3種類となっている。
学生教職員用の無線LANである。与えられたユーザーIDとパスワード入力することで認証を行う。利用数は65万ログイン/年程となっている。
学内主催者が申請し、来賓が利用するイベントゲスト用。利用数は70件強/になっている。
サークル活動や、外部の方々などが使用することができる無線LANである。ワイヤ・アンド・ワイヤレス社と協力しWi2と呼ばれる無線LANサービスを提供している。利用時には、各利用者がサービスプロバイダと契約する必要がある。方針として、契約時の身元確認で信用し、学術国際センターがプロバイダーへの通信路を確保し、東工大からインターネットへ直接の接続は行わないようにしている。また、問い合わせに関してはプロバイダーが対応するようになっている。
運用については、学科・専攻がAPを購入すると、センターが管理をするサービスを提供している。認証については現在ではWeb認証だけ採用している。無線アクセスポイントは、CiscoAironet2600を使用しており、無線の規格は802.11 a/b/nに対応している。無線のアクセスポイントは無線コントローラーで管理されている。
図36 無線ワイヤレスコントローラー
ネットワークのポリシーは専攻ごとに異なる。そのため、NOCは専攻ごとに何種類かのポリシーを選択できるよう一元管理している。
さらに、NOCはファイル交換ソフトウェアP2P関連など個別の事業については各専攻に、ログの取れるNATルータの紹介や、発覚した場合組織内で調査するよう指示をする。
また、東工大はセキュリティ専用チーム東工大CERTを発足している。東工大CERTはセキュリティ事案発生時における緊急対応を行うほか、セキュリティ情報の発信、学内の脆弱性調査など事前対応に重きを置いた情報セキュリティに関わる活動を行っている。
両キャンパスは、情報系を含む理工系大学で複数のキャンパスを持つ。学生数は約10000名で全学生にコンピュータ教育を行っている。また、両キャンパスはインターネット黎明期からネットワークに参加し先進的であった。両キャンパス内ネットワーク構造は、コア、ディストリビューション、アクセス層の3層スター型である。また、対外接続はマルチホームであった。
両大学の相違点を表で示す。(表2)
| 比較対象 | 東京電機大学 | 東京工業大学 |
| 管理組織 | 総合メディアセンター | 学術国際情報センター＋専攻 |
| 学内利用ポリシー数 | 2 | 10 |
| キャンパス間接続層 | レイヤ2 | レイヤ1 |
| サーバ運用管理 | 総合メディアセンター＋他機関 | 学術国際情報センター |
電機大では総合メディアセンターの一元管理のもとに、高性能かつ高可用性なサービスが提供されていた。一方、東工大では、NOCという管理組織が基幹のみを管理しており、学内の需要に応える最大限の設備となっていた。
また、学内利用ポリシーの数が異なっている。電機大の学内利用ポリシーは、研究用と教育用の2つに大きく分かれていた。一方、東工大では、管理組織が用意した10個以上のポリシーを専攻が適用する体制となっている。
この他にも、キャンパス間接続のレイヤ層が異なる。電機大は2層であるが、東工大は1層となっている。
また、サーバの運用管理については、東工大は教員が行っている。電機大学では他機関と協力してサーバの運用管理を行っている。そのため、サーバに障害が起きた場合には、他機関がサーバを復旧作業にあたることがある。
両大学のネットワーク構造と対外接続のマルチホームは類似していた。しかし、キャンパス間接続のレイヤ層が異なっていた。管理組織については、電機大は職員と教員で構成される総合メディアセンターが運用しており、東工大は主に教員で構成されるNOCと専攻が運用していた。管理運用では、東工大は最高性能を求められるため、キャンパス間接続をレイヤ１で管理する点や、専攻の需要に応えるためポリシーを幾つか用意しなければならない点や、サーバ関連は教員が運用管理を行わなければならない点を考慮すると電機大よりも運用が難しくなる。
両キャンパスは私立、国立大学の違いや、管理組織と管理範囲は大きく異なっていたが基本的なネットワークの構造は類似していた。
東京電機大学と東京工業大学のネットワークの性能面では東京工業大学の方が優れていた。しかし、東京電機大学は利用者が快適にネットワークを利用するためのネットワークが整備されていた。例えば、無線LANにおいては、アクセスポイントがキャンパス内で十分に設置されており、キャンパス内であればどこでも自由に利用ができていた。また、利用者は802.1Xを用いた無線LANを使用すれば再びIDとパスワードを入力する手間が省ける様になっていた。この他にも、対外接続のトラフィック量は最大の半分にも満たない量となっていたため、利用者は十分にネットワークの利用が可能である。
両キャンパスが目指すネットワークの違いが性能面、管理面に大きな影響を与えることがこの研究を通じて理解できた。
本論文は東京電機大学総合メディアセンターの橋本明人技師並びに学術国際情報センターの友石正彦教授の両名へのインタビューを参考に作成されたものであり、両名のご協力がなければ作成することができませんでした。ご協力頂いた両名に深く感謝します。また、北千住のビーム装置の写真の撮影をしてくださった東京電機大学総合メディアセンターの小山仁様に深く感謝致します。