Home NOC Operators' Group

一般社団法人 Home NOC Operators’ Group 正会員の桑原と申します。
当団体は2023年8月21日、大阪府のNTTデータ堂島第4ビル内に新拠点として「POP54」を開設いたしました。
またこの拠点では、当団体のバックボーンネットワークでは初となる西日本のIX接続としてJPIX OSAKAへの接続をしております。

遅ればせながらこの度の新拠点開設作業で私が経験しましたことを、簡単では御座いますがここにまとめさせて頂きます。

開設理由

この度の新拠点の開設は以下の課題を解決することを主な目的としています。
ここではまずその課題と、それに対して新拠点の開設に伴い行った対応を簡単に説明いたします。

西日本バックボーンネットワークの課題

• 西日本地域の対外接続性能
  当団体では以前より、東日本にてJPIX　TOKYO及びEquinix Tokyoの2社のIXへ接続をしております。
  加えて東日本に6回線、西日本に2回線の上流トランジットとの接続を有しております。 *対外接続一覧

  当団体のバックボーンネットワークのルーティングポリシーでは、当団体がピアをしている外部ASとの通信については原則、上流トランジット経路と比較しピア経路を優先としております。
  この場合に西日本地域の接続利用者から西日本地域の外部ASへの通信が、地理的に距離のある東京を経由することになり、レイテンシの増大や通信品質の低下を招いておりました。

• 西日本コアルータの単一拠点収容
  当初、当団体のバックボーンネットワークの西日本拠点としてはPOP52のみが存在していたため、西日本のコアルータとして冗長化されている2台のルータはこの単一の拠点に設置されておりました。
  また当団体では、NTTの提供するNGN網上でトンネルを構成することにより拠点間のバックボーン回線を実現しております。

  しかしPOP52では、東西バックボーンネットワーク間を接続する2本の回線を含むすべてのトンネル回線は1本のNTTフレッツ回線を共用しているため、万が一このNTTフレッツ回線やPOP52拠点そのものに障害が発生した場合、下図の通り東日本側バックボーンネットワークとの接続の一切が途絶します。
  加えてNOC51についても孤立することとなり、結果として西日本バックボーンネットワーク全体の機能が喪失するという懸念がありました。

課題に対する対応

• 西日本地域でのIX新規接続
  当団体は非営利で運営を行っている都合上充分に設備投資を行うことが困難な場合もあり、実験ネットワーク利用者の当団体ネットワークを利用した場合の接続品質等についてはベストエフォートとさせて頂いております。
  しかし以前と比較して西日本地域の実験ネットワーク利用者も増加していることや、上記課題の通り西日本地域のトラフィックの多くが東京を経由している状況を鑑みると、西日本でのIXへの接続はそれに伴うコストを考慮しても十分効果的であると考えた為、この度新拠点にて西日本のIX接続として新規にJPIX OSAKAへの接続を行いました。

• 西日本コアルータの収容分散化
  上記課題の2点目について懸念事項の解消のためには、POP52に設置されている2台の西日本コアルータ及び東西バックボーンネットワーク間を接続する2回線を、それぞれ別拠点に収容するのが理想的となります。
  POP52開設以降、当団体の正会員の居宅に西日本の拠点としてNOC51が設置されましたが、データセンタでないことやその他運用に伴う諸事情によりコアルータの移設は行われませんでした。
  そのため今回新たに開設を行った新拠点に西日本コアルータのうち１台の機能を移行することで、西日本バックボーンネットワークの機能喪失のリスクの低下を図りました。　　

新拠点の設計

当団体のバックボーンネットワークでは、バックボーンネットワーク全体の経路制御や拠点間のトラフィックの転送をコアルータ（下図CR）で集中的に行い、各拠点の接続利用者や上流トランジット、ピア等の収容をエッジルータ（下図ER）で行う様それぞれに機能を分離した構成となっております。
これに倣い東日本のIX2社との接続はエッジルータにて収容をしておりましたが、新拠点では予算の都合等により1RUのみを借りており、このスペースにルータを複数台設置することは困難でした。
よって新規に設置したルータ1台を西日本コアルータとして構成し、かつ直接JPIX OSAKAへの接続を収容する例外的な構成となっております。

そのため考慮すべき事項として、JPIX OSAKAとの接続回線のIGPメトリックの調整が挙げられます。
上図の東日本のIX2社との接続点からも確認できる通り、当団体ではIXへの接続回線のIGPメトリックを原則20として設計しております。
もし今後西日本の別拠点にて他のIXと接続をした場合も同様に、エッジルータでの収容を行いその接続回線のIGPメトリックを20とすると考えられます。

しかしこれに従いJPIX OSAKAとの接続のIGPメトリックを20として設定した場合、西日本の別拠点のエッジルータに接続した他のIXと比較し、トラフィック発信元からのIGPメトリックの合計値が小さくなります。（下図左）

これはJPIX Osakaと他のIXから同一のAS-Pathで同一経路を受信した場合、自ASからの外部向け通信について内部BGPのネクストホップをIGPメトリックで評価した際に優先され、JPIX OSAKAにトラフィックが偏る要因になり得ます。
この対応として、従来の設計に基づいた場合のコアルータとエッジルータの間の回線のIGPメトリック100を、コアルータとJPIX OSAKAとの接続回線のIGPメトリックに加算し120とすることで、トラフィック発信元からのIGPメトリックの合計値が等価となるよう調整を行っております。（下図右）

構築作業

作業前日までにすべての機器のキッティングを行い、大まかに機器の配置イメージを想定します。
コアルータ以外の機器は比較的筐体が小型なものを採用しましたが、それでも配線経路やメンテナンス性を考慮しつつ1RUにすべてを収めるにはあまり余裕がなく、かなり詰めた機器配置となっております。

当日設置した機器一覧及びその用途、実際の機器等の配置はおおよそ以下のイメージのようになりました。

• Juniper Networks MX150 : 新大阪拠点コアルータ
• NEC UNIVERGE IX2207 : バックボーン網内用トンネル終端機器
• NETGEAR GS308E : フレッツ回線及び管理ネットワークの収容、分岐用
• 小型PC（Chatreey T8 Pro） : 管理ルータ（仮想ルータ）や回線品質計測端末等の仮想マシン用ホスト

午前中に各機器の設置を完了させ、午後からJPIX OSAKAとの接続試験及び開通作業を行いました。
こちらについては事前に作業内容の打ち合わせ等もありましたので、滞りなく作業完了いたしました。

最後に

私は現在、九州の専門学校でネットワークの構築や運用の基礎を学んでおります。
まだまだ相も変わらず浅学な身の上ですが、今後も自身で学ぶ機会を作りつつ、こういった活動を存分に活かして自身の成長に繋げて邁進したい所存です。
最後に、この度の作業でお世話になった方々にこの場を借りて御礼申し上げます。

新大阪拠点(POP54)に関する注意事項

• 実験ネットワーク参加者のトンネルを利用した新大阪拠点への接続については現在受け付けておりません。
  　NTTデータ堂島第4ビルでの構内線等を利用した接続をご希望の場合は当団体のサポートチームまでお問い合わせ下さい。