一般社団法人 Home NOC Operators’ Group 正会員の伍藤です。 当団体がマニラ(フィリピン)に構築した拠点POP201での、コンソールサーバの設計について紹介します。
コンソールサーバの構成
POP201では、現地ISPのご協力の元、DIA(Direct Internet Access)にてインターネットに接続しています。 HomeNOCでは、メンバーの自宅など運用者が常駐している拠点をNOC、データセンタなど担当者の常駐しない拠点をPOPと定義しています。(https://www.homenoc.ad.jp/tech/backbone/) POPにはコンソールサーバを設置しており、ネットワーク機器にSSHできなくなった際にもコンソール経由で設定変更ができるようになっています。
POP201では管理ネットワーク・バックボーン共に一本のDIAに頼っています。 また、海外拠点であり現地作業によるメンテナンスを実施しづらいという問題もあります。 このため、DIAの障害に備え、コンソールサーバへ接続する回線は冗長化することに決定しました。
このデータセンタではWiFiが利用可能であり、LTEと比べると課金の必要がない点や海外での運用のしやすさから、バックアップ回線としてはWiFiを利用することが決まりました。 この要求を満たすために、メーカー製コンソールサーバではなく、UbuntuをインストールしたミニPCをコンソールサーバとして利用します。
コンソールサーバでは以下のように二つの回線が利用可能です。
コンソールサーバ側でリンクダウンを検知できる障害であれば、metricなどを設定すれば障害時に迂回することができます。 一方、以下の図のように直接コンソールサーバが繋がっていない地点で発生した障害は、コンソールサーバで検知してリンクを落とすことができません。
この問題を解決するために、定期的に東京側のサーバに対してpingを送信して障害の起きていない回線を選択するスクリプトを作成しています。 このため、DIAの障害時はWiFiへ、WiFiの障害時はDIAへとコンソールサーバの利用する回線は自動で切り替わります。
管理ネットワークではHomeNOCバックボーンで到達可能なプライベートIPが割り当てられています。 しかしながら、家庭用ルータと同様に、このWiFiに接続するとHomeNOCバックボーンとは関係の無いプライベートIPが割り当てられてしまいます。 これでは東京拠点からコンソールサーバに到達できないため、Wireguardを用いて東京側サーバと接続する構成となっています。
VMサーバとしての運用
Ubuntuを利用しているためコンソールサーバではQEMUを利用してVMを動かすことができます。 これを利用して回線品質監視エージェントをVMとして動作させています。 これにより、専用のVMサーバを用意することなくPOP201において高度な監視を実現しています。 ただし、ミニPCであるためリソースに制約があり他のVMサーバと同様の運用は避けています。 ミニPCのCPUはN100でメモリは16GBであり、現状のCPU使用率は約10%~20%でメモリ使用率は約8%となっています。
おわりに
以上、当団体初となる海外拠点POP201におけるコンソールサーバの設計について紹介しました。 今回の構築にあたり、多くの方々からご協力をいただきました。この場を借りて心より感謝申し上げます。