朝日ネット ネットワーク部のTと申します。初めまして。
今回、BBIX BGP Meeting 2019 Summer が 都内で開かれました。 このイベントで、朝日ネットのバックボーン運用について、少しお話しさせていただきました。 その中でお話したことの一部を紹介させていただきます。
はじめに
2016年春を過ぎた頃、大きなプロジェクトの話が持ち上がりました。朝日ネットのVNE事業者としての参入です。 いろんな議論を経て、自社でVNE事業者として、NTT東西とIPv6接続するというプロジェクトです。一般的には、IPoEといわれるサービスです。
このIPoEサービスは、「IPv6接続機能」として、2017年4月にリリースしました。それまで、朝日ネットは、IPv6をサービスしていなかったのですが、実験的に実装した構成のため、サービス化に伴い、改めて再設計しました。このプロジェクトが立ちあがり、IPv6環境の整備、また、新たなデータセンターの契約、バックボーンの設計、構築という事を行いました。
当初、朝日ネットは大阪に設備が無く、すべてのサービスを東京に集約する形で接続をしていました。 その時のバックボーンの超簡略版の概要です。
IPoEのサービスを始めるにあたり、NTT東日本・NTT西日本とNNI(Network-Network Interface)接続を行います。これは、NTT東西のフレッツ設備と相互接続を行うことにより、サービス提供ができるようになります。
IPoEのサービスを始める際、東京で接続するか、大阪に設備を構築し、大阪で接続するか議論がありました。社内で協議をした結果、大阪に新たに設備を構築してIPoE接続を行うことにしました。単純にIPoEの為だけにデータセンターを契約するのでは無く、東京に集約されていたフレッツ設備を大阪に収容変更も計画、実施しました。この理由には大きく２点あり、既存の東京近郊の設備では、ラックスペースが無く、これ以上設備を増やすのが厳しい事、ネットワーク品質の向上といった理由があります。
今回は、大阪のデータセンターを契約、設計・構築までの話をご紹介させていただきます。
データセンターの契約
大阪のデータセンター契約に当たり、
- 200Vの電力、耐荷重、拡張性(ラックスペース)
- 光ファイバーの入線ルートの異ルート化
- 東京～大阪の自社バックボーンの調達可能なキャリア
- ビル内外で相互接続可能な事業者、接続性
- 保守体制の構築
を考慮しています。
ルータは、ご家庭にある小さなルータではなく、とても大きなシャーシ型のもので、高さが10U近いもの(1Uは4.5cm)で、重量も数十キロあります。これらのルータを動かすには非常に大きな電力が必要で、100Vでは動作が厳しく、200Vを要求するものが大半です。こういった電力を安定して供給出来ること、また、調達可能な電力が十分であること、また、非常に重たいものですので、十分な耐荷重があることを検討しました。その他、停電時の対策として、UPSや非常用発電機の保守、運用体制も評価の一つになっています。
東京～大阪の自社バックボーンを作るに当たり、回線が物理的損傷により、切れてしまえば大障害となり、復旧までに数日かかります。そのため、複数のルートの手配を行い、一カ所の断線があっても、異なる経路でサービスが継続出来ることを条件に、選定を行っています。たとえば、天災、人災などによる光ファイバーの損傷があります。これは、地震や土砂崩れによる光ファイバーの損傷、また、道路工事で光ファイバーを切ってしまったなどが含まれます。最近の例でいえば、博多駅前道路陥没事故で光ファイバーなどの通信ケーブル、電力線など大きな損傷を受けています。こういったリスクに備え、複数経路で回線の調達が可能なデータセンターや回線を選んでいます。
次に、インターネットの接続性は、事業者間の相互接続や直接接続に基づいて、全世界に到達します。これは、業界用語で、ピアリングというのですが、各データセンターやコンテンツ事業者、また、ISPと接続を行う事です。相互接続や直接接続出来なくとも、トランジット事業者1から、インターネットとの接続性(経路)を購入することでも満たせますが、こちらは非常に高価で、1Mbps単位で帯域を買うことになります。また、トランジット事業者の品質に左右されてしまうことが多く、また、コストの面でも不利となります。そのため、自前で、各事業者と互接続を行います。相互接続にあたり、IX(Internet-eXchange)を利用した相互接続や、PNI(Private Network Inter-Connect)とよばれる直接接続する方法があり、より多くの接続が出来るデータセンターを選定しています。
次に、朝日ネットは、オフィスが東京と長崎のみで、システムの保守、運用はすべて東京で行っています。大阪で障害があると、すぐに駆けつけることが出来ないため、大阪で保守可能な会社と保守体制の構築を行いました。保守にもいくつかの手段があり、リモートハンドおよびオンサイト保守の契約です。リモートハンドとは、私たちに変わって、指示通りに作業をしてくれることです。故障が判定される前の原因切り分けなどを担当します。また、指示に基づいた故障の切り分けを行い、保守部材との交換なども対応してくれます。
オンサイト契約の多くは、明確な故障があった場合、保守作業員が交換部品を持参し、その場で対処しますが、事前に故障箇所が明確になっている必要があります。場合によってはリモートハンドとの組み合わせなどで作業を依頼するケースもあります。 とはいえ、故障に伴いサービスが停止しまわないよう、すべてのカ所で二重化しています。また、障害が発生し、発生した箇所は特定できても、すぐにベンダーによる故障判定が出来ないケースも多くあります。障害の長期化を防ぐため、リモートハンドを使い、予備部材に交換しできる体制を整えています。
フレッツ収容設備の場変
冒頭に述べた通り、大阪拠点に自社設備がなかった為、東京で収容されていました。 たとえば、VPNを例にしてみましょう。福岡の事業所と大阪の事業所でVPNを張った場合、すべての通信が東京を経由してしまいます。これは、長い区間の光ファイバー経由するため、RTT(Round Trip Time)、すなわち応答時間が長くなり、パフォーマンスの面で不利になります。また、いろいろなビル(通信局舎)を経由するため、災害や故障などでサービスの停止が懸念されます。また、距離が遠くなるため、回線代も高く付くことにもなります。
今回、既存の専用線サービスのサービス終了に伴い、移行をする必要があったため、併せて大阪に収容変更をしました。収容変更には、NTTとの調整が必要となります。異なる事業者と接続する場合には、必ず責任分解点というのがあり、勝手に第三者の設備を触ることが出来ません。そのため、回線の収容変更を行うために、各種申請から日程調整、作業依頼などを行い、収容変更を実施しました。2017年夏頃から、日々回線の切り替えに伴う、フレッツのメンテナンスを実施させていただきました。数多くのメンテナンスの案内が出ていたのはこの為になります。
すべての回線の収容変更には、一年近くかかりましたが、現在はすべての作業が完了しています。西日本エリアでの折り返し通信は、ほとんどのケースにおいて、大阪で折り返しになっているため、RTTが短くなっていると思います。また、今まで相互接続出来る場所として東京で主流でしたが、最近は多くの事業者が大阪にも設備を持つことが多くなっています。そのため、朝日ネットも大阪拠点でトランジット回線の調達、各事業者との相互接続などを実施しているため、以前よりも一部のサイトへの接続性もよくなっています。最近は、東京だけでは無く、大阪も非常にネットワークの中心となってきています。
好評でしたら次回はこのあたりのお話をさせていただきます！ではまた！
採用情報
朝日ネットでは新卒採用・キャリア採用を行っております。
-
日本では、NTTコミュニケーションズや IIJ、KDDI、ソフトバンクなどが提供している↩
