データ利活用の時代に備えて ～パケットデータを効率良く収集するには～

ビジネス推進本部 応用技術部
クラウドデータインフラチーム
新林 辰則

本コラムでは、Big Switch Networks社のBig Monitoring Fabricを用いたパケットデータの収集～加工～蓄積についてご紹介させていただきます。

Big Monitoring Fabricを用いたパケットデータの収集

Big Monitoring Fabric（以下BMF）は、過去のコラムでもご紹介させていただきました通り本番ネットワークとパケットを直接キャプチャして何等かの処理を行うツール群（NW性能分析、トラブルシュート、セキュリティ、フォレンジックなど Wiresharkなどが代表的）の間にパケット収集用のネットワークを構築することができる製品です。

本番ネットワークの中に流れるパケットをSPANポートでのミラーリングや、インラインタッピング装置でBMFへコピーして転送していただくことで、特定のIPアドレス、VLAN、ポート番号を持つパケットを抽出したり、複数のポートからミラーされてきたパケットを一つのポートへまとめて送り出す、逆に一つのポートからミラーされてきたパケットを複製して複数のポートから送り出すといったことも可能です。

これによって、先ほどのNW性能分析、トラブルシュートなどといった本来行いたい処理を担うツールの限りあるリソース（CPU、メモリ、ポート数、設置場所など）を最大限利用できます。

BMFで構成されるパケット収集用ネットワークは、複数のスイッチを使用して構成可能ですが、設定や管理についてはコントローラと呼ばれるコンポーネントが担います、このためスイッチ台数の増加に伴って運用が煩雑化するといったことを防ぐことができます。

また、あらかじめBMFで構成されたパケット収集ネットワークと本番ネットワークのSPANポート、実際の分析、解析、蓄積等を行うツール群を接続しておくことで、リモートからいつでも特定のポイントを流れるパケットを解析ツールに送り、解析を始める。または常時モニタリング用のツールへパケットを流しておき、非常時には同じパケットをトラブルシュート用のツールにコピーするといったことが簡単に実現できます。

パケットデータの加工と蓄積

BMFにはパケット収集用NWを構成するスイッチとコントローラの他に、インテリジェントな複数の機能をBMF基盤に付加することのできる、Service Nodeというコンポーネントが新たに加わっています。

具体的な機能の一例として以下のようなものが実行可能です。

　　　　パケット重複排除
　　　　パケットスライシング（ペイロード除去）
　　　　正規表現によるパケットマッチング
　　　　NetFlow生成（ノンサンプリング）
　　　　GTPコリレーション
　　　　パケットマスキング
　　　　タイムスタンプ

パケットスライシング（ペイロード除去）による、解析ツールの処理負荷やパケット蓄積の際のデータ容量削減、正規表現による、より細かなパケットマッチングルールの実現、ノンサンプリングでのNetFlow生成によるリアルタイム性の高いトラフィックフローの可視化など、様々な用途に利用可能な機能が搭載されています。

さらに、2017年5月より施行された、改正個人情報保護法では「匿名加工情報」が新設され、収集したデータに対して特定の個人を識別することができないよう、復元不可能な加工を施すことで、本人の同意を得ずに目的外の利用、外部への提供が可能になり、蓄積したデータの活用の幅が広がりました。
匿名化される情報の例としては、氏名、住所、年齢性別、マイナンバー、クレジットカード情報などがあり、匿名加工しておくことで、新たなサービスの開発・テストをする上でのテストデータとしての活用やデータサイエンス事業者に提供して分析するなどといった使い方も可能です。
ここでも、Service Nodeのパケットマスキング機能を利用することで、正規表現で指定した特定のデータを復元不可能なマスクデータに置き換えつつ、パケットデータを蓄積することが可能になります。

また、パケットデータの蓄積という面においても、BMFのコントローラから制御可能なパケットレコーダーが近日追加予定となっており、パケットデータの収集用NWそのものにパケットの蓄積機能も付与することが可能となりますので、パケットデータの収集～加工～蓄積までを一つの基盤上で実現できます。パケットレコーダー上に蓄積したパケットはPCAPとしてダウンロード、検索、再生が可能で、このパケットレコーダー自体もコントローラから制御可能であり、BMFのネットワークに接続することで自動的に認識されます。

そのため、パケットレコーダーを複数台BMFを構成するスイッチに接続することで、それらを認識し、容量が計算されますので、スケールアウトによる容量の追加が容易に実現できます。

最後に

今回、Big Monitoring Fabricを使用した、パケットデータの収集～加工～蓄積についてご紹介させていただきました。
また、前回の記事（関連記事をご参照ください）の中で触れさせていただきました通り、コントローラにはAPIが備わっており、外部からAPIを使用して操作を自動化することが可能です。
今回ご紹介させていただきました機能についても、基本的に操作や設定はコントローラから行うこととなりますので、APIを活用した自動化や他のシステムとの連携も行うことができます。
さらに、今後の機能拡張としてパブリッククラウドへの対応も予定されており、詳細についてはまた明らかになり次第、本コラムにて掲載させていただきます。

本コラムが複雑化するネットワークのトラブルシュート工数の削減、ネットワーク可視化による現状の分析・把握、パケットデータのビッグデータ化など様々な課題・ユースケースやアイディアの一助となれば幸いです。

関連記事

• Big Monitoring FabricとZabbixによるイベントドリブンなパケットキャプチャの実現

執筆者プロフィール

新林 辰則
ネットワンシステムズ株式会社 ビジネス推進本部
応用技術部 クラウドデータインフラチーム所属

SDN製品の評価・検証作業、案件支援に従事。主にBig Switch Networks社製品の評価・検証や、これらと連携する、データセンター管理製品の評価・検証を行っている。

ナレッジセンターを検索する