Edge Cloudを実現するVolterra

ビジネス開発本部 第1応用技術部
第2チーム
奈良 昌紀

はじめに

クラウドの利用促進によりアプリケーションはデータセンターからクラウドに広がり、現在はDigital TransformationやIoT等の活用により大量のデータを端末の近く(Edge)で処理するエッジコンピューティングが広がりつつあります。5Gの活用が期待される中で、アプリケーションのレスポンスを向上させるためにMEC(Multi-access Edge Computing)と呼ばれる規格の標準化も進んでいます。

一方でコンテナの利活用が広く進み、Kubernertesがコンテナオーケストレータとして大きな注目を集めています。2018年のKubeConで米国のファーストフードチェーンのChick-fil-A社がEdge向けのKubernetesのユースケースとして注目すべき事例を発表しています。Chick-fil-A社は米国内に2,000の店舗があり、店舗内の冷蔵庫やフライヤーをIoTデバイス化し情報を収集しています。これらの情報を収集するために、各店舗内にIntel NUC(Next Unit of Computing)で構成される小さなKubernetesクラスターを置き、店舗のPOSシステムやデータ収集に利用されるアプリケーションをコンテナとして管理するというものです。Kubernetesではマニフェストファイルと呼ばれる定義ファイルで宣言的にアプリケーションを定義することが可能です。定義ファイルをgitリポジトリ上で管理し、リポジトリに変更が発生した場合に、各店舗のKubernetesクラスター内で起動するエージェントが変更を検出して、マニフェストの定義内容を反映するというものです。これにより2,000ものKubernetesクラスターでアプリケーションを効率よく管理することを可能にしています。

Volterraとは

Volterra社は2017年に創業した米国のスタートアップ企業です。Volterra社のサービスはプラットフォームとしてKubernetesを提供するVoltStackと、VoltStack間の接続やネットワークサービスを提供するVoltMeshで構成されます。サービスとして提供される管理画面(Volterra Console)により各拠点に存在するVoltStackを管理し、VoltMeshのネットワークを構成することができます。これらの機能により、複数拠点に分散したアプリケーションの効率的な管理と、分散したアプリケーション間のネットワークを柔軟に構成することで、Chick-fil-A社が実現しているようなEdge Cloudを可能にします。

VoltStack

VoltStackは利用者の拠点で起動するEdgeデバイスであり、Customer Edge(CE)であるVolterra Node上で動作します。VoltStackはKubernetesクラスターとして機能するため、セットアップする方の役割・スキルによって構築自体が困難なケースが多々あります。Volterra Nodeのインストールは非常に簡素化されており、Volterra Console上で作成したTokenを指定し、ノードのIPアドレスを構成するだけでVoltStackの構成が可能です。CEはvSphere用の仮想アプライアンス、Azure及びAWS上のマシンイメージとしても提供されており、ベアメタル環境へインストールすることも可能です。(現時点で対応しているベアメタルサーバーは限定されていますが、今後拡張される見込みです。)Volterra Nodeの起動が完了すると、”Pending Registration”の状態でVolterra Console上に表示されます。Approveするとクラスター内部でKubernetesクラスターとして構成され、Volterraが必要とする機能が自動的に構成され、しばらくするとクラスターとして管理可能になります。

Volterraは複数のVoltStack(Kubernetesクラスター)の管理を簡素化するために、KubernetesクラスターにまたがるVirtual Kubernetes(vk8s)と呼ばれる機能を提供しています。vk8sを利用すると、各VoltStackに複数の論理的なクラスター(ネームスペース)を構成し、ネームスペース内でVirtual Siteという論理的なリソースグループを作成して、マニフェストのannotationを利用してコンテナを柔軟に配置することが可能です。以下の例では2つの拠点にVoltStack配置し、Volterra Console上で2つのネームスペースを作成し一元的に管理しています。ネームスペースns1でapp1のレプリカ数を3としてDeploymentを作成すると、それぞれのCE上でapp1のPodが3つずつ起動します。同様にns2ではレプリカ数を2としてapp2 Deploymentを作成しているため、各VoltStackでPodが2つずつ起動します。

また、利用者はVolterra社が世界各地のリージョンで運用するRegional Edge(RE)上でアプリケーションを起動することも可能です。Volterra社のインフラを利用する形となるため、Podのサイズと利用時間に応じて課金が発生します。

VoltMesh

VoltMeshはVoltStack上に配置したコンテナ間の通信やコンテナに対する外部からのアクセスを可能にするネットワークサービスです。Volterra社は世界各地にリージョンを持ち、各リージョンでREを運用しています。これらのREはVolterra社が運用するバックボーンネットワークで接続されており、利用者のCEはREに対してIPsec接続することでVolterraのバックボーンネットワークを介して通信することが可能です。CEやRE上のアプリケーションは、VoltMeshとして利用できる以下のリソースによって通信を制御することが可能です。

• Endpoint : Edge上のPodやEdgeからアクセス可能なVMやアプリケーション等を指定。
• Cluster : Endpointのグループ。ロードバランサーを利用した負荷分散方式を指定可能。
• Route : 様々な条件に応じて、アプリケーショントラフィックをClusterにルーティングするための条件を指定する。
• Advertise Policy : Service/ApplicationがListenするポートを指定し、Virtual Hostを公開する場所を制御する。
• Virtual Host : アプリケーションに対するリバースProxyとしてトラフィックを終端する。Advertise Policyにより、Virtual Hostを作成するCEを選択し、Routeを指定してトラフィックのルーティングを設定する。

例えば、2種類のコンテナで構成されるアプリケーションを2つの拠点のCE上にそれぞれPod配置し、CE1にあるPod1がバックエンドサービスとしてCE2のPod2を利用している場合、以下のようにKubernetesのリソースとVoltMeshのリソースを組み合わせて、異なるCE上のPod間通信を可能にし、Pod1をサービスとしてCE1上で公開することが可能です。

また、VoltStack上で機能していないアプリケーションをEndpointとして登録することでVoltStack内からアクセスすることも可能です。既存のKubernetesがEdgeロケーションに存在する場合は、既存KubernetesのService(type: NodePort)をEndpointとして登録することで、Amazon EKSやAzureのAKS等、VoltStackの外部に存在するサービスにアクセスすることも可能です。

ユースケース

今回は複数の拠点で収集されるデータを、データセンターで一元的に保存・可視化する環境でVolterraをどの様に利用できるのかをご紹介します。

各拠点のデバイスが生成するデータをデータセンターで収集・可視化する場合、各拠点とデータセンターにCEを配置し、拠点のCE上で起動するデータ収集用のコンテナが、データセンターにあるデータ分析システムにデータを送ることでデータの収集と可視化を実現することができます。各拠点内で収集するIoTデバイスの種類やデータフォーマットが変更される場合に、拠点のデータ収集用コンテナイメージをバージョンアップすることで、速やかに新しいデータに対応することが可能になります。また、各拠点とデータセンター間の通信はVoltMeshによりセキュアに構成することが可能です。今回はElasticsearch社のElastic Stack(Elasticsearch、Logstash、Filebeat、Kibana)を利用して各拠点のデータをデータセンターで一元的に可視化するというシナリオで環境を構成しました。

apiVersion: apps/v1
kind: Deployment
  metadata:
    labels:
      app: logstash
    name: logstash
    annotations:
      ves.io/virtual-sites: nos-demo/demo-tokyo
      ves.io/workload-flavor: large
  spec:
    replicas: 1
    selector:
      matchLabels:
        app: logstash
    template:
      metadata:
        labels:
          app: logstash
      spec:
        containers:
        - image: masanara/logstash:0.3
          name: logstash
          env:
          - name: ESHOST
            value: "elasticsearch.nos-demo"

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: filebeat-sensor
  name: filebeat-sensor
  annotations:
    ves.io/virtual-sites: nos-demo/demo-branch
    ves.io/workload-flavor: medium
  namespace: nos-demo
spec:
  replicas: 1
  selector:
    matchLabels:
      app: filebeat-sensor
  template:
    metadata:
      labels:
        app: filebeat-sensor
    spec:
      containers:
      - image: masanara/filebeat-sensor:1.0
        name: filebeat
        env:
        - name: LOGSTASH_HOST
          value: "logstash.nos-demo"
        readinessProbe:
          httpGet:
            path: /
            port: 5066

filebeat.inputs:
- type: tcp
  max_message_size: 10MiB
  host: "0.0.0.0:9000"
http.enabled: true
http.host: "0.0.0.0"
output.logstash:
  hosts: ["${LOGSTASH_HOST}:5045"]

filebeat.inputs:
- type: tcp
  max_message_size: 10MiB
  host: "0.0.0.0:9000"
http.enabled: true
http.host: "0.0.0.0"
processors:
- add_fields:
    target: ''
    fields:
      branch: "${EDGE_VSITE}"
output.logstash:
  hosts: ["${LOGSTASH_HOST}:5045"]

filebeat.inputs:
- type: tcp
  max_message_size: 10MiB
  host: "0.0.0.0:9000"
http.enabled: true
http.host: "0.0.0.0"
processors:
  - drop_event:
      when:
        regexp:
          message: 'Sound'
  - add_fields:
      target: ''
      fields:
        branch: "${EDGE_VSITE}"
output.logstash:
  hosts: ["${LOGSTASH_HOST}:5045"]