特開 2024-51680 通信制御装置、通信制御システム及び通信制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051680

(43)【公開日】2024-04-11

(54)【発明の名称】通信制御装置、通信制御システム及び通信制御方法

(51)【国際特許分類】

   H04L 45/24 20220101AFI20240404BHJP

   H04L 45/02 20220101ALI20240404BHJP

【ＦＩ】

H04L45/24

H04L45/02

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022157969

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(72)【発明者】

【氏名】海老澤 健太郎

(72)【発明者】

【氏名】矢澤 祐司

(72)【発明者】

【氏名】増田（奥澤） 智子

(72)【発明者】

【氏名】中村 遼

【テーマコード（参考）】

5K030

【Ｆターム（参考）】

5K030GA05

5K030KA05

5K030LA01

5K030LB06

(57)【要約】

【課題】専用の装置のみならず、汎用のハードウェアルータを用いた場合でも、デイジーチェイニング方式でコネクションを維持可能な技術を提供すること。
【解決手段】通信制御装置は、転送先候補のサーバ数の変更を検出した場合に、記憶部に記憶されている第１の経路情報を第２の経路情報に置き換え、前記変更後の前記パケットの転送先候補を示すように前記第１の経路情報を更新するように構成され、端末からパケットを受信した場合に、前記第１の経路情報に従い、前記端末から受信した前記パケットを第１のサーバに転送する。第１のサーバは、前記パケットが自身の管理するコネクションに属するか否かを判定し、自身の管理するコネクションに前記パケットが属さない場合に、前記パケットに対応する再送パケットを前記通信制御装置に送信する。通信制御装置は、前記第１のサーバから前記再送パケットを受信した場合に、前記第２の経路情報に従い、前記再送パケットを第２のサーバに転送する。
【選択図】図５

【特許請求の範囲】

【請求項1】

パケットの転送先候補をそれぞれ示す第１の経路情報及び第２の経路情報を記憶する記憶部、
前記パケットを受信するように構成される受信部、
前記パケットを送信するように構成される送信部、並びに
制御部、
を備える通信制御装置であって、
前記制御部は、転送先候補のサーバ数の変更を検出した場合に、前記記憶部に記憶されている前記第１の経路情報を前記第２の経路情報に置き換え、前記変更後の前記パケットの転送先候補を示すように前記第１の経路情報を更新するように構成され、
前記制御部は、
前記受信部を通じて端末からパケットを受信した場合に、前記送信部を使用して、前記第１の経路情報に従い、前記端末から受信した前記パケットを第１のサーバに転送することであって、前記第１のサーバに前記パケットが自身の管理するコネクションに属するか否かを判定させ、自身の管理するコネクションに前記パケットが属さない場合に、前記パケットに対応する再送パケットを前記通信制御装置に返信させるように前記パケットを転送すること、及び
前記受信部を通じて前記第１のサーバから前記再送パケットを受信した場合に、前記送信部を使用して、前記第２の経路情報に従い、前記再送パケットを第２のサーバに転送すること、
を実行するように更に構成される、
通信制御装置。

【請求項2】

前記制御部は、
前記第１の経路情報と、前記パケットが属するフローに関するフロー情報と、に基づいて、前記第１のサーバを決定し、
前記第２の経路情報と、前記フロー情報と、に基づいて、前記第２のサーバを決定する、
請求項１記載の通信制御装置。

【請求項3】

パケットの転送先候補をそれぞれ示す第１の経路情報及び第２の経路情報を記憶する記憶部、
前記パケットを受信するように構成される受信部、
前記パケットを送信するように構成される送信部、並びに
制御部、
を備える通信制御装置と、第１のサーバと、第２のサーバと、を含む通信制御システムであって、
前記通信制御装置の前記制御部は、
転送先候補のサーバ数の変更を検出した場合に、前記記憶部に記憶されている前記第１の経路情報を前記第２の経路情報に置き換え、前記変更後の前記パケットの転送先を示すように前記第１の経路情報を更新するように構成され、
前記受信部を通じて端末からパケットを受信した場合に、前記送信部を使用して、前記第１の経路情報に従い、前記端末から受信した前記パケットを第１のサーバに転送し、
前記第１のサーバは、
前記通信制御装置から転送された前記パケットを受信するように構成される受信部と、
前記パケットが前記第１のサーバが管理するコネクションに属するか否かを判定する制御部と、
前記制御部によって自身の管理するコネクションに前記パケットが属さないと判定された場合に、前記パケットに対応する再送パケットを前記通信制御装置に送信するように構成される送信部と、
を備え、
前記通信制御装置の制御部は、
前記受信部を通じて前記第１のサーバから前記再送パケットを受信した場合に、前記送信部を使用して、前記第２の経路情報に従い、前記再送パケットを第２のサーバに転送する通信制御システム。

【請求項4】

前記第１のサーバの前記制御部は、
前記制御部によって自身の管理するコネクションに前記パケットが属すると判定された場合、前記再送パケットを前記通信制御装置に対して送信せずに、前記パケットを処理する、
請求項３記載の通信制御システム。

【請求項5】

パケットの転送先候補をそれぞれ示す第１の経路情報及び第２の経路情報を記憶し、転送先候補のサーバ数の変更を検出し、前記第１の経路情報を前記第２の経路情報に置き換え、前記変更後の前記パケットの転送先候補を示すように前記第１の経路情報を更新するように構成された通信制御装置が、
端末からのパケットを受信する工程と、
前記第１の経路情報に従い、前記端末から受信した前記パケットを第１のサーバに転送する工程と、を有し、
前記第１のサーバが、
前記通信制御装置から転送された前記パケットを受信する工程と、
前記パケットが前記第１のサーバが管理するコネクションに属するか否かを判定された場合、自身の管理するコネクションに前記パケットが属さないと判定された場合に、前記パケットに対応する再送パケットを前記通信制御装置に送信する工程と、を有し、
前記通信制御装置は、
前記第１のサーバから前記再送パケットを受信する工程と、
前記第２の経路情報に従い、前記再送パケットを第２のサーバに転送する工程と、を更に有する
通信制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信制御装置、通信制御システム及び通信制御方法に関する。

【背景技術】

【0002】

従来、ある特定の宛先に対するロードバランシングの手法として、宛先の等価経路に対して通信を分散するＥＣＭＰ（Equal Cost Multi Path）が存在する。ＥＣＭＰは、多くのＬ３ルータに実装されている。しかしながら、ＥＣＭＰは、ある宛先に対応する複数の分散先に変更が生じた場合、殆どのフローの分散先が変わってしまい、その結果、コネクションが切断されるという問題がある。そのため、ＥＣＭＰをロードバランシングの手法として用いる場合、これに対する様々な対策が考えられている。一例として、非特許文献１では、クライアント－分散先サーバ間のコネクションをデイジーチェイニング方式で維持する手法が提案されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Stateless Datacenter Load-balancing with Beamer Vladimir Olteanu, Alexandru Agache, Andrei Voinescu, and Costin Raiciu, University Politehnica of Bucharest In NSDI, 2018. https://www.usenix.org/system/files/conference/nsdi18/nsdi18-olteanu.pdf

【発明の概要】

【発明が解決しようとする課題】

【0004】

本件発明者らは、上記従来の方法によれば、次のような問題点があることを見出した。すなわち、従来の方法では、ステート情報をパケットに埋め込むことで、コネクション維持を実現しており、その処理は、Ｐ４（Programming Protocol-Independent Packet Processors）言語を使用可能な特定のハードウェアＡＳＩＣ（Application Specific Integrated Circuit）搭載の装置等で実装される。そのため、この方法には、汎用のハードウェアルータを用いることはできない。すなわち、従来の方法では、専用の装置を用いなければ、デイジーチェイニング方式でコネクションを維持することは困難である。

【0005】

本開示は、このような状況を鑑みてなされたものであって、その目的は、専用の装置のみならず、汎用のハードウェアルータを用いた場合でも、デイジーチェイニング方式でコネクションを維持可能な技術を提供することである。

【課題を解決するための手段】

【0006】

本開示の第１の態様に係る通信制御装置は、パケットの転送先候補をそれぞれ示す第１の経路情報及び第２の経路情報を記憶する記憶部、前記パケットを受信するように構成される受信部、前記パケットを送信するように構成される送信部、並びに制御部、を備える通信制御装置であって、前記制御部は、転送先候補のサーバ数の変更を検出した場合に、前記記憶部に記憶されている前記第１の経路情報を前記第２の経路情報に置き換え、前記変更後の前記パケットの転送先候補を示すように前記第１の経路情報を更新するように構成され、前記制御部は、前記受信部を通じて端末からパケットを受信した場合に、前記送信部を使用して、前記第１の経路情報に従い、前記端末から受信した前記パケットを第１のサーバに転送することであって、前記第１のサーバに前記パケットが自身の管理するコネクションに属するか否かを判定させ、自身の管理するコネクションに前記パケットが属さない場合に、前記パケットに対応する再送パケットを前記通信制御装置に返信させるように前記パケットを転送すること、及び前記受信部を通じて前記第１のサーバから前記再送パケットを受信した場合に、前記送信部を使用して、前記第２の経路情報に従い、前記再送パケットを第２のサーバに転送すること、を実行するように更に構成される。

【0007】

本開示の第２の態様に係る通信制御システムは、パケットの転送先候補をそれぞれ示す第１の経路情報及び第２の経路情報を記憶する記憶部、前記パケットを受信するように構成される受信部、前記パケットを送信するように構成される送信部、並びに制御部、を備える通信制御装置と、第１のサーバと、第２のサーバと、を含む通信制御システムであって、前記通信制御装置の前記制御部は、転送先候補のサーバ数の変更を検出した場合に、前記記憶部に記憶されている前記第１の経路情報を前記第２の経路情報に置き換え、前記変更後の前記パケットの転送先候補を示すように前記第１の経路情報を更新するように構成され、前記受信部を通じて端末からパケットを受信した場合に、前記送信部を使用して、前記第１の経路情報に従い、前記端末から受信した前記パケットを第１のサーバに転送し、前記第１のサーバは、前記通信制御装置から転送された前記パケットを受信するように構成される受信部と、前記パケットが前記第１のサーバが管理するコネクションに属するか否かを判定する制御部と、前記制御部によって自身の管理するコネクションに前記パケットが属さないと判定された場合に、前記パケットに対応する再送パケットを前記通信制御装置に送信するように構成される送信部と、を備え、前記通信制御装置の制御部は、前記受信部を通じて前記第１のサーバから前記再送パケットを受信した場合に、前記送信部を使用して、前記第２の経路情報に従い、前記再送パケットを第２のサーバに転送する。

【0008】

本開示の第３の態様に係る通信制御システムは、パケットの転送先候補をそれぞれ示す第１の経路情報及び第２の経路情報を記憶し、転送先候補のサーバ数の変更を検出し、前記第１の経路情報を前記第２の経路情報に置き換え、前記変更後の前記パケットの転送先候補を示すように前記第１の経路情報を更新するように構成された通信制御装置が、端末からのパケットを受信する工程と、前記第１の経路情報に従い、前記端末から受信した前記パケットを第１のサーバに転送する工程と、を有し、前記第１のサーバが、前記通信制御装置から転送された前記パケットを受信する工程と、前記パケットが前記第１のサーバが管理するコネクションに属するか否かを判定された場合、自身の管理するコネクションに前記パケットが属さないと判定された場合に、前記パケットに対応する再送パケットを前記通信制御装置に送信する工程と、を有し、前記通信制御装置は、前記第１のサーバから前記再送パケットを受信する工程と、前記第２の経路情報に従い、前記再送パケットを第２のサーバに転送する工程と、を更に有する。

【発明の効果】

【0009】

本開示の一態様によれば、専用の装置のみならず、汎用のハードウェアルータを用いた場合でも、デイジーチェイニング方式でコネクションを維持可能な技術を提供する。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る通信制御システム１の概要の一例を示す図である。

【図2】本実施形態に係る通信制御システム１の各装置の物理構成の一例を示す図である。

【図3】本実施形態に係る通信制御システム１の機能構成の一例を示す図である。

【図4】本実施形態に係る通信制御システム１の動作例を示す図である。

【図5】本実施形態に係る通信制御システム１の動作例を示す図である。

【図6】本実施形態に係るサーバ２０の動作例を示すフローチャートである。

【発明を実施するための形態】

【0011】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0012】

（概要）
図１は、本実施形態に係る通信制御システムの概要の一例を示す図である。通信制御システム１は、通信制御装置１０と、通信制御装置１０に接続されるサーバ２０Ａ～２０Ｄと、通信制御装置１０とネットワーク４０を介して接続される端末３０と、を含んで構成される。

【0013】

通信制御装置１０は、端末３０からのパケットの通信制御を行う装置である。当該端末３０からのパケットは、端末３０からのトラフィックデータに関するパケット、及び／又は、端末３０からの要求（例えば、端末３０に対するトラフィックデータの要求）に関するパケットであってもよい。

【0014】

通信制御装置１０は、例えば、パケット転送用のＡＳＩＣ（application specific integrated circuit）を搭載した汎用のハードウェアルータであるが、これに限られず、ソフトウェアルータ又はスイッチ等、端末３０からのパケットの通信制御を行うどのような装置であってもよい。また、通信制御装置１０は、例えば、ＥＣＭＰ（Equal Cost Multi path）を搭載した汎用的な装置（例えば、Ｌ３汎用ルータ）であるが、これに限られず、トラフィック分散専用のハードウェア又はソフトウェアが搭載された専用装置（例えば、ロードバランサ）であってもよい。

【0015】

サーバ２０Ａ～２０Ｄは、端末３０からのパケットの転送先の候補となる複数のサーバである。例えば、サーバ２０Ａ～２０Ｄは、通信制御装置１０とともにデータセンターＤＣ等に配置されるが、配置場所はデータセンターＤＣに限られない。以下、サーバ２０Ａ～２０Ｄを区別しない場合はサーバ２０と総称する。各サーバ２０は、一つ又は複数の装置で構成されてもよい。また、サーバ２０は、通信制御装置１０と直接接続されていてもよいし、不図示の他の装置（例えば、ルータやスイッチ等）やネットワークを介して接続されてもよい。

【0016】

端末３０は、ネットワーク４０を介してサーバ２０との通信を行う端末である。例えば、端末３０は、ＴＣＵ（Telematics Control Unit）、スマートフォン、パソコン、タブレット端末、ＩｏＴ（Internet of Things）デバイス等であってもよい。ネットワーク４０は、有線及び／又は無線のネットワークである。

【0017】

なお、図１では、端末３０からのパケットの分散先として４つのサーバ２０が示されるが、通信制御システム１を構成するサーバ２０の数（以下、「サーバ数」という）Ｎは４に限られず、複数であればよい。また、通信制御システム１に設けられる通信制御装置１０は一つに限られず、同一及び／又は異なるサーバ２０を収容する複数の通信制御装置１０が設けられてもよい。

【0018】

通信制御システム１では、通信制御装置１０は、ネットワーク４０を介して端末３０からのパケットを受信した場合、通信制御装置１０に接続される複数のサーバ２０の中から、当該パケットの転送先のサーバ２０を決定し、決定されたサーバ２０に対して当該パケットを送信する。当該決定されたサーバ２０は、受信したパケットに基づく各種処理（例えば、画像データの解析等）を行う。これにより、通信制御装置１０は、複数のサーバ２０間での負荷分散を実現する。

【0019】

（構成）
図２及び３を参照し、本実施形態に係る通信制御システム１の物理構成及び機能構成を説明する。
＜物理構成＞
図２は、本実施形態に係る通信制御システムの各装置の物理構成の一例を示す図である。通信制御システム１内の各装置（例えば、通信制御装置１０、サーバ２０及び端末３０等）は、プロセッサ１１、記憶装置１２、有線又は無線の通信を行う通信装置１３、各種の入力操作を受け付ける入力装置や各種情報の出力を行う入出力装置１４を含む。プロセッサ１１が記憶装置１２に記憶されたプログラムを実行することにより、各装置の制御部の少なくとも一部の機能を実現する。

【0020】

プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）であり、通信制御システム１内の各装置を制御する。プロセッサ１１は、プログラムを記憶装置１２から読み出して実行することで、本実施形態で説明する各種の処理を実行してもよい。通信制御システム１内の各装置は、１又は複数のプロセッサ１１により構成されていてもよい。また、当該各装置は、コンピュータと呼ばれてもよい。

【0021】

記憶装置１２は、例えば、メモリ、ＨＤＤ（Hard Disk Drive）及び／又はＳＳＤ（Solid State Drive）等のストレージから構成される。記憶装置１２は、プロセッサ１１による処理の実行に必要な各種情報（例えば、プロセッサ１１によって実行されるプログラム等）を記憶してもよい。記憶装置１２は、各装置の記憶部の少なくとも一部の機能を実現する。

【0022】

通信装置１３は、ネットワーク４０を介して通信を行う装置であり、例えば、ネットワークカード、通信モジュール、チップ、アンテナ等を含んでもよい。入出力装置１４は、例えば、キーボード、タッチパネル、マウス及び／又はマイク等の入力装置と、例えば、ディスプレイ及び／又はスピーカ等の出力装置とを含む。通信装置１３は、各装置の送信部、受信部及び制御部の少なくとも一部の機能を実現する。

【0023】

以上説明した物理構成は一例に過ぎない。通信制御システム１内の各装置は、図２に記載したハードウェアの一部が省略されていてもよいし、図２に記載されていないハードウェアを備えていてもよい。また、図２に示すハードウェアが１又は複数のチップにより構成されていてもよい。

【0024】

＜機能構成＞
図３は、本実施形態に係る通信制御システム１の機能構成の一例を示す図である。なお、図３では、例えば、通信制御装置１０及びサーバ２０の機能構成を説明する。

【0025】

≪通信制御装置１０≫
図３に示すように、通信制御装置１０は、記憶部１０１、受信部１０２、制御部１０３及び送信部１０４を備える。

【0026】

記憶部１０１は、通信制御装置１０によって受信されたパケットの転送先の候補（以下、「転送先候補」という）をそれぞれ示す複数の経路情報（例えば、第１の経路情報及び第２の経路情報）を記憶する。具体的には、記憶部１０１は、パケットの転送先候補の各サーバ２０をそれぞれ示す複数の経路情報を記憶してもよい。記憶部１０１は、通信制御装置１０に接続される複数のサーバ２０間での負荷分散のために当該複数の経路情報の各々を記憶してもよい。

【0027】

例えば、当該複数の経路情報は、それぞれ、当該パケットのネクストホップとして、当該転送先候補の各サーバ２０のアドレス（例えば、ＩＰ（Internet Protocol）アドレス又はＭＡＣ（Media Access Control）アドレス）を示してもよい。また、当該複数の経路情報は、それぞれ、当該パケットの宛先として、転送先候補の各サーバ２０に対応付けられた仮想サーバのアドレス（例えば、ＩＰアドレス）を示してもよい。当該仮想サーバは、転送先候補の複数の実サーバ２０に負荷を分散させるために仮想的に設けられるものであり、実体を有しなくともよい。

【0028】

当該複数の経路情報のうちの第１の経路情報は、現在の転送先候補の各サーバ２０を示してもよく、以下、「現在の経路情報」と呼ぶ。一方、当該複数の経路情報のうちの第２の経路情報は、過去の転送先候補の各サーバ２０を示してもよく、以下、「過去の経路情報」と呼ぶ。過去の経路情報は、現在の経路情報より一世代前の経路情報に限られず、現在の経路情報より一世代前又は複数世代前の経路情報を含んでもよい。例えば、複数の経路情報は、ＶＲＦ（Virtual Routing and Forwarding）で構成され、現在の経路情報及び過去の経路情報はそれぞれオリジナル（original）ＶＲＦ及びシャドウ（Shadow）ＶＲＦで構成されてもよい。

【0029】

なお、現在の経路情報は、通信制御装置１０自身で生成されてもよい。又は、現在の経路情報は、通信制御装置１０自身で生成されなくともよく、通信制御装置１０によって他の装置から取得されるものであってもよい。

【0030】

受信部１０２は、パケットを受信するように構成される。具体的には、受信部１０２は、端末３０からのパケットを受信する。また、受信部１０２は、サーバ２０からの再送パケットを受信してもよい。当該再送パケットは、当該サーバ２０に転送されたパケットに対応し、当該パケットがサーバ２０自身の管理するコネクションに属さない場合に当該サーバ２０から送信される。

【0031】

制御部１０３は、転送先候補のサーバ数の変更を検出した場合に、記憶部１０１に記憶されている現在の経路情報を過去の経路情報に置き換え、変更後のパケットの転送先候補を示すように現在の経路情報を更新するように構成される。このように、転送先候補のサーバ数の変更が検出された場合に、現在の経路情報が過去の経路情報に置き換えられ、新たな転送先候補のサーバ数に対応する現在の経路情報が生成又は取得されるので、現在の経路情報が示す転送先候補のサーバ２０の数は、少なくとも、一世代前の経路情報が示す転送先候補のサーバ２０の数とは異なる。

【0032】

なお、制御部１０３は、転送先候補のサーバ数の変更を検出した場合に、変更前の過去の経路情報を、破棄（変更前の現在の経路情報で置き換え）してもよいし、又は、記憶部１０１に保持させてもよい。すなわち、制御部１０３は、過去の経理情報として、変更後の現在の経路情報（例えば、経路情報＃ｋ＋１）の一世代前の経路情報（例えば、経路情報＃ｋ）だけでなく、二世代以上前の経路情報(例えば、経路情報＃ｋ－１、…)を記憶部１０１に保持させてもよい。

【0033】

制御部１０３は、受信部１０２を通じて端末３０からのパケットを受信した場合に、送信部１０４を使用して、第１の経路情報に従い、端末３０からのパケットをサーバ２０（第１のサーバ）に転送する。また、制御部２０２は、当該サーバ２０に当該パケットが自身の管理するコネクションに属するか否かを判定させ、自身の管理するコネクションにパケットが属さない場合に、当該パケットに対応する再送パケットを通信制御装置１０に返信させるように当該パケットを転送する。また、制御部１０３は、受信部１０２を通じてサーバ２０（第１のサーバ）から前記再送パケットを受信した場合に、送信部１０４を使用して、第２の経路情報に従い、再送パケットを他のサーバ２０（第２のサーバ）に転送する。

【0034】

具体的には、制御部１０３は、記憶部１０１に記憶された現在の経路情報に基づいて、受信部１０２によって受信された端末３０からのパケットの転送先のサーバ２０（第１のサーバ）を決定する。例えば、制御部１０３は、現在の経路情報が示す転送先候補のサーバ２０の中から、フロー情報に基づいて、転送先のサーバ２０を決定してもよい。ここで、フロー情報とは、端末３０からのパケットが属するフローに関する情報であり、例えば、フローの識別子であってもよい。

【0035】

また、制御部１０３は、記憶部１０１に記憶された過去の経路情報に基づいて、受信部１０２によって受信されたサーバ２０（第１のサーバ）からの再送パケットの転送先のサーバ２０（第２のサーバ）を決定する。例えば、制御部１０３は、過去の経路情報が示す転送先候補のサーバ２０の中から、フロー情報に基づいて、転送先のサーバ２０を決定してもよい。

【0036】

なお、制御部１０３は、過去の経路情報としてＩ（Ｉ＞１）世代の経路情報が記憶部１０１で保持される場合、転送された再送パケットが通信制御装置１０に返送されなくなるまで、ｉ（０＜ｉ＜Ｉ）世代前の経路情報に基づく再送パケットの転送を繰り返してもよい。例えば、制御部１０３は、一世代前の経路情報に基づいて決定されたサーバ２０に転送された再送パケットが当該サーバ２０自身の管理するコネクションに属さないとして通信制御装置１０に返送された場合、二世代前の経路情報に基づいて決定されるサーバ２０に当該再送パケットを再転送してもよい。

【0037】

送信部１０４は、パケットを送信するように構成される。具体的には、送信部１０４は、制御部１０３によって現在の経路情報に基づいて決定されたサーバ２０に対して、端末３０からのパケットを送信する。また、送信部１０４は、制御部１０３によって過去の経路情報に基づいて決定されたサーバ２０に対して、上記再送パケットを送信する。

【0038】

≪サーバ２０≫
サーバ２０（第１のサーバ）は、受信部２０１、制御部２０２及び送信部２０３を備える。受信部２０１は、通信制御装置１０から転送されたパケットを受信するように構成される。

【0039】

制御部２０２は、受信部２０１を通じて通信制御装置１０から転送されたパケットを受信した場合に、当該受信されたパケットが自身の管理するコネクションに属するか否かを判定する。例えば、制御部２０２は、当該パケットのポート番号及び／又はＩＰアドレスに基づいて当該パケットが自身の管理するコネクションに属するか否かを判定してもよい。

【0040】

なお、制御部２０２は、当該パケットがフローの２番目以降のパケットである場合に当該判定を行ってもよい。一方、制御部２０２は、当該パケットがフローの最初のパケットである場合は当該判定を行わずに自装置内で処理してもよい。制御部２０２は、受信されたパケットがフローの最初のパケットであるか否かを、ＴＣＰ（Transmission Control Protocol）のＳＹＮフラグに基づいて決定してもよい。例えば、制御部２０２は、ＳＹＮフラグが１に設定されたパケットである場合、当該パケットをフローの最初のパケットであると決定し、ＳＹＮフラグが０に設定されたパケットである場合、当該パケットをフローの後続のパケットであると決定してもよい。

【0041】

制御部２０２は、当該受信されたパケットが自身の管理するコネクションに属さないと判定された場合に、当該受信されたパケットに対応する再送パケットを生成する。当該再送パケットは、当該受信されたパケットをカプセル化したパケットであり、当該カプセル化されたパケットの宛先アドレスは、通信制御装置１０に設定されてもよい。また、制御部２０２は、生成された再送パケットが通信制御装置１０で過去の経路情報（例えば、Shadow VRF）を参照するように、当該再送パケット内の所定フィールド（例えば、ＳＲｖ６（Segment Routing over IPv6）のEnd.DT）の値を設定してもよい。制御部２０２は、生成された再送パケットを、送信部２０３を使用して通信制御装置１０に返送する。

【0042】

一方、制御部２０２は、当該受信されたパケットが自身の管理するコネクションに属すると判定された場合、通信制御装置１０から転送されたパケットを自装置で処理する。

【0043】

送信部２０３は、制御部２０２によって生成された再送パケットを通信制御装置１０に送信するように構成される。

【0044】

（動作）
図４～６を参照し、本実施形態に係る通信制御システム１の動作を説明する。

【0045】

＜通信制御システム１の動作＞
図４及び５は、本実施形態に係る通信制御システム１の動作例を示す図である。図４及び５では、例えば、パケット１～３が同一のフローＦに属するものとする。また、図４及び５では、通信制御装置１０は、ＥＣＭＰを用いてサーバ２０Ａ～２０Ｄにパケットを分散させるものとするが、負荷分散アルゴリズムはＥＣＭＰに限られない。

【0046】

例えば、図４に示すように、現在の経路情報である経路情報＃ｋは、宛先アドレスとして仮想サーバのアドレスＳ２０を示し、ネクストホップとして転送先候補のサーバ２０Ａ～２０Ｄのアドレスを示す。なお、図４では、サーバ２０Ａ、２０Ｂ、２０Ｃ及び２０Ｄがそれぞれ０、１、２及び３で識別されるものとする。

【0047】

図４に示すように、ステップＳ１０１において、通信制御装置１０は、フローＦに属する端末３０からのパケット１及び２を受信する。当該パケット１及び２の宛先アドレスには、仮想サーバのアドレスＳ２０が設定されている。

【0048】

ステップＳ１０２において、通信制御装置１０は、ステップＳ１０１で受信されたパケット１及び２が属するフローＦと、経路情報＃ｋが示す転送先候補のサーバ数Ｎと、に基づいて、パケット１及び２の転送先としてサーバ２０Ｄを決定し、決定されたサーバ２０に対してパケット１及び２を送信する。

【0049】

具体的には、通信制御装置１０は、フローＦに関するハッシュ値を、サーバ数Ｎを用いて剰余演算した結果に基づいて、転送先のサーバ２０を決定してもよい。なお、フローＦに関するハッシュ値は、例えば、フローＦの識別子のハッシュ値、パケット１～３の伝送に用いられるコネクションの識別子のハッシュ値等であってもよい。例えば、図４では、パケット１及び２が属するフローＦに関するハッシュ値（Ｈａｓｈ（Ｆ））が３であり、転送先候補のサーバ数Ｎは４であり、ハッシュ値とサーバ数Ｎを用いた剰余演算結果が３となる。このため、通信制御装置１０は、当該剰余演算の結果である３で識別されるサーバ２０Ｄに転送先を決定する。なお、転送先のサーバ２０の決定方法は上記のものに限られず、転送先のサーバ２０は剰余演算以外の方法を用いて決定されてもよいし、ハッシュ値を用いずに決定されてもよい。

【0050】

ステップＳ１０２において通信制御装置１０から送信されたパケット１及び２を受信したサーバ２０Ｄは、当該パケット１及び２が自身の管理するコネクションに属するか否かを判定する。例えば、サーバ２０Ｄは、パケット１及び２のポート番号及び／又はＩＰアドレスに基づいて、当該パケット１及び２が自身の管理するコネクションに属するか否かを判定してもよい。ここでは、パケット１及び２が自身の管理するコネクションに属するので、サーバ２０Ｄは、当該パケット１及び２を自装置内で処理する。なお、パケット１がフローＦの最初のパケット（例えば、ＳＹＮフラグが１であるパケット）である場合、当該パケット１についての上記判定は省略されてもよい。

【0051】

図５に示すように、ステップＳ１０３において、パケット１及び２と同一のフローＦに属するパケット３を通信制御装置１０が受信する前に、サーバ２０Ｂにおいて障害が発生する。これにより、通信制御装置１０は、転送先候補のサーバ数の変更を検出する。

【0052】

ステップＳ１０４において、通信制御装置１０は、転送先候補のサーバ数の変更が検出された場合、現在の経路情報である経路情報＃ｋを過去の経路情報に置き換え、現在の経路情報を変更後の転送先候補を示すように更新する（すなわち、現在の経路情報を変更後の転送先候補であるサーバ２０Ａ、２０Ｂ、２０Ｄを示す経路情報＃ｋ＋１に置き換える）。

【0053】

ステップＳ１０５において、通信制御装置１０は、パケット１及び２と同一のフローＦに属する端末３０からの後続のパケット３を受信する。当該パケット３の宛先アドレスには、仮想サーバのアドレスＳ２０が設定されている。

【0054】

ステップＳ１０６において、通信制御装置１０は、ステップＳ１０５で受信されたパケット３が属するフローＦと、現在の経路情報である経路情報＃ｋ＋１が示す転送先候補のサーバ数Ｎ₁と、に基づいて、パケット３の転送先としてサーバ２０Ａを決定し、決定されたサーバ２０Ａに対してパケット３を送信する。

【0055】

具体的には、通信制御装置１０は、フローＦに関するハッシュ値を、サーバ数Ｎを用いて剰余演算した結果に基づいて、転送先のサーバ２０を決定してもよい。例えば、図５では、パケット３が属するフローＦに関するハッシュ値（Ｈａｓｈ（Ｆ））が３であり、転送先候補のサーバ数Ｎ₁は３であり、ハッシュ値のサーバ数Ｎ₁を用いた剰余演算結果が０となる。このため、通信制御装置１０は、当該剰余演算の結果である０で識別されるサーバ２０Ａに転送先を決定する。なお、転送先のサーバ２０の決定方法は上記のものに限られず、転送先のサーバ２０は剰余演算以外の方法を用いて決定されてもよいし、ハッシュ値を用いずに決定されてもよい。

【0056】

ステップＳ１０６において通信制御装置１０から送信されたパケット３を受信したサーバ２０Ａは、当該パケット３が自身の管理するコネクションに属するか否かを判定する。例えば、サーバ２０Ａは、パケット３のポート番号及び／又はＩＰアドレスに基づいて、当該パケット３が自身の管理するコネクションに属するか否かを判定してもよい。ここでは、パケット３が自身の管理するコネクションに属さないので、サーバ２０Ａは、当該パケット３に対応する再送パケットを生成する。

【0057】

具体的には、サーバ２０Ａは、パケット３をカプセル化して再送パケットを生成し、当該再送パケット内の所定フィールド（例えば、ＳＲｖ６のＥｎｄ．ＤＴ）を過去の経路情報である経路情報＃ｋを参照するように設定してもよい。ステップＳ１０７において、サーバ２０Ａは、生成された再送パケットを通信制御装置１０に送信する。

【0058】

ステップＳ１０８において、通信制御装置１０は、過去の経路情報である経路情報＃ｋに基づいて、サーバ２０Ａから送信された再送パケットの転送先のサーバ２０を決定する。具体的には、通信制御装置１０は、再送パケット内の所定フィールド（例えば、ＳＲｖ６のＥｎｄ．ＤＴ）の値に基づいて、現在の経路情報である経路情報＃ｋ＋１ではなく、過去の経路情報である経路情報＃ｋを参照することを決定する。

【0059】

通信制御装置１０は、再送パケットをデカプセル化したパケット３が属するフローと、過去の経路情報である経路情報＃ｋが示す転送先候補のサーバ数Ｎ₂と、に基づいて、パケット３の転送先としてサーバ２０Ｄを決定する。例えば、図５では、パケット３が属するフローＦに関するハッシュ値（Ｈａｓｈ（Ｆ））が３であり、転送先候補のサーバ数Ｎ₂は４であり、ハッシュ値のサーバ数Ｎ₂を用いた剰余演算結果が３となる。このため、通信制御装置１０は、当該剰余演算の結果である３で識別されるサーバ２０Ｄに転送先を決定し、決定されたサーバ２０Ｄに対してパケット３を送信する。

【0060】

図４及び５に示す動作によると、同一のフローＦに属するパケット１～３が全てサーバ２０Ｄに転送される。このため、ＥＣＭＰを用いて負荷分散を図る場合に、転送先候補のサーバ数に変更があっても、ＰＣＣ（Per-Connection Consistency）を実現できる。

【0061】

＜サーバ２０の動作＞
図６は、本実施形態に係るサーバ２０の動作例を示すフローチャートである。なお、図６は一例にすぎず、不図示のステップが追加されてもよい。

【0062】

図６に示すように、ステップＳ２０１において、サーバ２０は、通信制御装置１０から転送されたパケットを受信する。ステップＳ２０２において、サーバ２０は、当該パケットがフローＦの最初のパケットであるか否かを判定してもよい。例えば、サーバ２０は、当該パケットのＳＹＮフラグに基づいて、当該パケットがフローＦの最初のパケットであるか否かを判定してもよい。

【0063】

ステップＳ２０１で受信されたパケットがフローＦの最初のパケットであると判定された場合（ステップＳ２０２；ＹＥＳ）、本動作は終了し、サーバ２０は、当該パケットを自身で処理する。

【0064】

一方、ステップＳ２０１で受信されたパケットがフローＦの最初のパケットではない（すなわち、後続のパケットである）と判定された場合（ステップＳ２０２；ＮＯ）、ステップＳ２０３において、サーバ２０は、当該パケットが、自身が管理するコネクションに属するか否かを判定する。例えば、サーバ２０は、当該パケットのポート番号及び／又はＩＰアドレスがサーバ２０で保持されるか否かに基づいて、自身が管理するコネクションに属するか否かを判定してもよい。

【0065】

ステップＳ２０１で受信されたパケットがサーバ２０自身の管理するコネクションに属する場合（ステップＳ２０３；ＹＥＳ）、本動作は終了し、サーバ２０は、当該パケットを自身で処理する。一方、当該パケットがサーバ２０自身の管理するコネクションに属しない場合（ステップＳ２０３；ＮＯ）、ステップＳ２０４において、サーバ２０は、当該パケットに対応する再送パケットを生成する。上記の通り、サーバ２０は、当該パケットをカプセル化して通信制御装置１０を宛先とする再送パケットを生成し、当該再送パケットの所定フィールド（例えば、ＳＲｖ６のＥｎｄ．ＤＴ）の値を過去の経路情報である経路情報＃ｋを参照するように設定してもよい。

【0066】

ステップＳ２０５において、サーバ２０は、ステップＳ２０４で生成された再送パケットを通信制御装置１０に対して送信する。

【0067】

以上のように、本実施形態に係る通信制御システム１によれば、通信制御装置１０は、転送先候補のサーバ数の変更が検出された場合、現在の経路情報を過去の経路情報に置き換え、現在の経路情報を変更後の転送先候補を示すように更新するので、転送先候補のサーバ数に変更があっても、ＰＣＣ（Per-Connection Consistency）を実現できる。したがって、専用の装置のみならず、汎用のハードウェアルータを用いた場合でも、デイジーチェイニング方式でコネクションを維持できる。

【0068】

（その他）
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0069】

例えば、上記実施形態では、通信制御装置１０は、ＥＣＭＰを用いて端末３０からのパケットを複数のサーバ２０に分散させる例を説明したが、負荷分散アルゴリズムはＥＣＭＰに限られない。例えば、ラウンドロビン方式等、ＥＣＭＰ以外の方法を用いて端末３０からのパケットについての複数のサーバ２０間での負荷分散が実現されてもよい。

【符号の説明】

【0070】

１ 通信制御システム
１０ 通信制御装置
２０、２０Ａ～２０Ｄ サーバ
３０ 端末
４０ ネットワーク
１１ プロセッサ
１２ 記憶装置
１３ 通信装置
１４ 入出力装置
１０１ 記憶部
１０２ 受信部
１０３ 制御部
１０４ 送信部
２０１ 受信部
２０２ 制御部
２０３ 送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】