特開 2023-72284 データ転送デバイス、データ処理デバイスおよびデータ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023072284

(43)【公開日】2023-05-24

(54)【発明の名称】データ転送デバイス、データ処理デバイスおよびデータ処理方法

(51)【国際特許分類】

   H04L 45/50 20220101AFI20230517BHJP

   H04L 12/40 20060101ALI20230517BHJP

   H04L 45/655 20220101ALI20230517BHJP

【ＦＩ】

H04L45/50

H04L12/40 D

H04L12/40 Z

H04L45/655

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021184727

(22)【出願日】2021-11-12

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】000102739

【氏名又は名称】エヌ・ティ・ティ・アドバンステクノロジ株式会社

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(74)【代理人】

【識別番号】100153006

【弁理士】

【氏名又は名称】小池 勇三

(74)【代理人】

【識別番号】100064621

【弁理士】

【氏名又は名称】山川 政樹

(74)【代理人】

【識別番号】100121669

【弁理士】

【氏名又は名称】本山 泰

(72)【発明者】

【氏名】三浦 直樹

(72)【発明者】

【氏名】坂本 健

(72)【発明者】

【氏名】有川 勇輝

(72)【発明者】

【氏名】伊藤 猛

(72)【発明者】

【氏名】田仲 顕至

(72)【発明者】

【氏名】片山 勝

(72)【発明者】

【氏名】右近 祐太

【テーマコード（参考）】

5K030

5K032

【Ｆターム（参考）】

5K030LB05

5K030LB07

5K032CC05

(57)【要約】

【課題】低遅延なデータ転送を実現する。
【解決手段】データ処理デバイス３－１～３－１３は、ユーザが要求するサービスの実現に必要なサービスチェインを構成する個々のサービス機能の処理を行う。データ転送デバイス２－１～２－９は、ユーザ管理装置１－１～１－３、他のデータ転送デバイスまたは配下のデータ処理デバイスから受信したパケットを転送する。データ転送デバイス２－１～２－９は、受信したパケットの転送先が配下のデータ処理デバイスだった場合に共有バスの状況を確認して、共有バスが利用可能だった場合に、共有バスを介して転送先のデータ処理デバイスにパケットを転送し、配下のデータ処理デバイスからの通信要請に対していずれか１つに共有バスの使用権を与え、使用権を与えたデータ処理デバイスから共有バスを介してパケットを受信する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

ユーザが要求するサービスの実現に必要なサービスチェインを構成する個々のサービス機能の処理を行うデータ処理デバイスを配下に有するデータ転送デバイスにおいて、
前記サービスチェインの始点となるユーザ管理装置または他のデータ転送デバイスからパケットを受信するように構成された複数のパケット受信部と、
前記ユーザ管理装置、他のデータ転送デバイスまたは配下の前記データ処理デバイスから受信したパケットからタグを取得するように構成されたパケット解析部と、
前記複数のパケット受信部のうちいずれか１つのパケット受信部からのパケットを前記パケット解析部に選択的に入力するように構成された入力調停部と、
前記タグに記載された前記サービスチェインのルート情報に基づいて、前記ユーザ管理装置、他のデータ転送デバイスまたは配下の前記データ処理デバイスから受信したパケットの転送先を決定するように構成された第１の転送制御部と、
パケットの転送先が他のデータ転送デバイスの場合に転送先のデータ転送デバイスにパケットを転送するように構成されたパケット送信部と、
パケットの転送先が配下の前記データ処理デバイスの場合に共有バスの状況を確認して、前記共有バスが利用可能だった場合に、前記共有バスを介して転送先の前記データ処理デバイスにパケットを転送し、前記タグに記載された前記ルート情報に基づいて、配下の前記データ処理デバイスから受信したパケットの転送先を決定するように構成されたデバイス間通信制御部とを備え、
前記デバイス間通信制御部は、配下の前記データ処理デバイスが複数の場合に、これらデータ処理デバイスからの通信要請に対していずれか１つに前記共有バスの使用権を与え、使用権を与えたデータ処理デバイスから前記共有バスを介してパケットを受信するように前記データ処理デバイス間を調停することを特徴とするデータ転送デバイス。

【請求項2】

請求項１記載のデータ転送デバイスにおいて、
前記デバイス間通信制御部は、
配下の前記データ処理デバイスごとに割り当てられた記憶部を有する送信バッファと、
配下の前記データ処理デバイスから受信したパケットの転送先が配下の別のデータ処理デバイスの場合に、前記タグに記載された前記ルート情報に基づいてパケットの転送先を決定するように構成された第２の転送制御部と、
前記第１の転送制御部または前記第２の転送制御部によって決定されたパケットの転送先が配下の前記データ処理デバイスの場合に、転送先の前記データ処理デバイスに対応する前記送信バッファの記憶部にパケットを格納するように構成されたバッファ入力部と、
前記送信バッファに格納されたパケットを前記共有バスを介して転送先の前記データ処理デバイスに転送し、前記データ処理デバイスからパケットを受信するように構成された通信管理部とを備え、
前記通信管理部は、配下の前記データ処理デバイスが複数の場合に、これらデータ処理デバイスからの通信要請に対していずれか１つに前記共有バスの使用権を与え、使用権を与えたデータ処理デバイスから前記共有バスを介してパケットを受信するように前記データ処理デバイス間を調停することを特徴とするデータ転送デバイス。

【請求項3】

請求項１または２記載のデータ転送デバイスにおいて、
前記サービスチェインのルートを計算する通信管理装置からの情報に基づいて、前記第１の転送制御部と前記デバイス間通信制御部のそれぞれに登録されたルーティングテーブルを更新するように構成されたルート情報登録部をさらに備え、
前記第１の転送制御部と前記デバイス間通信制御部のそれぞれは、前記サービスチェインのルート情報と自身に登録されたルーティングテーブルとに基づいてパケットの転送先を決定することを特徴とするデータ転送デバイス。

【請求項4】

請求項１乃至３のいずれか１項に記載のデータ転送デバイスにおいて、
前記第１の転送制御部または前記デバイス間通信制御部によって決定されたパケットの転送先が配下の前記データ処理デバイスの場合に、パケットを転送先の前記データ処理デバイスに転送する代わりに、パケットのペイロードからパケット化される前の元のデータを再構築して、再構築したデータを前記共有バスを介して転送先の前記データ処理デバイスに転送するように構成されたデータ取得部と、
配下の前記データ処理デバイスから受信した、サービス機能のデータ処理が完了したデータをパケット化して、生成したパケットを前記デバイス間通信制御部に送信するように構成されたパケット作成部とをさらに備え、
前記データ取得部は、複数のパケットのペイロードからデータを取り出して元のデータを再構築する際に、データを正しい順序で並べる順序制御を行うことを特徴とするデータ転送デバイス。

【請求項5】

ユーザが要求するサービスの実現に必要なサービスチェインを構成する個々のサービス機能の処理を行うデータ処理デバイスにおいて、
サービス機能の処理を行うように構成された複数のサービス機能部と、
共有バスで接続された上位のデータ転送デバイスからパケットを受信したときに、パケットのタグに記載された前記サービスチェインのルート情報に基づいて、複数の前記サービス機能部のうち転送先のサービス機能部にパケットを転送するように構成されたパケット振り分け部と、
前記サービス機能部によるデータ処理が完了したパケットを受信したときに、前記データ転送デバイスに対して前記共有バスの使用を要請し、前記共有バスの使用権が与えられたときに、前記データ処理が完了したパケットを前記データ転送デバイスに転送するように構成された通信要請部とを備え、
各サービス機能部は、
前記データ転送デバイスから受信したパケットを正しい順序で並べる順序制御を行うように構成されたパケット順序制御部と、
前記パケット順序制御部から出力されたパケットからペイロードを取り出すように構成されたデータ取得部と、
前記データ取得部から出力された１乃至複数のペイロードから、パケット化される前の元のデータを再構築するように構成されたデータ構築部と、
前記データ構築部から出力されたデータに対してサービス機能のデータ処理を行うように構成されたデータ処理部と、
前記データ処理部によるデータ処理が完了したデータをパケット化して前記通信要請部に出力するように構成されたパケット作成部とを備えることを特徴とするデータ処理デバイス。

【請求項6】

請求項５記載のデータ処理デバイスにおいて、
各サービス機能部は、
受信したパケットがパラメータ登録要求のパケットである場合に、前記データ取得部によってパケットから取り出されたペイロードに含まれるパラメータを前記データ処理部に登録し、受信したパケットがパラメータ回収要求のパケットである場合に、前記パラメータを前記データ処理部から削除するように構成されたレジスタ管理部をさらに備え、
前記パケット作成部は、前記データ処理部から削除されたパラメータを、パラメータ回収要求元に返送されるようにパケット化して、前記通信要請部に出力することを特徴とするデータ処理デバイス。

【請求項7】

ユーザが要求するサービスの実現に必要なサービスチェインを構成する個々のサービス機能の処理を行うデータ処理デバイスを配下に有するデータ転送デバイスにおけるデータ処理方法において、
前記サービスチェインの始点となるユーザ管理装置または他のデータ転送デバイスからパケットを受信する第１のステップと、
前記ユーザ管理装置または他のデータ転送デバイスから受信したパケットを解析してタグを取得する第２のステップと、
前記第２のステップで取得したタグに記載された前記サービスチェインのルート情報に基づいて、前記ユーザ管理装置または他のデータ転送デバイスから受信したパケットの転送先を決定する第３のステップと、
前記第３のステップで決定したパケットの転送先が他のデータ転送デバイスの場合に転送先のデータ転送デバイスにパケットを転送する第４のステップと、
前記第３のステップで決定したパケットの転送先が配下の前記データ処理デバイスの場合に前記データ処理デバイスとの間の共有バスの状況を確認する第５のステップと、
前記確認の結果、前記共有バスが利用可能だった場合に、前記共有バスを介して転送先のデータ処理デバイスにパケットを転送する第６のステップと、
配下の前記データ処理デバイスからパケットを受信する第７のステップと、
配下の前記データ処理デバイスから受信したパケットを解析してタグを取得する第８のステップと、
前記第８のステップで取得したタグに記載された前記ルート情報に基づいて、配下の前記データ処理デバイスから受信したパケットの転送先を決定する第９のステップとを含み、
前記第５のステップは、前記第９のステップで決定したパケットの転送先が配下の前記データ処理デバイスの場合に前記データ処理デバイスとの間の共有バスの状況を確認するステップを含み、
前記第７のステップは、配下の前記データ処理デバイスが複数の場合に、これらデータ処理デバイスからの通信要請に対していずれか１つに前記共有バスの使用権を与え、使用権を与えたデータ処理デバイスから前記共有バスを介してパケットを受信するステップを含むことを特徴とするデータ処理方法。

【請求項8】

ユーザが要求するサービスの実現に必要なサービスチェインを構成する個々のサービス機能の処理を行うデータ処理デバイスにおけるデータ処理方法において、
共有バスで接続された上位のデータ転送デバイスからパケットを受信する第１のステップと、
前記データ転送デバイスから受信したパケットのタグに記載された前記サービスチェインのルート情報に基づいて、サービス機能の処理を行う複数のサービス機能部のうち転送先のサービス機能部にパケットを転送する第２のステップと、
転送先の前記サービス機能部において受信したパケットを正しい順序で並べる順序制御を行う第３のステップと、
転送先の前記サービス機能部において前記第３のステップによって正しい順序で並べられたパケットからペイロードを取り出す第４のステップと、
転送先の前記サービス機能部において１乃至複数の前記ペイロードから、パケット化される前の元のデータを再構築する第５のステップと、
転送先の前記サービス機能部において前記再構築されたデータに対してサービス機能のデータ処理を行う第６のステップと、
転送先の前記サービス機能部において前記第６のステップによるデータ処理が完了したデータをパケット化する第７のステップと、
転送先の前記サービス機能部によるデータ処理が完了したパケットを受信したときに、前記データ転送デバイスに対して前記共有バスの使用を要請する第８のステップと、
前記要請に対して前記共有バスの使用権が与えられたときに、前記データ処理が完了したパケットを前記データ転送デバイスに転送する第９のステップとを含むことを特徴とするデータ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、サービスファンクションチェイニングの技術によってユーザにサービスを提供するデータ処理システムにおけるデータ転送デバイス、データ処理デバイスおよびデータ処理方法に関するものである。

【背景技術】

【0002】

エンドツーエンドのサービスを柔軟に提供するため、サービスファンクションチェイニング（ＳＦＣ）が検討されている（非特許文献１）。ＳＦＣは、ネットワーク上に点在するサービス機能（Service Function：ＳＦ）を自由に組み合わせる技術であり、ＳＦＣを用いることでユーザごとに最適なサービスを提供することができる。

【0003】

ＳＦＣは主に柔軟なネットワークサービスを実現するために検討されているが、クラウドサービスに対しても有用な技術である。例えば非特許文献２には、ＳＦＣを用いた画像処理サービスとして、２種類の画像処理機能を組み合わせた映像監視サービスが開示されている。

【0004】

ＳＦＣを用いたネットワークでは、図１５に示すように入り口の分類器（Classifier）１０がユーザごとにパケットにタグを付加し、サービス機能転送装置（Service Function Forwarder：ＳＦＦ）１１がタグに基づいて適切なＳＦにパケットを転送する。図１５の１２はＳＦを実現するサーバ、１３Ａ，１３Ｂはユーザごとに提供されるＳＦを数珠つなぎにしたサービスチェインを表している。ＳＦＣにより、ユーザは自身の目的に応じたＳＦを組み合わせて独自のサービスを構築することができる。

【0005】

低遅延な処理が求められるクラウドサービスでは、サーバ１２の処理性能が問題になることがある。サーバ１２の処理性能を向上するため、図１５に示すようにＦＰＧＡ（Field-Programmable Gate Array）やＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアアクセラレータ（ＨＷＡ）１２０が用いられる。ＨＷＡ１２０を用いるシステムは、多くの場合ＣＰＵ（Central Processing Unit）１２１を用いてＨＷＡ１２０を制御する。すなわち、ＣＰＵ１２１が主となってＨＷＡ１２０にデータを転送し、データ処理が完了するとその結果を回収する。

【0006】

しかし、ＣＰＵ１２１による処理を必要としないアプリケーションもある。例えば、画像のエンコードやデコード、サイズ変更などの画像処理アプリケーションは、ＨＷＡ１２０のみで処理可能である。このようなアプリケーションでは、ＣＰＵ１２１は、ＨＷＡ１２０を制御するだけであり、システム内の処理遅延を増大させる要因となる。

【0007】

クラウドサービスを提供するシステムは、外部からデータパケットを受信し、パケットから元のデータを再構築してからデータ処理を行わなければならない。このとき、ＨＷＡ１２０を用いるシステムは、ＣＰＵ１２１を用いてアプリケーションレベルでデータの再構築と、ＣＰＵ１２１とＨＷＡ１２０間のデータ転送制御を行うことになる。

【0008】

例えば図１６に示すシステムの場合、ホスト１２ａのＮＩＣ（Network Interface Card）１２２においてパケット処理を行い、ホストアプリケーション１２３においてデータの再構築と、ＣＰＵ１２１とＨＷＡ１２０（図１６の例ではＦＰＧＡボード）間のデータ転送制御を行う。そして、ホストアプリケーション１２３は、ドライバ１２４を介してＨＷＡ１２０上のカーネル１２５にデータを転送する（非特許文献３参照）。図１６の１２６はメモリ、１２７はメモリコントローラ、１２８はＣＰＵ１２１とＨＷＡ１２０との接続のためのＰＣＩｅ（PCI Express）コントローラ、１２９はメモリコントローラ１２７およびＰＣＩｅコントローラ１２８とカーネル１２５とを接続するインターコネクトである。

【0009】

図１６のようなシステムでは、ＨＷＡ１２０にアクセスするのに本来必要でないＮＩＣ１２２とホストアプリケーション１２３間およびホストアプリケーション１２３とドライバ１２４間の通信が発生する。また、ＣＰＵ１２１が実行するホストアプリケーション１２３で低速なソフトウェア処理が行われる。よって、これらの遅延によりシステム内の処理遅延が増大する。

【0010】

ＳＦＣを利用するクラウドサービスでは、複数のサーバノードに実装されたＳＦを組み合わせることで各サーバノードで発生する処理遅延がサービス遅延として累積する。このため、図１６のような構成のサーバノードは低遅延が要求されるサービスに適していないという課題があった。

【先行技術文献】

【非特許文献】

【0011】

【非特許文献1】RFC 7665 - Service Function Chaining (SFC) Architecture，Internet Engineering Task Force (IETF），October 2015，＜https://datatracker.ietf.org/doc/html/rfc7665＞

【非特許文献2】Yuta UKON，Koji YAMAZAKI，Koyo NITTA，“Real-Time Image Processing Based on Service Function Chaining Using CPU-FPGA Architecture”，IEICE Transactions on Communications，Vol.E103-B，No.1，pp.11-19，2020，＜https://search.ieice.org/bin/summary.php?id=e103-b_1_11＞

【非特許文献3】“Intel FPGA SDK for OpenCL Pro Edition best Practices Guide”，Intel Corporation，2021，＜https://www.intel.com/content/dam/www/programmable/us/en/pdfs/literature/hb/opencl-sdk/aocl-best-practices-guide.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明は、上記課題を解決するためになされたもので、サービスファンクションチェイニングの技術によってユーザにサービスを提供するデータ処理システムにおいて、低遅延なデータ転送を実現することができるデータ転送デバイス、データ処理デバイスおよびデータ処理方法を提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明は、ユーザが要求するサービスの実現に必要なサービスチェインを構成する個々のサービス機能の処理を行うデータ処理デバイスを配下に有するデータ転送デバイスにおいて、前記サービスチェインの始点となるユーザ管理装置または他のデータ転送デバイスからパケットを受信するように構成された複数のパケット受信部と、前記ユーザ管理装置、他のデータ転送デバイスまたは配下の前記データ処理デバイスから受信したパケットからタグを取得するように構成されたパケット解析部と、前記複数のパケット受信部のうちいずれか１つのパケット受信部からのパケットを前記パケット解析部に選択的に入力するように構成された入力調停部と、前記タグに記載された前記サービスチェインのルート情報に基づいて、前記ユーザ管理装置、他のデータ転送デバイスまたは配下の前記データ処理デバイスから受信したパケットの転送先を決定するように構成された第１の転送制御部と、パケットの転送先が他のデータ転送デバイスの場合に転送先のデータ転送デバイスにパケットを転送するように構成されたパケット送信部と、パケットの転送先が配下の前記データ処理デバイスの場合に共有バスの状況を確認して、前記共有バスが利用可能だった場合に、前記共有バスを介して転送先の前記データ処理デバイスにパケットを転送し、前記タグに記載された前記ルート情報に基づいて、配下の前記データ処理デバイスから受信したパケットの転送先を決定するように構成されたデバイス間通信制御部とを備え、前記デバイス間通信制御部は、配下の前記データ処理デバイスが複数の場合に、これらデータ処理デバイスからの通信要請に対していずれか１つに前記共有バスの使用権を与え、使用権を与えたデータ処理デバイスから前記共有バスを介してパケットを受信するように前記データ処理デバイス間を調停することを特徴とするものである。

【0014】

また、本発明のデータ転送デバイスの１構成例において、前記デバイス間通信制御部は、配下の前記データ処理デバイスごとに割り当てられた記憶部を有する送信バッファと、配下の前記データ処理デバイスから受信したパケットの転送先が配下の別のデータ処理デバイスの場合に、前記タグに記載された前記ルート情報に基づいてパケットの転送先を決定するように構成された第２の転送制御部と、前記第１の転送制御部または前記第２の転送制御部によって決定されたパケットの転送先が配下の前記データ処理デバイスの場合に、転送先の前記データ処理デバイスに対応する前記送信バッファの記憶部にパケットを格納するように構成されたバッファ入力部と、前記送信バッファに格納されたパケットを前記共有バスを介して転送先の前記データ処理デバイスに転送し、前記データ処理デバイスからパケットを受信するように構成された通信管理部とを備え、前記通信管理部は、配下の前記データ処理デバイスが複数の場合に、これらデータ処理デバイスからの通信要請に対していずれか１つに前記共有バスの使用権を与え、使用権を与えたデータ処理デバイスから前記共有バスを介してパケットを受信するように前記データ処理デバイス間を調停することを特徴とするものである。

【0015】

また、本発明のデータ転送デバイスの１構成例は、前記サービスチェインのルートを計算する通信管理装置からの情報に基づいて、前記第１の転送制御部と前記デバイス間通信制御部のそれぞれに登録されたルーティングテーブルを更新するように構成されたルート情報登録部をさらに備え、前記第１の転送制御部と前記デバイス間通信制御部のそれぞれは、前記サービスチェインのルート情報と自身に登録されたルーティングテーブルとに基づいてパケットの転送先を決定することを特徴とするものである。
また、本発明のデータ転送デバイスの１構成例は、前記第１の転送制御部または前記デバイス間通信制御部によって決定されたパケットの転送先が配下の前記データ処理デバイスの場合に、パケットを転送先の前記データ処理デバイスに転送する代わりに、パケットのペイロードからパケット化される前の元のデータを再構築して、再構築したデータを前記共有バスを介して転送先の前記データ処理デバイスに転送するように構成されたデータ取得部と、配下の前記データ処理デバイスから受信した、サービス機能のデータ処理が完了したデータをパケット化して、生成したパケットを前記デバイス間通信制御部に送信するように構成されたパケット作成部とをさらに備え、前記データ取得部は、複数のパケットのペイロードからデータを取り出して元のデータを再構築する際に、データを正しい順序で並べる順序制御を行うことを特徴とするものである。

【0016】

また、本発明は、ユーザが要求するサービスの実現に必要なサービスチェインを構成する個々のサービス機能の処理を行うデータ処理デバイスにおいて、サービス機能の処理を行うように構成された複数のサービス機能部と、共有バスで接続された上位のデータ転送デバイスからパケットを受信したときに、パケットのタグに記載された前記サービスチェインのルート情報に基づいて、複数の前記サービス機能部のうち転送先のサービス機能部にパケットを転送するように構成されたパケット振り分け部と、前記サービス機能部によるデータ処理が完了したパケットを受信したときに、前記データ転送デバイスに対して前記共有バスの使用を要請し、前記共有バスの使用権が与えられたときに、前記データ処理が完了したパケットを前記データ転送デバイスに転送するように構成された通信要請部とを備え、各サービス機能部は、前記データ転送デバイスから受信したパケットを正しい順序で並べる順序制御を行うように構成されたパケット順序制御部と、前記パケット順序制御部から出力されたパケットからペイロードを取り出すように構成されたデータ取得部と、前記データ取得部から出力された１乃至複数のペイロードから、パケット化される前の元のデータを再構築するように構成されたデータ構築部と、前記データ構築部から出力されたデータに対してサービス機能のデータ処理を行うように構成されたデータ処理部と、前記データ処理部によるデータ処理が完了したデータをパケット化して前記通信要請部に出力するように構成されたパケット作成部とを備えることを特徴とするものである。

【0017】

また、本発明のデータ処理デバイスの１構成例において、各サービス機能部は、受信したパケットがパラメータ登録要求のパケットである場合に、前記データ取得部によってパケットから取り出されたペイロードに含まれるパラメータを前記データ処理部に登録し、受信したパケットがパラメータ回収要求のパケットである場合に、前記パラメータを前記データ処理部から削除するように構成されたレジスタ管理部をさらに備え、前記パケット作成部は、前記データ処理部から削除されたパラメータを、パラメータ回収要求元に返送されるようにパケット化して、前記通信要請部に出力することを特徴とするものである。

【0018】

また、本発明は、ユーザが要求するサービスの実現に必要なサービスチェインを構成する個々のサービス機能の処理を行うデータ処理デバイスを配下に有するデータ転送デバイスにおけるデータ処理方法において、前記サービスチェインの始点となるユーザ管理装置または他のデータ転送デバイスからパケットを受信する第１のステップと、前記ユーザ管理装置または他のデータ転送デバイスから受信したパケットを解析してタグを取得する第２のステップと、前記第２のステップで取得したタグに記載された前記サービスチェインのルート情報に基づいて、前記ユーザ管理装置または他のデータ転送デバイスから受信したパケットの転送先を決定する第３のステップと、前記第３のステップで決定したパケットの転送先が他のデータ転送デバイスの場合に転送先のデータ転送デバイスにパケットを転送する第４のステップと、前記第３のステップで決定したパケットの転送先が配下の前記データ処理デバイスの場合に前記データ処理デバイスとの間の共有バスの状況を確認する第５のステップと、前記確認の結果、前記共有バスが利用可能だった場合に、前記共有バスを介して転送先のデータ処理デバイスにパケットを転送する第６のステップと、配下の前記データ処理デバイスからパケットを受信する第７のステップと、配下の前記データ処理デバイスから受信したパケットを解析してタグを取得する第８のステップと、前記第８のステップで取得したタグに記載された前記ルート情報に基づいて、配下の前記データ処理デバイスから受信したパケットの転送先を決定する第９のステップとを含み、前記第５のステップは、前記第９のステップで決定したパケットの転送先が配下の前記データ処理デバイスの場合に前記データ処理デバイスとの間の共有バスの状況を確認するステップを含み、前記第７のステップは、配下の前記データ処理デバイスが複数の場合に、これらデータ処理デバイスからの通信要請に対していずれか１つに前記共有バスの使用権を与え、使用権を与えたデータ処理デバイスから前記共有バスを介してパケットを受信するステップを含むことを特徴とするものである。

【0019】

また、本発明は、ユーザが要求するサービスの実現に必要なサービスチェインを構成する個々のサービス機能の処理を行うデータ処理デバイスにおけるデータ処理方法において、共有バスで接続された上位のデータ転送デバイスからパケットを受信する第１のステップと、前記データ転送デバイスから受信したパケットのタグに記載された前記サービスチェインのルート情報に基づいて、サービス機能の処理を行う複数のサービス機能部のうち転送先のサービス機能部にパケットを転送する第２のステップと、転送先の前記サービス機能部において受信したパケットを正しい順序で並べる順序制御を行う第３のステップと、転送先の前記サービス機能部において前記第３のステップによって正しい順序で並べられたパケットからペイロードを取り出す第４のステップと、転送先の前記サービス機能部において１乃至複数の前記ペイロードから、パケット化される前の元のデータを再構築する第５のステップと、転送先の前記サービス機能部において前記再構築されたデータに対してサービス機能のデータ処理を行う第６のステップと、転送先の前記サービス機能部において前記第６のステップによるデータ処理が完了したデータをパケット化する第７のステップと、転送先の前記サービス機能部によるデータ処理が完了したパケットを受信したときに、前記データ転送デバイスに対して前記共有バスの使用を要請する第８のステップと、前記要請に対して前記共有バスの使用権が与えられたときに、前記データ処理が完了したパケットを前記データ転送デバイスに転送する第９のステップとを含むことを特徴とするものである。

【発明の効果】

【0020】

本発明によれば、データ転送デバイスがマスタとなってパケットルーティングと配下のデータ処理デバイス間の調停とを行うことにより、配下のいずれのデータ処理デバイスとも同じ処理量の通信を行うことができる。本発明では、データ転送デバイスがネットワークレベルで通信制御を行うことで、低遅延でデータ処理デバイスにパケットを転送することができる。

【図面の簡単な説明】

【0021】

【図1】図１は、本発明の実施例に係るデータ処理システムの構成を示すブロック図である。

【図2】図２は、本発明の実施例に係るユーザ管理装置の構成を示すブロック図である。

【図3】図３は、本発明の実施例に係るユーザ管理装置の動作を説明するフローチャートである。

【図4】図４は、本発明の実施例に係るユーザ管理装置のデータ管理部の構成を示すブロック図である。

【図5】図５は、本発明の実施例に係るデータ転送デバイスの構成を示すブロック図である。

【図6】図６は、本発明の実施例に係るデータ転送デバイスのデバイス間通信制御部の構成を示すブロック図である。

【図7】図７は、本発明の実施例に係るデータ処理デバイスの構成を示すブロック図である。

【図8】図８は、本発明の実施例に係るデータ転送デバイスの動作を説明するフローチャートである。

【図9】図９は、本発明の実施例に係るデータ処理デバイスの動作を説明するフローチャートである。

【図10】図１０は、本発明の実施例に係る通信管理装置の動作を説明するフローチャートである。

【図11】図１１は、本発明の実施例に係るデータ処理システムの動作を説明するシーケンス図である。

【図12】図１２は、本発明の実施例に係るデータ処理システムの別の動作を説明するシーケンス図である。

【図13】図１３は、本発明の実施例に係るユーザ端末とデータ処理システム間、およびデータ処理システム内で送受信されるパケットのフォーマットを示す図である。

【図14】図１４は、本発明の実施例に係るデータ処理システムを実現するコンピュータの構成例を示すブロック図である。

【図15】図１５は、従来のサービスファンクションチェイニング技術を説明する図である。

【図16】図１６は、従来のサービスファンクションチェイニング技術の課題を説明する図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施例について図面を参照して説明する。図１は本発明の実施例に係るデータ処理システムの構成を示すブロック図である。データ処理システムは、サービスの利用を申請したユーザの情報の管理とユーザから受信したパケットの転送制御とを行うユーザ管理装置１－１～１－３と、パケットの転送を行う１乃至複数のデータ転送デバイス２－１～２－９と、受信したパケットに含まれるデータに対してＳＦのデータ処理を行うデータ処理デバイス３－１～３－１３と、サービスチェインの全てのデータ処理が完了したパケットをユーザ宛に返送する外部送信装置４－１～４－３とを備えている。さらに、データ処理システムは、ユーザが要求するサービスの実現に必要なサービスチェインのルートを計算し、ルート情報をユーザ管理装置１－１～１－３に送信すると共に、計算したルート上のデータ転送デバイス２－１～２－９に登録されているルーティングテーブルを、ルート計算の結果に基づいて更新する通信管理装置５を備えている。データ処理デバイス３－１～３－１３としては、ＣＰＵ、ＦＰＧＡ、ＧＰＵ、ＡＳＩＣなどがある。

【0023】

本実施例では、データ処理デバイス３－１～３－１３によって実現されるＳＦを組み合わせてユーザごとにカスタマイズしたサービスを提供する。具体的にはデータ転送デバイス２－１～２－９間で通信し、ユーザから送られてきたデータパケットを適切なＳＦに転送する。ＳＦにおけるデータ処理が完了すると、さらに別のＳＦにデータパケットを転送してデータ処理を行う。これにより、本実施例では、ユーザごとに処理内容を変えてユーザの目的に応じたサービスを提供する。

【0024】

データパケットが辿る通信経路をサービスチェインと呼ぶ。図１５と同様に、図１の１３はサービスチェインを表す。サービスチェインを複数のユーザが同時に利用すると、ＳＦでデータが衝突し、適切な結果を保証できない。そこで、本実施例では、データ処理システムの入り口のユーザ管理装置１－１～１－３でデータパケットを管理し、サービスチェインを１ユーザしか利用しないように制御する。

【0025】

また、ユーザ管理装置１－１～１－３は、データパケットへのタグ付加も行う。タグには、サービスチェインのルート情報が記載されている。データ転送デバイス２－１～２－９は、タグに基づくデータパケットのルーティングを行う。タグの具体例としては、ＮＳＨ（Network Service Header）やＭＰＬＳ（Multi-Protocol Label Switching）ヘッダ、ＳＲｖ６（Segment Routing over IPv6）などが考えられる。また、独自ヘッダを定義してもよい。

【0026】

ＭＡＣ（Media Access Control）アドレスやＩＰ（Internet Protocol）アドレスを用いるルーティングでは、データ転送デバイス２－１～２－９に大きなルーティングテーブルを持たせなければならない。一方、本実施例のようなタグを用いたルーティングでは、データパケットにルート情報を持たせることでルーティングテーブルの規模を小さくし、ルーティングに必要な計算リソースやメモリリソースを減らすことができる。

【0027】

外部送信装置４－１～４－３は、全てのデータ処理が完了したデータパケットに対して宛先情報を付加してユーザに送り返す。外部送信装置４－１～４－３が必要な理由は、データ処理システム内外で使われるプロトコルが異なるためである。データ処理システム外における通信は、ＴＣＰ／ＩＰが世界標準的に利用されている。一方、データ処理システム内では、前述の理由によりタグを用いたパケット通信を行う。そこで、データ処理システム内外のプロトコルの違いを吸収するため、外部送信装置４－１～４－３を用いる。

【0028】

図２はユーザ管理装置１－１の構成を示すブロック図である。ユーザ管理装置１－１は、パケット受信部１００と、パケット送信部１０１と、受信したパケットを解析するパケット解析部１０２と、受信したパケットの種別を判定するパケット種別判定部１０３と、パケットからユーザ情報を抽出するユーザ情報抽出部１０４と、ユーザから受信したパケットを優先度に応じたタイミングでタグ付加部１０７に転送するデータ管理部１０５と、ユーザから受信したパケットを一時的に格納するための記憶部１０６と、ユーザから受信したパケットにタグを付加するタグ付加部１０７と、データ通信制御部１０８と、サービスの利用を申請したユーザの情報を管理し、ユーザＩＤを発行し、発行したユーザＩＤをユーザに通知するユーザ管理部１０９と、ユーザ管理部１０９が管理するユーザの情報に基づいて、ユーザごとのパケットの転送の優先度を決定するＱｏＳ（Quality of Service）制御部１１０と、通信管理装置５から受信したルート情報を記載したタグを生成するタグ生成部１１１とを備えている。

【0029】

図３はユーザ管理装置１－１の動作を説明するフローチャートである。ユーザ管理装置１－１のパケット受信部１００がパケットを受信すると（図３ステップＳ１）、始めにパケット解析部１０２はパケットを解析する（図３ステップＳ２）。
パケット種別判定部１０３は、パケット解析部１０２による解析結果に基づいてパケット種別を判定する（図３ステップＳ３）。パケット種別としては、「サービス利用申請」と「サービス利用」とがある。

【0030】

パケット種別判定部１０３は、パケット種別が「サービス利用申請」のパケットをユーザ情報抽出部１０４に送り、パケット種別が「サービス利用」のパケットをデータ管理部１０５に送る。

【0031】

ユーザ情報抽出部１０４は、パケット種別判定部１０３から受け取ったパケットに記載されたユーザ情報（ＩＰアドレス、ポート番号、契約番号、サービス情報、優先度など）を取得する（図３ステップＳ４）。ユーザ情報抽出部１０４は、取得したユーザ情報をユーザ管理部１０９に送る。

【0032】

ユーザ管理部１０９は、ユーザ情報抽出部１０４から受け取ったユーザ情報を管理する。ユーザ管理部１０９は、ユーザに対してサービスを利用するためのユーザＩＤを発行し（図３ステップＳ５）、ユーザ情報をユーザＩＤと共に通信管理装置５に転送する（図３ステップＳ６）。

【0033】

ＱｏＳ制御部１１０は、ユーザが要求する優先度やサービスの情報に基づいてユーザごとのパケットの転送の優先度を決定し、優先度の情報（ＱｏＳ情報）をデータ管理部１０５に登録する（図３ステップＳ７）。

【0034】

タグ生成部１１１は、通信管理装置５からルート情報を受け取り、ルート情報を記載したタグを生成する。そして、タグ生成部１１１は、生成したタグとユーザ管理部１０９によって発行されたユーザＩＤとを対応付けてタグ付加部１０７に登録する（図３ステップＳ８）。

【0035】

データ管理部１０５は、パケット種別判定部１０３で「サービス利用」と判定されたパケットを受信し、受信したパケットをユーザごとに仕分けて記憶部１０６に一時格納する。そして、データ管理部１０５は、ＱｏＳ制御部１１０によって登録された優先度の情報を基にサービスチェインごとに特定ユーザのパケットを記憶部１０６から取り出してタグ付加部１０７に転送する（図３ステップＳ９）。

【0036】

ユーザに対してユーザＩＤが発行されると、パケット種別が「サービス利用」のパケットには、後述のようにユーザによってユーザＩＤが付加される。
タグ付加部１０７は、タグ生成部１１１によって登録されたタグのうち、データ管理部１０５から受信したパケットに付加されているユーザＩＤに対応するタグを、受信したパケットに付加して、タグ付きのパケットをパケット送信部１０１に出力する（図３ステップＳ１０）。

【0037】

パケット送信部１０１は、タグ付加部１０７から出力されたパケットを最寄りのデータ転送デバイス２－１～２－９に送信する（図３ステップＳ１１）。
上記のようにタグの具体例としては、ＮＳＨやＭＰＬＳヘッダなどが考えられる。また、独自ヘッダを定義してもよい。タグの代わりにＭＡＣアドレスやＩＰアドレスを用いることも可能である。しかし、ＭＡＣアドレスやＩＰアドレスを用いる方法では、データ転送デバイス２－１～２－９が大規模なルーティングテーブルを持つ必要があり、タグを用いる方法と比べて計算リソースやメモリリソースをより多く消費する。

【0038】

なお、図２、図３の例では、ユーザ管理装置１－１を例に挙げて説明しているが、ユーザ管理装置１－２，１－３の構成と動作もユーザ管理装置１－１と同様である。

【0039】

図４はユーザ管理装置１－１～１－３のデータ管理部１０５の構成を示すブロック図である。データ管理部１０５は、パケット振り分け部１０５０と、１乃至複数のユーザ判定部１０５１－１～１０５１－Ｎ（Ｎは１以上の整数）と、１乃至複数のユーザ選択部１０５２－１～１０５２－Ｎと、１乃至複数の出力選択部１０５３－１～１０５３－Ｎと、出力制御部１０５４とから構成される。

【0040】

ユーザ判定部１０５１－１とユーザ選択部１０５２－１と出力選択部１０５３－１とは、メモリコントローラ１０５５－１を構成している。同様に、ユーザ判定部１０５１－Ｎとユーザ選択部１０５２－Ｎと出力選択部１０５３－Ｎとは、メモリコントローラ１０５５－Ｎを構成している。各メモリコントローラ１０５５－１～１０５５－Ｎは、記憶部１０６へのデータパケットの格納と取り出しを行う。メモリコントローラは１つでもよいが、複数設けることにより、記憶部１０６へのアクセスを並列化することができ、処理性能を向上させることができる。

【0041】

データ管理部１０５は、パケット種別判定部１０３から受信したデータパケットをユーザごとに管理し、適切なタイミングで後段のタグ付加部１０７に出力する。
パケット振り分け部１０５０は、パケット種別判定部１０３から受信したデータパケットの格納を制御するメモリコントローラを決定し、決定したメモリコントローラのユーザ判定部１０５１（１０５１－１～１０５１－Ｎ）にデータパケットを出力する。なお、ユーザＩＤの一部をメモリコントローラの番号とすれば、パケット振り分け部１０５０は高速な振り分けが可能になる。パケットを振り分けるメモリコントローラの決定は、例えばメモリコントローラの処理の空きの状態に応じて適宜決定すればよい。

【0042】

ユーザ判定部１０５１－１～１０５１－Ｎは、パケット振り分け部１０５０から受信したパケットのユーザＩＤを参照し、記憶部１０６と出力選択部１０５３－１～１０５３－Ｎのどちらにパケットを転送するかを決める。

【0043】

具体的には、ユーザ判定部１０５１－１～１０５１－Ｎは、自身と同じメモリコントローラに属する出力選択部１０５３－１～１０５３－Ｎが現在出力しているパケットのユーザＩＤと同じユーザＩＤを有するパケットを受信した場合、受信したパケットを自身と同じメモリコントローラに属する出力選択部１０５３－１～１０５３－Ｎに転送する。また、ユーザ判定部１０５１－１～１０５１－Ｎは、自身と同じメモリコントローラに属する出力選択部１０５３－１～１０５３－Ｎが現在出力しているパケットのユーザＩＤと異なるユーザＩＤを有するパケットを受信した場合、受信したパケットを記憶部１０６に一時格納する。

【0044】

ユーザ選択部１０５２－１～１０５２－Ｎは、ＱｏＳ制御部１１０によって登録されたＱｏＳ情報（優先度の情報）を基に記憶部１０６からデータパケットを選択的に取り出す。ユーザ選択部１０５２－１～１０５２－Ｎは、ＱｏＳ制御を行わない場合、記憶部１０６に格納されているデータパケットのうち、最も先に格納されたデータパケットを取り出す。

【0045】

出力選択部１０５３－１～１０５３－Ｎは、自身と同じメモリコントローラに属するユーザ判定部１０５１－１～１０５１－Ｎとユーザ選択部１０５２－１～１０５２－Ｎのうち、どちらから受信したデータパケットを出力するかを選択する。ユーザ選択部１０５２－１～１０５２－Ｎに対してはバックプレッシャーをかけられるため、ユーザ判定部１０５１－１～１０５１－Ｎから受信したデータパケットを優先して出力する。この選択によりパケット順序が入れ替わることがある。そのため、データ処理デバイス３－１～３－１３は、パケット順序制御機能を備えなければならない。

【0046】

出力制御部１０５４は、出力選択部１０５３－１～１０５３－Ｎから出力されたパケットをタグ付加部１０７に出力する。出力制御部１０５４は、メモリコントローラ（出力選択部１０５３－１～１０５３－Ｎ）が複数ある場合、どのメモリコントローラからのパケットをタグ付加部１０７に出力するかを制御する。その制御方式としては、ラウンドロビン方式やベストエフォート方式、ＤｉｆｆＳｅｒｖ方式（ＱｏＳ）などがある。

【0047】

ユーザ判定部１０５１－１～１０５１－Ｎは、自身と同じメモリコントローラに属する出力選択部１０５３－１～１０５３－Ｎが現在出力しているパケットのユーザＩＤと異なるユーザＩＤを有するパケットを受信した場合、受信したパケットをそのまま記憶部１０６に格納してもよい。このとき、ユーザ判定部１０５１－１～１０５１－Ｎは、受信したパケットと同じユーザＩＤを有するパケットが記憶部１０６に既に格納済みの場合には、格納済みのパケットと受信したパケットとを結合するように記憶部１０６に格納することで、より大きなデータを記憶部１０６に保持させるようにしてもよい。

【0048】

図５はデータ転送デバイス２－９の構成を示すブロック図である。データ転送デバイス２－９は、ユーザ管理装置１－１～１－３または他のデータ転送デバイスからパケットを受信する１乃至複数のパケット受信部２００－１～２００－Ｍ（Ｍは１以上の整数）と、パケット受信部２００－１～２００－Ｍのうちいずれか１つのパケット受信部からのパケットを選択するようにパケット受信部間を調停する入力調停部２０１と、他のデータ転送デバイスまたは外部送信装置４－１～４－３にパケットを転送する１乃至複数のパケット送信部２０２－１～２０２－Ｊ（Ｊは１以上の整数）と、受信したパケットからタグを取得するパケット解析部２０３と、タグに記載されたルート情報に基づいて、ユーザ管理装置１－１～１－３、他のデータ転送デバイスまたは配下のデータ処理デバイス３－１１～３－１３から受信したパケットの転送先を決定する転送制御部２０４と、パケットの転送先が配下のデータ処理デバイス３－１１～３－１３の場合に転送先のデータ処理デバイスにパケットを転送するデバイス間通信制御部２０５とを備えている。

【0049】

さらに、データ転送デバイス２－９は、パケットの転送先が配下のデータ処理デバイス３－１１～３－１３の場合にパケットのペイロードから元のデータを再構築して、再構築したデータを転送先のデータ処理デバイスに転送するデータ取得部２０６と、配下のデータ処理デバイス３－１１～３－１３から受信した、ＳＦのデータ処理が完了したデータをパケット化して、生成したパケットをデバイス間通信制御部２０５に送信するパケット作成部２０７と、通信管理装置５からの情報に基づいて転送制御部２０４とデバイス間通信制御部２０５のそれぞれに登録されたルーティングテーブルを更新するルート情報登録部２０８とを備えている。

【0050】

データ転送デバイス２－９のパケット受信部２００－１～２００－Ｍのいずれかが前段のユーザ管理装置または他のデータ転送デバイスからデータパケットを受信すると、パケット解析部２０３は、データパケットを解析して、データパケットに付加されているタグを取得し、受信したデータパケットを転送制御部２０４に出力する。

【0051】

転送制御部２０４は、パケット解析部２０３によって取得されたタグに記載されたルート情報と自身に登録されているルーティングテーブルとに基づいて、パケット解析部２０３から出力されたデータパケットをデバイス間通信制御部２０５を介して配下のデータ処理デバイス３－１１～３－１３に転送するか、またはパケット解析部２０３から出力されたデータパケットをパケット送信部２０２－１～２０２－Ｊのいずれかを介して隣接するデータ転送デバイスに転送する。

【0052】

本実施例では、データ転送デバイス２－９が複数のパケット受信部２００－１～２００－Ｍを備えることで２次元、３次元のネットワークを形成できる。この構成では、各パケット受信部２００－１～２００－Ｍが同時にパケットを受信することがある。

【0053】

このため、入力調停部２０１は、複数のパケット受信部２００－１～２００－Ｍが受信したパケットのうち、いずれか１つのパケット受信部からのパケットをパケット解析部２０３に選択的に入力すると共に、他のパケット受信部を待機させるように、パケット受信部２００－１～２００－Ｍ間を調停する。選択方法については、基本的には先に到着したパケットをパケット解析部２０３に送ればよい。偶然、パケット受信部２００－１～２００－Ｍが同時にパケットを受信した場合、入力調停部２０１は、予め設定されたパケット受信部２００－１～２００－Ｍの番号に基づいて、番号の小さいものから順に選んでもよいし、パケット受信部２００－１～２００－Ｍの予め設定された優先度に従って選んでもよい。

【0054】

デバイス間通信制御部２０５は、転送制御部２０４から送られてきたデータパケットを共有バス６を介して配下のデータ処理デバイス３－１１～３－１３に転送する。
配下のデータ処理デバイス３－１１～３－１３がＧＰＵなどパケット処理を苦手とするデータ処理デバイスの場合、データ取得部２０６でパケット処理を行い、元のデータ（パケットのペイロードに格納されているデータ）を再構築してから転送するようにしてもよい。

【0055】

具体的には、データ取得部２０６は、転送制御部２０４から送られてきたデータパケットからペイロードを取り出し、同一のユーザＩＤの１乃至複数のデータパケットから取得したペイロードを組み合わせて元のデータを再構築する。データ取得部２０６は、到着したパケットの順序が入れ替わっている可能性があるため、パケット順序制御を行い、複数のパケットから取り出されたデータを正しい順序で並べる。この順序制御は、パケットに付加されているシーケンス番号に基づいて行われる。

【0056】

また、データ取得部２０６によって元のデータを再構築して送る場合には、データパケットから取り出したパケットヘッダをパケット作成部２０７に保管させておく必要がある。パケット作成部２０７は、データ取得部２０６から受け取ったパケットヘッダをユーザＩＤと対応付けて保管する。

【0057】

また、デバイス間通信制御部２０５は、配下のデータ処理デバイス３－１１～３－１３間の通信制御も行う。これにより、転送制御部２０４は、ユーザ管理装置１－１～１－３、他のデータ転送デバイスまたは外部送信装置４－１～４－３と自装置との間の通信に集中でき、通信帯域を広げることができる。

【0058】

配下のデータ処理デバイス３－１１～３－１３がＧＰＵなどパケット処理を苦手とするデータ処理デバイスの場合に、パケット作成部２０７は、共有バス６を介して配下のデータ処理デバイス３－１１～３－１３からデータを受け取り、パケット化するようにしてもよい。

【0059】

具体的には、パケット作成部２０７は、データ処理デバイス３－１１～３－１３から受信したデータをパケット化し、生成したパケットをデバイス間通信制御部２０５に送信する。このとき、パケット作成部２０７は、データ取得部２０６から受け取って保管していたパケットヘッダのうち、データ処理デバイス３－１１～３－１３から受信したデータに付加されているユーザＩＤに対応するパケットヘッダと受信したデータとを組み合わせてパケット化する。パケットヘッダには、データ処理を行ったＳＦに対するルート情報を削除したタグが含まれる。

【0060】

本実施例では、データ取得部２０６とパケット作成部２０７でパケット処理を代行することで、パケット処理を苦手とするデータ処理デバイス３－１１～３－１３の処理遅延を削減することができる。

【0061】

ルート情報登録部２０８は、通信管理装置５から送られた情報に従って転送制御部２０４のルーティングテーブルとデバイス間通信制御部２０５のルーティングテーブルを更新する。通信管理装置５からは自装置のルーティングに必要な最低限の情報しか送られてこないため、ルーティングテーブルは比較的少ないメモリリソースで構成可能である。

【0062】

データ転送デバイス２－９として例えばＣＰＵまたはＧＰＵを用い、データ転送デバイス２－９の処理をソフトウェアで実行してもよいし、データ転送デバイス２－９として例えばＦＰＧＡを用い、データ転送デバイス２－９の処理をハードウェアで実行してもよい。ただし、一般的にはハードウェアの方がパケット処理性能が高いので、高速ネットワークを実現するには、ハードウェアを用いたほうがよい。

【0063】

以上の構成により、データ転送デバイス２－９は、配下のデータ処理デバイス３－１１～３－１３のいずれに対しても最短でデータパケットを転送できる。

【0064】

図６はデータ転送デバイス２－９のデバイス間通信制御部２０５の構成を示すブロック図である。デバイス間通信制御部２０５は、配下のデータ処理デバイス３－１１～３－１３から受信したパケットの転送先が配下の別のデータ処理デバイスの場合に、タグに記載されたルート情報に基づいてパケットの転送先を決定する転送制御部２０５０と、パケットの転送先が配下のデータ処理デバイス３－１１～３－１３の場合に転送先のデータ処理デバイスに対応する送信バッファ２０５２の記憶部（ＦＩＦＯバッファ）２０５４－１～２０５４－Ｋ（Ｋは１以上の整数）にパケットを格納するバッファ入力部２０５１と、配下のデータ処理デバイスごとに割り当てられた記憶部２０５４－１～２０５４－Ｋを有する送信バッファ２０５２と、送信バッファ２０５２に格納されたパケットを転送先のデータ処理デバイス３－１１～３－１３に転送し、データ処理デバイス３－１１～３－１３からパケットを受信する通信管理部２０５３とから構成される。

【0065】

デバイス間通信制御部２０５は、パケット解析部２０３によって取得されたタグに記載されたルート情報と自身に登録されているルーティングテーブルとに基づいて、転送制御部２０４から送られてきたパケットを送信バッファ２０５２を介して配下のデータ処理デバイス３－１１～３－１３に転送する。

【0066】

また、データ転送デバイス２－９のパケット解析部２０３は、デバイス間通信制御部２０５が配下のデータ処理デバイス３－１１～３－１１から受信したパケットを解析して、パケットに付加されているタグを取得する。デバイス間通信制御部２０５は、パケット解析部２０３によって取得されたタグに記載されたルート情報と自身に登録されているルーティングテーブルとに基づいて、データ処理デバイス３－１１～３－１３から送られてきたパケットの転送先を調べ、パケットをデータ処理デバイス３－１１～３－１３または転送制御部２０４に転送する。

【0067】

共有バス６は一度に複数の通信を行えない。このため、データ処理デバイス３－１１～３－１３に転送されるデータパケットは、転送制御部２０４または転送制御部２０５０からバッファ入力部２０５１を介して送信バッファ２０５２に一旦格納される。

【0068】

送信バッファ２０５２は、１乃至複数の記憶部（ＦＩＦＯバッファ）２０５４－１～２０５４－Ｋで構成されている。データ処理デバイス３－１１～３－１３のうちの１個のデータ処理デバイスと記憶部２０５４－１～２０５４－Ｋのうちの１個の記憶部とは、１対１で対応付けられている。バッファ入力部２０５１は、記憶部２０５４－１～２０５４－Ｋのうち、転送先のデータ処理デバイスに対応する記憶部にデータパケットを格納する。ただし、データ処理デバイスと記憶部の対応付けは恒久的なものではない。データ処理デバイス３－１１～３－１３の追加／削除に伴って対応付けを柔軟に変更することができる。

【0069】

通信管理部２０５３は、共有バス６が空いたときに記憶部２０５４－１～２０５４－Ｋからデータパケットを取り出し、取り出し元の記憶部に対応する転送先のデータ処理デバイス３－１１～３－１３にデータパケットを転送する。

【0070】

また、通信管理部２０５３は、配下のデータ処理デバイス３－１１～３－１３から共有バス６の使用を要求されると、いずれか１つのデータ処理デバイスに共有バス６の使用権を与えて、このデータ処理デバイスから共有バス６を介してデータパケットを受信すると共に、共有バス６の使用要求を出している他のデータ処理デバイスを待機させるように、データ処理デバイス３－１１～３－１３間を調停する。使用権の取得は先着順でも良いが、使用権の取得頻度に応じて後から要求したデータ処理デバイス３－１１～３－１３や記憶部２０５４－１～２０５４－Ｋに使用権を与えても良い。また、データ処理デバイス３－１１～３－１３や記憶部２０５４－１～２０５４－Ｋに優先順位を予め設定しておき、優先順位を考慮して使用権を与える相手を決めてもよい。さらに、パケットにプライオリティを持たせたり、外部からの命令により一時的に優先順位を変えることも考えられる。

【0071】

上記のとおり、データ転送デバイス２－９のパケット解析部２０３は、デバイス間通信制御部２０５が配下のデータ処理デバイス３－１１～３－１１から受信したパケットを解析して、パケットに付加されているタグを取得する。

【0072】

デバイス間通信制御部２０５の転送制御部２０５０は、パケット解析部２０３によって取得されたタグに記載されたルート情報と自身に登録されているルーティングテーブルとに基づいて、データ処理デバイス３－１１～３－１３から送られてきたパケットの転送先を調べ、パケットをバッファ入力部２０５１または転送制御部２０４に転送する。バッファ入力部２０５１に転送されたパケットは、上記の動作により配下のデータ処理デバイス３－１１～３－１３に転送される。

【0073】

転送制御部２０４が、ユーザ管理装置１－１～１－３もしくは他のデータ転送デバイスから受信したパケットの転送先、または配下のデータ処理デバイス３－１１～３－１３から受信したパケットのうち、他のデータ転送デバイスもしくは外部送信装置４－１～４－３を転送先とする場合の転送先を決定する。一方、転送制御部２０５０は、配下のデータ処理デバイスから受信したパケットの転送先が配下の別のデータ処理デバイスの場合にのみ、タグに記載されたルート情報に基づいてパケットの転送先を決定する。したがって、転送制御部２０５０は、配下のデータ処理デバイス３－１１～３－１３間のルーティング情報しか持たないため、テーブル規模が小さく、高速なルーティングが可能である。

【0074】

以上の構成により、本実施例では、デバイス間通信制御部２０５を介してどのデータ処理デバイス３－１１～３－１３にも同じ遅延でアクセスでき、転送制御部２０４を介さずにデータ処理デバイス３－１１～３－１３間の通信が可能である。また、本実施例では、データ処理デバイス３－１１～３－１３をデータ転送デバイス２－９と独立させることで、ユーザ管理装置１－１～１－３、他のデータ転送デバイス２－１～２－８または外部送信装置４－１～４－３とデータ転送デバイス２－９との通信を阻害することなく、新たなデータ処理デバイスの追加と削除が可能である。

【0075】

なお、図５、図６の例では、データ転送デバイス２－９、データ処理デバイス３－１１～３－１３を例に挙げて説明しているが、データ転送デバイス２－１～２－８の構成と動作はデータ転送デバイス２－９と同様であり、データ処理デバイス３－１～３－１０の動作はデータ処理デバイス３－１１～３－１３と同様である。

【0076】

図７はデータ処理デバイス３－１１の構成を示すブロック図である。データ処理デバイス３－１１は、ＳＦの処理を行うサービス機能部（以下、ＳＦ部）３０２－１～３０２－Ｌ（Ｌは１以上の整数）によるデータ処理が完了したパケットを受信したときに、データ転送デバイス２－９に対して共有バス６の使用を要請し、共有バス６の使用権が与えられたときにデータ転送デバイス２－９にパケットを転送する通信要請部３００と、データ転送デバイス２－９からパケットを受信したときに、パケットのタグに記載されたルート情報に基づいて、ＳＦ部３０２－１～３０２－Ｌのうち転送先のＳＦ部にパケットを転送するパケット振り分け部３０１と、ＳＦ部３０２－１～３０２－Ｌとから構成される。

【0077】

各ＳＦ部３０２－１～３０２－Ｌは、それぞれパケット順序制御部３０２０と、データ取得部３０２１と、データ構築部３０２２と、レジスタ管理部３０２３と、データ処理部３０２４と、パケット作成部３０２５とから構成される。

【0078】

データ処理デバイス３－１１は、共有バス６を介してデータ転送デバイス２－９からデータパケットを受け取ると、データパケットを宛先のＳＦ部３０２－１～３０２－Ｌに振り分ける。データ処理デバイス３－１１がパケット振り分け部３０１を持つ理由は、上位のデータ転送デバイス２－９のデバイス間通信制御部２０５に過剰に送信バッファ２０５２を持たせないためと、共有バス６をデータ処理デバイス単位で効率的に利用するためである。

【0079】

各ＳＦ部３０２－１～３０２－Ｌは、データ処理を行う前にデータパケットを入れ替えつつデータの再構築を行う。順序制御を行う理由は、外部のネットワークやユーザ管理装置１－１～１－３においてパケットの順番が入れ替わる可能性があるためである。具体的には、各ＳＦ部３０２－１～３０２－Ｌのパケット順序制御部３０２０は、データ転送デバイス２－９から送られてきた同一のユーザＩＤの複数のデータパケットを正しい順序で並べる。この順序制御は、パケットに付加されているシーケンス番号に基づいて行われる。

【0080】

各ＳＦ部３０２－１～３０２－Ｌのデータ取得部３０２１は、パケット順序制御部３０２０によって正しい順序で並べられたデータパケットからそれぞれペイロードを取り出す。また、データ取得部３０２１は、データパケットのパケットヘッダに含まれるタグに記載されているルート情報を参照し、自分（ＳＦ部３０２－１～３０２－Ｌ）がサービスチェインのルートから除かれるように、タグに記載されているルート情報を更新する。そして、データ取得部３０２１は、タグ更新後のパケットヘッダを後で再利用するため、パケット作成部３０２５に渡す。このタグの更新により、処理完了済みのＳＦ部３０２－１～３０２－Ｌが転送先として再び選択されることはない。

【0081】

各ＳＦ部３０２－１～３０２－Ｌのデータ構築部３０２２は、データ取得部３０２１によって複数のデータパケットから取得されたペイロードを組み合わせて元のデータを再構築する。

【0082】

各ＳＦ部３０２－１～３０２－Ｌのデータ処理部３０２４は、データ構築部３０２２から受信したデータに対して所定の処理を実行し、処理完了後のデータをパケット作成部３０２５に送信する。データ処理の例としては、例えば機械学習や画像処理などがある。また、データ処理部３０２４を共有メモリとして機能させることも可能である。
こうして、各ＳＦ部３０２－１～３０２－ＬによってそれぞれＳＦの処理が実行される。

【0083】

各ＳＦ部３０２－１～３０２－Ｌのパケット作成部３０２５は、データ処理部３０２４から受信したデータをデータ取得部３０２１から受け取ったパケットヘッダと組み合わせてパケット化して、通信要請部３００に送信する。このとき、パケット作成部３０２５は、データ処理部３０２４から受信したデータの分割が必要な場合には、分割したデータのそれぞれをデータ取得部３０２１から受け取ったパケットヘッダと組み合わせてパケット化する。

【0084】

データ処理デバイス３－１１の通信要請部３００は、パケット作成部３０２５からデータパケットを受信すると、上位のデータ転送デバイス２－９に対して共有バス６の使用を要求し、データ転送デバイス２－９から共有バス６の使用権が与えられた後にデータパケットをデータ転送デバイス２－９に送信する。なお、通信要請部３００は、共有バス６の使用権が与えられるまでＳＦ部３０２－１～３０２－Ｌのパケット作成部３０２５からデータパケットを受け取り、共有バス６の使用権が与えられた時点でデータパケットをまとめて送信することで通信を効率化できる。

【0085】

レジスタ管理部３０２３は、データ処理部３０２４へのパラメータの登録とパラメータの取得とを行う。具体的には、レジスタ管理部３０２３は、後述のようにユーザ管理装置１－１～１－３からＳＦの処理に必要なユーザ固有のパラメータを取得して、取得したパラメータをデータ処理部３０２４に登録する。パラメータの登録はユーザごと（ユーザＩＤごと）に行われる。

【0086】

また、レジスタ管理部３０２３は、ユーザ管理装置１－１～１－３からの回収要求パケットを受信すると、回収要求パケットに含まれるユーザＩＤに対応するパラメータをデータ処理部３０２４から削除する。パケット作成部３０２５は、データ処理部３０２４に登録されていたパラメータをパケット化して、要求元のユーザ管理装置１－１～１－３宛に返信する。こうして、パラメータは、ユーザ管理装置１－１～１－３においてユーザＩＤと対応付けて管理される。このようなパラメータの登録と回収の機能により、ユーザごとにパラメータを入れ替えることができ、ユーザに適したパラメータでデータ処理を行うことができる。

【0087】

なお、図７の例では、データ処理デバイス３－１１を例に挙げて説明しているが、データ処理デバイス３－１～３－１０，３－１２，３－１３の構成と動作はデータ処理デバイス３－１１と同様である。

【0088】

図８はデータ転送デバイス２－９の動作を説明するフローチャートである。データ転送デバイス２－９のパケット受信部２００－１～２００－Ｍのいずれかが前段のユーザ管理装置または他のデータ転送デバイスからデータパケットを受信すると（図８ステップＳ２０においてＹｅｓ）、パケット解析部２０３は、データパケットを解析して、データパケットに付加されているタグを取得し、受信したデータパケットを転送制御部２０４に出力する（図８ステップＳ２１）。

【0089】

転送制御部２０４は、パケット解析部２０３によって取得されたタグに記載されたルート情報を検索キーとして、自身に登録されているルーティングテーブルの検索を行い、パケット解析部２０３から出力されたデータパケットの転送先を決定する（図８ステップＳ２２）。

【0090】

転送制御部２０４は、転送先が隣接するデータ転送デバイスまたは隣接する外部送信装置だった場合（図８ステップＳ２３においてＮｏ）、適切なパケット送信部２０２－１～２０２－Ｊからデータパケットを転送先に転送する（図８ステップＳ２４）。ここで、適切なパケット送信部２０２－１～２０２－Ｊとは、転送制御部２０４におけるルーティング結果によって得た出力先（パケット送信部２０２－１～２０２－Ｊ）のことを言う。

【0091】

また、転送制御部２０４は、転送先が配下のデータ処理デバイス３－１１～３－１３だった場合（ステップＳ２３においてＹｅｓ）、パケット解析部２０３から出力されたデータパケットをデバイス間通信制御部２０５に送信する。デバイス間通信制御部２０５は、共有６バスの状況を確認し（図８ステップＳ２５）、共有バス６が利用可能であれば、転送制御部２０４から送られてきたデータパケットを共有バス６を介して転送先のデータ処理デバイスに転送する（図８ステップＳ２６）。

【0092】

このとき、転送先のデータ処理デバイスの代わりにデータ転送デバイス２－９内でパケット処理が必要な場合（図８ステップＳ２７においてＹｅｓ）、データ取得部２０６は、転送制御部２０４から送られてきたデータパケットからペイロードを取り出し、同一のユーザＩＤの１乃至複数のデータパケットから取得したペイロードを組み合わせて元のデータを再構築する（図８ステップＳ２８）。データ取得部２０６は、到着したパケットの順序が入れ替わっている可能性があるため、シーケンス番号に基づいてパケット順序制御を行い、複数のパケットから取り出したデータを正しい順序で並べる。

【0093】

データ取得部２０６は、データ処理可能な状態になったら、再構築したデータを共有バス６を介して転送先のデータ処理デバイスに転送する（図８ステップＳ２６）。また、データ取得部２０６は、転送制御部２０４から送られてきたデータパケットから取り出したパケットヘッダをパケット作成部２０７に保管させておく。

【0094】

なお、データ転送デバイス２－９の配下のデータ処理デバイス３－１１～３－１３のうちどのデータ処理デバイスについてパケット処理が必要かは既知であり、パケット処理が必要なデータ処理デバイスの情報が予めデータ取得部２０６に登録されている。

【0095】

ＳＦのデータ処理が完了すると、転送先のデータ処理デバイスからデータパケットまたはデータが返送される（図８ステップＳ２９においてＹｅｓ）。
データ転送デバイス２－９のデバイス間通信制御部２０５の通信管理部２０５３は、配下のデータ処理デバイス３－１１～３－１３からの通信要請に対していずれか１つに共有バス６の使用権を与え、使用権を与えたデータ処理デバイスから共有バス６を介してパケットを受信する（図８ステップＳ３０）。

【0096】

データ転送デバイス２－９のパケット解析部２０３は、デバイス間通信制御部２０５が配下のデータ処理デバイスからパケットを受信すると、受信したパケットを解析して、パケットに付加されているタグを取得する（図８ステップＳ３１）。

【0097】

データ転送デバイス２－９のパケット作成部２０７は、配下のデータ処理デバイスから送られてきたデータがパケット形式でなく、パケットから再構築されたデータであって、パケット化が必要な場合（図８ステップＳ３２においてＹｅｓ）、データ取得部２０６から受け取って保管していたパケットヘッダのうち、データ処理デバイスから受信したデータに付加されているユーザＩＤに対応するパケットヘッダと受信したデータとを組み合わせてパケット化する（図３ステップＳ３３）。このとき、パケット作成部２０７は、受信したデータの分割が必要な場合には、分割したデータのそれぞれをパケットヘッダと組み合わせてパケット化する。

【0098】

パケット作成部２０７によってパケット処理が行われた場合、パケット解析部２０３は、パケット作成部２０７によって作成されたパケットを解析して、パケットに付加されているタグを取得する（ステップＳ３１）。

【0099】

データ転送デバイス２－９のデバイス間通信制御部２０５の転送制御部２０５０は、パケット解析部２０３によって取得されたタグに記載されたルート情報を検索キーとして、自身に登録されているルーティングテーブルの検索を行い、配下のデータ処理デバイスから受信したパケットまたはパケット作成部２０７によって作成されたパケットの転送先を決定する（図８ステップＳ３４）。

【0100】

デバイス間通信制御部２０５は、転送先が配下のデータ処理デバイス３－１１～３－１３だった場合（ステップＳ３５においてＹｅｓ）、ステップＳ２５に進む。上記で説明したステップＳ２５～Ｓ２８の処理により、データパケットは共有バス６を介して転送先のデータ処理デバイスに転送される。

【0101】

また、デバイス間通信制御部２０５は、転送先が配下のデータ処理デバイス３－１１～３－１３でなかった場合（ステップＳ３５においてＮｏ）、配下のデータ処理デバイスから受信したパケットまたはパケット作成部２０７によって作成されたパケットを転送制御部２０４に渡す。ステップＳ２２～Ｓ２４の処理により、データパケットは転送先の隣接するデータ転送デバイスまたは隣接する外部送信装置に転送される。

【0102】

データ転送デバイス２－９は、以上の処理を、データ処理システムの動作が終了するまで（図８ステップＳ３６においてＹｅｓ）、繰り返し実行する。
なお、図８の例では、データ転送デバイス２－９を例に挙げて説明しているが、データ転送デバイス２－１～２－８の動作はデータ転送デバイス２－９と同様である。

【0103】

図９はデータ処理デバイス３－１１の動作を説明するフローチャートである。データ処理デバイス３－１１のパケット振り分け部３０１は、共有バス６を介してデータ転送デバイス２－９からデータパケットを受信すると（図９ステップＳ４０においてＹｅｓ）、データパケットのタグに記載されたルート情報を参照し、データパケットを宛先のＳＦ部３０２－１～３０２－Ｌに転送する（図９ステップＳ４１）。

【0104】

転送先のＳＦ部のパケット順序制御部３０２０は、データ転送デバイス２－９から送られてきた複数のデータパケットを正しい順序で並べる（図９ステップＳ４２）。
データ取得部３０２１は、パケット順序制御部３０２０によって正しい順序で並べられたデータパケットからそれぞれペイロードを取り出す（図９ステップＳ４３）。

【0105】

データ構築部３０２２は、データ取得部３０２１によって複数のデータパケットから取得されたペイロードを組み合わせて元のデータを再構築する（図９ステップＳ４４）。データ処理可能な状態になるまで、ステップＳ４０～Ｓ４４の処理が繰り返し実行される。

【0106】

データ処理可能な状態になると（図９ステップＳ４５においてＹｅｓ）、データ処理部３０２４は、データ構築部３０２２から受信したデータに対して所定の処理を実行し、処理完了後のデータをパケット作成部３０２５に送信する（図９ステップＳ４６）。

【0107】

パケット作成部３０２５は、データ処理部３０２４から受信したデータをパケット化して、通信要請部３００に送信する（図９ステップＳ４７）。図９に明示していないが、データ取得部３０２１は、データパケットのパケットヘッダに含まれるタグに記載されているルート情報を参照し、自分（ＳＦ部３０２－１～３０２－Ｌ）がサービスチェインのルートから除かれるように、タグに記載されているルート情報を更新する。そして、データ取得部３０２１は、タグ更新後のパケットヘッダをパケット作成部３０２５に渡す。パケット作成部３０２５は、データ処理部３０２４から受信したデータをデータ取得部３０２１から受け取ったパケットヘッダと組み合わせてパケット化する。

【0108】

データ処理デバイス３－１１の通信要請部３００は、パケット作成部３０２５からデータパケットを受信すると、上位のデータ転送デバイス２－９に対して共有バス６の使用を要求し、データ転送デバイス２－９から共有バス６の使用権が与えられたときに（図９ステップＳ４８においてＹｅｓ）、データパケットをデータ転送デバイス２－９に送信する（図９ステップＳ４９）。

【0109】

なお、ステップＳ４０で受信したデータがパケット形式でなく、転送元のデータ転送デバイス２－９によって再構築されたデータである場合、ステップＳ４２～Ｓ４４の処理は不要である。また、ステップＳ４０で受信したデータがパケット形式でなく、転送元のデータ転送デバイス２－９によって再構築されたデータである場合、データと共にパケットヘッダがデータ転送デバイス２－９から送信される。この場合、パケット作成部３０２５は、データ処理部３０２４から受信したデータをデータ転送デバイス２－９から受信したパケットヘッダと組み合わせてパケット化する。

【0110】

一方、レジスタ管理部３０２３は、ステップＳ４０で受信したデータが「サービス利用」のパケット、または「サービス利用」のパケットから再構築されたデータではなく、「パラメータ登録要求」のパケットである場合（図９ステップＳ５０においてＹｅｓ）、データ取得部３０２１によってパケットから取り出されたペイロードに含まれるパラメータをデータ処理部３０２４に登録して処理を終了する（図９ステップＳ５１，Ｓ５２）。

【0111】

また、レジスタ管理部３０２３は、ステップＳ４０で受信したデータが「サービス利用」のパケット、または「サービス利用」のパケットから再構築されたデータではなく、「パラメータ回収要求」のパケットである場合（図９ステップＳ５０においてＹｅｓ）、「パラメータ回収要求」のパケットに含まれるユーザＩＤに対応するパラメータをデータ処理部３０２４から削除する。パケット作成部３０２５は、データ処理部３０２４に登録されていたパラメータをパケット化して、データ転送デバイス２－９に送信して処理を終了する（図９ステップＳ５１，Ｓ５３）。このとき、パケット作成部３０２５によって作成されたパケットのヘッダには、「パラメータ回収要求」のパケットの送信元のユーザ管理装置１－１～１－３のアドレスが宛先アドレスとして設定されている。

【0112】

なお、図９の例では、データ処理デバイス３－１１を例に挙げて説明しているが、データ処理デバイス３－１～３－１０，３－１２，３－１３の動作はデータ処理デバイス３－１１と同様である。

【0113】

図１０は通信管理装置５の動作を説明するフローチャートである。通信管理装置５は、ユーザ管理装置１－１～１－３と連携し、ユーザ情報やサービスの利用終了の情報を受信し、ユーザ管理装置１－１～１－３に対してルート情報を送信する。また、通信管理装置５は、データ転送デバイス２－１～２－９の転送制御部２０４，２０５０に登録されているルーティングテーブルを管理し、各データ処理デバイス３－１～３－１３のＳＦの追加／削除を制御する。

【0114】

通信管理装置５は、サービス利用終了の情報を受信したときに、該当するデータ処理デバイス３－１～３－１３からＳＦを削除する（図１０ステップＳ１００）。具体的には、データ処理デバイスが例えばＣＰＵまたはＧＰＵによって構成されている場合には、ＣＰＵまたはＧＰＵのメモリからＳＦのプログラムを削除すればよい。また、データ処理デバイスが例えばＦＰＧＡによって構成されている場合には、ＦＰＧＡの回路構成を更新して、ＳＦのための回路を削除すればよい。ＳＦを削除することにより、データ処理システムの消費電力を削減することができる。

【0115】

通信管理装置５は、ユーザ管理装置１－１～１－３のユーザ管理部１０９からユーザ情報とユーザＩＤとを受信すると（図１０ステップＳ１０１においてＹｅｓ）、ユーザ情報に含まれるサービス情報を取得する（図１０ステップＳ１０２）。

【0116】

そして、通信管理装置５は、取得したサービス情報に基づいて、ユーザが要求するサービスの実現に必要なＳＦを経由するルートの計算を行う（図１０ステップＳ１０３）。この計算では、稼働中のＳＦの配置やデータ転送デバイス２－１～２－９間の使用帯域およびデータ転送デバイス２－１～２－９内の使用帯域を考慮して、新たなサービスチェインが他に影響を与えないように配慮する。ルート計算には、例えば、迷路法や遺伝的アルゴリズムなどの古典的な配置配線手法が利用できる。

【0117】

稼働中のサービスが多いと既にあるＳＦだけでは新しいサービスを実現できない可能性がある。そこで稼動停止中のデータ処理デバイス３－１～３－１３にＳＦを追加することもある。通信管理装置５は、ＳＦの追加が必要な場合、新たなサービスチェインに必要なＳＦを経由するルート上の、所望のＳＦの位置にある稼動停止中のデータ処理デバイスに所望のＳＦを追加する（図１０ステップＳ１０４）。

【0118】

通信管理装置５は、データ処理デバイスが例えばＣＰＵまたはＧＰＵによって構成されている場合には、所望のＳＦのプログラムをデータ処理デバイスに転送して、データ処理デバイスのメモリに格納させるようにすればよい。また、通信管理装置５は、データ処理デバイスが例えばＦＰＧＡによって構成されている場合には、ＦＰＧＡの回路構成の更新のためのデータをデータ処理デバイスに転送して、所望のＳＦのための回路を追加すればよい。

【0119】

ルート計算に成功すると、通信管理装置５は、ユーザ管理装置１－１～１－３のうち、計算したルートの始点となるユーザ管理装置にルート情報とユーザＩＤとを送信する（図１０ステップＳ１０５）。このように、ルートの始点となるユーザ管理装置のみにルート情報を送信することにより、各ユーザ管理装置１－１～１－３は、自身に関係するルート情報だけをユーザＩＤと対応付けて保持できる。

【0120】

また、通信管理装置５は、外部送信装置４－１～４－３のうち、計算したルートの終点となる外部送信装置にユーザ情報とユーザＩＤとを転送する（図１０ステップＳ１０６）。このように、ルートの終点となる外部送信装置のみにユーザ情報を転送することにより、各外部送信装置４－１～４－３は、自身に関係するユーザ情報だけをユーザＩＤと対応付けて保持できる。

【0121】

通信管理装置５は、自身から送った情報を送信先のユーザ管理装置１－１～１－３と外部送信装置４－１～４－３とが受理すると、計算したルート上のデータ転送デバイス２－１～２－９の転送制御部２０４，２０５０に登録されているルーティングテーブルを、ルート計算の結果に基づいて更新すべくルート上のデータ転送デバイス２－１～２－９に情報を送る（図１０ステップＳ１０７）。すなわち、新しいサービスを要求したユーザから送信された「サービス利用」のパケットが、計算したルートを辿るようにルーティングテーブルを更新する。本実施例では、ルーティングテーブルの更新対象を最小限のデータ転送デバイスに絞ることで、ルーティングテーブルの肥大化を抑えることができる。

【0122】

通信管理装置５は、ルート計算に失敗した場合、または自身から送った情報を送信先のユーザ管理装置１－１～１－３または外部送信装置４－１～４－３が受理しなかった場合には、サービスが開始できない旨をユーザ管理装置１－１～１－３を介してユーザに通知する。

【0123】

通信管理装置５は、以上の処理を、データ処理システムの動作が終了するまで（図１０ステップＳ１０８においてＹｅｓ）、繰り返し実行する。

【0124】

図１１は本実施例のデータ処理システムの動作を説明するシーケンス図である。本実施例のデータ処理システムを利用したいユーザは、自身のユーザ端末８を使用して、サービス利用前にデータ処理システムに対してサービス利用申請を行う（図１１ステップＳ２００）。

【0125】

ユーザ管理装置１のユーザ情報抽出部１０４は、ユーザ端末８からパケット種別が「サービス利用申請」のパケットを受信すると、パケットに記載されたユーザ情報を取得する。ユーザ管理装置１のユーザ管理部１０９は、ユーザＩＤを発行すると共に、ユーザ情報とユーザＩＤとを通信管理装置５に転送する（図１１ステップＳ２０１）。

【0126】

通信管理装置５は、ユーザ情報を受信すると、ユーザ情報に含まれるサービス情報に基づいてサービスチェインのルートの計算を行い、複数のユーザ管理装置のうち、計算したルートの始点となるユーザ管理装置１にルート情報とユーザＩＤとを送信する（図１１ステップＳ２０２）。

【0127】

また、通信管理装置５は、複数の外部送信装置のうち、計算したルートの終点となる外部送信装置４にユーザ情報とユーザＩＤとを送信する（図１１ステップＳ２０３）。また、図１１では記載していないが、通信管理装置５は、計算したルート上のデータ転送デバイスの転送制御部２０４，２０５０に登録されているルーティングテーブルを、ルート計算の結果に基づいて更新する。こうして、通信管理装置５は、ユーザがサービスを利用する環境を整える。

【0128】

ユーザ管理装置１のユーザ管理部１０９は、「サービス利用申請」のパケットに対して、発行したユーザＩＤを含むパケットをユーザ端末８に返信することで、ユーザに対してユーザＩＤを通知する（図１１ステップＳ２０４）。

【0129】

ユーザＩＤが発行されたユーザは、サービスの利用開始時に自身のユーザ端末８を使用して、データ処理システムに対してサービスの利用開始通知を行う（図１１ステップＳ２０５）。

【0130】

ユーザ管理装置１のユーザ管理部１０９は、ユーザ端末８からパケット種別が「サービス利用開始」のパケットを受信すると、パケットに付加されているユーザＩＤを基にユーザを識別し、ユーザＩＤと対応付けて管理しているユーザ情報に含まれるサービス情報に基づいてＳＦでのデータ処理に必要なユーザ固有のパラメータを生成する。そして、ユーザ管理部１０９は、ユーザ固有のパラメータを、ユーザＩＤと対応付けて管理しているルート情報に基づいてサービスチェインのルート上のデータ処理デバイス３－１～３－ｎ（ｎは２以上の整数）のＳＦ部に送信する（図１１ステップＳ２０６）。

【0131】

図１１ではデータ転送デバイスについて記載していないが、ユーザ固有のパラメータは、「パラメータ登録要求」のパケットとしてパケット化され、ユーザ管理装置１から最寄りのデータ転送デバイスに送信される。各データ転送デバイスの転送制御部２０４，２０５０は、パケット解析部２０３によるパケット解析の結果に基づいて、パラメータの送信先のデータ処理デバイス３－１～３－ｎのＳＦ部のうち、自装置と接続されているデータ処理デバイスのＳＦ部にパケット化されたパラメータを転送する。

【0132】

パケット化されたパラメータを受信したデータ処理デバイス３－１～３－ｎのＳＦ部のレジスタ管理部３０２３は、受信したパケットに付加されていたユーザＩＤと対応付けてパラメータをデータ処理部３０２４に登録する。

【0133】

ユーザは、サービスを利用するために、自身のユーザ端末８を使用してデータパケットをデータ処理システムに向けて送信する（図１１ステップＳ２０７）。ユーザ端末８から送信されるパケット種別が「サービス利用」のデータパケットにはユーザＩＤが付加されている。

【0134】

ユーザ管理装置１のタグ付加部１０７は、ユーザ端末８から受信したパケット種別が「サービス利用」のパケットに付加されているユーザＩＤに対応するタグをパケットに付加して、タグ付きのパケットをパケット送信部１０１に出力する。ユーザ管理装置１のパケット送信部１０１は、タグ付加部１０７から出力されたパケットを最寄りのデータ転送デバイスに送信する（図１１ステップＳ２０８）。

【0135】

図１１ではデータ転送デバイスについて記載していないが、各データ転送デバイスのパケット解析部２０３は、受信したパケットを解析して、パケットに付加されているタグを取得する。データ転送デバイスの転送制御部２０４，２０５０は、パケット解析部２０３によって取得されたタグに記載されたルート情報に従って、サービスチェインのルート上のデータ処理デバイス３－１～３－ｎのＳＦ部のうち、自装置と接続されているデータ処理デバイスのＳＦ部にパケットを転送する（図１１ステップＳ２０９）。

【0136】

各データ処理デバイス３－１～３－ｎのＳＦ部は、自装置と接続されているデータ転送デバイスからパケットを受信し、ＳＦの処理完了後のパケットをデータ転送デバイスに送信する。こうして、サービスチェインのルート上のデータ転送デバイスによってデータ処理デバイスのＳＦ部にパケットが転送されることが複数回行われ、全てのデータ処理が完了したパケットは、データ転送デバイスによってサービスチェインのルートの終点となる外部送信装置４に転送される（図１１ステップＳ２１０）。

【0137】

外部送信装置４は、受信したパケットに付加されているユーザＩＤに基づいてパケットの宛先のユーザを特定し、パケットからタグを削除する。そして、外部送信装置４は、ユーザＩＤに対応するユーザ情報に基づいて、パケットにＴＣＰ／ＩＰの宛先情報を付加してユーザ端末８宛に送り返す（図１１ステップＳ２１１）。

【0138】

同じＦＳを別のユーザが利用する場合、ユーザが切り替わるタイミングで、ユーザ管理装置１のユーザ管理部１０９は、サービス利用が終了したユーザ固有のパラメータの回収を要求するパケットを、当該ユーザのユーザＩＤと対応付けて管理しているルート情報に基づいてサービスチェインのルート上のデータ処理デバイス３－１～３－ｎのＳＦ部に送信する。各データ転送デバイスの転送制御部２０４，２０５０は、パケット解析部２０３によるパケット解析の結果に基づいて、サービスチェインのルート上のデータ処理デバイス３－１～３－ｎのＳＦ部のうち、自装置と接続されているデータ処理デバイスのＳＦ部にユーザ管理装置１からの「パラメータ回収要求」のパケットを転送する。

【0139】

データ処理デバイスのレジスタ管理部３０２３は、ユーザ管理装置１からの「パラメータ回収要求」のパケットを受信すると、このパケットに含まれるユーザＩＤに対応するパラメータをデータ処理部３０２４から削除する。データ処理デバイスのパケット作成部３０４は、データ処理部３０２４に登録されていたパラメータをパケット化して、自装置と接続されているデータ転送デバイスに送信する。パケット化されたパラメータは、データ転送デバイスからユーザ管理装置１に転送される（図１１ステップＳ２１２）。

【0140】

ユーザ管理装置１のユーザ管理部１０９は、データ転送デバイスを介してデータ処理デバイス３－１～３－ｎのＳＦ部から回収したパラメータを、サービス利用が終了したユーザのユーザＩＤと対応付けて管理する。また、ユーザ管理装置１は、ユーザ端末８に対してサービス利用終了を通知する（図１１ステップＳ２１３）。サービス利用終了を示すパケットは、ユーザ管理装置１から通信管理装置５にも送信される。

【0141】

システムがサービス利用終了と判断するタイミングは、ユーザがサービス利用を止める旨を通知してきたとき、もしくは一定時間データを送ってこないとき（タイムアウト）である。いずれの場合もユーザ端末８に対してサービス利用終了を通知する。その際に、データ処理デバイス３－１～３－ｎ（ＳＦ）にそのユーザに向けたパラメータが残っていた場合、回収（破棄）して次ユーザに向けたパラメータを送信する。

【0142】

ユーザがサービス利用中であっても別ユーザが待機していた場合、一定時間サービスを利用した後、ＱｏＳ制御の結果、もしくは外部から指示された時、に一時中断してデータ処理デバイス３－１～３－ｎ（ＳＦ）を次ユーザに明け渡す。その際、パラメータをデータ処理デバイス３－１～３－ｎ（ＳＦ）から回収し、次ユーザのパラメータを送信する。ただし、明け渡すタイミングはデータ処理が一段落したときとする。例えば、画像処理サービスではフレームごとに処理が行われるので、１フレーム分のデータの送信が終わってからパラメータ更新処理に移行する。

【0143】

図１２は本実施例のデータ処理システムの別の動作を説明するシーケンス図である。本実施例のデータ処理システムは、ユーザ固有のパラメータがないサービスも提供することができる。ユーザ固有のパラメータを使用しない場合、図１１で説明したステップＳ２０６，Ｓ２１２の処理が不要となる。その他の処理は図１１の場合と同じである。

【0144】

パラメータを使用しないサービスの例としては、ネットワークサービスがある。例えば、ファイヤウォールやＤＰＩ（Deep Packet Inspection）、ロードバランシングなどのネットワークサービスは、複数のトラフィックが同時に利用することを想定しており、パラメータの切り替えは不要である。

【0145】

クラウドサービスにおいても、例えば、機械学習で同じ学習データを使用する場合や、画像処理で同じパラメータを使用可能な場合などは、パラメータの切り替えは不要であり、パラメータを使用しないサービスとして扱うことができる。

【0146】

本実施例のデータ処理システムは、ユーザ端末８との通信に一般的なＩＰネットワークを利用することができる。その場合、データ処理システムは、ユーザ端末８から受信したパケットに記載されたＩＰアドレスおよびポート番号からユーザを一意に識別し、ユーザＩＤを発行する。

【0147】

サービス利用申請時にユーザ端末８から送信されるパケットのフォーマットを図１３（Ａ）に示し、サービス利用時にユーザ端末８とデータ処理システム間で送受信されるパケットのフォーマットを図１３（Ｂ）に示し、サービス利用時にデータ処理システム内で送受信されるパケットのフォーマットを図１３（Ｃ）に示す。

【0148】

「サービス利用申請」のパケットには、Ｅｔｈｅｒｎｅｔ（登録商標）ヘッダ４００と、ＩＰヘッダ４０１と、ＴＣＰヘッダもしくはＵＤＰヘッダ４０２と、ペイロード４０３と、ＦＣＳ（Frame Check Sequence）４０４とが含まれる。
サービス利用申請時、ユーザ端末８は、パケットのペイロード４０３に「サービス利用申請」を示すパケット種別の情報（図１３（Ａ）の４０５の箇所）を格納してデータ処理システム宛に送信する。

【0149】

上記のとおり、ユーザ管理装置１のユーザ管理部１０９は、「サービス利用申請」のパケットから抽出された送信元ＩＰアドレスと送信元ポート番号からユーザを一意に識別し、ユーザＩＤを発行する。ユーザ管理部１０９は、発行したユーザＩＤを図１３（Ａ）の４０５の箇所に格納したパケットをユーザ端末８に返信する。

【0150】

ユーザ端末８は、サービス利用時に、図１３（Ｂ）のパケットにおけるペイロード４０３の４０５で示す箇所にユーザＩＤとシーケンス番号と「サービス利用」を示すパケット種別の情報とを格納し、ペイロード４０３の４０６で示す箇所にデータ先頭フラグとデータとデータ末尾フラグとを格納する。ユーザ端末８は、このようにして生成した「サービス利用」のパケットをデータ処理システム宛に送信する。データ先頭フラグとデータ末尾フラグとシーケンス番号は、データ処理デバイスまたはデータ転送デバイスによるデータの再構築に必要な情報である。

【0151】

サービス利用時、パラメータ登録時、またはパラメータ回収時にデータ処理システム内では、図１３（Ｃ）に示すフォーマットのパケットが送受信される。このパケットには、Ｅｔｈｅｒｎｅｔヘッダ４００と、タグ４０７と、ペイロード４０３と、ＦＣＳ４０４とが含まれる。ペイロード４０３の４０８で示す箇所には、ユーザＩＤとシーケンス番号とパケット種別の情報とが格納され、ペイロード４０３の４０９で示す箇所には、データ先頭フラグとデータとデータ末尾フラグとが格納される。データ処理システム内では、タグ４０７を用いたパケット通信が行われる。各タグ４０７に行き先のＳＦ部までのルート情報を記載することで、ルート情報に従ってパケットが転送され、ユーザが要求するサービスに対応したＳＦ部でデータ処理が行われる。

【0152】

本実施例で説明したユーザ管理装置１，１－１～１－３とデータ転送デバイス２－１～２－９とデータ処理デバイス３－１～３－１３と外部送信装置４，４－１～４－３と通信管理装置５とユーザ端末８の各々は、ＣＰＵ（またはＧＰＵ）、記憶装置及びインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このコンピュータの構成例を図１４に示す。コンピュータは、ＣＰＵ５００（またはＧＰＵ）と、記憶装置５０１と、インタフェース装置５０２とを備えている。このようなコンピュータにおいて、本発明のデータ処理方法を実現させるためのプログラムは、記憶装置５０１に格納される。各装置のＣＰＵ５００（またはＧＰＵ）は、記憶装置５０１に格納されたプログラムに従って本実施例で説明した処理を実行する。

【0153】

ユーザ管理装置１，１－１～１－３とデータ転送デバイス２－１～２－９とデータ処理デバイス３－１～３－１３と外部送信装置４，４－１～４－３と通信管理装置５の少なくとも一部をＦＰＧＡもしくはＡＳＩＣによって構成してもよい。特に、パケット処理およびデータ処理の一部をこれらのハードウェアで実行することで処理性能の向上が期待できる。

【産業上の利用可能性】

【0154】

本発明は、サービスファンクションチェイニング技術に適用することができる。

【符号の説明】

【0155】

１－１～１－３…ユーザ管理装置、２－１～２－９…データ転送デバイス、３－１～３－１３…データ処理デバイス、４－１～４－３…外部送信装置、５…通信管理装置、６…共有バス、８…ユーザ端末、１００…パケット受信部、１０１…パケット送信部、１０２…パケット解析部、１０３…パケット種別判定部、１０４…ユーザ情報抽出部、１０５…データ管理部、１０６…記憶部、１０７…タグ付加部、１０８…データ通信制御部、１０９…ユーザ管理部、１１０…ＱｏＳ制御部、１１１…タグ生成部、２００－１～２００－Ｍ…パケット受信部、２０１…入力調停部、２０２－１～２０２－Ｊ…パケット送信部、２０３…パケット解析部、２０４…転送制御部、２０５…デバイス間通信制御部、２０６…データ取得部、２０７…パケット作成部、２０８…ルート情報登録部、３００…通信要請部、３０１…パケット振り分け部、３０２－１～３０２－Ｌ…サービス機能部、１０５０…パケット振り分け部、１０５１－１～１０５１－Ｎ…ユーザ判定部、１０５２－１～１０５２－Ｎ…ユーザ選択部、１０５３－１～１０５３－Ｎ…出力選択部、１０５４…出力制御部、１０５５－１～１０５５－Ｎ…メモリコントローラ、２０５０…転送制御部、２０５１…バッファ入力部、２０５２…送信バッファ、２０５３…通信管理部、２０５４－１～２０５４－Ｋ…記憶部、３０２０…パケット順序制御部、３０２１…データ取得部、３０２２…データ構築部、３０２３…レジスタ管理部、３０２４…データ処理部、３０２５…パケット作成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】