知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022187578
(43)【公開日】2022-12-20
(54)【発明の名称】通信制御装置，通信制御システムおよび通信制御方法
(51)【国際特許分類】
H04L 45/42 20220101AFI20221213BHJP
H04L 47/00 20220101ALI20221213BHJP
【ＦＩ】
H04L12/717
H04L12/879
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2021095635
(22)【出願日】2021-06-08
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100092978
【弁理士】
【氏名又は名称】真田 有
(74)【代理人】
【識別番号】100189201
【弁理士】
【氏名又は名称】横田 功
(72)【発明者】
【氏名】清水 貴志
【テーマコード（参考）】
5K030
【Ｆターム（参考）】
5K030GA01
5K030KA03
5K030KA05
5K030LB07
5K030LB11
(57)【要約】
【課題】ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置において、パケットの順序制御を実現する。
【解決手段】フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、転送制御情報においてフローに対して宛先解決待ち状態を設定する設定部１０１と、宛先解決待ち状態において受信したパケットの少なくとも一部を格納する退避用キュー１０５と、フローに対する宛先解決後に、転送するパケットを処理するパイプライン１０１を停止させる停止処理部１０６と、退避用キュー１０５に格納したフローに属するパケットを出力させる出力制御部１０６と、退避用キュー１０５に格納したパケットの出力が完了した後に、パイプライン１０１を動作させる作動制御部１０６５とを備える。
【選択図】図２
【解決手段】フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、転送制御情報においてフローに対して宛先解決待ち状態を設定する設定部１０１と、宛先解決待ち状態において受信したパケットの少なくとも一部を格納する退避用キュー１０５と、フローに対する宛先解決後に、転送するパケットを処理するパイプライン１０１を停止させる停止処理部１０６と、退避用キュー１０５に格納したフローに属するパケットを出力させる出力制御部１０６と、退避用キュー１０５に格納したパケットの出力が完了した後に、パイプライン１０１を動作させる作動制御部１０６５とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置であって、
フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する設定部と、
前記宛先解決待ち状態において受信したパケットの少なくとも一部を格納する退避用キューと、
前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる停止処理部と、
前記退避用キューに格納した前記フローに属するパケットを出力させる出力制御部と、
前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる作動制御部と、
を備えることを特徴とする、通信制御装置。
フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する設定部と、
前記宛先解決待ち状態において受信したパケットの少なくとも一部を格納する退避用キューと、
前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる停止処理部と、
前記退避用キューに格納した前記フローに属するパケットを出力させる出力制御部と、
前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる作動制御部と、
を備えることを特徴とする、通信制御装置。
【請求項2】
前記停止処理部は、前記転送制御情報に対して、前記パイプラインを停止させる制御情報を設定する
ことを特徴とする、請求項１に記載の通信制御装置。
ことを特徴とする、請求項１に記載の通信制御装置。
【請求項3】
前記退避用キューが、
複数のＦＩＦＯ（First In, First Out）バッファと、
前記ＦＩＦＯバッファから出力されたパケットを出力パケット特定情報と比較し、前記出力されたパケットが前記出力パケット特定情報と一致する場合に、当該退避用キューから出力させる比較部と
を備えることを特徴とする、請求項１または２に記載の通信制御装置。
複数のＦＩＦＯ（First In, First Out）バッファと、
前記ＦＩＦＯバッファから出力されたパケットを出力パケット特定情報と比較し、前記出力されたパケットが前記出力パケット特定情報と一致する場合に、当該退避用キューから出力させる比較部と
を備えることを特徴とする、請求項１または２に記載の通信制御装置。
【請求項4】
前記パイプラインに入力されたパケットのうち、宛先解決待ち状態が設定されたパケットとして最初に検出した第１のパケットを検出する検出部を備え、
前記退避用キューは、前記第１のパケットに後続する、当該第１のパケットと同じフローに属するパケットを格納する
ことを特徴とする、請求項１～３のいずれか１項に記載の通信制御装置。
前記退避用キューは、前記第１のパケットに後続する、当該第１のパケットと同じフローに属するパケットを格納する
ことを特徴とする、請求項１～３のいずれか１項に記載の通信制御装置。
【請求項5】
ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置を備える通信制御システムであって、
フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する設定部と、
前記宛先解決待ち状態において受信したパケットの少なくとも一部を格納する退避用キューと、
前記フローに関する宛先解決を行なう宛先解決部と、
前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる停止処理部と、
前記退避用キューに格納した前記フローに属するパケットを出力させる出力制御部と、
前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる作動制御部と、
を備えることを特徴とする、通信制御システム。
フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する設定部と、
前記宛先解決待ち状態において受信したパケットの少なくとも一部を格納する退避用キューと、
前記フローに関する宛先解決を行なう宛先解決部と、
前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる停止処理部と、
前記退避用キューに格納した前記フローに属するパケットを出力させる出力制御部と、
前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる作動制御部と、
を備えることを特徴とする、通信制御システム。
【請求項6】
ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置において、
フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する処理と、
前記宛先解決待ち状態において受信したパケットの少なくとも一部を退避用キューに格納する処理と、
前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる処理と、
前記退避用キューに格納した前記フローに属するパケットを出力させる処理と、
前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる処理と、
を備えることを特徴とする、通信制御方法。
フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する処理と、
前記宛先解決待ち状態において受信したパケットの少なくとも一部を退避用キューに格納する処理と、
前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる処理と、
前記退避用キューに格納した前記フローに属するパケットを出力させる処理と、
前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる処理と、
を備えることを特徴とする、通信制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信制御装置，通信制御システムおよび通信制御方法に関する。
【背景技術】
【0002】
ネットワークにおけるルータとしての機能をソフトウェアにより実現する仮想ルータが知られている。ルータがサーバ間を接続しパケットの宛先を解決するように、仮想ルータは、仮想マシン（ＶＭ：Virtual Machine）間を接続し宛先を解決する。仮想ルータは、一般的に、多数のテーブルを検索し、宛先を解決する。
【0003】
仮想ルータは、ＳＤＮ（Software Defined Network）によって実現され、コントロールプレーンとデータプレーンとを備える。コントロールプレーンは、フローを管理するものであり、例えば、ＩＰ（Internet Protocol）アドレスとポート番号と宛先との組み合わせをフローとして設定する。
【0004】
データプレーンは、パケットの転送を行なうものであり、入力されたパケットの内容を分析し、コントロールプレーンと同じハッシュ（hash）計算を行なうことで、該当エントリにアクセスして宛先を特定する。
【0005】
データプレーンにおいては、入力されたパケットの送信先のＩＰアドレスとポート番号とに基づいてフローテーブル（flow table）を参照して、パケットの転送先を決定する。
【0006】
フローテーブルにおいては、送信元と受信先のＩＰアドレスとポート番号との組合せがエントリとして登録されるが、新しいサービスを開始する際にはエントリが未登録である。そこで、コントロールプレーンが、パケットを転送して良いか、アドレスを変更する必要があるかなどを解決（宛先解決）し、フローテーブルにエントリを登録する。このように、フローテーブルにエントリを登録することをフロー学習といってもよい。また、データプレーンにおいて、フローテーブルを参照した際にエントリの登録がない状態をフローミスといってもよい。
【0007】
仮想ルータにおいて、ソフトウェアにより実現されるデータプレーンは、ＣＰＵ（Central Processing Unit）のリソースを大量に占有する。そこで、近年においては、データプレーンの一部の機能をＦＰＧＡ（Field Programmable Gate Array）等のハードウェアにオフロードさせることが行なわれている。ソフトウェアによって実現される機能の一部をハードウェアにオフロードさせることをハードウェアオフロードといってもよい。
図２６は従来の仮想ルータの構成を例示する図である。
この図２６においては、データプレーンに示される各機能がＦＰＧＡにオフロード（ハードオフロード）されている。
図２６は従来の仮想ルータの構成を例示する図である。
この図２６においては、データプレーンに示される各機能がＦＰＧＡにオフロード（ハードオフロード）されている。
【0008】
仮想ルータにおいて、フローテーブルに登録がなかったパケットは、コントロールプレーンに送信され（図２６の符号Ａ１参照）、コントロールプレーンによる宛先やアクションの解決が行なわれた後に、データプレーンに再投入される（図２６の符号Ａ２参照）。
【0009】
ここで、同時に大量のフローミスが発生すると全てのパケットをバッファすることが難しい。そのため、多くの場合はこれらのフローミスが生じたパケットをバッファせず、パイプラインに再投入される。
【0010】
再投入されたパケットは通常のパイプラインとは別経路の再投入パイプライン（符号Ａ３参照）を介してクロスバースイッチ（Xbar SW）に出力することで、再度の登録チェックが防止される。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】国際公開第２０１３／１４６７７０号
【特許文献2】特表２０１８－５１１２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかしながら、このようなハードオフロードされた従来の仮想ルータにおいては、パケットを再投入するアーキテクチャが多く、パケットの順序制御が困難であるという課題がある。
図２７はハードオフロードされた従来の仮想ルータにおけるパケット転送例を示す図である。
図２７はハードオフロードされた従来の仮想ルータにおけるパケット転送例を示す図である。
【0013】
この図２７においては、同一のフローに属する４つのパケットに符号ｐ１～ｐ４を付して示す。これらのパケットｐ１～ｐ４は、ｐ１，ｐ２，ｐ３，ｐ４の順に入力され、この順で送出されるべきものである。
【0014】
パケットｐ２はフローテーブルへのフローの登録書込みが間に合わず、コントロールプレーンに転送されたものとする。また、パケットｐ３はコントロールプレーンによるフローテーブルへのフローの登録書込みが間に合ったものとする。これにより、パケットｐ３がパケットｐ１，ｐ２よりも先に出力されている。すなわち、仮想ルータにｐ１，ｐ２，ｐ３，ｐ４の順に入力された４つのパケットが、パケットｐ３，ｐ１，ｐ２，ｐ４の順で出力されている。
【0015】
パケットｐ１とパケットｐ２との順序関係や、パケットｐ３とパケットｐ４との順序関係は維持されているが、パケットｐ１とパケットｐ３との順序関係や、パケットｐ２とパケットｐ３との順序関係が入れ替わっている。
【0016】
ここで、図２７に示すように、ｐ１，ｐ２，ｐ３，ｐ４の順に入力されたパケットが、パケットｐ３，ｐ１，ｐ２，ｐ４の順で転送された場合には、ＴＣＰ（Transmission Control Protocol）等の通信において、パケットｐ３が再送される。これにより、全体の処理速度が低下し、サービスの低下が発生する。
【0017】
１つの側面では、本発明は、ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置において、パケットの順序制御を実現することを目的とする。
【課題を解決するための手段】
【0018】
このため、この通信制御装置は、ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置であって、フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する設定部と、前記宛先解決待ち状態において受信したパケットの少なくとも一部を格納する退避用キューと、前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる停止処理部と、前記退避用キューに格納した前記フローに属するパケットを出力させる出力制御部と、前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる作動制御部と、を備える。
【発明の効果】
【0019】
一実施形態によれば、ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置においてパケットの順序制御を実現することができる。
【図面の簡単な説明】
【0020】
【図1】第１実施形態の一例としての仮想ルータの機能を実現する情報処理装置のハードウェア構成を例示する図である。
【図2】第１実施形態の一例としての仮想ルータの機能構成を示す図である。
【図3】第１実施形態の一例としての仮想ルータにおけるフローテーブルにおける管理情報の遷移を示す図である。
【図4】第１実施形態の一例としての仮想ルータにおける退避用バッファ部および検査回路の構成を例示する図である。
【図5】第１実施形態の一例としての仮想ルータにおける処理を説明するタイミングチャートである。
【図6】第１実施形態の一例としての仮想ルータにおける処理を説明するタイミングチャートである。
【図7】第１実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図8】第１実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図9】第１実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図10】第１実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図11】第１実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図12】第１実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図13】第１実施形態の一例としての仮想ルータにおけるパイプラインの処理を説明するためのフローチャートである。
【図14】第２実施形態の一例としての仮想ルータの機能構成を示す図である。
【図15】第２実施形態の一例としての仮想ルータにおける退避用バッファ部および検査回路の構成を例示する図である。
【図16】第２実施形態の一例としての仮想ルータにおける処理を説明するためのタイミングチャートである。
【図17】第２実施形態の一例としての仮想ルータにおける処理を説明するためのタイミングチャートである。
【図18】第２実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図19】第２実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図20】第２実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図21】第２実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図22】第２実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図23】第２実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図24】第２実施形態の一例としての仮想ルータにおける処理の遷移を例示する図である。
【図25】第２実施形態の一例としての仮想ルータにおけるパイプラインの処理を説明するためのフローチャートである。
【図26】従来の仮想ルータの構成を例示する図である。
【図27】ハードオフロードされた従来の仮想ルータにおけるパケット転送例を示す図である。
【発明を実施するための形態】
【0021】
以下、図面を参照して本通信制御装置，通信制御システムおよび通信制御方法にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
【0022】
（Ｉ）第１実施形態の説明
（Ａ）構成
図１は第１実施形態の一例としての仮想ルータ１ａの機能を実現する情報処理装置２０のハードウェア構成を例示する図である。
情報処理装置２０は、例えば、サーバ機能を有するコンピュータであってもよい。情報処理装置２０は仮想ルータ１ａとしての機能を実現する。
（Ａ）構成
図１は第１実施形態の一例としての仮想ルータ１ａの機能を実現する情報処理装置２０のハードウェア構成を例示する図である。
情報処理装置２０は、例えば、サーバ機能を有するコンピュータであってもよい。情報処理装置２０は仮想ルータ１ａとしての機能を実現する。
【0023】
仮想ルータ１ａは、仮想マシン３００（図２参照）間や、仮想マシン３００と図示しない他の装置との間においてパケットの送受信（転送）を行なう。仮想マシンをＶＭと表す場合がある。
【0024】
仮想マシン３００は、例えば、ハイパーバイザ等のアプリケーションプログラム上で作成される仮想的なコンピュータである。仮想マシン３００は、物理ハードウェアで実現されるコンピュータと同様に種々の処理を実行する。例えば、仮想マシン３００は、種々のＯＳ（ゲストＯＳ）やこのゲストＯＳ上で稼動するアプリケーションプログラムを実行する。ＯＳはOperating Systemの略語である。なお、仮想マシン３００は既知の手法により実現することができ、その説明は省略する。また、仮想マシン３００に代えて、コンテナ等の他の仮想化基盤技術を用いてもよく、適宜変更して実施することができる。
仮想マシン３００は仮想ポート（図示省略）を備え、この仮想ポートを介してパケットの送受信を行なう。仮想ポートは、ポート番号によって特定される。
仮想マシン３００は仮想ポート（図示省略）を備え、この仮想ポートを介してパケットの送受信を行なう。仮想ポートは、ポート番号によって特定される。
【0025】
情報処理装置２０は、図１に例示するように、ＣＰＵ２，システムメモリ３およびＰＣＩ（Peripheral Component Interconnect）カード４を備える。
【0026】
ＣＰＵ２は、種々の制御や演算を行なう処理装置であり、システムメモリ３に格納されたＯＳやプログラムを実行することにより、種々の機能を実現する。すなわち、ＣＰＵ２は、仮想ルータとしての機能を実現する。
【0027】
システムメモリ３は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む記憶メモリである。システムメモリ３のＲＯＭには、仮想ルータ制御に係るソフトウェアプログラムやこのプログラム用のデータ類が書き込まれている。システムメモリ３上のソフトウェアプログラムは、ＣＰＵ２に適宜読み込まれて実行される。また、システムメモリ３のＲＡＭは、一次記憶メモリあるいはワーキングメモリとして利用される。
【0028】
また、情報処理装置２０は、図示しない記憶装置を備えてもよい。記憶装置は、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、ＳＳＤ（Solid State Drive），ストレージクラスメモリ（Storage Class Memory：ＳＣＭ）や、等の記憶装置であって、種々のデータを格納するものである。
【0029】
ＰＣＩカード４は、情報処理装置２０の機能を拡張する拡張カードであり、例えば、情報処理装置２０の図示しない主基板（マザーボード）に取り付けられる。ＰＣＩカード４は、情報処理装置２０の主基板とＰＣＩバスを介して通信を行なう。
【0030】
ＰＣＩカード４は、図１に示すように、オンボードメモリ５およびＦＰＧＡ１０を備える。オンボードメモリ５は、ＦＰＧＡ１０における論理回路の基になるプログラム（コンフィギュレーションデータ）を記憶する。
【0031】
ＦＰＧＡ１０は、デジタル回路の回路設計を電気的に変更可能なデバイスである。ＦＰＧＡ１０は、多数の論理ゲートを有するＬＳＩ（Large Scale Integration circuit）である。ＦＰＧＡ１０は、論理ゲート間の論理関係と接続関係とを記述したコンフィギュレーションデータをＦＰＧＡ１０が備えるコンフィギュレーションＲＡＭ（図示省略）に書き込むことで、所定の論理回路として機能する。
【0032】
ＦＰＧＡ１０は、ＳＲＡＭ（Static Random Access Memory）１１および複数のレジスタ１２を備え、ＦＰＧＡ１０の電源投入時においては、オンボードメモリ５からプログラムファイル（ビットストリームデータ）がロードされ、ＦＰＧＡ１０内のＳＲＡＭ１１にロードされる。
【0033】
ＳＲＡＭ１１にロードされたビットストリームデータの個々のビット（bit）がＦＰＧＡ１０上で実現するユーザ回路の情報元となり、ＦＰＧＡ１０に装備されているリソースをカスタマイズして所定の回路が実現される。本情報処理装置２０においては、ＦＰＧＡ１０が、仮想ルータ１ａにおけるデータプレーンの少なくとも一部の機能を実現する。
レジスタ１２には、ＦＰＧＡ１０がデータプレーンとしての機能時に生成された各種データ等が一時的に格納されてもよい。
図２は第１実施形態の一例としての仮想ルータ１ａの機能構成を示す図である。
レジスタ１２には、ＦＰＧＡ１０がデータプレーンとしての機能時に生成された各種データ等が一時的に格納されてもよい。
図２は第１実施形態の一例としての仮想ルータ１ａの機能構成を示す図である。
【0034】
【0035】
コントロールプレーン２００は、後述するデータプレーン１００ａのフローテーブルに未登録のフロー（flow）についてのアクション（action）を決定する。コントロールプレーン２００は、データプレーン１００ａのパイプライン１０１から、フローテーブルに未登録のフロー（flow）に属するパケットが転送されると、当該パケットが属するフローに対して行なわれるアクションを決定する。データプレーン１００ａにおいて、フローテーブルにフローが登録されていない状態をフローミス（flow miss）といってもよい。
【0036】
コントロールプレーン２００が決定するアクションの内容には、flow，bridge，route，NextHopが含まれてもよく、また、block serviceやAdder changeのようなセキュリティポリシーが含まれてもよい。
【0037】
コントロールプレーン２００は、例えば、経路制御プロトコルであるＢＧＰ（Border Gateway Protocol）に基づいて宛先情報を解析してもよい。
【0038】
また、コントロールプレーン２００は、フローミスとなったパケットに、当該パケットが属するフローについて決定したアクションをfoward情報として付加し、当該foward情報が付加されたパケットをデータプレーン１００ａの再投入ポート１０７に入力させる。
【0039】
仮想ルータ１ａにおいては、パケットの5tuple（送信元IP，送信元ポート番号，宛先IP，宛先ポート番号およびプロトコル番号）に基づいて算出したハッシュ値（hash）を用いて、個々のパケットのフローを特定してよい。
【0040】
以下、パケットの5tupleに基づいて算出したハッシュ値を、単に、パケットのハッシュ値という場合がある。また、例えば、フローの一致／不一致等の判断にパケットのハッシュ値を比較することを、単に、パケットを比較するという場合がある。
【0041】
コントロールプレーン２００は、情報処理装置２０に備えられてもよい。また、情報処理装置２０は、他の情報処理装置とネットワークを介して接続された情報処理システム（通信制御システム）を構成してもよく、コントロールプレーン２００は、この情報処理装置２０に接続された他の情報処理装置に備えられてもよい。
【0042】
仮想ルータ１ａのデータプレーン１００ａは、図２に示すように、パイプライン１０１，外部インタフェース１０２，ＶＭインタフェース１０３，クロスバースイッチ（Xbar SW）１０４，退避用バッファ部１０５，検査回路１０６ａおよび再投入ポート１０７を備える。
【0043】
再投入ポート１０７には、コントロールプレーン２００から再投入されるパケットが入力される。再投入ポート１０７に入力されたパケットを再投入パケットといってもよい。また、再投入ポート１０７をインジェクションポート（inje）１０７といってもよい。
再投入ポート１０７に入力されたパケットは、後述する検査回路１０６ａに転送（入力）される。
再投入ポート１０７に入力されたパケットは、後述する検査回路１０６ａに転送（入力）される。
【0044】
パイプライン１０１には、転送されるパケットが入力される。このパイプライン１０１上にあるパケットについて複数の管理テーブル等が参照され、宛先検索等が行なわれる。管理テーブルにおいて、flow（フロー），bridge，route，NextHop等が管理される。また、特に、フローを管理する管理テーブルをフローテーブルといってもよい。フローテーブルは、フローを構成する複数のパケットの転送に用いられる転送制御情報として機能する。
パイプライン１０１に入力されたパケットはＦＩＦＯ（First In, First Out）でクロスバースイッチ１０４に出力されてもよい。
また、パイプライン１０１は、フローテーブルにフローが登録されていないパケットを、後述する退避用バッファ部１０５に転送する。
パイプライン１０１に入力されたパケットはＦＩＦＯ（First In, First Out）でクロスバースイッチ１０４に出力されてもよい。
また、パイプライン１０１は、フローテーブルにフローが登録されていないパケットを、後述する退避用バッファ部１０５に転送する。
【0045】
さらに、パイプライン１０１は、フローを構成する複数のパケットの転送時に、フローテーブル（転送制御情報）に未登録（フローミス）のフローのパケットを検出すると、前フローテーブルにおいて当該フローに対してhold（宛先解決待ち状態）を設定する設定部として機能する。
【0046】
外部インタフェース１０２は、図示しない外部装置との間でパケットの送受信を行なう。外部装置へ送出されるパケットは、この外部インタフェース１０２を介して送信される。また、外部装置から入力されたパケットは、この外部インタフェース１０２によって受信され、パイプライン１０１に入力される。
【0047】
ＶＭインタフェース１０３は、仮想マシン３００との間でパケットの送受信を行なう。仮想マシン３００へ送出されるパケットは、このＶＭインタフェース１０３を介して送信される。また、仮想マシン３００から入力されたパケットは、このＶＭインタフェース１０３によって受信され、パイプライン１０１に入力される。
【0048】
クロスバースイッチ１０４は、パイプライン１０１および退避用バッファ部１０５からそれぞれ出力されるパケットの送出先を、各宛先に応じて切り替える。クロスバースイッチ１０４は、例えば、外部装置へ送信されるパケットを外部インタフェース１０２に入力する。また、クロスバースイッチ１０４は、仮想マシン３００へ送信されるパケットをＶＭインタフェース１０３に入力する。
【0049】
また、クロスバースイッチ１０４は、パイプライン１０１に入力されたパケットであって、フローテーブルにそのフローが登録されていないパケットをコントロールプレーン２００に入力する。図２に示す例においては、コントロールプレーン２００にパケットを送出するために用いるポートを符号pkt0を付して示している。
【0050】
退避用バッファ部１０５には、フローテーブルにフローが登録されていないパケットが入力される。退避用バッファ部１０５は、複数種類のフローに属する複数のパケットが入力され、退避用バッファ部１０５は、これらの複数種類のフローに属する複数のパケットの中から、特定のフローに属するパケットだけを選択して出力することができる。
また、退避用バッファ部１０５に入力される同一のフローに属する複数のパケットは、その順序を維持した状態で出力される。
退避用バッファ部１０５は、hold（宛先解決待ち）状態において受信したパケットの少なくとも一部を格納する退避用キューとして機能する。
なお、退避用バッファ部１０５の詳細な構成については図４を用いて後述する。
検査回路１０６ａは、パイプライン１０１および退避用バッファ部１０５からそれぞれ出力されるパケットの制御を行なう。
検査回路１０６ａには、コントロールプレーン２００が再投入ポート１０７に投入したパケットが入力される。
また、退避用バッファ部１０５に入力される同一のフローに属する複数のパケットは、その順序を維持した状態で出力される。
退避用バッファ部１０５は、hold（宛先解決待ち）状態において受信したパケットの少なくとも一部を格納する退避用キューとして機能する。
なお、退避用バッファ部１０５の詳細な構成については図４を用いて後述する。
検査回路１０６ａは、パイプライン１０１および退避用バッファ部１０５からそれぞれ出力されるパケットの制御を行なう。
検査回路１０６ａには、コントロールプレーン２００が再投入ポート１０７に投入したパケットが入力される。
【0051】
検査回路１０６ａは、再投入ポート１０７からパケットが入力されると、フローテーブルにおける当該パケットのフローに対してstallを登録（設定）する。
図３は第１実施形態の一例としての仮想ルータ１ａにおけるフローテーブルにおける管理情報の遷移を示す図である。
図３は第１実施形態の一例としての仮想ルータ１ａにおけるフローテーブルにおける管理情報の遷移を示す図である。
【0052】
本仮想ルータ１ａにおいて、フローテーブルにおける各フローの管理情報は、図３に示すように、invalid、hold、stallおよびvalidの順で遷移する。
【0053】
ここで、invalidは当該フローがフローテーブルに未登録（無効）であることを示す。パイプライン１０１は、フローテーブルにinvalidが設定されているフローに属するパケットを、退避用バッファ部１０５に格納する。
【0054】
validは当該フローがフローテーブルに登録済み（有効）であることを示す。パイプライン１０１は、フローテーブルにvalidが設定されているフローに属するパケットを、フローテーブルにおいて当該フローに対して設定されているアクションに従って処理を行ない、クロスバースイッチ１０４に入力する。
【0055】
holdは、当該フローがフローテーブルに未登録であり、且つ、コントロールプレーン２００により当該フローのアクションがフローテーブルに登録されることを待機している状態であることを示す。すなわち、holdは、当該フローのコントロールプレーン２００による宛先解決待ちの状態を示す。パイプライン１０１は、フローテーブルにholdが設定されているフローに属するパケットを、退避用バッファ部１０５に格納する。
パイプライン１０１においてフローミスが検出されると、フローテーブルにおいて、当該パケットが属するフローにholdが設定される。
パイプライン１０１においてフローミスが検出されると、フローテーブルにおいて、当該パケットが属するフローにholdが設定される。
【0056】
stallは、コントロールプレーン２００により当該フローのアクションがフローテーブルに登録され、当該フローのパケットが再投入ポート１０７に再投入された状態であることを示す。パイプライン１０１は、フローテーブルにstallが設定されているフローに属するパケットが入力された場合に、当該パイプライン１０１を停止させる。stallは、パイプライン１０１を停止させる制御情報として機能する。
図４は第１実施形態の一例としての仮想ルータ１ａにおける退避用バッファ部１０５および検査回路１０６ａの構成を例示する図である。
図４は第１実施形態の一例としての仮想ルータ１ａにおける退避用バッファ部１０５および検査回路１０６ａの構成を例示する図である。
【0057】
退避用バッファ部１０５は、図４に示すように、入力切替スイッチ１０５１，ＦＩＦＯバッファ１０５２－１，１０５２－２，出力制御スイッチ１０５３－１，１０５３－２，コンパレータ１０５４－１，１０５４－２，出力ゲート１０５５および切替判定部１０５６を備える。
【0058】
ＦＩＦＯバッファ１０５２－１，１０５２－２はいずれもＦＩＦＯバッファであり、パイプライン１０１から入力されるパケットが、ＦＩＦＯバッファ１０５２－１，１０５２－２のいずれか一方に入力される。
以下、ＦＩＦＯバッファ１０５２－１，１０５２－２を特に区別しない場合には、ＦＩＦＯバッファ１０５２と表記する。
以下、ＦＩＦＯバッファ１０５２－１，１０５２－２を特に区別しない場合には、ＦＩＦＯバッファ１０５２と表記する。
【0059】
入力切替スイッチ１０５１は、パイプライン１０１から入力されるパケットをＦＩＦＯバッファ１０５２－１とＦＩＦＯバッファ１０５２－２とのいずれか一方に入力する（振り分ける）。入力切替スイッチ１０５１は、例えば、ＦＩＦＯバッファ１０５２－１とＦＩＦＯバッファ１０５２－２とのいずれか一方に連続してパケットを格納させ、当該ＦＩＦＯバッファ１０５２がバッファフル状態になると、他方に切り替えてパケットを格納させる制御を行なう。
【0060】
出力制御スイッチ１０５３－１はＦＩＦＯバッファ１０５２―１からパケットを出力し、コンパレータ１０５４―１に入力させる。出力制御スイッチ１０５３－２はＦＩＦＯバッファ１０５２―２からパケットを出力し、コンパレータ１０５４―２に入力させる。以下、出力制御スイッチ１０５３―１，１０５３―２を特に区別しない場合には、出力制御スイッチ１０５３と表記する。
【0061】
これらの出力制御スイッチ１０５３は、後述する検査回路１０６ａの順序制御回路１０６３からの検査開始指示に従って、ＦＩＦＯバッファ１０５２からパケットを出力させる。
【0062】
コンパレータ１０５４－１は、ＦＩＦＯバッファ１０５２―１から出力されたパケットのハッシュ値と、順序制御回路１０６３から入力される比較対象のハッシュ値とを比較する。比較対象のハッシュ値は、退避用バッファ部１０５から出力させたいパケットのフローを示す。
【0063】
この比較の結果、ハッシュ値が一致した場合に、コンパレータ１０５４－１は、ＦＩＦＯバッファ１０５２―１から出力されたパケットを、出力ゲート１０５５を介してクロスバースイッチ１０４に対して出力する。また、比較の結果、ハッシュ値が不一致であった場合には、コンパレータ１０５４―１は、ＦＩＦＯバッファ１０５２―１から出力されたパケットを、後述する切替判定部１０５６に入力する。
【0064】
コンパレータ１０５４－２は、ＦＩＦＯバッファ１０５２―２から出力されたパケットのハッシュ値と、順序制御回路１０６３から入力される比較対象のパケットのハッシュ値（比較対象ハッシュ値）とを比較する。
【0065】
この比較の結果、ハッシュ値が一致した場合に、コンパレータ１０５４―２は、ＦＩＦＯバッファ１０５２―２から出力されたパケットを、出力ゲート１０５５を介してクロスバースイッチ１０４に対して出力する。また、比較の結果、ハッシュ値が不一致であった場合には、コンパレータ１０５４―２は、ＦＩＦＯバッファ１０５２―２から出力されたパケットを切替判定部１０５６に入力する。
【0066】
以下、コンパレータ１０５４－１，１０５４－２を特に区別しない場合には、コンパレータ１０５４と表記する。
コンパレータ１０５４による比較の結果、順序制御回路１０６３から入力される比較対象のパケットのハッシュ値に一致するパケットを出力対象パケットといってもよい。また、コンパレータ１０５４による比較の結果、順序制御回路１０６３から入力される比較対象のパケットのハッシュ値に一致しないパケットを出力非対象パケットといってもよい。
退避用バッファ部１０５（ＦＩＦＯバッファ１０５２）からは、出力対象パケットだけが出力される。
コンパレータ１０５４による比較の結果、順序制御回路１０６３から入力される比較対象のパケットのハッシュ値に一致するパケットを出力対象パケットといってもよい。また、コンパレータ１０５４による比較の結果、順序制御回路１０６３から入力される比較対象のパケットのハッシュ値に一致しないパケットを出力非対象パケットといってもよい。
退避用バッファ部１０５（ＦＩＦＯバッファ１０５２）からは、出力対象パケットだけが出力される。
【0067】
コンパレータ１０５４において、順序制御回路１０６３から入力される比較対象ハッシュ値は、退避用バッファ部１０５から出力させるパケットを特定するための出力パケット特定情報として機能する。
【0068】
切替判定部１０５６は、コンパレータ１０５４―１からパケットが入力されると、当該パケットをＦＩＦＯバッファ１０５２―２に格納する。また、切替判定部１０５６は、コンパレータ１０５４―２からパケットが入力されると、当該パケットをＦＩＦＯバッファ１０５２―１に格納する。
【0069】
これにより、退避用バッファ部１０５のＦＩＦＯバッファ１０５２においては、コンパレータ１０５４による比較の結果判定された出力非対象パケットが格納される。このＦＩＦＯバッファ１０５２への再度の格納に際して、２つ（１組）のＦＩＦＯバッファ１０５２のうちの一方のＦＩＦＯバッファ１０５２に格納されていた出力非対象パケットは、他方のＦＩＦＯバッファ１０５２に格納（移動）される。
【0070】
また、切替判定部１０５６は、１つのフローに属する全てのパケットがＦＩＦＯバッファ１０５２から出力された場合に、検査回路１０６ａの順序制御回路１０６３に対して、出力完了報告を通知する。
【0071】
出力ゲート１０５５には、コンパレータ１０５４－１，１０５４－２のそれぞれから出力されるパケットが入力され、これらの入力されたパケットをクロスバースイッチ１０４に入力する。
【0072】
検査回路１０６ａは、図４に示すように、アクションデコーダ１０６１，stall書込処理部１０６２，順序制御回路１０６３，valid書込制御部１０６４および再起動指示部１０６５としての機能を備える。
【0073】
アクションデコーダ１０６１は、再投入ポート１０７から入力された再投入パケットから、コントロールプレーン２００によって設定されたアクションの情報を抽出し、デコードを行なう。
【0074】
stall書込処理部１０６２には、再投入ポート１０７から再投入パケットが入力される。stall書込処理部１０６２は、再投入パケットのハッシュ値に基づいてフローテーブルを参照し、フローテーブルにおける当該パケットが属するフローに対してstallを登録（設定）する。
【0075】
上述の如く、stallが設定されているフローに属するパケットが入力された場合には、パイプライン１０１は停止される。従って、stall書込処理部１０６２は、フローに対する宛先解決後に、転送するパケットを処理するパイプライン１０１を停止させる停止処理部として機能する。
【0076】
順序制御回路１０６３は、各出力制御スイッチ１０５３に対して、検査開始指示を入力し、各ＦＩＦＯバッファ１０５２に格納されたパケットを、順次、コンパレータ１０５４に出力させる。
【0077】
順序制御回路１０６３は、再投入ポート１０７から入力されたパケット（転送対象パケット）が属するフローを表すハッシュ値を退避用バッファ部１０５の各コンパレータ１０５４に入力する。転送対象パケットが属するフローを表すハッシュ値は、退避用バッファ部１０５から出力させるパケットを特定するための出力パケット特定情報として機能する。
【0078】
また、順序制御回路１０６３には、退避用バッファ部１０５の切替判定部１０５６から、１つのフローに属する全てのパケットがＦＩＦＯバッファ１０５２から出力されたことを示す出力完了報告が入力される。順序制御回路１０６３は、順序制御回路１０６３から出力完了報告が入力されると、valid書込制御部１０６４に処理対象のフローの出力が完了した旨の通知を入力する。
【0079】
valid書込制御部１０６４は、順序制御回路１０６３から処理対象のフローの出力が完了した旨の通知が入力されると、フローテーブルにおける当該処理対象フローに対してvalidを登録（設定）する。valid書込制御部１０６４は、処理対象のフローの出力が完了した旨の通知を再起動指示部１０６５に入力してもよい。
【0080】
再起動指示部１０６５は、フローテーブルにおけるフローにvalidが設定されると、パイプライン１０１に対して再起動を行なわせる。これにより、パイプライン１０１上に保持されていたパケットが出力される。valid書込制御部１０６４から処理対象のフローの出力が完了した旨の通知が入力されると、パイプライン１０１に対して再起動を行なわせてもよい。
【0081】
再起動指示部１０６５は、退避用バッファ部１０５（退避用キュー）に格納したパケットの出力が完了した後に、パイプライン１０１を動作させる作動制御部として機能する。
（Ｂ）動作
（Ｂ）動作
【0082】
【0083】
【0084】
また、図７～図１２に示す例においては、仮想マシン３００が、パケットa1～a5を備えるフローaと、パケットb1～b5を備えるフローbと、パケットc1～c5を備えるフローcとを送信する例を示し、主にフローaの転送処理について説明する。
【0085】
フローbは、フローaの処理中に検出されるフローであって、初期状態においては、これらのフローa,bはフローテーブルに未登録（invalid）であるものとする（図７の符号Ｐ１，Ｐ２参照）。また、初期状態において、フローcはフローテーブルに登録済み（valid）であるものとする（図７の符号Ｐ３参照）。
【0086】
送信元の仮想マシン（送信ＶＭ）３００から送信先の仮想マシン（受信ＶＭ）３００に対して送信されたパケットa1はパイプライン１０１に入力される（図５の符号Ｓ０１）。パイプライン１０１は、フローテーブルを参照し（図５の符号Ｓ０２）、フローaがinvalidであることを取得（フローミスを検出）する（図５の符号Ｓ０３，図８の符号Ｐ１参照）。
【0087】
パイプライン１０１は、フローテーブルにおけるフローａの管理情報にholdを設定する（図８の符号Ｐ２参照）。また、パイプライン１０１は、フローミスとなったパケットa1をコントロールプレーン２００に転送する（図５の符号Ｓ０４，図９の符号Ｐ１参照）。コントロールプレーン２００においては、フローaについての宛先検索を開始する。
さらに、パイプライン１０１は、パケットa1を退避用バッファ部１０５に登録する（図５の符号Ｓ０５，図９の符号Ｐ２参照）。
さらに、パイプライン１０１は、パケットa1を退避用バッファ部１０５に登録する（図５の符号Ｓ０５，図９の符号Ｐ２参照）。
【0088】
また、送信元の仮想マシン（送信ＶＭ）３００は、送信先の仮想マシン（受信ＶＭ）３００に対してパケットa2を送信し、このパケットa2はパイプライン１０１に入力される（図５の符号Ｓ０６）。このパケットa2は、フローテーブルにおけるフローａの管理情報にholdが設定される前にパイプライン１０１に到達したものとする。
【0089】
【0090】
パイプライン１０１は、フローミスとなったパケットa2をコントロールプレーン２００に転送する（図５の符号Ｓ０９，図９の符号Ｐ３参照）。コントロールプレーン２００においては、フローaについての宛先検索を実施中であるので、このパケットa2に基づくフローaの宛先検索は行なわれず、パケットa2はコントロールプレーン２００から破棄される（図５の符号Ｓ１０）。
さらに、パイプライン１０１は、パケットa2を退避用バッファ部１０５に登録する（図５の符号Ｓ１１，図９の符号Ｐ４参照）。
ここで、フローテーブルにおけるフローａの管理情報にholdが反映される（図５の符号Ｓ１２，図９の符号Ｐ５参照）。
さらに、パイプライン１０１は、パケットa2を退避用バッファ部１０５に登録する（図５の符号Ｓ１１，図９の符号Ｐ４参照）。
ここで、フローテーブルにおけるフローａの管理情報にholdが反映される（図５の符号Ｓ１２，図９の符号Ｐ５参照）。
【0091】
また、送信元の仮想マシン（送信ＶＭ）３００は、送信先の仮想マシン（受信ＶＭ）３００に対してパケットa3を送信し、このパケットa3はパイプライン１０１に入力される（図５の符号Ｓ１３）。パイプライン１０１は、フローテーブルを参照し（図５の符号Ｓ１４）、フローaがholdであることを取得する（図５の符号Ｓ１５）。
パイプライン１０１は、パケットa3を退避用バッファ部１０５に登録する（図５の符号Ｓ１６）。
パイプライン１０１は、パケットa3を退避用バッファ部１０５に登録する（図５の符号Ｓ１６）。
【0092】
また、送信元の仮想マシン（送信ＶＭ）３００は、送信先の仮想マシン（受信ＶＭ）３００に対して送信するパケットb1を出力し、このパケットb1はパイプライン１０１に入力される（図５の符号Ｓ１７）。パイプライン１０１は、フローテーブルを参照し（図５の符号Ｓ１８）、フローbがinvalidであることを取得（フローミスを検出）する（図５の符号Ｓ１９，図９の符号Ｐ６参照）。
【0093】
パイプライン１０１は、フローテーブルにおけるフローbの管理情報にholdを設定する（図１０の符号Ｐ１参照）。また、パイプライン１０１は、フローミスとなったパケットb1をコントロールプレーン２００に転送する（図５の符号Ｓ２０）。コントロールプレーン２００においては、フローbについての宛先検索を開始する。
さらに、パイプライン１０１は、パケットb1を退避用バッファ部１０５に登録する（図５の符号Ｓ２１，図１０の符号Ｐ２参照）。
さらに、パイプライン１０１は、パケットb1を退避用バッファ部１０５に登録する（図５の符号Ｓ２１，図１０の符号Ｐ２参照）。
【0094】
また、送信元の仮想マシン（送信ＶＭ）３００は、送信先の仮想マシン（受信ＶＭ）３００に対してパケットa4を送信し、このパケットa4はパイプライン１０１に入力される（図５の符号Ｓ２２）。パイプライン１０１は、フローテーブルを参照し（図５の符号Ｓ２３）、フローaがholdであることを取得する（図５の符号Ｓ２４）。
さらに、パイプライン１０１は、パケットa4を退避用バッファ部１０５に登録する（図５の符号Ｓ２５，図１０の符号Ｐ３参照）。
さらに、パイプライン１０１は、パケットa4を退避用バッファ部１０５に登録する（図５の符号Ｓ２５，図１０の符号Ｐ３参照）。
【0095】
その後、同様にして、送信元の仮想マシン（送信ＶＭ）３００から、送信先の仮想マシン（受信ＶＭ）３００に対してパケットb2，a5が送信され、同様の処理が行なわれて、これらのパケットb2,a5が退避用バッファ部１０５に登録される（図６の符号Ｓ２６，図１１の符号Ｐ１参照）。
【0096】
ここで、コントロールプレーン２００において宛先検索が完了すると（図６の符号Ｓ２７）、コントロールプレーン２００は、パケットa1にforwardを付して再投入ポート１０７に転送する。
【0097】
再投入ポート１０７に入力されたforwardが付されたパケットa1は、検査回路１０６ａに入力される（図６の符号Ｓ２８，図１０の符号Ｐ４参照）。検査回路１０６ａは、フローテーブルにおける当該パケットa1のフローaに対してstallを登録（設定）する（図６の符号Ｓ２９，図１１の符号Ｐ２参照）。
【0098】
検査回路１０６ａは、forwardが付されたパケットa1から宛先情報を取得し、退避用バッファ部１０５格納されている該当フロー（本例ではフローa）に属する各パケット（a1～a5）に宛先情報を付加する（図６の符号Ｓ３０，図１１の符号Ｐ３参照）。検査回路１０６ａにおいて順序制御回路１０６３は、退避用バッファ部１０５に格納された複数のパケットのうち、パケットa1と同一のフローに属する各パケットa1～a5を出力させる（図６の符号Ｓ３１，図１２の符号Ｐ１参照）。クロスバースイッチ１０４は退避用バッファ部１０５から出力されたこれらのパケットを、送信先の仮想マシン（受信ＶＭ）３００に送信する。
【0099】
退避用バッファ部１０５の切替判定部１０５６が、順序制御回路１０６３に対して、フローaに属する全てのパケットa1～a5がＦＩＦＯバッファ１０５２から出力されたことを示す出力完了報告を入力する（図６の符号Ｓ３２，図１２の符号Ｐ２参照）。
【0100】
またここで、送信元の仮想マシン（送信ＶＭ）３００は、送信先の仮想マシン（受信ＶＭ）３００に対して送信するパケットa6を出力し、このパケットa6はパイプライン１０１に入力される（図６の符号Ｓ３３）。パイプライン１０１は、フローテーブルを参照し（図６の符号Ｓ３４）、フローaがstallであることを取得する（図５の符号Ｓ３５）。これにより、パイプライン１０１は、当該パイプライン１０１を停止させる（図６の符号Ｓ３６）。これにより、パケットa6はパイプライン１０１上に保持される（図６の符号Ｓ３７，図１１の符号Ｐ４参照）。
【0101】
一方、切替判定部１０５６から出力完了報告が入力された検査回路１０６ａにおいては、valid書込制御部１０６４が、フローテーブルにおけるフロー（処理対象フロー）aに対してvalidを登録（設定）する（図６の符号Ｓ３８，図１２の符号Ｐ３参照）。また、valid書込制御部１０６４は、処理対象のフローの出力が完了した旨の通知を再起動指示部１０６５に入力する。
【0102】
再起動指示部１０６５は、フローテーブルにおけるフローにvalidが設定されると（図６の符号Ｓ３９）、パイプライン１０１に対して再起動を行なわせる（図６の符号Ｓ４０）。これにより、パイプライン１０１上に保持されていたパケットa6が出力され、送信先の仮想マシン（受信ＶＭ）３００に送信される（図６の符号Ｓ４１）。
送信先の仮想マシン（受信ＶＭ）３００においては、フローaのパケットa1～a5が正しい順序で受信される。
送信先の仮想マシン（受信ＶＭ）３００においては、フローaのパケットa1～a5が正しい順序で受信される。
【0103】
次に、上述の如く構成された第１実施形態の一例としての仮想ルータ１ａにおけるパイプライン１０１の処理を、図１３に示したフローチャート（ステップＡ１～Ａ１４）に従って説明する。
この図１３に示す処理は、仮想マシン３００から出力されたパケットがパイプライン１０１に到着することで開始される。
ステップＡ１において、パイプライン１０１は、入力されたパケットの5tupleに基づいて算出したハッシュ値を用いて、フローテーブルを検索する。
この図１３に示す処理は、仮想マシン３００から出力されたパケットがパイプライン１０１に到着することで開始される。
ステップＡ１において、パイプライン１０１は、入力されたパケットの5tupleに基づいて算出したハッシュ値を用いて、フローテーブルを検索する。
【0104】
ステップＡ２において、パイプライン１０１は、フローテーブルからの応答（response）がvalidであるかを確認する。この確認の結果、フローテーブルからの応答がvalidである場合には（ステップＡ２のＹＥＳルート参照）、ステップＡ３において、パイプライン１０１は、当該パケットを、フローテーブルを参照して得られる宛先の仮想マシン３００に出力する。その後、処理を終了する。
【0105】
ステップＡ２における確認の結果、フローテーブルからの応答がvalidでない場合には（ステップＡ２のＮＯルート参照）、ステップＡ４に移行する。ステップＡ４において、パイプライン１０１は、フローテーブルからの応答（response）がholdであるかを確認する。この確認の結果、フローテーブルからの応答がholdである場合には（ステップＡ４のＹＥＳルート参照）、ステップＡ５において、パイプライン１０１は、当該パケットを、退避用バッファ部１０５に出力する。その後、処理を終了する。
【0106】
また、ステップＡ４における確認の結果、フローテーブルからの応答がholdでない場合には（ステップＡ４のＮＯルート参照）、ステップＡ６に移行する。ステップＡ６において、パイプライン１０１は、フローテーブルからの応答（response）がinvalidであるかを確認する。この確認の結果、フローテーブルからの応答がinvalidである場合には（ステップＡ６のＹＥＳルート参照）、ステップＡ７において、パイプライン１０１は、当該パケットを、コントロールプレーン２００に出力する。
【0107】
ステップＡ８において、パイプライン１０１は、フローテーブルにおける当該パケットが属するフローの管理情報をholdに変更する。そして、パイプライン１０１は、ステップＡ９において、当該パケットを、退避用バッファ部１０５に出力し、処理を終了する。
【0108】
ステップＡ６における確認の結果、フローテーブルからの応答がinvalidでない場合には（ステップＡ６のＮＯルート参照）、ステップＡ１０に移行する。ステップＡ１０において、パイプライン１０１は、フローテーブルからの応答（response）がstallであるかを確認する。この確認の結果、フローテーブルからの応答がstallである場合には（ステップＡ１０のＹＥＳルート参照）、ステップＡ１１において、パイプライン１０１は、当該パイプライン１０１を停止させる。
【0109】
ステップＡ１２において、パイプライン１０１は、パイプライン１０１の起動指示が入力されたかを確認する。パイプライン１０１の起動指示が入力されていない場合には（ステップＡ１２のＮＯルート参照）、ステップＡ１１に戻り、パイプライン１０１の停止を継続して行なう。
【0110】
パイプライン１０１の起動指示が入力されると（ステップＡ１２のＹＥＳルート参照）、ステップＡ１３において、パイプライン１０１は、当該パケットを、フローテーブルを参照して得られる宛先の仮想マシン３００に出力する。その後、処理を終了する。
【0111】
ステップＡ１０における確認の結果、フローテーブルからの応答がstallでない場合には（ステップＡ１０のＮＯルート参照）、ステップＡ１４に移行する。ステップＡ１４において、パイプライン１０１は、エラーメッセージの出力等、予め規定されたエラー発生時の処理を行なう。その後、処理を終了する。
【0112】
（Ｃ）効果
このように、第１実施形態の一例としての仮想ルータ１ａによれば、退避用バッファ部１０５を備え、フローミスが生じたパケット、すなわち、フローテーブルにinvalidが設定されているフローに属するパケットをこの退避用バッファ部１０５に格納する。
また、パイプライン１０１は、フローテーブルにholdが設定されているフローに属するパケットを、退避用バッファ部１０５に格納する。
このように、第１実施形態の一例としての仮想ルータ１ａによれば、退避用バッファ部１０５を備え、フローミスが生じたパケット、すなわち、フローテーブルにinvalidが設定されているフローに属するパケットをこの退避用バッファ部１０５に格納する。
また、パイプライン１０１は、フローテーブルにholdが設定されているフローに属するパケットを、退避用バッファ部１０５に格納する。
【0113】
コントロールプレーン２００によりアクションがフローテーブルに登録され、当該フローのパケットが再投入ポート１０７に再投入された状態のパケットが属するフローに対して、フローテーブルにおける管理情報にstallを設定する。
【0114】
そして、パイプライン１０１は、フローテーブルにstallが設定されているフローに属するパケットが入力された場合に、当該パイプライン１０１を停止させる。これにより、退避用バッファ部１０５に格納されている同一のフローに属するパケットに後続するパケットがパイプライン１０１から出力されることを抑止する。
【0115】
従って、ＦＰＧＡ１０によるハードオフロードが実現された仮想ルータ１ａにおいてフローミスが生じた場合においても、コントロールプレーン２００において宛先検索が行なわれ、フローテーブルの更新が行なわれる間に送信されたパケットについて、順序逆転が発生することを抑止することができる。また、これにより、パケットの順序逆転を原因とするフローの再送を抑止することができ、より効率的なパケット転送を実現することができる。
【0116】
退避用バッファ部１０５が、複数のＦＩＦＯバッファ１０５２と、これらのＦＩＦＯバッファ１０５２に対応させた複数のコンパレータ１０５４とを備える。そして、コンパレータ１０５４において、ＦＩＦＯバッファ１０５２から出力されたパケットのハッシュ値と、順序制御回路１０６３から入力される比較対象のパケットのハッシュ値とを比較する。
【0117】
この比較の結果、ハッシュ値が一致した場合に、コンパレータ１０５４は、ＦＩＦＯバッファ１０５２から出力されたパケットをクロスバースイッチ１０４に対して出力する。また、比較の結果、ハッシュ値が不一致であった場合には、コンパレータ１０５４は、ＦＩＦＯバッファ１０５２から出力されたパケットを、他のＦＩＦＯバッファ１０５２に格納させる。
これにより、退避用バッファ部１０５から順序制御回路１０６３が指定するフローに属するパケットだけを容易に選択して出力することができる。
これにより、退避用バッファ部１０５から順序制御回路１０６３が指定するフローに属するパケットだけを容易に選択して出力することができる。
【0118】
（ＩＩ）第２実施形態の説明
（Ａ）構成
本発明の第２実施形態の一例としての仮想ルータ１ｂの機能も、第１実施形態の仮想ルータ１ａと同様に、情報処理装置２０によって実現される。
図１４は第２実施形態の一例としての仮想ルータ１ｂの機能構成を示す図である。
（Ａ）構成
本発明の第２実施形態の一例としての仮想ルータ１ｂの機能も、第１実施形態の仮想ルータ１ａと同様に、情報処理装置２０によって実現される。
図１４は第２実施形態の一例としての仮想ルータ１ｂの機能構成を示す図である。
【0119】
第２実施形態の仮想ルータ１ｂは、第１実施形態の仮想ルータ１ａの検査回路１０６ａに代えて検査回路１０６ｂをそなえるとともに、1st_hold設定部１０１１を備えるものであり、その他の部分は第１実施形態の仮想ルータ１ａと同様に構成されている。
以下、図中、既述の符号と同一の符号は同様の部分を示しているので、その説明は省略する。
以下、図中、既述の符号と同一の符号は同様の部分を示しているので、その説明は省略する。
【0120】
1st_hold設定部１０１１は、パイプライン１０１に入力されたパケットのうち、管理情報としてholdが設定されたパケットとして最初に検出したパケットに対して管理用のフラグ（1st_holdフラグ）を設定する。1st_holdフラグは、例えば、当該パケットのヘッダにおける特定の領域に設定してもよい。
【0121】
ここで、holdが設定されたパケットとして最初に検出したパケットであるかを判断するための時間的基準（判断開始基準時刻）として、本仮想ルータ１ｂの起動時を起点として用いてもよい。また、その後、本仮想ルータ１ｂへのパケットの入力が所定時間以上ない場合に、パケットの入力がないことが所定時間以上継続したことが検出された時を判断開始基準時刻としてよい。また、予め規定した所定時間が経過する毎に判断開始基準時刻を更新してもよく、適宜変更して実施することができる。
なお、holdは、パイプライン１０１においてフローミスが検出された場合に、フローテーブルにおいて、当該パケットが属するフローに設定される。
なお、holdは、パイプライン１０１においてフローミスが検出された場合に、フローテーブルにおいて、当該パケットが属するフローに設定される。
【0122】
パイプライン１０１は、1st_holdフラグが設定されたパケットをコントロールプレーン２００に転送する。以下、1st_holdフラグが設定されたパケットを1st_holdパケットといってもよい。
また、パイプライン１０１は、1st_holdフラグが設定されたパケットと同じフローに属する後続するパケットを、退避用バッファ部１０５に格納する。
1st_hold設定部１０１１としての機能は、パイプライン１０１の機能として備えられてもよく、適宜変更して実施することができる。
図１５は第２実施形態の一例としての仮想ルータ１ｂにおける退避用バッファ部１０５および検査回路１０６ｂの構成を例示する図である。
また、パイプライン１０１は、1st_holdフラグが設定されたパケットと同じフローに属する後続するパケットを、退避用バッファ部１０５に格納する。
1st_hold設定部１０１１としての機能は、パイプライン１０１の機能として備えられてもよく、適宜変更して実施することができる。
図１５は第２実施形態の一例としての仮想ルータ１ｂにおける退避用バッファ部１０５および検査回路１０６ｂの構成を例示する図である。
【0123】
検査回路１０６ｂは、図１５に示すように、図４に示した第１実施形態の検査回路１０６ａの順序制御回路１０６３に代えて1st_hold検査回路１０６６をそなえるものであり、その他の部分は第１実施形態の検査回路１０６ａと同様に構成されている。
【0124】
1st_hold検査回路１０６６は、パケットに1st_holdフラグが設定されているか否かを判断する。1st_hold検査回路１０６６は、例えば、パケットのヘッダの特定の領域に“1”が設定されている場合に、当該パケットに1st_holdフラグが設定されていると判断してよい。
【0125】
本第２実施形態においては、stall書込処理部１０６２は、1st_hold検査回路１０６６がパケットに1st_holdフラグが設定されていることを確認すると、フローテーブルに対して、当該パケットが属するフローにstallを設定する。
【0126】
また、1st_hold検査回路１０６６は、第１実施形態の順序制御回路１０６３と同様に、各出力制御スイッチ１０５３に対して、検査開始指示を入力し、各ＦＩＦＯバッファ１０５２に格納されたパケットを、順次、コンパレータ１０５４に出力させる。
【0127】
さらに、1st_hold検査回路１０６６には、退避用バッファ部１０５の切替判定部１０５６から、１つのフローに属する全てのパケットがＦＩＦＯバッファ１０５２から出力されたことを示す出力完了報告が入力される。1st_hold検査回路１０６６は、順序制御回路１０６３から出力完了報告が入力されると、valid書込制御部１０６４に処理対象のフローの出力が完了した旨の通知を入力する。
【0128】
【0129】
【0130】
また、図１８～図２４に示す例においても、図７～図１２と同様に、仮想マシン３００が、パケットa1～a5を備えるフローaと、パケットb1～b5を備えるフローbと、パケットc1～c5を備えるフローcとを送信する例を示し、主にフローaの転送処理について説明する。
なお、図中、既述の符号と同一の符号は同様同一もしくは略（ほぼ）同一の処理を示しているので、その詳細な説明は省略する。
なお、図中、既述の符号と同一の符号は同様同一もしくは略（ほぼ）同一の処理を示しているので、その詳細な説明は省略する。
【0131】
フローbは、フローaの処理中に検出されるフローであって、初期状態においては、これらのフローa,bはフローテーブルに未登録（invalid）であるものとする（図１８の符号Ｐ１，Ｐ２参照）。また、初期状態において、フローcはフローテーブルに登録済み（valid）であるものとする（図１８の符号Ｐ３参照）。
【0132】
送信元の仮想マシン（送信ＶＭ）３００から送信先の仮想マシン（受信ＶＭ）３００に対して送信すべく出力されたパケットa1はパイプライン１０１に入力される（図１６の符号Ｓ０１）。パイプライン１０１は、フローテーブルを参照し（図１６の符号Ｓ０２）、フローaがinvalidであることを取得（フローミスを検出）する（図１６の符号Ｓ０３，図１９の符号Ｐ１参照）。
【0133】
パイプライン１０１は、フローテーブルにおけるフローａの管理情報にholdを設定する（図１９の符号Ｐ２参照）。また、パイプライン１０１は、フローミスとなったパケットa1をコントロールプレーン２００に転送する（図１６の符号Ｓ０４，図２０の符号Ｐ１参照）。コントロールプレーン２００においては、フローaについての宛先検索を開始する。
【0134】
また、送信元の仮想マシン（送信ＶＭ）３００は、送信先の仮想マシン（受信ＶＭ）３００に対して送信するパケットa2を出力し、このパケットa2はパイプライン１０１に入力される（図１６の符号Ｓ０６）。このパケットa2は、フローテーブルにおけるフローａの管理情報にholdが設定される前にパイプライン１０１に到達したものとする。
【0135】
【0136】
パイプライン１０１は、フローミスとなったパケットa2をコントロールプレーン２００に転送する（図１６の符号Ｓ０９，図２０の符号Ｐ２参照）。
コントロールプレーン２００は、パケットa2を再投入ポート１０７に入力する（図２１の符号Ｐ１参照）。
ここで、フローテーブルにおけるフローａの管理情報にholdが反映される（図１６の符号Ｓ１２，図２０の符号Ｐ３参照）。
コントロールプレーン２００は、パケットa2を再投入ポート１０７に入力する（図２１の符号Ｐ１参照）。
ここで、フローテーブルにおけるフローａの管理情報にholdが反映される（図１６の符号Ｓ１２，図２０の符号Ｐ３参照）。
【0137】
また、送信元の仮想マシン（送信ＶＭ）３００は、送信先の仮想マシン（受信ＶＭ）３００に対して送信するパケットa3を出力し、このパケットa3はパイプライン１０１に入力される（図１６の符号Ｓ１３）。
【0138】
パイプライン１０１は、フローテーブルを参照し（図１６の符号Ｓ１４）、フローaがholdであることを取得する（図１６の符号Ｓ１５）。1st_hold設定部１０１１は、holdが最初に設定されたパケットa3に対して1st_holdフラグを設定する。パイプライン１０１は、1st_holdフラグが設定されたパケットa3をコントロールプレーン２００に転送する（図１６の符号Ｓ１６）。パイプライン１０１は、パケットa3に後続するフローaのパケットを退避用バッファ部１０５に格納する。
【0139】
また、送信元の仮想マシン（送信ＶＭ）３００は、送信先の仮想マシン（受信ＶＭ）３００に対して送信するパケットb1を出力し、このパケットb1はパイプライン１０１に入力される（図１６の符号Ｓ１７）。パイプライン１０１は、フローテーブルを参照し（図１６の符号Ｓ１８）、フローbがinvalidであることを取得（フローミスを検出）する（図１６の符号Ｓ１９，図２１の符号Ｐ２参照）。
【0140】
パイプライン１０１は、フローテーブルにおけるフローbの管理情報にholdを設定する（図２２の符号Ｐ１参照）。また、パイプライン１０１は、フローミスとなったパケットb1をコントロールプレーン２００に転送する（図１６の符号Ｓ２０）。コントロールプレーン２００においては、フローbについての宛先検索を開始する。
【0141】
また、送信元の仮想マシン（送信ＶＭ）３００は、送信先の仮想マシン（受信ＶＭ）３００に対して送信するパケットa4を出力し、このパケットa4はパイプライン１０１に入力される（図１６の符号Ｓ２２）。パイプライン１０１は、フローテーブルを参照し（図１６の符号Ｓ２３）、フローaがholdであることを取得する（図１６の符号Ｓ２４）。
パイプライン１０１は、パケットa4を退避用バッファ部１０５に登録する（図１６の符号Ｓ２５，図２２の符号Ｐ２参照）。
パイプライン１０１は、パケットa4を退避用バッファ部１０５に登録する（図１６の符号Ｓ２５，図２２の符号Ｐ２参照）。
【0142】
その後、同様にして、送信元の仮想マシン（送信ＶＭ）３００から、送信先の仮想マシン（受信ＶＭ）３００に対して送信するパケットb2，a5が出力され、これらのパケットb2,a5が退避用バッファ部１０５に登録される（図１７の符号Ｓ２６，図２２の符号Ｐ３参照）。
【0143】
ここで、コントロールプレーン２００において宛先検索が完了すると（図１７の符号Ｓ２７）、コントロールプレーン２００は、パケットa1にforwardを付して再投入ポート１０７に転送する。
【0144】
再投入ポート１０７に入力されたパケットa1（forward付）は、検査回路１０６ａに入力される（図１７の符号Ｓ２８，図２１の符号Ｐ３参照）。検査回路１０６ａは、フローテーブルにおける当該パケットa1のフローaに対してstallを登録（設定）する（図１７の符号Ｓ２９，図２３の符号Ｐ１参照）。
【0145】
検査回路１０６ａは、forwardが付されたパケットa1から宛先情報を取得し、退避用バッファ部１０５格納されている該当フロー（本例ではフローa）に属する各パケット（a1～a5）に宛先情報を付加する（図１７の符号Ｓ３０）。検査回路１０６ａにおいて順序制御回路１０６３は、退避用バッファ部１０５に格納された複数のパケットのうち、パケットa1と同一のフローに属する各パケットa1～a5を出力させる（図１７の符号Ｓ３１，図２３の符号Ｐ２参照）。クロスバースイッチ１０４は退避用バッファ部１０５から出力されたこれらのパケットを、送信先の仮想マシン（受信ＶＭ）３００に送信する。
【0146】
退避用バッファ部１０５の切替判定部１０５６が順序制御回路１０６３に対して、フローaに属する全てのパケットa1～a5がＦＩＦＯバッファ１０５２から出力されたことを示す出力完了報告を入力する（図１７の符号Ｓ３２）。
【0147】
またここで、送信元の仮想マシン（送信ＶＭ）３００は、送信先の仮想マシン（受信ＶＭ）３００に対して送信するパケットa6を出力し、このパケットa6はパイプライン１０１に入力される（図６の符号Ｓ３３）。パイプライン１０１は、フローテーブルを参照し（図６の符号Ｓ３４）、フローaがstallであることを取得する（図１７の符号Ｓ３５，図２３の符号Ｐ３参照）。これにより、パイプライン１０１は、当該パイプライン１０１を停止させる（図６の符号Ｓ３６，図２３の符号Ｐ４参照）。これにより、パケットa6はパイプライン１０１上に保持される（図１７の符号Ｓ３７）。
【0148】
一方、切替判定部１０５６から出力完了報告が入力された検査回路１０６ａにおいては、valid書込制御部１０６４が、フローテーブルにおけるフロー（処理対象フロー）aに対してvalidを登録（設定）する（図１７の符号Ｓ３８，図２４の符号Ｐ１参照）。また、valid書込制御部１０６４は、処理対象のフローの出力が完了した旨の通知を再起動指示部１０６５に入力する。
【0149】
再起動指示部１０６５は、フローテーブルにおけるフローにvalidが設定されると（図１７の符号Ｓ３９）、パイプライン１０１に対して再起動を行なわせる。これにより、パイプライン１０１上に保持されていたパケットa6が出力され、送信先の仮想マシン（受信ＶＭ）３００に送信される（図１７の符号Ｓ４１）。
送信先の仮想マシン（受信ＶＭ）３００においては、フローaのパケットa1～a5が正しい順序で受信される。
送信先の仮想マシン（受信ＶＭ）３００においては、フローaのパケットa1～a5が正しい順序で受信される。
【0150】
次に、上述の如く構成された第２実施形態の一例としての仮想ルータ１ｂにおけるパイプライン１０１の処理を、図２５に示したフローチャート（ステップＡ１～Ａ８，Ａ１０～Ａ１６）に従って説明する。
この図２５に示す処理は、仮想マシン３００から出力されたパケットがパイプライン１０１に到着することで開始される。
ステップＡ１において、パイプライン１０１は、入力されたパケットの5tupleに基づいて算出したハッシュ値を用いて、フローテーブルを検索する。
この図２５に示す処理は、仮想マシン３００から出力されたパケットがパイプライン１０１に到着することで開始される。
ステップＡ１において、パイプライン１０１は、入力されたパケットの5tupleに基づいて算出したハッシュ値を用いて、フローテーブルを検索する。
【0151】
ステップＡ２において、パイプライン１０１は、フローテーブルからの応答（response）がvalidであるかを確認する。この確認の結果、フローテーブルからの応答がvalidである場合には（ステップＡ２のＹＥＳルート参照）、ステップＡ３において、パイプライン１０１は、当該パケットを、フローテーブルを参照して得られる宛先の仮想マシン３００に出力する。その後、処理を終了する。
【0152】
ステップＡ２における確認の結果、フローテーブルからの応答がvalidでない場合には（ステップＡ２のＮＯルート参照）、ステップＡ４に移行する。ステップＡ４において、パイプライン１０１は、フローテーブルからの応答（response）がholdであるかを確認する。この確認の結果、フローテーブルからの応答がholdである場合には（ステップＡ４のＹＥＳルート参照）、ステップＡ１５に移行する。
【0153】
ステップＡ１５において、パイプライン１０１は、当該パケットは、holdが付加されたパケットとして最初に検出されたパケットであるかを確認する。確認の結果、当該パケットは、holdが付加されたパケットとして最初に検出されたパケットである場合には（ステップＡ１５のＹＥＳルート参照）、ステップＡ１６に移行する。
【0154】
ステップＡ１６において、1st_hold設定部１０１１が、当該パケットに1st_holdフラグを付加する。その後、パイプライン１０１は、この1st_holdフラグを付加したパケットをコントロールプレーン２００に出力し、処理を終了する。
【0155】
また、ステップＡ１５おける確認の結果、当該パケットは、holdが付加されたパケットとして最初に検出されたパケットでない場合には（ステップＡ１５のＮＯルート参照）、ステップＡ５に移行する。ステップＡ５において、パイプライン１０１は、当該パケットを、退避用バッファ部１０５に出力する。その後、処理を終了する。
【0156】
また、ステップＡ４における確認の結果、フローテーブルからの応答がholdでない場合には（ステップＡ４のＮＯルート参照）、ステップＡ６に移行する。ステップＡ６において、パイプライン１０１は、フローテーブルからの応答（response）がinvalidであるかを確認する。この確認の結果、フローテーブルからの応答がinvalidである場合には（ステップＡ６のＹＥＳルート参照）、ステップＡ７において、パイプライン１０１は、当該パケットを、コントロールプレーン２００に出力する。
【0157】
ステップＡ８において、パイプライン１０１は、フローテーブルにおける当該パケットが属するフローの管理情報をholdに変更し、その後、処理を終了する。
【0158】
ステップＡ６における確認の結果、フローテーブルからの応答がinvalidでない場合には（ステップＡ６のＮＯルート参照）、ステップＡ１０に移行する。ステップＡ１０において、パイプライン１０１は、フローテーブルからの応答（response）がstallであるかを確認する。この確認の結果、フローテーブルからの応答がstallである場合には（ステップＡ１０のＹＥＳルート参照）、ステップＡ１１において、パイプライン１０１は、当該パイプライン１０１を停止させる。
【0159】
ステップＡ１２において、パイプライン１０１は、パイプライン１０１の起動指示が入力されたかを確認する。パイプライン１０１の起動指示が入力されていない場合には（ステップＡ１２のＮＯルート参照）、ステップＡ１１に戻り、パイプライン１０１の停止を継続して行なう。
【0160】
パイプライン１０１の起動指示が入力されると（ステップＡ１２のＹＥＳルート参照）、ステップＡ１３において、パイプライン１０１は、当該パケットを、フローテーブルを参照して得られる宛先の仮想マシン３００に出力する。その後、処理を終了する。
【0161】
ステップＡ１０における確認の結果、フローテーブルからの応答がstallでない場合には（ステップＡ１０のＮＯルート参照）、ステップＡ１４に移行する。ステップＡ１４において、パイプライン１０１は、エラーメッセージの出力等、予め規定されたエラー発生時の処理を行なう。その後、処理を終了する。
【0162】
（Ｃ）効果
このように、第２実施形態の一例としての仮想ルータ１ｂによれば、上述した第１実施形態と同様の作用効果を得ることができる他、退避用バッファ部１０５に格納するパケットの数を削減することができる。これにより、退避用バッファ部１０５におけるＦＩＦＯバッファ１０５２の使用量を削減することができ、ＦＩＦＯバッファ１０５２のバッファオーバーフローの発生を抑止し、安定したシステム運用を実現することができる。
このように、第２実施形態の一例としての仮想ルータ１ｂによれば、上述した第１実施形態と同様の作用効果を得ることができる他、退避用バッファ部１０５に格納するパケットの数を削減することができる。これにより、退避用バッファ部１０５におけるＦＩＦＯバッファ１０５２の使用量を削減することができ、ＦＩＦＯバッファ１０５２のバッファオーバーフローの発生を抑止し、安定したシステム運用を実現することができる。
【0163】
すなわち、本第２実施形態の仮想ルータ１ｂにおいては、1st_holdパケットは退避用バッファ部１０５に格納させずに、コントロールプレーン２００に転送させる。また、図１８～図２４に示した例において、パケットa1～a3は退避用バッファ部１０５に格納させずにコントロールプレーン２００に転送する。また、フローテーブルにおいてinvalidが設定されたパケットについても、コントロールプレーン２００に転送させるだけで、退避用バッファ部１０５には格納させない。これらにより、退避用バッファ部１０５におけるＦＩＦＯバッファ１０５２の使用量を削減することができる。
【0164】
（ＩＩＩ）その他
各実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
各実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
【0165】
例えば、上述した実施形態においては、退避用バッファ部１０５が、２つのＦＩＦＯバッファ１０５２－１，１０５２－２を備え、これに合わせて出力制御スイッチ１０５３およびコンパレータ１０５４をそれぞれ２つずつ備えているが、これに限定されるものではない。ＦＩＦＯバッファ１０５２，出力制御スイッチ１０５３およびコンパレータ１０５４をそれぞれ３つ以上備えてもよく、適宜変更して実施することができる。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
【0166】
（Ｅ）付記
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置であって、
フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する設定部と、
前記宛先解決待ち状態において受信したパケットの少なくとも一部を格納する退避用キューと、
前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる停止処理部と、
前記退避用キューに格納した前記フローに属するパケットを出力させる出力制御部と、
前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる作動制御部と、
を備えることを特徴とする、通信制御装置。
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置であって、
フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する設定部と、
前記宛先解決待ち状態において受信したパケットの少なくとも一部を格納する退避用キューと、
前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる停止処理部と、
前記退避用キューに格納した前記フローに属するパケットを出力させる出力制御部と、
前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる作動制御部と、
を備えることを特徴とする、通信制御装置。
【0167】
（付記２）
前記停止処理部は、前記転送制御情報に対して、前記パイプラインを停止させる制御情報を設定する
ことを特徴とする、付記１に記載の通信制御装置。
前記停止処理部は、前記転送制御情報に対して、前記パイプラインを停止させる制御情報を設定する
ことを特徴とする、付記１に記載の通信制御装置。
【0168】
（付記３）
前記退避用キューが、
複数のＦＩＦＯ（First In, First Out）バッファと、
前記ＦＩＦＯバッファから出力されたパケットを出力パケット特定情報と比較し、前記出力されたパケットが前記出力パケット特定情報と一致する場合に、当該退避用キューから出力させる比較部と
を備えることを特徴とする、付記１または２に記載の通信制御装置。
前記退避用キューが、
複数のＦＩＦＯ（First In, First Out）バッファと、
前記ＦＩＦＯバッファから出力されたパケットを出力パケット特定情報と比較し、前記出力されたパケットが前記出力パケット特定情報と一致する場合に、当該退避用キューから出力させる比較部と
を備えることを特徴とする、付記１または２に記載の通信制御装置。
【0169】
（付記４）
前記パイプラインに入力されたパケットのうち、宛先解決待ち状態が設定されたパケットとして最初に検出した第１のパケットを検出する検出部を備え、
前記退避用キューは、前記第１のパケットに後続する、当該第１のパケットと同じフローに属するパケットを格納する
ことを特徴とする、付記１～３のいずれか１項に記載の通信制御装置。
前記パイプラインに入力されたパケットのうち、宛先解決待ち状態が設定されたパケットとして最初に検出した第１のパケットを検出する検出部を備え、
前記退避用キューは、前記第１のパケットに後続する、当該第１のパケットと同じフローに属するパケットを格納する
ことを特徴とする、付記１～３のいずれか１項に記載の通信制御装置。
【0170】
（付記５）
ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置を備える通信制御システムであって、
フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する設定部と、
前記宛先解決待ち状態において受信したパケットの少なくとも一部を格納する退避用キューと、
前記フローに関する宛先解決を行なう宛先解決部と、
前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる停止処理部と、
前記退避用キューに格納した前記フローに属するパケットを出力させる出力制御部と、
前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる作動制御部と、
を備えることを特徴とする、通信制御システム。
ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置を備える通信制御システムであって、
フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する設定部と、
前記宛先解決待ち状態において受信したパケットの少なくとも一部を格納する退避用キューと、
前記フローに関する宛先解決を行なう宛先解決部と、
前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる停止処理部と、
前記退避用キューに格納した前記フローに属するパケットを出力させる出力制御部と、
前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる作動制御部と、
を備えることを特徴とする、通信制御システム。
【0171】
（付記６）
前記停止処理部は、前記転送制御情報に対して、前記パイプラインを停止させる制御情報設定する
ことを特徴とする、付記５に記載の通信制御システム。
前記停止処理部は、前記転送制御情報に対して、前記パイプラインを停止させる制御情報設定する
ことを特徴とする、付記５に記載の通信制御システム。
【0172】
（付記７）
前記退避用キューが、
複数のＦＩＦＯ（First In, First Out）バッファと、
前記ＦＩＦＯバッファから出力されたパケットを出力パケット特定情報と比較し、前記出力されたパケットが前記出力パケット特定情報と一致する場合に、当該退避用キューから出力させる比較部と
を備えることを特徴とする、付記５または６に記載の通信制御システム。
前記退避用キューが、
複数のＦＩＦＯ（First In, First Out）バッファと、
前記ＦＩＦＯバッファから出力されたパケットを出力パケット特定情報と比較し、前記出力されたパケットが前記出力パケット特定情報と一致する場合に、当該退避用キューから出力させる比較部と
を備えることを特徴とする、付記５または６に記載の通信制御システム。
【0173】
（付記８）
前記パイプラインに入力されたパケットのうち、宛先解決待ち状態が設定されたパケットとして最初に検出した第１のパケットを検出する検出部を備え、
前記退避用キューは、前記第１のパケットに後続する、当該第１のパケットと同じフローに属するパケットを格納する
ことを特徴とする、付記５～７のいずれか１項に記載の通信制御システム。
前記パイプラインに入力されたパケットのうち、宛先解決待ち状態が設定されたパケットとして最初に検出した第１のパケットを検出する検出部を備え、
前記退避用キューは、前記第１のパケットに後続する、当該第１のパケットと同じフローに属するパケットを格納する
ことを特徴とする、付記５～７のいずれか１項に記載の通信制御システム。
【0174】
（付記９）
ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置において、
フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する処理と、
前記宛先解決待ち状態において受信したパケットの少なくとも一部を退避用キューに格納する処理と、
前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる処理と、
前記退避用キューに格納した前記フローに属するパケットを出力させる処理と、
前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる処理と、
を備えることを特徴とする、通信制御方法。
ＳＤＮ（Software Defined Network）のフロー制御における少なくとも一部の機能をハードウェアで実施する通信制御装置において、
フローを構成する複数のパケットの転送時に、転送制御情報に未登録のフローのパケットを検出すると、前記転送制御情報において当該フローに対して宛先解決待ち状態を設定する処理と、
前記宛先解決待ち状態において受信したパケットの少なくとも一部を退避用キューに格納する処理と、
前記フローに対する宛先解決後に、転送するパケットを処理するパイプラインを停止させる処理と、
前記退避用キューに格納した前記フローに属するパケットを出力させる処理と、
前記退避用キューに格納した前記パケットの出力が完了した後に、前記パイプラインを動作させる処理と、
を備えることを特徴とする、通信制御方法。
【0175】
（付記１０）
前記パイプラインを停止させる処理は、
前記転送制御情報に対して、前記パイプラインを停止させる制御情報を設定する
処理を備えることを特徴とする、付記９に記載の通信制御方法。
前記パイプラインを停止させる処理は、
前記転送制御情報に対して、前記パイプラインを停止させる制御情報を設定する
処理を備えることを特徴とする、付記９に記載の通信制御方法。
【0176】
（付記１１）
前記退避用キューが、
複数のＦＩＦＯ（First In, First Out）バッファと、
前記ＦＩＦＯバッファから出力されたパケットを出力パケット特定情報と比較し、前記出力されたパケットが前記出力パケット特定情報と一致する場合に、当該退避用キューから出力させる比較部と
を備えることを特徴とする、付記９または１０に記載の通信制御方法。
前記退避用キューが、
複数のＦＩＦＯ（First In, First Out）バッファと、
前記ＦＩＦＯバッファから出力されたパケットを出力パケット特定情報と比較し、前記出力されたパケットが前記出力パケット特定情報と一致する場合に、当該退避用キューから出力させる比較部と
を備えることを特徴とする、付記９または１０に記載の通信制御方法。
【0177】
（付記１２）
前記パイプラインに入力されたパケットのうち、宛先解決待ち状態が設定されたパケットとして最初に検出した第１のパケットを検出する処理と、
前記退避用キューに、前記第１のパケットに後続する、当該第１のパケットと同じフローに属するパケットを格納させる処理と
を備えることを特徴とする、付記９～１１のいずれか１項に記載の通信制御方法。
前記パイプラインに入力されたパケットのうち、宛先解決待ち状態が設定されたパケットとして最初に検出した第１のパケットを検出する処理と、
前記退避用キューに、前記第１のパケットに後続する、当該第１のパケットと同じフローに属するパケットを格納させる処理と
を備えることを特徴とする、付記９～１１のいずれか１項に記載の通信制御方法。
【符号の説明】
【0178】
１ａ，１ｂ 仮想ルータ
２ ＣＰＵ
３ システムメモリ
４ ＰＣＩカード
５ オンボードメモリ
１０ ＦＰＧＡ
１１ ＳＲＡＭ
１２ レジスタ
２０ 情報処理装置
１００ａ データプレーン
１０１ パイプライン
１０２ 外部インタフェース
１０３ ＶＭインタフェース
１０４ クロスバースイッチ
１０５ 退避用バッファ部
１０７ 再投入ポート
２００ コントロールプレーン
３００ 仮想マシン
１０１１ 1st_hold設定部
１０５１ 入力切替スイッチ
１０５２ー１，１０５２ー２ ＦＩＦＯバッファ
１０５３－１０５３－２ 出力制御スイッチ
１０５４－１，１０５４－２ コンパレータ
１０５５ 出力ゲート
１０５６ 切替判定部
１０６ａ，１０６ｂ 検査回路
１０６１ アクションデコーダ
１０６２ stall書込処理部
１０６３ 順序制御回路
１０６４ valid書込制御部
１０６５ 再起動指示部
１０６６ 1st_hold検査回路
２ ＣＰＵ
３ システムメモリ
４ ＰＣＩカード
５ オンボードメモリ
１０ ＦＰＧＡ
１１ ＳＲＡＭ
１２ レジスタ
２０ 情報処理装置
１００ａ データプレーン
１０１ パイプライン
１０２ 外部インタフェース
１０３ ＶＭインタフェース
１０４ クロスバースイッチ
１０５ 退避用バッファ部
１０７ 再投入ポート
２００ コントロールプレーン
３００ 仮想マシン
１０１１ 1st_hold設定部
１０５１ 入力切替スイッチ
１０５２ー１，１０５２ー２ ＦＩＦＯバッファ
１０５３－１０５３－２ 出力制御スイッチ
１０５４－１，１０５４－２ コンパレータ
１０５５ 出力ゲート
１０５６ 切替判定部
１０６ａ，１０６ｂ 検査回路
１０６１ アクションデコーダ
１０６２ stall書込処理部
１０６３ 順序制御回路
１０６４ valid書込制御部
１０６５ 再起動指示部
１０６６ 1st_hold検査回路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】