特許 7567843 送信装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】送信装置、方法、及びプログラム

(51)【国際特許分類】

   H04L 47/41 20220101AFI20241008BHJP

   H04L 45/12 20220101ALI20241008BHJP

【ＦＩ】

H04L47/41

H04L45/12

【請求項の数】 12

(21)【出願番号】P 2022045816

(22)【出願日】2022-03-22

(65)【公開番号】P2023139989

(43)【公開日】2023-10-04

【審査請求日】2023-12-20

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】中田 恒夫

【審査官】岩田 玲彦

(56)【参考文献】

【文献】国際公開第２００７／１１１３３１（ＷＯ，Ａ１）

【文献】特開２００８－３０６３２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ４７／４１

Ｈ０４Ｌ ４５／１２

(57)【特許請求の範囲】

【請求項1】

複数のパケットを複数の通信経路を介して負荷分散して送信する送信装置（１０）であって、
上位層から到着する前記複数のパケットを到着順に保持する保持部に保持されたパケットのデータ量及び前記複数の通信経路の各々の回線速度に基づいて、前記複数の通信経路の各々でパケットを送信する場合にパケットが受信装置に到着するまでに要する時間である予測遅延を算出する算出部（１２）と、
前記複数のパケットの各々が前記到着順に前記受信装置で受信されるように、前記複数のパケットの各々を送信する通信経路を選択する際に、前記複数の通信経路のうち、同一データ量のパケットを送信する場合の前記予測遅延が最も大きい遅延大の通信経路から送信するパケットとして、前記予測遅延に基づいて選択されるパケットよりも前記到着順が後のパケットを選択する選択部（１４）と、
前記複数のパケットの各々を、前記選択部により選択された通信経路の各々を介して送信する送信部（１６）と、
を含む送信装置。

【請求項2】

前記選択部は、前記保持部に保持されたパケットに前記到着順に付与されるシーケンス番号を用いて、前記予測遅延に基づいて選択されるパケットのシーケンス番号に対してマージンを持たせたシーケンス番号のパケットを、前記到着順が後のパケットとして選択する請求項１に記載の送信装置。

【請求項3】

前記選択部は、前記複数の通信経路間で負荷分散の均衡を図るために設定された値である許容遅延内で送信可能なパケットについての前記予測遅延に基づいて、前記マージンを設定する請求項２に記載の送信装置。

【請求項4】

前記選択部は、前記遅延大の通信経路から送信するパケットの予測遅延と、前記遅延大の通信経路以外の遅延小の通信経路から送信するパケットの予測遅延との差である予測遅延差に応じた値の前記マージンを設定する請求項２に記載の送信装置。

【請求項5】

前記選択部は、前記複数の通信経路のうち、前記遅延大の通信経路以外の遅延小の通信経路の回線速度に応じた値の前記マージンを設定する請求項２に記載の送信装置。

【請求項6】

前記選択部は、前記予測遅延差と前記遅延小の通信経路の回線速度とを乗じて算出したオフセットに応じた値の前記マージンを設定する請求項４に記載の送信装置。

【請求項7】

前記選択部は、前記マージンを自然数で定義する請求項２～請求項６のいずれか１項に記載の送信装置。

【請求項8】

前記選択部は、前記複数のパケットの各々のデータ量が同一ではない場合、前記マージンをデータ量で定義し、前記予測遅延に基づいて選択されるパケットの次のパケットから順に所定のパケットまでの各パケットのデータ量を加算した総和と前記マージンとして定義されたデータ量との差が所定範囲となる場合の前記所定のパケットを、前記到着順が後のパケットとして選択する請求項２～請求項６のいずれか１項に記載の送信装置。

【請求項9】

前記選択部は、前記遅延大の通信経路以外の遅延小の通信経路が２以上ある場合、前記遅延小の通信経路の各々についてのマージンの総和を、最終的な前記マージンとして設定する請求項２～請求項８のいずれか１項に記載の送信装置。

【請求項10】

前記送信部は、前記複数の通信経路間で負荷分散の均衡を図るために設定された値である許容遅延内で送信が完了する個数の前記パケットを送信する請求項１～請求項９のいずれか１項に記載の送信装置。

【請求項11】

複数のパケットを複数の通信経路を介して負荷分散して送信する送信装置であって、
算出部が、上位層から到着する前記複数のパケットを到着順に保持する保持部に保持されたパケットのデータ量及び前記複数の通信経路の各々の回線速度に基づいて、前記複数の通信経路の各々でパケットを送信する場合にパケットが受信装置に到着するまでに要する時間である予測遅延を算出し、
選択部が、前記複数のパケットの各々が前記到着順に前記受信装置で受信されるように、前記複数のパケットの各々を送信する通信経路を選択する際に、前記複数の通信経路のうち、同一データ量のパケットを送信する場合の前記予測遅延が最も大きい遅延大の通信経路から送信するパケットとして、前記予測遅延に基づいて選択されるパケットよりも前記到着順が後のパケットを選択し、
送信部が、前記複数のパケットの各々を、前記選択部により選択された通信経路の各々を介して送信する、
ことを含む処理をコンピュータが実行する送信方法。

【請求項12】

コンピュータを、
複数のパケットを複数の通信経路を介して負荷分散して送信する送信装置であって、
上位層から到着する前記複数のパケットを到着順に保持する保持部に保持されたパケットのデータ量及び前記複数の通信経路の各々の回線速度に基づいて、前記複数の通信経路の各々でパケットを送信する場合にパケットが受信装置に到着するまでに要する時間である予測遅延を算出する算出部と、
前記複数のパケットの各々が前記到着順に前記受信装置で受信されるように、前記複数のパケットの各々を送信する通信経路を選択する際に、前記複数の通信経路のうち、同一データ量のパケットを送信する場合の前記予測遅延が最も大きい遅延大の通信経路から送信するパケットとして、前記予測遅延に基づいて選択されるパケットよりも前記到着順が後のパケットを選択する選択部と、
前記複数のパケットの各々を、前記選択部により選択された通信経路の各々を介して送信する送信部
として機能させるための送信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、送信装置、送信方法、及び送信プログラムに関する。

【背景技術】

【0002】

従来、通信の負荷を通信経路間に分散させることで、単一の経路では実現困難である大容量の通信経路を提供する技術が存在する。

【0003】

しかし、多重化により帯域は拡大するものの、複数経路のうち最も遅延の大きい経路が送信の律速となってしまうため、遅延の異なる経路を多重化することで遅延が大きくなる場合があるという問題があった。

【0004】

このような経路間の遅延差の増加により負荷分散の効果が小さくなることを避けるために、例えば特許文献１に記載される技術が開示されている。特許文献１に開示の技術では、各経路の遅延および回線速度の推定値から、送信する各パケットの予定送信経路を、受信ノードへの到着予測時刻の順番が送信ノードに到着した時刻の順番と等しくなるように決定する。そして、そのうち各経路に許容される最大遅延の大きい経路１では送信待ちパケットのうち先頭ではないパケットを送信する。これにより、経路間の遅延差を抑制しつつ各経路に適正な負荷をかけることが可能となり、通信効率を最適化している。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第４４８８２５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記従来技術では、経路１の許容遅延が大きいほど、経路１で送信した最後のパケットの到着までに要する時間が長くなるため、その間に経路１以外の経路の通信状態が変化する可能性が高くなる。そのため、経路１以外の経路の回線速度が更に高速化した場合には、受信ノードへのパケット到着順序の解決待ち時間による、受信ノード下流へのパケットの転送遅延が発生するという問題がある。

【0007】

本発明は、上記の点に鑑みてなされたものであり、複数の通信経路で負荷分散によりパケットを送信する際に、遅延の小さい経路が予測よりも高速化した場合でも、受信側における転送遅延を抑制することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明に係る送信装置は、複数のパケットを複数の通信経路を介して負荷分散して送信する送信装置（１０）であって、上位層から到着する前記複数のパケットを到着順に保持する保持部に保持されたパケットのデータ量及び前記複数の通信経路の各々の回線速度に基づいて、前記複数の通信経路の各々でパケットを送信する場合にパケットが受信装置（２０）に到着するまでに要する時間である予測遅延を算出する算出部（１２）と、前記複数のパケットの各々が前記到着順に前記受信装置で受信されるように、前記複数のパケットの各々を送信する通信経路を選択する際に、前記複数の通信経路のうち、同一データ量のパケットを送信する場合の前記予測遅延が最も大きい遅延大の通信経路から送信するパケットとして、前記予測遅延に基づいて選択されるパケットよりも前記到着順が後のパケットを選択する選択部（１４）と、前記複数のパケットの各々を、前記選択部により選択された通信経路の各々を介して送信する送信部（１６）と、を含んで構成されている。

【0009】

また、本発明に係る送信方法は、複数のパケットを複数の通信経路を介して負荷分散して送信する送信装置であって、算出部が、上位層から到着する前記複数のパケットを到着順に保持する保持部に保持されたパケットのデータ量及び前記複数の通信経路の各々の回線速度に基づいて、前記複数の通信経路の各々でパケットを送信する場合にパケットが受信装置に到着するまでに要する時間である予測遅延を算出し、選択部が、前記複数のパケットの各々が前記到着順に前記受信装置で受信されるように、前記複数のパケットの各々を送信する通信経路を選択する際に、前記複数の通信経路のうち、同一データ量のパケットを送信する場合の前記予測遅延が最も大きい遅延大の通信経路から送信するパケットとして、前記予測遅延に基づいて選択されるパケットよりも前記到着順が後のパケットを選択し、送信部が、前記複数のパケットの各々を、前記選択部により選択された通信経路の各々を介して送信することを含む処理をコンピュータが実行する方法である。

【0010】

また、本発明に係る送信プログラムは、コンピュータを、複数のパケットを複数の通信経路を介して負荷分散して送信する送信装置であって、上位層から到着する前記複数のパケットを到着順に保持する保持部に保持されたパケットのデータ量及び前記複数の通信経路の各々の回線速度に基づいて、前記複数の通信経路の各々でパケットを送信する場合にパケットが受信装置に到着するまでに要する時間である予測遅延を算出する算出部と、前記複数のパケットの各々が前記到着順に前記受信装置で受信されるように、前記複数のパケットの各々を送信する通信経路を選択する際に、前記複数の通信経路のうち、同一データ量のパケットを送信する場合の前記予測遅延が最も大きい遅延大の通信経路から送信するパケットとして、前記予測遅延に基づいて選択されるパケットよりも前記到着順が後のパケットを選択する選択部と、前記複数のパケットの各々を、前記選択部により選択された通信経路の各々を介して送信する送信部として機能させるためのプログラムである。

【発明の効果】

【0011】

本発明に係る送信装置、送信方法、及び送信プログラムによれば、複数の通信経路で負荷分散によりパケットを送信する際に、遅延の小さい経路が予測よりも高速化した場合でも、受信側における転送遅延を抑制することができる。

【図面の簡単な説明】

【0012】

【図1】通信システムの概略構成を示すブロック図である。

【図2】送信装置のハードウェア構成を示すブロック図である。

【図3】送信装置の機能ブロック図である。

【図4】通信経路の高速化時の従来の送信を説明するための図である。

【図5】通信経路の高速化時の本実施形態における送信を説明するための図である。

【図6】マージンの数値設定方法の一例を説明するための図である。

【図7】マージンを量で定義する際のマージンの数値設定方法の一例を説明するための図である。

【図8】通信経路が３以上ある場合のマージンの数値設定方法の一例を説明するための図である。

【図9】送受信のタイミングの一例を示すシーケンス図である。

【図10】送信処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態の一例を、図面を参照しつつ説明する。

【0014】

図１に示すように、本実施形態に係る通信システム１００は、送信装置１０と受信装置２０とを含む。送信装置１０と受信装置２０とは、通信回線３０を介して接続され、相互にデータを送受信する。通信回線３０は、複数の通信経路を多重化して構成される。なお、通信システム１００に含まれる送信装置１０及び受信装置２０の各々の数は図１の例に限定されず、送信装置１０及び受信装置２０はそれぞれ２以上含まれていてもよい。

【0015】

図２に、送信装置１０のハードウェア構成を示す。図２に示すように、送信装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４２、メモリ４４、記憶装置４６、入力装置４８、出力装置５０、記憶媒体読取装置５２、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）５４を有する。各構成は、バス５６を介して相互に通信可能に接続されている。

【0016】

記憶装置４６には、後述する送信処理を実行するための送信プログラムが格納されている。ＣＰＵ４２は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ４２は、記憶装置４６からプログラムを読み出し、メモリ４４を作業領域としてプログラムを実行する。ＣＰＵ４２は、記憶装置４６に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。

【0017】

メモリ４４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成され、作業領域として一時的にプログラム及びデータを記憶する。メモリ４４の一部は送信キュー（保持部）として機能する。記憶装置４６は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0018】

入力装置４８は、例えば、キーボードやマウス等の、各種の入力を行うための装置である。出力装置５０は、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための装置である。出力装置５０として、タッチパネルディスプレイを採用することにより、入力装置４８として機能させてもよい。

【0019】

記憶媒体読取装置５２は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ、ブルーレイディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの各種の記憶媒体に記憶されたデータの読み込みや、記憶媒体に対するデータの書き込み等を行う。通信Ｉ／Ｆ５４は、受信装置２０を含む他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ又はＷｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0020】

受信装置２０のハードウェア構成は、図２に示す送信装置１０のハードウェア構成と概ね同様であるため、説明を省略する。なお、受信装置２０の記憶装置４６には、受信装置２０の各処理を実行するための受信プログラムが格納されている。

【0021】

次に、図３を参照して、本実施形態に係る送信装置１０の機能的な構成を説明する。図３に示すように、送信装置１０は、算出部１２と、選択部１４と、送信部１６とを含む。各機能部は、図２に示すＣＰＵ４２によって実現される。

【0022】

まず、送信装置１０の送信キューには、ネットワーク層の上位層から到着した送信待ちデータがパケット毎に格納される。この複数のパケットは、到着順に送信キューに保持される。この送信キューで保持されたパケットは到着順にシーケンス番号（以下、「［ｓｅｑ］ 」で表現する。）が付与される。なお、送信キューは、本発明の保持部の一例である。送信装置１０のメモリ４４の一部が、送信キューとして機能する。

【0023】

算出部１２は、送信キューで保持されたパケットが送信装置１０から送信されて受信装置２０に到着するまでに要する時間である予測遅延を算出する。算出部１２は、送信キューで保持されたパケットのデータ量及び複数の通信経路の各々の回線速度に基づいて予測遅延を算出する。

【0024】

選択部１４は、送信キューで保持されている複数のパケットの各々が到着順に受信装置２０で受信されるように、複数のパケットの各々を送信する通信経路を複数から一つ選択する。その際、選択部１４は、算出部１２で算出された予測遅延の値が最も大きくなる通信経路（以下、「遅延大の通信経路」という。）が選択された場合には、算出部１２で算出した予測遅延に基づいて送信を選択されたパケットよりも、到着順が後のパケットを選択する。

【0025】

ここで、図４を用いて、本実施形態との比較例におけるパケットの選択方法について説明する。比較例は、受信装置にシーケンス番号順にパケットが到着するように予測遅延にのみ基づいて各パケットを送信する通信経路を選択する方法である。

【0026】

図４は、予測遅延に基づいて複数の経路で送信するパケットのシーケンス番号を選択した例を示している。ここで、図中のｔは時間を、ｖは通信経路の回線速度を示す。時間ｔは左向きに増加し、速度ｖは上向きに増加するように図中で示している。また、紙面向かって左が送信側であり右が受信側である。立体のブロックは、送信キューに到着しシーケンス番号順に並んだままのパケットを示しており、平面のブロックは、複数経路に割り振られた後の選択後のパケットを示している。また、平面のブロックの横幅は、そのブロックに対応するパケットの送信に要する時間を表しており、ブロックの縦幅は、そのブロックに対応するパケットが送信される速度を表している。この複数の平面のブロックは、受信側に近いほどパケットの到着が早いことも示している。また、図中の経路１とは遅延大の通信経路を示しており、対して経路２とは遅延大の通信経路ではない通信経路（以下、「遅延小の通信経路」という。）を示している。

【0027】

図４を参照して、比較例における各パケットを送信する通信経路の選択及び送信について具体的に説明する。

【0028】

まず、送信キューの中にシーケンス番号順にパケットが格納されている。次に、パケットを送信する経路を複数の経路から選択する。より具体的には、図４（ａ）に示すように、遅延大の経路である経路１の回線速度がｖ、遅延小の経路である経路２の回線速度が２ｖの場合、各パケットのデータ量が同一であれば、経路１における１パケット分の予測遅延は２ｔ、経路２における１パケット分の予測遅延はｔとなる。この各経路の予測遅延に基づいて、例えば、［ｓｅｑ１，ｓｅｑ２］のパケットを経路２から送信し、［ｓｅｑ３］のパケットを経路１から送信するように選択する。続いて、［ｓｅｑ４，ｓｅｑ５］のパケットを経路２から送信し、［ｓｅｑ６］のパケットを経路１から送信するように選択する。これにより、経路２から［ｓｅｑ１，ｓｅｑ２］のパケットが送信され受信が終わるタイミングで、経路１から［ｓｅｑ３］の送受信が終わるようにパケットが送信される。次に経路２から［ｓｅｑ４，ｓｅｑ５］のパケットが送信され受信が終わるタイミングで、経路１から［ｓｅｑ６］の送受信が終わるようにパケットが送信される。

【0029】

このように、比較例では、算出された予測遅延に基づいて、待ち時間の無駄を抑制するように、すなわち受信装置にシーケンス番号順にパケットが到着するように、各パケットを送信する経路を選択している。

【0030】

しかし、図４（ｂ）のように、実際のパケット送信時において、経路２の回線速度が予測遅延を算出した時点よりも高速化する場合がある。図４（ｂ）では、経路２の回線速度が、２ｖから４ｖに高速化した例を示している。すなわち、経路２では、１パケット分の予測遅延が１／２ｔとなる。この場合、図４（ａ）と同様の方法で選択されたパケットのシーケンス番号順に送信を行うと、経路１で未到着のパケットよりもシーケンス番号が後のパケットが経路２で先に到着してしまう。そのため、シーケンス番号順に受信装置の下流へパケットを転送する場合、経路２で先に到着したパケットは、そのパケットよりもシーケンス番号が前のパケットの到着を待つ必要がある。これをＨｅａｄ Ｏｆ Ｌｉｎｅブロッキング（以下、「ＨｏＬＢ」という。）という。ＨｏＬＢが起きる結果、受信装置において、順序解決待ち時間による受信装置から下流への転送遅延が発生する。

【0031】

図４（ｂ）の例では、経路１で［ｓｅｑ３］のパケットの送信が完了するまでに、経路２から［ｓｅｑ１，ｓｅｑ２，ｓｅｑ４，ｓｅｑ５］のパケットを送信可能である。しかし、経路１で［ｓｅｑ３］のパケットの送信が完了するまで、経路２で送信された［ｓｅｑ４，ｓｅｑ５］のパケットは転送を待たなくてはならない。つまり、［ｓｅｑ４，ｓｅｑ５］のパケットにＨｏＬＢが起きている。同様に、経路２の［ｓｅｑ７］以降のパケットにもＨｏＬＢが起きている。このようにＨｏＬＢが頻発することや、ＨｏＬＢによる待ち時間が増大することで、経路２の回線速度の高速化時に下流への転送遅延が起きるという問題が比較例ではある。すなわち、予測遅延に基づく到着順のみを考慮した場合、遅延小の通信経路の高速化時に転送遅延が起きる。

【0032】

そこで、本実施形態の選択部１４は、遅延大の通信経路が選択された場合には、算出部１２で算出した予測遅延に基づいて送信を選択されたパケットよりも、到着順が後のパケットを選択する。具体的には、図５に示すように、選択部１４は、遅延大の通信経路である経路１において、算出部１２で算出した予測遅延に基づいて選択されるパケットのシーケンス番号に対して、マージンを持たせたシーケンス番号のパケットを選択する。

【0033】

例えば、選択部１４は、図４（ａ）と同様の例において、経路１から送信するパケットとして、予測遅延に基づいて選択される［ｓｅｑ６］のパケットに対して、図５（ａ）に示すように、＋２のマージンを持たせる。これにより、選択部１４は、予測遅延に基づく選択では［ｓｅｑ６］のパケットを選択するところで、［ｓｅｑ８］のパケットを経路１から送信するパケットとして選択している。同様に、選択部１４は、予測遅延に基づいて選択される［ｓｅｑ９］に対して、図５（ａ）では＋６のマージンを持たせることで、［ｓｅｑ１５］のパケットを経路１から送信するパケットとして選択している。

【0034】

このように、選択部１４は、マージンを持たせたシーケンス番号のパケットを遅延大の経路から送信するように選択する。この選択方法により、経路２が高速化した際にも、図５（ｂ）のように、最初こそＨｏＬＢは発生するものの、経路２の後続のパケットへの影響は小さくなる。結果として、比較例である図４（ｂ）の場合よりＨｏＬＢによる下流への転送遅延は緩和される。

【0035】

次に、選択部１４におけるマージンの設定方法について説明する。

【0036】

図６を参照して、自然数で定義する場合のマージンの具体例について説明する。なお、図６において、経路１から送信するパケットを、送信が早い順にＰ１、Ｐ２、Ｐ３で表す。

【0037】

まず、マージンの設定に用いる変数として、例えば、以下の３種類の変数を定義する。

【0038】

１種類目の変数として、予測遅延差ｉについて説明する。予測遅延差ｉとは、後述する許容遅延内で送信可能なパケットの範囲で、遅延大の通信経路から送信する各パケットの予測遅延ｔ_１と、遅延小の通信経路から送信する最終パケットの予測遅延ｔ_２との差で求めた時間である。図６では、斜線のブロックが、各通信経路の許容遅延内に送信されるパケットを表しており、網点のブロックは、斜線のブロックのパケットの送信後に送信されるパケットを表している。図４、図５、及び図８においても同様である。なお、この送信のタイミングについては後述する。

【0039】

図６の例では、許容遅延内で送信可能なパケットが、経路１及び経路２ともに３つである場合を表している。また、各パケットの予測遅延は、送信装置１０からパケットを送信した時刻を遅延０とし、遅延０の時点から、パケットが受信装置２０へ到着するまでの経過時間に相当する。例えば、パケットＰ３についての予測遅延（Ｐ３）は、図６中の実線の両矢印の幅に相当する。この場合、パケットＰ３についての予測遅延差（Ｐ３）は、図６中の点線の両矢印で示すように、経路１のパケットＰ３の予測遅延（Ｐ３）から、経路２のパケット３つ分の予測遅延を引いた時間となる。また、パケットＰ２についての予測遅延差（Ｐ２）も同様に、図６中の破線の両矢印の幅に相当する。予測遅延差ｉは下記式（１）で表される。

【0040】

ｉ［予測遅延差］ ＝ ｔ_１［経路１の予測遅延］ － ｔ_２［経路２の予測遅延］ （１）

【0041】

２種類目の変数として、オフセットｊについて説明する。オフセットｊとは、予測遅延差ｉと遅延小の通信経路の回線速度ｖ_２とを乗じて求めたデータ量のことである。オフセットｊは下記式（２）で表される。

【0042】

ｊ［オフセット］ ＝ ｉ［予測遅延差］ × ｖ_２［経路２の回線速度］ （２）

【0043】

３種類目の変数ｋとして、無負荷時オフセットｋについて説明する。無負荷時オフセットｋとは、遅延大の通信経路の予測遅延ｔ_１と遅延小の通信経路の回線速度ｖ_２とを乗じて求めたデータ量のことである。無負荷時オフセットｋは下記式（３）で表される。

【0044】

ｋ［無負荷時オフセット］ ＝ ｔ_１［経路１の予測遅延］ × ｖ_２［経路２の回線速度］ （３）

【0045】

次に、上記の変数ｉ，ｊ，ｋを用いたマージンの算出について説明する。ここでは、下記式（４）～（８）に示す５つの算出方法を例示する。

【0046】

なお、選択部１４は、式（４）～（８）において、変数ｉ，ｊ，ｋは前述の式（１）～（３）で求め、定数ａは任意の値を設定する。なお、選択部１４は、定数ａとして、各式において異なる値を設定してもよい。また、選択部１４は、マージンを付加したシーケンス番号が、送信キューに保持されているパケットのシーケンス番号の最大値を超えないように、送信キューに保持されているパケット数に応じて動的に定数ａを設定してもよい。

【0047】

ｍ_１ ＝ ｖ_２［経路２の回線速度］ × ａ （４）
ｍ_２ ＝ ｋ［無負荷時オフセット］ × ａ （５）
ｍ_３ ＝ ｊ［オフセット］ × ａ （６）
ｍ_４ ＝ ｔ_１［経路１の予測遅延］ × ｍ_２ （７）
ｍ_５ ＝ ｉ［予測遅延差］ × ｍ_２ （８）

【0048】

また、選択部１４は、予測遅延差ｉが一定値以上の場合に、式（４）～（８）のいずれかでマージンｍの値を算出し、予測遅延差ｉが一定値未満の場合には、マージンｍ＝０としてもよい。受信装置２０でのパケット到着順序のずれが無視できる程度に小さい場合には、処理負荷の軽減及び効率最適化を優先させるものである。選択部１４は、式（４）～（８）のいずれかで算出したマージンｍの値をパケット数に換算して、自然数のマージンを定義する。

【0049】

また、式（４）～（８）で算出したマージンを適用する場合の各効果は以下のようになる。

【0050】

式（４）：経路２の遅延減少（例えば、図６（ａ１）に示すように、遅延０の時点から最初のパケット到達までの遅延減少）時の影響を緩和する。
式（５）：経路２の帯域拡大（例えば、図６（ａ２）に示すように、予測遅延算出時よりも経路２の回線速度が高速化）時の影響を緩和する。
式（６）：最終パケット受信後の経路２の帯域拡大時の影響を緩和する。
式（７）：時間経過によるさらなる経路２の帯域拡大（図６（ａ３））時の影響を緩和する。
式（８）：最終パケット受信後の時間経過によるさらなる経路２の帯域拡大時の影響を緩和する。

【0051】

図５の例は、経路１から２番目及び３番目に送信するパケットのシーケンス番号に、上記式（６）のマージンを付加した例である。具体的には、それぞれのパケットの予測遅延の、経路２から送信する最終パケット［ｓｅｑ４］の予測遅延との差の間に、経路２から到着予定のパケット数の２倍となる値をマージンとして設定している。これは［ｓｅｑ４］のパケット受信後に経路２が２倍高速化した場合までＨｏＬブロッキングを防ぐ設定に相当する。

【0052】

次に、マージンをデータ量で定義する場合について説明する。マージンの値自体は、前述の５つの計算式のいずれかで算出可能であるが、算出した値をパケット数に換算して、マージンを自然数で定義することができない場合がある。例えば、図７に示すように、パケットの各々のデータ量が同一ではない場合である。そのため、選択部１４は、マージンをデータ量で定義すると共に、次に示す方法で、マージンに基づくシーケンス番号のパケットを選択する。

【0053】

具体的には、選択部１４は、予測遅延に基づいて、遅延大の経路で送信するように選択されるマージン非適用時のパケットの次のパケットから順に所定のパケットまでの各パケットのデータ量を加算した総和を求める。図７の例では、マージン非適用時のパケットは［ｓｅｑ５］であり、次のパケットは［ｓｅｑ６］である。次に、選択部１４は、前述の５つの計算式のいずれかで求められたマージンとして定義されたデータ量と、前述の総和との差が所定範囲となる場合の所定のパケットを、遅延大の経路から送信するパケットとして選択する。

【0054】

選択部１４は、上記の差が所定範囲となる場合の所定のパケットを、以下の３パターンのいずれかにより選択する。

【0055】

１． マージン（データ量） ＞ 各パケットのデータ量の総和 となる最大のシーケンス番号を選択する。
２． マージン（データ量） ＜＝ 各パケットのデータ量の総和 となる最小のシーケンス番号を選択する。
３． マージン（データ量）に各パケットのデータ量の総和が最も近くなるシーケンス番号を選択する。

【0056】

例えば、図７の場合、選択部１４は、パターン１の場合［ｓｅｑ９］、パターン２の場合［ｓｅｑ１０］、パターン３の場合［ｓｅｑ９］のパケットを選択する。

【0057】

次に、遅延小の通信経路が２以上ある場合のマージンの設定方法を説明する。

【0058】

選択部１４は、遅延小の通信経路が２以上ある場合に、遅延小の通信経路の各々についてのマージンの総和をとり、その値を最終的なマージンとして設定する。

【0059】

図８に示すように、例えば、経路１で送信するパケットとして、マージン適用前では、１番目のパケット［ｓｅｑ７］、２番目のパケット［ｓｅｑ１４］、３番目のパケット［ｓｅｑ２１］が選択されているものとする。そして、２番目のパケットに対して経路２のマージンが＋２、経路３のマージンが＋６と算出されたとする。この場合、経路１の２番目のパケットに対するマージンの総和は２＋６で８となり、選択部１４は、［ｓｅｑ１４］に８を足した［ｓｅｑ２２］のパケットをマージン適用後のパケットとして選択する。

【0060】

送信部１６は、送信キューに保持された複数のパケットの各々を、選択部１４により選択された通信経路の各々を介して送信する。

【0061】

なお、送信部１６は、設定された許容遅延内で送信が完了する個数以内のパケットを送信する。許容遅延とは、複数の通信経路間で負荷分散の均衡を図るために、各経路で許容される遅延の最大値であり、遅延大の経路ほど大きな許容遅延が設定される。

【0062】

具体的には、送信装置１０の送信部１６は、送信開始時において、図９に示す無負荷時遅延及び回線速度（図９中のｖ）を推定し、これらに基づき、許容遅延内に収まる最大のデータ量をウィンドウサイズとして設定する。そして、送信部１６は、マージンを反映して選択したウィンドウサイズ分のパケットを送信する。送信開始のタイミングは経路１も経路２も同じである。経路１の例である図９（ａ）では、ウィンドウサイズ分のパケットとして、パケットＰ１～Ｐ５が送信されている。なお、選択部１４で選択後のシーケンス番号、すなわちマージンが反映されたシーケンス番号に基づいて、各経路から１番目に送信されるパケットをＰ１、２番目に送信されるパケットをＰ２等として示している。送信部１６は、所定のタイミングで受信装置２０から送信される、受信装置２０で受信したパケットの肯定応答であるＡＣＫを受け取る。図９（ａ）に示す経路１では、受信装置２０が２パケット受信する毎にＡＣＫを送信装置１０へ送信する例を示しているが、ＡＣＫ送信のタイミングは、適宜設定可能である。送信部１６は、ＡＣＫを受け取ると、図９（ａ）ではＰ２までの送受信が正常に完了したことを検知し、ウィンドウサイズの空きである２パケット分（パケットＰ６～Ｐ７）を次に送信する。

【0063】

また、経路２の例である図９（ｂ）でも同様に、送信部１６は、送信開始のタイミング及びＡＣＫ受信後のタイミングでパケットを送信する。図９（ｂ）では、送信開始時のウィンドウサイズが６パケット分であり、受信装置２０が３パケット受信する毎にＡＣＫを送信装置１０へ送信する例を示している。したがって、次以降の送信タイミングには３パケット分の空きがあるため、送信部１６は、経路２については、次以降の送信タイミング毎に３パケットずつ送信する。なお、図９において、星印はパケットの送信タイミングを表している。

【0064】

送信部１６は、上記の各送信タイミングにおいて、選択部１４により予め選択されているパケットを各経路から選択してもよいし、送信タイミング毎に再選択されたパケットを送信してもよい。後者の場合、具体的には、送信部１６は、ＡＣＫを受信する都度、選択部１４に通知する。選択部１４は、通知を受けた時点での予測遅延等に基づくマージンを反映して、各経路で送信するパケットを再選択する。また、送信部１６は、ＡＣＫ受信後の送信タイミングにおける送信可能量を、ウィンドウの空き量ではなく、ＡＣＫ受信時の回線速度等を再推定するなどして、送信タイミングの都度決定するようにしてもよい。

【0065】

受信装置２０は、送信装置１０から送信されたパケットを受信すると、所定のタイミングで送信装置１０へＡＣＫを送信する。また、受信装置２０は、経路毎に受信したパケットをシーケンス番号順に下流へ転送する。

【0066】

次に、本実施形態に係る通信システム１００の作用について説明する。送信装置１０において、図１０に示す送信処理が実行される。なお、送信処理は、本発明の送信方法の一例である。

【0067】

図１０を参照して、送信処理について説明する。

【0068】

ステップＳ１０で、算出部１２が、送信装置１０の送信キューへのパケットの到着を検出すると、到着順に各パケットに１から順に連番のシーケンス番号を付与する。次に、ステップＳ１２で、算出部１２が、シーケンス番号を特定するための変数ｎに１を代入する。

【0069】

次に、ステップＳ１４で、算出部１２が、シーケンス番号ｎのパケットを送信する経路が未選択か否かを判定する。選択済みの場合（ステップＳ１４：ＮＯ）、ステップＳ１６へ移行し、変数ｎを１インクリメントして、ステップＳ１４に戻る。未選択の場合（ステップＳ１４：ＹＥＳ）、ステップＳ１８へ移行する。

【0070】

ステップＳ１８では、算出部１２が、シーケンス番号ｎのパケットの経路毎の予測遅延を算出する。予測遅延は、送信キューに格納された送信待ちデータのデータ量、及び通信回線３０の推定回線速度から算出する。

【0071】

次に、ステップＳ２０で、選択部１４が、算出部１２により算出された予測遅延に基づいて、到着予測が早いのは複数経路のうち遅延大の経路か否かを判定する。遅延大の経路ではない場合（ステップＳ２０：ＮＯ）、ステップＳ２６へ移行し、選択部１４がシーケンス番号ｎのパケットの経路として遅延小の経路を選択して、ステップＳ２８へ移行する。一方、遅延大の経路である場合（ステップＳ２０：ＹＥＳ）、ステップＳ２２へ移行し、選択部１４が、マージンｍを設定する。次に、ステップＳ２４で、選択部１４が、シーケンス番号ｎ＋ｍのパケットの経路として遅延大の経路を選択し、ステップＳ２８へ移行する。

【0072】

ステップＳ２８では、選択部１４が、送信キュー内の全パケットの経路の選択を完了したか否かを判定する。経路を未選択のパケットが存在する場合（ステップＳ２８：ＮＯ）、ステップＳ１４に戻る。全てのパケットの経路の選択が完了した場合（ステップＳ２８：ＹＥＳ）、ステップＳ３０へ移行し、送信部１６が、選択部１４で選択した経路で各パケットを送信し、ステップＳ１０に戻る。

【0073】

なお、上記送信処理では、送信キュー内の全パケットの経路の選択が完了した段階でパケットを送信する場合について説明したが、所定個のパケットの経路の選択が完了した段階でパケットを送信するようにしてもよい。

【0074】

以上説明したように、本実施形態に係る通信システムによれば、複数のパケットを複数の通信経路を介して負荷分散して送信する送信装置が、上位層から到着する複数のパケットを到着順に保持する。そして、送信キューに保持されたパケットのデータ量及び複数の通信経路の各々の回線速度に基づいて、複数の通信経路の各々でパケットを送信する場合にパケットが受信装置に到着するまでに要する時間である予測遅延を算出する。また、送信装置が、複数のパケットの各々が送信キューへの到着順に受信装置で受信されるように、複数のパケットの各々を送信する通信経路を選択する。この際に、送信装置は、複数の通信経路のうち、同一データ量のパケットを送信する場合の予測遅延が最も大きい遅延大の通信経路から送信するパケットとして、予測遅延に基づいて選択されるパケットよりも到着順が後のパケットを選択する。そして、送信装置が、複数のパケットの各々を、選択した通信経路の各々を介して送信する。これにより、遅延大の通信経路以外の経路の回線速度が更に高速化した場合でも、Ｈｅａｄ Ｏｆ Ｌｉｎｅ ブロッキングの頻度を低くし、受信装置へのパケット到着順序の解決待ち時間を削減できるため、受信装置下流へのパケットの転送遅延を抑制できる。

【0075】

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した送信処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、送信処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0076】

また、上記実施形態では、送信プログラムが記憶装置に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0077】

１００ 通信システム
１０ 送信装置
１２ 算出部
１４ 選択部
１６ 送信部
２０ 受信装置
３０ 通信回線
４２ ＣＰＵ
４４ メモリ
４６ 記憶装置
４８ 入力装置
５０ 出力装置
５２ 記憶媒体読取装置
５４ 通信Ｉ／Ｆ
５６ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】