(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023149288
(43)【公開日】2023-10-13
(54)【発明の名称】端末装置および制御方法
(51)【国際特許分類】
H04L 65/1059 20220101AFI20231005BHJP
【FI】
H04L65/1059
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022057779
(22)【出願日】2022-03-31
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.3GPP
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100147304
【弁理士】
【氏名又は名称】井上 知哉
(74)【代理人】
【識別番号】100148493
【弁理士】
【氏名又は名称】加藤 浩二
(72)【発明者】
【氏名】飯島 賢一
(72)【発明者】
【氏名】新明 秀章
(72)【発明者】
【氏名】鈴木 重人
(72)【発明者】
【氏名】山本 誠
(72)【発明者】
【氏名】金森 耕一
(57)【要約】
【課題】送信エラーとなった特定の種別のデータについて、古いデータを破棄する端末装置を提供する。
【解決手段】端末装置は、送信予定のパケットを記憶するバッファと、前記パケットを送信する通信部と、前記パケットの送信エラーが発生した場合、前記パケットが特定の種別のデータであるか否か判定するデータ種別判定部と、前記パケットが前記特定の種別のデータと判定された場合、前記パケットを前記バッファから破棄するデータ破棄部と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
送信予定のパケットを記憶するバッファと、
前記パケットを送信する通信部と、
前記パケットの送信エラーが発生した場合、前記パケットが特定の種別のデータであるか否か判定するデータ種別判定部と、
前記パケットが前記特定の種別のデータと判定された場合、前記パケットを前記バッファから破棄するデータ破棄部と、
を備える端末装置。
【請求項2】
前記パケットの送信エラーが発生した場合、
前記データ破棄部は、前記パケットが前記特定の種別のデータと判定され、且つ前記パケットの最初の送信エラーから所定時間経過している場合、前記パケットを前記バッファから破棄する請求項1記載の端末装置。
【請求項3】
前記データ破棄部は、前記所定時間が経過する前に前記パケットの送信が成功した場合、前記パケットを前記バッファから破棄する請求項2記載の端末装置。
【請求項4】
前記データ破棄部は、
前記パケットが前記特定の種別のデータでないと判定された場合、前記パケットを前記バッファから破棄せず、
前記パケットの送信が成功した場合、前記パケットを前記バッファから破棄する請求項1記載の端末装置。
【請求項5】
前記特定の種別のデータは、リアルタイム性を求められるデータである請求項1乃至4のいずれか1項に記載の端末装置。
【請求項6】
前記データ種別判定部は、
前記パケットに含まれるデータがUDP(User Datagram Protocol)パケットの場合、前記パケットが前記特定の種別のデータであると判定し、
前記パケットに含まれるデータがTCP(Transmission Control Protocol)パケットの場合、前記パケットが前記特定の種別のデータでないと判定する請求項1乃至5のいずれか1項に記載の端末装置。
【請求項7】
送信予定のパケットをバッファに記憶し、
前記パケットを送信し、
前記パケットの送信エラーが発生した場合、前記パケットが特定の種別のデータであるか否か判定し、
前記パケットが前記特定の種別のデータと判定された場合、前記パケットを前記バッファから破棄する、
処理を備える制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末装置および制御方法に関する。
【背景技術】
【0002】
特許文献1には、無線端末へのデータ送信に使用する通信帯域の合計値が基地局で使用可能な帯域を超える場合でも、パケットデータの破棄、再送を低減する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
端末装置から上りデータを送信している最中に、通信品質が悪くなった場合、上りデータの送信エラーが多発する。端末装置は、エラーとなって送信できなくなった上りデータをバッファに溜め込む。その後、端末装置は通信品質が良好になった場合、バッファに溜まっていた上りデータを再び送信する。
【0005】
しかし、リアルタイム性を必要とするライブ配信やストリーミング配信の場合、一度バッファに溜まった上りデータは既に古いデータであり、バッファに溜まった上りデータをそのまま送信してしまうと、相手側は古いデータを再生してしまうため、リアルタイム性を必要とするライブ配信やストリーミング配信では望ましくない。
【0006】
本発明の一態様は、送信エラーとなった特定の種別のデータについて、古いデータを破棄する端末装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様に係る端末装置は、送信予定のパケットを記憶するバッファと、前記パケットを送信する通信部と、前記パケットの送信エラーが発生した場合、前記パケットが特定の種別のデータであるか否か判定するデータ種別判定部と、前記パケットが前記特定の種別のデータと判定された場合、前記パケットを前記バッファから破棄するデータ破棄部と、を備える。
【0008】
本発明の一態様に係る制御方法は、送信予定のパケットをバッファに記憶し、前記パケットを送信し、前記パケットの送信エラーが発生した場合、前記パケットが特定の種別のデータであるか否か判定し、前記パケットが前記特定の種別のデータと判定された場合、前記パケットを前記バッファから破棄する、処理を備える。
【図面の簡単な説明】
【0009】
【
図1】第1の実施の形態に係るシステムの構成図の一例である。
【
図2】第1の実施の形態に係る端末装置の構成図の一例である。
【
図3】第1の実施の形態に係る制御方法のフローチャートの一例である。
【
図4】第1の実施の形態に係るパケットの送信および破棄の処理(通信品質が常時良好な場合)の一例を示す図である。
【
図5】第1の実施の形態に係るパケットの送信および破棄の処理(通信品質が一時的に悪化する場合)の一例を示す図である。
【
図6】第2の実施の形態に係る端末装置の構成図の一例である。
【
図7】第2の実施の形態に係る制御方法のフローチャートの一例である。
【
図8】第2の実施の形態に係るパケットの送信および破棄の処理(通信品質が一時的に悪化する場合)の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、実施の形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
【0011】
(第1の実施の形態)
図1は、第1の実施の形態に係るシステムの構成図の一例である。
【0012】
第1の実施の形態に係るシステム10は、端末装置101、カメラ201、パーソナルコンピュータ(PC)301、および基地局401を有する。
【0013】
端末装置101は、基地局401と接続し、LTE(Long Term Evolution)または5G等を用いた無線通信により、基地局401と通信可能である。端末装置101は、カメラ201とLAN(Local Area Network)を介して接続し、カメラ201から送信データ(映像データ)を受信し、基地局401に送信する。また、端末装置101は、PC301とLANを介して接続し、PC301から送信データ(各種データ)を受信し、基地局401に送信する。端末装置101は、例えば、無線ルーターまたはスマートフォン等の通信装置である。
【0014】
カメラ201は、例えば、動画を撮影し、撮影した動画(映像データ)をサーバ等の他の装置(不図示)に送信する。具体的には、カメラ201は、映像データを端末装置101に送信し、端末装置101を介して、他の装置(不図示)に送信する。
【0015】
PC301は、例えば、文書作成、電子メール、または遠隔ロボットの操作などの各種処理を行い、各種処理で生成された各種データをサーバ等の他の装置(不図示)に送信する。具体的には、PC301は、各種データを端末装置101に送信し、端末装置101を介して、他の装置(不図示)に送信する。
【0016】
基地局401は、端末装置101と接続し、LTEまたは5G等を用いた無線通信により、端末装置101と通信可能である。また、基地局401は、ネットワーク(不図示)と接続し、当該ネットワークを介して、サーバ等の他の装置(不図示)と接続する。
【0017】
図2は、第1の実施の形態に係る端末装置の構成図の一例である。
【0018】
端末装置101は、処理部111、通信部121、バッファ131、および記憶部141を備える。
【0019】
処理部111は、端末装置101の各種制御を行う。処理部111は、例えば、集積回路(IC(Integrated Circuit)チップ)等に形成された論理回路(ハードウェア)である。また、処理部111は、CPU(Central Processing Unit)等のプロセッサを用いてソフトウェアによって実現してもよい。
【0020】
処理部111は、データ取得部112、第1データ種別判定部113、パケット生成部114、通信処理部115、送信エラー判定部116、第2データ種別判定部117、およびデータ破棄部118を有する。
【0021】
データ取得部112は、通信部121から送信データを取得する。
【0022】
第1データ種別判定部113は、データ取得部112が取得した送信データの種別を判定する。具体的には、例えば、第1データ種別判定部113は、送信データがリアルタイム性を求められるデータであるか否か判定する。リアルタイム性を求められるデータは、例えば、映像データ、RTP(Real-time Transport Protocol)パケット、またはUDP(User Datagram Protocol)パケット等である。映像データは、例えば、ライブ配信やストリーミング配信における動画または音声のデータであり、カメラ201による撮影時刻と相手側で再生した時刻のずれが大きい場合には、届ける意味がなくなってしまうデータである。リアルタイム性を求められないデータは、例えば、確実に届ける必要があるデータがあり、ファイルデータ、またはTCP(Transmission Control Protocol)パケットである。ファイルデータは、例えば、相手側で1つでも欠けるとエラーとなるデータであり、確実に相手側に届ける必要があるデータである。ファイルデータは、例えば、テキストデータ、電子メール、またはロボット操作のための制御データなどである。
【0023】
パケット生成部114は、送信データの種別に応じたヘッダを送信データに付与してパケット化し、基地局401との通信方式に適合したパケットを生成する。パケット生成部114は、生成したパケットをバッファ131に記憶させる。送信データの種別に応じたヘッダの付与は、例えば、3GPP(3rd Generation Partnership Project)の5Gで仕様化されているSDAP(Service Data Adaptation Protocol)の機能(アプリケーションによってマッピングを行い、ヘッダに属性を付与する)によって、実現可能である。例えば、SDAPレイヤで、映像データには、リアルタイム性を求められるという情報を含むヘッダを付与し、ファイルデータには確実に届ける必要があることを示す情報を含むヘッダを、それぞれ付与する。これによって、更に下位層にデータが受け渡された際に、各レイヤは、受け渡されたデータがどういう属性のデータかを判別し、属性に合わせた動作をすることができる。
【0024】
通信処理部115は、バッファ131に記憶されているパケットを通信部121を介して送信する。
【0025】
送信エラー判定部116は、パケットの送信が成功したか否か判定する。
【0026】
第2データ種別判定部117は、バッファ131に記憶されたパケットの種別を当該パケットのヘッダに基づいて判定する。具体的には、例えば、第2データ種別判定部117は、パケットがリアルタイム性を求められるデータであるか否か判定する。リアルタイム性を求められるデータは、特定の種別のデータの一例である。
【0027】
データ破棄部118は、バッファ131に記憶されたパケットを破棄する。具体的には、例えば、パケットの送信エラーが発生した場合、データ破棄部118は、パケットが特定の種別のデータと判定された場合、パケットをバッファから破棄する。
【0028】
通信部121は、カメラ201から送信データである映像データを受信し、データ取得部111に出力する。通信部121は、PC301から送信データである各種データを受信し、データ取得部111に出力する。通信部121は、通信処理部115による制御により、バッファ131に記憶されているパケットを基地局401に送信する。通信部121は、通信に伴うデータ変換を行う通信インタフェースであり、例えば、集積回路(ICチップ)等に形成された論理回路(ハードウェア)等で実現される。
【0029】
バッファ131は、送信予定のパケットを記憶する。バッファ131は、例えば、RAM(Random Access Memory)、フラッシュメモリ、またはHDD(ハードディスクドライブ等の記憶装置である。
【0030】
記憶部141は、端末装置101で利用されるプログラムやデータ等を記憶する。記憶部141は、例えば、RAM、フラッシュメモリ、またはHDD等の記憶装置である。尚、バッファ131および記憶部141は、同一の装置であってもよい。
【0031】
図3は、第1の実施の形態に係る制御方法のフローチャートの一例である。
【0032】
ステップS301において、通信部121は、カメラ201またはPC301から送信データを受信し、データ取得部111は、通信部121から当該送信データを取得する。
【0033】
ステップS302において、第1データ種別判定部113は、ステップS301で取得した送信データの種別を判定する。具体的には、例えば、第1データ種別判定部113は、送信データがリアルタイム性を求められるデータであるか否か判定する。
【0034】
例えば、第1データ種別判定部113は、IPプロトコルタイプに基づいて、送信データの種別を判定する。具体的には、例えば、第1データ種別判定部113は、送信データがUDPパケットの場合、送信データはリアルタイム性を求められるデータであると判定する。第1データ種別判定部113は、送信データがUDPパケット以外の場合、送信データはリアルタイム性を求められないデータであると判定する。例えば、第1データ種別判定部113は、送信データがTCPパケットの場合、送信データはリアルタイム性を求められないデータであると判定する。
【0035】
例えば、実施の形態において、カメラ201からは、映像データがUDPパケットで送信され、PC301からは、ファイルデータがTCPパケットで送信される。
【0036】
ステップS303において、パケット生成部114は、送信データにヘッダを付与してパケット化し、基地局401との通信方式に適合したパケットを生成する。ここで、パケット生成部114は、ステップS302の判定結果に応じたヘッダを送信データに付与する。すなわち、パケット生成部114は、送信データの種別に応じたヘッダを送信データに付与する。具体的には、例えば、パケット生成部114は、リアルタイム性を求められるデータであると判定された送信データには、リアルタイム性が求められることを示す情報を含むヘッダを付与し、リアルタイム性を求められるデータではないと判定された送信データには、確実に届ける必要があることを示す情報を含むヘッダを付与する。パケット生成部114は、生成したパケットをバッファ131に記憶させる。これにより、バッファ131には、送信予定のパケットが記憶される。
【0037】
ステップS304において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットを基地局401に送信する。尚、通信処理部115は、ステップS303で新たに生成されたパケットだけでなく、バッファ131に記憶されている以前に送信を失敗したパケットも送信する。尚、パケットが送信された場合でも、データ破棄部118により破棄されるまで、バッファ131にはパケットは記憶されたままである。
【0038】
ステップS305において、送信エラー判定部116は、基地局401からの応答を確認し、当該応答に基づいて、送信が成功したか否か判定する。具体的には、例えば、送信エラー判定部116は、通信部121がステップS304のパケットの送信から所定時間経過するまでに基地局401から肯定応答(ACK)を受信した場合、送信が成功したと判定する。送信エラー判定部116は、通信部121が否定応答(NACK)を受信した場合、またはステップS304のパケットの送信から所定時間経過するまでに肯定応答(ACK)を受信しない(すなわち、無応答)場合に、送信が失敗した(送信エラー)と判定する。送信が成功したと判定された場合、制御はステップS306に進み、送信が失敗したと判定された場合、制御はステップS307に進む。
【0039】
ステップS306において、データ破棄部118は、ステップS304で送信したパケットをバッファ131から破棄する。
【0040】
ステップS307において、第2データ種別判定部117は、送信が失敗したパケット(送信エラーとなったパケット)の種別を判定する。具体的には、例えば、第2データ種別判定部117は、バッファ131に記憶された送信が失敗したパケットのヘッダを参照し、当該ヘッダに含まれる情報に基づいて、当該パケットがリアルタイム性を求められるデータであるか否か判定する。
【0041】
例えば、第2データ種別判定部117は、パケットのヘッダにリアルタイム性を求められることを示す情報が含まれている場合には、当該パケットはリアルタイム性を求められるデータであると判定する。上述のように、送信データがUDPパケットの場合、当該送信データは、リアルタイム性を求められることを示す情報を含むヘッダが付与されて、パケット化される。したがって、パケットに含まれる送信データがUDPパケットの場合、パケットのヘッダにリアルタイム性を求められることを示す情報が含まれているので、第2データ種別判定部117は、当該パケットはリアルタイム性を求められるデータであると判定する。
【0042】
例えば、第2データ種別判定部117は、パケットのヘッダに確実に届ける必要があることを示す情報が含まれている場合には、当該パケットはリアルタイム性を求められるデータでないと判定する。上述のように、送信データがTCPパケットの場合、当該送信データは、確実に届ける必要があることを示す情報を含むヘッダが付与されて、パケット化される。したがって、パケットに含まれる送信データがTCPパケットの場合、パケットのヘッダに確実に届ける必要があることを示す情報が含まれているので、第2データ種別判定部117は、当該パケットはリアルタイム性を求められるデータでないと判定する。送信エラーとなったパケットがリアルタイム性を求められるデータであると判定された場合、制御はステップS308に進み、送信エラーとなったパケットがリアルタイム性を求められるデータでないと判定された場合、制御はステップS301に戻る。
【0043】
ステップS308において、データ破棄部118は、ステップS307でリアルタイム性を求められるデータであると判定されたパケットをバッファ131から破棄する。
【0044】
図4は、第1の実施の形態に係るパケットの送信および破棄の処理(通信品質が常時良好な場合)の一例を示す図である。
【0045】
図4の横軸は時間を示し、
図4は、各時刻においてバッファ131内に記憶されているパケット、および破棄するパケットを示す。
図4では、各パケットは、パケットSNi(i=1~10)(ヘッダ種別を含む)で示す。iはシーケンス番号であり、パケットの生成時に付与される通し番号である。ヘッダ種別は、パケットのヘッダが、リアルタイム性を求められることを示す情報を含むヘッダ(H1)か、確実に届ける必要があることを示す情報を含むヘッダ(H2)かを示す。すなわち、ヘッダ種別は、パケットSNiがリアルタイム性を求められるデータであるか、リアルタイム性を求められるデータでないかを示す。尚、ヘッダ種別の記載は省略する場合がある。
【0046】
図4において、パケットSN1(H1)~SN3(H1)、SN5(H1)~SN7(H1)、SN9(H1)~SN10(H1)は、映像データを含むパケットであり、リアルタイム性を求められるデータである。また、パケットSN4(H2)、SN8(H2)は、ファイルデータを含むパケットであり、リアルタイム性を求められるデータではない。
【0047】
また、
図4では、送信データの取得(ステップS301)やデータ種別判定(ステップS302)の処理の説明は省略し、適宜、パケットSNiが生成され、バッファ131に記憶される。
【0048】
時刻t1において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN1(H1)を基地局401に送信する。パケットSN1(H1)の送信は成功する。
【0049】
時刻t1’において、データ破棄部118は、パケットSN1(H1)の送信が成功したので、バッファ131からパケットSN1(H1)を破棄する。
【0050】
以下同様に、時刻tj(j=2~10)において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSNjを基地局401に送信し、パケットSNjの送信は成功する。時刻tj’において、データ破棄部118は、パケットSNjの送信が成功したので、バッファ131からパケットSNjを破棄する。
【0051】
図4では、通信品質は常時良好なため、パケットの送信はすべて成功し、パケットの送信後、当該パケットはバッファ131から破棄される。
【0052】
次に、通信品質が一時的に悪化する場合のパケットの送信および破棄の処理について説明する。
【0053】
図5は、第1の実施の形態に係るパケットの送信および破棄の処理(通信品質が一時的に悪化する場合)の一例を示す図である。
【0054】
図5におけるパケットの種別や表記等は、
図4と同様であるため説明は省略する。
【0055】
図5の時刻t1~t2’のそれぞれの処理は、
図4と同様であるため説明は省略する。
【0056】
時刻t2’と時刻t3の間で、通信品質が悪化する。
【0057】
時刻t3において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN3(H1)を基地局401に送信する。パケットSN3(H1)の送信は失敗する。
【0058】
時刻t3’において、データ破棄部118は、パケットSN3(H1)の送信が失敗したが、パケットSN3(H1)は、リアルタイム性を求められるデータであるので、バッファ131からパケットSN3(H1)を破棄する。
【0059】
時刻t4において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN4(H2)を基地局401に送信する。パケットSN4(H2)の送信は失敗する。
【0060】
時刻t4’において、データ破棄部118は、パケットSN4(H2)の送信が失敗したが、パケットSN4(H2)は、リアルタイム性を求められるデータでないので、バッファ131からパケットSN4(H2)を破棄しない。
【0061】
時刻t5において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN4(H2)、SN5(H1)を基地局401に送信する。パケットSN4(H2)、SN5(H1)の送信は失敗する。
【0062】
時刻t5’において、データ破棄部118は、パケットSN4(H2)の送信が失敗したが、パケットSN4(H2)は、リアルタイム性を求められるデータでないので、バッファ131からパケットSN4(H2)を破棄しない。また、データ破棄部118は、パケットSN5(H1)の送信が失敗し、パケットSN5(H1)は、リアルタイム性を求められるデータであるので、バッファ131からパケットSN5(H1)を破棄する。
【0063】
時刻t6において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN4(H2)、SN6(H1)を基地局401に送信する。パケットSN4(H2)、SN6(H1)の送信は失敗する。
【0064】
時刻t6’において、データ破棄部118は、パケットSN4(H2)の送信が失敗したが、パケットSN4(H2)は、リアルタイム性を求められるデータでないので、バッファ131からパケットSN4(H2)を破棄しない。また、データ破棄部118は、パケットSN6(H1)の送信が失敗し、パケットSN6(H1)は、リアルタイム性を求められるデータであるので、バッファ131からパケットSN6(H1)を破棄する。
【0065】
時刻t7において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN4(H2)、SN7(H1)を基地局401に送信する。パケットSN4(H2)、SN7(H1)の送信は失敗する。
【0066】
時刻t7’において、データ破棄部118は、パケットSN4(H2)の送信が失敗したが、パケットSN4(H2)は、リアルタイム性を求められるデータでないので、バッファ131からパケットSN4(H2)を破棄しない。また、データ破棄部118は、パケットSN7(H1)の送信が失敗し、パケットSN7(H1)は、リアルタイム性を求められるデータであるので、バッファ131からパケットSN7(H1)を破棄する。
【0067】
時刻t8において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN4(H2)、SN8(H8)を基地局401に送信する。パケットSN4(H2)、SN8(H2)の送信は失敗する。
【0068】
時刻t8’において、データ破棄部118は、パケットSN4(H2)の送信が失敗したが、パケットSN4(H2)は、リアルタイム性を求められるデータでないので、バッファ131からパケットSN4(H2)を破棄しない。また、データ破棄部118は、パケットSN8(H2)の送信が失敗したが、パケットSN8(H2)は、リアルタイム性を求められるデータでないので、バッファ131からパケットSN8(H2)を破棄しない。
【0069】
時刻t8’と時刻t9の間で、通信品質が回復する。
【0070】
時刻t9において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN4(H2)、SN8(H2)、SN9(H1)を基地局401に送信する。通信品質が回復したので、パケットSN4(H2)、SN8(H2)、SN9(H1)の送信は成功する。
【0071】
時刻t9’において、データ破棄部118は、SN4(H2)、SN8(H2)、SN9(H1)の送信が成功したので、バッファ131からパケットSN4(H2)、SN8(H2)、SN9(H1)を破棄する。
【0072】
時刻t10において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN10(H1)を基地局401に送信する。パケットSN10(H1)の送信は成功する。
【0073】
時刻t10’において、データ破棄部118は、パケットSN10(H1)の送信が成功したので、バッファ131からパケットSN10(H1)を破棄する。
【0074】
第1の実施の形態に係る端末装置によれば、送信エラーとなった特定の種別のデータ(例えば、リアルタイム性を求められるデータ)について、古いデータを破棄することができる。これにより、相手側が古いデータを再生してしまうことを防止し、最新のデータを再生することができる。第1の実施の形態に係る端末装置は、例えば、最新のデータが送信されることで、カメラによる撮影時と相手側の再生時での映像のズレが低減されるので、リアルタイム性を求められるライブ配信やストリーミング配信において好適である。
【0075】
(第2の実施の形態)
例えば、映像データにおいて1フレームを構成するデータは、複数のパケットに分割されて送信されるため、複数のパケットのうちの最初に送信した1つのパケットで送信エラーが発生した場合、第1の実施の形態のように、当該1つのパケットをすぐに破棄してしまうと、仮に、その次に送信したパケットが相手先に送信できたとしても、1フレーム分のデータが足りず、1フレーム全体をデコードできないということが生じる。
【0076】
そのため、1フレーム相当のデータ量の分(ここでは1つのフレーム相当に必要な時間分)はバッファに溜めておくことが望ましい。
【0077】
第2の実施の形態では、リアルタイム性を求められるデータが送信エラーとなっても、すぐに破棄せずに、所定時間、バッファに保持する。
【0078】
図6は、第2の実施の形態に係る端末装置の構成図の一例である。
【0079】
端末装置1101は、処理部1111、通信部121、バッファ131、および記憶部141を備える。通信部121、バッファ131、および記憶部141の機能および構成は、第1の実施形態と同様であるため説明は省略する。また、第2の実施の形態のシステムの構成は、
図1の第1の実施の形態のシステム10の構成と同様であり、端末装置1101は、
図1における端末装置101に相当する。
【0080】
処理部1111は、端末装置1101の各種制御を行う。処理部1111は、データ取得部112、第1データ種別判定部113、パケット生成部114、通信処理部115、送信エラー判定部116、第2データ種別判定部117、経過時間判定部119、およびデータ破棄部120を有する。
【0081】
データ取得部112、第1データ種別判定部113、パケット生成部114、通信処理部115、送信エラー判定部116、第2データ種別判定部117の機能および構成は、第1の実施形態と同様であるため説明は省略する。
【0082】
経過時間判定部119は、送信が失敗したパケットについて、当該パケットを最初に送信した時刻から所定時間経過したか否か判定する。
【0083】
データ破棄部120は、バッファ131に記憶されたパケットを破棄する。具体的には、例えば、パケットの送信エラーが発生した場合、データ破棄部120は、パケットが特定の種別のデータと判定され、且つパケットの最初の送信エラーから所定時間経過している場合、パケットをバッファ131から破棄する。
【0084】
図7は、第2の実施の形態に係る制御方法のフローチャートの一例である。
【0085】
ステップS701~S706それぞれの処理は、
図3のステップS301~S306それぞれの処理と同様であるため、説明は省略する。
【0086】
ステップS707において、第2データ種別判定部117は、送信が失敗したパケットの種別を判定する。具体的には、例えば、第2データ種別判定部117は、バッファ131に記憶された送信が失敗したパケットのヘッダを参照し、当該ヘッダに含まれる情報に基づいて、当該パケットがリアルタイム性を求められるデータであるか否か判定する。パケットがリアルタイム性を求められるデータであるか否か判定方法は、ステップS307と同様であるため、説明は省略する。送信エラーとなったパケットがリアルタイム性を求められるデータであると判定された場合、制御はステップS708に進み、送信エラーとなったパケットがリアルタイム性を求められるデータでないと判定された場合、制御はステップS701に戻る。
【0087】
ステップS708において、経過時間判定部119は、送信エラーとなったパケットについて、当該パケットを最初に送信した時刻から所定時間経過したか否か判定する。送信エラーとなったパケットについて、当該パケットを最初に送信した時刻から所定時間経過したと判定された場合、制御はステップS709に進み、当該パケットを最初に送信した時刻から所定時間経過していないと判定された場合、制御はステップS701に戻る。
【0088】
ステップS709において、データ破棄部120は、最初に送信した時刻から所定時間経過したとステップS708で判定されたパケットをバッファ131から破棄する。
【0089】
図8は、第2の実施の形態に係るパケットの送信および破棄の処理(通信品質が一時的に悪化する場合)の一例を示す図である。
【0090】
図8におけるパケットの種別や表記等は、
図4と同様であるため説明は省略する。
図8では、所定時間を3Tとし、送信エラーとなったパケットについて、当該パケットを最初に送信した時刻から3T経過した場合に、データ破棄部120は、当該パケットをバッファ131から破棄する。尚、
図8において、時刻tn(nは整数)と時刻t(n+1)との間の時間は、Tである。
【0091】
図8の時刻t1~t2’のそれぞれの処理は、
図4と同様であるため説明は省略する。
【0092】
時刻t2’と時刻t3の間で、通信品質が悪化する。
【0093】
時刻t3において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN3(H1)を基地局401に送信する。パケットSN3(H1)の送信は失敗する。
【0094】
時刻t3’において、データ破棄部118は、パケットSN3(H1)の送信が失敗し、パケットSN3(H1)は、リアルタイム性を求められるデータであるが、時刻t3’では、パケットSN3(H1)を最初に送信した時刻t3から時間3Tを経過していないので、バッファ131からパケットSN3(H1)を破棄しない。
【0095】
時刻t4において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN3(H1)、SN4(H2)を基地局401に送信する。パケットSN3(H1)、SN4(H2)の送信は失敗する。
【0096】
時刻t4’において、データ破棄部118は、パケットSN3(H1)の送信が失敗し、パケットSN3(H1)は、リアルタイム性を求められるデータであるが、時刻t4’ではパケットSN3(H1)を最初に送信した時刻t3から時間3Tを経過していないので、バッファ131からパケットSN3(H1)を破棄しない。データ破棄部118は、パケットSN4(H2)の送信が失敗したが、パケットSN4(H2)は、リアルタイム性を求められるデータでないので、バッファ131からパケットSN4(H2)を破棄しない。
【0097】
時刻t5において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN3(H1)、SN4(H2)、SN5(H1)、を基地局401に送信する。パケットSN3(H1)、SN4(H2)、SN5(H1)の送信は失敗する。
【0098】
時刻t5’において、データ破棄部118は、パケットSN3(H1)の送信が失敗し、パケットSN3(H1)は、リアルタイム性を求められるデータであるが、時刻t5’ではパケットSN3(H1)を最初に送信した時刻t3から時間3Tを経過していないので、バッファ131からパケットSN3(H1)を破棄しない。データ破棄部118は、パケットSN4(H2)の送信が失敗したが、パケットSN4(H2)は、リアルタイム性を求められるデータでないので、バッファ131からパケットSN4(H2)を破棄しない。データ破棄部118は、パケットSN5(H1)の送信が失敗し、パケットSN5(H1)は、リアルタイム性を求められるデータであるが、時刻t5’ではパケットSN5(H1)を最初に送信した時刻t5から時間3Tを経過していないので、バッファ131からパケットSN5(H1)を破棄しない。
【0099】
時刻t6において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN3(H1)、SN4(H2)、SN5(H1)、SN6(H1)を基地局401に送信する。パケットSN3(H1)、SN4(H2)、SN5(H1)、SN6(H1)の送信は失敗する。
【0100】
時刻t6’において、データ破棄部118は、パケットSN3(H1)の送信が失敗し、パケットSN3(H1)は、リアルタイム性を求められるデータであり、時刻t6’ではパケットSN3(H1)を最初に送信した時刻t3から時間3Tを経過しているので、バッファ131からパケットSN3(H1)を破棄する。データ破棄部118は、パケットSN4(H2)の送信が失敗したが、パケットSN4(H2)は、リアルタイム性を求められるデータでないので、バッファ131からパケットSN4(H2)を破棄しない。データ破棄部118は、パケットSN5(H1)の送信が失敗し、パケットSN5(H1)は、リアルタイム性を求められるデータであるが、時刻t6’ではパケットSN5(H1)を最初に送信した時刻t5から時間3Tを経過していないので、バッファ131からパケットSN5(H1)を破棄しない。データ破棄部118は、パケットSN6(H1)の送信が失敗し、パケットSN6(H1)は、リアルタイム性を求められるデータであるが、時刻t6’ではパケットSN6(H1)を最初に送信した時刻t6から時間3Tを経過していないので、バッファ131からパケットSN6(H1)を破棄しない。
【0101】
時刻t7において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN4(H2)、SN5(H1)、SN6(H1)、SN7(H1)を基地局401に送信する。パケットSN4(H2)、SN5(H1)、SN6(H1)、SN7(H1)の送信は失敗する。
【0102】
時刻t7’において、データ破棄部118は、パケットSN4(H2)の送信が失敗したが、パケットSN4(H2)は、リアルタイム性を求められるデータでないので、バッファ131からパケットSN4(H2)を破棄しない。データ破棄部118は、パケットSN5(H1)の送信が失敗し、パケットSN5(H1)は、リアルタイム性を求められるデータであるが、時刻t7’ではパケットSN5(H1)を最初に送信した時刻t5から時間3Tを経過していないので、バッファ131からパケットSN5(H1)を破棄しない。データ破棄部118は、パケットSN6(H1)の送信が失敗し、パケットSN6(H1)は、リアルタイム性を求められるデータであるが、時刻t7’ではパケットSN6(H1)を最初に送信した時刻t6から時間3Tを経過していないので、バッファ131からパケットSN6(H1)を破棄しない。データ破棄部118は、パケットSN7(H1)の送信が失敗し、パケットSN7(H1)は、リアルタイム性を求められるデータであるが、時刻t7’ではパケットSN7(H1)を最初に送信した時刻t7から時間3Tを経過していないので、バッファ131からパケットSN7(H1)を破棄しない。
【0103】
時刻t8において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN4(H2)、SN5(H1)、SN6(H1)、SN7(H1)、SN8(H2)を基地局401に送信する。パケットSN4(H2)、SN5(H1)、SN6(H1)、SN7(H1)、SN8(H2)の送信は失敗する。
【0104】
時刻t8’において、データ破棄部118は、パケットSN4(H2)の送信が失敗したが、パケットSN4(H2)は、リアルタイム性を求められるデータでないので、バッファ131からパケットSN4(H2)を破棄しない。データ破棄部118は、パケットSN5(H1)の送信が失敗し、パケットSN5(H1)は、リアルタイム性を求められるデータであり、時刻t8’ではパケットSN5(H1)を最初に送信した時刻t5から時間3Tを経過しているので、バッファ131からパケットSN5(H1)を破棄する。データ破棄部118は、パケットSN6(H1)の送信が失敗し、パケットSN6(H1)は、リアルタイム性を求められるデータであるが、時刻t8’ではパケットSN6(H1)を最初に送信した時刻t6から時間3Tを経過していないので、バッファ131からパケットSN6(H1)を破棄しない。データ破棄部118は、パケットSN7(H1)の送信が失敗し、パケットSN7(H1)は、リアルタイム性を求められるデータであるが、時刻t8’ではパケットSN7(H1)を最初に送信した時刻t7から時間3Tを経過していないので、バッファ131からパケットSN7(H1)を破棄しない。データ破棄部118は、パケットSN8(H2)の送信が失敗したが、パケットSN8(H2)は、リアルタイム性を求められるデータでないので、バッファ131からパケットSN8(H2)を破棄しない。
【0105】
時刻t8’と時刻t9の間で、通信品質が回復する。
【0106】
時刻t9において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN4(H2)、SN6(H1)、SN7(H1)、SN8(H2)、SN9(H1)を基地局401に送信する。通信品質が回復したので、パケットSN4(H2)、SN6(H1)、SN7(H1)、SN8(H2)、SN9(H1)の送信は成功する。
【0107】
時刻t9’において、データ破棄部118は、SN4(H2)、SN6(H1)、SN7(H1)、SN8(H2)、SN9(H1)の送信が成功したので、バッファ131からパケットSN4(H2)、SN6(H1)、SN7(H1)、SN8(H2)、SN9(H1)を破棄する。
【0108】
時刻t10において、通信処理部115は、通信部121を介して、バッファ131に記憶されたパケットSN10(H1)を基地局401に送信する。パケットSN10(H1)の送信は成功する。
【0109】
時刻t10’において、データ破棄部118は、パケットSN10(H1)の送信が成功したので、バッファ131からパケットSN10(H1)を破棄する。
【0110】
第2の実施の形態に係る端末装置によれば、送信エラーとなった特定の種別のデータ(例えば、リアルタイム性を求められるデータ)について、古いデータを破棄することができる。これにより、相手側が古いデータを再生してしまうことを防止し、最新のデータを再生することができる。第2の実施の形態に係る端末装置は、例えば、ほぼ最新のデータが送信されることで、カメラによる撮影時と相手側の再生時での映像のズレが低減されるので、リアルタイム性を求められるライブ配信やストリーミング配信において好適である。
【0111】
第2の実施の形態に係る端末装置によれば、例えば、1フレームを構成するデータが複数のパケットに分割されて送信される場合に、複数のパケットのうちの最初に送信した1つのパケットで送信エラーが発生しても、当該1つのパケットをすぐに破棄せず、所定時間保持することで、通信品質の回復時に当該複数のパケットを送信することで、相手側で1フレーム全体をデコードできる。
【0112】
なお、本発明は、上述した実施の形態に限定されるものではなく変形可能であり、上記の構成は、実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。
【0113】
例えば、本発明は、5G等の移動無線通信に限られず、QoS Managementを活用するWi-Fi等の無線LANに適用してもよい。また、端末装置は、無線通信で通信する場合に限られず、有線接続により通信してもよい。
【0114】
また、上述の実施の形態では、端末装置101は、カメラ201およびPC301から受信した送信データを送信していたが、これに限らず、端末装置101は、自身が生成した送信データを基地局401に送信してもよい。具体的には、例えば、端末装置101は、カメラを有していてもよく、端末装置101は、自身が有するカメラで撮影した映像データを基地局401に送信してもよい。また、端末装置101は、文書作成、電子メール、または遠隔ロボットの操作などの各種処理を行い、各種処理で生成された各種データを基地局401に送信してもよい。
【符号の説明】
【0115】
10 システム
101 端末装置
111 処理部
112 データ取得部
113 第1データ種別判定部
114 パケット生成部
115 通信処理部
116 送信エラー判定部
117 第2データ種別判定部
119 経過時間判定部
118、120 データ破棄部
121 通信部
131 バッファ
141 記憶部
201 カメラ
301 PC
401 基地局