特開2023-172568遠隔操縦システム、及び遠隔操縦システムのための通信方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023172568
(43)【公開日】2023-12-06
(54)【発明の名称】遠隔操縦システム、及び遠隔操縦システムのための通信方法
(51)【国際特許分類】
H04L 1/00 20060101AFI20231129BHJP
H04N 21/2365 20110101ALI20231129BHJP
H04N 21/438 20110101ALI20231129BHJP
H04N 19/46 20140101ALI20231129BHJP
【ＦＩ】
H04L1/00 F
H04N21/2365
H04N21/438
H04N19/46
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022084474
(22)【出願日】2022-05-24
(71)【出願人】
【識別番号】000005522
【氏名又は名称】日立建機株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】玉木 諭
(72)【発明者】
【氏名】石井 裕丈
(72)【発明者】
【氏名】江口 裕介
(72)【発明者】
【氏名】石本 英史
(72)【発明者】
【氏名】伊東 英明
【テーマコード（参考）】
5C159
5C164
5K014
【Ｆターム（参考）】
5C159RC11
5C159RF05
5C159UA02
5C159UA05
5C164FA07
5C164GA03
5C164SA26S
5C164SB13P
5C164SB23S
5C164UB21P
5K014BA05
(57)【要約】
【課題】動画伝送の安定性と遅延時間の抑制とを両立し、これにより作業機械の遠隔操縦を的確に行うことを可能にする。
【解決手段】この遠隔操縦システムは、作業機械に搭載される第１遠隔操縦ユニットと、遠隔操縦装置に搭載される第２遠隔操縦ユニットとを備える。第１遠隔操縦ユニットは、作業機械に搭載される複数の撮像装置が取得した動画像データをそれぞれ符号化する複数の第１エンコーダと、複数の第１エンコーダが符号化した符号化データを統合した後、統合された符号化データに誤り訂正符号を付加して第１統合符号化データを出力する第２エンコーダとを備える。第２遠隔操縦ユニットは、誤り訂正符号に基づき第１統合符号化データを復号した後、複数の撮像装置のそれぞれの動画像データに分離する第１デコーダと、第１デコーダで分離された複数の撮像装置のそれぞれの動画像データを復号する複数の第２デコーダとを備える。
【選択図】図１
【解決手段】この遠隔操縦システムは、作業機械に搭載される第１遠隔操縦ユニットと、遠隔操縦装置に搭載される第２遠隔操縦ユニットとを備える。第１遠隔操縦ユニットは、作業機械に搭載される複数の撮像装置が取得した動画像データをそれぞれ符号化する複数の第１エンコーダと、複数の第１エンコーダが符号化した符号化データを統合した後、統合された符号化データに誤り訂正符号を付加して第１統合符号化データを出力する第２エンコーダとを備える。第２遠隔操縦ユニットは、誤り訂正符号に基づき第１統合符号化データを復号した後、複数の撮像装置のそれぞれの動画像データに分離する第１デコーダと、第１デコーダで分離された複数の撮像装置のそれぞれの動画像データを復号する複数の第２デコーダとを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
作業機械を、遠隔操縦装置により遠隔操縦する遠隔操縦システムにおいて、
前記作業機械に搭載される第１遠隔操縦ユニットと、
前記遠隔操縦装置に搭載される第２遠隔操縦ユニットと、
を備え、
前記第１遠隔操縦ユニットは、
前記作業機械に搭載される複数の撮像装置が取得した動画像データをそれぞれ符号化する複数の第１エンコーダと、
前記複数の第１エンコーダが符号化した符号化データを統合した後、当該統合された符号化データに誤り訂正符号を付加して第１統合符号化データを出力する第２エンコーダと
を備え、
前記第２遠隔操縦ユニットは、
前記誤り訂正符号に基づき第１統合符号化データを復号した後、前記複数の撮像装置のそれぞれの動画像データに分離する第１デコーダと、
前記第１デコーダで分離された前記複数の撮像装置のそれぞれの動画像データを復号する複数の第２デコーダと
を備えることを特徴とする遠隔操縦システム。
前記作業機械に搭載される第１遠隔操縦ユニットと、
前記遠隔操縦装置に搭載される第２遠隔操縦ユニットと、
を備え、
前記第１遠隔操縦ユニットは、
前記作業機械に搭載される複数の撮像装置が取得した動画像データをそれぞれ符号化する複数の第１エンコーダと、
前記複数の第１エンコーダが符号化した符号化データを統合した後、当該統合された符号化データに誤り訂正符号を付加して第１統合符号化データを出力する第２エンコーダと
を備え、
前記第２遠隔操縦ユニットは、
前記誤り訂正符号に基づき第１統合符号化データを復号した後、前記複数の撮像装置のそれぞれの動画像データに分離する第１デコーダと、
前記第１デコーダで分離された前記複数の撮像装置のそれぞれの動画像データを復号する複数の第２デコーダと
を備えることを特徴とする遠隔操縦システム。
【請求項2】
前記第１遠隔操縦ユニットは、前記作業機械に搭載されたセンサ又は駆動系が取得した情報をＣＡＮ（Controller Area Network）からＩＰ通信方式に変換するＣＡＮ／ＩＰ変換部を更に備え、
前記ＣＡＮ／ＩＰ変換部の出力データを、前記第１統合符号化データと並列して出力するよう構成される、請求項１に記載の遠隔操縦システム。
前記ＣＡＮ／ＩＰ変換部の出力データを、前記第１統合符号化データと並列して出力するよう構成される、請求項１に記載の遠隔操縦システム。
【請求項3】
前記第１遠隔操縦ユニットは、前記作業機械に搭載されたセンサ又は駆動系が取得した情報をＣＡＮ（Controller Area Network）からＩＰ通信方式に変換するＣＡＮ／ＩＰ変換部を更に備え、
前記第２エンコーダは、前記ＣＡＮ／ＩＰ変換部の出力データを、前記第１エンコーダが符号化した符号化データと共に統合して前記第１統合符号化データとして出力する、請求項１に記載の遠隔操縦システム。
前記第２エンコーダは、前記ＣＡＮ／ＩＰ変換部の出力データを、前記第１エンコーダが符号化した符号化データと共に統合して前記第１統合符号化データとして出力する、請求項１に記載の遠隔操縦システム。
【請求項4】
前記第２エンコーダは、前記複数の第１エンコーダが符号化した符号化データに従いＲＴＰ（Realtime Transport Protocol）パケットを生成し、前記ＲＴＰパケットのヘッダは、前記複数の撮像装置における処理手順を示すシーケンス番号と、前記複数の撮像装置のいずれかを特定する撮像装置特定情報とを少なくとも含む、請求項１に記載の遠隔操縦システム。
【請求項5】
前記第２エンコーダは、前記ＲＴＰパケットをマトリクス状に配列し、マトリクスの行方向及び列方向におけるグループ毎にＦＥＣ(Forward Error Correction)パケットを生成する、請求項４に記載の遠隔操縦システム。
【請求項6】
前記作業機械と前記遠隔操縦装置とを中継するゲートウェイ装置を更に備え、
前記第１エンコーダは、前記作業機械に搭載され、
前記第２エンコーダは、前記ゲートウェイ装置に搭載され、
前記ゲートウェイ装置は、前記作業機械に対し受信データの再送を要求する再送制御部を含む、請求項１に記載の遠隔操縦システム。
前記第１エンコーダは、前記作業機械に搭載され、
前記第２エンコーダは、前記ゲートウェイ装置に搭載され、
前記ゲートウェイ装置は、前記作業機械に対し受信データの再送を要求する再送制御部を含む、請求項１に記載の遠隔操縦システム。
【請求項7】
作業機械を、遠隔操縦装置により遠隔操縦する遠隔操縦システムにおける通信方法において、
前記作業機械において、前記作業機械に搭載された複数の撮像装置が取得した動画像データをそれぞれ符号化して符号化データを生成し、前記複数の撮像装置に係る前記符号化データを統合した後、当該統合された符号化データに誤り訂正符号を付加して第１統合符号化データを出力し、
前記遠隔操縦装置において、前記誤り訂正符号に基づき第１統合符号化データを復号した後、前記複数の撮像装置のそれぞれの動画像データに分離し、更に、分離された前記複数の撮像装置のそれぞれの動画像データを復号する
ことを特徴とする通信方法。
前記作業機械において、前記作業機械に搭載された複数の撮像装置が取得した動画像データをそれぞれ符号化して符号化データを生成し、前記複数の撮像装置に係る前記符号化データを統合した後、当該統合された符号化データに誤り訂正符号を付加して第１統合符号化データを出力し、
前記遠隔操縦装置において、前記誤り訂正符号に基づき第１統合符号化データを復号した後、前記複数の撮像装置のそれぞれの動画像データに分離し、更に、分離された前記複数の撮像装置のそれぞれの動画像データを復号する
ことを特徴とする通信方法。
【請求項8】
前記作業機械において、前記作業機械に搭載されたセンサ又は駆動系が取得した情報をＣＡＮ（Controller Area Network）からＩＰ通信方式に変換し、前記ＩＰ通信方式に従うデータを、前記第１統合符号化データと並列して出力する、請求項７に記載の通信方法。
【請求項9】
前記作業機械において、前記作業機械に搭載されたセンサ又は駆動系が取得した情報をＣＡＮ（Controller Area Network）からＩＰ通信方式に変換し、前記ＩＰ通信方式に変換されたデータを、前記複数の撮像装置が取得した動画像データをそれぞれ符号化してなる符号化データと共に統合し、その統合された符号化データに前記誤り訂正符号を付加して前記第１統合符号化データとして出力する、請求項７に記載の通信方法。
【請求項10】
前記作業機械において、前記複数の撮像装置が取得した動画像データを符号化した符号化データに従いＲＴＰパケットを生成し、前記ＲＴＰパケットのヘッダは、前記複数の撮像装置における処理手順を示すシーケンス番号と、前記複数の撮像装置のいずれかを特定する撮像装置特定情報とを少なくとも含む、請求項７に記載の通信方法。
【請求項11】
前記ＲＴＰパケットをマトリクス状に配列し、マトリクスの行方向及び列方向におけるグループ毎にＦＥＣパケットを生成する、請求項１０に記載の通信方法。
【請求項12】
複数の撮像装置を備える作業機械を、遠隔操縦装置により遠隔操縦する遠隔操縦システムにおいて、
前記作業機械に搭載される第１遠隔操縦ユニットと、
前記作業機械が載置される作業現場における無線通信を提供する第１ネットワークと、
前記遠隔操縦装置が位置する遠隔拠点に載置される装置の間の通信を提供する第２ネットワークと、
前記第１ネットワークを介して前記第１遠隔操縦ユニットと接続されるゲートウェイ装置と、
前記第１ネットワークと前記第２ネットワークとの間の通信を提供する拠点間ネットワークと、
前記遠隔操縦装置に搭載される第２遠隔操縦ユニットと、
を備え、
前記第１遠隔操縦ユニット及び前記第２遠隔操縦ユニットは、前記第１ネットワーク、前記ゲートウェイ装置、前記拠点間ネットワーク、及び前記第２ネットワークを介してデータを送受信可能とされ、
前記ゲートウェイ装置は、
前記作業機械から受信したデータにエラーがある場合において、前記第１遠隔操縦ユニットに対し前記データの再送を要求する再送制御部と、
前記第１遠隔操縦ユニットから受信したデータに誤り訂正符号を付加して符号化データを出力するエンコーダと
を備え、
前記第２遠隔操縦ユニットは、
前記誤り訂正符号に基づき前記符号化データを復号するデコーダを備える
ことを特徴とする遠隔操縦システム。
前記作業機械に搭載される第１遠隔操縦ユニットと、
前記作業機械が載置される作業現場における無線通信を提供する第１ネットワークと、
前記遠隔操縦装置が位置する遠隔拠点に載置される装置の間の通信を提供する第２ネットワークと、
前記第１ネットワークを介して前記第１遠隔操縦ユニットと接続されるゲートウェイ装置と、
前記第１ネットワークと前記第２ネットワークとの間の通信を提供する拠点間ネットワークと、
前記遠隔操縦装置に搭載される第２遠隔操縦ユニットと、
を備え、
前記第１遠隔操縦ユニット及び前記第２遠隔操縦ユニットは、前記第１ネットワーク、前記ゲートウェイ装置、前記拠点間ネットワーク、及び前記第２ネットワークを介してデータを送受信可能とされ、
前記ゲートウェイ装置は、
前記作業機械から受信したデータにエラーがある場合において、前記第１遠隔操縦ユニットに対し前記データの再送を要求する再送制御部と、
前記第１遠隔操縦ユニットから受信したデータに誤り訂正符号を付加して符号化データを出力するエンコーダと
を備え、
前記第２遠隔操縦ユニットは、
前記誤り訂正符号に基づき前記符号化データを復号するデコーダを備える
ことを特徴とする遠隔操縦システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、土木作業現場や鉱山などにおいて作業機械（油圧ショベル、ダンプカー等）を遠隔操縦するための遠隔操縦システム、及び遠隔操縦システムのための通信方法に関する。
【背景技術】
【0002】
近年、作業機械を遠隔で操縦するための遠隔操縦システムの開発が進んでいる。遠隔操縦の対象とされる作業機械は、通常複数のカメラを備えており、作業機械の複数の方向（前方、左右方向、後方等）の状況を撮像可能にされている。遠隔操縦システムにおいては、このような複数のカメラから得られた映像データを処理して、作業現場から数十ｋｍ～数百ｋｍ離れた遠隔地にある遠隔操縦システムに送信し、作業機械を的確に制御することが求められる。そのためには、複数のカメラで撮像された動画像を正確に且つ低遅延で伝送する必要がある。
【0003】
動画像データを正確に伝送するために、誤り訂正符号を用いた伝送方式が用いられる。しかし、誤り訂正符号の符号サイズを固定にすると、伝送速度の低下に反比例して遅延時間が増加するという問題がある。従来技術（例えば特許文献１）では、伝送速度が低い場合、パケット数が不足していても所定の閾値時間でパケットデータを切って符号化を進めることで遅延時間の増加を抑制している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００９－６０５１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、この上記した技術では、動画伝送の安定性と遅延時間の抑制を両立することが困難である。このため、動画伝送の安定性と遅延時間の抑制を両立することができる遠隔操縦システムが求められている。本開示は、動画伝送の安定性と遅延時間の抑制とを両立し、これにより作業機械の遠隔操縦を的確に行うことを可能にする遠隔操縦システム、及び通信方法を提供するものである。
【課題を解決するための手段】
【0006】
上記の課題の解決のため、本開示の第１の態様に係る遠隔操縦システムは、作業機械を、遠隔操縦装置により遠隔操縦する遠隔操縦システムであって、前記作業機械に搭載される第１遠隔操縦ユニットと、前記遠隔操縦装置に搭載される第２遠隔操縦ユニットと、を備える。前記第１遠隔操縦ユニットは、前記作業機械に搭載される複数の撮像装置が取得した動画像データをそれぞれ符号化する複数の第１エンコーダと、前記複数の第１エンコーダが符号化した符号化データを統合した後、当該統合された符号化データに誤り訂正符号を付加して第１統合符号化データを出力する第２エンコーダとを備える。前記第２遠隔操縦ユニットは、前記誤り訂正符号に基づき第１統合符号化データを復号した後、前記複数の撮像装置のそれぞれの動画像データに分離する第１デコーダと、前記第１デコーダで分離された前記複数の撮像装置のそれぞれの動画像データを復号する複数の第２デコーダとを備える。
【0007】
本開示の第２の態様に係る遠隔操縦システムは、複数の撮像装置を備える作業機械を、遠隔操縦装置により遠隔操縦する遠隔操縦システムであって、前記作業機械に搭載される第１遠隔操縦ユニットと、前記作業機械が載置される作業現場における無線通信を提供する第１ネットワークと、前記遠隔操縦装置が位置する遠隔拠点に載置される装置の間の通信を提供する第２ネットワークと、前記第１ネットワークを介して前記第１遠隔操縦ユニットと接続されるゲートウェイ装置と、前記第１ネットワークと前記第２ネットワークとの間の通信を提供する拠点間ネットワークと、前記遠隔操縦装置に搭載される第２遠隔操縦ユニットとを備える。前記第１遠隔操縦ユニット及び前記第２遠隔操縦ユニットは、前記第１ネットワーク、前記ゲートウェイ装置、前記拠点間ネットワーク、及び前記第２ネットワークを介してデータを送受信可能とされる。前記ゲートウェイ装置は、前記作業機械から受信したデータにエラーがある場合において、前記第１遠隔操縦ユニットに対し前記データの再送を要求する再送制御部と、前記第１遠隔操縦ユニットから受信したデータに誤り訂正符号を付加して符号化データを出力するエンコーダとを備える。前記第２遠隔操縦ユニットは、前記誤り訂正符号に基づき前記符号化データを復号するデコーダを備える。
【発明の効果】
【0008】
本開示によれば、動画伝送の安定性と遅延時間の抑制とを両立し、これにより作業機械の遠隔操縦を的確に行うことを可能にする遠隔操縦システム、及び通信方法を提供することができる。
【図面の簡単な説明】
【0009】
【図1】第１の実施の形態の遠隔操縦システムを説明する全体構成図である。
【図2】作業機械１００に搭載される遠隔操縦ユニット１０５の構成の一例を説明するブロック図である。
【図3】遠隔操縦装置１４０に搭載される遠隔操縦ユニット１４５の構成の一例を説明するブロック図である。
【図4】遠隔操縦ユニット１０５、１４５のハードウェア構成の一例を示すブロック図である。
【図5】ＦＥＣエンコーダ２３１で実行される前方誤り訂正の具体例を説明する概念図である。
【図6】ＦＥＣエンコーダ２３１で実行される前方誤り訂正の具体例を説明する概念図である。
【図7】ＲＴＰパケットのデータ構造の一例を示すデータ構造図である。
【図8】ＦＥＣパケットのデータ構造の一例を示すデータ構造図である。
【図9】第２の実施の形態の作業機械１００に搭載される遠隔操縦ユニット１０５の構成の一例を説明するブロック図である。
【図10】第２の実施の形態の遠隔操縦装置１４０に搭載される遠隔操縦ユニット１４５の構成の一例を説明するブロック図である。
【図11】第３の実施の形態の遠隔操縦システムを説明する全体構成図である。
【図12】第３の実施の形態の作業機械１００に搭載される遠隔操縦ユニット１０５の構成の一例を説明するブロック図である。
【図13】第３の実施の形態のゲートウェイ装置１１５の構成の一例を説明するブロック図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。
【0011】
本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
【0012】
［第１の実施の形態］
図１を参照して、第１の実施の形態の遠隔操縦システムの全体構成を説明する。この遠隔制御システムは、作業機械１００と、作業現場ネットワーク１１０と、無線通信機１１１と、拠点間ネットワーク１２０と、遠隔拠点ネットワーク１３０と、遠隔操縦装置１４０とから大略構成される。作業現場ネットワーク１１０は、作業機械１００が位置する作業現場における各種装置に無線区間を含む通信を提供するためのネットワークである。また、遠隔拠点ネットワーク１３０は、遠隔操縦装置１４０が位置する遠隔拠点において通信を提供するためのネットワークである。そして、拠点間ネットワーク１２０は、作業現場ネットワーク１１０と遠隔拠点ネットワーク１３０を接続するためのネットワークである。拠点間ネットワーク１２０は、互いに数ｋｍ～数百ｋｍ離れた作業現場と遠隔拠点を繋ぐネットワークであり、大容量であるが、その通信距離のためにデータ伝送の遅延が大きくなり得るネットワークである。
図１を参照して、第１の実施の形態の遠隔操縦システムの全体構成を説明する。この遠隔制御システムは、作業機械１００と、作業現場ネットワーク１１０と、無線通信機１１１と、拠点間ネットワーク１２０と、遠隔拠点ネットワーク１３０と、遠隔操縦装置１４０とから大略構成される。作業現場ネットワーク１１０は、作業機械１００が位置する作業現場における各種装置に無線区間を含む通信を提供するためのネットワークである。また、遠隔拠点ネットワーク１３０は、遠隔操縦装置１４０が位置する遠隔拠点において通信を提供するためのネットワークである。そして、拠点間ネットワーク１２０は、作業現場ネットワーク１１０と遠隔拠点ネットワーク１３０を接続するためのネットワークである。拠点間ネットワーク１２０は、互いに数ｋｍ～数百ｋｍ離れた作業現場と遠隔拠点を繋ぐネットワークであり、大容量であるが、その通信距離のためにデータ伝送の遅延が大きくなり得るネットワークである。
【0013】
作業機械１００は、作業現場（鉱山等）において掘削・積み込み・運搬、その他の作業を行うための機械であり、例えば、油圧ショベル、クレーン車、ダンプトラックなどである。作業機械１００は、一例として、無線通信機１０１と、遠隔操縦ユニット１０５（第１遠隔操縦ユニット）とを備えている。作業機械１００は、図１では１つのみが図示されているが、複数の作業機械１００が１つのシステム内（作業現場内）に存在してもよいことはいうまでもない。
【0014】
一方、遠隔操縦装置１４０は、各種ネットワーク１１０、１２０、１３０、及び無線通信機１０１、１１１を介して作業機械１００から動画像データを受信すると共に、その動画像データに基づいて遠隔拠点から離れた作業現場にある作業機械１００を制御可能に構成されている。遠隔操縦装置１４０は、遠隔操縦ユニット１４５（第２遠隔操縦ユニット）を備えている。
【0015】
次に、図２のブロック図を参照して、作業機械１００に搭載される遠隔操縦ユニット１０５の構成の一例を説明する。作業機械１００に搭載される遠隔操縦ユニット１０５は、画像処理部２００と、複数（図２では３個）のカメラ２１１（Ａ～Ｃ）と、センサ２１２と、駆動系２１３と、制御ネットワーク２２２とを備えて構成される。
【0016】
カメラ２１１（Ａ～Ｃ）は、作業機械１００の複数の箇所に設置され、作業機械１００の周囲（前方、左方向、右方向、後方など）の画像を動画像として撮像可能に構成されている。また、センサ２１２は、作業機械１００の周囲の物体を検知するための、あるいは作業機械１００の位置や状態を検知するためのセンサであり、例えば、光センサ、超音波センサ、レーダ等を含む。駆動系２１３は、作業機械１００に搭載される各種モータ、油圧ポンプ等を駆動するためのシステムである。センサ２１２及び駆動系２１３は、制御ネットワーク２２２を介して画像処理部２００に測定データ及び制御データを送受信可能にされている。
【0017】
画像処理部２００は、複数の動画エンコーダ２２１（第１エンコーダ）と、通信制御部２３０と、ＩＰネットワークインタフェース２４１とを備える。通信制御部２３０は更に、ＦＥＣエンコーダ２３１（第２エンコーダ）と、ＣＡＮ／ＩＰ変換部２３２を備える。複数の動画エンコーダ２２１（Ａ～Ｃ）は、複数のカメラ２１１に対応して設けられ、それぞれ、複数のカメラ２１１の各々が取得した動画像データを符号化し、ネットワークを介して動画像を伝送するための形式、例えばＲＴＰ（Realtime Transport Protocol）のパケットに変換するよう構成されている。なお、動画エンコーダ２２１、通信制御部２３０、及びＩＰネットワークインタフェース２４１は、ハードウェアとして実装されてもよいし、ソフトウェアとして実装されてもよい。
【0018】
通信制御部２３０内のＦＥＣエンコーダ２３１は、複数の動画エンコーダ２２１から得られた複数組の符号化データを統合する。そして、ＦＥＣエンコーダ２３１は、当該統合された符号化データを１つの誤り訂正の単位として、この統合された符号化データに対して単一（単一構造、又は共通）の誤り訂正符号として所謂前方誤り訂正（ＦＥＣ：Forward Error Correction）符号を用いた符号化を実行する。具体的には、複数の動画エンコーダ２２１で得られた複数組の符号化データを含むＲＴＰパケットを所定のグループに統合し、その統合されたグループ毎にＦＥＣパケットを生成する。ＦＥＣパケットは、対応するＲＴＰパケットと共にＩＰネットワークインタフェース２４１に向けて出力される。ＣＡＮ／ＩＰ変換部２３２は、制御ネットワーク２２２から受信されたセンサ２１２及び駆動系２１３のＣＡＮデータ形式の信号をＩＰ通信データに変換する。変換されたＩＰ通信データは、ＩＰネットワークインタフェース２４１に転送され、ＦＥＣエンコーダ２３１が出力したＦＥＣ符号化データと並列に（ＦＥＣ符号化データとは独立に）出力・送信される（ＩＰ通信データは、ＦＥＣエンコーダ２３１で前方誤り訂正の対象とはされない）。
【0019】
図３のブロック図を参照して、遠隔操縦装置１４０に搭載される遠隔操縦ユニット１４５の構成の一例を説明する。この遠隔操縦装置１４０に搭載される遠隔操縦ユニット１４５は、画像処理部２５０と、制御ネットワーク２７２と、表示機器２６１と、表示機器２６２と、操縦装置２６３とから大略構成され得る。
【0020】
画像処理部２５０は、図３に示すように、例えばＩＰネットワークインタフェース２９１、通信制御部２８０、及び動画デコーダ２７１（２７１Ａ～Ｃ）から構成され得る。ＩＰネットワークインタフェース２９１は、無線通信機１１１、作業現場ネットワーク１１０、拠点間ネットワーク１２０、遠隔拠点ネットワーク１３０を介して作業機械１００に搭載される遠隔操縦ユニット１０５からデータを受信し、通信制御部２８０に受信データを転送する。
【0021】
通信制御部２８０は、一例として、受信データに前方誤り訂正（ＦＥＣ）を適用して復号するＦＥＣデコーダ２８１（第１デコーダ）と、ＩＰ通信データをＣＡＮデータに変換するＣＡＮ／ＩＰ変換部２８２を備えている。ＦＥＣデコーダ２８１は、作業機械１００に搭載される遠隔操縦ユニット１０５から受信したデータ（ＲＴＰパケット、ＦＥＣパケット）に基づいて受信データを復号すると共に、後述するように、ＲＴＰパケット及びＦＥＣパケットのヘッダデータに基づいて、復号データを元の複数のカメラ２１１Ａ～Ｃ毎のデータに分離して出力する。動画デコーダ２７１Ａ～Ｃ（第２デコーダ）は、ＦＥＣデコーダ２８１で分離された復号データを表示機器２６１に入力可能な動画像データ形式に変換する。表示機器２６１は、例えば液晶ディスプレイ等であり、復元された動画像データを表示する。
【0022】
ＣＡＮ／ＩＰ変換部２８２は、作業機械１００に搭載される遠隔操縦ユニット１０５のＣＡＮ／ＩＰ変換部２３２から受信したＩＰ通信データを、再度ＣＡＮデータに変換する。変換後のＣＡＮデータ（センサ２１２の検知データ、駆動系２１３の制御データ）は、制御ネットワーク２７２を介して表示機器２６２、及び操縦装置２６３に送信される。
【0023】
図４は、遠隔操縦ユニット１０５、１４５のハードウェア構成の一例を示す。遠隔操縦ユニット１０５は、一例として、ＣＰＵ／ＤＳＰ３０１と、記憶部３０２と、論理回路３０３と、ＬＡＮインタフェース３０４と、通信バス３０５とから構成され得る。ＣＰＵ／ＤＳＰ３０１は、遠隔操縦ユニット１０５、１４５における各種演算やデータ処理を実行するための演算処理装置および信号処理装置である。記憶部３０２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ、ハードディスクドライブ等であり、遠隔操縦ユニット１０５、１４５での各種演算やデータ処理に必要なデータ及びコンピュータプログラムを格納するための記憶装置である。論理回路３０３は、コンピュータプログラムと共に各種演算やデータ処理を提供する。ＬＡＮインタフェース３０４は、外部とのデータ通信を提供する。通信バス３０５はＣＰＵ／ＤＳＰ３０１、記憶部３０２、論理回路３０３、ＬＡＮインタフェース３０４それぞれを接続し、それぞれの間のデータ通信を提供する。
【0024】
次に、図５及び図６を参照して、ＦＥＣエンコーダ２３１及びＦＥＣデコーダ２８１で用いられる前方誤り訂正の構成の具体例を説明する。図５は、Ｐｒｏ―ＭＰＥＧで規定されるＦＥＣパケットの生成の方法を示している。この方法では、複数のＲＴＰパケット（４１０）をマトリクス状（例えばＭ行、Ｎ列）に配列させた後、一行／一列毎にグループ化し、グループ化されたＲＴＰパケットの排他的論理和演算によってＦＥＣパケット（４２０）を生成する。生成されたＦＥＣパケットは、ＲＴＰパケットのマトリクスに追加されて符号化データとして送信される。この図５の方式では、ＲＴＰパケットを２次元配列して、行方向、列方向のそれぞれにおいてグループ化してＦＥＣパケットを生成するため、誤り訂正の精度を向上させることができる。なお、図５に示すＰｒｏ―ＭＰＥＧに従う前方誤り訂正は一例であって、これ以外の前方誤り訂正、例えばパケットを１次元的に生成し、複数パケットのグループ毎に前方誤り訂正を実行することも可能であることは言うまでもない。
【0025】
前方誤り訂正を実行する場合、グループに含まれるＲＴＰパケット及びＦＥＣパケットの全てが受信装置において受信されるまでは、誤りもしくは欠落したＲＴＰパケットの復号を実行することができない。このため、動画伝送レートが低速である場合、動画像の再生の遅延時間が増大する可能性がある。１次元的なＦＥＣパケットの生成であっても、グループに含まれるＰＴＰパケットの数の分だけ、バッファへの蓄積遅延が発生し、これに応じた動画像の遅延時間の増大が生じる。図５に示すような２次元的なＦＥＣパケットの生成（Ｐｒｏ－ＭＰＥＧの方式）の場合、更にマトリクス中の行数に応じた数だけ更に蓄積遅延が増大する可能性が生じる。この蓄積遅延は、動画像データの伝送レートが低下するに従い、更に深刻となる。
【0026】
そこで、第１の実施の形態に係る遠隔操縦システムは、複数のカメラ２１１Ａ～Ｃから得られた撮像データを動画エンコーダ２２１Ａ～Ｃで符号化した後に作成したＲＴＰパケットを、更にＦＥＣエンコーダ２３１において統合し、前方誤り訂正を適用する（ＦＥＣパケットを生成し、ＲＴＰパケットに付加する）。ＲＴＰパケットのＲＴＰヘッダには、図６に示すように複数のカメラ２１１Ａ～Ｃのいずれから得られたデータであるかを示すカメラ特定情報、及び動画像での処理手順を示すシーケンス番号が含められる（Ａ－１、Ｂ－１、・・・、Ｃ－４）。このような情報がＲＴＰパケットのヘッダに含まれることにより、遠隔操縦装置１４０のＦＥＣデコーダにおけるデータの分離が可能になる。
【0027】
図７は、ＲＴＰパケットのデータ構造の一例を示している。ＲＴＰパケットは、例えばヘッダ情報が格納されるＲＴＰヘッダ５１０と、実データ（カメラ２１１Ａ～Ｃの撮像データ等を含む）が格納されるＲＴＰペイロード部５２０とを含み得る。ＲＴＰヘッダ５１０は、例えばタイムスタンプ情報５１１と、シーケンス番号情報５１２と、同期ソース情報５１３とを格納し得る。タイムスタンプ情報５１１は、当該ＲＴＰパケットが生成された時間を示すタイムスタンプに関する情報である。また、シーケンス番号情報は、当該ＲＴＰパケットの元のカメラ２１１におけるデータ処理順序を示す番号に関する情報である。また、同期ソース情報５１３は、当該ＲＴＰパケットに係る実データがどのカメラから得られたデータであるかを示す情報である。
【0028】
図８は、ＦＥＣパケットのデータ構造の一例を示している。ＦＥＣパケットは、例えばヘッダ情報が格納されるＦＥＣヘッダ６１０と、実データ（マトリクスの一列又は一行のＲＴＰパケットの排他的論理和）が格納されるＦＥＣペイロード部６２０とを含む。ＦＥＣヘッダ６１０は、例えば、方向情報６１１、カメラ数情報６１２、カメラ特定情報６１３、６１５、６１７、及びＳＮマップ情報６１４、４１６、６１８を含み得る。
【0029】
方向情報６１１は、当該ＦＥＣパケットが、マトリクス状のＲＴＰパケットのいずれの方向（縦方向、横方向）に配列されたＲＴＰパケットに関するものであるのかを示す。また、カメラ数情報６１２は、ＦＥＣエンコーダ２３１において統合する動画像データの生成元となるカメラ２１１の数に関する情報である。また、カメラ特定情報６１３、６１５、６１７は、カメラ２１１を特定するための情報である。更に、ＳＮマップ情報６１４、４１６、６１８は、当該ＦＥＣパケットの生成の元となった一列又は一行のＲＴＰパケットに関する情報である。当該ＦＥＣパケットの生成の元となったＲＴＰパケットが行方向の一行のＲＴＰパケットである場合、ＳＮマップ情報６１４、６１６、６１８には、当該一行のＲＴＰパケットの先頭のシーケンス番号、及びパケット数が含まれる。当該ＦＥＣパケットの生成の元となったＲＴＰパケットが列方向の一列のＲＴＰパケットである場合、ＳＮマップ情報６１４、６１６、６１８には、当該一列のＲＴＰパケットの先頭のシーケンス番号、及びシーケンス番号増分のリストが含まれる。
【0030】
以上説明したように、第１の実施の形態の遠隔操縦システムによれば、作業機械１００の複数のカメラ２１１Ａ～Ｃで取得され動画エンコーダ２２１Ａ～Ｃで符号化された動画像データが、ＦＥＣエンコーダ２３１において統合され、前方誤り訂正を適用されて送信される。受信側の遠隔操縦装置１４０では、これを復号した後、ＲＴＰパケットのヘッダ情報に従って分離して再生する。複数のカメラの情報が統合された状態で前方誤り訂正が適用されて送信されるため、一部のカメラの動画データ速度が低い場合であっても符号サイズを変更することなく前方誤り訂正のためのＦＥＣデコーダ２８１におけるバッファ遅延一部の通信経路において伝送速度が低下したとしてもバッファ遅延が抑制され、動画の再生の遅延が抑制される。
【0031】
［第２の実施の形態］
図９～図１０を参照して、第２の実施の形態の遠隔操縦システムを説明する。システムの全体構成は第１の実施の形態（図１）と同様であるので、重複する説明は省略する。この第２の実施の形態は、作業機械１００に搭載される遠隔操縦ユニット１０５、遠隔操縦装置１４０に搭載される遠隔操縦ユニット１４５の構成が第１の実施の形態と異なっている。図９、図１０において、第１の実施の形態（図２、図３）と同一の構成要素については、図９において図２と同一の参照符号を付しているので、以下ではその重複する説明は省略し、異なる点を中心に説明する。
図９～図１０を参照して、第２の実施の形態の遠隔操縦システムを説明する。システムの全体構成は第１の実施の形態（図１）と同様であるので、重複する説明は省略する。この第２の実施の形態は、作業機械１００に搭載される遠隔操縦ユニット１０５、遠隔操縦装置１４０に搭載される遠隔操縦ユニット１４５の構成が第１の実施の形態と異なっている。図９、図１０において、第１の実施の形態（図２、図３）と同一の構成要素については、図９において図２と同一の参照符号を付しているので、以下ではその重複する説明は省略し、異なる点を中心に説明する。
【0032】
図９に示すように、第２の実施の形態のＦＥＣエンコーダ２３１は、複数のカメラ２１１Ａ～Ｃから得られた画像データを纏めて前方誤り訂正符号化の対象とするだけでなく、ＣＡＮ／ＩＰ変換部２３２から得られたＩＰ通信データをも併せて前方誤り訂正の対象としている。そして、図１０に示すように、ＦＥＣデコーダ２８１は、復号後のデータを動画デコーダ２７１Ａ～Ｃに出力するだけでなく、ＣＡＮ／ＩＰ変換部２８２にも出力する。換言すれば、第１の実施の形態では、ＣＡＮ／ＩＰ変換部２３２の出力データは、ＦＥＣエンコーダ２３１が出力する符号化データと並行して出力され、前方誤り訂正（ＦＥＣ）の対象とはされないのに対し、第２の実施の形態では、ＣＡＮ／ＩＰ変換部２３２の出力データが、カメラ２１１の動画像データと共にＦＥＣエンコーダ２３１において前方誤り訂正の対象とされ、纏めて出力されている。
【0033】
具体的には、第２の実施の形態のＦＥＣエンコーダ２３１は、センサ２１２や駆動系２１３からの出力信号に基づくＩＰ通信データを、カメラ２１１Ａ～Ｃの信号と同様にＲＴＰパケットに変換し、カメラ２１１Ａ～Ｃの信号由来のＲＴＰパケットと纏めて前方誤り訂正の対象とする。
【0034】
第２の実施の形態において、センサ２１２や駆動系２１３からの信号の全てをＦＥＣエンコーダ２３１に入力して前方誤り訂正の対象としてもよいし、センサ２１２や駆動系２１３からの信号の一部のみをＦＥＣエンコーダ２３１に入力し、残りについては、ＦＥＣエンコーダ２３１に入力せず、ＦＥＣエンコーダ２３１からの出力信号と並行して作業機械１００に搭載される遠隔操縦ユニット１０５から出力させてもよい。このとき、センサ２１２や駆動系２１３からの信号を含める割合は、カメラ２１１Ａ～Ｃからの動画像データの量に従って変更してもよい。閾値時間の経過後においてバッファのデータ量が不足している場合には、センサ２１２又は駆動系２１３からの信号に加えてダミーパディングデータを付加して前方誤り訂正をＦＥＣエンコーダ２３１において実行することもできる。
【0035】
以上説明したように、第２の実施の形態の遠隔操縦システムによれば、第１の実施の形態の遠隔操縦システムと同様の効果を得ることができる。加えて、この第２の実施の形態のシステムによれば、センサ２１２や駆動系２１３の出力信号も、カメラ２１１Ａ～Ｃの出力信号と併せて前方誤り訂正の対象とされるので、第１の実施の形態と比べて更にＦＥＣデコーダ２８１におけるバッファ蓄積の遅延を抑制することができる。
【0036】
［第３の実施の形態］
図１１～図１３を参照して、第３の実施の形態の遠隔操縦システムを説明する。図１１は、第３の実施の形態の遠隔操縦システムの全体構成を示している。前述の実施の形態との相違点は、作業現場ネットワーク１１０に接続されたゲートウェイ装置１１５が設けられている点である。このゲートウェイ装置１１５は、作業機械１００と遠隔操縦装置１４０との間のデータの送受信を中継する装置である。すなわち、ゲートウェイ装置１１５は、作業現場ネットワーク１１０及び無線通信機１１１を介して、作業機械１００との間の無線を含む通信を実行すると共に、作業機械１００から受信されたデータを、作業現場ネットワーク１１０、拠点間ネットワーク１２０、及び遠隔拠点ネットワーク１３０を介して遠隔操縦装置１４０に送信する。
図１１～図１３を参照して、第３の実施の形態の遠隔操縦システムを説明する。図１１は、第３の実施の形態の遠隔操縦システムの全体構成を示している。前述の実施の形態との相違点は、作業現場ネットワーク１１０に接続されたゲートウェイ装置１１５が設けられている点である。このゲートウェイ装置１１５は、作業機械１００と遠隔操縦装置１４０との間のデータの送受信を中継する装置である。すなわち、ゲートウェイ装置１１５は、作業現場ネットワーク１１０及び無線通信機１１１を介して、作業機械１００との間の無線を含む通信を実行すると共に、作業機械１００から受信されたデータを、作業現場ネットワーク１１０、拠点間ネットワーク１２０、及び遠隔拠点ネットワーク１３０を介して遠隔操縦装置１４０に送信する。
【0037】
ゲートウェイ装置１１５は、作業機械１００から動画エンコーダ２２１Ａ～Ｃを介して受信された符号化受信データに欠落やエラーがある場合には、作業機械１００に対し、当該受信データの再送を要求する再送制御を実行する。作業機械１００は、この再送要求を受けて、送信済のデータの再送動作を実行可能なよう構成されている。
【0038】
図１２は、第３の実施の形態における作業機械１００における遠隔操縦ユニット１０５の構成の一例を示している。この作業機械１００に搭載される遠隔操縦ユニット１０５は、再送制御部２３３を、ＦＥＣエンコーダ２３１に代えて有している。再送制御部２３３は、複数の動画エンコーダ２２１Ａ～Ｃからの符号化動画像データを例えばＲＴＰのような動画像伝送方式のパケットに変換し、適宜ＩＰネットワークインタフェース２４１を介してゲートウェイ装置１１５に向けて送信すると共に、再送要求をゲートウェイ装置１１５から受けた場合、送信済の符号化動画像データの再送を実行する。その他の構成は、第１の実施の形態と同一である。なお、遠隔操縦装置１４０に搭載される遠隔操縦ユニット１４５の構成は第１の実施の形態（図３）と同一であってよい。
【0039】
図１３は、第３の実施の形態におけるゲートウェイ装置１１５の構成の一例を示している。このゲートウェイ装置１１５は、作業機械１００における遠隔操縦ユニット１０５との通信インタフェースであるＩＰネットワークインタフェース２５１と、通信制御部２９０と、遠隔操縦装置１４０に搭載される遠隔操縦ユニット１４５との通信インタフェースであるＩＰネットワークインタフェース２５４とを備えている。通信制御部２９０は更に、再送制御部２５２と、ＦＥＣエンコーダ２５３をと備える。
【0040】
再送制御部２５２は、作業機械１００における遠隔操縦ユニット１０５から受信された符号化受信データに欠落やエラーがあるか否かを判定し、欠落やエラーがある場合には、ＩＰネットワークインタフェース２５１を介して、作業機械１００における遠隔操縦ユニット１０５の再送制御部２３３に再送要求を送信する。欠落やエラーが無い場合には、再送制御部２５２は、その受信データをＦＥＣエンコーダ２５３に転送する。ＦＥＣエンコーダ２５３の機能は、第１の実施の形態のＦＥＣエンコーダ２３１と同一である。
【0041】
以上説明したように、第３の実施の形態に係る遠隔操縦システムは、作業機械１００とゲートウェイ装置１１５との間においては、受信データの欠落やエラーがあった場合には再送制御を実行し、ゲートウェイ装置１１５と遠隔操縦装置１４０との間においては、前述の実施の形態と同様に前方誤り訂正（ＦＥＣ）を適用した動画像データの送信がなされる。
【0042】
作業現場ネットワーク１１０及び無線通信機１１１による無線接続がなされる作業機械１００とゲートウェイ装置１１５との間では、通信距離も短いため、低容量ではあるが低遅延のデータ通信が行われる。
【0043】
一方、ゲートウェイ装置１１５と遠隔操縦装置１４０との間の通信は、拠点間ネットワーク１２０（有線接続）が介在するため、大容量ではあっても通信距離のために遅延量が大きい。第３の実施の形態では、データ遅延の小さい短距離の無線接続により接続される作業機械１００とゲートウェイ装置１１５との間のデータ通信においては再送制御を採用する一方、データ遅延の大きいゲートウェイ装置１１５と遠隔操縦装置１４０との間（有線接続）では前方誤り訂正によるデータ通信を採用している。ゲートウェイ装置１１５のＦＥＣエンコーダ２５３において複数のカメラ２１１Ａ～Ｃからの動画像データを纏めた前方誤り訂正の符号化が行われ、遠隔操縦装置１４０のＦＥＣデコーダ２８１において前方誤り訂正の復号動作が行われ、この点は第１の実施の形態の動作と同一である。換言すれば、第３の実施の形態では、第１の実施の形態の動作に加え、ゲートウェイ装置１１５における再送制御動作が追加されている。
【0044】
以上説明したように、第３の実施の形態によれば、第１の実施の形態と同様の効果を得ることができ、更に、再送制御が低遅延の無線接続区間においてゲートウェイ装置１１５により行われることにより、より低遅延の動画像データの伝送を実行することが可能になる。
【0045】
なお、本発明は前述した実施の形態に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を有するものに本発明は限定されない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えてもよい。また、ある実施の形態の構成に他の実施の形態の構成を加えてもよい。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をしてもよい。
【0046】
また、それらの一部又は全部を、例えば集積回路等のハードウェアで実現してもよい。また、前述した各構成、機能、処理部、処理手段等は、プロセッサがそれぞれの機能を実現するコンピュータプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。また構成上同一の機能が複数存在する場合、各機能を実現するハードウェア或いはソフトウェアは別個に実装されていても良いし、実装された一つのハードウェア或いはソフトウェアを時間多重で使用して複数の処理を行っても良い。また構成上単一の機能であっても、同一の機能を持つ複数のハードウェア或いはソフトウェアを用いて分散処理を行っても良い。
【0047】
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
【0048】
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
【符号の説明】
【0049】
１００…作業機械、 １０１…無線通信機、 １０５…遠隔操縦ユニット、 １１０…作業現場ネットワーク、 １１１…無線通信機、 １１５…ゲートウェイ装置、 １２０…拠点間ネットワーク、 １３０…遠隔拠点ネットワーク、 １４０…遠隔操縦装置、 １４５…遠隔操縦ユニット、 ２００…画像処理部、 ２１１Ａ～Ｃ…カメラ、 ２１２…センサ、 ２１３…駆動系、 ２２１Ａ～Ｃ…動画エンコーダ、 ２２２…制御ネットワーク、 ２３０…通信制御部、 ２３１…ＦＥＣエンコーダ、 ２３２…ＣＡＮ／ＩＰ変換部、 ２３３…再送制御部、 ２４１…ＩＰネットワークインタフェース、２５０…画像処理部、 ２５１…ＩＰネットワークインタフェース、 ２５２…再送制御部、 ２５３…ＦＥＣエンコーダ、 ２５４…ＩＰネットワークインタフェース、 ２６１Ａ～Ｃ、２６２…表示機器、 ２６３…操縦装置、 ２７１Ａ～Ｃ…動画デコーダ、 ２７２…制御ネットワーク、 ２８０…通信制御部、 ２８１…ＦＥＣデコーダ、 ２８２…ＣＡＮ／ＩＰ変換部、 ２９１…ＩＰネットワークインタフェース、 ３０１…ＣＰＵ／ＤＳＰ、 ３０２…記憶部、 ３０３…論理回路、 ３０４…ＬＡＮインタフェース、 ３０５…通信バス。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】