知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-31
(45)【発行日】2025-04-08
(54)【発明の名称】映像送信システム、映像送信装置、および映像送信方法
(51)【国際特許分類】
H04N 21/234 20110101AFI20250401BHJP
H04N 21/238 20110101ALI20250401BHJP
H04N 7/18 20060101ALI20250401BHJP
H04N 23/60 20230101ALI20250401BHJP
E02F 9/26 20060101ALI20250401BHJP
E02F 9/20 20060101ALI20250401BHJP
【ＦＩ】
H04N21/234
H04N21/238
H04N7/18
H04N7/18 J
H04N7/18 U
H04N23/60
H04N23/60 300
E02F9/26 B
E02F9/20 N
【請求項の数】
10
(21)【出願番号】P 2023567399
(86)(22)【出願日】2021-12-15
(86)【国際出願番号】 JP2021046315
(87)【国際公開番号】W WO2023112217
(87)【国際公開日】2023-06-22
【審査請求日】2024-06-11
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】松井 一生
(72)【発明者】
【氏名】岩折 崇志
(72)【発明者】
【氏名】笠原 惇希
【審査官】大西 宏
(56)【参考文献】
【文献】特開２００６－１５０５５０（ＪＰ，Ａ）
【文献】特開２０１２－０２８９４９（ＪＰ，Ａ）
【文献】特開２０２０－０２２０６５（ＪＰ，Ａ）
【文献】特開２０２０－１６１９３３（ＪＰ，Ａ）
【文献】特開２０２０－２００６６０（ＪＰ，Ａ）
【文献】国際公開第２０２０／０６５８３８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００ －２１／８５８
Ｈ０４Ｎ ２３／４０ －２３／７６
Ｈ０４Ｎ ７／１８
Ｅ０２Ｆ ９／２０ － ９／２２
Ｅ０２Ｆ ９／２４ － ９／２８
(57)【特許請求の範囲】
【請求項1】
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得手段と、前記作業機械による作業対象物を対象とする作業の状態を特定する状態特定手段と、
前記状態特定手段による特定結果に応じて、前記映像において対象領域を特定する領域特定手段と、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する送信手段と、を含み、
前記取得手段、前記領域特定手段、及び前記送信手段は、映像送信装置に含まれ、
前記状態特定手段は、遠隔制御装置に含まれ、
前記送信手段は、前記遠隔制御装置に対して前記調整後映像を送信し、
前記状態特定手段は、受信した前記調整後映像に基づいて特定した前記作業の状態を、前記映像送信装置に送信し、
前記領域特定手段は、受信した前記作業の状態に基づいて、前記取得手段によって取得された新たな前記映像における新たな前記対象領域を特定する、
映像送信システム。
【請求項2】
前記状態特定手段が特定する前記作業の状態には、前記作業機械が備える作業部位の状態が含まれる
請求項１に記載の映像送信システム。
【請求項3】
前記状態特定手段は、前記映像の解析結果を少なくとも参照して、前記作業の状態を特定する
請求項１または２に記載の映像送信システム。
【請求項4】
前記状態特定手段は、前記作業機械による作業フェーズを示す情報を少なくとも参照して、前記作業の状態を特定する
請求項１から３の何れか１項に記載の映像送信システム。
【請求項5】
前記作業機械の動作を予測する予測手段を更に備え、前記領域特定手段は、前記予測手段による予測結果を更に参照して、前記対象領域を特定する
請求項１から４の何れか１項に記載の映像送信システム。
【請求項6】
前記状態特定手段が特定する前記作業の状態には、前記作業機械の周辺に位置する他の作業機械の状態が含まれる
請求項１から５の何れか１項に記載の映像送信システム。
【請求項7】
前記取得手段は、前記送信手段が用いる伝送経路における通信状況を示す通信状況情報を更に取得し、前記送信手段は、前記通信状況情報を参照して、前記対象領域と前記対象領域の外部との相対的な画質を特定する
請求項１から６の何れか１項に記載の映像送信システム。
【請求項8】
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得手段と、前記作業機械による作業対象物を対象とする作業の状態の特定結果に応じて、前記映像において対象領域を特定する領域特定手段と、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を、遠隔制御装置に対して送信する送信手段と、
を含み、
前記領域特定手段は、前記遠隔制御装置において前記調整後映像に基づいて特定された前記作業の状態を当該遠隔制御装置から受信し、受信した作業の状態に基づいて、前記取得手段によって取得された新たな前記映像における新たな前記対象領域を特定する、
映像送信装置。
【請求項9】
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得することと、前記作業機械による作業対象物を対象とする作業の状態を特定することと、
前記作業の状態の特定結果に応じて、前記映像において対象領域を特定することと、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信することと、
を含み、
前記取得すること、前記対象領域を特定すること、及び前記送信することは、映像送信装置によって行われ、
前記作業の状態を特定することは、遠隔制御装置によって行われ、
前記送信することにおいて、前記映像送信装置は、前記遠隔制御装置に対して前記調整後映像を送信し、
前記作業の状態を特定することにおいて、前記遠隔制御装置は、受信した前記調整後映像に基づいて特定した前記作業の状態を、前記映像送信装置に送信し、
前記対象領域を特定することにおいて、前記映像送信装置は、受信した前記作業の状態に基づいて、前記取得することによって取得された新たな前記映像における新たな前記対象領域を特定する、
映像送信方法。
【請求項10】
コンピュータを映像送信装置として機能させるためのプログラムであって、前記コンピュータを、作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得手段と、
前記作業機械による作業対象物を対象とする作業の状態の特定結果に応じて、前記映像において対象領域を特定する領域特定手段と、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を、遠隔制御装置に対して送信する送信手段と、
として機能させ、
前記領域特定手段は、前記遠隔制御装置において前記調整後映像に基づいて特定された前記作業の状態を当該遠隔制御装置から受信し、受信した作業の状態に基づいて、前記取得手段によって取得された新たな前記映像における新たな前記対象領域を特定する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像を送信する技術に関する。
【背景技術】
【0002】
特許文献１には、建設機械の作業映像を遠隔地の表示装置に表示する遠隔操作装置が記載されている。当該遠隔操作装置は、遠隔地で操作を行うオペレータの視線位置を取得し、作業映像において視線位置に関連する部分を拡大した拡大映像を生成して表示装置に表示する。
【0003】
また、特許文献２には、建設機械の周辺領域全体を第１のカメラで撮影するとともに、周辺領域のうち中央の特定領域を第２のカメラで撮影する遠隔操作通信システムが記載されている。当該遠隔操作通信システムは、第１のカメラで撮影した画像データを高圧縮率で圧縮するとともに第２のカメラで撮影した画像データを低圧縮率で圧縮して、オペレータがいる遠隔地に送信する。遠隔地では、これらの画像データを伸長して表示することにより、特定領域を周辺領域に比べて高画質で表示する。
【先行技術文献】
【特許文献】
【0004】
【文献】日本国特開２０２０－０７７１７３号公報
【文献】日本国特開平１０－１１２８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載された遠隔操作装置では、通信品質が変動する環境下では、作業映像の乱れおよび途切れ等が発生する可能性がある。また、特許文献２に記載された遠隔操作システムでは、遠隔制御にあたって注目したい領域が特定領域に含まれない可能性があり、その場合、遠隔制御時の操作性が低下する。
【0006】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、作業機械を遠隔操作する際の操作性を保ちながら、通信品質が変動する環境下でも作業機械周辺の映像を安定して送信する技術を提供することである。
【課題を解決するための手段】
【0007】
本発明の一側面に係る映像送信システムは、作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得手段と、前記作業機械による作業対象物を対象とする作業の状態を特定する状態特定手段と、前記状態特定手段による特定結果に応じて、前記映像において対象領域を特定する領域特定手段と、前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する送信手段と、を含む。
【0008】
本発明の一側面に係る映像送信装置は、作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得手段と、前記作業機械による作業対象物を対象とする作業の状態を特定する状態特定手段と、前記状態特定手段による特定結果に応じて、前記映像において対象領域を特定する領域特定手段と、前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する送信手段と、を含む。
【0009】
本発明の一側面に係る映像送信方法は、作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得することと、前記作業機械による作業対象物を対象とする作業の状態を特定することと、前記作業の状態の特定結果に応じて、前記映像において対象領域を特定することと、前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信することと、を含む。
【発明の効果】
【0010】
本発明の一態様によれば、作業機械を遠隔操作する際の操作性を保ちながら、通信品質が変動する環境下にあっても作業機械周辺の映像を安定して送信することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の例示的実施形態１に係る映像送信システムの構成を示すブロック図である。
【図2】本発明の例示的実施形態１に係る映像送信方法の流れを示すフロー図である。
【図3】本発明の例示的実施形態１に係る映像送信システムの他の態様を示すブロック図である。
【図4】本発明の例示的実施形態１に係る映像送信システムのさらに他の態様を示すブロック図である。
【図5】本発明の例示的実施形態１に係る映像送信システムのさらに他の態様を示すブロック図である。
【図6】本発明の例示的実施形態２に係る映像送信システムの構成を示すブロック図である。
【図8】本発明の例示的実施形態２に係る映像送信方法の流れを示すフロー図である。
【図9】掘削に関連する注目領域の一例を説明する図である。
【図10】掘削に関連する対象領域の一例を説明する図である。
【図11】旋回に関連する注目領域の一例を説明する図である。
【図12】旋回に関連する対象領域の一例を説明するである。
【図13】走行に関連する注目領域の一例を説明する図である。
【図14】走行に関連する対象領域の一例を説明する図である。
【図15】遠隔制御装置が表示する映像の一例を説明する図である。
【図16】本発明の例示的実施形態３に係る映像送信システムの構成を示すブロック図である。
【図17】本発明の例示的実施形態３に係る映像送信方法の流れを示すフロー図である。
【図18】本発明の各例示的実施形態４に係る映像送信システムの構成を示すブロック図である。
【図19】本発明の例示的実施形態４に係る映像送信方法の流れを示すフロー図である。
【図20】本発明の各例示的実施形態に係る映像送信システムに含まれる装置の物理的な構成例を示すブロック図である。
【発明を実施するための形態】
【0012】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0013】
【0014】
図１に示すように、映像送信システム１は、取得部１１と、状態特定部１２と、領域特定部１３と、送信部１４とを含む。取得部１１は、請求の範囲に記載した取得手段を実現する構成の一例である。状態特定部１２は、請求の範囲に記載した状態特定手段を実現する構成の一例である。領域特定部１３は、請求の範囲に記載した領域特定手段を実現する構成の一例である。送信部１４は、請求の範囲に記載した送信手段を実現する構成の一例である。
【0015】
取得部１１は、作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する。状態特定部１２は、作業機械による作業対象物を対象とする作業の状態を特定する。領域特定部１３は、状態特定部１２による特定結果に応じて、当該映像において対象領域を特定する。送信部１４は、当該映像における対象領域と対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する。作業の状態、対象領域、および調整後映像については、後述する「映像送信方法Ｓ１の流れ」において詳細を説明する。
【0016】
＜映像送信方法Ｓ１の流れ＞
以上のように構成された映像送信システム１が実行する映像送信方法Ｓ１の流れについて、図２を参照して説明する。図２は、映像送信方法Ｓ１の流れを説明するフロー図である。図２に示すように、映像送信方法Ｓ１は、ステップＳ１１～Ｓ１４を含む。
以上のように構成された映像送信システム１が実行する映像送信方法Ｓ１の流れについて、図２を参照して説明する。図２は、映像送信方法Ｓ１の流れを説明するフロー図である。図２に示すように、映像送信方法Ｓ１は、ステップＳ１１～Ｓ１４を含む。
【0017】
（ステップＳ１１）
ステップＳ１１において、取得部１１は、作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する。具体的には、取得部１１は、撮像装置が撮影した当該映像を、撮像装置から取得する。撮像装置は、作業機械に取り付けられていてもよいし、作業機械の周辺に設置されていてもよい。ここで、作業エリアとは、作業機械が作業をするためのエリアである。作業エリアは、例えば、作業機械が稼働し得るエリア、作業機械が移動し得るエリア、作業対象物が存在し得るエリア、または、これらの一部または全部を組み合わせたエリアであってもよい。また、作業機械の周辺とは、作業エリアが俯瞰できる位置であれば、その場所は問わない。例えば、作業機械の周辺とは、屋内であれば作業エリアの天井、柱、または、作業エリアの梁でもよい。また、作業機械の周辺とは、屋外であれば作業エリアに立てられた支柱または建物の軒、壁であってもよい。ただし、作業機械の周辺は、これらに限られない。
ステップＳ１１において、取得部１１は、作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する。具体的には、取得部１１は、撮像装置が撮影した当該映像を、撮像装置から取得する。撮像装置は、作業機械に取り付けられていてもよいし、作業機械の周辺に設置されていてもよい。ここで、作業エリアとは、作業機械が作業をするためのエリアである。作業エリアは、例えば、作業機械が稼働し得るエリア、作業機械が移動し得るエリア、作業対象物が存在し得るエリア、または、これらの一部または全部を組み合わせたエリアであってもよい。また、作業機械の周辺とは、作業エリアが俯瞰できる位置であれば、その場所は問わない。例えば、作業機械の周辺とは、屋内であれば作業エリアの天井、柱、または、作業エリアの梁でもよい。また、作業機械の周辺とは、屋外であれば作業エリアに立てられた支柱または建物の軒、壁であってもよい。ただし、作業機械の周辺は、これらに限られない。
【0018】
（ステップＳ１２）
ステップＳ１２において、状態特定部１２は、作業機械による作業対象物を対象とする作業の状態を特定する。ここで、作業の状態には、一例として、作業の種類が含まれる。また、作業の状態には、一例として、作業機械に含まれる作業部位の状態が含まれる。この場合、作業部位の状態には、一例として、作業部位の位置、動き、および作業部位における作業対象物の有無の少なくとも何れかが含まれる。ここで、作業部位の動きとは、例えば、目標点列（具体例として、作業部位が動作する際に経由する点の集合または動作軌跡）、加速度、または速度変化の方向であるが、これらに限られない。また、作業の状態には、一例として、作業機械の周辺に位置する他の作業機械の状態が含まれる。また、作業の状態には、一例として、作業対象物の状態、作業機械と他の作業機械との位置関係、作業機械の周辺環境等が挙げられる。周辺環境の具体例としては、映像において地面が映り込む領域の広さが挙げられる。このような領域の広さを参照することにより、作業機械がバックホウである場合に当該作業機械の作業の状態が掘削中であるか否かを判断可能である。ただし、作業の状態は、これらに限らない。
ステップＳ１２において、状態特定部１２は、作業機械による作業対象物を対象とする作業の状態を特定する。ここで、作業の状態には、一例として、作業の種類が含まれる。また、作業の状態には、一例として、作業機械に含まれる作業部位の状態が含まれる。この場合、作業部位の状態には、一例として、作業部位の位置、動き、および作業部位における作業対象物の有無の少なくとも何れかが含まれる。ここで、作業部位の動きとは、例えば、目標点列（具体例として、作業部位が動作する際に経由する点の集合または動作軌跡）、加速度、または速度変化の方向であるが、これらに限られない。また、作業の状態には、一例として、作業機械の周辺に位置する他の作業機械の状態が含まれる。また、作業の状態には、一例として、作業対象物の状態、作業機械と他の作業機械との位置関係、作業機械の周辺環境等が挙げられる。周辺環境の具体例としては、映像において地面が映り込む領域の広さが挙げられる。このような領域の広さを参照することにより、作業機械がバックホウである場合に当該作業機械の作業の状態が掘削中であるか否かを判断可能である。ただし、作業の状態は、これらに限らない。
【0019】
具体的には、例えば、状態特定部１２は、ステップＳ１１で取得された映像の解析結果を少なくとも参照して、作業の状態を特定してもよい。また、例えば、状態特定部１２は、作業機械による作業フェーズを示す情報を少なくとも参照して、作業の状態を特定してもよい。ここで、作業フェーズを示す情報とは、例えば、オペレータの操作に基づく作業機械への制御情報（一例として、操縦コマンド）を含む。
【0020】
（ステップＳ１３）
ステップＳ１３において、領域特定部１３は、状態特定部１２による特定結果に応じて、当該映像において対象領域を特定する。ここで、対象領域とは、映像の部分領域である。また、対象領域とは、映像における当該部分領域以外の領域との間で画質を相対的に調整する対象となる領域である。例えば、領域特定部１３は、特定結果に含まれる作業の状態が第１の状態であれば、映像における第１の作業部位を含む領域を対象領域とする。また、領域特定部１３は、特定結果に含まれる作業の状態が第２の状態であれば、映像における第２の作業部位を含む領域を対象領域とする。ここで、第１の状態および第２の状態は、少なくとも一部が異なる状態であり、第１の作業部位および第２の作業部位は、少なくとも一部が異なる部位である。例えば、作業機械がバックホウである場合、第１の状態「掘削中」に対して第１の作業部位「バケット」を含む領域を対象領域とする。また、例えば、第２の状態「旋回中」に対して第２の作業部位「ブーム、アーム、およびバケット」を含む領域を対象領域とする。
ステップＳ１３において、領域特定部１３は、状態特定部１２による特定結果に応じて、当該映像において対象領域を特定する。ここで、対象領域とは、映像の部分領域である。また、対象領域とは、映像における当該部分領域以外の領域との間で画質を相対的に調整する対象となる領域である。例えば、領域特定部１３は、特定結果に含まれる作業の状態が第１の状態であれば、映像における第１の作業部位を含む領域を対象領域とする。また、領域特定部１３は、特定結果に含まれる作業の状態が第２の状態であれば、映像における第２の作業部位を含む領域を対象領域とする。ここで、第１の状態および第２の状態は、少なくとも一部が異なる状態であり、第１の作業部位および第２の作業部位は、少なくとも一部が異なる部位である。例えば、作業機械がバックホウである場合、第１の状態「掘削中」に対して第１の作業部位「バケット」を含む領域を対象領域とする。また、例えば、第２の状態「旋回中」に対して第２の作業部位「ブーム、アーム、およびバケット」を含む領域を対象領域とする。
【0021】
ここで、作業機械による作業の状態の変化によって遠隔操作時に注目したい領域は変化する。例えば、作業機械が右回りに旋回する場合には、旋回する先である右側の領域を注目したいと考えるのに対し、作業機械が左回りに旋回する場合には、左側の領域を注目したいと考える。例えば、特許文献２に記載された遠隔操作システムは、このような注目したい領域の変化に対応できない。これに対して、本例示的実施形態は、当ステップにおいて作業の状態に応じて対象領域を特定するので、このような注目したい領域の変化に対応することができる。
【0022】
（ステップＳ１４）
ステップＳ１４において、送信部１４は、ステップＳ１１で取得した映像における対象領域と対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する。例えば、調整後映像は、対象領域の外部の画質が対象領域に比べて低くなるように、ステップＳ１１で取得した映像が符号化された画像である。画質とは、例えば、ビットレート、画素数、またはこれらの組み合わせであってもよいが、これらに限られない。なお、調整後映像を生成する処理は、映像送信システム１に含まれる装置が行ってもよいし、映像送信システム１に含まれない外部の装置が行ってもよい。
ステップＳ１４において、送信部１４は、ステップＳ１１で取得した映像における対象領域と対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する。例えば、調整後映像は、対象領域の外部の画質が対象領域に比べて低くなるように、ステップＳ１１で取得した映像が符号化された画像である。画質とは、例えば、ビットレート、画素数、またはこれらの組み合わせであってもよいが、これらに限られない。なお、調整後映像を生成する処理は、映像送信システム１に含まれる装置が行ってもよいし、映像送信システム１に含まれない外部の装置が行ってもよい。
【0023】
なお、本例示的実施形態に含まれる各機能ブロックは、１つの装置に集約されることに限定されず、複数の装置に分散して配置されてもよい。また、各例示的実施形態に含まれる各機能ブロックは、クラウドに配置されてもよい。これらの各機能ブロックがどのような装置またはクラウドに配置される場合であっても、これらの機能ブロック間で必要に応じて情報を送受信することにより、各機能ブロックの上述した機能が実現できればよい。
【0024】
＜本例示的実施形態の効果＞
本例示的実施形態においては、（ｉ）作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得し、（ｉｉ）作業機械による作業対象物を対象とする作業の状態を特定し、（ｉｉｉ）特定結果に応じて、取得した映像において対象領域を特定し、（ｉｖ）当該映像における対象領域と対象領域との相対的な画質を調整することによって得られた調整後映像を送信する、との構成が採用されている。
本例示的実施形態においては、（ｉ）作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得し、（ｉｉ）作業機械による作業対象物を対象とする作業の状態を特定し、（ｉｉｉ）特定結果に応じて、取得した映像において対象領域を特定し、（ｉｖ）当該映像における対象領域と対象領域との相対的な画質を調整することによって得られた調整後映像を送信する、との構成が採用されている。
【0025】
上記構成によれば、調整後映像を送信することにより、取得した映像を送信する場合と比べて、通信量を軽減することができる。このため、送信先との間の通信品質が低下しても、調整後映像を安定して送信することができる。また、そのような対象領域を、作業の状態に応じて変化させることができる。その結果、送信先において、作業の状態に応じた対象領域を、調整された画質で視認しながら作業機械を遠隔操作することができる。したがって、作業機械を遠隔操作する際の操作性を保ちながら、通信品質が変動する環境下にあっても作業機械周辺の映像を安定して送信することができる。
【0026】
＜本例示的実施形態の他の態様１＞
本例示的実施形態の他の態様１に係る映像送信システム１Ａついて、図３を参照して説明する。図３は、他の態様１に係る映像送信システム１Ａの構成を示すブロック図である。図３に示すように、映像送信システム１Ａは、映像送信装置１０Ａおよび遠隔制御装置２０Ａを含む。映像送信装置１０Ａおよび遠隔制御装置２０Ａは、ネットワークＮＷ１を介して通信可能に接続される。ネットワークＮＷ１は、例えば、無線ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、モバイルデータ通信網（３Ｇ、ＬＴＥ：Long Term Evolution、４Ｇ、５Ｇ、ローカル５Ｇ等）、又は、これらのネットワークの組み合わせが挙げられる。ただし、ネットワークＮＷ１は、これらに限定されない。
本例示的実施形態の他の態様１に係る映像送信システム１Ａついて、図３を参照して説明する。図３は、他の態様１に係る映像送信システム１Ａの構成を示すブロック図である。図３に示すように、映像送信システム１Ａは、映像送信装置１０Ａおよび遠隔制御装置２０Ａを含む。映像送信装置１０Ａおよび遠隔制御装置２０Ａは、ネットワークＮＷ１を介して通信可能に接続される。ネットワークＮＷ１は、例えば、無線ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、モバイルデータ通信網（３Ｇ、ＬＴＥ：Long Term Evolution、４Ｇ、５Ｇ、ローカル５Ｇ等）、又は、これらのネットワークの組み合わせが挙げられる。ただし、ネットワークＮＷ１は、これらに限定されない。
【0027】
映像送信装置１０Ａは、取得部１１と、状態特定部１２と、領域特定部１３と、送信部１４とを含む。各部の詳細については、上述した通りである。映像送信装置１０Ａは、映像送信方法Ｓ１を実行する。映像送信方法Ｓ１の詳細については、上述した通りである。なお、ステップＳ１４における調整後映像の送信先として、遠隔制御装置２０Ａが適用される。
【0028】
遠隔制御装置２０Ａは、映像送信装置１０Ａから送信された調整後映像を復号し、表示装置（図示せず）に表示する。また、遠隔制御装置２０Ａは、オペレータが入力した操作情報に対応する遠隔制御信号を、映像送信装置１０Ａに送信する。映像送信装置１０Ａは、作業機械の動作を制御する制御装置としても機能する。
【0029】
以上の構成により、映像送信システム１Ａは、上述と同様の効果を奏する。
【0030】
＜本例示的実施形態の他の態様２＞
本例示的実施形態の他の態様２に係る映像送信システム１Ｂついて、図４を参照して説明する。図４は、他の態様２に係る映像送信システム１Ｂの構成を示すブロック図である。図４に示すように、映像送信システム１Ｂは、映像送信装置１０Ｂおよび遠隔制御装置２０Ｂを含む。映像送信装置１０Ｂおよび遠隔制御装置２０Ｂは、ネットワークＮＷ１を介して通信可能に接続される。ネットワークＮＷ１の具体例については上述した通りである。
本例示的実施形態の他の態様２に係る映像送信システム１Ｂついて、図４を参照して説明する。図４は、他の態様２に係る映像送信システム１Ｂの構成を示すブロック図である。図４に示すように、映像送信システム１Ｂは、映像送信装置１０Ｂおよび遠隔制御装置２０Ｂを含む。映像送信装置１０Ｂおよび遠隔制御装置２０Ｂは、ネットワークＮＷ１を介して通信可能に接続される。ネットワークＮＷ１の具体例については上述した通りである。
【0031】
映像送信装置１０Ｂは、取得部１１と、領域特定部１３と、送信部１４とを含む。遠隔制御装置２０Ｂは、状態特定部１２と、通信部２２０とを含む。取得部１１、状態特定部１２、領域特定部１３、および送信部１４の詳細については、上述した通りである。通信部２２０は、映像送信装置１０Ｂとの間で情報を送受信する。
【0032】
映像送信装置１０Ｂおよび遠隔制御装置２０Ｂは、映像送信方法Ｓ１を実行する。映像送信方法Ｓ１の詳細については、ほぼ上述した通りであるが、ステップＳ１１およびステップＳ１２において、以下の点が異なる。
【0033】
ステップＳ１１において、映像送信装置１０Ｂの取得部１１は、取得した映像を遠隔制御装置２０Ｂに送信する。ステップＳ１２において、遠隔制御装置２０Ｂの状態特定部１２は、取得した映像に基づいて作業の状態を特定し、特定した作業の状態を、映像送信装置１０Ｂに送信する。
【0034】
なお、ステップＳ１１で映像送信装置１０Ｂから遠隔制御装置２０Ｂに映像を送信する際に通信品質が低下している場合、遠隔制御装置２０Ｂで復号する映像は画質が低下している可能性がある。ただし、映像の画質は、オペレータの操作のために提示する観点からは充分でない場合であっても、作業の状態を特定する処理においては充分であり得る。したがって、ステップＳ１２において、遠隔制御装置２０Ｂに配置された状態特定部１２は、作業の状態を特定することが可能である。
【0035】
なお、ステップＳ１２において、遠隔制御装置２０Ｂの状態特定部１２は、前回の映像送信方法Ｓ１のステップＳ１４で送信された調整後映像を参照して作業の状態を特定することも可能である。これにより、状態特定部１２は、通信品質が低下した場合にステップＳ１１で送信された低画質の映像を参照する場合と比べて、より精度よく作業の状態を特定できる。その結果、映像送信装置１０Ｂの領域特定部１３は、より精度よく対象領域を特定できる。換言すると、映像送信方法Ｓ１の繰り返しに伴い対象領域の特定精度が向上していく。したがって、オペレータは、通信品質の低下に伴い当初は低画質の映像が表示される場合も、見たい領域を徐々に充分に把握できるようになる。
【0036】
以上の構成により、映像送信システム１Ｂは、上述と同様の効果に加えて、作業機械側に配置される映像送信装置１０Ｂの処理の負荷を軽減することができる。
【0037】
＜本例示的実施形態の他の態様３＞
本例示的実施形態の他の態様３に係る映像送信システム１Ｃついて、図５を参照して説明する。図５は、他の態様３に係る映像送信システム１Ｃの構成を示すブロック図である。図５に示すように、映像送信システム１Ｃは、映像送信装置１０Ｃと、遠隔制御装置２０Ｃと、制御装置６０Ｃとを含む。遠隔制御装置２０Ｃは、ネットワークＮＷ１を介して、映像送信装置１０Ｃおよび制御装置６０Ｃとそれぞれ通信可能に接続される。
本例示的実施形態の他の態様３に係る映像送信システム１Ｃついて、図５を参照して説明する。図５は、他の態様３に係る映像送信システム１Ｃの構成を示すブロック図である。図５に示すように、映像送信システム１Ｃは、映像送信装置１０Ｃと、遠隔制御装置２０Ｃと、制御装置６０Ｃとを含む。遠隔制御装置２０Ｃは、ネットワークＮＷ１を介して、映像送信装置１０Ｃおよび制御装置６０Ｃとそれぞれ通信可能に接続される。
【0038】
制御装置６０Ｃは、作業機械の動作を制御する装置であり、例えば、作業機械に搭載される。制御装置６０Ｃは、作業機械の各部を動作させる動作制御信号を各部に入力する装置である。例えば、作業機械が自律制御により動作する場合（オペレータが搭乗して操縦することを想定していない、もしくは作業機械の外部から動作制御信号を受信して動作することを想定して設計されている作業機械の場合）について説明する。この場合、制御装置６０Ｃは、遠隔制御装置２０Ｃからの遠隔制御信号に応じた動作制御信号を、作業機械の各部位に入力する。また、例えば、作業機械が、操作部（図示せず）を含み、操作部にアタッチメントを取り付けて操作部を操作することによって動作する場合について説明する。この場合、制御装置６０Ｃは、アタッチメント（図示せず）と通信可能に接続される。アタッチメントは、遠隔制御装置２０Ｃからの遠隔制御信号に応じて操作部を操作する装置である。例えば、操作部が、一端が支点として固定された棒状の操作レバーであれば、アタッチメントは、遠隔制御装置２０Ｃからの遠隔制御信号に応じて操作レバーを傾ける方向および傾ける角度を制御する。また、制御装置６０Ｃは、アタッチメントにより操作された操作部の動作に基づき動作制御信号を各部に入力する。
【0039】
映像送信装置１０Ｃは、態様１における映像送信装置１０Ａとほぼ同様に構成される。ただし、態様１とは異なり、映像送信装置１０Ｃと制御装置６０Ｃとは、別体の装置として構成される。映像送信装置１０Ｃは、作業機械に搭載されていてもよいし、作業機械の周辺に配置されていてもよい。遠隔制御装置２０Ｃは、態様１における遠隔制御装置２０Ａとほぼ同様に構成される。ただし、態様１とは異なり、遠隔制御装置２０Ｃは、オペレータが入力した操作情報に対応する遠隔制御信号を、制御装置６０Ｃに送信する。
【0040】
映像送信装置１０Ｃおよび遠隔制御装置２０Ｃは、映像送信方法Ｓ１を実行する。映像送信方法Ｓ１の詳細については、態様１で説明した通りである。
【0041】
また、遠隔制御装置２０Ｃは、ステップＳ１４で送信された調整後映像を復号し、表示装置（図示せず）に表示するとともに、オペレータが入力した操作情報に対応する遠隔制御信号を、制御装置６０Ｃに送信する。
【0042】
以上の構成により、映像送信システム１Ｃは、態様１と同様の効果に加えて、作業機械の動作を制御する制御装置の負荷を軽減することができる。
【0043】
＜本例示的実施形態のその他の態様＞
なお、本例示的実施形態は、上述した各態様に限らず、状態特定部１２、および領域特定部１３の一方または両方が映像送信装置１０に配置されてもよいし、遠隔制御装置２０に配置されてもよい。
なお、本例示的実施形態は、上述した各態様に限らず、状態特定部１２、および領域特定部１３の一方または両方が映像送信装置１０に配置されてもよいし、遠隔制御装置２０に配置されてもよい。
【0044】
〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
【0045】
＜映像送信システム１Ｄの構成＞
本例示的実施形態に係る映像送信システム１Ｄの構成について、図６および図７を参照して説明する。図６は、映像送信システム１Ｄの構成を示すブロック図である。また、図７は、映像送信システム１Ｄを構成する各装置の配置例を示す模式図である。
本例示的実施形態に係る映像送信システム１Ｄの構成について、図６および図７を参照して説明する。図６は、映像送信システム１Ｄの構成を示すブロック図である。また、図７は、映像送信システム１Ｄを構成する各装置の配置例を示す模式図である。
【0046】
図６に示すように、映像送信システム１Ｄは、映像送信装置１０Ｄと、遠隔制御装置２０Ｄと、撮像装置３１と、表示装置３２と、操作装置３３とを含む。操作装置３３は、バックホウ９０を遠隔制御するための装置である。例えば、バックホウ９０が自律制御により動作する場合（オペレータが搭乗して操縦することを想定していない、もしくは作業機械の外部から動作制御信号を受信して動作することを想定して設計されている作業機械の場合）、操作装置３３は、バックホウ９０の自律制御を遠隔から操作する装置である。また、例えば、バックホウ９０が操作部（図示せず）を有し、操作部にアタッチメントを取り付けて操作部を操作することにより動作する場合、操作装置３３は、当該操作部を遠隔で制御するための装置である。バックホウ９０については詳細を後述する。映像送信装置１０Ｄは、撮像装置３１に接続される。また、遠隔制御装置２０Ｄは、表示装置３２と、操作装置３３とに接続される。また、映像送信装置１０Ｄと、遠隔制御装置２０Ｄとは、ネットワークＮＷ１を介して通信可能に接続される。
【0047】
また、図７に示す例では、映像送信装置１０Ｄは、バックホウ９０に搭載される。この例では、映像送信装置１０Ｄは、バックホウ９０の動作を制御する制御装置と同じコンピュータを用いて実現される。遠隔制御装置２０Ｄは、オペレータＵがバックホウ９０を遠隔制御するための装置である。遠隔制御装置２０Ｄは、バックホウ９０の作業エリアとは異なる場所に設置される。
【0048】
（バックホウ９０）
バックホウ９０の具体的な構成について説明する。バックホウ９０は、土砂ＯＢＪを掘削し、ダンプトラック８０に積み込む作業を行う。バックホウ９０は、請求の範囲に記載した「作業機械」の一例である。土砂ＯＢＪは、請求の範囲に記載した「作業対象物」の一例である。ダンプトラック８０は、請求の範囲に記載した「他の作業機械」の一例である。バックホウ９０は、遠隔制御装置２０Ｄによる制御に従って動作する。図７に示すように、バックホウ９０は、旋回部９１と、可動部９２と、走行部９３と、を含む。
バックホウ９０の具体的な構成について説明する。バックホウ９０は、土砂ＯＢＪを掘削し、ダンプトラック８０に積み込む作業を行う。バックホウ９０は、請求の範囲に記載した「作業機械」の一例である。土砂ＯＢＪは、請求の範囲に記載した「作業対象物」の一例である。ダンプトラック８０は、請求の範囲に記載した「他の作業機械」の一例である。バックホウ９０は、遠隔制御装置２０Ｄによる制御に従って動作する。図７に示すように、バックホウ９０は、旋回部９１と、可動部９２と、走行部９３と、を含む。
【0049】
走行部９３は、バックホウ９０を前進、後進、右折、左折させるよう走行する。走行部９３は、例えば無限軌道ベルトを用いて走行する。
【0050】
旋回部９１は、走行部９３に取り付けられる。旋回部９１は、旋回軸Ｐ１を中心に、図の紙面に垂直な平面内での旋回が可能である。なお、バックホウ９０が水平な地面にある場合は、図４の紙面に垂直な平面は水平面となるため、以下ではこの面を便宜的に「水平面」と称する。
【0051】
可動部９２は、旋回部９１に取り付けられたブーム９２１と、ブーム９２１の先端部に取り付けられたアーム９２２と、アーム９２２の先端部に取り付けられたバケット９２３と、を含む。ブーム９２１は、ブーム軸Ｐ２を中心に、水平面に略垂直な平面内で往復旋回が可能である。アーム９２２は、ブーム９２１と同じ旋回面で、アーム軸Ｐ３Ａを中心に往復旋回が可能である。バケット９２３は、アーム９２２の旋回面と同じ旋回面で、バケット軸Ｐ４を中心に往復旋回が可能である。可動部９２は、特許請求の範囲に記載した「作業部位」の一例である。
【0052】
（撮像装置３１）
図７に示す例では、撮像装置３１は、バックホウ９０に搭載される。撮像装置３１は、（ｉ）可動部９２（ブーム９２１、アーム９２２、およびバケット９２３）、ならびに旋回部９１の少なくとも一部と、（ｉｉ）土砂ＯＢＪを含む作業エリアの少なくとも一部とを、画角に含むよう設置される。これにより、撮像装置３１は、これらを被写体として含む映像を生成する。撮像装置３１が生成する映像は、動画像である。換言すると、当該映像は、複数の静止画像の時系列を含む。なお、撮像装置３１の撮像方向は固定であってもよいし、変更可能であってもよい。その場合、例えば、撮像装置３１の撮像方向は、遠隔制御装置２０Ｄからの遠隔制御信号により変更され得る。この場合、撮像装置３１の撮像方向は、可動部９２、旋回部９１および土砂ＯＢＪを少なくとも画角に含む範囲で変更されることが望ましい。また、図７には、１つの撮像装置３１を示しているが、映像送信装置１０Ｄは、複数の撮像装置３１からそれぞれ映像を取得してもよい。
図７に示す例では、撮像装置３１は、バックホウ９０に搭載される。撮像装置３１は、（ｉ）可動部９２（ブーム９２１、アーム９２２、およびバケット９２３）、ならびに旋回部９１の少なくとも一部と、（ｉｉ）土砂ＯＢＪを含む作業エリアの少なくとも一部とを、画角に含むよう設置される。これにより、撮像装置３１は、これらを被写体として含む映像を生成する。撮像装置３１が生成する映像は、動画像である。換言すると、当該映像は、複数の静止画像の時系列を含む。なお、撮像装置３１の撮像方向は固定であってもよいし、変更可能であってもよい。その場合、例えば、撮像装置３１の撮像方向は、遠隔制御装置２０Ｄからの遠隔制御信号により変更され得る。この場合、撮像装置３１の撮像方向は、可動部９２、旋回部９１および土砂ＯＢＪを少なくとも画角に含む範囲で変更されることが望ましい。また、図７には、１つの撮像装置３１を示しているが、映像送信装置１０Ｄは、複数の撮像装置３１からそれぞれ映像を取得してもよい。
【0053】
（映像送信装置１０Ｄ）
図６に示すように、映像送信装置１０Ｄは、制御部１１０Ｄと、通信部１２０Ｄとを含む。通信部１２０Ｄは、ネットワークＮＷ１を介して遠隔制御装置２０Ｄとの間で情報を送受信する。制御部１１０Ｄは、取得部１１Ｄと、状態特定部１２Ｄと、領域特定部１３Ｄと、送信部１４Ｄと、調整部１５Ｄと、を含む。
図６に示すように、映像送信装置１０Ｄは、制御部１１０Ｄと、通信部１２０Ｄとを含む。通信部１２０Ｄは、ネットワークＮＷ１を介して遠隔制御装置２０Ｄとの間で情報を送受信する。制御部１１０Ｄは、取得部１１Ｄと、状態特定部１２Ｄと、領域特定部１３Ｄと、送信部１４Ｄと、調整部１５Ｄと、を含む。
【0054】
制御部１１０Ｄは、これらの各機能ブロック１１Ｄ～１５Ｄに加えて、遠隔制御装置２０Ｄから受信した遠隔制御信号にしたがって、バックホウ９０の各部を制御する機能を有する。例えば、バックホウ９０が自律制御により動作する場合について説明する。この場合、制御部１１０Ｄは、遠隔制御装置２０Ｄから受信した遠隔制御信号に対応する動作制御信号を、バックホウ９０の各部に入力する。また、例えば、バックホウ９０が、オペレータが操作するための操作部を有する場合について説明する。この場合、制御部１１０Ｄは、当該遠隔制御信号にしたがってアタッチメント（図示せず）が操作した操作部（図示せず）の動作に対応する動作制御信号を、バックホウ９０の各部に入力する。例えば、制御部１１０Ｄは、遠隔制御信号にしたがって、旋回部９１、ブーム９２１、アーム９２２、およびバケット９２３の一部又は全部を旋回させることにより、バックホウ９０に、掘削、旋回、放土等の作業を実施させる。また、例えば、制御部１１０Ｄは、遠隔制御信号にしたがって、走行部９３を走行させることによりバックホウ９０を走行させる。
【0055】
調整部１５Ｄは、撮像装置３１から取得した映像において、対象領域の外部の画質が対象領域に対して相対的に低くなるように調整した調整後映像を生成する。状態特定部１２Ｄ、取得部１１Ｄ、および送信部１４Ｄについては、例示的実施形態１における同名の各機能ブロックとほぼ同様に構成される。制御部１１０Ｄが含む各機能ブロックの動作の詳細については、後述する「映像送信方法Ｓ１Ｄの流れ」において説明する。
【0056】
（遠隔制御装置２０Ｄ）
遠隔制御装置２０Ｄは、制御部２１０Ｄと、通信部２２０Ｄとを含む。通信部２２０Ｄは、ネットワークＮＷ１を介して映像送信装置１０Ｄとの間で情報を送受信する。制御部２１０Ｄは、復号部２１Ｄと、表示部２２Ｄと、受付部２３Ｄとを含む。
遠隔制御装置２０Ｄは、制御部２１０Ｄと、通信部２２０Ｄとを含む。通信部２２０Ｄは、ネットワークＮＷ１を介して映像送信装置１０Ｄとの間で情報を送受信する。制御部２１０Ｄは、復号部２１Ｄと、表示部２２Ｄと、受付部２３Ｄとを含む。
【0057】
復号部２１Ｄは、映像送信装置１０Ｄから受信した調整後映像を復号する。表示部２２Ｄは、復号部２１Ｄが復号した映像を、表示装置３２に表示する。受付部２３Ｄは、オペレータＵが操作装置３３を用いて入力した操作情報を受け付ける。また、受付部２３Ｄは、操作情報に対応する遠隔制御信号を、映像送信装置１０Ｄに送信する。ここで、操作情報とは、例えば、操作装置３３が、一端が固定された棒状の操作レバーであれば、操作レバーの傾き、加速度、および方向などによって示される各部位に対するコマンドを含む。
【0058】
＜映像送信方法Ｓ１Ｄの流れ＞
以上のように構成された映像送信システム１Ｄが実行する映像送信方法Ｓ１Ｄの流れについて、図８を参照して説明する。図８は、映像送信方法Ｓ１Ｄの流れを説明するフロー図である。図８に示すように、映像送信方法Ｓ１Ｄは、ステップＳ１１Ｄ～Ｓ１９Ｄを含む。
以上のように構成された映像送信システム１Ｄが実行する映像送信方法Ｓ１Ｄの流れについて、図８を参照して説明する。図８は、映像送信方法Ｓ１Ｄの流れを説明するフロー図である。図８に示すように、映像送信方法Ｓ１Ｄは、ステップＳ１１Ｄ～Ｓ１９Ｄを含む。
【0059】
（ステップＳ１１Ｄ）
ステップＳ１１Ｄにおいて、取得部１１Ｄは、撮像装置３１が撮影した映像を取得する。
ステップＳ１１Ｄにおいて、取得部１１Ｄは、撮像装置３１が撮影した映像を取得する。
【0060】
（ステップＳ１２Ｄ）
ステップＳ１２Ｄにおいて、状態特定部１２Ｄは、バックホウ９０による土砂ＯＢＪを対象とする作業の状態を特定する。ここで、作業の状態には、バケット９２３の状態と、ダンプトラック８０の状態とが含まれる。バケット９２３の状態には、バケット９２３の位置、動き、およびバケット９２３内の土砂ＯＢＪの有無が含まれる。換言すると、状態特定部１２Ｄは、バケット９２３の状態とダンプトラック８０の状態との一方または両方に応じた作業の状態を特定する。このような作業の状態の一例としては、「掘削中」、「旋回直前」、「旋回中」、「放土直前」、「放土中」、「走行直前」、「走行中」等があるが、これらに限られない。
ステップＳ１２Ｄにおいて、状態特定部１２Ｄは、バックホウ９０による土砂ＯＢＪを対象とする作業の状態を特定する。ここで、作業の状態には、バケット９２３の状態と、ダンプトラック８０の状態とが含まれる。バケット９２３の状態には、バケット９２３の位置、動き、およびバケット９２３内の土砂ＯＢＪの有無が含まれる。換言すると、状態特定部１２Ｄは、バケット９２３の状態とダンプトラック８０の状態との一方または両方に応じた作業の状態を特定する。このような作業の状態の一例としては、「掘削中」、「旋回直前」、「旋回中」、「放土直前」、「放土中」、「走行直前」、「走行中」等があるが、これらに限られない。
【0061】
（作業の状態を特定する処理の具体例）
作業の状態を特定する処理の具体例について説明する。例えば、状態特定部１２Ｄは、バックホウ９０が現在行っている作業を把握することにより、作業の状態を特定する。また、例えば、状態特定部１２Ｄは、バックホウ９０が今後行う作業を予測することにより、作業の状態を特定してもよい。
作業の状態を特定する処理の具体例について説明する。例えば、状態特定部１２Ｄは、バックホウ９０が現在行っている作業を把握することにより、作業の状態を特定する。また、例えば、状態特定部１２Ｄは、バックホウ９０が今後行う作業を予測することにより、作業の状態を特定してもよい。
【0062】
例えば、バックホウ９０が現在行っている作業が「掘削」であれば、状態特定部１２Ｄは、作業の状態として「掘削中」を特定する。また、バックホウ９０が次に行うと予測した作業が「旋回」であれば、状態特定部１２Ｄは、作業の状態として、「旋回直前」を特定する。
【0063】
例えば、「掘削中」とは、バケット９２３により掘削地点に歯を入れ、バケット９２３を傾けて土砂ＯＢＪをバケット９２３に乗せ、バケット９２３を持ち上げるところまでの一連の動作にあることを言う。また、「旋回直前」とは、旋回部９１が旋回する直前のことを言う。
【0064】
例えば、状態特定部１２Ｄは、ステップＳ１１Ｄで取得した映像の解析結果を参照して、条件（ｉ）「映像にバケット９２３が含まれ、かつ、バケット９２３内に土砂ＯＢＪが有るか否か」、および、条件（ｉｉ）「映像にバケット９２３およびダンプトラック８０が含まれ、かつ、バケット９２３およびダンプトラック８０間の距離が閾値以上離れているか否か」、をそれぞれ判断する。
【0065】
（掘削中の具体例）
状態特定部１２Ｄは、条件（ｉ）が満たされず（バケット９２３の中に土砂ＯＢＪが無い）、かつ、条件（ｉｉ）が満たされる（バケット９２３およびダンプトラック８０が離れている）場合、作業の状態として「掘削中」であることを特定してもよい。
状態特定部１２Ｄは、条件（ｉ）が満たされず（バケット９２３の中に土砂ＯＢＪが無い）、かつ、条件（ｉｉ）が満たされる（バケット９２３およびダンプトラック８０が離れている）場合、作業の状態として「掘削中」であることを特定してもよい。
【0066】
（旋回直前の具体例）
状態特定部１２Ｄは、条件（ｉ）が満たされ（バケット９２３内に土砂ＯＢＪが有る）、かつ、条件（ｉｉ）が満たされる（バケット９２３およびダンプトラック８０が離れている）場合、作業の状態として「旋回直前」であることを特定してもよい。
状態特定部１２Ｄは、条件（ｉ）が満たされ（バケット９２３内に土砂ＯＢＪが有る）、かつ、条件（ｉｉ）が満たされる（バケット９２３およびダンプトラック８０が離れている）場合、作業の状態として「旋回直前」であることを特定してもよい。
【0067】
（旋回中の具体例）
状態特定部１２Ｄは、条件（ｉ）が満たされず（バケット９２３内に土砂ＯＢＪが無い）、かつ、条件（ｉｉ）が満たされない（バケット９２３およびダンプトラック８０が近い）場合、作業の状態として「旋回中」であることを特定してもよい。なお、「旋回中」とは、旋回部９１が旋回していることを言う。
状態特定部１２Ｄは、条件（ｉ）が満たされず（バケット９２３内に土砂ＯＢＪが無い）、かつ、条件（ｉｉ）が満たされない（バケット９２３およびダンプトラック８０が近い）場合、作業の状態として「旋回中」であることを特定してもよい。なお、「旋回中」とは、旋回部９１が旋回していることを言う。
【0068】
（放土中の具体例）
状態特定部１２Ｄは、条件（ｉ）が満たされ（バケット９２３内に土砂ＯＢＪが有る）、かつ、条件（ｉｉ）が満たされない（バケット９２３およびダンプトラック８０が近い）場合、作業の状態として「放土直前」、または、「放土中」であることを特定してもよい。
状態特定部１２Ｄは、条件（ｉ）が満たされ（バケット９２３内に土砂ＯＢＪが有る）、かつ、条件（ｉｉ）が満たされない（バケット９２３およびダンプトラック８０が近い）場合、作業の状態として「放土直前」、または、「放土中」であることを特定してもよい。
【0069】
（走行中の具体例）
また、状態特定部１２Ｄは、上記の条件（ｉ）（ｉｉ）に限らず、映像の変化、またはバックホウ９０の位置情報の変化等に基づき、「走行中」であることを特定してもよい。映像の変化の一例としては、認識した土砂ＯＢＪの、映像における位置情報の変化等がある。
また、状態特定部１２Ｄは、上記の条件（ｉ）（ｉｉ）に限らず、映像の変化、またはバックホウ９０の位置情報の変化等に基づき、「走行中」であることを特定してもよい。映像の変化の一例としては、認識した土砂ＯＢＪの、映像における位置情報の変化等がある。
【0070】
なお、作業の状態を特定する条件は、上述した「掘削中の具体例」、「旋回直前の具体例」、「旋回中の具体例」、「放土中の具体例」、「走行中の具体例」には限定されない。作業の状態を特定する条件は、その他の条件を使って特定されるものであってもよい。
【0071】
（ステップＳ１３Ｄ）
ステップＳ１３Ｄにおいて、領域特定部１３Ｄは、状態特定部１２Ｄによる特定結果を参照して、当該映像において対象領域を特定する。
ステップＳ１３Ｄにおいて、領域特定部１３Ｄは、状態特定部１２Ｄによる特定結果を参照して、当該映像において対象領域を特定する。
【0072】
具体的な処理の例として、領域特定部１３Ｄは、映像においてブーム９２１、アーム９２２、バケット９２３の位置を特定する。また、領域特定部１３Ｄは、特定した各部位の位置を参照して、作業の状態に応じた対象領域を特定する。対象領域の具体例について説明する。
【0073】
【0074】
図９は、バックホウ９０を用いて掘削に関連する作業を行う場合においてオペレータＵの注目領域の一例を説明する図であり、バックホウ９０の上面図である。図９に示すように、掘削に関連する作業を行う場合、オペレータＵは、バケット９２３を含むバケット９２３周辺の注目領域Ｒ１に注目する。領域特定部１３Ｄは、掘削に関連する作業の状態が特定された場合、このような注目領域Ｒ１に対応するよう、対象領域を特定する。ここで、注目領域Ｒ１は、オペレータＵが作業の状態に応じて注目する領域である。これに対し、後述する対象領域Ｒ１ａ～Ｒ１ｃは、映像において画質を調整する対象となる領域である。なお、注目領域Ｒ１は、対象領域の説明のために図示したものであり、必ずしも領域特定部１３Ｄが特定する必要はない。換言すると、領域特定部１３Ｄは、特許文献１に記載された装置とは異なり、オペレータＵの視線を特定する必要はない。領域特定部１３Ｄは、映像において以下に説明する対象領域Ｒ１ａ～Ｒ１ｃを特定する。
【0075】
図１０は、掘削に関連する作業の状態が特定された場合における、対象領域の一例を説明する図である。例えば、掘削に関連する作業の状態は、「掘削直前（土砂に対してバケットの歯を入れる前の状態）」、「掘削中」、または「掘削完了（土砂ＯＢＪを乗せたバケット９２３を持ち上げて所定の高さまで上げた状態）」を含む。例えば、作業の状態として「掘削直前」が特定された場合には、領域特定部１３Ｄは、映像Ｇ１ａにおける対象領域Ｒ１ａを特定する。対象領域Ｒ１ａは、バケット９２３の直下にある土砂ＯＢＪを被写体として含む領域である。オペレータＵは、このような対象領域Ｒ１ａが鮮明に表示されることにより、土砂ＯＢＪの形状を確認し、バケット９２３をおろす位置を決めて操作装置３３を操作することができる。
【0076】
また、作業の状態として「掘削中」が特定された場合には、領域特定部１３Ｄは、映像Ｇ１ｂにおける対象領域Ｒ１ｂを特定する。対象領域Ｒ１ｂは、ブーム９２１、アーム９２２、バケット９２３、およびバケット９２３の手前にある土砂ＯＢＪを被写体として含む領域である。オペレータＵは、このような対象領域Ｒ１ｂが鮮明に表示されることにより、バケット９２３手前の土砂ＯＢＪの形状、関節の位置関係を確認し、バケット９２３の動作を決めて操作装置３３を操作することができる。
【0077】
また、作業の状態として「掘削完了」が特定された場合には、領域特定部１３Ｄは、映像Ｇ１ｃにおける対象領域Ｒ１ｃを特定する。対象領域Ｒ１ｃは、バケット９２３およびバケット９２３内の土砂ＯＢＪを被写体として含む領域である。オペレータＵは、このような対象領域Ｒ１ｃが鮮明に表示されることにより、バケット９２３に入れた土砂ＯＢＪがこぼれそうかどうか確認しながら、バケット９２３内の土砂ＯＢＪの量を調整するよう、または、バケット９２３を移動させるよう、操作装置３３を操作することができる。
【0078】
【0079】
図１１は、バックホウ９０を用いて旋回に関連する作業を行う場合における、オペレータＵの注目領域一例を説明する図であり、バックホウ９０の上面図である。図１０に示すように、旋回に関連する作業を行う場合、オペレータＵは、バケット９２３を含み、かつ、バケット９２３から左側に伸びる注目領域Ｒ２に注目する。ここでは、バケット９２３は、左回りの方向に旋回することを想定している。領域特定部１３Ｄは、旋回に関連する作業の状態が特定された場合、このような注目領域Ｒ２に対応するよう、対象領域を特定する。なお、注目領域Ｒ２は、対象領域の説明のために図示した空間領域であり、必ずしも領域特定部１３Ｄが特定する必要はない。領域特定部１３Ｄは、映像において以下に説明する対象領域Ｒ２ａ～Ｒ２ｂを特定する。
【0080】
図１２は、旋回に関連する作業の状態が特定された場合における、対象領域の一例を説明する図である。例えば、旋回に関連して特定される作業の状態は、「旋回直前」、または「旋回中」を含む。例えば、作業の状態として「旋回直前」が特定された場合には、領域特定部１３Ｄは、映像Ｇ２ａにおける対象領域Ｒ２ａを特定する。対象領域Ｒ２ａは、ブーム９２１、アーム９２２、バケット９２３、および土砂ＯＢＪを被写体として含む領域である。オペレータＵは、このような対象領域Ｒ２ａが鮮明に表示されることにより、ブーム９２１周囲の状況を確認し、安全かどうかを判断して旋回を開始するよう操作装置３３を操作することができる。
【0081】
また、作業の状態として「旋回中」が特定された場合には、領域特定部１３Ｄは、映像Ｇ２ｂにおける対象領域Ｒ２ｂを特定する。対象領域Ｒ２ｂは、ブーム９２１、アーム９２２、およびバケット９２３を被写体として含み、かつ、これらの各部から左側に伸びる領域である。オペレータＵは、このような対象領域Ｒ２ｂが鮮明に表示されることにより、旋回方向（左回りの方向）が安全かどうかを判断しながら旋回を続けるよう操作装置３３を操作することができる。
【0082】
【0083】
図１３は、バックホウ９０を用いて走行に関連する作業を行う場合における、オペレータＵの注目領域の一例を説明する図であり、バックホウ９０の上面図である。図１３に示すように、走行に関連する作業を行う場合、オペレータＵは、バックホウ９０進行方向を含む注目領域Ｒ３に注目する。領域特定部１３Ｄは、走行に関連する作業の状態が特定された場合、このような注目領域Ｒ３に対応するよう、対象領域を特定する。なお、注目領域Ｒ３は、対象領域の説明のために図示した空間領域であり、必ずしも領域特定部１３Ｄが特定する必要はない。領域特定部１３Ｄは、映像において以下に説明する対象領域Ｒ３ａを特定する。
【0084】
図１４は、走行に関連する作業が特定された場合における、対象領域の一例を説明する図である。例えば、走行に関連する作業の状態は、「前方への走行直前」を含む。例えば、作業の状態として「前方への走行直前」が特定された場合には、領域特定部１３Ｄは、映像Ｇ３ａにおける対象領域Ｒ３ａを特定する。対象領域Ｒ３ａは、ブーム９２１、アーム９２２、およびバケット９２３を被写体として含む領域である。オペレータＵは、このような対象領域Ｒ３ａが鮮明に表示されることにより、前方が安全かどうかを判断しながら走行を開始するよう操作装置３３を操作することができる。
【0085】
（ステップＳ１４Ｄ）
ステップＳ１４Ｄにおいて、調整部１５Ｄは、ステップＳ１１Ｄで取得した映像において、対象領域の外部の画質が対象領域に対して相対的に低くなるように調整した調整後映像を生成する。調整する画質の具体例については、例示的実施形態１で説明した通りである。なお、対象領域と対象領域の外部との相対的な画質を調整して符号化する技術については、公知の技術を採用可能である。
ステップＳ１４Ｄにおいて、調整部１５Ｄは、ステップＳ１１Ｄで取得した映像において、対象領域の外部の画質が対象領域に対して相対的に低くなるように調整した調整後映像を生成する。調整する画質の具体例については、例示的実施形態１で説明した通りである。なお、対象領域と対象領域の外部との相対的な画質を調整して符号化する技術については、公知の技術を採用可能である。
【0086】
（ステップＳ１５Ｄ）
送信部１４Ｄは、生成された調整後映像を、遠隔制御装置２０Ｄに送信する。このような調整後映像は、調整する前の映像に比べて送信に係る通信量を軽減できる。したがって、本ステップにおいて通信品質が変動する場合であっても、調整後映像を充分に送信することができる可能性が高まる。
送信部１４Ｄは、生成された調整後映像を、遠隔制御装置２０Ｄに送信する。このような調整後映像は、調整する前の映像に比べて送信に係る通信量を軽減できる。したがって、本ステップにおいて通信品質が変動する場合であっても、調整後映像を充分に送信することができる可能性が高まる。
【0087】
（ステップＳ１６Ｄ）
ステップＳ１６Ｄにおいて、遠隔制御装置２０Ｄの復号部２１Ｄは、受信した調整後映像を復号する。
ステップＳ１６Ｄにおいて、遠隔制御装置２０Ｄの復号部２１Ｄは、受信した調整後映像を復号する。
【0088】
（ステップＳ１７Ｄ）
ステップＳ１７Ｄにおいて、表示部２２Ｄは、復号された画像を表示する。ここで、表示される画像の具体例を、図１５を参照して説明する。図１５は、遠隔制御装置２０Ｄが表示装置３２に表示する映像の具体例を示す図である。図１５において、表示装置３２に表示される映像Ｇ４は、対象領域Ｒ４を含む。映像Ｇ４は、対象領域Ｒ４の外部の画質が対象領域Ｒ４に対して相対的に低くなるように調整した調整後映像が復号されたものである。したがって、対象領域Ｒ４の外部の画質は、対象領域Ｒ４に比べて相対的に低い。一方で、対象領域Ｒ４の画質は、鮮明であることが期待できる。
ステップＳ１７Ｄにおいて、表示部２２Ｄは、復号された画像を表示する。ここで、表示される画像の具体例を、図１５を参照して説明する。図１５は、遠隔制御装置２０Ｄが表示装置３２に表示する映像の具体例を示す図である。図１５において、表示装置３２に表示される映像Ｇ４は、対象領域Ｒ４を含む。映像Ｇ４は、対象領域Ｒ４の外部の画質が対象領域Ｒ４に対して相対的に低くなるように調整した調整後映像が復号されたものである。したがって、対象領域Ｒ４の外部の画質は、対象領域Ｒ４に比べて相対的に低い。一方で、対象領域Ｒ４の画質は、鮮明であることが期待できる。
【0089】
（ステップＳ１８Ｄ）
ステップＳ１８Ｄにおいて、受付部２３Ｄは、オペレータＵが操作装置３３を用いて入力した操作情報を受け付ける。オペレータは、対象領域Ｒ４が鮮明に表示されることにより、作業の状態に応じた操作を精度よく行うことができる。また、受付部２３Ｄは、操作情報に対応する遠隔制御信号を、映像送信装置１０Ｄに送信する。
ステップＳ１８Ｄにおいて、受付部２３Ｄは、オペレータＵが操作装置３３を用いて入力した操作情報を受け付ける。オペレータは、対象領域Ｒ４が鮮明に表示されることにより、作業の状態に応じた操作を精度よく行うことができる。また、受付部２３Ｄは、操作情報に対応する遠隔制御信号を、映像送信装置１０Ｄに送信する。
【0090】
（ステップＳ１９Ｄ）
ステップＳ１９Ｄにおいて、映像送信装置１０Ｄの制御部１１０Ｄは、受信した遠隔制御信号にしたがって、バックホウ９０の動作を制御する。
ステップＳ１９Ｄにおいて、映像送信装置１０Ｄの制御部１１０Ｄは、受信した遠隔制御信号にしたがって、バックホウ９０の動作を制御する。
【0091】
＜本例示的実施形態の効果＞
本例示的実施形態は、例示的実施形態１と同様の効果を奏することに加えて、以下の効果を奏する。
本例示的実施形態は、例示的実施形態１と同様の効果を奏することに加えて、以下の効果を奏する。
【0092】
本例示的実施形態においては、状態特定部１２Ｄが特定する作業の状態には、バックホウ９０が備えるバケット９２３等の状態が含まれる、との構成が採用されている。この構成により、状態特定部１２Ｄは、「掘削中」、「旋回直前」、「旋回中」等といったバケット９２３の状態を含む作業の状態をより精度よく判断することができる。その結果、バケット９２３等の状態に応じて対象領域をより精度よく決定することができる。
【0093】
また、本例示的実施形態においては、状態特定部１２Ｄが特定する作業の状態には、他の作業機械であるダンプトラック８０の状態が含まれる、との構成が採用されている。この構成により、状態特定部１２Ｄは、「放土直前」、「放土中」等といったダンプトラック８０の状態を含む作業の状態をより精度よく判断することができる。その結果、ダンプトラック８０の状態に応じた対象領域をより精度よく決定することができる。
【0094】
また、本例示的実施形態においては、状態特定部１２Ｄは、映像の解析結果を少なくとも参照して、作業の状態を特定する、との構成が採用されている。この構成により、状態特定部１２Ｄは、映像から得られる情報をもとに作業の状態をより精度よく判断することができる。その結果、作業の状態に応じた対象領域をより精度よく決定することができる。
【0095】
〔例示的実施形態３〕
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１、２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１、２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
【0096】
【0097】
図１６に示すように、映像送信システム１Ｅは、例示的実施形態２に係る映像送信システム１Ｄとほぼ同様に構成される。ただし、映像送信装置１０Ｄに替えて映像送信装置１０Ｅを含む点と、遠隔制御装置２０Ｄに替えて遠隔制御装置２０Ｅを含む点と、が異なる。その他の点については、例示的実施形態２として説明した通りである。
【0098】
ここで、例示的実施形態２では、状態特定部１２Ｄおよび領域特定部１３Ｄが映像送信装置１０Ｄに配置されていたのに対し、本例示的実施形態では、状態特定部２４Ｅおよび領域特定部２５Ｅが遠隔制御装置２０Ｅに配置される。
【0099】
映像送信装置１０Ｅは、取得部１１Ｅと、送信部１４Ｅと、調整部１５Ｅとを含む。取得部１１Ｅ、送信部１４Ｅ、および調整部１５Ｅは、例示的実施形態２における同名の各機能ブロックとほぼ同様に構成される。
【0100】
遠隔制御装置２０Ｅは、復号部２１Ｅと、表示部２２Ｅと、受付部２３Ｅと、状態特定部２４Ｅと、領域特定部２５Ｅと、物体認識部２６Ｅと、ベクトル判定部２７Ｅとを含む。復号部２１Ｅ、表示部２２Ｅ、および受付部２３Ｅは、例示的実施形態２における同名の各機能ブロックとほぼ同様に構成される。状態特定部２４Ｅは、例示的実施形態２における状態特定部１２Ｄとほぼ同様に構成されるが、物体認識部２６Ｅによる認識結果を参照する点が異なる。領域特定部２５Ｅは、例示的実施形態２における領域特定部１３Ｄとほぼ同様に構成されるが、ベクトル判定部２７Ｅによる判定結果をさらに参照する点が異なる。状態特定部２４Ｅ、領域特定部２５Ｅ、物体認識部２６Ｅ、およびベクトル判定部２７Ｅの詳細については、後述する「映像送信方法Ｓ１Ｅの流れ」において説明する。
【0101】
＜映像送信方法Ｓ１Ｅの流れ＞
以上のように構成された映像送信システム１Ｅが実行する映像送信方法Ｓ１Ｅの流れについて、図１７を参照して説明する。図１７は、映像送信方法Ｓ１Ｅの流れを説明するフロー図である。図１７に示すように、映像送信方法Ｓ１Ｅは、ステップＳ１１Ｅ～Ｓ１９Ｅを含む。ステップＳ１４Ｅ～Ｓ１９Ｅの処理は、例示的実施形態２に係る映像送信方法Ｓ１ＤにおけるステップＳ１４Ｄ～Ｓ１９Ｄと同様である。ここでは、ステップＳ１１Ｅ、ステップＳ１２－１Ｅ、Ｓ１２－２Ｅ、Ｓ１２－３Ｅ、およびＳ１３Ｅについて説明する。
以上のように構成された映像送信システム１Ｅが実行する映像送信方法Ｓ１Ｅの流れについて、図１７を参照して説明する。図１７は、映像送信方法Ｓ１Ｅの流れを説明するフロー図である。図１７に示すように、映像送信方法Ｓ１Ｅは、ステップＳ１１Ｅ～Ｓ１９Ｅを含む。ステップＳ１４Ｅ～Ｓ１９Ｅの処理は、例示的実施形態２に係る映像送信方法Ｓ１ＤにおけるステップＳ１４Ｄ～Ｓ１９Ｄと同様である。ここでは、ステップＳ１１Ｅ、ステップＳ１２－１Ｅ、Ｓ１２－２Ｅ、Ｓ１２－３Ｅ、およびＳ１３Ｅについて説明する。
【0102】
（ステップＳ１１Ｅ）
ステップＳ１１Ｅにおいて、取得部１１Ｅは、撮像装置３１が撮影した映像を取得する。また、取得部１１Ｅは、取得した映像を、遠隔制御装置２０Ｅに送信する。
ステップＳ１１Ｅにおいて、取得部１１Ｅは、撮像装置３１が撮影した映像を取得する。また、取得部１１Ｅは、取得した映像を、遠隔制御装置２０Ｅに送信する。
【0103】
（ステップＳ１２－１Ｅ）
ステップＳ１２－１Ｅにおいて、遠隔制御装置２０Ｅの物体認識部２６Ｅは、ステップＳ１１Ｅで取得した映像を参照し、当該映像に含まれる物体を認識する。物体認識部２６Ｅは、映像に含まれる物体を認識するための機能ブロックである。物体認識部２６Ｅには、映像に含まれる物体を認識する公知の技術を採用可能である。例えば、物体認識部２６Ｅは、バックホウ９０の作業部位（ブーム９２１、アーム９２２、バケット９２３等）、ダンプトラック８０、土砂ＯＢＪ等のうち、映像に含まれる物体を認識する。
ステップＳ１２－１Ｅにおいて、遠隔制御装置２０Ｅの物体認識部２６Ｅは、ステップＳ１１Ｅで取得した映像を参照し、当該映像に含まれる物体を認識する。物体認識部２６Ｅは、映像に含まれる物体を認識するための機能ブロックである。物体認識部２６Ｅには、映像に含まれる物体を認識する公知の技術を採用可能である。例えば、物体認識部２６Ｅは、バックホウ９０の作業部位（ブーム９２１、アーム９２２、バケット９２３等）、ダンプトラック８０、土砂ＯＢＪ等のうち、映像に含まれる物体を認識する。
【0104】
（ステップＳ１２－２Ｅ）
ステップＳ１２－２Ｅにおいて、状態特定部２４Ｅは、物体認識部２６Ｅによる認識結果（すなわち、映像の解析結果）を参照して、バックホウ９０による土砂ＯＢＪを対象とする作業の状態を特定する。
ステップＳ１２－２Ｅにおいて、状態特定部２４Ｅは、物体認識部２６Ｅによる認識結果（すなわち、映像の解析結果）を参照して、バックホウ９０による土砂ＯＢＪを対象とする作業の状態を特定する。
【0105】
例えば、状態特定部２４Ｅは、物体認識部２６Ｅによる認識結果が、バケット９２３およびバケット９２３内の土砂ＯＢＪを示す場合には、これから放土を行う「放土直前」との作業の状態を特定してもよい。
【0106】
（ステップＳ１２－３Ｅ）
ステップＳ１２－３Ｅにおいて、ベクトル判定部２７Ｅは、ステップＳ１１Ｅで取得した映像を参照し、当該映像において同じ被写体が映された領域が動く方向（以降、ベクトルと記載する）を判定する。ステップＳ１１Ｅで取得される映像は、複数の静止画像の時系列を含み得る。そこで、ベクトル判定部２７Ｅは、複数の静止画像において同じ被写体が映された領域を抽出し、当該領域のベクトルを判定する。また、ベクトル判定部２７Ｅは、当該ベクトルを判定するために必要な数の静止画像の時系列を用いて、ベクトルを判定すればよい。なお、ステップＳ１２－２ＥとステップＳ１２－３Ｅとの実行順序は、必ずしもこの順番でなくてもよい。
ステップＳ１２－３Ｅにおいて、ベクトル判定部２７Ｅは、ステップＳ１１Ｅで取得した映像を参照し、当該映像において同じ被写体が映された領域が動く方向（以降、ベクトルと記載する）を判定する。ステップＳ１１Ｅで取得される映像は、複数の静止画像の時系列を含み得る。そこで、ベクトル判定部２７Ｅは、複数の静止画像において同じ被写体が映された領域を抽出し、当該領域のベクトルを判定する。また、ベクトル判定部２７Ｅは、当該ベクトルを判定するために必要な数の静止画像の時系列を用いて、ベクトルを判定すればよい。なお、ステップＳ１２－２ＥとステップＳ１２－３Ｅとの実行順序は、必ずしもこの順番でなくてもよい。
【0107】
（ステップＳ１３Ｅ）
ステップＳ１３Ｅにおいて、領域特定部２５Ｅは、状態特定部２４Ｅによる特定結果（作業の状態）と、ベクトル判定部２７Ｅによる判定結果（ベクトル）とを参照して、ステップＳ１１Ｅで取得した映像における対象領域を特定する。また、領域特定部２５Ｅは、特定結果を、映像送信装置１０Ｅに送信する。
ステップＳ１３Ｅにおいて、領域特定部２５Ｅは、状態特定部２４Ｅによる特定結果（作業の状態）と、ベクトル判定部２７Ｅによる判定結果（ベクトル）とを参照して、ステップＳ１１Ｅで取得した映像における対象領域を特定する。また、領域特定部２５Ｅは、特定結果を、映像送信装置１０Ｅに送信する。
【0108】
一例として、領域特定部２５Ｅは、作業の状態に応じた対象領域を、判定結果のベクトルに向けて広げてもよい。例えば、作業の状態が「掘削中」であり、ベクトルが映像において「上方向」である場合、図１０に示す映像Ｇ１ｂにおける対象領域Ｒ１ｂを、上方向に向けて広げた領域を、対象領域としてもよい。また、領域特定部２５Ｅは、作業の状態に応じた対象領域を、判定結果のベクトルに基づき移動させてもよい。これにより、対象領域は、例えばバケット９２３の動きに追従して移動する。
【0109】
＜本例示的実施形態の効果＞
本例示的実施形態は、例示的実施形態１と同様の効果を奏することに加えて、次の効果を奏する。
本例示的実施形態は、例示的実施形態１と同様の効果を奏することに加えて、次の効果を奏する。
【0110】
本例示的実施形態では、状態特定部２４Ｅは、物体認識部２６Ｅによる認識結果（すなわち、映像の解析結果）を参照して、バックホウ９０による土砂ＯＢＪを対象とする作業の状態を特定する、との構成が採用されている。この構成により、映像から認識される物体をもとに作業の状態をより精度よく判断することができる。
【0111】
また、本例示的実施形態では、領域特定部２５Ｅは、状態特定部２４Ｅによる特定結果（作業の状態）と、ベクトル判定部２７Ｅによる判定結果（ベクトル）とを参照して、ステップＳ１１Ｅで取得した映像における対象領域を特定する、との構成が採用されている。この構成により、作業の状態に加えて、映像における動きを考慮するので、対象領域をより精度よく決定することができる。
【0112】
また、本例示的実施形態では、状態特定部２４Ｅは、遠隔制御装置２０Ｅに配置されている。これにより、状態特定部２４Ｅを映像送信装置１０Ｅに配置する場合と比べて、映像送信装置１０Ｅの負荷を軽くすることができる。
【0113】
〔例示的実施形態４〕
本発明の第４の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～３にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本発明の第４の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～３にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
【0114】
【0115】
図１８に示すように、映像送信システム１Ｆは、例示的実施形態３に係る映像送信システム１Ｅとほぼ同様に構成される。ただし、映像送信装置１０Ｅに替えて映像送信装置１０Ｆを含む点と、遠隔制御装置２０Ｅに替えて遠隔制御装置２０Ｆを含む点と、が異なる。その他の点については、例示的実施形態３として説明した通りである。
【0116】
映像送信装置１０Ｆは、取得部１１Ｆと、送信部１４Ｆと、調整部１５Ｆとを含む。取得部１１Ｆ、送信部１４Ｆ、および調整部１５Ｆは、例示的実施形態３における同名の各機能ブロックとほぼ同様に構成される。
【0117】
遠隔制御装置２０Ｆは、復号部２１Ｆと、表示部２２Ｆと、受付部２３Ｆと、状態特定部２４Ｆと、領域特定部２５Ｆと、予測部２８Ｆとを含む。予測部２８Ｆは、請求の範囲に記載した予測手段を実現する構成の一例である。復号部２１Ｆ、表示部２２Ｆ、受付部２３Ｆ、状態特定部２４Ｆ、および領域特定部２５Ｆは、例示的実施形態３における同名の各機能ブロックとほぼ同様に構成される。ただし、状態特定部２４Ｆは、バックホウ９０による作業フェーズを示す情報を少なくとも参照する点が異なる。また、領域特定部２５Ｆは、予測部２８Ｆによる予測結果をさらに参照する点が異なる。状態特定部２４Ｆ、領域特定部２５Ｆ、および予測部２８Ｆの詳細については、後述する「映像送信方法Ｓ１Ｆの流れ」において説明する。
【0118】
＜映像送信方法Ｓ１Ｆの流れ＞
以上のように構成された映像送信システム１Ｆが実行する映像送信方法Ｓ１Ｆの流れについて、図１９を参照して説明する。図１９は、映像送信方法Ｓ１Ｆの流れを説明するフロー図である。図１９に示すように、映像送信方法Ｓ１Ｆは、ステップＳ１１Ｆ～Ｓ１９Ｆを含む。ステップＳ１１Ｆ、Ｓ１４Ｆ～Ｓ１９Ｆの処理は、例示的実施形態３に係る映像送信方法Ｓ１ＥにおけるステップＳ１１Ｅ、Ｓ１４Ｅ～Ｓ１９Ｅと同様である。ここでは、ステップＳ１２－１Ｆ、Ｓ１２－２Ｆ、Ｓ１２－３Ｆ、およびＳ１３Ｆについて説明する。
以上のように構成された映像送信システム１Ｆが実行する映像送信方法Ｓ１Ｆの流れについて、図１９を参照して説明する。図１９は、映像送信方法Ｓ１Ｆの流れを説明するフロー図である。図１９に示すように、映像送信方法Ｓ１Ｆは、ステップＳ１１Ｆ～Ｓ１９Ｆを含む。ステップＳ１１Ｆ、Ｓ１４Ｆ～Ｓ１９Ｆの処理は、例示的実施形態３に係る映像送信方法Ｓ１ＥにおけるステップＳ１１Ｅ、Ｓ１４Ｅ～Ｓ１９Ｅと同様である。ここでは、ステップＳ１２－１Ｆ、Ｓ１２－２Ｆ、Ｓ１２－３Ｆ、およびＳ１３Ｆについて説明する。
【0119】
（ステップＳ１２－１Ｆ）
ステップＳ１２－１Ｆにおいて、状態特定部２４Ｆは、操作情報の履歴を取得する。操作情報は、オペレータＵがバックホウ９０を遠隔制御するために操作装置３３に入力した情報である。操作情報は、例えば、（ｉ）バケット９２３の開閉、（ｉｉ）ブーム９２１の第一関節を折る／伸ばす、（ｉｉｉ）ブーム９２１の第二関節を折る／伸ばす、（ｉｖ）旋回、または（ｖ）走行との情報を含む。ただし、操作情報は、これに限られない。なお、ここで取得される操作情報の履歴は、受付部２３Ｆがこれまでに受け付けたものである。
ステップＳ１２－１Ｆにおいて、状態特定部２４Ｆは、操作情報の履歴を取得する。操作情報は、オペレータＵがバックホウ９０を遠隔制御するために操作装置３３に入力した情報である。操作情報は、例えば、（ｉ）バケット９２３の開閉、（ｉｉ）ブーム９２１の第一関節を折る／伸ばす、（ｉｉｉ）ブーム９２１の第二関節を折る／伸ばす、（ｉｖ）旋回、または（ｖ）走行との情報を含む。ただし、操作情報は、これに限られない。なお、ここで取得される操作情報の履歴は、受付部２３Ｆがこれまでに受け付けたものである。
【0120】
（ステップＳ１２－２Ｆ）
ステップＳ１２－２Ｆにおいて、状態特定部２４Ｆは、作業フェーズを示す情報を少なくとも参照して、作業の状態を特定する。具体的には、作業フェーズを示す情報は、作業フェーズが切り替わるタイミングを示す情報を含む。例えば、状態特定部２４Ｆは、操作情報の履歴に基づき作業フェーズが切り替わるタイミングを特定する。状態特定部２４Ｆは、作業フェーズの切り替わりのタイミングに基づいて、バックホウ９０による作業の状態を特定する。例えば、作業フェーズは、「掘削」、「旋回」、「放土」、「走行」であり、この順に作業が行われることが想定されている。
ステップＳ１２－２Ｆにおいて、状態特定部２４Ｆは、作業フェーズを示す情報を少なくとも参照して、作業の状態を特定する。具体的には、作業フェーズを示す情報は、作業フェーズが切り替わるタイミングを示す情報を含む。例えば、状態特定部２４Ｆは、操作情報の履歴に基づき作業フェーズが切り替わるタイミングを特定する。状態特定部２４Ｆは、作業フェーズの切り替わりのタイミングに基づいて、バックホウ９０による作業の状態を特定する。例えば、作業フェーズは、「掘削」、「旋回」、「放土」、「走行」であり、この順に作業が行われることが想定されている。
【0121】
（具体例１：掘削から旋回）
具体例として、例えば、操作情報の履歴において、上述した（ｉ）、（ｉｉ）、（ｉｉｉ）の操作情報が閾値以上の頻度で出現し、その後、（ｉｖ）の操作情報が出現した場合、状態特定部２４Ｆは、作業が掘削から旋回へ切り替わるタイミングｔ１であると特定する。
具体例として、例えば、操作情報の履歴において、上述した（ｉ）、（ｉｉ）、（ｉｉｉ）の操作情報が閾値以上の頻度で出現し、その後、（ｉｖ）の操作情報が出現した場合、状態特定部２４Ｆは、作業が掘削から旋回へ切り替わるタイミングｔ１であると特定する。
【0122】
（具体例２：旋回から放土）
また、操作情報の履歴において、具体例１において上述した（ｉｖ）の操作情報が出現した後、（ｉ）、（ｉｉ）、（ｉｉｉ）の操作情報が閾値以上の頻度で出現する場合、状態特定部２４Ｆは、作業が旋回から放土へ切り替わるタイミングｔ２であると特定する。
また、操作情報の履歴において、具体例１において上述した（ｉｖ）の操作情報が出現した後、（ｉ）、（ｉｉ）、（ｉｉｉ）の操作情報が閾値以上の頻度で出現する場合、状態特定部２４Ｆは、作業が旋回から放土へ切り替わるタイミングｔ２であると特定する。
【0123】
（具体例３：放土から旋回）
また、操作情報の履歴において、具体例２において上述した（ｉ）、（ｉｉ）、（ｉｉｉ）の操作情報が閾値以上の頻度で出現した後、（ｉｖ）の操作情報が出現した場合、状態特定部２４Ｆは、作業が放土から旋回へ切り替わるタイミングｔ３であると特定する。
また、操作情報の履歴において、具体例２において上述した（ｉ）、（ｉｉ）、（ｉｉｉ）の操作情報が閾値以上の頻度で出現した後、（ｉｖ）の操作情報が出現した場合、状態特定部２４Ｆは、作業が放土から旋回へ切り替わるタイミングｔ３であると特定する。
【0124】
（具体例４：旋回から掘削）
また、操作情報の履歴において、具体例３において上述した（ｉｖ）の操作情報が出現した後、（ｉ）、（ｉｉ）、（ｉｉｉ）の操作情報が閾値以上の頻度で出現する場合、状態特定部２４Ｆは、作業が旋回から掘削へ切り替わるタイミングｔ４であると特定する。
また、操作情報の履歴において、具体例３において上述した（ｉｖ）の操作情報が出現した後、（ｉ）、（ｉｉ）、（ｉｉｉ）の操作情報が閾値以上の頻度で出現する場合、状態特定部２４Ｆは、作業が旋回から掘削へ切り替わるタイミングｔ４であると特定する。
【0125】
（具体例５：走行）
また、操作情報の履歴において、具体例４に続いて上述した（ｖ）の操作情報が出現する場合、状態特定部２４Ｆは、作業が走行へ切り替わるタイミングｔ５であると特定する。
また、操作情報の履歴において、具体例４に続いて上述した（ｖ）の操作情報が出現する場合、状態特定部２４Ｆは、作業が走行へ切り替わるタイミングｔ５であると特定する。
【0126】
このように、状態特定部２４Ｆは、操作情報の履歴に基づき作業フェーズが切り替わるタイミングを特定し、特定したタイミングを参照して、作業の状態を特定する。例えば、状態特定部２４Ｆは、上述したタイミングｔ１とｔ２の間においては、作業の状態は「旋回中」であると特定できる。また、状態特定部２４Ｆは、特定結果を、映像送信装置１０Ｆに送信する。
【0127】
（ステップＳ１２－３Ｆ）
ステップＳ１２－３Ｆにおいて、予測部２８Ｆは、バックホウ９０の動作を予測する。例えば、予測部２８Ｆは、映像の解析結果を参照して、映像においてバケット９２３が動いた方向を取得する。また、予測部２８Ｆは、取得した動く方向に基づいて、これからバケット９２３が今後動く方向（予測方向）を予測する。また、例えば、予測部２８Ｆは、操作情報の履歴と、当該履歴に応じたバックホウ９０の部位（例えば、バケット９２３）の動き量とを紐づけた情報を参照して、バックホウ９０の動作を予測してもよい。また、例えば、予測部２８Ｆは、映像が表示された画面においてバックホウ９０の部位（例えば、バケット９２３）がどの程度のスピードおよび幅で動くかを特定することにより、バックホウ９０の動作を予測してもよい。
ステップＳ１２－３Ｆにおいて、予測部２８Ｆは、バックホウ９０の動作を予測する。例えば、予測部２８Ｆは、映像の解析結果を参照して、映像においてバケット９２３が動いた方向を取得する。また、予測部２８Ｆは、取得した動く方向に基づいて、これからバケット９２３が今後動く方向（予測方向）を予測する。また、例えば、予測部２８Ｆは、操作情報の履歴と、当該履歴に応じたバックホウ９０の部位（例えば、バケット９２３）の動き量とを紐づけた情報を参照して、バックホウ９０の動作を予測してもよい。また、例えば、予測部２８Ｆは、映像が表示された画面においてバックホウ９０の部位（例えば、バケット９２３）がどの程度のスピードおよび幅で動くかを特定することにより、バックホウ９０の動作を予測してもよい。
【0128】
（ステップＳ１３Ｆ）
ステップＳ１３Ｆにおいて、領域特定部２５Ｆは、状態特定部２４Ｆによる特定結果（作業の状態）と、予測部２８Ｆによる予測結果（予測方向）とを参照して、ステップＳ１１Ｆで取得した映像における対象領域を特定する。一例として、領域特定部２５Ｆは、作業の状態に応じた対象領域を、予測方向に向けて広げてもよい。例えば、作業の状態が「掘削中」であり、予測方向が映像において「上方向」である場合、図１０に示す映像Ｇ１ｂにおける対象領域Ｒ１ｂを、上方向に向けてバケット９２３の領域サイズ分だけ広げた領域を、対象領域としてもよい。また、領域特定部２５Ｆは、作業の状態に応じた対象領域を、予測方向に基づき移動させてもよい。これにより、対象領域は、例えばバケット９２３に予測される動きに追従して移動する。
ステップＳ１３Ｆにおいて、領域特定部２５Ｆは、状態特定部２４Ｆによる特定結果（作業の状態）と、予測部２８Ｆによる予測結果（予測方向）とを参照して、ステップＳ１１Ｆで取得した映像における対象領域を特定する。一例として、領域特定部２５Ｆは、作業の状態に応じた対象領域を、予測方向に向けて広げてもよい。例えば、作業の状態が「掘削中」であり、予測方向が映像において「上方向」である場合、図１０に示す映像Ｇ１ｂにおける対象領域Ｒ１ｂを、上方向に向けてバケット９２３の領域サイズ分だけ広げた領域を、対象領域としてもよい。また、領域特定部２５Ｆは、作業の状態に応じた対象領域を、予測方向に基づき移動させてもよい。これにより、対象領域は、例えばバケット９２３に予測される動きに追従して移動する。
【0129】
なお、本例示的実施形態において、状態特定部２４Ｆは、１人のオペレータＵの操作情報の履歴に限らず、複数のオペレータによる操作情報の履歴を集約したデータベースを参照して、作業の状態を特定してもよい。複数のオペレータとは、例えば、１つのバックホウ９０を異なる時期に遠隔操作するオペレータであってもよいし、複数のバックホウ９０をそれぞれ遠隔操作するオペレータであってもよい。また、状態特定部２４Ｆは、操作情報の履歴を入力として作業の状態を出力する推定モデルを用いて、作業の状態を特定してもよい。また、そのような推定モデルは、そのような複数のオペレータＵによる操作情報の履歴を教師データとして機械学習により生成されたものであってもよい。
【0130】
＜本例示的実施形態の効果＞
本例示的実施形態は、例示的実施形態１と同様の効果を奏することに加えて、次の効果を奏する。
本例示的実施形態は、例示的実施形態１と同様の効果を奏することに加えて、次の効果を奏する。
【0131】
本例示的実施形態では、状態特定部２４Ｆは、バックホウ９０による作業フェーズを示す情報を少なくとも参照して、作業の状態を特定する、との構成が採用されている。例えば、複数の作業フェーズが順に行われることが想定される場合に、状態特定部２４Ｆは、作業フェーズが切り替わるタイミングを特定することにより、作業の状態を精度よく特定することができる。
【0132】
また、本例示的実施形態では、状態特定部２４Ｆは、オペレータＵによる操作情報の履歴に基づいて、作業フェーズの切り替わりを判断し、判断結果に基づいて作業の状態を特定する。映像の解析結果を参照する処理を行う場合と比べて、操作情報の履歴を参照する処理は負荷が軽い場合が多い。したがって、作業の状態を特定する処理の負荷を軽減することができる。
【0133】
また、本例示的実施形態では、予測部２８Ｆは、バックホウ９０（バケット９２３）の動作を予測し、領域特定部２５Ｆは、状態特定部２４Ｆによる特定結果（作業の状態）と、予測部２８Ｆによる予測結果とを参照して対象領域を特定する、との構成が採用されている。この構成により、作業の状態に加えて、バックホウ９０について予測される動きを考慮するので、バックホウ９０がこれから行う作業に応じてオペレータＵがこれから注目する領域に適合するよう、対象領域をより精度よく決定することができる。
【0134】
〔変形例１〕
なお、上述した各例示的実施形態は、以下のように変形できる。各例示的実施形態において、取得部１１（１１Ｄ、１１Ｅ、１１Ｆ）は、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）が用いる伝送経路における通信状況を示す通信状況情報を更に取得してもよい。この場合、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）は、取得された通信状況情報を参照して、対象領域と対象領域の外部との相対的な画質を特定する。例えば、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）は、相対的な画質として、対象領域と対象領域の外部との画質に差がないことを特定してもよい。この場合、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）は、取得部１１（１１Ｄ、１１Ｅ、１１Ｆ）が取得した映像をそのまま送信する。また、例えば、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）は、相対的な画質として、対象領域の画質が、対象領域の外部に比べて高画質になることを特定してもよい。相対的な画質は、例えば、画像の対象領域およびその外部のそれぞれに対する調整パラメータによって表される。この場合、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）は、調整後映像を送信する。換言すると、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）は、通信状況情報を参照して、取得部１１（１１Ｄ、１１Ｅ、１１Ｆ）が取得した映像をそのまま送信するのか、調整後映像を送信するのか、を切り替えてもよい。
なお、上述した各例示的実施形態は、以下のように変形できる。各例示的実施形態において、取得部１１（１１Ｄ、１１Ｅ、１１Ｆ）は、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）が用いる伝送経路における通信状況を示す通信状況情報を更に取得してもよい。この場合、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）は、取得された通信状況情報を参照して、対象領域と対象領域の外部との相対的な画質を特定する。例えば、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）は、相対的な画質として、対象領域と対象領域の外部との画質に差がないことを特定してもよい。この場合、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）は、取得部１１（１１Ｄ、１１Ｅ、１１Ｆ）が取得した映像をそのまま送信する。また、例えば、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）は、相対的な画質として、対象領域の画質が、対象領域の外部に比べて高画質になることを特定してもよい。相対的な画質は、例えば、画像の対象領域およびその外部のそれぞれに対する調整パラメータによって表される。この場合、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）は、調整後映像を送信する。換言すると、送信部１４（１４Ｄ、１４Ｅ、１４Ｆ）は、通信状況情報を参照して、取得部１１（１１Ｄ、１１Ｅ、１１Ｆ）が取得した映像をそのまま送信するのか、調整後映像を送信するのか、を切り替えてもよい。
【0135】
また、この場合、通信状況情報には、今後の通信状況を予測した情報が含まれていてもよい。また、この場合、通信状況情報には、これまでの通信状況の履歴が含まれていてもよい。
【0136】
このように変形することにより、各例示的実施形態は、通信状況が所定の品質を下回る場合には調整後映像により対象領域内を鮮明に提示しつつも、通信状況が所定の品質を上回る場合には、調整されていない映像全体を明瞭にオペレータＵに提示することができる。その結果、オペレータの操作性がさらに向上する。
【0137】
〔変形例２〕
また、上述した各例示的実施形態において、領域特定部１３（１３Ｄ、１３Ｅ、１３Ｆ）は、通信品質に応じて対象領域の大きさを変動させてもよい。例えば、領域特定部１３（１３Ｄ、１３Ｅ、１３Ｆ）は、通信品質が悪くなるほど、対象領域の大きさを小さくしてもよい。また、領域特定部１３（１３Ｄ、１３Ｅ、１３Ｆ）は、通信品質に応じて対象領域の内外の画質を変動させてもよい。例えば、領域特定部１３（１３Ｄ、１３Ｅ、１３Ｆ）は、通信品質が悪くなるほど、対象領域の外部の画質を低くしてもよい。
また、上述した各例示的実施形態において、領域特定部１３（１３Ｄ、１３Ｅ、１３Ｆ）は、通信品質に応じて対象領域の大きさを変動させてもよい。例えば、領域特定部１３（１３Ｄ、１３Ｅ、１３Ｆ）は、通信品質が悪くなるほど、対象領域の大きさを小さくしてもよい。また、領域特定部１３（１３Ｄ、１３Ｅ、１３Ｆ）は、通信品質に応じて対象領域の内外の画質を変動させてもよい。例えば、領域特定部１３（１３Ｄ、１３Ｅ、１３Ｆ）は、通信品質が悪くなるほど、対象領域の外部の画質を低くしてもよい。
【0138】
このように変形することにより、各例示的実施形態は、少なくとも対象領域を鮮明に表示するための調整後映像を、より安定的に送信することができる。
【0139】
〔変形例３〕
例示的実施形態４において、受付部２３Ｆは、オペレータＵの音声を含む操作情報を取得してもよい。この場合、状態特定部２４Ｆは、音声を含む操作情報の履歴を参照して、バックホウ９０による作業の状態を特定する。
例示的実施形態４において、受付部２３Ｆは、オペレータＵの音声を含む操作情報を取得してもよい。この場合、状態特定部２４Ｆは、音声を含む操作情報の履歴を参照して、バックホウ９０による作業の状態を特定する。
【0140】
〔変形例４〕
上述した例示的実施形態２～４は、作業機械にバックホウ９０を適用する例を中心に説明した。ただし、各例示的実施形態は、作業機械にバックホウ９０以外の装置を適用しても、同様の効果を奏する。例えば、作業機械には、その他の建設機械を適用してもよい。その他の建設機械の具体例としては、クレーン、フォークリフト、ローラ、またはブルドーザ等が挙げられる。ただし、建設機械の具体例はこれに限られない。また、作業機械には、無人搬送車（ＡＧＶ：Automatic Guided Vehicle）を適用してもよい。
上述した例示的実施形態２～４は、作業機械にバックホウ９０を適用する例を中心に説明した。ただし、各例示的実施形態は、作業機械にバックホウ９０以外の装置を適用しても、同様の効果を奏する。例えば、作業機械には、その他の建設機械を適用してもよい。その他の建設機械の具体例としては、クレーン、フォークリフト、ローラ、またはブルドーザ等が挙げられる。ただし、建設機械の具体例はこれに限られない。また、作業機械には、無人搬送車（ＡＧＶ：Automatic Guided Vehicle）を適用してもよい。
【0141】
また、例示的実施形態２～４において、オペレータＵは、必ずしも人である必要はない。例えば、オペレータＵは、作業機械を操作するＡＩ（Artificial Intelligence）機能を有するコンピュータ、ロボット等であってもよいが、これらに限られない。また、例示的実施形態２～４において、作業対象物は、土砂ＯＢＪに限られない。例えば、土、砂、土砂、雪、穀物、セメント等であってもよく、粒状、又は不定形の固形物又は液体であってもよい。例えば、作業機械がクレーンであれば、作業対象物には、クレーンに玉掛けされた荷物が適用される。
【0142】
〔変形例５〕
上述した例示的実施形態２～４は、他の作業機械にダンプトラック８０を適用する例を中心に説明した。ただし、他の作業機械には、他のバックホウ、ローラ、クレーン等を適用してもよい。
上述した例示的実施形態２～４は、他の作業機械にダンプトラック８０を適用する例を中心に説明した。ただし、他の作業機械には、他のバックホウ、ローラ、クレーン等を適用してもよい。
【0143】
〔変形例６〕
また、上述した例示的実施形態２～４は、複数のバックホウ９０にそれぞれ紐づけられた映像送信装置１０Ｄ、１０Ｅ、１０Ｆ、および遠隔制御装置２０Ｄ、２０Ｅ、および２０Ｆを含んでいてもよい。この場合、各遠隔制御装置２０Ｄ、２０Ｅ、および２０Ｆは、自装置に紐づけられたバックホウ９０に遠隔制御信号を送信する。また、各映像送信装置１０Ｄ、１０Ｅ、１０Ｆは、自装置に紐づけられたバックホウ９０に関する映像を、該当する遠隔制御装置２０Ｄ、２０Ｅ、および２０Ｆに送信する。この場合、複数のバックホウ９０のうち一部のバックホウ９０に紐づけられた映像送信装置１０Ｄ、１０Ｅ、１０Ｆは、調整後映像を送信してもよい。また、それ以外の映像送信装置１０Ｄ、１０Ｅ、１０Ｆは、調整後映像を生成せずに映像をそのまま送信してもよい。例えば、サーバ（図示せず）が、複数のバックホウ９０のうち、調整後映像を送信するバックホウ９０を決定してもよい。このような決定は、各バックホウ９０の作業の状態の重要度に基づき行われてもよい。このように変形することにより、同じ作業エリアで複数のバックホウ９０が作業する場合に、複数のバックホウ９０のうちより重要度の高いバックホウ９０に関する映像を優先して操作性を保ちながら安定して送信することができる。
また、上述した例示的実施形態２～４は、複数のバックホウ９０にそれぞれ紐づけられた映像送信装置１０Ｄ、１０Ｅ、１０Ｆ、および遠隔制御装置２０Ｄ、２０Ｅ、および２０Ｆを含んでいてもよい。この場合、各遠隔制御装置２０Ｄ、２０Ｅ、および２０Ｆは、自装置に紐づけられたバックホウ９０に遠隔制御信号を送信する。また、各映像送信装置１０Ｄ、１０Ｅ、１０Ｆは、自装置に紐づけられたバックホウ９０に関する映像を、該当する遠隔制御装置２０Ｄ、２０Ｅ、および２０Ｆに送信する。この場合、複数のバックホウ９０のうち一部のバックホウ９０に紐づけられた映像送信装置１０Ｄ、１０Ｅ、１０Ｆは、調整後映像を送信してもよい。また、それ以外の映像送信装置１０Ｄ、１０Ｅ、１０Ｆは、調整後映像を生成せずに映像をそのまま送信してもよい。例えば、サーバ（図示せず）が、複数のバックホウ９０のうち、調整後映像を送信するバックホウ９０を決定してもよい。このような決定は、各バックホウ９０の作業の状態の重要度に基づき行われてもよい。このように変形することにより、同じ作業エリアで複数のバックホウ９０が作業する場合に、複数のバックホウ９０のうちより重要度の高いバックホウ９０に関する映像を優先して操作性を保ちながら安定して送信することができる。
【0144】
〔変形例７〕
上述した例示的実施形態４において、状態特定部２４Ｆは、必要に応じてさらに映像の解析結果を参照して作業の状態を特定してもよい。ここで、操作情報の履歴を参照する処理は、映像の解析処理よりも負荷が軽いと考えられる。例えば、状態特定部２４Ｆは、操作情報の履歴を参照して作業の状態を特定できなかった場合に、映像の解析結果を参照して作業の状態を特定してもよい。映像の解析結果を参照して作業の状態を特定する処理については、例示的実施形態２、３で説明した通りである。このように変形することにより、作業の状態を特定する処理の負荷を軽減しながら、特定した作業の状態の信頼度を向上させることができる。
上述した例示的実施形態４において、状態特定部２４Ｆは、必要に応じてさらに映像の解析結果を参照して作業の状態を特定してもよい。ここで、操作情報の履歴を参照する処理は、映像の解析処理よりも負荷が軽いと考えられる。例えば、状態特定部２４Ｆは、操作情報の履歴を参照して作業の状態を特定できなかった場合に、映像の解析結果を参照して作業の状態を特定してもよい。映像の解析結果を参照して作業の状態を特定する処理については、例示的実施形態２、３で説明した通りである。このように変形することにより、作業の状態を特定する処理の負荷を軽減しながら、特定した作業の状態の信頼度を向上させることができる。
【0145】
〔変形例８〕
上述した例示的実施形態２～４において、各機能ブロックは、映像送信装置１０Ｄ、１０Ｅ、１０Ｆに配置されてもよいし、遠隔制御装置２０Ｄ、２０Ｅ、２０Ｆに配置されてもよい。
上述した例示的実施形態２～４において、各機能ブロックは、映像送信装置１０Ｄ、１０Ｅ、１０Ｆに配置されてもよいし、遠隔制御装置２０Ｄ、２０Ｅ、２０Ｆに配置されてもよい。
【0146】
例えば、例示的実施形態２において、状態特定部１２Ｄおよび領域特定部１３Ｄの一方または両方は、映像送信装置１０Ｄに配置されてもよいし、遠隔制御装置２０Ｄに配置されてもよい。ただし、領域特定部１３Ｄは、状態特定部１２Ｄによる特定結果を、ネットワークＮＷ１を介さずに参照できることが望ましい。したがって、状態特定部１２Ｄおよび領域特定部１３Ｄは、両方が映像送信装置１０Ｄに配置されるか、または、両方が遠隔制御装置２０Ｄに配置されることが望ましい。
【0147】
また、例えば、例示的実施形態３において、状態特定部２４Ｅ、領域特定部２５Ｅ、物体認識部２６Ｅおよびベクトル判定部２７Ｅの一部または全部は、映像送信装置１０Ｅに配置されてもよいし、遠隔制御装置２０Ｅに配置されてもよい。ただし、状態特定部２４Ｅは、物体認識部２６Ｅによる認識結果を、ネットワークＮＷ１を介さずに参照できることが望ましい。また、領域特定部２５Ｅは、状態特定部２４Ｅによる特定結果およびベクトル判定部２７Ｅによる判定結果を、ネットワークＮＷ１を介さずに参照できることが望ましい。したがって、これらの機能ブロック２４Ｅ、２５Ｅ、２６Ｅ、および２７Ｅは、全部が映像送信装置１０Ｅに配置されるか、または、全部が遠隔制御装置２０Ｅに配置されることが望ましい。
【0148】
また、例えば、例示的実施形態４において、状態特定部２４Ｆ、領域特定部２５Ｆ、および予測部２８Ｆの一部または全部は、映像送信装置１０Ｆに配置されてもよいし、遠隔制御装置２０Ｆに配置されてもよい。ただし、領域特定部２５Ｆは、状態特定部２４Ｆによる特定結果および予測部２８Ｆによる予測結果を、ネットワークＮＷ１を介さずに参照できることが望ましい。したがって、これらの機能ブロック２４Ｆ、２５Ｆ、および２８Ｆの全部が映像送信装置１０Ｆに配置されるか、または、全部が遠隔制御装置２０Ｆに配置されることが望ましい。さらに、状態特定部２４Ｆは、受付部２３Ｆが受け付けた操作情報の履歴を、ネットワークＮＷ１を介さずに参照できることが望ましい。この場合、これらの機能ブロック２４Ｆ、２５Ｆ、および２８Ｆの全部は、遠隔制御装置２０Ｆに配置されることが望ましい。
【0149】
〔変形例９〕
また、各例示的実施形態が実行する映像送信方法Ｓ１、Ｓ１Ｄ、Ｓ１Ｅ、Ｓ１Ｆにおいて、当該方法に含まれるステップを実行する順序は、上述した順序に限定されない。また、当該方法に含まれる複数のステップが並行して実施されてもよい。また、各例示的実施形態は、組み合わせて実施されてもよい。また、各例示的実施形態に含まれる各機能ブロックは、１つの装置に集約されることに限定されず、複数の装置に分散して配置されてもよい。また、各例示的実施形態に含まれる各機能ブロックは、クラウドに配置されてもよい。これらの各機能ブロックがどのような装置またはクラウドに配置される場合であっても、これらの機能ブロック間で必要に応じて情報を送受信することにより、各機能ブロックの上述した機能が実現できればよい。
また、各例示的実施形態が実行する映像送信方法Ｓ１、Ｓ１Ｄ、Ｓ１Ｅ、Ｓ１Ｆにおいて、当該方法に含まれるステップを実行する順序は、上述した順序に限定されない。また、当該方法に含まれる複数のステップが並行して実施されてもよい。また、各例示的実施形態は、組み合わせて実施されてもよい。また、各例示的実施形態に含まれる各機能ブロックは、１つの装置に集約されることに限定されず、複数の装置に分散して配置されてもよい。また、各例示的実施形態に含まれる各機能ブロックは、クラウドに配置されてもよい。これらの各機能ブロックがどのような装置またはクラウドに配置される場合であっても、これらの機能ブロック間で必要に応じて情報を送受信することにより、各機能ブロックの上述した機能が実現できればよい。
【0150】
〔ソフトウェアによる実現例〕
映像送信装置１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
映像送信装置１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0151】
後者の場合、映像送信装置１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図２０に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを映像送信装置１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、映像送信装置１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆの各機能が実現される。
【0152】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0153】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0154】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0155】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0156】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0157】
（付記１）
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得手段と、
前記作業機械による作業対象物を対象とする作業の状態を特定する状態特定手段と、
前記状態特定手段による特定結果に応じて、前記映像において対象領域を特定する領域特定手段と、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する送信手段と、
を含む映像送信システム。
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得手段と、
前記作業機械による作業対象物を対象とする作業の状態を特定する状態特定手段と、
前記状態特定手段による特定結果に応じて、前記映像において対象領域を特定する領域特定手段と、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する送信手段と、
を含む映像送信システム。
【0158】
上記構成により、作業機械を遠隔操作する際の操作性を保ちながら、通信品質が変動する環境下でも作業機械周辺の映像を安定して送信することができる。
【0159】
（付記２）
前記状態特定手段が特定する前記作業の状態には、
前記作業機械が備える作業部位の状態が含まれる
付記１に記載の映像送信システム。
前記状態特定手段が特定する前記作業の状態には、
前記作業機械が備える作業部位の状態が含まれる
付記１に記載の映像送信システム。
【0160】
上記の構成により、作業部位の状態に応じて対象領域をより精度よく判断することができる。
【0161】
（付記３）
前記作業部位の状態には、
前記作業部位の位置、動き、および前記作業部位における前記作業対象物の有無の少なくとも何れかが含まれる
付記２に記載の映像送信システム。
前記作業部位の状態には、
前記作業部位の位置、動き、および前記作業部位における前記作業対象物の有無の少なくとも何れかが含まれる
付記２に記載の映像送信システム。
【0162】
上記の構成により、作業部位の位置、動き、および前記作業部位における作業対象物の有無の少なくとも何れかに応じて対象領域をさらに精度よく判断することができる。
【0163】
（付記４）
前記状態特定手段は、
前記映像の解析結果を少なくとも参照して、前記作業の状態を特定する
付記１から３の何れか１つに記載の映像送信システム。
前記状態特定手段は、
前記映像の解析結果を少なくとも参照して、前記作業の状態を特定する
付記１から３の何れか１つに記載の映像送信システム。
【0164】
上記の構成により、映像から得られる情報をもとに作業の状態をより精度よく判断することができる。
【0165】
（付記５）
前記状態特定手段は、
前記作業機械による作業フェーズを示す情報を少なくとも参照して、前記作業の状態を特定する
付記１から４の何れか１項に記載の映像送信システム。
前記状態特定手段は、
前記作業機械による作業フェーズを示す情報を少なくとも参照して、前記作業の状態を特定する
付記１から４の何れか１項に記載の映像送信システム。
【0166】
上記の構成により、作業フェーズを示す情報をもとに作業の状態をより精度よく判断することができる。
【0167】
（付記６）
前記作業機械の動作を予測する予測手段を更に備え、
前記領域特定手段は、前記予測手段による予測結果を更に参照して、前記対象領域を特定する
付記１から５の何れか１項に記載の映像送信システム。
前記作業機械の動作を予測する予測手段を更に備え、
前記領域特定手段は、前記予測手段による予測結果を更に参照して、前記対象領域を特定する
付記１から５の何れか１項に記載の映像送信システム。
【0168】
上記の構成により、作業機械に予測される動作に応じてオペレータがこれから注目する領域に適合するよう、対象領域を特定することができる。
【0169】
（付記７）
前記状態特定手段が特定する前記作業の状態には、
前記作業機械の周辺に位置する他の作業機械の状態が含まれる
付記１から６の何れか１項に記載の映像送信システム。
前記状態特定手段が特定する前記作業の状態には、
前記作業機械の周辺に位置する他の作業機械の状態が含まれる
付記１から６の何れか１項に記載の映像送信システム。
【0170】
上記の構成により、他の作業機械の状態に応じて対象領域をさらに精度よく判断することができる。
【0171】
（付記８）
前記取得手段は、前記送信手段が用いる伝送経路における通信状況を示す通信状況情報を更に取得し、
前記送信手段は、前記通信状況情報を参照して、前記対象領域と前記対象領域の外部との相対的な画質を特定する
付記１から７の何れか１項に記載の映像送信システム。
前記取得手段は、前記送信手段が用いる伝送経路における通信状況を示す通信状況情報を更に取得し、
前記送信手段は、前記通信状況情報を参照して、前記対象領域と前記対象領域の外部との相対的な画質を特定する
付記１から７の何れか１項に記載の映像送信システム。
【0172】
上記の構成により、送信先において、少なくとも対象領域を調整された画質で表示させるのか、映像全体を調整していない画質で表示させるのかを、通信状況に応じて柔軟に切り替えることができる。
【0173】
（付記９）
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得手段と、
前記作業機械による作業対象物を対象とする作業の状態を特定する状態特定手段と、
前記状態特定手段による特定結果に応じて、前記映像において対象領域を特定する領域特定手段と、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する送信手段と、
を含む映像送信装置。
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得手段と、
前記作業機械による作業対象物を対象とする作業の状態を特定する状態特定手段と、
前記状態特定手段による特定結果に応じて、前記映像において対象領域を特定する領域特定手段と、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する送信手段と、
を含む映像送信装置。
【0174】
上記の構成によれば、付記１と同様の効果を奏する。
【0175】
（付記１０）
前記状態特定手段が特定する前記作業の状態には、
前記作業機械が備える作業部位の状態が含まれる
付記９に記載の映像送信装置。
前記状態特定手段が特定する前記作業の状態には、
前記作業機械が備える作業部位の状態が含まれる
付記９に記載の映像送信装置。
【0176】
上記の構成によれば、付記２と同様の効果を奏する。
【0177】
（付記１１）
前記作業部位の状態には、
前記作業部位の位置、動き、および前記作業部位における前記作業対象物の有無の少なくとも何れかが含まれる
付記１０に記載の映像送信装置。
前記作業部位の状態には、
前記作業部位の位置、動き、および前記作業部位における前記作業対象物の有無の少なくとも何れかが含まれる
付記１０に記載の映像送信装置。
【0178】
上記の構成によれば、付記３と同様の効果を奏する。
【0179】
（付記１２）
前記状態特定手段は、
前記映像の解析結果を少なくとも参照して、前記作業の状態を特定する
付記９から１１の何れか１つに記載の映像送信装置。
前記状態特定手段は、
前記映像の解析結果を少なくとも参照して、前記作業の状態を特定する
付記９から１１の何れか１つに記載の映像送信装置。
【0180】
上記の構成によれば、付記４と同様の効果を奏する。
【0181】
（付記１３）
前記状態特定手段は、
前記作業機械による作業フェーズを示す情報を少なくとも参照して、前記作業の状態を特定する
付記９から１２の何れか１項に記載の映像送信装置。
前記状態特定手段は、
前記作業機械による作業フェーズを示す情報を少なくとも参照して、前記作業の状態を特定する
付記９から１２の何れか１項に記載の映像送信装置。
【0182】
上記の構成によれば、付記５と同様の効果を奏する。
【0183】
（付記１４）
前記作業機械の動作を予測する予測手段を更に備え、
前記領域特定手段は、前記予測手段による予測結果を更に参照して、前記対象領域を特定する
付記９から１３の何れか１項に記載の映像送信装置。
前記作業機械の動作を予測する予測手段を更に備え、
前記領域特定手段は、前記予測手段による予測結果を更に参照して、前記対象領域を特定する
付記９から１３の何れか１項に記載の映像送信装置。
【0184】
上記の構成によれば、付記６と同様の効果を奏する。
【0185】
（付記１５）
前記状態特定手段が特定する前記作業の状態には、
前記作業機械の周辺に位置する他の作業機械の状態が含まれる
付記９から１４の何れか１項に記載の映像送信装置。
前記状態特定手段が特定する前記作業の状態には、
前記作業機械の周辺に位置する他の作業機械の状態が含まれる
付記９から１４の何れか１項に記載の映像送信装置。
【0186】
上記の構成によれば、付記７と同様の効果を奏する。
【0187】
（付記１６）
前記取得手段は、前記送信手段が用いる伝送経路における通信状況を示す通信状況情報を更に取得し、
前記送信手段は、前記通信状況情報を参照して、前記対象領域と前記対象領域の外部との相対的な画質を特定する
付記９から１５の何れか１項に記載の映像送信装置。
前記取得手段は、前記送信手段が用いる伝送経路における通信状況を示す通信状況情報を更に取得し、
前記送信手段は、前記通信状況情報を参照して、前記対象領域と前記対象領域の外部との相対的な画質を特定する
付記９から１５の何れか１項に記載の映像送信装置。
【0188】
上記の構成によれば、付記８と同様の効果を奏する。
【0189】
（付記１７）
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得することと、
前記作業機械による作業対象物を対象とする作業の状態を特定することと、
前記作業の状態の特定結果に応じて、前記映像において対象領域を特定することと、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信することと、
を含む映像送信方法。
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得することと、
前記作業機械による作業対象物を対象とする作業の状態を特定することと、
前記作業の状態の特定結果に応じて、前記映像において対象領域を特定することと、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信することと、
を含む映像送信方法。
【0190】
上記の構成によれば、付記１と同様の効果を奏する。
【0191】
（付記１８）
前記特定する作業の状態には、
前記作業機械が備える作業部位の状態が含まれる
付記１７に記載の映像送信方法。
前記特定する作業の状態には、
前記作業機械が備える作業部位の状態が含まれる
付記１７に記載の映像送信方法。
【0192】
上記の構成によれば、付記２と同様の効果を奏する。
【0193】
（付記１９）
前記作業部位の状態には、
前記作業部位の位置、動き、および前記作業部位における前記作業対象物の有無の少なくとも何れかが含まれる
付記１８に記載の映像送信方法。
前記作業部位の状態には、
前記作業部位の位置、動き、および前記作業部位における前記作業対象物の有無の少なくとも何れかが含まれる
付記１８に記載の映像送信方法。
【0194】
上記の構成によれば、付記３と同様の効果を奏する。
【0195】
（付記２０）
前記作業の状態を特定する際に、
前記映像の解析結果を少なくとも参照する
付記１７から１９の何れか１項に記載の映像送信方法。
前記作業の状態を特定する際に、
前記映像の解析結果を少なくとも参照する
付記１７から１９の何れか１項に記載の映像送信方法。
【0196】
上記の構成によれば、付記４と同様の効果を奏する。
【0197】
（付記２１）
前記作業の状態を特定する際に、
前記作業機械による作業フェーズを示す情報を少なくとも参照する
付記１７から２０の何れか１項に記載の映像送信方法。
前記作業の状態を特定する際に、
前記作業機械による作業フェーズを示す情報を少なくとも参照する
付記１７から２０の何れか１項に記載の映像送信方法。
【0198】
上記の構成によれば、付記５と同様の効果を奏する。
【0199】
（付記２２）
前記作業機械の動作を予測し、
前記対象領域を特定する際に、
前記作業機械の動作の予測結果を更に参照する
付記１７から２１の何れか１項に記載の映像送信方法。
前記作業機械の動作を予測し、
前記対象領域を特定する際に、
前記作業機械の動作の予測結果を更に参照する
付記１７から２１の何れか１項に記載の映像送信方法。
【0200】
上記の構成によれば、付記６と同様の効果を奏する。
【0201】
（付記２３）
前記特定する作業の状態には、
前記作業機械の周辺に位置する他の作業機械の状態が含まれる
付記１７から２２の何れか１項に記載の映像送信方法。
前記特定する作業の状態には、
前記作業機械の周辺に位置する他の作業機械の状態が含まれる
付記１７から２２の何れか１項に記載の映像送信方法。
【0202】
上記の構成によれば、付記７と同様の効果を奏する。
【0203】
（付記２４）
前記調整後映像を送信する伝送経路における通信状況を示す通信状況情報を更に取得し、
前記通信状況情報を参照して、前記対象領域と前記対象領域の外部との相対的な画質を特定する
付記１７から２３の何れか１項に記載の映像送信方法。
前記調整後映像を送信する伝送経路における通信状況を示す通信状況情報を更に取得し、
前記通信状況情報を参照して、前記対象領域と前記対象領域の外部との相対的な画質を特定する
付記１７から２３の何れか１項に記載の映像送信方法。
【0204】
上記の構成によれば、付記８と同様の効果を奏する。
【0205】
（付記２５）
コンピュータを映像送信装置として機能させるためのプログラムであって、前記コンピュータを、
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得手段と、
前記作業機械による作業対象物を対象とする作業の状態を特定する状態特定手段と、
前記状態特定手段による特定結果に応じて、前記映像において対象領域を特定する領域特定手段と、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する送信手段と、
として機能させるプログラム。
コンピュータを映像送信装置として機能させるためのプログラムであって、前記コンピュータを、
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得手段と、
前記作業機械による作業対象物を対象とする作業の状態を特定する状態特定手段と、
前記状態特定手段による特定結果に応じて、前記映像において対象領域を特定する領域特定手段と、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する送信手段と、
として機能させるプログラム。
【0206】
上記の構成によれば、付記１と同様の効果を奏する。
【0207】
（付記２６）
前記状態特定手段が特定する前記作業の状態には、
前記作業機械が備える作業部位の状態が含まれる
付記２５に記載のプログラム。
前記状態特定手段が特定する前記作業の状態には、
前記作業機械が備える作業部位の状態が含まれる
付記２５に記載のプログラム。
【0208】
上記の構成によれば、付記２と同様の効果を奏する。
【0209】
（付記２７）
前記作業部位の状態には、
前記作業部位の位置、動き、および前記作業部位における前記作業対象物の有無の少なくとも何れかが含まれる
付記２６に記載の映像送信システム。
前記作業部位の状態には、
前記作業部位の位置、動き、および前記作業部位における前記作業対象物の有無の少なくとも何れかが含まれる
付記２６に記載の映像送信システム。
【0210】
上記の構成によれば、付記３と同様の効果を奏する。
【0211】
（付記２８）
前記状態特定手段は、
前記映像の解析結果を少なくとも参照して、前記作業の状態を特定する
付記２５から２７の何れか１つに記載のプログラム。
前記状態特定手段は、
前記映像の解析結果を少なくとも参照して、前記作業の状態を特定する
付記２５から２７の何れか１つに記載のプログラム。
【0212】
上記の構成によれば、付記４と同様の効果を奏する。
【0213】
（付記２９）
前記状態特定手段は、
前記作業機械による作業フェーズを示す情報を少なくとも参照して、前記作業の状態を特定する
付記２５から２８の何れか１項に記載のプログラム。
前記状態特定手段は、
前記作業機械による作業フェーズを示す情報を少なくとも参照して、前記作業の状態を特定する
付記２５から２８の何れか１項に記載のプログラム。
【0214】
上記の構成によれば、付記５と同様の効果を奏する。
【0215】
（付記３０）
前記作業機械の動作を予測する予測手段を更に備え、
前記領域特定手段は、前記予測手段による予測結果を更に参照して、前記対象領域を特定する
付記２５から２９の何れか１項に記載のプログラム。
前記作業機械の動作を予測する予測手段を更に備え、
前記領域特定手段は、前記予測手段による予測結果を更に参照して、前記対象領域を特定する
付記２５から２９の何れか１項に記載のプログラム。
【0216】
上記の構成によれば、付記６と同様の効果を奏する。
【0217】
（付記３１）
前記状態特定手段が特定する前記作業の状態には、
前記作業機械の周辺に位置する他の作業機械の状態が含まれる
付記２５から３０の何れか１項に記載のプログラム。
前記状態特定手段が特定する前記作業の状態には、
前記作業機械の周辺に位置する他の作業機械の状態が含まれる
付記２５から３０の何れか１項に記載のプログラム。
【0218】
上記の構成によれば、付記７と同様の効果を奏する。
【0219】
（付記３２）
前記取得手段は、前記送信手段が用いる伝送経路における通信状況を示す通信状況情報を更に取得し、
前記送信手段は、前記通信状況情報を参照して、前記対象領域と前記対象領域の外部との相対的な画質を特定する
付記２５から３１の何れか１項に記載のプログラム。
前記取得手段は、前記送信手段が用いる伝送経路における通信状況を示す通信状況情報を更に取得し、
前記送信手段は、前記通信状況情報を参照して、前記対象領域と前記対象領域の外部との相対的な画質を特定する
付記２５から３１の何れか１項に記載のプログラム。
【0220】
上記の構成によれば、付記８と同様の効果を奏する。
【0221】
〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
【0222】
少なくとも１つのプロセッサを備え、前記プロセッサは、
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得処理と、
前記作業機械による作業対象物を対象とする作業の状態を特定する状態特定処理と、
前記状態特定処理による特定結果に応じて、前記映像において対象領域を特定する領域特定処理と、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する送信処理と、を実行する映像送信装置。
作業機械の少なくとも一部と当該作業機械の作業エリアの少なくとも一部とを画角に含む映像を取得する取得処理と、
前記作業機械による作業対象物を対象とする作業の状態を特定する状態特定処理と、
前記状態特定処理による特定結果に応じて、前記映像において対象領域を特定する領域特定処理と、
前記映像における前記対象領域と前記対象領域の外部との相対的な画質を調整することによって得られた調整後映像を送信する送信処理と、を実行する映像送信装置。
【0223】
なお、この映像送信装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記状態特定処理と、前記領域特定処理と、前記送信処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0224】
１、１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ、１Ｆ 映像送信システム
２Ｆ、１０Ｄ、１２、１２Ｄ、２４Ｅ、２４Ｆ 状態特定部
１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆ 映像送信装置
６０Ｃ 制御装置
１１、１１Ｄ、１１Ｅ、１１Ｆ 取得部
１２、１２Ｄ、２４Ｅ、２４Ｆ 状態特定部
１３、１３Ｄ、２５Ｅ、２５Ｆ 領域特定部
１４、１４Ｄ、１４Ｅ、１４Ｆ 送信部
１５Ｄ、１５Ｅ、１５Ｆ 調整部
２６Ｅ 物体認識部
２７Ｅ ベクトル判定部
２８Ｆ 予測部
２０、２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ、２０Ｆ 遠隔制御装置
２１Ｄ、２１Ｅ、２１Ｆ 復号部
２２Ｄ、２２Ｅ、２２Ｆ 表示部
２３Ｄ、２３Ｅ、２３Ｆ 受付部
２Ｆ、１０Ｄ、１２、１２Ｄ、２４Ｅ、２４Ｆ 状態特定部
１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆ 映像送信装置
６０Ｃ 制御装置
１１、１１Ｄ、１１Ｅ、１１Ｆ 取得部
１２、１２Ｄ、２４Ｅ、２４Ｆ 状態特定部
１３、１３Ｄ、２５Ｅ、２５Ｆ 領域特定部
１４、１４Ｄ、１４Ｅ、１４Ｆ 送信部
１５Ｄ、１５Ｅ、１５Ｆ 調整部
２６Ｅ 物体認識部
２７Ｅ ベクトル判定部
２８Ｆ 予測部
２０、２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ、２０Ｆ 遠隔制御装置
２１Ｄ、２１Ｅ、２１Ｆ 復号部
２２Ｄ、２２Ｅ、２２Ｆ 表示部
２３Ｄ、２３Ｅ、２３Ｆ 受付部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】