ホーム > 特許ランキング > ダイキン工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ ダイキン工業株式会社の特許一覧 ▶ フェアリーデバイセズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022100003
(43)【公開日】2022-07-05
(54)【発明の名称】作業者端末、動画像処理方法及び動画像処理プログラム
(51)【国際特許分類】
H04N 21/2343 20110101AFI20220628BHJP
H04N 21/2662 20110101ALI20220628BHJP
H04N 7/18 20060101ALI20220628BHJP
H04N 5/232 20060101ALI20220628BHJP
G06F 13/00 20060101ALI20220628BHJP
G05B 19/418 20060101ALI20220628BHJP
【ＦＩ】
H04N21/2343
H04N21/2662
H04N7/18 A
H04N7/18 K
H04N5/232 290
H04N5/232 300
G06F13/00 520B
G05B19/418 Z
【審査請求】有
【請求項の数】22
【出願形態】ＯＬ
(21)【出願番号】P 2020214111
(22)【出願日】2020-12-23
(11)【特許番号】
(45)【特許公報発行日】2022-05-27
(71)【出願人】
【識別番号】000002853
【氏名又は名称】ダイキン工業株式会社
(71)【出願人】
【識別番号】513190830
【氏名又は名称】Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】黒田 悠子
【テーマコード（参考）】
3C100
5B084
5C054
5C122
5C164
【Ｆターム（参考）】
3C100AA53
3C100AA59
3C100AA63
3C100BB13
3C100BB34
3C100CC02
3C100CC03
3C100CC16
5B084AA02
5B084AB07
5B084AB13
5B084BB04
5B084BB11
5B084CA07
5B084CB05
5B084CB12
5B084CB22
5B084CF12
5B084DB01
5B084DC05
5C054CA04
5C054CC02
5C054EA01
5C054EA03
5C054EG01
5C122DA03
5C122DA09
5C122DA12
5C122EA12
5C122EA55
5C122FH08
5C122FH10
5C122FH11
5C122FH14
5C122FJ01
5C122FJ03
5C122FK41
5C122GC52
5C122HA13
5C122HA35
5C122HA87
5C122HA89
5C122HB01
5C122HB05
5C122HB09
5C164FA07
5C164GA03
5C164PA32
5C164PA33
5C164SA25S
5C164SA32S
5C164SB02P
5C164SB21S
5C164SB41S
5C164SC03P
5C164YA21
(57)【要約】
【課題】 作業者端末を利用して動画像を伝送する際、画質を維持しつつ、通信量を削減する。
【解決手段】 作業者端末は、作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する支援装置と接続され、動画像を符号化して伝送する作業者端末であって、動画像を撮影するカメラと、前記カメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定部と、前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工部とを有する。
【選択図】図３
【解決手段】 作業者端末は、作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する支援装置と接続され、動画像を符号化して伝送する作業者端末であって、動画像を撮影するカメラと、前記カメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定部と、前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工部とを有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する支援装置と接続され、動画像を符号化して伝送する作業者端末であって、
動画像を撮影するカメラと、
前記カメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定部と、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工部と
を有する作業者端末。
動画像を撮影するカメラと、
前記カメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定部と、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工部と
を有する作業者端末。
【請求項2】
前記加工部は、
前記動画像を加工するための、複数のパラメータセットのうちの１のパラメータセットであって、対象領域と対象領域以外の領域とで異なるパラメータが規定されたパラメータセットを取得し、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、パラメータを切り替えて加工する、請求項１に記載の作業者端末。
前記動画像を加工するための、複数のパラメータセットのうちの１のパラメータセットであって、対象領域と対象領域以外の領域とで異なるパラメータが規定されたパラメータセットを取得し、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、パラメータを切り替えて加工する、請求項１に記載の作業者端末。
【請求項3】
前記認識処理において対象物を認識するのに用いられる情報を格納する格納部を更に有し、
前記特定部は、
前記認識処理において前記対象物を認識した場合に、前記対象物の領域を前記対象領域として特定する、請求項２に記載の作業者端末。
前記特定部は、
前記認識処理において前記対象物を認識した場合に、前記対象物の領域を前記対象領域として特定する、請求項２に記載の作業者端末。
【請求項4】
前記格納部は、
前記認識処理において前記対象物を認識するのに用いられる情報と対応付けて、対象物の周辺領域を指定する物理量を格納し、
前記特定部は、
前記認識処理において前記対象物を認識した場合に、前記対象物と前記対象物の周辺領域とを含む領域を、前記対象領域として特定する、請求項３に記載の作業者端末。
前記認識処理において前記対象物を認識するのに用いられる情報と対応付けて、対象物の周辺領域を指定する物理量を格納し、
前記特定部は、
前記認識処理において前記対象物を認識した場合に、前記対象物と前記対象物の周辺領域とを含む領域を、前記対象領域として特定する、請求項３に記載の作業者端末。
【請求項5】
前記加工部は、
対象領域以外の領域の伝送時の単位面積当たりのデータ量が、対象領域の伝送時の単位面積当たりのデータ量よりも小さくなるように、前記動画像を加工する、請求項１乃至４のいずれか１項に記載の作業者端末。
対象領域以外の領域の伝送時の単位面積当たりのデータ量が、対象領域の伝送時の単位面積当たりのデータ量よりも小さくなるように、前記動画像を加工する、請求項１乃至４のいずれか１項に記載の作業者端末。
【請求項6】
撮影モードを取得する撮影モード取得部を更に有し、
前記加工部は、
前記撮影モードに基づいて前記１のパラメータセットを取得する請求項２に記載の作業者端末。
前記加工部は、
前記撮影モードに基づいて前記１のパラメータセットを取得する請求項２に記載の作業者端末。
【請求項7】
前記加工部は、
作業内容、通信時間上限値、割り当て通信量のうちの、少なくとも１つ以上に基づいて、前記１のパラメータセットを取得する、請求項６に記載の作業者端末。
作業内容、通信時間上限値、割り当て通信量のうちの、少なくとも１つ以上に基づいて、前記１のパラメータセットを取得する、請求項６に記載の作業者端末。
【請求項8】
前記特定部は、更に、
前記動画像について、作業内容の種類を示すシーンを特定し、
前記加工部は、更に、
前記１のパラメータセットであって、シーンごとに異なるパラメータが規定されたパラメータセットを取得し、
前記動画像を、特定したシーンごとにパラメータを切り替えて加工する、請求項７に記載の作業者端末。
前記動画像について、作業内容の種類を示すシーンを特定し、
前記加工部は、更に、
前記１のパラメータセットであって、シーンごとに異なるパラメータが規定されたパラメータセットを取得し、
前記動画像を、特定したシーンごとにパラメータを切り替えて加工する、請求項７に記載の作業者端末。
【請求項9】
前記特定部は、
前記動画像に基づいて各シーンを特定するために、シーンごとに予め定められた条件を参照することにより、または、各シーンを特定するための入力情報を受け付けることにより、前記動画像について、シーンを特定する、請求項８に記載の作業者端末。
前記動画像に基づいて各シーンを特定するために、シーンごとに予め定められた条件を参照することにより、または、各シーンを特定するための入力情報を受け付けることにより、前記動画像について、シーンを特定する、請求項８に記載の作業者端末。
【請求項10】
前記特定部は、
シーンごとに予め定められた画像情報を参照し、前記動画像にいずれかの画像情報が含まれるか否かを判定することで、前記動画像について、シーンを特定する、請求項９に記載の作業者端末。
シーンごとに予め定められた画像情報を参照し、前記動画像にいずれかの画像情報が含まれるか否かを判定することで、前記動画像について、シーンを特定する、請求項９に記載の作業者端末。
【請求項11】
前記特定部は、
受け付けた前記入力情報が、予め定められたシーン情報のいずれに該当するかを判定することで、前記動画像について、シーンを特定する、請求項９に記載の作業者端末。
受け付けた前記入力情報が、予め定められたシーン情報のいずれに該当するかを判定することで、前記動画像について、シーンを特定する、請求項９に記載の作業者端末。
【請求項12】
前記対象領域以外の領域には、
前記動画像において対象領域が特定されたフレームの、前記対象領域以外の領域、及び、
前記動画像において対象領域が特定されなかったフレームの、全体の領域、
の少なくともいずれかが含まれる、請求項１に記載の作業者端末。
前記動画像において対象領域が特定されたフレームの、前記対象領域以外の領域、及び、
前記動画像において対象領域が特定されなかったフレームの、全体の領域、
の少なくともいずれかが含まれる、請求項１に記載の作業者端末。
【請求項13】
前記加工部は、
前記対象領域が特定されたフレームから対象領域を抽出することで、前記動画像を加工し、あるいは、
前記対象領域が特定されたフレームのうち、対象領域以外の領域の解像度を、対象領域の解像度より下げることで、前記動画像を加工し、あるいは、
前記対象領域が特定されたフレームから対象領域を抽出し、対象領域以外の領域が所定の静止画像と結合することで、前記動画像を加工し、あるいは、
前記対象領域が特定されたフレームのうち、対象領域以外の領域の量子化値を、対象領域の量子化値よりも下げて符号化することで、前記動画像を加工する、
請求項１２に記載の作業者端末。
前記対象領域が特定されたフレームから対象領域を抽出することで、前記動画像を加工し、あるいは、
前記対象領域が特定されたフレームのうち、対象領域以外の領域の解像度を、対象領域の解像度より下げることで、前記動画像を加工し、あるいは、
前記対象領域が特定されたフレームから対象領域を抽出し、対象領域以外の領域が所定の静止画像と結合することで、前記動画像を加工し、あるいは、
前記対象領域が特定されたフレームのうち、対象領域以外の領域の量子化値を、対象領域の量子化値よりも下げて符号化することで、前記動画像を加工する、
請求項１２に記載の作業者端末。
【請求項14】
前記加工部は、
前記対象領域が特定されなかったフレームを間引くことで、前記動画像を加工し、あるいは、
前記対象領域が特定されなかったフレームの解像度を、対象領域が特定されたフレームの対象領域の解像度より下げることで、前記動画像を加工し、あるいは、
前記対象領域が特定されなかったフレームを所定の静止画像に置き換えることで、前記動画像を加工し、あるいは、
前記対象領域が特定されなかったフレームの量子化値を、対象領域が特定されたフレームの対象領域の量子化値よりも下げて符号化することで、前記動画像を加工する、
請求項１２に記載の作業者端末。
前記対象領域が特定されなかったフレームを間引くことで、前記動画像を加工し、あるいは、
前記対象領域が特定されなかったフレームの解像度を、対象領域が特定されたフレームの対象領域の解像度より下げることで、前記動画像を加工し、あるいは、
前記対象領域が特定されなかったフレームを所定の静止画像に置き換えることで、前記動画像を加工し、あるいは、
前記対象領域が特定されなかったフレームの量子化値を、対象領域が特定されたフレームの対象領域の量子化値よりも下げて符号化することで、前記動画像を加工する、
請求項１２に記載の作業者端末。
【請求項15】
前記加工部は、
前記動画像を、特定したシーンごとにフレームレートを変えることで加工し、あるいは、
前記動画像を、特定したシーンごとにキーフレーム間隔を変えて符号化することで加工する、
請求項８に記載の作業者端末。
前記動画像を、特定したシーンごとにフレームレートを変えることで加工し、あるいは、
前記動画像を、特定したシーンごとにキーフレーム間隔を変えて符号化することで加工する、
請求項８に記載の作業者端末。
【請求項16】
前記撮影モード取得部は、
ネットワークを介して受信することにより、あるいは、作業者による入力を受け付けることにより、前記撮影モードを取得する、請求項６に記載の作業者端末。
ネットワークを介して受信することにより、あるいは、作業者による入力を受け付けることにより、前記撮影モードを取得する、請求項６に記載の作業者端末。
【請求項17】
前記加工部は、
ネットワークを介して受信することにより、あるいは、作業者による選択を受け付けて、予め格納された複数のパラメータセットから抽出することにより、前記１のパラメータセットを取得する、請求項２に記載の作業者端末。
ネットワークを介して受信することにより、あるいは、作業者による選択を受け付けて、予め格納された複数のパラメータセットから抽出することにより、前記１のパラメータセットを取得する、請求項２に記載の作業者端末。
【請求項18】
前記通信時間上限値、または、前記割り当て通信量に基づいて、通信時間または通信量を監視する監視部を更に有し、
前記監視部は、
通信時間が前記通信時間上限値を超えた場合、または、通信量が前記割り当て通信量を超えた場合に、警告を出力する、または、伝送を中断し、符号化した動画像を格納するよう制御する、請求項７に記載の作業者端末。
前記監視部は、
通信時間が前記通信時間上限値を超えた場合、または、通信量が前記割り当て通信量を超えた場合に、警告を出力する、または、伝送を中断し、符号化した動画像を格納するよう制御する、請求項７に記載の作業者端末。
【請求項19】
通信時間が前記通信時間上限値を超えた場合、または、通信量が前記割り当て通信量を超えた場合に、前記複数のパラメータセットを変更する変更部を更に有する、請求項１８に記載の作業者端末。
【請求項20】
通信時間が前記通信時間上限値を超えた場合、または、通信量が前記割り当て通信量を超えた場合に、追加の通信時間または追加の通信量を予測する予測部を更に有する、請求項１８に記載の作業者端末。
【請求項21】
作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する支援装置と接続され、動画像を符号化して伝送する作業者端末における動画像処理方法であって、
動画像を撮影するカメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定工程と、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工工程と
を有する動画像処理方法。
動画像を撮影するカメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定工程と、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工工程と
を有する動画像処理方法。
【請求項22】
作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する支援装置と接続され、動画像を符号化して伝送する作業者端末のコンピュータに、
動画像を撮影するカメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定工程と、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工工程と
を実行させるための動画像処理プログラム。
動画像を撮影するカメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定工程と、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工工程と
を実行させるための動画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業者端末、動画像処理方法及び動画像処理プログラムに関する。
【背景技術】
【0002】
機器の据え付け、修理、点検、撤去等が行われる作業現場では、モバイル端末等の作業者端末を利用することで、作業効率の改善が進められている。例えば、作業者端末を利用して作業現場の様子を撮影し、遠隔にいる管理者に動画像を伝送することで、作業者は、遠隔からの適切な支援（例えば、音声指示）をリアルタイムに受けることが可能となり、効率的に作業を行うことができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－５３７６０号公報
【特許文献2】特開２０１８－１６０７９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、動画像の伝送には通信コストがかかる。このため、作業者端末を利用するにあたっては、伝送時の通信量を削減することが求められる。一方で、作業現場において遠隔から適切な支援を受けるには、伝送する動画像について、一定程度の画質を維持することが必要である。
【0005】
本開示は、作業者端末を利用して動画像を伝送する際、画質を維持しつつ、通信量を削減することを目的とする。
【課題を解決するための手段】
【0006】
本開示の第１の態様における作業者端末は、
作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する支援装置と接続され、動画像を符号化して伝送する作業者端末であって、
動画像を撮影するカメラと、
前記カメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定部と、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工部とを有する。
作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する支援装置と接続され、動画像を符号化して伝送する作業者端末であって、
動画像を撮影するカメラと、
前記カメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定部と、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工部とを有する。
【0007】
本開示の第１の態様によれば、作業者端末を利用して動画像を伝送する際、画質を維持しつつ、通信量を削減することができる。
【0008】
また、本開示の第２の態様は、第１の態様に記載の作業者端末であって、
前記加工部は、
前記動画像を加工するための、複数のパラメータセットのうちの１のパラメータセットであって、対象領域と対象領域以外の領域とで異なるパラメータが規定されたパラメータセットを取得し、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、パラメータを切り替えて加工する。
前記加工部は、
前記動画像を加工するための、複数のパラメータセットのうちの１のパラメータセットであって、対象領域と対象領域以外の領域とで異なるパラメータが規定されたパラメータセットを取得し、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、パラメータを切り替えて加工する。
【0009】
また、本開示の第３の態様は、第２の態様に記載の作業者端末であって、
前記認識処理において対象物を認識するのに用いられる情報を格納する格納部を更に有し、
前記特定部は、
前記認識処理において前記対象物を認識した場合に、前記対象物の領域を前記対象領域として特定する。
前記認識処理において対象物を認識するのに用いられる情報を格納する格納部を更に有し、
前記特定部は、
前記認識処理において前記対象物を認識した場合に、前記対象物の領域を前記対象領域として特定する。
【0010】
また、本開示の第４の態様は、第３の態様に記載の作業者端末であって、
前記格納部は、
前記認識処理において前記対象物を認識するのに用いられる情報と対応付けて、対象物の周辺領域を指定する物理量を格納し、
前記特定部は、
前記認識処理において前記対象物を認識した場合に、前記対象物と前記対象物の周辺領域とを含む領域を、前記対象領域として特定する。
前記格納部は、
前記認識処理において前記対象物を認識するのに用いられる情報と対応付けて、対象物の周辺領域を指定する物理量を格納し、
前記特定部は、
前記認識処理において前記対象物を認識した場合に、前記対象物と前記対象物の周辺領域とを含む領域を、前記対象領域として特定する。
【0011】
また、本開示の第５の態様は、第１乃至４のいずれかの態様に記載の作業者端末であって、
前記加工部は、
対象領域以外の領域の伝送時の単位面積当たりのデータ量が、対象領域の伝送時の単位面積当たりのデータ量よりも小さくなるように、前記動画像を加工する。
前記加工部は、
対象領域以外の領域の伝送時の単位面積当たりのデータ量が、対象領域の伝送時の単位面積当たりのデータ量よりも小さくなるように、前記動画像を加工する。
【0012】
また、本開示の第６の態様は、第２の態様に記載の作業者端末であって、
撮影モードを取得する撮影モード取得部を更に有し、
前記加工部は、
前記撮影モードに基づいて前記１のパラメータセットを取得する。
撮影モードを取得する撮影モード取得部を更に有し、
前記加工部は、
前記撮影モードに基づいて前記１のパラメータセットを取得する。
【0013】
また、本開示の第７の態様は、第６の態様に記載の作業者端末であって、
前記加工部は、
作業内容、通信時間上限値、割り当て通信量のうちの、少なくとも１つ以上に基づいて、前記１のパラメータセットを取得する。
前記加工部は、
作業内容、通信時間上限値、割り当て通信量のうちの、少なくとも１つ以上に基づいて、前記１のパラメータセットを取得する。
【0014】
また、本開示の第８の態様は、第７の態様に記載の作業者端末であって、
前記特定部は、更に、
前記動画像について、作業内容の種類を示すシーンを特定し、
前記加工部は、更に、
前記１のパラメータセットであって、シーンごとに異なるパラメータが規定されたパラメータセットを取得し、
前記動画像を、特定したシーンごとにパラメータを切り替えて加工する。
前記特定部は、更に、
前記動画像について、作業内容の種類を示すシーンを特定し、
前記加工部は、更に、
前記１のパラメータセットであって、シーンごとに異なるパラメータが規定されたパラメータセットを取得し、
前記動画像を、特定したシーンごとにパラメータを切り替えて加工する。
【0015】
また、本開示の第９の態様は、第８の態様に記載の作業者端末であって、
前記特定部は、
前記動画像に基づいて各シーンを特定するために、シーンごとに予め定められた条件を参照することにより、または、各シーンを特定するための入力情報を受け付けることにより、前記動画像について、シーンを特定する。
前記特定部は、
前記動画像に基づいて各シーンを特定するために、シーンごとに予め定められた条件を参照することにより、または、各シーンを特定するための入力情報を受け付けることにより、前記動画像について、シーンを特定する。
【0016】
また、本開示の第１０の態様は、第９の態様に記載の作業者端末であって、
前記特定部は、
シーンごとに予め定められた画像情報を参照し、前記動画像にいずれかの画像情報が含まれるか否かを判定することで、前記動画像について、シーンを特定する。
前記特定部は、
シーンごとに予め定められた画像情報を参照し、前記動画像にいずれかの画像情報が含まれるか否かを判定することで、前記動画像について、シーンを特定する。
【0017】
また、本開示の第１１の態様は、第９の態様に記載の作業者端末であって、
前記特定部は、
受け付けた前記入力情報が、予め定められたシーン情報のいずれに該当するかを判定することで、前記動画像について、シーンを特定する。
前記特定部は、
受け付けた前記入力情報が、予め定められたシーン情報のいずれに該当するかを判定することで、前記動画像について、シーンを特定する。
【0018】
また、本開示の第１２の態様は、第１の態様に記載の作業者端末であって、
前記対象領域以外の領域には、
前記動画像において対象領域が特定されたフレームの、前記対象領域以外の領域、及び、
前記動画像において対象領域が特定されなかったフレームの、全体の領域、
の少なくともいずれかが含まれる。
前記対象領域以外の領域には、
前記動画像において対象領域が特定されたフレームの、前記対象領域以外の領域、及び、
前記動画像において対象領域が特定されなかったフレームの、全体の領域、
の少なくともいずれかが含まれる。
【0019】
また、本開示の第１３の態様は、第１２の態様に記載の作業者端末であって、
前記加工部は、
前記対象領域が特定されたフレームから対象領域を抽出することで、前記動画像を加工し、あるいは、
前記対象領域が特定されたフレームのうち、対象領域以外の領域の解像度を、対象領域の解像度より下げることで、前記動画像を加工し、あるいは、
前記対象領域が特定されたフレームから対象領域を抽出し、対象領域以外の領域が所定の静止画像と結合することで、前記動画像を加工し、あるいは、
前記対象領域が特定されたフレームのうち、対象領域以外の領域の量子化値を、対象領域の量子化値よりも下げて符号化することで、前記動画像を加工する。
前記加工部は、
前記対象領域が特定されたフレームから対象領域を抽出することで、前記動画像を加工し、あるいは、
前記対象領域が特定されたフレームのうち、対象領域以外の領域の解像度を、対象領域の解像度より下げることで、前記動画像を加工し、あるいは、
前記対象領域が特定されたフレームから対象領域を抽出し、対象領域以外の領域が所定の静止画像と結合することで、前記動画像を加工し、あるいは、
前記対象領域が特定されたフレームのうち、対象領域以外の領域の量子化値を、対象領域の量子化値よりも下げて符号化することで、前記動画像を加工する。
【0020】
また、本開示の第１４の態様は、第１２の態様に記載の作業者端末であって、
前記加工部は、
前記対象領域が特定されなかったフレームを間引くことで、前記動画像を加工し、あるいは、
前記対象領域が特定されなかったフレームの解像度を、対象領域が特定されたフレームの対象領域の解像度より下げることで、前記動画像を加工し、あるいは、
前記対象領域が特定されなかったフレームを所定の静止画像に置き換えることで、前記動画像を加工し、あるいは、
前記対象領域が特定されなかったフレームの量子化値を、対象領域が特定されたフレームの対象領域の量子化値よりも下げて符号化することで、前記動画像を加工する。
前記加工部は、
前記対象領域が特定されなかったフレームを間引くことで、前記動画像を加工し、あるいは、
前記対象領域が特定されなかったフレームの解像度を、対象領域が特定されたフレームの対象領域の解像度より下げることで、前記動画像を加工し、あるいは、
前記対象領域が特定されなかったフレームを所定の静止画像に置き換えることで、前記動画像を加工し、あるいは、
前記対象領域が特定されなかったフレームの量子化値を、対象領域が特定されたフレームの対象領域の量子化値よりも下げて符号化することで、前記動画像を加工する。
【0021】
また、本開示の第１５の態様は、第８の態様に記載の作業者端末であって、
前記加工部は、
前記動画像を、特定したシーンごとにフレームレートを変えることで加工し、あるいは、
前記動画像を、特定したシーンごとにキーフレーム間隔を変えて符号化することで加工する。
前記加工部は、
前記動画像を、特定したシーンごとにフレームレートを変えることで加工し、あるいは、
前記動画像を、特定したシーンごとにキーフレーム間隔を変えて符号化することで加工する。
【0022】
また、本開示の第１６の態様は、第６の態様に記載の作業者端末であって、
前記撮影モード取得部は、
ネットワークを介して受信することにより、あるいは、作業者による入力を受け付けることにより、前記撮影モードを取得する。
前記撮影モード取得部は、
ネットワークを介して受信することにより、あるいは、作業者による入力を受け付けることにより、前記撮影モードを取得する。
【0023】
また、本開示の第１７の態様は、第２の態様に記載の作業者端末であって、
前記加工部は、
ネットワークを介して受信することにより、あるいは、作業者による選択を受け付けて、予め格納された複数のパラメータセットから抽出することにより、前記１のパラメータセットを取得する。
前記加工部は、
ネットワークを介して受信することにより、あるいは、作業者による選択を受け付けて、予め格納された複数のパラメータセットから抽出することにより、前記１のパラメータセットを取得する。
【0024】
また、本開示の第１８の態様は、第７の態様に記載の作業者端末であって、
前記通信時間上限値、または、前記割り当て通信量に基づいて、通信時間または通信量を監視する監視部を更に有し、
前記監視部は、
通信時間が前記通信時間上限値を超えた場合、または、通信量が前記割り当て通信量を超えた場合に、警告を出力する、または、伝送を中断し、符号化した動画像を格納するよう制御する。
前記通信時間上限値、または、前記割り当て通信量に基づいて、通信時間または通信量を監視する監視部を更に有し、
前記監視部は、
通信時間が前記通信時間上限値を超えた場合、または、通信量が前記割り当て通信量を超えた場合に、警告を出力する、または、伝送を中断し、符号化した動画像を格納するよう制御する。
【0025】
また、本開示の第１９の態様は、第１８の態様に記載の作業者端末であって、
通信時間が前記通信時間上限値を超えた場合、または、通信量が前記割り当て通信量を超えた場合に、前記複数のパラメータセットを変更する変更部を更に有する。
通信時間が前記通信時間上限値を超えた場合、または、通信量が前記割り当て通信量を超えた場合に、前記複数のパラメータセットを変更する変更部を更に有する。
【0026】
また、本開示の第２０の態様は、第１８の態様に記載の作業者端末であって、
通信時間が前記通信時間上限値を超えた場合、または、通信量が前記割り当て通信量を超えた場合に、追加の通信時間または追加の通信量を予測する予測部を更に有する。
通信時間が前記通信時間上限値を超えた場合、または、通信量が前記割り当て通信量を超えた場合に、追加の通信時間または追加の通信量を予測する予測部を更に有する。
【0027】
また、本開示の第２１の態様における動画像処理方法は、
作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する支援装置と接続され、動画像を符号化して伝送する作業者端末における動画像処理方法であって、
動画像を撮影するカメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定工程と、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工工程とを有する。
作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する支援装置と接続され、動画像を符号化して伝送する作業者端末における動画像処理方法であって、
動画像を撮影するカメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定工程と、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工工程とを有する。
【0028】
本開示の第２１の態様によれば、作業現場における作業に対して遠隔から支援を受けるための動画像を伝送する際、画質を維持しつつ、通信量を削減することができる。
【0029】
また、本開示の第２２の態様における動画像処理プログラムは、
作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する支援装置と接続され、動画像を符号化して伝送する作業者端末のコンピュータに、
動画像を撮影するカメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定工程と、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工工程と
を実行させる。
作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する支援装置と接続され、動画像を符号化して伝送する作業者端末のコンピュータに、
動画像を撮影するカメラが撮影した動画像に対して認識処理を行い、対象領域を特定する特定工程と、
前記動画像において対象領域が特定された場合、前記動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する加工工程と
を実行させる。
【0030】
本開示の第２２の態様によれば、作業現場における作業に対して遠隔から支援を受けるための動画像を伝送する際、画質を維持しつつ、通信量を削減することができる。
【図面の簡単な説明】
【0031】
【図1】遠隔支援システムのシステム構成の一例を示す図である。
【図2】作業者端末のハードウェア構成の一例を示す図である。
【図3】作業者端末の機能構成の一例を示す図である。
【図4】パラメータ格納部に格納されたパラメータセットの一例を示す図である。
【図5】加工部の機能構成の詳細を示す図である。
【図6】前処理部による前処理の具体例を示す図である。
【図7】エンコーダ部による符号化処理の具体例を示す図である。
【図8】各ケースにおける作業者端末の動作例を示す図である。
【図9】動画像処理の流れを示すフローチャートである。
【図10】加工処理の流れを示すフローチャートである。
【図11】通信制御処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0032】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【0033】
［第１の実施形態］
＜遠隔支援システムのシステム構成＞
はじめに、第１の実施形態に係る作業者端末を備える遠隔支援システムのシステム構成について説明する。図１は、遠隔支援システムのシステム構成の一例を示す図である。
＜遠隔支援システムのシステム構成＞
はじめに、第１の実施形態に係る作業者端末を備える遠隔支援システムのシステム構成について説明する。図１は、遠隔支援システムのシステム構成の一例を示す図である。
【0034】
図１に示すように、遠隔支援システム１００は、作業者端末１１０と、管理者端末１２０とを有する。遠隔支援システム１００において、作業者端末１１０と管理者端末１２０とは、ネットワーク１３０を介して通信可能に接続される。
【0035】
作業者端末１１０は、機器の据え付け、修理、点検、撤去等が行われる作業現場において用いられるモバイル端末である。図１において、符号１４１は、作業現場において、作業者１５１が現地調査を行う際に作業者端末１１０を利用するケースを示している。
【0036】
符号１４１に示すように、作業内容＝現地調査の場合、作業者１５１は、ビルに到着後、共有部及び私有部を移動して、機器（本実施形態では空調機）を更新する（撤去と据え付けを行う）対象エリアに向かう。このとき、作業者１５１は、作業者端末１１０を用いて撮影を行いながら、管理者１５３に現地調査の開始報告を行う。
【0037】
続いて、作業者１５１は、機器を更新する対象エリア及び機器を更新しない非対象エリアについて、管理者１５３からの音声指示を受けながら、作業者端末１１０を用いて撮影を行う。
【0038】
その後、作業者１５１は、私有部及び共有部を移動して、ビル外へと向かう。このとき、作業者１５１は、作業者端末１１０を用いて撮影を行いながら、管理者１５３に現地調査の終了報告を行う。
【0039】
このように、作業者１５１は、現地調査の開始から終了までの間、撮影を継続し、管理者１５３は、作業者１５１により撮影された動画像を閲覧しながら、必要に応じて作業者１５１に音声指示を行う。
【0040】
同様に、図１において、符号１４２は、作業現場において、作業者１５２が設備メンテナンスを行う際に作業者端末１１０を利用するケースを示している。
【0041】
符号１４２に示すように、作業内容＝設備メンテナンスの場合、作業者１５２は、まず、メンテナンス対象の設備が設置された位置まで移動する。このとき、作業者１５２は、作業者端末１１０を用いて撮影を行いながら、管理者１５３に設備メンテナンスの開始報告を行う。
【0042】
続いて、作業者１５２は、メンテナンス対象の設備の外観及び内部のチェックを行う。このとき、作業者１５２は、管理者１５３からの音声指示を受けながら、作業者端末１１０を用いて、メンテナンス対象の設備の外観及び内部の撮影を行う。
【0043】
続いて、作業者１５２は、交換すべき部品を特定したうえで、特定した部品を倉庫等に取りに行き、再び、メンテナンス対象の設備が設置された位置まで移動する。このとき、作業者１５２は、作業者端末１１０を用いて撮影を行いながら、管理者１５３に作業の中間報告を行う。
【0044】
続いて、作業者１５２は、管理者１５３からの音声指示を受けながら、メンテナンス対象の設備において、特定した部品を交換するとともに、メンテナンス対象の設備の動作確認を行う。このとき、作業者１５２は、作業者端末１１０を用いて撮影を行い、部品交換及び動作確認の作業の様子を管理者１５３に報告する。
【0045】
その後、作業者１５２は、メンテナンス対象の設備から離れ、作業を終了する。このとき、作業者１５２は、作業者端末１１０を用いて撮影を行いながら、管理者１５３に設備メンテナンスの終了報告を行う。
【0046】
このように、作業者１５２は、設備メンテナンスの開始から終了までの間、撮影を継続し、管理者１５３は、作業者１５２により撮影された動画像を閲覧しながら、必要に応じて作業者１５２に音声指示を行う。
【0047】
一方、管理者端末１２０は支援装置の一例であり、作業現場において作業者１５１、１５２等が撮影した動画像の符号化データを、ネットワーク１３０を介して受信する。また、管理者端末１２０は、受信した符号化データを復号して管理者１５３に表示する。これにより、管理者１５３は、作業者１５１、１５２が撮影した動画像をリアルタイムに閲覧することができる。
【0048】
また、管理者端末１２０は、動画像を表示したことに応じて管理者１５３が入力した音声指示を取得し、ネットワーク１３０を介して作業者端末１１０に伝送する。これにより、管理者１５３は、作業者１５１、１５２に対して、音声指示による適切な支援を行うことができる。
【0049】
なお、図１の例では、現地調査及び設備メンテナンスを行う際に作業者１５１、１５２が作業者端末１１０を利用するケースについて示したが、作業者１５１、１５２等が作業者端末１１０を利用するケースは、これらに限定されない。例えば、作業現場において、設備点検、施工サポート等を行う際に、作業者端末１１０を利用してもよい。
【0050】
＜作業者端末のハードウェア構成＞
次に、作業者端末１１０のハードウェア構成について説明する。図２は、作業者端末のハードウェア構成の一例を示す図である。
次に、作業者端末１１０のハードウェア構成について説明する。図２は、作業者端末のハードウェア構成の一例を示す図である。
【0051】
図２に示すように、作業者端末１１０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３を有する。また、作業者端末１１０は、操作装置２０４、表示装置２０５、撮像装置２０６、通信装置２０７、音声入力装置２０８、音声出力装置２０９を有する。なお、作業者端末１１０の各ハードウェアは、バス２１０を介して相互に接続されている。
【0052】
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、後述する動画像処理プログラム等）をメモリ２０２上に読み出して実行する。
【0053】
メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、作業者端末１１０は、各種機能を実現する。
【0054】
補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。例えば、後述するパラメータ格納部３６０は、補助記憶装置２０３において実現される。
【0055】
操作装置２０４は、作業者１５１、１５２等による作業者端末１１０に対する操作指示を受け付ける。表示装置２０５は、作業者端末１１０による各種処理の結果を、作業者１５１、１５２等に表示する。
【0056】
撮像装置２０６はカメラであり、作業現場を撮影することで、動画像を生成する。通信装置２０７は、ネットワーク１３０を介して管理者端末１２０と通信を行う。なお、補助記憶装置２０３にインストールされる各種プログラム及び各種データは、例えば、通信装置２０７を介してネットワーク１３０からダウンロードされることで、インストールされる。
【0057】
音声入力装置２０８はマイクであり、作業者１５１、１５２等の音声入力を受け付ける。音声出力装置２０９はスピーカであり、例えば、管理者１５３からの音声指示を出力する。
【0058】
＜作業者端末の機能構成＞
次に、作業者端末１１０の機能構成について説明する。図３は、作業者端末の機能構成の一例を示す図である。上述したように、作業者端末１１０には動画像処理プログラムがインストールされており、当該プログラムが実行されることで、作業者端末１１０は、カメラ制御部３１０、加工制御部３２０、加工部３３０、送信部３４０、監視部３５０として機能する。
次に、作業者端末１１０の機能構成について説明する。図３は、作業者端末の機能構成の一例を示す図である。上述したように、作業者端末１１０には動画像処理プログラムがインストールされており、当該プログラムが実行されることで、作業者端末１１０は、カメラ制御部３１０、加工制御部３２０、加工部３３０、送信部３４０、監視部３５０として機能する。
【0059】
カメラ制御部３１０は、撮像装置２０６の動作を制御する。カメラ制御部３１０は、作業者１５１、１５２等から撮影開始の指示が入力されると、撮像装置２０６により撮影された動画像の取り込みを開始する。また、カメラ制御部３１０は、取り込んだ動画像を加工部３３０に通知する。また、カメラ制御部３１０は、作業者１５１、１５２等から撮影終了の指示が入力されると、撮像装置２０６からの動画像の取り込みを終了する。
【0060】
加工制御部３２０は撮影モード取得部の一例であり、作業者１５１、１５２等による入力を受け付けることで、あるいは、ネットワーク１３０を介して管理者１５３からの指示を受信することにより撮影モードを取得する。撮影モードは、作業者１５１、１５２等が作業現場において作業者端末１１０を利用するケース（現地調査、設備メンテナンス、設備点検、施工サポート等）と対応付けられている。
【0061】
また、加工制御部３２０は、作業者１５１、１５２による入力を受け付けることで、あるいは、ネットワーク１３０を介して管理者１５３からの指示を受信することにより通信時間の上限値及び割当通信量を取得する。
【0062】
また、加工制御部３２０は、取得した撮影モードに基づいて、パラメータ格納部３６０に予め格納された複数のパラメータセットの中から所定のパラメータセットを読み出す。なお、パラメータ格納部３６０に格納されたパラメータセットには、動画像に対して各種加工処理を行う際のパラメータの組み合わせが規定されている。
【0063】
撮影モードに基づいて、所定のパラメータセットを読み出す構成とすることで、作業者１５１、１５２等が作業現場において作業者端末１１０を利用するいずれのケースに該当するのかに応じて、パラメータセットを切り替えることが可能になる。
【0064】
なお、撮影モードに基づいて読み出される所定のパラメータセットには、通信時間上限値、割当通信量等が異なる複数のパラメータセットが含まれる。
【0065】
このため、加工制御部３２０は、撮影モードに基づいて読み出した所定のパラメータセットの中から、更に、取得した通信時間上限値または割当通信量等に応じた、１のパラメータセットを選択するように構成されうる。通信時間上限値または割当通信量に基づいて、パラメータセットを選択する構成とすることで、加工部３３０では、使用可能な通信時間または通信量に応じたパラメータセットを用いて加工処理を行うことができる。
【0066】
なお、パラメータセットには、例えば、
・動画像から対象物を認識するのに用いられる情報（作業内容の種類ごとに予め決められた撮影対象物を認識するのに用いられる対象物情報）、
・動画像について、作業内容の種類を示すシーンを特定するための予め定められた条件（シーン条件）、及び、
・パラメータ（加工処理の種類ごとのパラメータ）、
が規定されている。
・動画像から対象物を認識するのに用いられる情報（作業内容の種類ごとに予め決められた撮影対象物を認識するのに用いられる対象物情報）、
・動画像について、作業内容の種類を示すシーンを特定するための予め定められた条件（シーン条件）、及び、
・パラメータ（加工処理の種類ごとのパラメータ）、
が規定されている。
【0067】
また、加工制御部３２０は、対象物情報、シーン条件、パラメータが規定されたパラメータセットを加工部３３０に通知するとともに、取得した通信時間上限値及び割当通信量を、監視部３５０に通知する。
【0068】
加工部３３０は、カメラ制御部３１０より通知された動画像に対して、加工制御部３２０より通知されたパラメータセットを用いて、各種加工処理を行い、符号化データを生成する。具体的には、加工部３３０は、動画像に含まれる対象物の領域（対象領域）の単位面積当たりのデータ量に対して、対象領域以外の領域の単位面積当たりのデータ量が少なくなるように、動画像に対して各種加工処理を行い、符号化データを生成する。また、加工部３３０は、生成した符号化データを送信部３４０に通知する。なお、ここでいう対象領域以外の領域には、対象領域が特定されたフレームの対象領域以外の領域と、対象領域が特定されなかったフレームの全体の領域のいずれかが含まれる。
【0069】
送信部３４０は、加工部３３０により通知された符号化データを、ネットワーク１３０を介して管理者端末１２０に伝送する。
【0070】
監視部３５０は、送信部３４０が符号化データを伝送した際の通信時間を、例えば、月ごとに監視する。また、監視部３５０は、送信部３４０が伝送した符号化データの通信量を、例えば、月ごとに監視する。また、監視部３５０は、監視中の通信時間及び通信量と、加工制御部３２０より通知された通信時間上限値及び割当通信量とを比較する。更に、監視部３５０は、監視中の通信時間及び通信量が所定の条件を満たす場合に、作業者１５１、１５２等への警告、あるいは、符号化データの伝送の中断等を行う。
【0071】
＜パラメータセットの説明＞
次に、パラメータ格納部３６０に格納された複数のパラメータセットについて説明する。図４は、パラメータ格納部に格納されたパラメータセットの一例を示す図である。
次に、パラメータ格納部３６０に格納された複数のパラメータセットについて説明する。図４は、パラメータ格納部に格納されたパラメータセットの一例を示す図である。
【0072】
図４に示すように、パラメータ格納部３６０には、撮影モードごと、割当通信量及び通信時間上限値ごとにパラメータセットが格納されている。
【0073】
このうち、パラメータセット４１０は、撮影モードとして"撮影モード１"が入力され、割当通信量として"ＸＸ１"、通信時間上限値として"ＹＹ１"がそれぞれ入力された場合に読み出されるパラメータセットである。"撮影モード１"は、設備点検を行う際に選択されるモードであり、基本的に、高解像度、低フレームレートで撮影されるモードである。
【0074】
なお、パラメータセット４１１は、撮影モードとして"撮影モード１"が入力され、割当通信量として"ＸＸ１'"、通信時間上限値として"ＹＹ１'"がそれぞれ入力された場合に読み出されるパラメータセットである。撮影モードが同じであっても、割当通信量、通信時間上限値が異なる場合には、異なるパラメータセットが読み出される。
【0075】
例えば、パラメータセット４１１は、パラメータセット４１０と比較して、通信量がより削減されるように各パラメータが規定されているものとする。したがって、設備点検に際して、作業者１５１、１５２等が通信量や通信時間を抑えるために、割当通信量として"ＸＸ１'"、通信時間上限値として"ＹＹ１'"を入力した場合には、パラメータセット４１１が読み出されることになる。
【0076】
また、パラメータセット４２０は、撮影モードとして"撮影モード２"が入力され、割当通信量として"ＸＸ２"、通信時間上限値として"ＹＹ２"がそれぞれ入力された場合に読み出されるパラメータセットである。"撮影モード２"は、現地調査を行う際に選択されるモードであり、基本的に、低解像度、高フレームレートで撮影されるモードである。
【0077】
なお、パラメータセット４２１は、撮影モードとして"撮影モード２"が入力され、割当通信量として"ＸＸ２'"、通信時間上限値として"ＹＹ２'"がそれぞれ入力された場合に読み出されるパラメータセットである。撮影モードが同じであっても、割当通信量、通信時間上限値が異なる場合には、異なるパラメータセットが読み出される。
【0078】
例えば、パラメータセット４２１は、パラメータセット４２０と比較して、通信量がより削減されるように各パラメータが規定されているものとする。したがって、現地調査に際して、作業者１５１、１５２等が通信量や通信時間を抑えるために、割当通信量として"ＸＸ２'"、通信時間上限値として"ＹＹ２'"を入力した場合には、パラメータセット４２１が読み出されることになる。
【0079】
また、パラメータセット４３０は、撮影モードとして"撮影モード３"が入力され、割当通信量として"ＸＸ２"、通信時間上限値として"ＹＹ２"がそれぞれ入力された場合に読み出されるパラメータセットである。"撮影モード３"は、施工サポートを行う際に選択されるモードであり、基本的に、高解像度、高フレームレートで撮影されるモードである。
【0080】
なお、パラメータセット４３１は、撮影モードとして"撮影モード３"が入力され、割当通信量として"ＸＸ３'"、通信時間上限値として"ＹＹ３'"がそれぞれ入力された場合に読み出されるパラメータセットである。撮影モードが同じであっても、割当通信量、通信時間上限値が異なる場合には、異なるパラメータセットが読み出される。
【0081】
例えば、パラメータセット４３１は、パラメータセット４３０と比較して、通信量がより削減されるように各パラメータが規定されているものとする。したがって、施工サポートに際して、作業者１５１、１５２等が通信量や通信時間を抑えるために、割当通信量として"ＸＸ３'"、通信時間上限値として"ＹＹ３'"を入力した場合には、パラメータセット４３１が読み出されることになる。
【0082】
また、パラメータセット４４０は、撮影モードとして"撮影モード４"が入力され、割当通信量として"ＸＸ４"、通信時間上限値として"ＹＹ４"がそれぞれ入力された場合に読み出されるパラメータセットである。"撮影モード４"は、設備メンテナンスを行う際に選択されるモードであり、基本的に、中解像度、中フレームレートで撮影されるモードである。
【0083】
なお、パラメータセット４４１は、撮影モードとして"撮影モード４"が入力され、割当通信量として"ＸＸ４'"、通信時間上限値として"ＹＹ４'"がそれぞれ入力された場合に読み出されるパラメータセットである。撮影モードが同じであっても、割当通信量、通信時間上限値が異なる場合には、異なるパラメータセットが読み出される。
【0084】
例えば、パラメータセット４４１は、パラメータセット４４０と比較して、通信量がより削減されるように各パラメータが規定されているものとする。したがって、設備メンテナンスに際して、作業者１５１、１５２等が通信量や通信時間を抑えるために、割当通信量として"ＸＸ４'"、通信時間上限値として"ＹＹ４'"を入力した場合には、パラメータセット４４１が読み出されることになる。
【0085】
また、図４に示すように、パラメータセット４１０～４４０、４１１～４４１には、それぞれ、情報の項目として、"シーン（作業内容の種類）"、"対象物"、"パラメータ"、"割当通信量"、"通信時間上限値"が含まれる。
【0086】
"シーン（作業内容の種類）"には、具体的なシーン（作業内容の種類）についての情報（及びシーンを特定するために予め定められた条件（シーン条件））が格納される。例えば、設備点検を行う場合の具体的な作業内容の種類には、点検対象の設備が設置された位置までの移動、点検対象の設備の点検等が含まれる。したがって、"シーン（作業内容の種類）"には、「移動中」及び「点検中」が格納される（なお、図４の例では、シーン条件については省略している）。
【0087】
"対象物"には、作業者が各シーンにおいて撮影した動画像において、対象物を認識するのに用いられる情報（対象物情報）が格納される。例えば、設備点検のための移動中に撮影される動画像には、認識されるべき対象物はないため、"対象物"の欄は空欄となる。
【0088】
一方、設備点検中に撮影される動画像については、点検対象である空調機と、点検対象ではない空調機以外の機器とが区別して認識される必要がある。したがって、「点検中」の"対象物"には、「空調機」を認識するのに用いられる情報と「空調機以外」を認識するのに用いられる情報とが格納される。
【0089】
"パラメータ"には、更に、"解像度"、"フレームレート"、"キーフレーム間隔"、"量子化値"が含まれる。
【0090】
"解像度"には、加工部３３０が動画像に対して行う各種加工処理のうち、解像度を変更する際に設定される解像度が格納される。図４の例は、設備点検を行う場合、解像度は、"シーン（作業内容の種類）"ごと、"対象物"ごとに切り替えて異なる値（パラメータ）が設定されることを示している。具体的には、設備点検を行う場合、「移動中」に撮影された動画像には、解像度として「Ｒ５」が設定されることを示している。また、「点検中」に撮影された動画像のうち、「空調機」の領域に対しては、解像度として「Ｒ１０」が設定され、「空調機以外」の領域に対しては、解像度として「Ｒ５」が設定されることを示している。
【0091】
"フレームレート"には、加工部３３０が動画像に対して行う各種加工処理のうち、フレームレートを変更する際に設定されるフレームレートが格納される。図４の例は、設備点検を行う場合、フレームレートは、"シーン（作業内容の種類）"ごとに切り替えて異なる値（パラメータ）が設定されることを示している。具体的には、設備点検を行う場合、「移動中」に撮影された動画像には、フレームレートとして「Ｆｒ３」が設定され、「点検中」に撮影された動画像には、フレームレートとして、「Ｆｒ３」が設定されることを示している。
【0092】
"キーフレーム間隔"には、加工部３３０が動画像に対して行う各種加工処理のうち、キーフレーム間隔を変更して符号化処理を行う際に設定されるキーフレーム間隔が格納される。図４の例は、設備点検を行う場合、キーフレーム間隔は、"シーン（作業内容の種類）"ごとに切り替えて異なる値（パラメータ）が設定されることを示している。具体的には、設備点検を行う場合、「移動中」に撮影された動画像に対しては、キーフレーム間隔として「Ｋｉ２」が設定されて符号化処理が行われることを示している。また、「点検中」に撮影された動画像に対しては、キーフレーム間隔として「Ｋｉ１」が設定されて符号化処理が行われることを示している。
【0093】
"量子化値"には、加工部３３０が動画像に対して行う各種加工処理のうち、量子化値を変更して符号化処理を行う際に設定される量子化値が格納される。図４の例は、設備点検を行う場合、量子化値は、"シーン（作業内容の種類）"ごと、"対象物"ごとに切り替えて異なる値（パラメータ）が設定されることを示している。具体的には、設備点検を行う場合、「移動中」に撮影された動画像に対しては、量子化値として「Ｑ５」が設定されて符号化処理が行われることを示している。また、「点検中」に撮影された動画像のうち、「空調機」の領域に対しては、量子化値として「Ｑ１」が設定されて符号化処理が行われること、「空調機以外」の領域に対しては、量子化値として「Ｑ３」が設定されて符号化処理が行われることを示している。
【0094】
"割当通信量"には、それぞれの撮影モードのもとで動画像を撮影して管理者端末１２０に伝送するにあたり、撮影モードごとに割り当てられる通信量のバリエーションが格納される。図４の例は、設備点検を行う場合の"割当通信量"には、「ＸＸ１」または「ＸＸ１'」の２種類があることを示している。
【0095】
"通信時間上限値"には、それぞれの撮影モードのもとで動画像を撮影して管理者端末１２０に伝送するにあたり、撮影モードごとに割り当てられる通信時間の上限値のバリエーションが格納される。図４の例は、設備点検を行う場合の"通信時間上限値"には、「ＹＹ１」または「ＹＹ１'」の２種類があることを示している。
【0096】
なお、上述したように、"パラメータ"の"解像度"、"フレームレート"、"キーフレーム間隔"、"量子化値"には、"割当通信量"及び"通信時間上限値"に応じた値が格納されているものとする。
【0097】
＜加工部の機能構成の詳細＞
次に、作業者端末１１０の加工部３３０の機能構成の詳細について説明する。図５は、加工部の機能構成の詳細を示す図である。
次に、作業者端末１１０の加工部３３０の機能構成の詳細について説明する。図５は、加工部の機能構成の詳細を示す図である。
【0098】
図５に示すように、加工部３３０は、更に、画像認識部５１０、前処理部５２０、エンコーダ部５３０を有する。
【0099】
画像認識部５１０は、カメラ制御部３１０より動画像が通知されると、通知された動画像について、フレーム単位で画像認識処理を行い、動画像に対象物が含まれるか否かを判定するとともに、対象物が含まれる領域を判定する。なお、画像認識部５１０は、対象物情報に基づいて、動画像に対象物が含まれるか否かを判定する。また、画像認識部５１０は、対象物が含まれる領域を、対象領域情報として、前処理部５２０、エンコーダ部５３０に通知する。
【0100】
また、画像認識部５１０は、取得した動画像が表すシーン（作業内容の種類）を特定する。なお、画像認識部５１０は、シーン条件に基づいて、動画像が表すシーンを特定する。また、画像認識部５１０は、特定したシーンをシーン特定結果として、前処理部５２０、エンコーダ部５３０に通知する。
【0101】
また、画像認識部５１０は、取得した動画像を前処理部５２０に通知する。
【0102】
前処理部５２０は、画像認識部５１０より動画像を取得すると、取得した動画像について、各種前処理を行う。前処理部５２０は、加工制御部３２０から通知されたパラメータセットを参照し、対象領域情報及びシーン特定結果に応じたパラメータ（解像度、フレームレート）を特定する。また、前処理部５２０は、特定したパラメータを設定して前処理を行う。
【0103】
エンコーダ部５３０は、前処理部５２０により、前処理が行われた動画像を取得すると、取得した動画像について、符号化処理を行う。エンコーダ部５３０は、加工制御部３２０から通知されたパラメータセットを参照し、対象領域情報及びシーン特定結果に応じたパラメータ（キーフレーム間隔、量子化値）を特定する。また、前処理部５２０は、特定したパラメータを設定して符号化処理を行う。
【0104】
＜前処理部による前処理の具体例＞
次に、前処理部５２０による前処理の具体例について説明する。図６は、前処理部による前処理の具体例を示す図である。図６に示すように、前処理部５２０は、画像認識部５１０より通知された動画像について、対象領域以外の領域の単位面積当たりのデータ量が、対象領域の単位面積当たりのデータ量よりも小さくなるように前処理を行う。
次に、前処理部５２０による前処理の具体例について説明する。図６は、前処理部による前処理の具体例を示す図である。図６に示すように、前処理部５２０は、画像認識部５１０より通知された動画像について、対象領域以外の領域の単位面積当たりのデータ量が、対象領域の単位面積当たりのデータ量よりも小さくなるように前処理を行う。
【0105】
前処理部５２０が行う前処理には、
（１）画像認識部５１０において対象物が含まれると判定され、対象物が含まれる領域が対象領域情報として通知された場合に行う処理、
（２）画像認識部５１０において対象物が含まれないと判定され、対象領域情報が通知されなかった場合に行う処理、
（３）画像認識部５１０において対象物が含まれると判定されたか、含まれないと判定されたかによらずに行う共通の処理、
のいずれかが含まれる。以下、順に説明する。なお、以下に示す前処理のうち、いずれの前処理を行うかは、通知されたパラメータセットと、対象領域情報及びシーン特定結果とに基づいて決定される。
（１）画像認識部５１０において対象物が含まれると判定され、対象物が含まれる領域が対象領域情報として通知された場合に行う処理、
（２）画像認識部５１０において対象物が含まれないと判定され、対象領域情報が通知されなかった場合に行う処理、
（３）画像認識部５１０において対象物が含まれると判定されたか、含まれないと判定されたかによらずに行う共通の処理、
のいずれかが含まれる。以下、順に説明する。なお、以下に示す前処理のうち、いずれの前処理を行うかは、通知されたパラメータセットと、対象領域情報及びシーン特定結果とに基づいて決定される。
【0106】
（１）対象物が含まれると判定された場合（対象領域が特定された場合）
（１－１）抽出処理
画像認識部５１０において対象物が含まれると判定され、対象物が含まれる領域が対象領域情報として通知された場合、前処理部５２０では、動画像から対象領域を抽出する（対象領域以外の領域を削除する）抽出処理を行い、前処理後の動画像を生成する。
（１－１）抽出処理
画像認識部５１０において対象物が含まれると判定され、対象物が含まれる領域が対象領域情報として通知された場合、前処理部５２０では、動画像から対象領域を抽出する（対象領域以外の領域を削除する）抽出処理を行い、前処理後の動画像を生成する。
【0107】
図６の具体例の場合、動画像のフレーム６１０には、１つの対象物（ここでは、説明の便宜上、五角形の図形で表現している）と、対象物以外の２つの物体（ここでは、説明の便宜上、四角形の図形と丸の図形とで表現している）とが含まれる。なお、１つの対象物を囲む太線の矩形は、画像認識部５１０において、対象物として認識されたことを示している。
【0108】
図６の具体例に示すように、動画像のフレーム６１０に対して、前処理部５２０が抽出処理を行うことで、動画像のフレーム６１０から対象領域が抽出され、前処理後の動画像６１１が生成される。
【0109】
（１－２）解像度変更処理
画像認識部５１０において対象物が含まれると判定され、対象領域情報が通知された場合、前処理部５２０では、動画像を、対象領域と対象領域以外の領域とで異なる解像度に変更する解像度変更処理を行い、前処理後の動画像を生成する。具体的には、前処理部５２０は、「対象領域の解像度＞対象領域以外の領域の解像度」となるように、解像度変更処理を行うことで、前処理後の動画像を生成する。
画像認識部５１０において対象物が含まれると判定され、対象領域情報が通知された場合、前処理部５２０では、動画像を、対象領域と対象領域以外の領域とで異なる解像度に変更する解像度変更処理を行い、前処理後の動画像を生成する。具体的には、前処理部５２０は、「対象領域の解像度＞対象領域以外の領域の解像度」となるように、解像度変更処理を行うことで、前処理後の動画像を生成する。
【0110】
図６の具体例の場合、動画像のフレーム６２０には、１つの対象物と、対象物以外の２つの物体とが含まれる。
【0111】
図６の具体例に示すように、動画像のフレーム６２０に対して、前処理部５２０が解像度変更処理を行うことで、対象領域と対象領域以外の領域とで異なる解像度に変更された前処理後の動画像６２１が生成される。前処理後の動画像６２１において、ハッチングされた領域（対象領域以外の領域）は、白色の領域（対象領域）よりも、解像度が低いことを表している。
【0112】
なお、図６の例では、「対象領域の解像度＞対象領域以外の領域の解像度」となるように、解像度変更処理を行うことで前処理後の動画像を生成する場合について説明したが、解像度変更処理の処理方法はこれに限定されない。
【0113】
例えば、「（対象領域＋周辺領域）の解像度＞（対象領域＋周辺領域）以外の領域の解像度」となるように、解像度変更処理を行うことで前処理後の動画像を生成してもよい。なお、当該解像度変更処理を行うにあたり、パラメータセットには、対象物を認識するのに用いられる情報と対応付けて、対象物の周辺領域を指定する物理量が規定されているものとする。これにより、前処理部５２０は、パラメータセットを参照することで、上記周辺領域のサイズを決定することができる。
【0114】
（１－３）結合処理
画像認識部５１０において対象物が含まれると判定され、対象物が含まれる領域が対象領域情報として通知された場合、前処理部５２０では、動画像から対象領域を抽出し、所定の静止画像と結合する結合処理を行い、前処理後の動画像を生成する。
画像認識部５１０において対象物が含まれると判定され、対象物が含まれる領域が対象領域情報として通知された場合、前処理部５２０では、動画像から対象領域を抽出し、所定の静止画像と結合する結合処理を行い、前処理後の動画像を生成する。
【0115】
図６の具体例の場合、動画像のフレーム６３０には、１つの対象物と、対象物以外の２つの物体とが含まれる。
【0116】
図６の具体例に示すように、動画像のフレーム６３０に対して、前処理部５２０が結合処理を行うことで、動画像のフレーム６３０から対象領域が抽出され、静止画像（図６の例では、白色の背景画像）と結合されることで、前処理後の動画像６３１が生成される。
【0117】
（２）対象物が含まれないと判定された場合（対象領域が特定されなかった場合）
（２－１）間引き処理
画像認識部５１０において対象物が含まれないと判定され、対象領域情報が通知されなかった場合、前処理部５２０では、動画像から所定のフレームを削除する間引き処理を行い、前処理後の動画像を生成する。
（２－１）間引き処理
画像認識部５１０において対象物が含まれないと判定され、対象領域情報が通知されなかった場合、前処理部５２０では、動画像から所定のフレームを削除する間引き処理を行い、前処理後の動画像を生成する。
【0118】
図６の具体例の場合、動画像のフレーム群６４０には、対象物以外の２つの物体（ここでは、説明の便宜上、四角形の図形と丸の図形とで表している）のみが含まれ、対象物（例えば、五角形の図形）は含まれていない。
【0119】
図６の具体例に示すように、動画像のフレーム群６４０に対して、前処理部５２０が間引き処理を行うことで、動画像のフレーム群６４０から、所定のフレームが削除され、前処理後の動画像のフレーム群６４１が生成される。
【0120】
（２－２）全体解像度変更処理
画像認識部５１０において対象物が含まれないと判定され、対象領域情報が通知されなかった場合、前処理部５２０では、動画像の各フレームについて、フレーム全体の解像度を変更する全体解像度変更処理を行い、前処理後の動画像を生成する。
画像認識部５１０において対象物が含まれないと判定され、対象領域情報が通知されなかった場合、前処理部５２０では、動画像の各フレームについて、フレーム全体の解像度を変更する全体解像度変更処理を行い、前処理後の動画像を生成する。
【0121】
具体的には、前処理部５２０は、「対象物を含むフレームの対象領域の解像度＞対象物を含まないフレームの解像度」となるように、解像度変更処理を行うことで、前処理後の動画像を生成する。
【0122】
図６の具体例の場合、動画像のフレーム群６５０には、対象物以外の２つの物体のみが含まれ、対象物が含まれていない。
【0123】
図６の具体例に示すように、動画像のフレーム群６５０に対して、前処理部５２０が全体解像度変更処理を行うことで、動画像のフレーム群６５０について、フレーム全体の解像度が変更され、前処理後の動画像のフレーム群６５１が生成される。前処理後の動画像のフレーム群６５１において、ハッチングされた各フレームの解像度は、対象物が含まれると判定されたフレームの対象領域の解像度よりも低いことを表している。
【0124】
（２－３）置換処理
画像認識部５１０において対象物が含まれないと判定され、対象領域情報が通知されなかった場合、前処理部５２０では、動画像の各フレームを、所定の静止画像に置き換える置換処理を行い、前処理後の動画像を生成する。
画像認識部５１０において対象物が含まれないと判定され、対象領域情報が通知されなかった場合、前処理部５２０では、動画像の各フレームを、所定の静止画像に置き換える置換処理を行い、前処理後の動画像を生成する。
【0125】
図６の具体例の場合、動画像のフレーム群６６０には、対象物以外の２つの物体のみが含まれ、対象物が含まれていない。
【0126】
図６の具体例に示すように、動画像のフレーム群６６０に対して、前処理部５２０が置換処理を行うことで、動画像のフレーム群６６０が全て静止画像に置き換えられ、前処理後の動画像のフレーム群６６１が生成される。
【0127】
（３）共通の処理
画像認識部５１０において対象物が含まれると判定されたか否かによらず、前処理部５２０では、動画像から所定のフレームを削除することで、フレームレートを下げるフレームレート低下処理を行い、前処理後の動画像を生成する。
画像認識部５１０において対象物が含まれると判定されたか否かによらず、前処理部５２０では、動画像から所定のフレームを削除することで、フレームレートを下げるフレームレート低下処理を行い、前処理後の動画像を生成する。
【0128】
なお、図６では、フレームレート低下処理の具体例を省略しているが、フレームレート低下処理は、例えば、動画像のフレーム群６４０に対する間引き処理と同様の具体例となる。
【0129】
＜エンコーダ部による符号化処理の具体例＞
次に、エンコーダ部５３０による符号化処理の具体例について説明する。図７は、エンコーダ部による符号化処理の具体例を示す図である。図７に示すように、エンコーダ部５３０は、取得した動画像または前処理後の動画像について、対象領域以外の領域の単位面積当たりのデータ量が、対象領域の単位面積当たりのデータ量よりも小さくなるように符号化処理を行う。
次に、エンコーダ部５３０による符号化処理の具体例について説明する。図７は、エンコーダ部による符号化処理の具体例を示す図である。図７に示すように、エンコーダ部５３０は、取得した動画像または前処理後の動画像について、対象領域以外の領域の単位面積当たりのデータ量が、対象領域の単位面積当たりのデータ量よりも小さくなるように符号化処理を行う。
【0130】
エンコーダ部５３０が行う符号化処理には、
（１）画像認識部５１０において対象物が含まれると判定され、対象物が含まれる領域が対象領域情報として通知された場合に行う処理、
（２）画像認識部５１０において対象物が含まれないと判定され、対象領域情報が通知されなかった場合に行う処理、
（３）画像認識部５１０において対象物が含まれると判定されたか、含まれないと判定されたかによらずに行う共通の処理、
のいずれかが含まれる。以下、順に説明する（なお、以下では、説明の簡略化のため、動画像に対して処理を行う場合について説明する）。また、以下に示す符号化処理のうち、いずれの符号化処理を行うかは、通知されたパラメータセットと、対象領域情報及びシーン特定結果とに基づいて決定される。
（１）画像認識部５１０において対象物が含まれると判定され、対象物が含まれる領域が対象領域情報として通知された場合に行う処理、
（２）画像認識部５１０において対象物が含まれないと判定され、対象領域情報が通知されなかった場合に行う処理、
（３）画像認識部５１０において対象物が含まれると判定されたか、含まれないと判定されたかによらずに行う共通の処理、
のいずれかが含まれる。以下、順に説明する（なお、以下では、説明の簡略化のため、動画像に対して処理を行う場合について説明する）。また、以下に示す符号化処理のうち、いずれの符号化処理を行うかは、通知されたパラメータセットと、対象領域情報及びシーン特定結果とに基づいて決定される。
【0131】
（１）対象物が含まれると判定された場合（対象領域が特定された場合）
画像認識部５１０において対象物が含まれると判定され、対象領域情報が通知された場合、エンコーダ部５３０では、動画像に対して、対象領域と対象領域以外の領域とで異なる量子化値を用いて符号化処理を行うことで、符号化データを生成する。
画像認識部５１０において対象物が含まれると判定され、対象領域情報が通知された場合、エンコーダ部５３０では、動画像に対して、対象領域と対象領域以外の領域とで異なる量子化値を用いて符号化処理を行うことで、符号化データを生成する。
【0132】
具体的には、「対象領域の量子化値＞対象領域以外の領域の量子化値」となる量子化値を用いて符号化処理を行うことで、符号化データを生成する。
【0133】
図７の具体例の場合、動画像のフレーム７１０には、１つの対象物と、対象物以外の２つの物体とが含まれる。
【0134】
図７の具体例に示すように、動画像のフレーム７１０に対して、エンコーダ部５３０が、対象領域と対象領域以外の領域とで異なる量子化値を用いて符号化処理を行うことで、符号化データ７１１を生成する。符号化データ７１１において、ハッチングされた領域（対象領域以外の領域）は、白色の領域（対象領域）よりも、小さい量子化値を用いて符号化処理が行われたことを表している。
【0135】
（２）対象物が含まれないと判定された場合（対象領域が特定されなかった場合）
画像認識部５１０において対象物が含まれないと判定され、対象領域情報が通知されなかった場合、エンコーダ部５３０では、動画像の各フレームについて、フレーム全体の量子化値を変更して符号化処理を行うことで、符号化データを生成する。
画像認識部５１０において対象物が含まれないと判定され、対象領域情報が通知されなかった場合、エンコーダ部５３０では、動画像の各フレームについて、フレーム全体の量子化値を変更して符号化処理を行うことで、符号化データを生成する。
【0136】
具体的には、「対象物を含むフレームの対象領域の量子化値＞対象物を含まないフレームの量子化値」となる量子化値を用いて符号化処理を行うことで、符号化データを生成する。
【0137】
図７の具体例の場合、動画像のフレーム７２０には、対象物以外の２つの物体のみが含まれ、対象物は含まれていない。
【0138】
図７の具体例に示すように、動画像のフレーム７２０に対して、エンコーダ部５３０が、フレーム全体の量子化値を変更して符号化処理を行うことで、符号化データ７２１を生成する。符号化データ７２１において、ハッチングされたフレームは、対象物を含むフレームの対象領域の量子化値よりも低い量子化値を用いて、符号化処理が行われたことを表している。
【0139】
（３）共通の処理
画像認識部５１０において対象物が含まれると判定されたか否かによらず、エンコーダ部５３０では、動画像の各フレームに対して、キーフレームの間隔を変更して符号化処理を行うことで、符号化データを生成する。
画像認識部５１０において対象物が含まれると判定されたか否かによらず、エンコーダ部５３０では、動画像の各フレームに対して、キーフレームの間隔を変更して符号化処理を行うことで、符号化データを生成する。
【0140】
図７の具体例において、動画像のフレーム群７３０、７３１の太線枠のフレームは、キーフレームであることを表している。
【0141】
このうち、動画像のフレーム群７３０は、キーフレーム間隔を変更する前のキーフレーム間隔を示している。一方、動画像のフレーム群７３１は、キーフレーム間隔を変更した後のキーフレーム間隔を示している。
【0142】
このように、エンコーダ部５３０は、動画像のフレーム群に対して、キーフレーム間隔を拡げて符号化処理を行う。
【0143】
＜各ケースにおける作業者端末の動作例＞
次に、作業現場において作業者端末１１０を利用する各ケース（ここでは、作業者端末１１０を利用して現地調査を行うケース、及び、設備メンテナンスを行うケース）での作業者端末１１０の動作例について説明する。図８は、各ケースにおける作業者端末の動作例を示す図である。
次に、作業現場において作業者端末１１０を利用する各ケース（ここでは、作業者端末１１０を利用して現地調査を行うケース、及び、設備メンテナンスを行うケース）での作業者端末１１０の動作例について説明する。図８は、各ケースにおける作業者端末の動作例を示す図である。
【0144】
図１において説明したように、符号１４１は、作業現場において、作業者１５１が現地調査を行う際に作業者端末１１０を利用するケースを示している。
【0145】
図８の例は、現地調査において、ビル到着時に作業者端末１１０により撮影された動画像は、解像度を下げる前処理が行われたうえで、量子化値を下げて符号化処理が行われ、中品質の符号化データとして伝送されることを示している。
【0146】
同様に、共有部の移動中に作業者端末１１０により撮影された動画像は、解像度を下げる前処理が行われたうえで、量子化値を下げて符号化処理が行われ、中品質の符号化データとして伝送されることを示している。
【0147】
また、私有部の移動中に作業者端末１１０により撮影された動画像は、各フレームを静止画像に置き換える前処理が行われたうえで、量子化値を下げて符号化処理が行われ、低品質の符号化データとして伝送されることを示している。
【0148】
また、更新対象エリアにおいて作業者端末１１０により撮影された動画像は、解像度を下げる前処理が行われたうえで、量子化値を下げて符号化処理が行われ、中品質の符号化データとして伝送されることを示している。
【0149】
また、非対象エリアにおいて作業者端末１１０により撮影された動画像は、各フレームを静止画像に置き換える前処理が行われたうえで、量子化値を下げて符号化処理が行われ、低品質の符号化データとして伝送されることを示している。
【0150】
また、私有部の移動中に作業者端末１１０により撮影された動画像は、各フレームを静止画像に置き換える前処理が行われたうえで、量子化値を下げて符号化処理が行われ、低品質の符号化データとして伝送されることを示している。
【0151】
また、共有部の移動中に作業者端末１１０により撮影された動画像は、解像度を下げる前処理が行われたうえで、量子化値を下げて符号化処理が行われ、中品質の符号化データとして伝送されることを示している。
【0152】
一方、符号１４２は、作業現場において、作業者１５２が設備メンテナンスを行う際に作業者端末１１０を利用するケースを示している。
【0153】
図８の例は、設備メンテナンスにおいて、移動中に作業者端末１１０により撮影された動画像は、フレーム全体の解像度を下げる前処理とフレームレートを下げる前処理とが行われ、低品質の符号化データとして伝送されることを示している。
【0154】
また、外観チェック中に作業者端末１１０により撮影された動画像は、室外機の領域以外の領域について、解像度を下げる前処理が行われたうえで、量子化値を下げて符号化処理が行われ、高品質の符号化データとして伝送されることを示している。
【0155】
また、内部チェック中に作業者端末１１０により撮影された動画像は、特定部品の領域を抽出して静止画像と結合する前処理が行われたうえで、背景領域について量子化値を下げて符号化処理が行われ、高品質の符号化データとして伝送されることを示している。
【0156】
また、移動中に作業者端末１１０により撮影された動画像は、フレーム全体の解像度を下げる前処理とフレームレートを下げる前処理とが行われ、低品質の符号化データとして伝送されることを示している。
【0157】
また、部品交換中に作業者端末１１０により撮影された動画像は、特定部品の領域を抽出し、静止画像と結合する前処理が行われたうえで、背景領域について量子化値を下げて符号化処理が行われ、高品質の符号化データとして伝送されることを示している。
【0158】
また、動作確認中に作業者端末１１０により撮影された動画像は、解像度を下げる前処理が行われ、中品質の符号化データとして伝送されることを示している。
【0159】
また、移動中に作業者端末１１０により撮影された動画像は、フレーム全体の解像度を下げる前処理とフレームレートを下げる前処理が行われ、低品質の符号化データとして伝送されることを示している。
【0160】
＜動画像処理の流れ＞
次に、作業者端末１１０による動画像処理の流れについて説明する。図９は、動画像処理の流れを示すフローチャートである。
次に、作業者端末１１０による動画像処理の流れについて説明する。図９は、動画像処理の流れを示すフローチャートである。
【0161】
ステップＳ９０１において、加工制御部３２０は、作業者による撮影モードの入力を受け付ける。
【0162】
ステップＳ９０２において、加工制御部３２０は、作業者による割当通信量及び通信時間上限値の入力を受け付ける。
【0163】
ステップＳ９０３において、加工制御部３２０は、作業者により入力された撮影モード、及び、割当通信量、通信時間上限値に応じたパラメータセットを読み出し、加工部３３０に通知する。
【0164】
ステップＳ９０４において、カメラ制御部３１０は、作業者による撮影開始の指示を受け付ける。
【0165】
ステップＳ９０５において、カメラ制御部３１０は、動画像の取り込みを開始する。
【0166】
ステップＳ９０６において、加工部３３０は、取得された動画像に対して、加工処理を行い、符号化データを生成する。なお、加工処理の詳細は、図１０を用いて後述する。
【0167】
ステップＳ９０７において、送信部３４０は、生成された符号化データを伝送する通信制御処理を行う。なお、通信制御処理の詳細は、図１１を用いて後述する。
【0168】
ステップＳ９０８において、カメラ制御部３１０は、動画像処理を終了するか否かを判定する。ステップＳ９０８において、動画像処理を終了しないと判定した場合には（ステップＳ９０８においてＮｏの場合には）、ステップＳ９０５に戻る。一方、ステップＳ９０８において、動画像処理を終了すると判定した場合には（ステップＳ９０８においてＹｅｓの場合には）、動画像処理を終了する。
【0169】
【0170】
ステップＳ１００１において、画像認識部５１０は、取得された動画像に対して画像認識処理を行う。
【0171】
ステップＳ１００２において、画像認識部５１０は、画像認識処理により特定された対象領域情報及びシーン特定結果を、前処理部５２０及びエンコーダ部５３０に通知する。
【0172】
ステップＳ１００３において、前処理部５２０は、動画像に対して、パラメータセットと、対象領域情報及びシーン特定結果とに基づく前処理（抽出処理、解像度変更処理、結合処理、間引き処理、全体解像度変更処理、置換処理等）を行う。
【0173】
ステップＳ１００４において、エンコーダ部５３０は、前処理後の動画像に対して、パラメータセットと、対象領域情報及びシーン特定結果とに基づく符号化処理を行い、符号化データを生成する。
【0174】
ステップＳ１００５において、送信部３４０は、管理者端末１２０に符号化データを伝送する。
【0175】
【0176】
ステップＳ１１０１において、監視部３５０は、送信部３４０により管理者端末１２０に伝送される符号化データの通信量（または通信時間）を監視する。
【0177】
ステップＳ１１０２において、監視部３５０は、送信部３４０による通信量（または通信時間）が、割当通信量（または通信時間上限値）を超えたか否かを判定する。
【0178】
ステップＳ１１０２において、送信部３４０による通信量が、割当通信量（または通信時間上限値）を超えていないと判定した場合には（ステップＳ１１０２においてＮｏの場合には）、ステップＳ１１０３に進む。
【0179】
ステップＳ１１０３において、監視部３５０は、送信部３４０による通信量（または通信時間）が、割当通信量（または通信時間上限値）の所定比率（ｘ％）を超えたか否かを判定する。ステップＳ１１０３において、割当通信量（または通信時間上限値）の所定比率（ｘ％）を超えていないと判定した場合には（ステップＳ１１０３においてＮｏの場合には）、図９のステップＳ９０８に戻る。
【0180】
一方、ステップＳ１１０３において、割当通信量（または通信時間上限値）の所定比率（ｘ％）を超えたと判定した場合には（ステップＳ１１０３においてＹｅｓの場合には）、ステップＳ１１０４に進む。
【0181】
ステップＳ１１０４において、監視部３５０は、加工制御部３２０が加工部３３０に対して新たなパラメータセットを、既に通知したか否かを判定する。
【0182】
ステップＳ１１０４において、新たなパラメータセットを未だ通知していないと判定した場合には（ステップＳ１１０４においてＮｏの場合には）、ステップＳ１１０５に進む。
【0183】
ステップＳ１１０５において、加工制御部３２０は、加工部３３０に対して、新たなパラメータセットを通知した後、ステップＳ１１０６に進む。なお、加工制御部３２０では、新たな割当通信量（または新たな通信時間上限値）を指定し、指定した新たな割当通信量（または新たな通信時間上限値）に応じた新たなパラメータセットを加工部３３０に通知する。この場合、加工制御部３２０は、パラメータを変更する変更部として機能する。
【0184】
一方、ステップＳ１１０４において、新たなパラメータセットを既に通知したと判定した場合には（ステップＳ１１０４においてＹｅｓの場合には）、直接、ステップＳ１１０６に進む。
【0185】
ステップＳ１１０６において、監視部３５０は、作業者に対して、使用可能な通信量（または通信時間）を報知した後、図９のステップＳ９０８に戻る。
【0186】
一方、ステップＳ１１０２において、送信部３４０による通信量（または通信時間）が、割当通信量（または通信時間上限値）を超えたと判定した場合には（ステップＳ１１０２においてＹｅｓの場合には）、ステップＳ１１０７に進む。
【0187】
ステップＳ１１０７において、監視部３５０は、作業者１５１、１５２等に対して警告を出力した後に、送信部３４０による符号化データの伝送を中断（強制終了）し、図９のステップＳ９０８に戻る。なお、この場合、送信部３４０では、以降、加工部３３０により生成された符号化データを、管理者端末１２０に伝送することなく、所定の格納部に格納する。
【0188】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る作業者端末１１０は、
・作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する管理者端末と接続され、動画像を符号化して伝送する。
・動画像を撮影するカメラを有し、カメラが撮影した動画像に対して認識処理を行うことで、対象領域を特定する。
・動画像に対して対象領域が特定された場合、動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する。
以上の説明から明らかなように、第１の実施形態に係る作業者端末１１０は、
・作業者による機器の据え付け、修理、点検、撤去のいずれかを含む作業を、作業現場で撮影される動画像に基づき、遠隔から支援する管理者端末と接続され、動画像を符号化して伝送する。
・動画像を撮影するカメラを有し、カメラが撮影した動画像に対して認識処理を行うことで、対象領域を特定する。
・動画像に対して対象領域が特定された場合、動画像を、対象領域と対象領域以外の領域とで、伝送時の単位面積当たりのデータ量が異なるように加工する。
【0189】
これにより、第１の実施形態に係る作業者端末１１０によれば、作業者端末を利用して動画像を伝送する際、対象領域の画質を維持しつつ、通信量を削減することができる。
【0190】
［第２の実施形態］
上記第１の実施形態では、作業現場において現地調査及び設備メンテナンスを行う際の作業者端末１１０の動作例について説明した。しかしながら、他のケース（設備点検、施工サポート等）についても同様に作業者端末１１０を動作させることで、対象領域の画質を維持しつつ、通信量を減らすことができることはいうまでもない。
上記第１の実施形態では、作業現場において現地調査及び設備メンテナンスを行う際の作業者端末１１０の動作例について説明した。しかしながら、他のケース（設備点検、施工サポート等）についても同様に作業者端末１１０を動作させることで、対象領域の画質を維持しつつ、通信量を減らすことができることはいうまでもない。
【0191】
また、上記第１の実施形態では、画像認識部５１０が画像認識処理を行う際、シーンごとに予め定められた条件（シーン条件）を参照することにより、シーン（作業内容の種類）を特定するものとして説明した。
【0192】
しかしながら、シーン（作業内容の種類）の特定方法は、これに限定されず、例えば、作業者が作業者端末１１０に入力した入力情報に基づいて特定してもよい。具体的には、作業者端末１１０は、それぞれのシーンを示すシーン情報を予め有しており、作業者により入力された入力情報がいずれのシーン情報に該当するかを判定することで、シーンを特定してもよい。
【0193】
あるいは、シーンごとに予め定められた画像情報を参照し、動画像にいずれの画像情報が含まれるかを判定することで、シーンを特定してもよい。
【0194】
また、上記第１の実施形態では、作業者端末１１０に監視部を配し、通信量（または通信時間）を監視する構成とした。しかしながら、作業者端末１１０に更に、予測部を配し、例えば、送信部による通信量（または通信時間）が割当通信量（または通信時間上限値）を超えた場合に、追加の通信時間または追加の通信量を予測するように構成してもよい。これにより、作業者１５１、１５２等は、追加で発生するコストを予め把握することができる。
【0195】
また、上記第１の実施形態では、作業者１５１、１５２等が撮影モードを入力することにより（更には、通信時間上限値または割当通信量を入力することにより）、１のパラメータセットが選択されるものとして説明した。しかしながら、１のパラメータセットは、作業者１５１、１５２等が直接選択するように構成してもよい。
【0196】
また、上記第１の実施形態では、パラメータ格納部３６０が、作業者端末１１０の補助記憶装置２０３において実現されるものとして説明した。しかしながら、パラメータ格納部３６０は、例えば、管理者端末１２０の補助記憶装置において実現されてもよい。この場合、作業者端末１１０は、ネットワーク１３０を介して管理者端末１２０よりパラメータセットを取得することになる。
【0197】
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
【符号の説明】
【0198】
１００ ：遠隔支援システム
１１０ ：作業者端末
１２０ ：管理者端末
２０４ ：操作装置
２０５ ：表示装置
２０６ ：撮像装置
２０７ ：通信装置
２０８ ：音声入力装置
２０９ ：音声出力装置
３１０ ：カメラ制御部
３２０ ：加工制御部
３３０ ：加工部
３４０ ：送信部
３５０ ：監視部
４１０～４４０ ：パラメータセット
４１１～４４１ ：パラメータセット
５１０ ：画像認識部
５２０ ：前処理部
５３０ ：エンコーダ部
１１０ ：作業者端末
１２０ ：管理者端末
２０４ ：操作装置
２０５ ：表示装置
２０６ ：撮像装置
２０７ ：通信装置
２０８ ：音声入力装置
２０９ ：音声出力装置
３１０ ：カメラ制御部
３２０ ：加工制御部
３３０ ：加工部
３４０ ：送信部
３５０ ：監視部
４１０～４４０ ：パラメータセット
４１１～４４１ ：パラメータセット
５１０ ：画像認識部
５２０ ：前処理部
５３０ ：エンコーダ部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】