(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-09
(45)【発行日】2022-12-19
(54)【発明の名称】撮像装置、撮像装置の制御方法及びプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20221212BHJP
H04N 7/18 20060101ALI20221212BHJP
G03B 7/00 20210101ALI20221212BHJP
G03B 17/00 20210101ALI20221212BHJP
【ＦＩ】
H04N5/232 960
H04N5/232 300
H04N7/18 K
G03B7/00
G03B17/00 Q
【請求項の数】
9
(21)【出願番号】P 2018025192
(22)【出願日】2018-02-15
(65)【公開番号】P2019140649
(43)【公開日】2019-08-22
【審査請求日】2021-02-10
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100125254
【弁理士】
【氏名又は名称】別役 重尚
(72)【発明者】
【氏名】平野 洋
(72)【発明者】
【氏名】時岡 正樹
(72)【発明者】
【氏名】深堀 謙哉
(72)【発明者】
【氏名】小俣 岳士
(72)【発明者】
【氏名】▲高▼橋 広幸
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開２０１３－０７４４５１（ＪＰ，Ａ）
【文献】特開２００９－０１０９８７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
Ｈ０４Ｎ ７／１８
Ｇ０３Ｂ ７／００
Ｇ０３Ｂ １７／００
(57)【特許請求の範囲】
【請求項1】
撮像された画像からマーカーを検出するマーカー検出手段と、前記検出されたマーカーに関連付けられた情報に基づいて前記画像から部分画像を切り出す画像切り出し手段と、を備え、
前記画像切り出し手段は、前記検出されたマーカーの特徴に基づいて、前記部分画像の基準座標とサイズを決定することを特徴とする撮像装置。
【請求項2】
光学ズーム機能と電子ズーム機能を備え、
前記マーカーを含む画像は前記光学ズーム機能を用いて取得され、前記部分画像は前記電子ズーム機能を用いて提供されることを特徴とする請求項１記載の撮像装置。
【請求項3】
前記マーカー検出手段は、予め登録された前記マーカーの検出条件に従い、前記撮像された画像から前記マーカーを検出することを特徴とする請求項１又は２記載の撮像装置。
【請求項4】
前記画像切り出し手段は、前記検出されたマーカーの位置情報、前記検出されたマーカーのサイズ情報及び前記検出されたマーカーの特徴に関連付けられた基準位置情報に基づいて、前記部分画像の基準座標を決定することを特徴とする請求項１記載の撮像装置。
【請求項5】
前記画像切り出し手段は、前記検出されたマーカーの位置情報、前記検出されたマーカーのサイズ情報及び前記検出されたマーカーの特徴に関連付けられた基準位置情報及びサイズ情報に基づいて、前記部分画像を切り出す範囲を決定することを特徴とする請求項１又は４記載の撮像装置。
【請求項6】
ユーザが入力する前記基準位置情報及び前記サイズ情報を前記マーカーの特徴に関連付けて記憶するための情報記憶手段をさらに備えることを特徴とする請求項５記載の撮像装置。
【請求項7】
前記マーカーの画像を取得し、該取得されたマーカーの画像から特徴を抽出する特徴抽出手段をさらに備え、前記情報記憶手段は、前記ユーザが入力する前記基準位置情報及び前記サイズ情報を前記抽出されたマーカーの特徴に関連付けて記憶することを特徴とする請求項６記載の撮像装置。
【請求項8】
撮像装置の制御方法であって、撮像された画像からマーカーを検出するマーカー検出工程と、
前記検出されたマーカーに関連付けられた情報に基づいて前記画像から部分画像を切り出す画像切り出し工程と、を有し、
前記画像切り出し工程では、前記検出されたマーカーの特徴に基づいて、前記部分画像の基準座標とサイズを決定することを特徴とする撮像装置の制御方法。
【請求項9】
撮像装置の制御方法をコンピュータに実行させるプログラムであって、前記制御方法は、
撮像された画像からマーカーを検出するマーカー検出工程と、
前記検出されたマーカーに関連付けられた情報に基づいて前記画像から部分画像を切り出す画像切り出し工程と、を有し、
前記画像切り出し工程では、前記検出されたマーカーの特徴に基づいて、前記部分画像の基準座標とサイズを決定することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、主被写体を特定するのが困難な現場で用いられる撮像装置、撮像装置の制御方法及びプログラムに関する。
【背景技術】
【0002】
近年、カメラやモバイル等の撮像装置では、被写体認識技術や被写体追尾技術の性能が向上し、これに伴い、例えば、顔認識技術と電子ズーム技術を用いて理想的な構図の画像を得る技術が提案されている（例えば、特許文献１参照）。また、撮像装置の小型化も進み、撮影者の体の一部に装着して撮像可能なカメラ（ウェラブルカメラ）も普及している。さらに、ネットワーク技術の高度化に伴って撮像された映像をネットワークを介して高速ストリーミング配信するカメラも普及している。これらの技術の発展に基づいてウェラブルカメラを用いる遠隔作業システムが開発されている。この遠隔作業システムでは、例えば、作業現場で作業者が装着したウェラブルカメラが撮像した映像を、作業現場から離れた場所の作業指示者が確認し、作業指示者は作業者に対して作業指示を行う。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００７－２７９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した遠隔作業システムでは、作業者が作業を行うために動くとウェラブルカメラが撮像した映像の画角や撮像方向が変化するために、作業指示者は作業対象となる主被写体を特定することが困難となる。また、ウェラブルカメラが撮像した映像には多種の被写体が映り込む可能性があるため、やはり、作業指示者は作業対象となる主被写体を特定することが困難となる。その結果、遠隔作業の継続が困難となるおそれがある。
【0005】
本発明の目的は、主被写体を特定しやすい映像を得ることができる撮像装置、撮像装置の制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の撮像装置は、撮像された画像からマーカーを検出するマーカー検出手段と、前記検出されたマーカーに関連付けられた情報に基づいて前記画像から部分画像を切り出す画像切り出し手段と、を備え、前記画像切り出し手段は、前記検出されたマーカーの特徴に基づいて、前記部分画像の基準座標とサイズを決定することを特徴とする。
【発明の効果】
【0007】
本発明によれば、主被写体を特定しやすい画像を得ることができる。
【図面の簡単な説明】
【0008】
【図1】本発明の第１の実施の形態に係る撮像装置としての作業者カメラを含む遠隔作業システムの構成を概略的に示す図である。
【図4】マーカーを説明するための図である。
【図5】マーカーと切り出し範囲の切り出し基準位置及び切り出しサイズとの関係を説明するための図である。
【図6】画角や撮像方向が異なる複数の光学画像の各々から切り出し画像を切り出す手法を説明するための図である。
【図7】マーカーの登録について説明するための工程図である。
【図8】本発明の第１の実施の形態において作業者カメラが実行する撮像処理を示すフローチャートである。
【図9】本発明の第２の実施の形態における課題を説明するための図である。
【図10】本発明の第２の実施の形態に係る撮像装置としての作業者カメラの機能的構成を概略的に示すブロック図である。
【図11】本発明の第２の実施の形態において作業者カメラが実行する画像切替処理を示すフローチャートである。
【図12】光学画像の移動許容範囲の算出方法を説明するための図である。
【図13】情報処理端末の画面に表示される画像が光学画像に切り替えられた状態を説明するための図である。
【発明を実施するための形態】
【0009】
以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。まず、本発明の第１の実施の形態について説明する。
【0010】
図１は、本実施の形態に係る撮像装置としての作業者カメラを含む遠隔作業システムの構成を概略的に示す図である。図１において、遠隔作業システム１００は、作業者１０１が身につけるウェラブルカメラとしての作業者カメラ１０２と、作業者１０１から遠隔の地に存在する作業指示者１０３が使用する情報処理端末１０４とを備える。この遠隔作業システム１００では、作業指示者１０３は作業者１０１の作業場所を直接確認することができない。また、作業者カメラ１０２は作業対象物が載置される作業台１０５を撮像しやすいように作業者１０１の腕や頭部等に装着され、作業台１０５の付近の画像を撮像する。情報処理端末１０４は、例えば、ＰＣやモバイル端末であり、画像を表示するディスプレイを有する。作業者カメラ１０２は、Wi-Fi、3G/4G、Bluetooth（登録商標）等規格を利用する無線通信部を有し、当該無線通信部によってネットワーク１０６を介して情報処理端末１０４に画像を送信する。作業指示者１０３は、作業者１０１が装着した作業者カメラ１０２から送信された画像を情報処理端末１０４で確認しながら、作業者１０１に対して携帯電話や無線機等を用いて音声等で作業指示を伝える。作業台１０５には、作業対象物（主被写体）とマーカー１０７が載置されている。マーカー１０７は、例えば、特定の形状、色やパターンを有する物理的な目印であり、その形状等が予め作業者カメラ１０２に登録される。作業者１０１は作業対象物の中で特に注目すべき部分の近辺にマーカー１０７を配置する。
【0011】
図２は、図１における作業者カメラの機能的構成を概略的に示すブロック図である。図２において、作業者カメラ１０２は、撮像部２０１、記憶部２０２、制御部２０３、電源部２０４、外部Ｉ／Ｆ２０５、操作部２０６及び表示部２０７を備える。作業者カメラ１０２では、特に、撮像部２０１、記憶部２０２や制御部２０３が協働して光学ズーム機能や電子ズーム機能が実現される。撮像部２０１は、レンズ２０１Ａ、撮像センサ２０１Ｂ及び絞り２０１Ｃを有する。レンズ２０１ＡはＡＦ制御が実行される際に、駆動系（図示しない）によって移動される。記憶部２０２は、撮像や格納に関するユーザの設定やマーカー１０７の検出に用いるマーカーの検出条件を格納するメモリ等からなる。また、記憶部２０２は、電子ズーム機能によって得られる切り出し画像の切り出し基準位置情報や拡大倍率情報（切り出しサイズ情報）等を格納する情報記憶手段として機能する。切り出し基準位置情報や拡大倍率情報は各種マーカーの特徴（形状、色やパターン）に関連付けられて格納される。
【0012】
制御部２０３は、撮像部２０１のメカ制御や露出制御等を行って画像を撮像する。また、制御部２０３は、記憶部２０２、電源部２０４、外部Ｉ／Ｆ２０５、操作部２０６及び表示部２０７を制御する。さらに、制御部２０３は、記憶部２０２に格納されたマーカーの検出条件に従い、光学ズーム機能を用いて撮像された画像からマーカー１０７を検出するマーカー検出手段として機能する。また、制御部２０３は、検出されたマーカー１０７の撮像された画像における位置やサイズを取得するマーカー情報取得手段として機能する。さらに、制御部２０３は、検出されたマーカー１０７に関連付けられた切り出し基準位置情報や切り出しサイズ情報に基づいて撮像された画像から切り出し画像（部分画像）を切り出す画像切り出し手段として機能する。また、制御部２０３は、撮像された画像から切り出し画像を切り出すために電子ズーム機能を用いる。
【0013】
外部Ｉ／Ｆ２０５は外部機器と有線又は無線等で通信を行う。操作部２０６は作業者１０１や作業指示者１０３等のユーザから操作を受け付ける。操作部２０６は撮像された画像を表示する。なお、作業者カメラ１０２はスロット（図示しない）を有し、該スロットへはフラッシュメモリ等の記憶媒体が挿入可能であり、挿入された記憶媒体へ撮像した画像のデータを格納することもできる。
【0014】
次に、本実施の形態に係る撮像装置の制御方法として、図１の遠隔作業システムにおける切り出し画像の作成処理について説明する。図３は、図１の遠隔作業システムにおける切り出し画像の作成処理を説明するためのシーケンス図である。なお、図３の処理は、原則として、予め格納されていたプログラム等に従って制御部２０３が実行する。図３において、まず、作業者１０１が装着している作業者カメラ１０２の電源をＯＮにする（Ｓ３０１）。その後、起動された作業者カメラ１０２は起動処理を実行する（Ｓ３０２）。次いで、作業者カメラ１０２は、記憶部２０２に格納されているマーカーの検出条件を読み出し（ロードし）（Ｓ３０３）、光学ズーム機能を用いて撮像された画像からマーカーを検出するマーカー検出処理を実行する（Ｓ３０４）。マーカー検出処理では、テンプレートマッチング法等の公知の技術を用いてマーカーを検出する。
【0015】
マーカー検出処理においてマーカーの検出に失敗した場合、作業者カメラ１０２は作業台１０５にマーカーが載置されていないと判定し、光学ズーム機能を用いて撮像された画像をそのまま情報処理端末１０４へ送信する（Ｓ３０５）。光学ズーム機能を用いて撮像された画像は、当該画像から切り出される切り出し画像に比べて比較的広角である。以下、光学ズーム機能を用いて撮像された画像を「光学画像」と称する。
【0016】
ところで、作業者カメラ１０２の電源をＯＮにする前や後に、作業者１０１が作業台１０５にマーカーを載置すると（Ｓ３０６）、マーカー検出処理においてマーカーの検出に成功する。このとき、制御部２０３は光学画像からマーカーの位置を取得し（Ｓ３０７）、さらに、マーカーのサイズを取得する（Ｓ３０８）。ここで、取得されるマーカーの位置は、光学画像におけるマーカーの左上の画素ピクセルの座標である。なお、マーカーは、上述したように、作業対象物の中で特に注目すべき部分（主被写体）の近辺に作業者１０１が配置する。例えば、作業対象物へ、図４に示すように、アルファベットの文字列が付され、特に「ＨＩ」の部分に注目する場合、当該「ＨＩ」の部分の近傍へマーカー４００が配置される。本実施の形態において、マーカー４００には、切り出し基準位置情報として「右上端」が関連付けられ、拡大倍率情報として「７倍」が関連付けられる。
【0017】
次いで、制御部２０３は、記憶部２０２からマーカー４００に関連付けられた切り出し基準位置情報を取得し（Ｓ３０９）、さらに、拡大倍率情報を取得する（Ｓ３１０）。その後、制御部２０３は、光学画像において切り出し画像としての切り出し範囲を決定する（Ｓ３１１）。具体的には、図５に示すように、検出されたマーカー４００の右上端を切り出し基準位置（基準座標）とし、水平方向にマーカー４００の水平方向のサイズの７倍のサイズの範囲を切り出し範囲として決定する（図中の破線で示す矩形を参照。）。ここで、切り出し基準位置はマーカー４００の位置とマーカー４００の水平方向のサイズから画素ピクセルの座標として算出される。切り出し範囲の垂直方向のサイズは、例えば、作業者カメラ１０２のアスペクト比の設定に基づいて水平方向のサイズから算出される。なお、Ｓ３０９及びＳ３１０では、制御部２０３が特徴抽出手段として、検出されたマーカー４００の特徴（形状、色やパターン）を抽出し、抽出された特徴に関連付けられた切り出し基準位置情報や拡大倍率情報を取得する。その後、決定された切り出し範囲に基づき、電子ズーム機能によって光学画像から切り出し画像が切り出され、当該切り出し画像が情報処理端末１０４へ送信される（Ｓ３１２）。
【0018】
ところで、作業者１０１が作業対象物に対する作業を行う際、作業者１０１が動くことによって光学画像の画角や撮像方向が変化する。例えば、作業者カメラ１０２が図４の作業対象物を撮像する場合であっても、作業者１０１が動くと、図６（Ａ）乃至図６（Ｃ）に示すような、互いに画角や撮像方向が異なる光学画像が撮像される。例えば、図６（Ａ）を基準状態とすると、図６（Ｂ）は作業者１０１が作業対象物に近づいた状態を示し、図６（Ｃ）は作業者１０１とともに作業者カメラ１０２が右を向いた状態を示す。これらの光学画像に対してＳ３０７乃至Ｓ３１１の処理を実行すると、いずれの光学画像からも、マーカー４００の右上端を切り出し基準位置とし、マーカー４００の水平方向のサイズの７倍のサイズの切り出し画像６００が得られる（図６（Ｄ））。ここで、作業対象物に対するマーカー４００の相対的な位置や大きさは変わらず、また、いずれの光学画像においても同じマーカー４００を基準として切り出し画像６００を得ることから、いずれの光学画像からも同じ切り出し画像６００が得られる。具体的には、図６（Ｂ）に示すように、作業者１０１が作業対象物に近づいた場合、光学画像において作業対象物が大きく写るが、相対的にマーカー４００も大きく写る。これにより、相対的にマーカー４００の大きさを基準とする切り出し画像６００も大きくなる。その結果、切り出し画像６００に含まれる注目すべき部分（「ＨＩ」）は、図６（Ａ）に示す場合の切り出し画像６００に含まれる注目すべき部分（「ＨＩ」）と変わらない。また、図６（Ｃ）に示すように、作業者カメラ１０２が右を向いた場合、光学画像において注目すべき部分（「ＨＩ」）が移動するが、相対的にマーカー４００も移動する。これにより、相対的にマーカー４００を基準とする切り出し画像６００も移動する。その結果、切り出し画像６００に含まれる注目すべき部分（「ＨＩ」）も、図６（Ａ）に示す場合の切り出し画像６００に含まれる注目すべき部分（「ＨＩ」）と変わらない。すなわち、作業者カメラ１０２によって撮像される画像の画角や撮像方向が変化しても、同じ内容の切り出し画像６００を得ることができる。
【0019】
次いで、作業指示者１０３は送信された切り出し画像や光学画像を確認し（Ｓ３１３）、作業者１０１へ作業指示を伝える（Ｓ３１４）。作業指示を伝えられた作業者１０１は、当該作業指示に基づいて作業を行う（Ｓ３１５）。なお、本実施の形態では、一旦、Ｓ３０１において作業者カメラ１０２の電源がＯＮにされると、Ｓ３０２乃至Ｓ３１５の処理が定期的に繰り返して実行される。
【0020】
図３の処理によれば、作業者カメラ１０２によって撮像される画像の画角や撮像方向が変化しても、同じ内容の切り出し画像６００を得ることができる。その結果、同じ内容の切り出し画像６００を作業指示者１０３へ安定して提供することができ、作業指示者１０３は作業対象物の注目すべき部分を特定しやすい画像を得ることができる。
【0021】
なお、本実施の形態では、切り出し基準位置情報が「右上端」であり、拡大倍率情報が「７倍」であったが、切り出し基準位置情報や拡大倍率情報はこれらに限られるものではない。さらに、切り出し基準位置がマーカー４００そのものに存在していなくてもよく、例えば、マーカー４００から少しオフセットされた位置が切り出し基準位置であってもよい。
【0022】
次に、本実施の形態におけるマーカーの登録処理について説明する。図７は、作業者カメラ１０２において実行されるマーカー登録処理を説明するための工程図である。マーカー登録処理では、マーカーの特徴（形状、色やパターン）と切り出し基準位置情報や拡大倍率情報が関連付けられて保存される。また、作業者カメラ１０２がマーカーを含む画像を撮像していることがマーカー登録処理を実行する前提となる。
【0023】
例えば、図７（Ａ）に示すようなマーカー７００を登録する場合、まず、制御部２０３は、図７（Ｂ）に示すような、新規マーカー登録画面７０１を表示部２０７に表示させる。新規マーカー登録画面７０１は、マーカー取り込みガイド枠７０２を有し、作業者カメラ１０２が撮像した画像（光学画像）の一部がマーカー取り込みガイド枠７０２に表示される。
【0024】
次いで、制御部２０３はユーザへ、マーカー取り込みガイド枠７０２にマーカー７００が表示されるように、作業者カメラ１０２の画角や撮像方向を調整することを促す。その後、マーカー取り込みガイド枠７０２にマーカー７００が表示されると、制御部２０３は、さらに、図７（Ｃ）に示すような、切り出し情報設定画面７０３を表示部２０７に表示させる。切り出し情報設定画面７０３は、切り出し基準位置情報を設定するための基準位置設定枠７０４と、拡大倍率情報を設定するための拡大倍率設定枠７０５とを有する。
【0025】
次いで、制御部２０３はユーザへ、基準位置設定枠７０４に切り出し基準位置情報を入力し、さらに、拡大倍率設定枠７０５に拡大倍率情報を入力することを施す。そして、ユーザが基準位置設定枠７０４へ、例えば、「左下端」を入力し、さらに、拡大倍率設定枠７０５へ、例えば、「１０」倍を入力すると、制御部２０３は、マーカー取り込みガイド枠７０２に表示されたマーカー７００の特徴を抽出する。このとき、マーカー７００の特徴として、例えば、形状、色やパターンが抽出され、これらがマーカーの検出条件として記憶部２０２に格納される。また、制御部２０３は、抽出したマーカー７００の特徴へ基準位置設定枠７０４や拡大倍率設定枠７０５へ入力された基準位置や拡大倍率を関連付けて記憶部２０２に格納する。これにより、新規なマーカーを基準位置や拡大倍率とともに作業者カメラ１０２へ登録することができる。
【0026】
図７の処理によれば、基準位置設定枠７０４や拡大倍率設定枠７０５に基準位置や拡大倍率を入力するだけで、表示されるマーカー７００とこれらの情報を関連付けて登録することができる。これにより、新規なマーカーの登録に関するユーザの利便性を向上させることができる。
【0027】
次に、本実施の形態における撮像処理について説明する。図８は、作業者カメラが実行する撮像処理を示すフローチャートである。この撮像処理は、例えば、図３のＳ３０４、Ｓ３０５の処理を実行する際やＳ３０７乃至Ｓ３１２の処理を実行する際に並行して制御部２０３により、実行される。
【0028】
まず、制御部２０３は、Ｓ３０４と同様のマーカー検出処理を実行し、光学画像においてマーカーが検出されるか否かを判定する（Ｓ８０１）。マーカーが検出された場合、制御部２０３は、検出されたマーカーの特徴（形状、色やパターン）を解析し（Ｓ８０２）、シフト量取得手段として予め記憶部２０２に格納されているフォーカスシフト量（焦点シフト量）を取得する（Ｓ８０３）。フォーカスシフト量は、マーカーに合焦するフォーカス位置を基準としたときに、切り出し画像へ合焦させるための必要なレンズ２０１Ａの移動量である。本実施の形態では、フォーカスシフト量が各種マーカーの特徴に関連付けられて予め記憶部２０２に格納されている。さらに、制御部２０３は焦点位置取得手段として、撮像部２０１を用いて検出されたマーカーに合焦するフォーカス位置（焦点位置）を取得する（Ｓ８０４）。その後、制御部２０３は、取得されたフォーカス位置とフォーカスシフト量に基づいて、切り出し画像へ合焦するためのレンズ２０１Ａの移動量である最終フォーカス制御量を算出する（Ｓ８０５）。次いで、制御部２０３はレンズ制御手段として、最終フォーカス制御量に基づいてフォーカスレンズとしてのレンズ２０１Ａを移動させる（Ｓ８０６）。その後、改めて画像を撮像し（Ｓ８０８）、本処理を終了する。一方、Ｓ８０１において、マーカーが検出されない場合、通常のオートフォーカス制御を実行して（Ｓ８０７）合焦を行った後、改めて画像を撮像し（Ｓ８０８）、本処理を終了する。
【0029】
図８の処理によれば、マーカーに合焦するフォーカス位置とフォーカスシフト量に基づいてレンズ２０１Ａの移動を制御するため、切り出し画像へ確実に合焦することができる。その結果、作業指示者１０３へ提供される切り出し画像が鮮明となり、作業指示者１０３が指示に悩むのを抑制することができる。
【0030】
次に、本発明の第２の実施の形態について説明する。第２の実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。第１の実施の形態は、光学画像においてマーカーが検出された後、作業者カメラ１０２の撮像方向が大きく変化しない場合を想定している。しかしながら、第２の実施の形態は、光学画像においてマーカーが検出された後、作業者カメラ１０２の撮像方向が大きく変化する場合を想定している点で第１の実施の形態と異なる。
【0031】
第１の実施の形態における遠隔作業システム１００では、作業者１０１が身につける作業者カメラ１０２が撮像した画像が、作業者１０１から遠隔の地に存在する作業指示者１０３が使用する情報処理端末１０４へ送信される。特に、光学ズーム機能を用いて撮像された光学画像からマーカーが検出される場合、マーカーを基準として電子ズーム機能によって切り出された切り出し画像が情報処理端末１０４へ送信される（図９（Ａ））。この切り出し画像の内容は、上述したように、作業者カメラ１０２によって撮像される画像の撮像方向が多少変化しても、変化しない。
【0032】
しかしながら、作業者１０１が移動して作業者カメラ１０２によって撮像される画像の画角や撮像方向が大きく変化して光学画像からマーカーが検出されなくなった場合であっても、電子ズーム機能が維持されて拡大された画像が提供され続けるおそれがある。例えば、図９（Ｂ）に示すように、作業者１０１がマーカー１０７や作業台１０５に載置された作業対象物から目を反らし、壁にかけられた時計１０８を眺めた場合、情報処理端末１０４の画面には情報処理端末１０４の画面には時計１０８が大きく映し出される。また、作業者１０１の腕や工具等でマーカー１０７が作業者カメラ１０２から隠される場合であっても、電子ズーム機能が維持されて拡大された画像が提供され続けるおそれがある。この場合、情報処理端末１０４の画面には情報処理端末１０４の画面には作業者１０１の腕や工具が大きく映し出される。このように、情報処理端末１０４の画面に映し出される対象が急に変化するため、作業指示者１０３は事態を把握することができず、混乱してしまう。本実施の形態では、これに対応して、作業者１０１が動いて作業者カメラ１０２によって撮像される画像の画角や撮像方向が大きく変化してから所定の時間が経過した場合、切り出し画像ではなく光学画像を提供する。
【0033】
図１０は、本実施の形態に係る撮像装置としての作業者カメラの機能的構成を概略的に示すブロック図である。図１０において、作業者カメラ１０００は、作業者カメラ１０２と同様に、撮像部２０１、記憶部２０２、制御部２０３、電源部２０４、外部Ｉ／Ｆ２０５、操作部２０６及び表示部２０７を備える。さらに、作業者カメラ１０００は、角速度センサ２０８及び加速度センサ２０９を備える。角速度センサ２０８は、作業者１０１の移動に伴う作業者カメラ１０００の撮像方向の変化の角速度を検知し、制御部２０３へ伝達する。また、加速度センサ２０９は、作業者１０１の移動に伴う作業者カメラ１０００の移動時の加速度を検知し、制御部２０３へ伝達する。
【0034】
次に、本実施の形態に係る撮像装置の制御方法としての画像切替処理について説明する。図１１は、本実施の形態において作業者カメラが実行する画像切替処理を示すフローチャートである。なお、図１１の処理も、原則として、予め格納されていたプログラム等に従って制御部２０３が実行する。図１１において、まず、作業者カメラ１０００は、記憶部２０２に格納されているマーカーの検出条件を読み出し（ロードし）（Ｓ１１０１）、現時点でも、光学画像からマーカーを検出することができるか否かを判定する（Ｓ１１０２）。
【0035】
光学画像からマーカーを検出できたと判定される場合、図３の切り出し画像の作成処理を実行して切り出し画像を作成する（Ｓ１１０３）。次いで、制御部２０３は許容量算出手段として、光学画像の移動許容範囲（移動許容量）を算出する（Ｓ１１０４）。Ｓ１１０４では、まず、制御部２０３は、マーカー１０７から作業者カメラ１０００までの距離や作業者カメラ１０００の撮像方向の情報を角速度センサ２０８と加速度センサ２０９から取得して記憶部２０２に保存する（図１２（Ａ））。次いで、作業者カメラ１０００の撮像方向が変化して光学画像１２００が移動したときに、移動後の光学画像１２００から切り出し画像１２０１やマーカー１０７がはみ出さない光学画像１２００の移動量を移動許容範囲として算出する。
【0036】
例えば、図１２（Ｂ）において、二点鎖線で示すように、作業者カメラ１０００の撮像方向が左へ変化したとき、移動後の光学画像１２００ａの右端が切り出し画像１２０１の右端を越えて左へ進むと切り出し画像１２０１が光学画像１２００ａからはみ出る。この場合、切り出し画像１２０１において移動後の光学画像１２００ａが一部欠落し、適切な切り出し画像１２０１を得られない。そこで、作業者カメラ１０００の撮像方向が左へ変化したときは、マーカー１０７を基準とする切り出し画像１２０１の右端と、移動後の光学画像１２００ａ右端が一致するまで、光学画像１２００の移動を許容する。すなわち、移動前の光学画像１２００の右端からマーカー１０７を基準とする切り出し画像１２０１の右端までの距離Ｌ１が、撮像方向が左へ変化したときの光学画像の移動許容範囲となる。
【0037】
また、例えば、図１２（Ｃ）において、二点鎖線で示すように作業者カメラ１０００の撮像方向が右へ変化したとき、移動後の光学画像１２００ｂの左端がマーカー１０７を越えて右へ進むと、光学画像１２００ｂからマーカー１０７がはみ出る。その結果、マーカー１０７の位置やサイズを取得することができず、マーカー１０７を基準として光学画像１２００ｂから切り出し画像１２０１を切り出せなくなる。そこで、作業者カメラ１０００の撮像方向が右へ変化したときは、マーカー１０７と、移動後の光学画像１２００ｂ左端が一致するまで、光学画像１２００の移動を許容する。すなわち、移動前の光学画像１２００の左端からマーカー１０７までの距離Ｌ２が、撮像方向が右へ変化したときの光学画像の移動許容範囲となる。なお、撮像方向が上へ変化したときや撮像方向が下へ変化したときの光学画像の移動許容範囲も同様に算出する。その後、制御部２０３は、算出された移動許容範囲を記憶部２０２に格納し（Ｓ１１０５）、Ｓ１１０２に戻る。
【0038】
Ｓ１１０２の判定の結果、光学画像からマーカーを検出できないと判定される場合、記憶部２０２に移動許容範囲が格納されているか否かを判定する（Ｓ１１０６）。記憶部２０２に移動許容範囲が格納されている場合は、それまでに、Ｓ１１０２において「ＹＥＳ」と判定されていた場合、すなわち、光学画像からマーカーが検出できていた場合に他ならない。したがって、Ｓ１１０６において、記憶部２０２に移動許容範囲が格納されていると判定される場合は、作業者カメラ１０００の撮像方向が変化したことにより、それまで検出できていたマーカーが光学画像から検出できなくなった場合の可能性がある。若しくは、マーカーが作業者１０１の腕や工具等によって作業者カメラ１０００から隠されたことにより、それまで検出できていたマーカーが光学画像から検出できなくなった場合の可能性もある。この場合、Ｓ１１０７に進み、制御部２０３は、角速度センサ２０８や加速度センサ２０９の出力値として、作業者カメラ１０００の撮像方向の変化の角速度や作業者カメラ１０００の移動時の加速度を取得する。なお、Ｓ１１０６で記憶部２０２に移動許容範囲が格納されていないと判定される場合は、元々、光学画像からマーカーが検出できていない場合に該当するため、Ｓ１１０２に戻り、マーカーの検出を継続する。
【0039】
Ｓ１１０７に続くＳ１１０８において、制御部２０３は移動量取得手段として、角速度センサ２０８や加速度センサ２０９の出力値に基づいて、作業者カメラ１０００の撮像方向の変化に伴う光学画像の移動量を算出する。その後、制御部２０３は移動量判定手段として、算出された光学画像の移動量と移動許容範囲を比較して光学画像の移動量が移動許容範囲内か否かを判定する（Ｓ１１０９）。Ｓ１１０９で光学画像の移動量が移動許容範囲内であると判定される場合は、作業者カメラ１０００はマーカーをその光学画像に含むものの、マーカーが作業者１０１の腕や工具等によって作業者カメラ１０００から隠されて検出できなくなった場合に該当する。この場合、Ｓ１１０２に戻り、マーカーの検出を継続する。
【0040】
Ｓ１１０９で光学画像の移動量が移動許容範囲外であると判定される場合は、切り出し画像１２０１の少なくとも一部やマーカー１０７が移動後の光学画像１２００（ａ，ｂ）からはみ出た場合である。この場合、Ｓ１１１０において、制御部２０３は経過時間取得手段として、マーカーが検出できなくなってから経過した時間を計測し、時間判定手段として、所定時間が経過したか否かを判定する（Ｓ１１１１）。この所定時間は、情報処理端末１０４の画面に映し出される対象が急に変化してから対象の急変を作業指示者１０３が認識して混乱し始めるまでの時間が該当する。Ｓ１１０１で所定時間が経過したと判定される場合、作業指示者１０３が混乱し始めるのを防止するために、制御部２０３は画像提供手段として、切り出し画像１２０１を光学画像１２００に切り替えて情報処理端末１０４へ送信する（Ｓ１１１２）。このとき、図１３に示すように、情報処理端末１０４の画面には画角の広い光学画像１２００が表示される。その後、制御部２０３は記憶部２０２から移動許容範囲を削除（クリア）し（Ｓ１１１３）、Ｓ１１０２へ戻る。Ｓ１１０１で所定時間が経過していないと判定される場合はＳ１１０２へ戻る。
【0041】
図１１の処理によれば、情報処理端末１０４の画面に映し出される対象が急に変化しても、所定時間が経過すると、情報処理端末１０４には、画角の広い光学画像１２００が表示される。これにより、作業指示者１０３は事態を把握することができ、混乱することがない。
【0042】
また、図１１の処理では、マーカーが検出されずに光学画像１２００へ切り替わった後に記憶部２０２から移動許容範囲が削除されてＳ１１０２へ戻り、マーカーの検出を継続する。これにより、その後、マーカーが検出されてＳ１１０４が実行されて新たな移動許容範囲が算出されても、Ｓ１１０５において記憶部２０２へ円滑に新たな移動許容範囲を格納することができる。
【0043】
さらに、作業者カメラ１０００の撮像方向が変化したことによってマーカーが光学画像から検出できなくなった場合であっても、その後、直ぐに作業者１０１がマーカー１０７へ視線を戻す場合がある。この場合、光学画像の移動量が移動許容範囲外と判定されたときに直ちに切り出し画像１２０１を光学画像１２００へ切り替えると、作業者１０１がマーカー１０７へ視線を戻したときに、また、切り出し画像１２０１へ切り替えられる。すなわち、短時間の間に情報処理端末１０４の画面に映し出される画像の画角の変化が２回行われるため、却って作業指示者１０３を混乱させるおそれがある。これに対して、図１１の処理では、光学画像の移動量が移動許容範囲外と判定されても、所定時間が経過するまでは、切り出し画像１２０１を光学画像１２００へ切り替えない。これにより、直ぐに作業者１０１がマーカー１０７へ視線を戻した場合、短時間の間に情報処理端末１０４の画面に映し出される画像の画角の変化が２回行われるのを防止することができる。その結果、作業指示者１０３を混乱させるおそれを無くすことができる。
【0044】
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0045】
例えば、上述した各実施の形態では、作業者カメラ１０２が撮像した動画をストリーミング配信することを前提とするが、作業者カメラ１０２が周期的に静止画像を配信する場合にも本発明を適用することができる。
【符号の説明】
【0046】
１００ 遠隔作業システム
１０１ 作業者
１０２，１０００ 作業者カメラ
１０３ 作業指示者
１０４ 情報処理端末
１０７，４００，７００ マーカー
２０１ 撮像部
２０２ 記憶部
２０３ 制御部
６００，１２０１ 切り出し画像
７０１ 新規マーカー登録画面
１２００ 光学画像
１０１ 作業者
１０２，１０００ 作業者カメラ
１０３ 作業指示者
１０４ 情報処理端末
１０７，４００，７００ マーカー
２０１ 撮像部
２０２ 記憶部
２０３ 制御部
６００，１２０１ 切り出し画像
７０１ 新規マーカー登録画面
１２００ 光学画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】