(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-11
(45)【発行日】2023-12-19
(54)【発明の名称】撮像装置、画像生成方法、プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20231212BHJP
H04N 23/71 20230101ALI20231212BHJP
H04N 23/695 20230101ALI20231212BHJP
G03B 15/00 20210101ALI20231212BHJP
G03B 19/07 20210101ALI20231212BHJP
G03B 37/00 20210101ALI20231212BHJP
【ＦＩ】
H04N23/60
H04N23/71
H04N23/698
G03B15/00 W
G03B19/07
G03B37/00 A
【請求項の数】
9
(21)【出願番号】P 2019225855
(22)【出願日】2019-12-13
(65)【公開番号】P2021097280
(43)【公開日】2021-06-24
【審査請求日】2022-10-17
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】田中 大貴
【審査官】▲うし▼田 真悟
(56)【参考文献】
【文献】特開２０１９－１１７３３０（ＪＰ，Ａ）
【文献】特開２００３－２７４２７８（ＪＰ，Ａ）
【文献】特開２０１６－１３９９４７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２２２－５／２５７
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０－２３／７６
Ｈ０４Ｎ ２３／９０－２３／９５９
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ １９／０７
Ｇ０３Ｂ ３７／００
(57)【特許請求の範囲】
【請求項1】
複数の撮像素子で撮像された画像データを合成して１つの撮像素子で撮像された画像データよりも広角な画像データを生成する撮像装置であって、一方の撮像素子で撮像された画像データの輝度平均値に時間的な周期性がある場合、
輝度平均値に時間的な周期性がある前記画像データを合成に使用せず、他方の１つ以上の撮像素子で撮像された画像データを出力することを特徴とする撮像装置。
【請求項2】
各フレームの画像データの輝度平均値を記憶する輝度値記憶部と、フレームの画像データの輝度平均値と前記輝度値記憶部に記憶されている前フレームの画像データの輝度平均値との輝度差である第一の輝度差、及び、時間的に隣接する２つの第一の輝度差の差を計算する輝度差計算部と、
前記輝度差計算部で計算された前記第一の輝度差の差が第一の閾値以上かどうかを判断する輝度値特徴判断部と、を有し、
前記輝度値特徴判断部は、前記第一の閾値以上の前記第一の輝度差の差が検出されたフレームと、前回、前記第一の閾値以上の前記第一の輝度差の差が検出されたフレームとの間隔が第二の閾値未満の場合、輝度平均値に時間的な周期性があると判断することを特徴とする請求項１に記載の撮像装置。
【請求項3】
時間的な周期性の検出が完了している１周期分のフレームについて、前記第一の閾値以上の前記第一の輝度差、及び、該第一の輝度差が検出された時刻を前記輝度値記憶部に記憶し、すでに前記輝度値記憶部に記憶されている前記１周期分の輝度平均値を削除する特徴圧縮部を有することを特徴とする請求項２に記載の撮像装置。
【請求項4】
前記画像データを複数のエリアに分割するエリア分割部と、
前記エリアごとの輝度平均値に時間的な周期性があるか否かを判断し、
１つでも時間的な周期性がある前記エリアが検出された場合、前記画像データの輝度平均値に時間的な周期性があると判断する輝度値特徴判断部と、を有することを特徴とする請求項１に記載の撮像装置。
【請求項5】
前記エリアごとに、フレームの輝度平均値、該フレームの前フレームの輝度平均値、該フレームと前フレームの輝度平均値の輝度差、及び、時間的に隣接した２つの前記輝度差の差を計算する輝度差計算部をさらに有し、
前記輝度値特徴判断部は、前記エリアごとに、第一の閾値以上の前記輝度差の差が検出されたフレームと、前回、前記第一の閾値以上の前記輝度差の差が検出されたフレームとの間隔が第二の閾値未満の場合、２つのフレーム間の中点の時刻を決定し、
各エリアの前記時刻の差が予め設定した第三の閾値未満である場合に、輝度平均値に時間的な周期性があると判断する検出部を有することを特徴とする請求項４に記載の撮像装置。
【請求項6】
前記エリアごとに、第一の撮像素子で撮像されたフレームの輝度平均値とその前フレームの輝度平均値との輝度差、及び、時間的に隣接した２つの輝度差の差を計算する第一の輝度差計算部と、前記エリアごとに、前記第一の閾値以上の前記輝度差の差が検出されたフレームと、前回、前記第一の閾値以上の前記輝度差の差が検出されたフレームとの間隔が第二の閾値未満の場合、２つのフレーム間の中点の時刻を決定する第一の輝度値特徴判断部と、
各エリアの前記時刻の差が前記第三の閾値未満である場合に、輝度平均値に時間的な周期性があると判断する第一の検出部と、
前記エリアごとに、第二の撮像素子で撮像されたフレームの輝度平均値とその前フレームの輝度平均値との輝度差、及び、時間的に隣接した２つの輝度差の差を計算する第二の輝度差計算部と、
前記エリアごとに、前記第一の閾値以上の前記輝度差の差が検出されたフレームと、前回、前記第一の閾値以上の前記輝度差の差が検出されたフレームとの間隔が第二の閾値未満の場合、２つのフレーム間の中点の時刻を決定する第二の輝度値特徴判断部と、
各エリアの前記時刻の差が前記第三の閾値未満である場合に、輝度平均値に時間的な周期性があると判断する第二の検出部と、を有し、
前記第一の検出部と前記第二の検出部は互いに各エリアの前記時刻の差を送信することを特徴とする請求項５に記載の撮像装置。
【請求項7】
３つ以上の撮像素子を有することを特徴とする請求項１～６のいずれか１項に記載の撮像装置。
【請求項8】
複数の撮像素子で撮像された画像データを合成して１つの撮像素子で撮像された画像データよりも広角な画像データを撮像装置が生成する画像生成方法であって、一方の撮像素子で撮像された画像データの輝度平均値に時間的な周期性がある場合、
時間的な周期性がある前記画像データを合成に使用せず、他方の１つ以上の撮像素子で撮像された画像データを出力することを特徴とする画像生成方法。
【請求項9】
複数の撮像素子で撮像された画像データを合成して１つの撮像素子で撮像された画像データよりも広角な画像データを生成する撮像装置に、一方の撮像素子で撮像された画像データの輝度平均値に時間的な周期性がある場合、
時間的な周期性がある前記画像データを合成に使用せず、他方の１つ以上の撮像素子で撮像された画像データを出力させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、画像生成方法、及び、プログラムに関する。
【背景技術】
【0002】
魚眼レンズや超広角レンズなどの広角なレンズを複数使用して周囲３６０度又は全方位を一度に撮像する撮像装置が知られている。この撮像装置では、各々のレンズからの像を各撮像素子に投影し、得られる各画像を画像処理によってつなぎ合わせることで、３６０度画像を生成する。
【0003】
このような撮像装置で撮像された映像を撮像者が提供する場合、画角が広いために所望の被写体を簡単に明示できない場合がある。つまり３６０度が撮像された全天球画像のどこに明示したい被写体が写っているかを閲覧者に伝えることが容易でない。
【0004】
そこで、画角を狭める技術が知られている（例えば、特許文献１参照。）。特許文献１には、タッチパネルや物理ボタンの押下により、ユーザの意図したタイミングで３６０度撮像モードと１８０度撮像モードを切り替える撮像装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、画像の画角を狭めるためのユーザの操作を受け付けるハードウェアが必要になるという問題があった。
【0006】
本発明は、上記課題に鑑み、所定のハードウェアがなくても画像の画角を制御できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題に鑑み、本発明は、複数の撮像素子で撮像された画像データを合成して１つの撮像素子で撮像された画像データよりも広角な画像データを生成する撮像装置であって、 一方の撮像素子で撮像された画像データの輝度平均値に時間的な周期性がある場合、輝度平均値に時間的な周期性がある前記画像データを合成に使用せず、他方の１つ以上の撮像素子で撮像された画像データを出力することを特徴とする。
【発明の効果】
【0008】
所定のハードウェアがなくても画像の画角を制御できる撮像装置を提供することができる。
【図面の簡単な説明】
【0009】
【図1】画像通信システムの一例のユースケースを説明する図である。
【図2】不動産物件を案内している不動産業者が任意の所定範囲を不動産店舗にいる顧客に表示させる画像通信システムの概略的な動作を説明する図である。
【図3A】画像通信システムの構成の概略図の一例である。
【図3B】画像通信システムの別の構成の概略図の一例である。
【図4】撮像装置の断面図の一例である。
【図5】撮像装置のハードウェア構成例を示す図である。
【図6】端末装置のハードウェア構成図の一例である。
【図7】撮像装置の使用イメージ図である。
【図8】撮像装置で撮像された画像から３６０度画像が作成されるまでの処理の概略を説明する図である（その１）。
【図9】撮像装置で撮像された画像から３６０度画像が作成されるまでの処理の概略を説明する図である（その２）。
【図10】全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
【図11】入力画像処理モジュールの機能をブロック状に示す機能ブロック図の一例である。
【図12】撮像装置が撮像する空間の一例を示す図である。
【図13】ジェスチャー切り替え動作による輝度平均値の時間変化の一例を示す図である。
【図14】撮像装置が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である。
【図15】輝度値特徴記憶部の構成例を示す図である。
【図16】ジェスチャー切り替え動作による輝度平均値の時間変化の一例を示す図である。
【図17】撮像装置が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である（実施例２）。
【図18】輝度値比較部の機能を示す図である（実施例３）。
【図19】ジェスチャー切り替え動作による輝度平均値の時間変化の一例を示す図である（実施例３）。
【図20】撮像装置が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である（実施例３）。
【図21】画像データの分割例を示す図である。
【図22】入力画像処理モジュールの構成例を示す図である（実施例４）。
【図23】入力画像処理モジュールの処理を説明するフローチャート図の一例である。
【図24】入力画像処理モジュールの構成例を示す図である（実施例５）。
【図25】ジェスチャー切り替え動作による輝度平均値の時間変化の一例を示す図である（実施例５）。
【図26】入力画像処理モジュールの処理を説明するフローチャート図の一例である（実施例５）。
【図27】輝度値比較部の構成例を示す図である（実施例６）。
【図28】エリア間の比較の対象を説明する図の一例である。
【図29】ジェスチャー切り替え動作による輝度平均値の時間変化の一例を示す図である（実施例６）。
【図30】入力画像処理モジュールの処理を説明するフローチャート図の一例である（実施例６）。
【図31】入力画像処理モジュールの構成を説明する図の一例である（実施例７）。
【図32】入力画像処理モジュールの処理を説明するフローチャート図の一例である。
【発明を実施するための形態】
【0010】
以下、本発明を実施するための形態の一例として、撮像装置と撮像装置が行う画像生成方法について図面を参照しながら説明する。
【実施例1】
【0011】
＜画像通信システムの概略＞
図１は、画像通信システム１００のユースケースを説明する図である。不動産物件１１０にいる不動産業者１０１は撮像装置５を把持して、３６０度画像を撮像しながら各部屋を移動する。撮像装置５は３６０度画像（動画）をリアルタイムに不動産店舗にある端末装置１０Ａへ送信する。端末装置１０Ａは受信した３６０度画像の所定範囲を平面デバイスであるディスプレイに表示する。
図１は、画像通信システム１００のユースケースを説明する図である。不動産物件１１０にいる不動産業者１０１は撮像装置５を把持して、３６０度画像を撮像しながら各部屋を移動する。撮像装置５は３６０度画像（動画）をリアルタイムに不動産店舗にある端末装置１０Ａへ送信する。端末装置１０Ａは受信した３６０度画像の所定範囲を平面デバイスであるディスプレイに表示する。
【0012】
不動産店舗にいる顧客１０２は、端末装置１０Ａを操作して３６０度画像を回転させる（任意の所定範囲を表示させる）ことができ、不動産店舗にいながら不動産物件の任意の方向を閲覧できる。
【0013】
不動産物件１１０にいる不動産業者１０１が部屋に設置された例えばエアコンを顧客１０２に見せたい場合を説明する。従来は、３６０度画像のどこにエアコンが写っているかを不動産業者１０１が音声で説明しなければならなかったが、コミュニケーションが容易でなく説明が煩わしいと感じられるおそれがあった。
【0014】
そこで、本実施形態の画像通信システム１００は、以下のようにして、不動産業者１０１が見せたい被写体を、顧客１０２が操作する端末装置１０Ａに容易に表示することを可能にする。
【0015】
図２を用いて、画像通信システム１００の概略的な動作について説明する。図２は、不動産物件１１０にいる不動産業者１０１が任意の所定範囲を不動産店舗１２０にいる顧客１０２に表示させる画像通信システム１００の概略的な動作を説明する図である。
【0016】
不動産業者１０１が把持する撮像装置５は３６０度画像を撮像できるため２つ以上の撮像素子を有している。本実施形態では主に２つの撮像素子を有する撮像装置５について説明するが、撮像素子は３以上の場合もある。撮像装置５は２つの撮像素子でそれぞれ撮像された画像データをつなぎ合わせて（合成して）３６０度画像を作成する。
【0017】
不動産業者１０１が例えば顧客１０２をエアコン９０１に注目させてエアコン９０１について説明したい場合、不動産業者１０１はエアコン９０１とは反対側の撮像素子（写したいものが写っていない撮像素子）の前で手を周期的に動作させる。以下、この動作を「ジェスチャー切り替え動作」という。不動産業者１０１が撮像装置５のレンズ上を何度も通過するように手を左右(又は上下)に動かすと、周期的に輝度が変化する。片方のレンズに物体が被さる面積と検出される輝度平均値が反比例の関係にあるためである。また、例えば、手を近づける/遠ざける、手を開く/閉じるなどのジェスチャーでも同様の変化となる。
【0018】
図２では、エアコン９０１とは反対側のレンズが手のひらで周期的に遮光されている。撮像装置５は２つの撮像素子のうち少なくとも一方が検出する輝度が周期的に変化したことを検出した場合、２つの撮像素子でそれぞれ撮像された画像データの合成を行わず、輝度が変化していない方の画像データのみを不動産店舗１２０の端末装置１０Ａに送信する。本実施形態では、２つの撮像素子でそれぞれ撮像された画像データを合成すると３６０度（全天球）の画像が得られるので、１つの撮像素子で撮像された画像データを１８０度画像といい、２つの撮像素子で撮像された２つの画像データを合成したものを３６０度画像という。撮像装置５は次のジェスチャー切り替え動作が検出されるまで同じ状態（１８０度画像を出力する）を保持する。
【0019】
なお、撮像装置５は輝度が変化した方の画像データのみを不動産店舗１２０の端末装置１０Ａに送信してもよい。輝度が変化した方の画像データを送信するのか、輝度が変化していない方の画像データのみを送信するのかを、例えば、ユーザが使いやすい方を選択して設定できてよい。
【0020】
不動産店舗１２０の端末装置１０Ａは、１８０度画像の全体を表示するが、不動産業者１０１は撮像装置５の光軸の中心にエアコン９０１が写るように撮像しているため、端末装置１０Ａのディスプレイのほぼ中央付近にエアコン９０１が表示される。したがって、顧客１０２はエアコン９０１が写るように表示範囲を調整する必要があまりない。
【0021】
このように、本実施形態の画像通信システム１００は、３６０度画像から１８０度画像へ切り替えて広角な画像から任意の範囲を表示させることができる。また、タッチパネルや物理キーなど所定のハードウェア的なスイッチを使用することなく実行させることができ、直感的な操作で実現できる。したがって、不動産業者１０１が着目して欲しい被写体がどこあるかを説明しなくても、顧客１０２は不動産業者１０１が着目して欲しい被写体を閲覧できる。
【0022】
＜用語について＞
合成とは、二つ以上の物を合わせて１つのものにすることをいう。本実施形態では2つ以上の画像で広角な画像データを生成することをいう。
合成とは、二つ以上の物を合わせて１つのものにすることをいう。本実施形態では2つ以上の画像で広角な画像データを生成することをいう。
【0023】
周期性とは一定の時間をおいて同じ状況が生じることをいう。ただし、一定とは厳密である必要がない。
【0024】
【0025】
図３Ａに示されているように、本実施形態の画像通信システム１００は、拠点Ａに配置された端末装置１０Ａと拠点Ｂに配置された撮像装置５がインターネットやセルラー回線等の通信ネットワークＮを介して通信することができる。拠点Ａは例えば顧客１０２がいる不動産店舗１２０であり、拠点Ｂは例えば内見の対象となる不動産物件１１０である。
【0026】
撮像装置５は、上記のように、被写体や風景等を撮像して３６０度画像の元になる２つの１８０度画像を合成する特殊なデジタルカメラである。
【0027】
端末装置１０Ａはビデオ会議用のアプリケーションソフトを動作させることで他の拠点と通信する汎用的な情報処理装置である。端末装置１０Ａは例えば、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、カーナビ、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ又はデスクトップＰＣ等である。しかし、これらには限られない。
【0028】
端末装置１０Ａは、自装置に設けられたディスプレイ７２０に受信した画像を表示する。
【0029】
また、端末装置１０Ａには、OpenGL ES（Open Graphics Library for Embedded Systems）がインストールされており、撮像装置５から送られて来た３６０度画像から所定領域画像を作成することができる。したがって、各端末装置１０Ａは３６０度画像から切り出した所定領域画像を表示できる。
【0030】
拠点Ａには少なくとも一人の顧客１０２が存在し、端末装置１０Ａは撮像装置５が撮像する映像（３６０度画像又は１８０度画像）をディスプレイ７２０に表示する。拠点Ａの顧客１０２は、不動産業者１０１により切り替えられた１８０度画像又は３６０度画像を閲覧するユーザである。ただし、顧客１０２の人数は一例である。
【0031】
拠点Ｂには、少なくとも一人の不動産業者１０１が存在し、撮像装置５を手に把持したり棒状部材に取り付けたりして保持している。不動産業者１０１は撮像装置５と共に移動することができる。不動産業者１０１は不動産物件１１０を撮像する撮像者である。ただし、不動産業者１０１の人数は一例である。
【0032】
次に、図３Ｂに示されているように、本実施形態の別の画像通信システム１００は、少なくとも２つの拠点Ａ、拠点Ｂに配置された各端末装置１０Ａ，１０Ｂがインターネット等の通信ネットワークＮを介して通信して、各拠点の端末装置１０Ａ，１０Ｂが映像を共有することができる。拠点Ａには撮像装置４と端末装置１０Ａが配置されており、拠点Ｂには端末装置１０Ｂと撮像装置５が配置されている。拠点Ａは例えば顧客１０２がいる不動産店舗１２０であり、拠点Ｂは例えば内見の対象となる不動産物件１１０である。
【0033】
撮像装置５は、上記のように、被写体や風景等を撮像して３６０度画像の元になる２つの１８０度画像を合成する特殊なデジタルカメラである。一方、撮像装置４は、被写体や風景等を撮像して一般の平面画像を得るための一般のデジタルカメラである。
【0034】
端末装置１０Ａ，１０Ｂはビデオ会議用のアプリケーションソフトを動作させることで他の拠点と通信する汎用的な情報処理装置である。端末装置１０Ａ、１０Ｂは例えば、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、カーナビ、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ又はデスクトップＰＣ等である。しかし、これらには限られない。
【0035】
端末装置１０Ａは、自装置に設けられたディスプレイ７２０に映像通話の画像を表示する。端末装置１０Ａは、外付けされた撮像装置４で顧客１０２等を撮像する。
【0036】
端末装置１０Ｂは、自装置に設けられたディスプレイ７２０に映像通話の画像を表示する。端末装置１０Ｂは、通常は自装置に設けられた後述のＣＭＯＳセンサ７１２(Complementary Metal Oxide Semiconductor)等で撮像するが、Wi－Fi(Wireless Fidelity)やBluetooth（登録商標）等の無線通信技術を利用して、撮像装置５で得られた３６０度画像を取得することができる。
【0037】
また、端末装置１０Ａ，１０Ｂには、OpenGL ESがインストールされており、３６０度画像の一部の領域を示す所定領域画像を作成したり、他の端末装置１０から送られて来た３６０度画像から所定領域画像を作成したりすることができる。したがって、各端末装置１０Ａ，１０Ｂは３６０度画像から切り出した所定領域画像を表示できる。
【0038】
拠点Ａには少なくとも一人の顧客１０２が存在し、端末装置１０Ａは撮像装置５が撮像する映像（３６０度画像又は１８０度画像）及び撮像装置４が撮像する映像をディスプレイ７２０に表示する。拠点Ａの顧客１０２は、不動産業者１０１により切り替えられた１８０度画像又は３６０度画像を閲覧するユーザである。ただし、顧客１０２の人数は一例である。
【0039】
拠点Ｂには、少なくとも一人の不動産業者１０１が存在し、撮像装置５を手に把持したり棒状部材に取り付けたりして保持している。不動産業者１０１は撮像装置５と共に移動することができる。不動産業者１０１は不動産物件１１０を撮像する撮像者である。また、端末装置１０Ｂは、撮像装置４、５が撮像する映像をディスプレイ７２０に表示する。ただし、不動産業者１０１の人数は一例である。
【0040】
通信管理システム８０は、端末装置１０Ａ，１０Ｂの通信を管理及び制御する。よって、通信管理システム８０は通信制御システムでもある。なお、通信管理システム８０は、通信サービスを行うデータセンタやクラウドに設置されている。また、通信管理システム８０は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
【0041】
なお、図３Ｂに示した、拠点数、各拠点に配置される端末装置１０Ａ，１０Ｂの種類、撮像装置４，５の種類、及び、ユーザ（顧客と不動産業者）の人数は一例であり、本実施形態では、拠点Ａと他の１つの拠点があればよいが、画像通信システム１００は３つ以上の拠点で通信できる。また、拠点Ａは撮像装置４を有していなくてもよく、拠点Ｂから送信される３６０度画像を表示できればよい。
【0042】
＜構成例＞
以下、図４及び図５を参照しながら、本実施形態による撮像装置５の全体構成について説明する。図４は、本実施形態による撮像装置５の断面図である。図４に示す撮像装置５は、撮像体１９と、上記撮像体１９の他、制御ユニット１６やバッテリ１５などの部品を保持する筐体１７と、上記筐体１７に設けられた撮像ボタン１８とを備える。
以下、図４及び図５を参照しながら、本実施形態による撮像装置５の全体構成について説明する。図４は、本実施形態による撮像装置５の断面図である。図４に示す撮像装置５は、撮像体１９と、上記撮像体１９の他、制御ユニット１６やバッテリ１５などの部品を保持する筐体１７と、上記筐体１７に設けられた撮像ボタン１８とを備える。
【0043】
図４に示す撮像体１９は、２つの結像光学系２０Ａ，２０Ｂと、撮像素子２１Ａ，撮像素子２１Ｂと、を有する。撮像素子２１Ａ，２１Ｂ（それぞれ第一の撮像素子、第二の撮像素子の一例）は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳセンサなどである。結像光学系２０Ａ、２０Ｂは、例えば６群７枚の魚眼レンズとして構成される。上記魚眼レンズは、図４に示す実施形態では、１８０度（＝３６０度／ｎ；光学系の数ｎ＝２）より大きい画角を有し、好適には、１９０度以上の画角を有する。このような広角な結像光学系２０Ａ，２０Ｂと撮像素子２１Ａ，２１Ｂとを１個ずつ組み合わせたものを広角撮像光学系と称する。
【0044】
２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタ及び開口絞り）は、撮像素子２１Ａ，２１Ｂに対して位置が定められる。結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２１の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。
【0045】
図４に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２１Ａ，２１Ｂは、受光した光分布を画像信号に変換し、制御ユニット１６に、順次、画像フレーム（フレームとは画像データのことであるが、連続した画像データのうちの１つを指す場合に使用される場合が多い）を出力する。撮像素子２１Ａ，２１Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステラジアンの画像（３６０度画像又は全天球画像）が生成される。３６０度画像は、撮像地点から見渡すことのできる全ての方向を撮像したものとなる。説明する実施形態では、３６０度画像を生成するものとして説明するが、水平面のみ３６０度を撮像した、いわゆるパノラマ画像であってもよく、全天球又は水平面３６０度の全景のうちの一部を撮像した画像であってもよい。また、３６０度画像は、静止画として保存することもできるし、動画として保存することもできる。
【0046】
図５は、撮像装置５のハードウェア構成例を示す図である。撮像装置５は、ＣＰＵ３０、メインメモリ３１、フラッシュＲＯＭ３２、魚眼レンズ１４Ａ，１４Ｂ、撮像素子２１Ａ、２１Ｂ、Ａ/Ｄ変換回路３３Ａ，３３Ｂ、入力画像処理モジュール３４Ａ、３４Ｂ、３軸加速度センサ３５、歪曲補正・画像合成モジュール３６、画像コーデック３７、音声コーデック３８、マイク３９、スピーカー４０、無線通信モジュール４１、メモリカードＩ/Ｆモジュール４２、及び、メモリカード４３を有している。
【0047】
ＣＰＵ３０はフラッシュＲＯＭ３２に記憶されているプログラムをメインメモリ３１に展開して実行して撮像装置５の全体を制御する。メインメモリ３１は、例えばＤＲＡＭ(Dynamic Random Access Memory)であり、ＣＰＵ３０のワークエリアとして使用される。フラッシュＲＯＭ３２は、電源オン時のシステム立ち上げや撮像装置５の機能を実現するための各種プログラムを記憶する。
【0048】
画像コーデック３７は画像データを圧縮する。音声コーデック３８はマイクが集音した音声データを圧縮し、また、無線通信モジュール４１から入力された音声データを伸長してスピーカー４０から出力する。
【0049】
無線通信モジュール４１はセルラー回線に接続して無線で映像や音声等を送受信する。メモリカードＩ/Ｆモジュール４２は装着されたメモリカード４３にデータを書き込み、また、メモリカード４３からデータを読み出す。
【0050】
撮像素子２１Ａ、２１Ｂから出力されたアナログ画像信号はＡ/Ｄ変換回路３３Ａ、３３Ｂによりデジタル画像データに変換され、これらの画像データは入力画像処理モジュール３４Ａ、３４Ｂに入力される。
【0051】
入力画像処理モジュール３４Ａ、３４Ｂは、画像データの輝度情報を利用して測光し、露光量を調整する露光制御（ＡＥ（Automatic Exposure））やＲＧＢの割合を均一にして色の再現性をよくするためのホワイトバランス（ＡＷＢ（Automatic White Balance）の処理を行っている。これらの処理を施された画像データは歪曲補正・画像合成モジュール３６に入力される。
【0052】
歪曲補正・画像合成モジュール３６は、３軸加速度センサ３５からの情報を利用して、２つの画像データに対して歪曲補正と共に天地補正を行って３６０度画像を合成する。この３６０度画像データは画像コーデック３７で圧縮されて、無線通信（セルラー回線）により不動産店舗１２０にある端末装置１０Ａへ送信される。また、マイク３９で集音された音声信号も無線通信（セルラー回線）により不動産店舗１２０にある端末装置１０Ａに送信される。
【0053】
図６は、端末装置１０のハードウェア構成図である。図６に示されているように、端末装置１０は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、フラッシュメモリ７０４、ＳＳＤ７０５、メディアＩ／Ｆ７０７、操作ボタン７０８、電源スイッチ７０９、バスライン７１０、ネットワークＩ／Ｆ７１１、ＣＭＯＳセンサ７１２、撮像素子Ｉ／Ｆ７１３、マイク７１４、スピーカー７１５、音入出力Ｉ／Ｆ７１６、ディスプレイＩ／Ｆ７１７、外部機器接続Ｉ／Ｆ７１８、近距離通信回路７１９、近距離通信回路７１９のアンテナ７１９ａを備えている。これらのうち、ＣＰＵ７０１は、端末装置全体の動作を制御する。ＲＯＭ７０２は、ＩＰＬ等のＯＳの起動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。フラッシュメモリ７０４は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。ＳＳＤ７０５は、ＣＰＵ７０１の制御にしたがってフラッシュメモリ７０４に対する各種データの読み出し又は書き込みを制御する。なお、ＳＳＤに代えてＨＤＤを用いてもよい。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。操作ボタン７０８は、端末装置１０の宛先を選択する場合などに操作されるボタンである。電源スイッチ７０９は、端末装置１０の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。
【0054】
また、ネットワークＩ／Ｆ７１１は、インターネット等の通信ネットワークＮを利用してデータ通信をするためのインターフェイスである。ＣＭＯＳセンサ７１２は、ＣＰＵ７０１の制御にしたがって被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤセンサ等の撮像手段であってもよい。撮像素子Ｉ／Ｆ７１３は、ＣＭＯＳセンサ７１２の駆動を制御する回路である。マイク７１４は、音を電気信号に変える内蔵型のデバイスである。スピーカー７１５は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型のデバイスである。音入出力Ｉ／Ｆ７１６は、ＣＰＵ７０１の制御にしたがってマイク７１４及びスピーカー７１５との間で音信号の入出力を処理する回路である。ディスプレイＩ／Ｆ７１７は、ＣＰＵ７０１の制御にしたがって外付けのディスプレイに画像データを送信する回路である。外部機器接続Ｉ／Ｆ７１８は、各種の外部機器を接続するためのインターフェイスである。近距離通信回路７１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。
【0055】
また、バスライン７１０は、図６に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0056】
ディスプレイ７２０は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)等によって構成された表示手段の一種である。また、ディスプレイ７２０は、ケーブルによってディスプレイＩ／Ｆ７１７に接続される。このケーブルは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ(High－Definition Multimedia Interface)（登録商標）やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。
【0057】
なお、ＣＭＯＳセンサ７１２は、ＣＰＵ７０１の制御にしたがって被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤセンサ等の撮像手段であってもよい。外部機器接続Ｉ／Ｆ７１８には、ＵＳＢケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカー等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ７０１の制御にしたがって、内蔵型のＣＭＯＳセンサ７１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカーが接続された場合には、ＣＰＵ７０１の制御にしたがって、それぞれが内蔵型のマイク７１４や内蔵型のスピーカー７１５に優先して、外付けマイクや外付けスピーカーが駆動する。
【0058】
また、記録メディア７０６は、端末装置１０に対して着脱自在な構成となっている。また、ＣＰＵ７０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ７０４に限らず、ＥＥＰＲＯＭ等を用いてもよい。
【0059】
＜３６０度画像の生成方法＞
次に、図７～図９を用いて３６０度画像の生成方法を説明する。図７は、撮像装置５の使用イメージ図である。撮像装置５は、図７に示されているように、例えば、ユーザ（本実施形態では不動産業者）が手に持ってユーザの周りの被写体を撮像するために用いられる。この場合、図４に示されている撮像素子２１Ａ及び撮像素子２１Ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの１８０度画像を得ることができる。
次に、図７～図９を用いて３６０度画像の生成方法を説明する。図７は、撮像装置５の使用イメージ図である。撮像装置５は、図７に示されているように、例えば、ユーザ（本実施形態では不動産業者）が手に持ってユーザの周りの被写体を撮像するために用いられる。この場合、図４に示されている撮像素子２１Ａ及び撮像素子２１Ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの１８０度画像を得ることができる。
【0060】
次に、図８及び図９を用いて、撮像装置５で撮像された画像から３６０度画像が作成されるまでの処理の概略を説明する。なお、図８（ａ）は撮像装置５で撮像された１８０度画像（前側）、図８（ｂ）は撮像装置５で撮像された１８０度画像（後側）、図８（ｃ）は正距円筒射影図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図９（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図９（ｂ）は３６０度画像を示した図である。
【0061】
図８（ａ）に示されているように、撮像素子２１Ａによって得られた画像は、魚眼レンズ１４Ａによって湾曲した１８０度画像（前側）となる。また、図８（ｂ）に示されているように、撮像素子２１Ｂによって得られた画像は、魚眼レンズ１４Ｂによって湾曲した１８０度画像（後側）となる。そして、１８０度画像（前側）と、１８０度反転された１８０度画像（後側）とは、撮像装置５によって合成され、図８（ｃ）に示されているように、正距円筒射影画像が作成される。
【0062】
そして、端末装置１０においてOpenGL ESが利用されることで、図９（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図９（ｂ）に示されているような３６０度画像が作成される。このように、３６０度画像は、正距円筒射影画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2－Dimensions)及び３Ｄ(3－Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、３６０度画像は、静止画であっても動画であってもよい。
【0063】
以上のように、３６０度画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、３６０度画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。
【0064】
図１０は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。
【0065】
図１０に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域である。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。
【0066】
＜機能について＞
図１１（ａ）は、入力画像処理モジュール３４Ａ、３４Ｂの機能をブロック状に示す機能ブロック図の一例である。入力画像処理モジュール３４Ａ、３４Ｂの機能は同じであるものとするが一方にのみ存在する機能があってもよい。また、図１１（ｂ）は輝度値比較部５２の機能を詳細に示す図である。
図１１（ａ）は、入力画像処理モジュール３４Ａ、３４Ｂの機能をブロック状に示す機能ブロック図の一例である。入力画像処理モジュール３４Ａ、３４Ｂの機能は同じであるものとするが一方にのみ存在する機能があってもよい。また、図１１（ｂ）は輝度値比較部５２の機能を詳細に示す図である。
【0067】
入力画像処理モジュール３４Ａ、３４Ｂは露光制御部５０、輝度値記憶部５１、輝度値比較部５２、ホワイトバランス制御部５３、ガンマ補正部５４、及び、色変換部５５を有している。露光制御部５０は、撮像素子２１Ａ、２１Ｂから出力され、Ａ/Ｄ変換された画像データの輝度情報を利用して測光し、露光量を調整したり、後述する３６０度画像と１８０度画像の切り替えに関する処理を実行したりする。露光制御部５０は１フレームごとに輝度平均値を算出する。
【0068】
輝度値記憶部５１は露光制御部５０にて求められた輝度値を、時間的に後の画像データと比較するために一時的に記憶する。少なくとも周期性を判断できる程度の時間の画像データを記憶する。輝度値比較部５２は輝度値記憶部５１に記憶された過去の複数フレーム分の輝度値に基づいて輝度値の周期的な変化を検出する。
【0069】
ホワイトバランス制御部５３は色の再現性をよくするために、ＲＧＢの割合を均一にする処理を行う。ガンマ補正部５４は１フレーム分の画像全体の色合いを調整する処理を行う。色変換部５５はＲＧＢデジタル画像データについて、色差成分（Ｃｂ，Ｃｒ）と輝度成分（Ｙ）に変換する。
【0070】
魚眼レンズ１４Ａ，１４Ｂから入力される光量が変化して、入力画像処理モジュール３４Ａ、３４Ｂに複数フレームにわたって入力される輝度平均値の変化パターンに特定の周期性を検出された場合の処理について説明する（処理内容を図１３にて説明するので参照されたい）。
【0071】
入力画像処理モジュール３４Ａ、３４Ｂの露光制御部５０は入力される１フレーム分の全ての画像データの輝度成分の値の平均値を求め、この輝度平均値を輝度値記憶部５１に記憶する。これを複数フレーム繰り返し、輝度値記憶部５１に輝度平均値を時間経過に合わせて順次保存していく。
【0072】
輝度値記憶部５１の処理と平行して、輝度値比較部５２は輝度値記憶部５１に記憶された時間的に隣接した輝度平均値の差を比較する。図１１（ｂ）に示すように、輝度値比較部５２は、輝度差計算部６０、輝度値特徴記憶部６１、及び、輝度値特徴判断部６２を有している。
【0073】
まず、輝度差計算部６０が処理対象フレーム（現在の処理対象のフレーム）の輝度平均値とその前フレームの輝度平均値との輝度差を計算する。輝度差計算部６０は、輝度値特徴記憶部６１に輝度差を記憶していく。輝度値特徴判断部６２は、輝度値特徴記憶部６１に記憶された１つ前の輝度差と現在の輝度差との差が予め設定されている閾値Ａ（第一の閾値の一例）以上か否かを判断する。閾値Ａ以上の場合には、処理対象フレームのフレームナンバー（処理対象フレームが取得された時刻に相当する）を輝度値特徴記憶部６１に記憶する。そして、前回、輝度差の差が閾値Ａ以上であるとして記憶されたフレームナンバーとの間隔が（すなわち、時間の間隔が）、予め設定されている閾値Ｂ（第二の閾値の一例）未満の場合、輝度値特徴判断部６２はフレームごとの輝度平均値に周期性があると判断する。
【0074】
そして、周期性があると判断した場合、入力画像処理モジュール３４Ａ、３４Ｂは歪曲補正・画像合成モジュール３６へジェスチャー切り替え信号を出す。また、輝度値特徴判断部６２がフレームごとの輝度平均値に周期性があると再度、判断した場合、入力画像処理モジュール３４Ａ、３４Ｂは歪曲補正・画像合成モジュール３６へジェスチャー切り替え信号を出す。したがって、ユーザは同じジェスチャー切り替え動作で１８０度画像と３６０度画像を切り替えることができる（画角を制御することができる）。
【0075】
＜撮像対象と撮像装置５の関係＞
図１２に基づいて、３６０度画像から１８０度画像に切り替える際の不動産業者１０１の動作と撮像装置５の処理について説明する。図１２は撮像対象と撮像装置５の位置の一例を示す図である。
図１２に基づいて、３６０度画像から１８０度画像に切り替える際の不動産業者１０１の動作と撮像装置５の処理について説明する。図１２は撮像対象と撮像装置５の位置の一例を示す図である。
【0076】
不動産物件を案内している不動産業者１０１は一脚３を持って撮像装置５で室内を撮像しながら、不動産店舗にいる顧客１０２に対して音声にて説明している。まず、全天球の映像を送信して顧客１０２に部屋全体（Ａ空間とＢ空間）を見てもらうが、部屋に設置されたエアコン９０１の説明をする場合、３６０度画像におけるエアコン９０１の位置を説明する必要がある。
【0077】
このエアコン９０１の位置の説明を省略するために、不動産業者１０１は３６０度画像を１８０度画像に切り替えて、エアコン９０１がこの１８０度画像の中心付近に映るように撮像装置５の向きと傾きを調整する。
【0078】
撮像素子２１Ａにて撮像される空間をＡ空間、撮像素子２１Ｂにて撮像される空間をＢ空間と定義する。今、エアコン９０１がＡ空間にある場合、不動産業者１０１は魚眼レンズ１４Ａの光軸がおおよそエアコン９０１に向くように撮像装置５の向きと傾きを変える。そして、魚眼レンズ１４Ｂにかざした手を何回か振ると、魚眼レンズ１４Ｂから入力される光量が周期的に低下する。入力画像処理モジュール３４Ｂの輝度値比較部５２は周期的な低下を検出すると、歪曲補正・画像合成モジュール３６へジェスチャー切り替え信号を出力する。歪曲補正・画像合成モジュール３６はこのジェスチャー切り替え信号を検出すると、３６０度画像の合成処理を止め、入力画像処理モジュール３４Ａから入力される画像データについて（ジェスチャー切り替え信号を出力しない方の入力画像処理モジュール）、歪曲補正と共に天地補正を行って１８０度画像を生成するモードに切り替える。この１８０度画像は画像コーデック３７にてH.264に圧縮して、無線通信モジュール４１がこの画像データを、通信ネットワークＮ（セルラー回線等）を使用して不動産店舗１２０にある端末装置１０Ａに送信する。端末装置１０Ａのディスプレイには、１８０度画像のほぼ中心付近にエアコン９０１が表示される。
【0079】
不動産業者１０１が魚眼レンズ１４Ｂにかざした手を振ることを止めても、撮像装置５は１８０度画像の生成を継続する。
【0080】
その後、不動産物件１１０にいる不動産業者１０１が魚眼レンズ１４Ｂにかざした手を再度振ると、魚眼レンズ１４Ｂから入力される光量が周期的に低下する。入力画像処理モジュール３４Ｂの輝度値比較部５２は周期的な低下を検出すると、歪曲補正・画像合成モジュール３６へジェスチャー切替信号を出力する。
【0081】
歪曲補正・画像合成モジュール３６はこのジェスチャー切り替え信号を検出すると、現在、１８０度画像を生成しているので、３６０度画像の合成処理を再開する。そして、この３６０度画像はH.264に圧縮されて、無線通信モジュール４１によって通信ネットワークＮ（セルラー回線等）を使用して不動産店舗１２０にある端末装置１０Ａへ送信される。なお、現在、１８０度画像を生成している場合には、魚眼レンズ１４Ａ、１４Ｂのどちらからジェスチャー切り替え信号が送信されても、歪曲補正・画像合成モジュール３６が３６０度画像の合成処理を再開してよい。ユーザがどちらの魚眼レンズ１４Ａ、１４Ｂが有効かを忘れても合成処理を再開できる。
【0082】
不動産業者１０１が魚眼レンズ１４Ａにかざした手を振った場合に、歪曲補正・画像合成モジュール３６が魚眼レンズ１４Ｂの１８０度画像を合成に用いることを停止してもよい。
【0083】
ここでは撮像素子２１が２つの場合を説明したが、撮像素子が３つ以上の場合、１つの撮像素子の入力画像処理モジュール３４がジェスチャー切り替え信号を出力すると、歪曲補正・画像合成モジュール３６は残りの２つの撮像素子２１の画像データを合成する。撮像素子が４つ以上の場合も同様である。
【0084】
このように、３６０度画像から撮像素子２１Ａにて撮像される画像（概ね１８０度の画像）への切り替えや、３６０度画像から撮像素子２１Ｂにて撮像される画像（概ね１８０度の画像）への切り替えをハード又はソフト的なスイッチを使用することなく、片方の魚眼レンズにかざした手を振るといった直感的な操作で実現することが可能となる。撮像素子２１Ａ、２１Ｂにて撮像される画像（概ね１８０度の画像）から３６０度画像への切り替えも、ハード又はソフト的なスイッチを使用することなく片方の魚眼レンズにかざした手を振るといった直感的な操作で実現することが可能となる。
【0085】
＜輝度値の周期的な変化の検出＞
本実施形態では、上記のように輝度値比較部５２が「輝度平均値の特定の時間変化パターン」を１回以上検出した場合のみに３６０度画像と１８０度画像を切り替える。これにより、タッチパネルや物理キーなどのハードウェアが必要ないだけでなく、以下の効果も期待できる。
・一度切り替えれば、次の切り替え検出が発生するまで、撮像モード（３６０度画像又は１８０度画像を撮像するモード）がどちらであっても継続することができる。
・輝度ゆらぎ等による意図しない輝度の瞬間的な変化による切り替えを防止できる。
本実施形態では、上記のように輝度値比較部５２が「輝度平均値の特定の時間変化パターン」を１回以上検出した場合のみに３６０度画像と１８０度画像を切り替える。これにより、タッチパネルや物理キーなどのハードウェアが必要ないだけでなく、以下の効果も期待できる。
・一度切り替えれば、次の切り替え検出が発生するまで、撮像モード（３６０度画像又は１８０度画像を撮像するモード）がどちらであっても継続することができる。
・輝度ゆらぎ等による意図しない輝度の瞬間的な変化による切り替えを防止できる。
【0086】
図１３は、ジェスチャー切り替え動作による輝度平均値の時間変化の一例を示す。図１３（ａ）は横軸を時間又はフレームナンバー、縦軸を輝度値とする散布図であり、図１３（ｂ）は輝度差の差が閾値Ａ以上の時刻を説明する図である。
【0087】
図１３（ａ）に示すように、レンズ上を何度も通過するように不動産業者が手を左右(又は上下等)に動かすと、手を振る速度に応じた周期で輝度が変化する。片方のレンズに物体が被さる面積と検出される輝度平均値が反比例の関係にあるためである。また例えば、手を近づける又は遠ざける、手を開く又は閉じるなどのジェスチャーでも同様の変化となる。
【0088】
図１３（ａ）では、手がレンズの上を１往復する期間に輝度が極端に小さくなる（下向きの極値を取る）タイミングが２回出現したと考えられる。輝度値特徴判断部６２は、輝度が小さくなる期間Ｔの長さを閾値Ｂと比較することでジェスチャーなのか、又は、輝度ゆらぎであるのか判断可能になる。図１３（ｂ）では時刻ｔ１～ｔ４で輝度差の差が閾値Ａ以上になっている。なお、詳細には、輝度差の差が閾値Ａ以上になっている。輝度差そのものを閾値Ａと比較してもよい。また、輝度差の差が閾値Ａ以上になるフレームの間隔（時間）が閾値Ｂ未満であると検出されたので、輝度値比較部５２はジェスチャー切り替え動作を検出する。
【0089】
なお、輝度差の差が閾値Ａ以上になるフレームの間隔（時間）が閾値Ｂ未満であることが２回以上検出された場合にジェスチャー切り替え動作を検出してもよい（手の往復に相当）。ジェスチャー切り替え動作でないのにジェスチャー切り替え動作を検出することを抑制できる。
【0090】
＜動作手順＞
図１４は、撮像装置５が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である。図１４の処理は撮像装置５が２つの画像データを合成して３６０度画像を作成している間、繰り返し実行される。
図１４は、撮像装置５が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である。図１４の処理は撮像装置５が２つの画像データを合成して３６０度画像を作成している間、繰り返し実行される。
【0091】
入力画像処理モジュール３４Ａ、３４Ｂの輝度値比較部５２は露光制御部５０が１フレームの全ての画素の輝度成分の平均値（輝度平均値）を輝度値記憶部５１に記憶する（Ｓ１１）。
【0092】
次に、輝度差計算部６０が処理対象フレームの輝度平均値とその前フレームの輝度平均値との輝度差を計算し、輝度値特徴記憶部６１に輝度差を記憶していく（Ｓ１２）。
【0093】
輝度値特徴判断部６２は、輝度値特徴記憶部６１に記憶されている最も新しい輝度差と１つ前の輝度差の差の絶対値が閾値Ａ以上かどうかを判断する（Ｓ１３）。閾値Ａ以上でない場合、図１４の処理は終了する。
【0094】
閾値Ａ以上の場合、輝度値特徴判断部６２は処理対象フレームのフレームナンバーを輝度値特徴記憶部６１に記憶する（Ｓ１４）。
【0095】
そして、輝度値特徴判断部６２は処理対象フレームのフレームナンバーと１つ前に記憶されているフレームナンバーとの差が閾値Ｂ未満か否かを判断する（Ｓ１５）。フレームナンバーを比較することで時間を比較することができる。閾値Ｂ未満でない場合、図１４の処理は終了する。
【0096】
閾値Ｂ未満の場合、輝度値特徴判断部６２はジェスチャー切り替え動作を検出してジェスチャー切り替え信号を出力する（Ｓ１６）。
【0097】
この結果、歪曲補正・画像合成モジュール３６は３６０度画像の合成処理を止め、もう一方の入力画像処理モジュール３４（ジェスチャー切り替え動作が検出されない方）から入力される画像について１８０度画像を生成する（Ｓ１７）。
【0098】
そして、画像コーデック３７は１８０度画像をH.264に圧縮して、通信ネットワークＮを使用して端末装置１０Ａへ送信する（Ｓ１８）。
【0099】
３６０度画像の生成に戻すには、同じジェスチャー切り替え動作を不動産業者が行えばよい。
【0100】
＜主な効果＞
本実施形態の画像通信システム１００は、３６０度画像から１８０度画像へ切り替えて広角な画像から任意の範囲を表示させることができる。また、タッチパネルや物理キーなど所定のハードウェア的なスイッチを使用することなく実行させることができ、直感的な操作で実現できる。一度切り替えれば、次のジェスチャー切り替え動作が検出されるまで、撮像モードがどちらであっても継続することができる。輝度ゆらぎ等による意図しない輝度の瞬間的な変化による切り替えを防止できる。
本実施形態の画像通信システム１００は、３６０度画像から１８０度画像へ切り替えて広角な画像から任意の範囲を表示させることができる。また、タッチパネルや物理キーなど所定のハードウェア的なスイッチを使用することなく実行させることができ、直感的な操作で実現できる。一度切り替えれば、次のジェスチャー切り替え動作が検出されるまで、撮像モードがどちらであっても継続することができる。輝度ゆらぎ等による意図しない輝度の瞬間的な変化による切り替えを防止できる。
【実施例2】
【0101】
本実施例では、輝度平均値の記憶に要する輝度値記憶部５１の容量を低減できる撮像装置５について説明する。撮像装置５が複数回の周期的な輝度平均値の低下を検出した場合に、ジェスチャー切り替え動作を検出する場合、輝度値記憶部５１には複数の周期分の輝度平均値が記憶される。したがって、例えば、複数回の周期的な輝度平均値の低下を検出した場合に、ジェスチャー切り替え動作を検出する場合に輝度値記憶部５１の容量を低減できる。
【0102】
【0103】
図１５は、本実施例の輝度値特徴記憶部６１の構成例を示す図である。輝度値特徴記憶部６１は特徴圧縮部７０と特徴記憶部７１を有する。輝度差計算部６０が計算した輝度差のデータは一時的に特徴圧縮部７０に蓄積され、特徴圧縮部７０は輝度差を周期データに変換可能と判断できた場合には、周期データをパラメータで表す周期データパラメータを特徴記憶部７１に記憶する。特徴記憶部７１に記憶された周期データパラメータは輝度値記憶部５１に転送される。
【0104】
＜輝度平均値の周期データ＞
図１６は、ジェスチャー切り替え動作による輝度平均値の時間変化の一例を示す。特徴圧縮部７０は１周期前の輝度平均値を順次周期データパラメータに変換していくことで、輝度値記憶部５１が保持するデータ容量を圧縮する。
図１６は、ジェスチャー切り替え動作による輝度平均値の時間変化の一例を示す。特徴圧縮部７０は１周期前の輝度平均値を順次周期データパラメータに変換していくことで、輝度値記憶部５１が保持するデータ容量を圧縮する。
【0105】
図１６の現在の周期３０１では周期性の検出を行うため、フレームごとの輝度平均値を全て保持する必要がある。しかし、１つ前を含む以前の周期３０２に関しては、周期性の検出が完了しているため、周期データパラメータ(輝度差が大きくなる時刻とその輝度差の値)のみを保持できればよい。これらを使うと次のように輝度値記憶部５１の保持データを圧縮できる。
(i)圧縮前のデータ数
１周期のフレーム数×(輝度平均値＋時間) → データ数20～30個
(ii) 圧縮後のデータ数（周期データパラメータのデータ数）
閾値Ａ以上の輝度差の差＋この輝度差が生じた時刻)×２ → データ数 ４個
＜動作手順＞
図１７は、撮像装置５が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である。図１７の説明では主に図１４との相違を説明する。
(i)圧縮前のデータ数
１周期のフレーム数×(輝度平均値＋時間) → データ数20～30個
(ii) 圧縮後のデータ数（周期データパラメータのデータ数）
閾値Ａ以上の輝度差の差＋この輝度差が生じた時刻)×２ → データ数 ４個
＜動作手順＞
図１７は、撮像装置５が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である。図１７の説明では主に図１４との相違を説明する。
【0106】
図１７の処理ではステップＳ１５－２が追加されている。ステップＳ１５－２では、特徴圧縮部７０が、輝度値記憶部５１に蓄積されていく輝度平均値について、閾値Ａ以上の輝度差の差とこの輝度差の差が検出された時刻（フレームナンバーでもよい）を１周期分、特徴記憶部７１に記憶する。１周期分なので、(ii)のように４つのデータを記憶する。特徴記憶部７１は、周期データパラメータは輝度値特徴記憶部６１に転送し、輝度値特徴記憶部６１に記憶されている１周期分の輝度平均値を削除する。
【0107】
輝度値特徴判断部６２は輝度値記憶部５１の周期データパラメータを参照して、例えばＮ周期分の周期データパラメータを検出した場合に、ジェスチャー切り替え動作を検出する（Ｓ１６－２）。以降の処理は図１４と同様でよい。
【0108】
＜主な効果＞
本実施例によれば、実施例１の効果に加え、輝度値記憶部５１に記憶される輝度平均値の容量を低減することができる。
本実施例によれば、実施例１の効果に加え、輝度値記憶部５１に記憶される輝度平均値の容量を低減することができる。
【実施例3】
【0109】
本実施例では、ユーザがジェスチャー切り替え動作をしているにも関わらず、輝度平均値の周期的な変化が顕著に表れない場合でも、ジェスチャー切り替え動作の検出精度を高めることができる撮像装置５について説明する。
【0110】
＜輝度値比較部の構成例＞
本実施例においては、実施例１にて説明した図４～図６のハードウェア構成図、及び、図１１（ａ）に示した入力画像処理モジュール３４Ａ、３４Ｂの機能ブロック図を援用できるものとして説明する。
本実施例においては、実施例１にて説明した図４～図６のハードウェア構成図、及び、図１１（ａ）に示した入力画像処理モジュール３４Ａ、３４Ｂの機能ブロック図を援用できるものとして説明する。
【0111】
図１８は本実施例の輝度値比較部５２の機能を示す図である。入力画像処理モジュール３４Ａが有する輝度値記憶部５１を５１Ａ，入力画像処理モジュール３４Ｂが有する輝度値記憶部５１を５１Ｂとする。輝度値記憶部５１Ａは入力画像処理モジュール３４Ａが生成した画像データ（第一の画像データの一例）から算出された輝度平均値を記憶する。輝度値記憶部５１Ｂは入力画像処理モジュール３４Ｂが生成した画像データ（第二の画像データの一例）から算出された輝度平均値を記憶する。
【0112】
また、入力画像処理モジュール３４Ａの輝度値比較部５２Ａは、輝度差計算部６０Ａ（第一の輝度差計算部の一例）、輝度値特徴記憶部６１Ａ、及び、輝度値特徴判断部６２Ａ（第一の輝度値特徴判断部の一例）を有し、入力画像処理モジュール３４Ｂの輝度値比較部５２Ｂは、輝度差計算部６０Ｂ（第二の輝度差計算部の一例）、輝度値特徴記憶部６１Ｂ、及び、輝度値特徴判断部６２Ｂ（第二の輝度値特徴判断部の一例）を有する。
【0113】
本実施例の輝度値比較部５２Ａ，５２Ｂが有する機能は実施例１と同様であるが、輝度差計算部６０Ａ、６０Ｂに、他方の入力画像処理モジュール３４Ａ、３４Ｂが出力した輝度平均値も入力される。したがって、輝度差計算部６０Ａ，６０Ｂは自分のレンズ内の輝度差だけでなく、他方のレンズの輝度平均値と自分のレンズの輝度平均値との輝度差を算出できる。相対的な輝度差を算出することで、より詳細な輝度差の特徴の検出が可能になる。
【0114】
＜輝度平均値の周期データ＞
図１９は、ジェスチャー切り替え動作による輝度平均値の時間変化の一例を示す。図１９にはユーザがジェスチャー切り替え動作をしている方のレンズからの輝度平均値３１０Ａ（「○」で表す）の時間変化と合わせて、同時刻に取得した他方のレンズからの輝度平均値３１０Ｂ（「△」で表す）の時間変化も表示されている。輝度平均値の変化が大きい方が、ジェスチャー切り替え動作が行われたレンズの輝度平均値３１０Ａであり、小さい方が、ジェスチャー切り替え動作が行われていないレンズの輝度平均値３１０Ｂである。
図１９は、ジェスチャー切り替え動作による輝度平均値の時間変化の一例を示す。図１９にはユーザがジェスチャー切り替え動作をしている方のレンズからの輝度平均値３１０Ａ（「○」で表す）の時間変化と合わせて、同時刻に取得した他方のレンズからの輝度平均値３１０Ｂ（「△」で表す）の時間変化も表示されている。輝度平均値の変化が大きい方が、ジェスチャー切り替え動作が行われたレンズの輝度平均値３１０Ａであり、小さい方が、ジェスチャー切り替え動作が行われていないレンズの輝度平均値３１０Ｂである。
【0115】
輝度値比較部５２は相対的な視点から輝度平均値の時間変化を見ることで、実施例１では見られなかった周期性を検出可能にする。輝度差計算部６０Ａ，６０Ｂは、実施例１の輝度差の計算に加え、同時刻の輝度平均値３１０Ａと輝度平均値３１０Ｂの輝度差を算出する。輝度差に基づく周期性の判断方法は実施例１と同様でよい。
【0116】
図１９では、時刻ｔ１～ｔ４で、輝度平均値３１０Ａと輝度平均値３１０Ｂの輝度差の差が閾値Ａ以上となっている。
【0117】
【0118】
まず、ステップＳ１２－２において、輝度差計算部６０Ａ、６０Ｂが処理対象フレームの輝度平均値とその前フレームの輝度平均値との輝度差を計算し、輝度値特徴記憶部６１に輝度差の差I（第一の輝度差の差の一例）を記憶していく（同じ入力画像処理モジュール３４Ａ、３４Ｂ内の比較）。また、輝度差計算部６０Ａは処理対象フレームと同時刻に入力画像処理モジュール３４Ｂが出力した輝度平均値との輝度差の差II（第二の輝度差の差の一例）を計算し、輝度差計算部６０Ｂは処理対象フレームと同時刻に入力画像処理モジュール３４Ａが出力した輝度平均値との輝度差の差IIを計算する（入力画像処理モジュール３４Ａと３４Ｂの比較）。
【0119】
そして、ステップＳ１３～Ｓ１５では、輝度差の差Ｉ、輝度差の差IIについて同じように、閾値Ａ、閾値Ｂとの比較を行う（Ｓ１３～Ｓ１５）。
【0120】
そして、輝度差の差Ｉ、輝度差の差IIのどちらか一方で、閾値Ａ、閾値Ｂとの比較が基準を満たす場合、輝度値比較部５２はジェスチャー切り替え動作を検出する（Ｓ１６）。以降の処理は実施例１と同様でよい。
【0121】
＜主な効果＞
本実施例によれば、実施例１の効果に加え、ユーザがジェスチャー切り替え動作をしているにも関わらず、輝度平均値の周期的な変化が顕著に表れない場合でも、ジェスチャー切り替え動作の検出精度を高めることができる。
本実施例によれば、実施例１の効果に加え、ユーザがジェスチャー切り替え動作をしているにも関わらず、輝度平均値の周期的な変化が顕著に表れない場合でも、ジェスチャー切り替え動作の検出精度を高めることができる。
【実施例4】
【0122】
本実施例では、ユーザのジェスチャー位置がレンズの中心から外れていた場合にもジェスチャー切り替え動作を検出できる撮像装置５について説明する。本実施例では、画像データを分割したエリアごとに輝度平均値の時間変化の周期性を判断する。例えば、画像データを４分割する場合には、撮像装置５は輝度値記憶部５１と輝度値比較部５２を４つずつ有することになる。
【0123】
＜分割例＞
図２１は画像データの分割例を示す図である。図２１では画像データは中心を通る水平線と垂直線で４つのエリア３２０に分割されている。中心から等角度で分割してもよいし、エリアごとに異なる形状で分割してもよい。また、エリア３２０は２つ以上あればよく、４つは一例に過ぎない。
図２１は画像データの分割例を示す図である。図２１では画像データは中心を通る水平線と垂直線で４つのエリア３２０に分割されている。中心から等角度で分割してもよいし、エリアごとに異なる形状で分割してもよい。また、エリア３２０は２つ以上あればよく、４つは一例に過ぎない。
【0124】
＜機能について＞
図２２は、本実施例の入力画像処理モジュール３４Ａ、３４Ｂの構成例を示す図である。入力画像処理モジュール３４Ａ、３４Ｂは画像データを分割して処理を行うため、輝度値記憶部５１と輝度値比較部５２を分割した数だけ有する。更に、画像データを各エリアに分割する輝度エリア分割部５６と、ジェスチャー切り替え動作が検出されたエリアの比較結果を選択して歪曲補正・画像合成モジュール３６に出力する有効輝度エリア選択部５７を有する。
図２２は、本実施例の入力画像処理モジュール３４Ａ、３４Ｂの構成例を示す図である。入力画像処理モジュール３４Ａ、３４Ｂは画像データを分割して処理を行うため、輝度値記憶部５１と輝度値比較部５２を分割した数だけ有する。更に、画像データを各エリアに分割する輝度エリア分割部５６と、ジェスチャー切り替え動作が検出されたエリアの比較結果を選択して歪曲補正・画像合成モジュール３６に出力する有効輝度エリア選択部５７を有する。
【0125】
なお、輝度値比較部５２の機能は実施例１の図１１（ｂ）と同様でよい。
【0126】
＜動作について＞
図２３は本実施例の入力画像処理モジュールの処理を説明するフローチャート図の一例である。
図２３は本実施例の入力画像処理モジュールの処理を説明するフローチャート図の一例である。
【0127】
まず、輝度エリア分割部５６はガンマ補正等が終わった入力画像（画像データ）を受け取り、設定されている数のエリアに分割する（Ｓ１０１）。エリアの数は任意でよいが例えば２つ以上であればよい。また、エリアの形状は元の画像データに相似形の矩形の他、中心から等間隔で分割された形状、又は不定形でもよい。各エリアの面積は同じでなくてよい。
【0128】
次に、露光制御部５０は、分割したエリアごとに輝度平均値を計算する（Ｓ１０２）。
【0129】
次に、露光制御部５０は、エリアに対応する複数の輝度値記憶部５１にそれぞれの輝度平均値を転送する（Ｓ１０３）。
【0130】
輝度値比較部５２は、実施例１と同様の方法で、エリアごとにジェスチャー切り替え動作を検出する（Ｓ１０４）。すなわち、各エリアの輝度値比較部５２が図１４のステップＳ１２～Ｓ１５を実行する。エリアごとにジェスチャー切り替え動作を検出するので、ユーザの手がレンズの中心から離れていても、ジェスチャー切り替え動作を検出しやすくなる。
【0131】
各輝度値比較部５２はエリアごとの比較結果をそれぞれ有効輝度エリア選択部５７に転送する（Ｓ１０５）。この比較結果は、エリアの識別情報に対応付けられたジェスチャー切り替え動作の検出結果の有無である。
【0132】
有効輝度エリア選択部５７は１つでもジェスチャー切り替え動作が検出されたエリアがあれば（Ｓ１０６）、ユーザがジェスチャー動作を行ったと判断する（Ｓ１０７）。以降の処理は実施例１の図１４と同様でよい。
【0133】
＜主な効果＞
本実施例によれば、実施例１の効果に加え、ユーザのジェスチャー位置がレンズの中心から外れていた場合にもジェスチャー切り替え動作を検出できる。
本実施例によれば、実施例１の効果に加え、ユーザのジェスチャー位置がレンズの中心から外れていた場合にもジェスチャー切り替え動作を検出できる。
【実施例5】
【0134】
本実施例では実施例１～４とは異なるジェスチャー切り替え動作を検出できる撮像装置５について説明する。例えば、ユーザが円を描くようにレンズに手をかざした場合でも撮像装置５がジェスチャー切り替え動作を検出できる。
【0135】
＜機能について＞
図２４は、本実施例の入力画像処理モジュール３４Ａ，３４Ｂの機能を示す図の一例である。本実施例では画像データを分割して処理を行うため、入力画像処理モジュール３４Ａ，３４Ｂは分割した数だけの輝度値記憶部５１と輝度値比較部５２を有している。更に、輝度の平均値を求めるエリアに画像データを分割するための輝度エリア分割部５６と、複数の輝度値比較部５２のフレームごとの輝度差の変化からジェスチャーを検知して歪曲補正・画像合成モジュール３６に出力するジェスチャー検出部５８を有する。ジェスチャー検出部５８は、輝度値比較部５２のフレームごとの輝度差の変化を各輝度値比較部５２から取得して、各エリアの輝度差の変化からジェスチャー切り替え動作を検出する。
図２４は、本実施例の入力画像処理モジュール３４Ａ，３４Ｂの機能を示す図の一例である。本実施例では画像データを分割して処理を行うため、入力画像処理モジュール３４Ａ，３４Ｂは分割した数だけの輝度値記憶部５１と輝度値比較部５２を有している。更に、輝度の平均値を求めるエリアに画像データを分割するための輝度エリア分割部５６と、複数の輝度値比較部５２のフレームごとの輝度差の変化からジェスチャーを検知して歪曲補正・画像合成モジュール３６に出力するジェスチャー検出部５８を有する。ジェスチャー検出部５８は、輝度値比較部５２のフレームごとの輝度差の変化を各輝度値比較部５２から取得して、各エリアの輝度差の変化からジェスチャー切り替え動作を検出する。
【0136】
なお、輝度値比較部５２の機能は実施例１の図１１（ｂ）と同様でよい。
【0137】
＜ジェスチャー切り替え動作と各エリアの輝度差の変化＞
図２５は本実施例の各エリアの輝度差の変化を模式的に示す図である。図２５では元の画像データが４つに分割されたものとして説明する。また、ユーザはレンズ上で時計回りに円を描くように手を移動させている。画像データの中心を通る直線で４分割した場合、図２５（ａ）は左上の画像データの輝度平均値であり、図２５（ｂ）は右上の画像データの輝度平均値であり、図２５（ｃ）は右下の画像データの輝度平均値であり、図２５（ｄ）は左下の画像データの輝度平均値である。時計回りなので、ユーザの手は、左上→右上→右下→左下の順に移動する。
図２５は本実施例の各エリアの輝度差の変化を模式的に示す図である。図２５では元の画像データが４つに分割されたものとして説明する。また、ユーザはレンズ上で時計回りに円を描くように手を移動させている。画像データの中心を通る直線で４分割した場合、図２５（ａ）は左上の画像データの輝度平均値であり、図２５（ｂ）は右上の画像データの輝度平均値であり、図２５（ｃ）は右下の画像データの輝度平均値であり、図２５（ｄ）は左下の画像データの輝度平均値である。時計回りなので、ユーザの手は、左上→右上→右下→左下の順に移動する。
【0138】
図２５を見ると分かるように、輝度平均値が小さい部分（下向きピーク）が、左上→右上→右下→左下の順に時間的に遅い方に移動している。すなわち、各エリアの輝度平均値を比較すると周期性があることが分かる。ジェスチャー検出部５８は図２５の周期性を検出した場合に、ジェスチャー切り替え動作が検出されたと判断する。
【0139】
各エリアに対応した輝度値特徴判断部６２は、輝度差の差が閾値Ａ以上となる２つのフレーム間の中点Ｐを、輝度が最も小さくなるフレームに決定する。なお、中点Ｐは閾値Ａ以上となる２つのタイミングの差が閾値Ｂ未満であることが条件となっている。そして、ジェスチャー検出部５８は４つのエリアの輝度が最も小さくなるフレーム（各エリアの中点Ｐ）に基づいて周期性を確認する。
【0140】
図２５（ｅ）は各エリアで輝度が最も小さくなるフレームｆ１～ｆ５（時刻ｔ１～ｔ５でもよい）の間隔を示す。ジェスチャー検出部５８はｆ１とｆ２の間隔とｆ２とｆ３の間隔の差、ｆ２とｆ３の間隔のとｆ３とｆ４の間隔の差、ｆ３とｆ４の間隔とｆ４とｆ５の間隔の差、がそれぞれ閾値Ｃ（第三の閾値の一例）未満の場合、エリアの輝度平均値に周期性があると判断し、ジェスチャー切り替え動作を検出する。
【0141】
＜動作手順＞
図２６は本実施例の入力画像処理モジュールの処理を説明するフローチャート図の一例である。
図２６は本実施例の入力画像処理モジュールの処理を説明するフローチャート図の一例である。
【0142】
まず、輝度エリア分割部５６が入力画像（元の画像データ）をエリアに分割する（Ｓ２０１）。
【0143】
次に、露光制御部５０が分割されたエリアごとに輝度平均値を計算する（Ｓ２０２）。
【0144】
次に、露光制御部５０がエリアに対応する複数の輝度値記憶部５１にそれぞれの輝度平均値を記憶する（Ｓ２０３）。
【0145】
次に、各エリアに対応する輝度値比較部５２が輝度値記憶部５１に記憶された輝度平均値に対し、実施例１と同様の方法で輝度平均値が極小値を取るフレームを決定する（Ｓ２０４）。すなわち、各エリアの輝度値比較部５２が図１４のステップＳ１２～Ｓ１５を実行し、輝度差の差が閾値Ａ以上となる２つのタイミングであってタイミングの差が閾値Ｂ未満のタイミングの中点Ｐ（又は中点Ｐに最も近いフレーム若しくは時刻）を決定する。
【0146】
次に、各輝度値比較部５２は輝度平均値が極小値を取るフレームを全てジェスチャー検出部５８に転送する（Ｓ２０５）。
【0147】
次に、ジェスチャー検出部５８は、各エリアの輝度平均値が極小値を取るフレーム（タイミング）を集計し、各エリアで極小値を取るフレームの差が予め設定した閾値Ｃ未満である場合にジェスチャー動作が検出されたと判断する（Ｓ２０６）。
【0148】
＜主な効果＞
本実施例によれば、実施例１の効果に加え、ユーザが円を描くようにレンズに手をかざした場合でも撮像装置５がジェスチャー切り替え動作を検出できる。
本実施例によれば、実施例１の効果に加え、ユーザが円を描くようにレンズに手をかざした場合でも撮像装置５がジェスチャー切り替え動作を検出できる。
【実施例6】
【0149】
本実施例では、ユーザのジェスチャー位置がレンズの中心から外れていた場合、かつ、輝度平均値の時間変化が顕著に表れない場合の精度を高めることができる撮像装置５について説明する。
【0150】
＜機能について＞
まず、入力画像処理モジュール３４Ａ，３４Ｂの構成は実施例４の図２２と同様であるとする。したがって、本実施例でも両レンズそれぞれの画像データを同様に分割する。
まず、入力画像処理モジュール３４Ａ，３４Ｂの構成は実施例４の図２２と同様であるとする。したがって、本実施例でも両レンズそれぞれの画像データを同様に分割する。
【0151】
図２７は、本実施例の輝度値比較部５２の構成例を示す図である。輝度値比較部５２の構成は実施例３の図１８と同様とする。すなわち、輝度差計算部６０Ａ、６０Ｂに、他方の入力画像処理モジュール３４Ａ、３４Ｂが出力した輝度平均値も入力される。更に、入力される輝度平均値はエリアごとに算出されている。したがって、輝度差計算部６０Ａ，６０Ｂは自分のレンズ内のエリアごとの輝度差だけでなく、他方のレンズの輝度平均値と自分のレンズの輝度平均値との輝度差をエリアごとに算出できる。相対的な輝度差を算出することで、より詳細な輝度差の特徴の検出が可能になる。
【0152】
１つの画像データが４つに分割される場合、入力画像処理モジュール３４Ａ，３４Ｂ間の比較の組み合わせは４×４＝１６あるが、本実施例では、両レンズの点対称に位置するエリア同士を全て比較するものとする。
【0153】
図２８は比較の対象を説明する図の一例である。図２８（ａ）は入力画像処理モジュール３４Ａの画像データＡであり、図２８（ｂ）は入力画像処理モジュール３４Ｂの画像データＢである。したがって、輝度値特徴判断部６２は、以下の組み合わせで輝度平均値を比較する。
・画像データＡのエリア１と点対称なのは画像データＢのエリア３
・画像データＡのエリア２と点対称なのは画像データＢのエリア４
・画像データＡのエリア３と点対称なのは画像データＢのエリア１
・画像データＡのエリア４と点対称なのは画像データＢのエリア２
こうすることで、手の位置の影響を受けている画像データのエリアと手の位置の影響を受けにくい画像データのエリアの輝度平均値を比較できる。なお、線対称な関係にあるエリア同士を比較してもよい。
・画像データＡのエリア１と点対称なのは画像データＢのエリア３
・画像データＡのエリア２と点対称なのは画像データＢのエリア４
・画像データＡのエリア３と点対称なのは画像データＢのエリア１
・画像データＡのエリア４と点対称なのは画像データＢのエリア２
こうすることで、手の位置の影響を受けている画像データのエリアと手の位置の影響を受けにくい画像データのエリアの輝度平均値を比較できる。なお、線対称な関係にあるエリア同士を比較してもよい。
【0154】
なお、図２８の比較の対称は一例に過ぎず、画像データＡのエリア１と画像データＢのエリア１～４のいずれか、画像データＡのエリア２と画像データＢのエリア１～４のいずれか、画像データＡのエリア３と画像データＢのエリア１～４のいずれか、画像データＡのエリア４と画像データＢのエリア１～４のいずれか、を比較してもよい。
【0155】
＜ジェスチャー切り替え動作と各エリアの輝度差の変化＞
図２９はジェスチャー切り替え動作による輝度平均値の時間変化の一例を示す図である。図２９（ａ）は例えば入力画像処理モジュール３４Ａの左上のエリアの輝度平均値であり、図２９（ｂ）は右上のエリアの輝度平均値であり、図２９（ｃ）は右下のエリアの輝度平均値であり、図２９（ｄ）は左下のエリアの輝度平均値である。各エリアの輝度平均値が「○」で示され、比較対象の入力画像処理モジュール３４Ｂの輝度平均値が「△」で表示されている。
図２９はジェスチャー切り替え動作による輝度平均値の時間変化の一例を示す図である。図２９（ａ）は例えば入力画像処理モジュール３４Ａの左上のエリアの輝度平均値であり、図２９（ｂ）は右上のエリアの輝度平均値であり、図２９（ｃ）は右下のエリアの輝度平均値であり、図２９（ｄ）は左下のエリアの輝度平均値である。各エリアの輝度平均値が「○」で示され、比較対象の入力画像処理モジュール３４Ｂの輝度平均値が「△」で表示されている。
【0156】
輝度値特徴判断部６２Ａ、６２Ｂは、他方のレンズの輝度平均値との輝度差の差が閾値Ａ以上のフレームを特定し、このフレームが閾値Ｂ未満の間隔で検出された場合にジェスチャー切り替え動作を検出する。図２９（ａ）では左上のエリアの輝度平均値で周期性が検出される。各エリアに対応した輝度値特徴判断部６２Ａ、６２Ｂはジェスチャー切り替え動作を検出した旨を有効輝度エリア選択部５７に出力する。有効輝度エリア選択部５７は１つでもジェスチャー切り替え動作が検出されたエリアがあれば、ユーザがジェスチャー動作を行ったと判断する。
【0157】
【0158】
図３０ではステップＳ１０３－２において、露光制御部５０は、エリアに対応する複数の輝度値記憶部５１にそれぞれの輝度平均値を転送し、他方のレンズの点対称な位置のエリアの輝度平均値も転送する。
【0159】
次に、ステップＳ１０４－２において、各エリアに対応する輝度値比較部５２が輝度値記憶部５１に記憶された輝度平均値を、他方のレンズの輝度平均値と比較して、輝度差を算出し、実施例1と同様にジェスチャー切り替え動作を検出する。以降の処理は図２３と同様でよい。
【0160】
＜主な効果＞
本実施例によれば、実施例１の効果に加え、ユーザのジェスチャー位置がレンズの中心から外れていた場合、かつ、輝度平均値の時間変化が顕著に表れない場合の精度を高めることができる。
本実施例によれば、実施例１の効果に加え、ユーザのジェスチャー位置がレンズの中心から外れていた場合、かつ、輝度平均値の時間変化が顕著に表れない場合の精度を高めることができる。
【実施例7】
【0161】
本実施例では、三次元のジェスチャー切り替え動作を検出可能な撮像装置５について説明する。
【0162】
＜機能について＞
図３１は、本実施例の入力画像処理モジュール３４Ａ，３４Ｂの構成を説明する図である。入力画像処理モジュール３４Ａ，３４Ｂの構成は実施例５の図２４と同様であるが、ジェスチャー検出部５８Ａ，５８Ｂ（それぞれ第一の検出部、第二の検出部の一例）は入力画像処理モジュール３４Ａ，３４Ｂのそれぞれの輝度値比較部５２から受け取るデータを他方（入力画像処理モジュール３４Ｂ，３４Ａ）へ転送する。それぞれのジェスチャー検出部５８には同じデータ（周期データ）が入力されることになるため、入力画像処理モジュール３４Ａ，３４Ｂのどちらでもジェスチャーを認識することができる。
図３１は、本実施例の入力画像処理モジュール３４Ａ，３４Ｂの構成を説明する図である。入力画像処理モジュール３４Ａ，３４Ｂの構成は実施例５の図２４と同様であるが、ジェスチャー検出部５８Ａ，５８Ｂ（それぞれ第一の検出部、第二の検出部の一例）は入力画像処理モジュール３４Ａ，３４Ｂのそれぞれの輝度値比較部５２から受け取るデータを他方（入力画像処理モジュール３４Ｂ，３４Ａ）へ転送する。それぞれのジェスチャー検出部５８には同じデータ（周期データ）が入力されることになるため、入力画像処理モジュール３４Ａ，３４Ｂのどちらでもジェスチャーを認識することができる。
【0163】
＜動作手順＞
図３２は本実施例の入力画像処理モジュールの処理を説明するフローチャート図の一例である。
図３２は本実施例の入力画像処理モジュールの処理を説明するフローチャート図の一例である。
【0164】
まず、実施例５で説明したように、各輝度値比較部５２は輝度平均値が極小値を取るフレームを決定し、フレームの全てをジェスチャー検出部５８に転送する（Ｓ３０１）。
【0165】
次に、ジェスチャー検出部５８Ａは輝度平均値が極小値を取るフレームを他の入力画像処理モジュール３４Ｂのジェスチャー検出部５８Ｂに転送する（Ｓ３０２）。ジェスチャー検出部５８Ｂは輝度平均値が極小値を取るフレームを他の入力画像処理モジュール３４Ａのジェスチャー検出部５８Ａに転送する。
【0166】
ジェスチャー検出部５８Ａ、５８Ｂは、各エリアの輝度差が大きくなるフレーム（タイミング）を集計し、各エリアで極小値を取るフレームの差が予め設定した閾値Ｃ未満である場合にジェスチャー動作が検出されたと判断する（Ｓ３０３）。つまり、ジェスチャー検出部５８Ａ、５８Ｂは自分の入力画像処理モジュールと他の入力画像処理モジュールの、輝度平均値が極小値を取るフレームについてそれぞれジェスチャー動作の有無を判断する。
【0167】
＜主な効果＞
本実施例によれば、実施例１の効果に加え、三次元のジェスチャー切り替え動作を検出できる。
本実施例によれば、実施例１の効果に加え、三次元のジェスチャー切り替え動作を検出できる。
【0168】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0169】
例えば、本実施形態では不動産の内見を例にして説明したが、画像通信システム１００の適用例はこれに限られない。例えば、展示会、展覧会、工場見学、観光、視察、など現地の対象を指し示す場合に適用できる。
【0170】
また、本実施形態では人間が撮像装置５で対象を撮像したが、機械やロボット、動物が指し示してもよい。
【0171】
また、図１１等の構成例は、画像通信システム１００による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。画像通信システム１００の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【0172】
複数の通信管理システム８０が存在してもよいし、通信管理システム８０の機能が複数のサーバに分散していてもよい。画像データと音データを中継する中継装置があってもよい。
【0173】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0174】
５ 撮像装置
１０ 端末装置
２１ 撮像素子
３４ 入力画像処理モジュール
５０ 露光制御部
５１ 輝度値記憶部
５２ 輝度値比較部
７０ 通信管理システム
１００ 画像通信システム
１０ 端末装置
２１ 撮像素子
３４ 入力画像処理モジュール
５０ 露光制御部
５１ 輝度値記憶部
５２ 輝度値比較部
７０ 通信管理システム
１００ 画像通信システム
【先行技術文献】
【特許文献】
【0175】
【文献】特開2019－012881号公報
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】