(58)【調査した分野】(Int.Cl.,DB名)
前記画像取得手段は、前記撮像部によりキャプチャされた静止画像を、キャプチャ時に算出されていた前記撮像部の撮影方向に対応する方向情報と関連付けて画像格納部に格納し、
前記キャプチャ指示手段は、前記方向算出手段により算出された前記撮像部の撮影方向と前記画像格納部に格納されている静止画像と関連付けられている前記方向情報との関係から、前記キャプチャを指示するか否かを判定する、
請求項2に記載の撮像制御装置。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態は例示であり、本発明は以下の各実施形態の構成に限定されない。本発明における撮像制御装置は、以下に例示される撮像装置の全部又は一部に相当する。
【0015】
[第一実施形態]
〔ハードウェア構成〕
図1は、第一実施形態における撮像装置のハードウェア構成を概念的に示す図である。
図1に示されるように、撮像装置10は、CPU(Central Processing Unit)1、メモリ2、通信部4、表示部5、入力部6、撮像部7等を有する。CPU1は、他の各部とバス等の通信線により接続される。メモリ2は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等である。通信部4は、他の装置や機器と信号の送受信を行う。通信部4には、可搬型記録媒体等も接続され得る。
【0016】
表示部5は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイのような、CPU1やGPU(Graphics Processing Unit)(図示せず)等により処理された描画データに対応する画面を表示するユニットである。入力部6は、ユーザ操作の入力を受け付けるユニットであり、例えば、ハードウェアボタンユニット、タッチセンサ等として実現される。表示部5及び入力部6は例えば一体化され、タッチパネルとして実現されることもできる。撮像部7は、レンズ、撮像素子等から形成されるカメラであり、リアルタイム映像の画像フレームを取得し、指示により静止画像及び動画像を撮像する。
【0017】
撮像装置10は、撮像部7を有し、撮像部7により取得される画像を表示部5に表示させ、入力部6により受け付けられるユーザ操作に応じて静止画像及び動画像をキャプチャし、キャプチャした動画像を表す情報を保持する。撮像装置10は、静止画像及び動画像のキャプチャにあたり、後述する各処理部の処理により設定されるフォーカスパラメータを用いる。撮像装置10は、デジタルカメラ、携帯電話、スマートデバイス等のような撮像機能を有する装置であり、その具体的な製品形態は制限されず、そのハードウェア構成も制限されない。
【0018】
〔処理構成〕
図2は、第一実施形態における撮像装置10の処理構成例を概念的に示す図である。
図2に示されるように、撮像装置10は、画像取得部11、マーカ検出部12、基準算出部13、距離算出部14、パラメータ決定部15、設定部16等を有する。これら各処理部は、例えば、プログラムとしてメモリ2に格納され、CPU1によりこれらのプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワークに存在する他のコンピュータから通信部4を介してインストールされ、メモリ2に格納されてもよい。
【0019】
画像取得部11は、撮像部7からリアルタイム撮影画像を逐次取得する。例えば、画像取得部11は、撮像部7からリアルタイム映像の画像フレームを上記リアルタイム撮影画像として所定周期で取得する。
【0020】
マーカ検出部12は、画像取得部11により取得されるリアルタイム撮影画像からマーカを検出する。ここで、マーカとは、現実世界に配置された画像や物であり、ARマーカ等と呼ばれる。但し、本実施形態は、このマーカを基に、参照方向によらず或る基準点及びその基準点からの相互に直交する3つの方向を一定に得ることができるのであれば、このマーカの具体的形態を制限しない。例えば、マーカ検出部12は、マーカの形状情報、色情報等を予め保持しており、これら保持情報に基づいて、背景画像からマーカを検出する。このマーカ検出には、周知の画像認識手法が利用されればよい。
【0021】
基準算出部13は、マーカ検出部12により検出されたマーカに関する現実情報及び画像情報に基づいて、そのマーカと撮像部7との位置関係を示す撮影位置関係を算出する。
マーカに関する現実情報とは、マーカの現実世界における情報を意味し、例えば、マーカの実際の形状や大きさ等を示す。また、マーカに関する画像情報とは、マーカのリアルタイム撮影画像内での情報を意味し、マーカのリアルタイム撮影画像内の形状や大きさ等を示す。マーカに関する現実情報は、予め基準算出部13により保持される。マーカに関する画像情報は、基準算出部13によりリアルタイム撮影画像から取得される。
【0022】
基準算出部13は、マーカに関する現実情報と画像情報との比較により、マーカと撮像部7との位置関係を示す撮影位置関係を算出することができる。例えば、基準算出部13は、撮影位置関係として、マーカに対する撮像部7の相対的な仮想位置、及び、マーカと撮像部7との現実距離を算出することができる。基準算出部13による撮影位置関係の算出手法は、マーカに関する現実情報と画像情報とが利用されれば、特に制限されない。
【0023】
基準算出部13は、当該撮影位置関係を算出するにあたり、マーカの位置に相当する基準位置を次のように設定することができる。例えば、その基準位置は、マーカ内における任意の点に設定される。マーカが複数の部分形状から構成される場合には、それら複数の部分形状から導かれる或る点がその基準位置に設定されてもよい。
【0024】
距離算出部14は、基準算出部13により算出された撮影位置関係、及び、マーカと共にリアルタイム撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、撮像部7とそのオブジェクトとの現実距離を算出する。ここで、マーカと共にリアルタイム撮影画像に写るオブジェクトとは、撮影者が写したい被写体であり、現実世界においてマーカと近い位置に置かれる個体である。
【0025】
オブジェクト位置関係は、マーカに対するオブジェクトの相対的な仮想位置を示してもよいし、マーカとオブジェクトとの現実世界における位置関係を示してもよい。オブジェクト位置関係は、距離算出部14により予め保持されてもよいし、他の情報を用いて、距離算出部14により算出されてもよい。また、距離算出部14による当該現実距離の算出手法には複数存在し得る。この算出手法の例は後述される実施例において説明される。当該現実距離の算出手法は特に制限されない。
【0026】
距離算出部14は、撮像部7とオブジェクトとの現実距離を算出するにあたり、オブジェクトの位置に相当する基準位置を次のように設定することができる。例えば、その基準位置は、オブジェクト内における、重心点、最上位点、最下位点、マーカに最も近い点、マーカから最も遠い点、撮像部7に最も近い点、撮像部7から最も遠い点等、オブジェクト内における任意の位置に設定される。
【0027】
パラメータ決定部15は、距離算出部14により算出された現実距離を用いて、そのオブジェクトに撮像部のピントを合わせるためのフォーカスパラメータを決定する。具体的には、パラメータ決定部15は、フォーカスパラメータとして、ピント位置を決定する。
但し、パラメータ決定部15は、フォーカスパラメータとして、ピント位置に加えて、被写界深度を調整するための絞り値等を決定することもできる。ピント位置は、撮像部7におけるピント合わせのための構成に応じて、例えば、レンズと撮像素子との間の距離、焦点距離等で表すことができる。パラメータ決定部15によるパラメータ決定手法には周知の手法が利用され得る。
【0028】
設定部16は、パラメータ決定部15により決定されたフォーカスパラメータを撮像部7に設定する。
【0029】
〔動作例(撮像制御方法)〕
以下、第一実施形態における撮像制御方法について
図3を用いて説明する。第一実施形態における撮像制御方法は、
図3に示されるように、ステップS31からステップS36で示される複数の工程を含む。
【0030】
図3は、第一実施形態における撮像装置10の動作例を示すフローチャートである。以下の説明では、各工程の実行主体は、撮像装置10として説明されるが、各工程は、撮像装置10の一部であるCPU1により実行される。また、各工程は、撮像装置10が有する上述の各処理部の処理内容と同様であるので、各工程の詳細は、適宜省略される。
【0031】
撮像装置10の画像取得部11は、撮像部7からリアルタイム撮影画像を逐次取得する(ステップS31)。例えば、の画像取得部11は、所定の周期で、リアルタイム撮影画像を順次取得する。
【0032】
撮像装置10のマーカ検出部12は、ステップS31で取得されたリアルタイム撮影画像からマーカを検出する(ステップS32)。ステップS32は、リアルタイム撮影画像が取得される度に実行されてもよいし、リアルタイム撮影画像の取得タイミングとは非同期に所定周期で実行されてもよい。また、撮像装置10は、マーカの検出を試み、リアルタイム撮影画像内でマーカを検出することができない場合には、ステップS33以降を実行しない。
【0033】
撮像装置10の基準算出部13は、ステップS32で検出されたマーカに関する現実情報及び画像情報に基づいて、そのマーカと撮像部7との位置関係を示す撮影位置関係を算出する(ステップS33)。
撮像装置10の距離算出部14は、ステップS33で算出された撮影位置関係、及び、マーカとリアルタイム撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、撮像部7とそのオブジェクトとの現実距離を算出する(ステップS34)。
【0034】
撮像装置10のパラメータ決定部15は、ステップS34で算出された現実距離を用いて、オブジェクトに撮像部7のピントを合わせるためのフォーカスパラメータを決定する(ステップS35)。
撮像装置10の設定部16は、ステップS35で決定されたフォーカスパラメータを撮像部7に設定する(ステップS36)。撮像装置10は、入力部6により受け付けられたユーザ操作に従って、このようにフォーカスパラメータが設定された撮像部7に対して、静止画像又は動画像の撮像を指示する。
【0035】
〔第一実施形態における作用及び効果〕
上述のように、第一実施形態では、マーカ及びオブジェクトが写るリアルタイム撮影画像が逐次取得され、このリアルタイム撮影画像からマーカが検出され、この検出されたマーカと撮像部7との位置関係等から撮像部7とオブジェクトとの現実距離が算出される。そして、撮像部7とオブジェクトとの現実距離から決定されるフォーカスパラメータが撮像部7に設定される。
【0036】
このように、第一実施形態によれば、リアルタイム撮影画像に写るマーカに基づいて、フォーカスパラメータが決定され、撮像部7に設定されるので、既存のコントラストAFと比較して、より早くピント合わせを行うことができる。これは、既存のコントラストAFがレンズを動かしながら画像のコントラストが最も高くなるレンズ位置を試行錯誤的に探し出すのに対して、第一実施形態では、マーカ情報から得られる撮像部7と被写体との現実距離から、適切なフォーカスパラメータを即座に決定することができるからである。
【0037】
更に、第一実施形態によれば、撮像部7とオブジェクト(被写体)との現実距離を得るのに、距離センサ等の特別なデバイスを必要としないので、撮像装置10の小型化及び低価格化を実現することができる。
【0038】
[第二実施形態]
以下、第二実施形態における撮像装置及び撮像制御方法について、上述の第一実施形態と異なる内容を中心に説明し、同一の内容については適宜省略する。
第二実施形態は、上述の多方位撮影に特に有効な形態である。
【0039】
〔処理構成〕
図4は、第二実施形態における撮像装置10aの処理構成例を概念的に示す図である。
図4に示されるように、第二実施形態における撮像装置10aは、第一実施形態の構成に加えて、画像格納部17、方向算出部18及びキャプチャ指示部19を更に有する。これら処理部17、18及び19についても他の処理部と同様にプログラムが
図1に例示した画像装置10が有するハードウェアにおいてCPU1によって実行されることによって実現される。画像格納部17は、メモリ2又は通信部4に接続される可搬型記録媒体内に実現される。
【0040】
方向算出部18は、基準算出部13により算出された撮影位置関係及び上記オブジェクト位置関係を用いて、当該オブジェクトに対する撮像部7の撮影方向を算出する。オブジェクト位置関係は、方向算出部18により予め保持されてもよいし、他の情報を用いて、方向算出部18により算出されてもよい。例えば、方向算出部18は、上記撮影位置関係及び上記オブジェクト位置関係を基に、オブジェクトと撮像部7との位置関係を算出し、この位置関係を用いて、当該撮影方向を算出することができる。但し、当該撮影方向の算出手法は制限されない。
【0041】
画像格納部17は、撮像部7によりキャプチャされた静止画像を、その静止画像をキャプチャする際に方向算出部18により算出されていた撮像部7の撮影方向に対応する方向情報と関連付けて格納する。静止画像と関連付けられる方向情報には、方向算出部18により算出される撮像部7の撮影方向がそのまま利用されてもよいし、その撮影方向から得られる方向情報が利用されてもよい。例えば、方向情報は、前方、右側方、左側方、後方及び上方のいずれか1つを示す情報であってもよい。
【0042】
図5は、静止画像と方向情報との対応関係の例を示す図である。
図5で、方向情報が、水平方向と垂直方向との2軸の座標空間に並べられて表記されている。方向情報における水平方向は、オブジェクトが置かれている平面を形成する一つの軸方向に相当する。垂直方向は、その平面に直行する一つの軸方向に相当する。
【0043】
図5の例では、静止画像と関連付けられる方向情報は、オブジェクトの基準点を中心点とする球をオブジェクトが置かれている基準平面で切断した半球の球面上における垂直方向線Lvと水平方向線Lhとで囲まれた領域Rを識別する情報として示される。垂直方向線Lvは、その半球の球面と、基準平面に垂直でかつ中心点を通る所定角度間隔で設けられる複数平面との交線であり、水平方向線Lhは、その半球の球面と、基準平面に並行でかつその基準平面に垂直な方向に所定間隔で設けられる複数平面との交線である。垂直方向線Lvを決める所定角度間隔及び水平方向線Lhを決める所定間隔は、任意に決められ得る。
【0044】
画像取得部11は、撮像部7によりキャプチャされた静止画像を取得し、その静止画像を、キャプチャ時に算出されていた撮像部7の撮影方向に対応する方向情報と関連付けて画像格納部17に格納する。画像取得部11は、方向算出部18により算出された撮影方向をそのまま方向情報とすることもできるし、その撮影方向を基に方向情報を生成することもできる。例えば、方向情報が、前方、右側方、左側方、後方及び上方のいずれか1つを示す場合、画像取得部11は、方向算出部18により算出された撮影方向が前方、右側方、左側方、後方及び上方のどれに属するかを判定し、いずれか1つの方向を示す方向情報を生成する。また、方向情報が、上述のように領域Rの識別情報である場合には、画像取得部11は、当該撮影方向が属する領域Rを特定し、その特定された領域Rの識別情報を方向情報とする。
【0045】
キャプチャ指示部19は、方向算出部18により算出された撮像部7の撮影方向に応じて、静止画像のキャプチャを指示するか否かを判定し、その判定結果に基づいて、撮像部7に静止画像のキャプチャを指示する。言い換えれば、キャプチャ指示部19は、画像格納部17に未だ格納されていない撮影方向からの静止画像が得られるように、キャプチャを指示し、方向算出部18により算出された撮影方向が、既に静止画像が格納されている撮影方向となる場合には、キャプチャを指示しない。例えば、キャプチャ指示部19は、新たに方向算出部18により算出された撮像部7の撮影方向と画像格納部17に既に格納されている静止画像と関連付けられている方向情報との関係を基に、キャプチャを指示するか否かを判定することができる。撮像部7は、キャプチャ指示部19からの指示を受け、そのとき設定されているフォーカスパラメータを用いて、静止画像をキャプチャする。
【0046】
〔動作例(撮像制御方法)〕
以下、第二実施形態における撮像制御方法について
図6を用いて説明する。第二実施形態における撮像制御方法は、
図6に示されるように、ステップS51からステップS58で示される複数の工程を含む。第二実施形態における撮像制御方法は、
図3に示される第一実施形態における撮像制御方法と同期して又は非同期に実行される。
【0047】
図6は、第二実施形態における撮像装置10の動作例を示すフローチャートである。以下の説明では、各工程の実行主体は、撮像装置10として説明されるが、各工程は、撮像装置10の一部であるCPU1により実行される。また、各工程は、撮像装置10が有する上述された各処理部の処理内容と同様であるので、各工程の詳細は、適宜省略される。
【0048】
撮像装置10aは、
図3に示されるステップS33で算出される撮影位置関係、及び、マーカとオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、オブジェクトに対する撮像部7の撮影方向を算出する(ステップS51)。
【0049】
撮像装置10aは、画像格納部17に格納されている静止画像がない場合(ステップS52;NO)、ステップS56を実行する。一方で、撮像装置10は、画像格納部17に格納されている静止画像が存在する場合(S52;YES)、ステップS51で算出された撮像部7の撮影方向と画像格納部17に格納されている静止画像と関連付けられている方向情報との関係を基に、キャプチャを指示するか否かを判定する(ステップS53)。言い換えれば、ステップS53において、撮像装置10aは、ステップS51で算出された撮影方向からの静止画像が画像格納部17に既に格納されているか否かを判定する。ここで、キャプチャを指示するか否かを判定する際、撮像装置10aは、画像格納部17に格納されている静止画像が存在するか否かではなく、既に格納されている画像と新しく取得された画像を比較し、より良い状態と判断された場合には上書きするようキャプチャ指示をしてもよい。
【0050】
撮像装置10aは、キャプチャを指示しないと決定した場合(ステップS55;NO)、キャプチャを指示せず、処理を終える。これは、ステップS51で算出された撮影方向からの静止画像が、画像格納部17に既に格納されているからである。
一方、撮像装置10aは、キャプチャを指示すると決定した場合(ステップS55;YES)、撮像部7に静止画像のキャプチャを指示する(ステップS56)。これは、ステップS51で算出された撮影方向からの静止画像が画像格納部17に未だ格納されていないからである。この指示により、撮像部7は、
図3に示されるステップS36で設定されているフォーカスパラメータを用いて撮像された静止画像をキャプチャする。
【0051】
撮像装置10aは、キャプチャされた静止画像を撮像部7から取得する(ステップS57)。
撮像装置10aは、ステップS57で取得された静止画像を、ステップS51で算出された撮像部7の撮影方向と関連付けて画像格納部17に格納する(ステップS58)。
【0052】
ステップS51は、ステップS33で撮影位置関係が算出される度に実行されてもよいし、
図3に示されるフローとは非同期に実行されてもよい。非同期に実行される場合、例えば、撮像装置10aは、入力部6により所定のユーザ操作(ハードウェア又はソフトウェアから成るボタンの押下操作、タッチ操作、ジェスチャ操作、音声操作等)が検出されたことを契機に、ステップS51を実行することができる。また、ステップS51は、
図3に示されるフローにおいてステップS33の後に実行され、
図6に示されるフローからは削除されてもよい。この場合には、第二実施形態における撮像制御方法は、ステップS52から実行される。
【0053】
〔第二実施形態における作用及び効果〕
第二実施形態では、リアルタイム撮影画像に写るオブジェクトに対する撮像部7の撮影方向が算出され、画像格納部17に格納されている静止画像と関連付けられている方向情報と算出された撮影方向との関係を基に、静止画像のキャプチャを指示するか否かが判定される。
【0054】
これにより、第二実施形態によれば、現在の撮影方向からの静止画像が未だ格納できていない場合に静止画像をキャプチャすることができ、結果として、同じ方向からの静止画像が重複して取得されることを避けることができる。また、既に格納されている画像と新しく取得された画像を比較し、より良い状態と判断された場合には上書きでキャプチャすることができ、結果として、より品質が良い静止画像を得ることができる。従って、第二実施形態によれば、ユーザに多方位撮影を効率よく行わせることができる。
【0055】
[第一実施形態の変形例(第一変形例)]
図7は、第一変形例における撮像装置10bの処理構成例を概念的に示す図である。
図7に示されるように、上述の第一実施形態における撮像装置10bは、設定部16により設定されたフォーカスパラメータを用いた静止画像又は動画像のキャプチャを撮像部7へ指示するキャプチャ指示部19を更に有してもよい。この場合、キャプチャ指示部19は、設定部16によりフォーカスパラメータが撮像部7に設定された直後に、キャプチャを撮像部7に指示してもよい。また、設定部16及びキャプチャ指示部19が統一化された処理部が、パラメータ決定部15により決定されたフォーカスパラメータを指定して、撮像部7に静止画像又は動画像のキャプチャを指示するようにしてもよい。
【0056】
[第二実施形態の変形例(第二変形例)]
上述の第二実施形態では、静止画像に対するキャプチャ指示をするか否かが、画像格納部17に格納される静止画像に関連付けられた方向情報と、現在の撮影方向との比較により判定される。しかしながら、例えば、撮影すべき所定方向が、前方、側方及び後方のように広い範囲で決められている場合には、撮影者にとって、同じ方向からの静止画像が重複して撮影されるのを防ぐのはある程度容易である。よって、このような場合、キャプチャ指示部19は、その比較をせず、方向算出部18により算出された撮像部7の撮影方向に応じて、静止画像のキャプチャを指示するか否かを判定することもできる。例えば、キャプチャ指示部19は、撮影すべき所定方向を予め保持しており、方向算出部18により算出された撮影方向がその所定方向となった場合に、静止画像のキャプチャの指示を決定する。この場合には、撮像装置10bは、画像格納部17を有していなくてもよい。
【0057】
[各実施形態の変形例(第三変形例)]
図8は、第三変形例における撮像装置10cの処理構成例を概念的に示す図である。上述の各実施形態における撮像装置10cは、撮像部7にオートフォーカスの停止を指示する停止指示部21を更に有してもよい。なお、
図8は、第一実施形態における撮像装置10cが停止指示部21を有する例を示す。停止指示部21についても他の処理部と同様に実現される。
【0058】
ほとんどの撮像部7がオートフォーカス機能を有し、ほとんどの場合、撮像部7はオートフォーカスが動作するように設定されている。そこで、停止指示部21がそのオートフォーカスの停止を撮像部7に指示し、別途、上述の各実施形態に示されるように設定されたフォーカスパラメータを用いて、撮像部7が静止画像又は動画像を撮像する。これにより、設定されたフォーカスパラメータがオートフォーカス機能により変更されることを防ぐことができる。この場合、マーカ検出部12は、オートフォーカスが停止されるのを待って、処理を実行するようにしてもよい。同様に、上述の各実施形態における撮像制御方法は、オートフォーカスが停止された後、実行されてもよい。
【0059】
(実施例)
以下に実施例を挙げ、上述の実施形態を更に詳細に説明する。上述の各実施形態によってフォーカスパラメータが一度も撮像部7に設定されていない初期状況で、撮像部7から取得されるリアルタイム撮影画像では、マーカに適切にピントが合っていない可能性がある。しかしながら、マーカは、参照方向によらず或る基準点及びその基準点からの相互に直交する3つの方向を一定に得ることができる程度に、リアルタイム撮影画像に写っていればよい。よって、上述のような初期状況でも、上述の各実施形態は適切に実現され得る。但し、撮像部7がオートフォーカス機能を持つ場合、当該初期状況において、リアルタイム撮影画像からマーカが適切に検出されるまでは、オートフォーカスを停止させないようにすることもできる。この場合、撮像装置10は、リアルタイム撮影画像からマーカが適切に検出されるか否かを判定し、適切に検出された場合のみ、オートフォーカスを停止させ、上述のような処理を実行する。
【0060】
一方、適切なフォーカスパラメータが一度でも撮像部7に設定されれば、多方位撮影において撮影方向が変更されたとしても、リアルタイム撮影画像に写るマーカに対するピントが大幅にずれることは少ない。よって、多方位撮影で撮影方向が変更されたとしても、マーカは適切に検出され、上述の各実施形態は適切に動作することができる。但し、撮影者の移動が大きく、マーカが適切に検出することができなくなってしまった場合には、マーカが適切に検出されるまで、オートフォーカスを再稼働させるようにすることもできる。
【0061】
そこで、以下の実施例では、特に、撮像部7とオブジェクトとの現実距離を計算する手法の具体例を挙げる。以下には、上述の内容と異なる内容を中心に説明し、上述と同内容については適宜省略する。
【0062】
図9は、実施例における撮像装置10dの処理構成例を概念的に示す図である。
図9に示されるように、実施例における撮像装置10dは、情報取得部31を更に有する。情報取得部31についても他の処理部と同様に実現される。
図9は、本実施例が上述の第一実施形態に適用された例を示すが、本実施例は、上述のいずれの実施形態及び変形例にも適用可能である。
【0063】
情報取得部31は、マーカとオブジェクトとの現実位置関係を示す情報を取得する。この情報は、表示部5に表示される入力画面に対するユーザの入力操作が入力部6により検出されることで得られてもよいし、予めメモリ2に保持されそのメモリ2から取得されてもよいし、可搬型記録媒体、他のコンピュータ等から通信部4を経由して取得されてもよい。
【0064】
この現実位置関係は、現実世界におけるマーカとオブジェクトとの位置関係を意味する。例えば、この現実位置関係は、マーカ及びオブジェクトが置かれる同一平面上での、マーカとオブジェクトとの現実の位置関係を示す二次元情報として示される。また、この現実位置関係は、更に、オブジェクトの現実高さが加味された三次元情報として示されることもできる。
【0065】
図10及び
図11は、ARマーカ8(以下、マーカとも記載する)とオブジェクト9との現実位置関係の例を示す図である。
図10に示す例では、ARマーカ8の上辺S
Pの中心点から、上辺S
Pに垂直な方向に伸びる所定距離L
Rに、オブジェクト9の基準点P
Bが位置する(配置される)ように、オブジェクト9が置かれ、情報取得部31は、このようなマーカ8とオブジェクト9との現実位置関係を示す情報を現実位置情報として取得する。
図11は、オブジェクト9を上方から見た図である。
図11の例では、マーカ8が6つの方形の部分マークM1からM6から形成されており、オブジェクト9は、マークM1の中心点S
M1とマークM2の中心点S
M2とを結ぶ線L
Rの中心点に、オブジェクト9の中心S
Cが位置するように、置かれる。
【0066】
基準算出部13は、マーカ検出部12により検出されたマーカ8に関する現実情報及び画像情報に基づいて、三次元仮想空間を設定し、この三次元仮想空間におけるそのマーカ8及び撮像部7の仮想位置、及び、マーカ8と撮像部7との現実距離を算出する。基準算出部13は、検出されたマーカ8から認識される基準点に応じた位置にその三次元仮想空間を設定する。マーカ8に関する現実世界の形状及び大きさの情報(現実情報)と、そのマーカ8に関するリアルタイム撮影画像内での形状及び大きさの情報とから、或る基準点及びその基準点からの相互に直交する3つの方向は、一定に得ることができる。このように得られる基準点及び3つの方向に基づいて、三次元仮想空間は設定され、その三次元仮想空間におけるマーカ8の仮想位置は決定され得る。但し、マーカ8から認識されるその基準点に対する三次元仮想空間の設定位置については、特に制限されない。更に、それら情報から、その三次元仮想空間における撮像部7の仮想位置、及び、撮像部7とマーカ8との現実距離も算出され得る。
【0067】
距離算出部14は、情報取得部31により取得された情報により示されるマーカ8とオブジェクト9との現実位置関係、及び、基準算出部13により決定されたマーカ8の仮想位置に基づいて、その三次元仮想空間におけるオブジェクト9の仮想位置を算出する。情報取得部31により取得された情報が上述のような二次元情報である場合、距離算出部14は、オブジェクト9が置かれた平面上の或る1点の位置をオブジェクト9の仮想位置として算出する。また、その情報が三次元情報である場合には、距離算出部14は、オブジェクト9の高さ方向を加味した三次元位置をオブジェクト9の仮想位置として算出する。例えば、情報取得部31がオブジェクト9の現実高さを示す情報を取得する場合、距離算出部14は、オブジェクト9の現実高さを用いて、高さ方向の仮想位置を算出し、結果として、オブジェクト9の三次元位置を決定することができる。オブジェクト9の最高位の点がオブジェクト9の仮想位置として算出されてもよい。
【0068】
距離算出部14は、基準算出部13により算出されたマーカ8と撮像部7との現実距離及び撮像部7の仮想位置、並びに、算出されたオブジェクト9の仮想位置を用いて、撮像部7とオブジェクト9との現実距離を算出する。
【0069】
撮像部7とオブジェクトとの現実距離の計算は他の手法でも算出され得る。例えば、方向算出部18により算出される、オブジェクトに対する撮像部7の撮影方向を更に用いて、撮像部7とオブジェクトとの現実距離が算出されてもよい。また、距離算出部14は、リアルタイム撮影画像からオブジェクトの少なくとも一部を認識し、その認識された箇所に基づいて、三次元仮想空間におけるオブジェクトの仮想位置を算出することもできる。
リアルタイム撮影画像からオブジェクトの少なくとも一部の認識は、そのオブジェクトが有する所定の色及び所定の形状の少なくとも一方を用いた一般的な画像認識技術により行うことができる。この場合、撮像装置10は情報取得部31を持たなくてもよく、マーカとオブジェクトとの現実位置関係を示す情報は用いられなくてもよい。
【0070】
撮像装置10は、撮像部7から取得されるリアルタイム撮影画像を、
図12に示されるように、表示部5に表示させることもできる。
図12は、リアルタイム撮影画像の表示例を示す図である。
図12の例によれば、表示部5には、オブジェクト9及びARマーカ8が写るリアルタイム撮影画像が表示され、更に、その一部に多方位撮影の撮影状況を示すインジケータIが重畳表示される。この場合、撮像装置10は、画像格納部17に格納されている静止画像に関連付けられた方向情報から、撮影済みの撮影方向DR及び未撮影の撮影方向DNを決定し、方向算出部18により算出される撮像部7の現在の撮影方向DWを取得する。撮像装置10は、
図12に示されるように、これら各種の撮影方向DR、DN及びDWを区別可能なインジケータ画面要素を生成する。このインジケータによれば、撮影者は、多方位撮影の撮影状況を把握し易くなるので、この表示により、撮影者に、多方位撮影を効率的に実施させることができる。
【0071】
なお、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、記載された順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障がない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0072】
上記の各実施形態及び各変形例の一部又は全部は、以下に示す付記のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。
【0073】
(付記1) 撮像部からリアルタイム撮影画像を逐次取得する画像取得手段と、
前記画像取得手段により取得されるリアルタイム撮影画像からマーカを検出するマーカ検出手段と、
前記検出されたマーカに関する現実情報及び画像情報に基づいて、該マーカと前記撮像部との位置関係を示す撮影位置関係を算出する基準算出手段と、
前記算出された撮影位置関係、及び、前記マーカと前記リアルタイム撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、前記撮像部と該オブジェクトとの現実距離を算出する距離算出手段と、
前記算出された現実距離を用いて、前記オブジェクトに前記撮像部のピントを合わせるためのフォーカスパラメータを決定するパラメータ決定手段と、
前記フォーカスパラメータを前記撮像部に設定する設定手段と、
を備える撮像制御装置。
(付記2) 前記撮影位置関係及び前記オブジェクト位置関係を用いて、前記オブジェクトに対する前記撮像部の撮影方向を算出する方向算出手段と、
前記方向算出手段により算出された前記撮像部の撮影方向に応じて、静止画像のキャプチャを指示するか否かを判定し、該判定結果に基づいて、前記撮像部に静止画像のキャプチャを指示するキャプチャ指示手段と、
を更に備える付記1に記載の撮像制御装置。
(付記3) 前記画像取得手段は、前記撮像部によりキャプチャされた静止画像を、キャプチャ時に算出されていた前記撮像部の撮影方向に対応する方向情報と関連付けて画像格納部に格納し、
前記キャプチャ指示手段は、前記方向算出手段により算出された前記撮像部の撮影方向と前記画像格納部に格納されている静止画像と関連付けられている前記方向情報との関係から、前記キャプチャを指示するか否かを判定する、
付記2に記載の撮像制御装置。
(付記4) 前記設定手段により設定された前記フォーカスパラメータを用いた静止画像又は動画像のキャプチャを前記撮像部へ指示するキャプチャ指示手段、
を更に備える付記1から3のいずれか1つに記載の撮像制御装置。
(付記5) 前記撮像部にオートフォーカスの停止を指示する停止指示手段、
を更に備える付記1から4のいずれか1つに記載に撮像制御装置。
(付記6) 前記マーカと前記オブジェクトとの現実位置関係を示す情報を取得する情報取得手段、
を更に備え、
前記基準算出手段は、前記マーカに関する現実情報及び画像情報に基づいて、三次元仮想空間を設定し、該三次元仮想空間における前記マーカ及び前記撮像部の仮想位置、及び、前記マーカと前記撮像部との現実距離を算出し、
前記距離算出手段は、前記マーカと前記オブジェクトとの現実位置関係、及び、前記マーカの仮想位置に基づいて、前記三次元仮想空間における前記オブジェクトの仮想位置を算出し、前記マーカと前記撮像部との現実距離、前記撮像部の仮想位置及び前記オブジェクトの仮想位置を用いて、前記撮像部と前記オブジェクトとの現実距離を算出する、
付記1から5のいずれか1つに記載の撮像制御装置。
(付記7) 前記オブジェクトの現実高さ情報を取得する情報取得手段、
を更に備え、
前記距離算出手段は、前記オブジェクトの現実高さを更に用いて、前記撮像部と前記オブジェクトとの現実距離を算出する、
付記1から6のいずれか1つに記載の撮像制御装置。
(付記8) 撮像部からリアルタイム撮影画像を逐次取得し、
前記取得されたリアルタイム撮影画像からマーカを検出し、
前記検出されたマーカに関する現実情報及び画像情報に基づいて、該マーカと前記撮像部との位置関係を示す撮影位置関係を算出し、
前記算出された撮影位置関係、及び、前記マーカと前記リアルタイム撮影画像に写るオブジェクトとの位置関係を示すオブジェクト位置関係を用いて、前記撮像部と該オブジェクトとの現実距離を算出し、
前記算出された現実距離を用いて、前記オブジェクトに前記撮像部のピントを合わせるためのフォーカスパラメータを決定し、
前記フォーカスパラメータを前記撮像部に設定する、
ことを含む撮像制御方法。
(付記9) 前記撮影位置関係及び前記オブジェクト位置関係を用いて、前記オブジェクトに対する前記撮像部の撮影方向を算出し、
前記算出された撮像部の撮影方向に応じて、静止画像のキャプチャを指示するか否かを判定し、
前記判定結果に基づいて、前記撮像部に静止画像のキャプチャを指示する、
ことを更に含む付記8に記載の撮像制御方法。
(付記10) 前記撮像部によりキャプチャされた静止画像を、キャプチャ時に算出されていた前記撮像部の撮影方向に対応する方向情報と関連付けて画像格納部に格納する、
ことを更に含み、
前記判定は、前記算出された撮像部の撮影方向と前記画像格納部に格納されている静止画像と関連付けられている前記方向情報との関係から、前記キャプチャを指示するか否かを判定する、
付記9に記載の撮像制御方法。
(付記11) 前記設定されたフォーカスパラメータを用いた静止画像又は動画像のキャプチャを前記撮像部へ指示する、
ことを更に含む付記8から10のいずれか1つに記載の撮像制御方法。
(付記12) 前記撮像部にオートフォーカスの停止を指示する、
ことを更に含む付記8から11のいずれか1つに記載に撮像制御方法。
(付記13) 前記マーカと前記オブジェクトとの現実位置関係を示す情報を取得し、
前記マーカに関する現実情報及び画像情報に基づいて、三次元仮想空間を設定する、
ことを更に含み、
前記撮影位置関係の算出は、前記三次元仮想空間における前記マーカ及び前記撮像部の仮想位置、及び、前記マーカと前記撮像部との現実距離を算出し、
前記撮像部と前記オブジェクトとの現実距離の算出は、
前記マーカと前記オブジェクトとの現実位置関係、及び、前記マーカの仮想位置に基づいて、前記三次元仮想空間における前記オブジェクトの仮想位置を算出することを含み、
前記マーカと前記撮像部との現実距離、前記撮像部の仮想位置及び前記オブジェクトの仮想位置を用いて、前記撮像部と前記オブジェクトとの現実距離を算出する、
付記8から12のいずれか1つに記載の撮像制御方法。
(付記14) 前記オブジェクトの現実高さ情報を取得する、
ことを更に含み、
前記撮像部と前記オブジェクトとの現実距離の算出は、前記オブジェクトの現実高さを更に用いて、前記撮像部と前記オブジェクトとの現実距離を算出する、
付記8から13のいずれか1つに記載の撮像制御方法。
(付記15)付記8から14のいずれか1つに記載の撮像制御方法を撮像部を有するコンピュータに実行させるプログラムを格納する記録媒体。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は2014年3月20日に出願された日本出願特願2014−057774を基礎とする優先権を主張し、その開示の全てをここに取り込む。