(58)【調査した分野】(Int.Cl.,DB名)
前記情報取得部は、前記光学系の光軸中心上の所定位置から前記固有情報発信部までの前記光学系の光軸中心に対する第1角度の情報と、前記光学系の光軸中心に垂直な面上の光軸中心を通る測定線と前記光軸中心を通る基準線との間の第2角度の情報とを、前記測定情報として生成し、
前記処理部は、前記測定情報に基づき、前記画像内の二次元座標と前記固有情報とを関連付ける、請求項1に記載の撮像装置。
前記測定情報は、前記光学系の光軸中心上にある基準点と前記固有情報発信部を通る直線が前記光軸中心となす第1角度、前記基準点を通る光軸中心と垂直である基準線と、前記基準点と固有情報発信部を通る直線の基準面への射影である測定線との角度である第2角度、および、前記基準点から前記固有情報発信部までの距離の内の少なくとも前記第1角度を含む、請求項1に記載の撮像装置。
【発明を実施するための形態】
【0007】
以下、図面を参照して、本発明の実施形態について説明する。なお、図面は、必ずしも実寸で示しているとは限らず、便宜上、縮尺および寸法比等を、適宜、変更して示す場合がある。
【0008】
(一実施形態)
図1は、本実施形態に係る撮像システム1全体の構成を説明する図である。
図1に示すように、本実施形態に係る撮像システム1は、被写体に付与される固有情報、例えばID(Identification)に基づき、被写体の撮像された画像を検索可能なシステムとなっており、撮像装置2と、記憶装置4と、検索装置6と、表示装置8とを備えて構成されている。
図1において、記憶装置4と検索装置6とは、ネットワークNWを介して接続されている。なお、固有情報は識別情報と呼ばれる場合もある。
【0009】
図2は、固有情報発信部h0を付帯した被写体(ここでは人物とする)を撮像装置2により撮像している様子を示す図である。撮像装置2は、例えば固有情報発信部h0が発信する電波信号又は音波信号を受信可能なカメラであり、例えば固有情報発信部h0を付帯した被写体を撮像する。ここで、被写体は人物に限定されず、物、動物、車などの移動物体などでもよい。あるいは、移動を伴わない固定物であってもよい。また、撮像装置2は、撮像した画像に、固有情報発信部h0が発する固有情報を関連付けることが可能となっている。
【0010】
固有情報発信部h0は、例えばBLE(Bluetooth(登録商標) low energy)ビーコンである。固有情報発信部h0が発する電波は、例えば1ギガヘルツ未満の帯域である。また、固有情報発信部h0が音波信号を発するタイプである場合には、固有情報発信部h0はGPS機能付きであり、位置情報と固有情報を含む音波信号を出力する。なお、有情報発信部h0が発する電波は、サブギガヘルツ、2.4GHzの帯域、BLE(Bluetooth(登録商標))、5GHzの帯域でもよい。
【0011】
記憶装置4は、例えばデータサーバであり、撮像装置2が撮像した画像と画像に関連付けられた固有情報とを記憶する。記憶装置4は、ネットワークNWに接続されており、ネットワークを介して通信が可能である。
【0012】
検索装置6は、例えばパーソナルコンピュータであり、固有情報を検索キーワードとして記憶装置4内の画像を検索する。検索装置6は、ネットワークNWに接続されており、ネットワークNWを介して記憶装置4と通信が可能である。検索装置6は、例えばネットワークNWを介して検索した画像内の被写体と共に固有情報を表示装置8に表示する。
表示装置8は、例えばモニタであり、検索装置6が固有情報を用いて検索した画像を表示する。
【0013】
図3は、撮像装置2の構成例を模式的に示すとともに、この撮像装置2と被写体が付帯している固有情報発信部h0との関係を説明する図(上側から見た図)である。
図3に示すように、撮像装置2は、本体部12と、レンズを含む光学系14と、撮像部16と、複数のアンテナ18を備えて構成される。
図3には、更に固有情報発信部h0、光学系14の画角g0、光学系14の光軸中心L1、固有情報発信部h0の光軸中心L1に対する角度θを示している。
また、撮像装置2は、不図示の無線モード選択ボタンがONにされると、複数のアンテナ18が受信する電波信号を用いた撮影モードを開始する。一方、無線モード選択ボタンがOFFにされると、電波信号を用いない撮影モードを開始する。
【0014】
本体部12は、例えばプロセッサを含んで構成されており、複数のアンテナ18から受信された電波情報を処理して、固有情報発信部h0の光軸中心L1に対する角度θを生成する。ここで、プロセッサとは、例えば、CPU(Central Processing Unit)などの回路を意味する。本体部12の詳細な構成は後述する。
【0015】
光学系14は、例えばズームレンズを含み、焦点距離、及び画角を機械的に変化させることが可能である。また、光学系14は、例えば広角レンズ、標準レンズ、望遠レンズ、超望遠レンズなどに交換することも可能である。さらに、光学系14は複数のレンズにより構成してもよい。
【0016】
撮像部16は、例えば二次元センサであり、光学系14により結像された光学像を画像データに変換する。この画像データは、二次元座標で画素位置を示すことが可能なデジタルデータである。
【0017】
図4は、複数のアンテナ18の配置例を示す図である。
図4中では、光学系14のレンズと撮像部16を概念的に示している。
図4に示すように、複数のアンテナ18は、光学系14の光軸中心L1と垂直な面P0上に、光軸中心L1を中心点とする円上に配置されている。この面P0は、撮像部16の受光面と平行である。これら複数のアンテナ18は、固有情報発信部h0が発する電波信号を受信する。このような配置にすることにより、複数のアンテナ18が受信する電波信号に基づき、固有情報発信部h0の光軸中心L1に対する第1角度θ及び第2角度Φへの変換が簡易化される。このように、複数のアンテナ18は、三次元格子点上の二次元平面に円状に配置されている。
【0018】
ここで、基準点は、光軸中心L1にある角度の基点とし、基準線は、基準点を通る光軸中心L1と垂直な直線とし、基準面は、基準線を含む光軸中心L1と垂直な面とする。また、測定線は、基準点と固有情報発信部h0を通る直線の基準面への射影とする。第1角度θは、基準点と固有情報発信部を通る直線が光軸となす角度とし、第2角度Φは、基準線と測定線のなす角度とする。距離Lは、基準点と固有情報発信部h0の距離とする。
【0019】
第1角度θは、光学系14の光軸中心L1上の所定位置から固有情報発信部h0までの光学系14の光軸中心L1に対する角度である。第2角度Φは、光学系14の光軸中心L1に垂直な面P0上の光軸中心L1を通る測定線MLと光軸中心を通る基準線BL(ここではX軸)との間の角度である。
【0020】
図5は、
図4と異なる複数のアンテナ18の配置例を示す図である。
図5中では、光学系14のレンズと撮像部16を概念的に示している。
図5に示すように、複数のアンテナ18は、光学系14の光軸中心L1と垂直な面P0上の所定の長方形の頂点に配置されている。このような配置にすることにより、より高精度に固有情報発信部h0の光軸中心L1に対する角度θへの変換を行うことが可能となる。このように、複数のアンテナ18は、一次元格子点状に配置されている。このように、複数のアンテナ18は、三次元格子点上の二次元平面に方形状に配置されている。さらに、複数のアンテナ18は、このような形状に限定されず、放射状、任意形状などでもよい。
【0021】
図6は、異なる複数のアンテナ18を一次元状に並べた配置例を示す図である。
図6中では、光学系14のレンズと撮像部16を概念的に示している。
図6に示すように、複数のアンテナ18は、光学系14の光軸中心L1と垂直な面P0上に一次元状に配置されている。すなわち、複数のアンテナ18は、光軸中心から一次元格子点状に配置されている。このような配置にすることにより、より簡易な構成により固有情報発信部h0の光軸中心L1に対する角度θへの変換を行うことが可能となる。さらに、複数のアンテナ18は、このような形状に限定されず、二次元格子点状、三次元格子点状に配置してもよい。このように、複数のアンテナ18は、光学系の光軸中心と垂直な面上の光軸中心を中心点とする円上、光軸中心を中心点とする放射状、光軸中心から一次元格子点状、光軸中心を中心点とする三次元格子点状のいずれかに配置されている。
【0022】
図7は、本体部12の構成を示すブロック図である。
図7に示すように、本体部12は、RF部120と、情報取得部122と、処理部124と、判定部126と、表示部128と、表示制御部130と、記憶部132とを有している。
【0023】
RF部120は、複数のアンテナ18がそれぞれ受信した電波信号を受信RF信号に変換する。この受信RF信号には、固有情報及び位相情報が含まれている。
【0024】
情報取得部122は、受信RF信号に含まれる固有情報発信部h0の固有情報を取得する。また、情報取得部122は、受信RF信号間の位相差に基づいてAoA(AoA:Bluetooth Angle of Arrival)を数値計算し、光学系14の光軸中心L1(
図4)上の所定位置に対する第1角度θ(
図4)の情報と、光学系14の光軸中心L1(
図4)に垂直な面に対する第2角度φ(
図4)の情報とを生成する。所定位置は、例えば光学系14(
図3)が有するレンズのレンズ中心の位置である。さらにまた、情報取得部122は、固有情報発信部h2〜h10が発する電波強度に基づき、固有情報発信部h2〜h10までの距離情報を取得する。なお、第1角度θ(
図4)の情報と、第2角度φ(
図4)の情報とを生成する方法は、AoAの数値計算に限定されず、一般的な位置計算方法を用いてもよい。また、情報取得部122は、固有情報発信部h0が音声信号を発するタイプである場合には、不図示の音声受信部により受信した音声信号に含まれる位置情報を用いて、第1角度θ(
図4)の情報と、第2角度φ(
図4)の情報とを生成する。
【0025】
処理部124は、光学系14の画角g0(
図3)で定まる撮像範囲内に固有情報発信部h0(
図3)が位置する場合に、固有情報発信部h0(
図3)の固有情報と撮像部16(
図3)により撮像された画像とを関連付ける処理を行う。例えば、処理部124は、固有情報と撮像部16(
図3)により撮像された画像とを関連付け、記憶部132に記憶する。
【0026】
図8は、第1角度θと撮像部16の受光面上の位置と関係を示す図である。上側の図が画角g0であり、焦点距離F0の場合であり、下側の図が画角g2であり、焦点距離F2の場合である。これらの図から分かるように、画角をg0からg2(<g0)に変更すると、光学系14の焦点距離がF0からF2(>F0)に、変更される。一方で光学系14が有するレンズのレンズ中心0における光軸中心L1に対する第1角度θは変わらないため、焦点距離に応じて、固有情報発信部h0の撮像部16における受光面上の位置が変更される。
【0027】
図9は、固有情報発信部h0の撮像部16における受光面上の位置を模式的に示す図である。光軸中心L1を中心点とする円C0の半径dは、光学系14の焦点距離F0、F2(
図8)と第1角度θ(
図8)とに基づき定まる。すなわち、焦点距離が長くなるほど、半径dは大きくなる。このように、固有情報発信部h0の撮像部16における受光面上の位置は、光学系14の焦点距離F0、F2(
図8)と第1角度θ(
図8)とに基づき定まる半径dの円上である。このように、処理部124は、情報取得部122が生成する第1角度θ(
図8)の情報に基づき、撮像部16で撮像された画像内における固有情報発信部h0の位置情報と固有情報とを関連付ける処理を行う。例えば、処理部124は、光軸中心L1を中心点とする半径dの円の情報と固有情報発信部h0の固有情報と関連付ける。より詳細には、処理部124は、画像内における光軸中心L1の座標と、半径dと、固有情報発信部h0の固有情報とを関連付け、記憶部132に記憶する。これにより、固有情報発信部h0が発する固有情報は、画像中の光軸中心L1を中心点とする半径dに関連付けられて記憶される。
【0028】
上述のように、情報取得部122が生成する第2角度Φは、光軸中心L1に垂直な面上の光軸中心L1を通る測定線dの光軸中心L1を通る基準線BLからの角度を示している。これらの図から分かるように、第2角度Φの情報も用いることにより、固有情報発信部h0の撮像部16における受光面上の二次元座標を取得可能である。
【0029】
このように、処理部124は、第1角度θ及び第2角度Φに基づき、画像内における固有情報発信部h0の二次元座標(x、y)と固有情報発信部h0の固有情報とを関連付ける。例えば、処理部124は、画像内における固有情報発信部h0の二次元座標(x、y)と固有情報発信部h0の固有情報を関連付け、記憶部132に記憶する。これにより、固有情報発信部h0が発する固有情報は、画像中の二次元座標(x、y)に関連付けられて記憶される。
【0030】
また、処理部124は、固有情報、及び二次元座標(x、y)の他に、固有情報発信部h0までの距離情報を画像に関連付け、記憶部132に記憶してもよい。或いは、処理部124は、画像データのヘッダ領域に、固有情報発信部h0の固有情報、画像内の二次元座標(x、y)、距離情報の内の少なくとも固有情報発信部h0の固有情報の情報を記録してもよい。
【0031】
図10は、撮像装置2の光学系14の画角の例を示す水平面図である。g22〜g34のそれぞれは、画角毎の撮像範囲を示している。また、固有情報発信部h2〜h10は、固有情報発信部の位置の例を示している。
図10に示すように、光学系14が使用するレンズにおける画角の光学特性により、撮像範囲は予め定まっている。なお、
図10においては、画角を離散的に変更しているが、連続的に変更させてもよい。情報取得部122が生成する第1角度θ(
図8)と固有情報発信部h2〜h10までの距離情報により、固有情報発信部h2〜h10が水平面図のどの位置に存在するか把握可能である。
【0032】
判定部126は、情報取得部122が生成する第1角度θ(
図8)と固有情報発信部h2〜h10までの距離情報と、撮像に使用する画角の情報とに基づき、固有情報発信部h2〜h10が撮像範囲内に入っているか否かを判定する。また、上述の処理部124は、判定部126が光学系14の撮像範囲内に固有情報発信部h2〜h10が入ると判定した場合に、固有情報発信部h2〜h10の固有情報と画像とを関連付ける処理を行ってもよい。
【0033】
また、判定部126は、情報取得部122が生成する第1角度θ(
図8)と固有情報発信部h2〜h10までの距離情報に基づき、固有情報発信部h2〜h10を撮像可能な画角に関する情報を出力する。
【0034】
図11は、判定部126の判定例を示す図である。ここで、固有情報、角度、距離、及び使用画角は、情報取得部122(
図7)が生成又は取得した情報であり、撮影可能画角、及び判定は、判定部126が出力した情報である。
【0035】
図10を参照すると、例えば、撮像装置2から最も遠い位置にある固有情報発信部h2であれば、画角g22の撮像範囲であるので、判定部126は、撮影可能画角として、画角g22を示す情報を含む信号を出力する。同様に、固有情報発信部h2よりも撮像装置2側に近い位置の固有情報発信部h4であれば、画角g26の撮像範囲であるので、判定部126は、撮影可能画角として、画角g26を示す情報を含む信号を出力する。同様に、さらに撮像装置2に近い位置の固有情報発信部h6であれば、画角g22、g24、g24、g28の撮像範囲であるので、判定部126は、撮影可能画角として、画角g22、g24、g24、g28を示す情報を含む信号を出力する。同様に、撮像装置2に最も近い位置の固有情報発信部h8であれば、撮影可能画角として、画角g30、g32の撮像範囲であるので、判定部126は、撮影可能画角として、画角g30、g32を示す情報を含む信号を出力する。一方で、固有情報発信部h10の位置にある場合には、撮像範囲に入る画角は存在しないので、判定部126は、候補対象とすべき撮影可能画角がないことを示す情報を含む信号を出力する。
【0036】
また、例えば固有情報発信部h2であれば、撮影可能画角g22に使用画角g26が含まれないので、判定部126は、判定結果として撮像範囲内に「入らない」を示す情報を含む信号を出力する。同様に、固有情報発信部h4であれば、撮影可能画角g26に使用画角g26が含まれるので、判定部126は、判定結果として撮像範囲内に「入る」を示す情報を含む信号を出力する。同様に、固有情報発信部h6であれば、撮影可能画角g22、g24、g24、g28に使用画角g28が含まれるので、判定部126は、判定結果として撮像範囲内に「入る」を示す情報を含む信号を出力する。同様に、固有情報発信部h8であれば、撮影可能画角g30、g32に使用画角g32が含まれるので、判定部126は、判定結果として撮像範囲内に「入る」を示す情報を含む信号を出力する。一方で、固有情報発信部h10を撮影可能な画角はないので、使用画角g32が撮影可能画角に含まれないので、判定部126は、判定結果として撮像範囲内に「入らない」を示す情報を含む信号を出力する。
【0037】
図7に示すように、表示部128は、例えば液晶モニタである。表示部128は、本体部12(
図3)の光学系14と対向する面に配置される。表示部128には、撮像部16により撮像された画像と、各種の情報を表示する。
表示制御部130は、表示部128に撮像部16により撮像された画像と、各種の情報とを表示させる。
【0038】
図12は、表示制御部130が撮像前に表示部128に表示する情報の例を示す図である。表示形態128a〜cは、撮像可能である固有情報発信部の情報と位置を示すマークを示している。表示形態128dは、判定部が出力するメッセージを示している。例えば128で表示する画像は、最大画角g34(
図10)で予備撮影された画像である。
【0039】
図12に示すように、表示制御部130は、判定部126が出力する情報を用いて、光学系14の最大画角で撮影可能な固有情報発信部に関する情報を表示する。これにより、撮影者は、固有情報(ID)004,006、008を発する固有情報発信部が、撮像部10の現在の撮影方向に存在することを確認できる。また、撮影者は、固有情報(ID)004,006、008を発する固有情報発信部を撮像するための適切な画角を知ることが可能となる。
【0040】
図13は、表示制御部130が撮像画像と共に表示部128に表示する情報の例を示す図である。表示形態128e〜gは、撮像された画像内の固有情報発信部の情報と位置を示すマークを示している。すなわち、顔マークは、固有情報発信部の画像内の位置に対応している。表示形態128fは、情報取得部122が出力するメッセージを示している。
【0041】
図13に示すように、表示制御部130は、撮影に用いた撮像画角の撮像範囲内に存在する固有情報発信部に関する情報を画像と共に表示部128に表示する。これにより、撮影者は、固有情報034、028,077を発する固有情報発信部h034、h028,h077の位置を撮像された画像中において把握することができる。なお、表示制御部130は、
図10で示したように、各画角に対する固有情報発信部の位置を示す図を表示部128に表示してもよい。また、表示制御部130は、
図11で示したように、固有情報発信部に関する情報を表形式で表示部128に表示してもよい。
【0042】
記憶部132は、例えばRAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク等により実現される。この記憶部132は、本体部12が実行するプログラムと、各種の制御用のデータを記憶する。すなわち、本体部12がプログラムを実行することにより、RF部120、情報取得部122、処理部124、判定部126、表示制御部130の各処理部の機能が実現される。
【0043】
以上が本実施形態に係る撮像システム1の構成の説明であるが、次に撮像システム1の動作例の説明をする。
【0044】
図14は、撮像システム1の動作例を示すフローチャートである。
図14に示すように、複数のアンテナ18は、固有情報発信部が発する電波信号を受信する(ステップS100)。
【0045】
次に、情報取得部122は、複数のアンテナ18が受信した電波信号の情報を用いて、固有情報発信部の光学系14の光軸中心L1に対する角度θの情報と、固有情報発信部までの距離情報を生成する(ステップS102)。
次に、判定部126は、角度θの情報と距離情報に基づき、現在の光学系14の画角で目的とする固有情報発信部の撮像が可能か否かを判定する(ステップS104)。固有情報発信部の撮像が否の場合(ステップS104のNO)、判定部126は、目的とする固有情報発信部の撮像が可能な画角の情報を、表示制御部130を介して表示部128に表示する。続けて操作者は、撮像が可能な画角に変更し(ステップS106)、ステップS104からの処理を繰り返す。
【0046】
一方で、固有情報発信部の撮像が可能な場合(ステップS104のYES)、操作者は、撮像装置2の撮像を行う(ステップS108)。続けて、処理部124は、撮像された画像と固有情報発信部が発する固有情報を関連付け、記憶部132に記憶する(ステップS110)。
【0047】
情報取得部122は、電波信号を用いた撮影モードを継続するか否かを判定し(ステップS112)、継続する場合(ステップS112のNO)、ステップS100からの処理を繰り返す。一方で、継続しない場合(ステップS112のYES)、全体処理を終了する。
【0048】
以上のように、本実施形態によれば、情報取得部122が固有情報発信部から発せられる固有情報を取得し、処理部124が光学系14の撮像範囲内に位置する固有情報発信部の固有情報と撮像された画像とを関連付ける処理を行うこととした。これにより、固有情報発信部を光学系14の撮像範囲内に配置して撮像することで、撮像された画像と固有情報発信部が発する固有情報とを関連付けることが可能となる。
【0049】
以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置および方法は、その他の様々な形態で実施することができる。また、本明細書で説明した装置および方法の形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。添付の特許請求の範囲およびこれに均等な範囲は、発明の範囲や要旨に含まれるこのような形態や変形例を含むように意図されている。