特許 5996233 画像撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5996233

(24)【登録日】2016年9月2日

(45)【発行日】2016年9月21日

(54)【発明の名称】画像撮像装置

(51)【国際特許分類】

   H04N 13/02 20060101AFI20160908BHJP

   G01B 11/02 20060101ALI20160908BHJP

   G06T 1/00 20060101ALI20160908BHJP

   H04N 5/225 20060101ALI20160908BHJP

【ＦＩ】

   H04N13/02 390

   G01B11/02 H

   G06T1/00 315

   H04N5/225 Z

【請求項の数】3

【全頁数】12

(21)【出願番号】特願2012-77677(P2012-77677)

(22)【出願日】2012年3月29日

(65)【公開番号】特開2013-207745(P2013-207745A)

(43)【公開日】2013年10月7日

【審査請求日】2014年12月5日

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100091096

【弁理士】

【氏名又は名称】平木 祐輔

(74)【代理人】

【識別番号】100102576

【弁理士】

【氏名又は名称】渡辺 敏章

(74)【代理人】

【識別番号】100108394

【弁理士】

【氏名又は名称】今村 健一

(72)【発明者】

【氏名】徳井 圭

(72)【発明者】

【氏名】若林 保孝

(72)【発明者】

【氏名】有田 真一

(72)【発明者】

【氏名】澁久 奈保

(72)【発明者】

【氏名】村山 大輔

【審査官】 岩間 直純

(56)【参考文献】

【文献】 特開２０１１−１５３９９５（ＪＰ，Ａ）

【文献】 特開平０８−２０１０２５（ＪＰ，Ａ）

【文献】 特開２００２−１５６２１２（ＪＰ，Ａ）

【文献】 特開平１０−１７０２２７（ＪＰ，Ａ）

【文献】 特開平０３−０７８６０６（ＪＰ，Ａ）

【文献】 特開２０１１−２３２３３０（ＪＰ，Ａ）

【文献】 特開２００９−２５８２７３（ＪＰ，Ａ）

【文献】 特開２００８−２１５９３８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００ −

Ｈ０４Ｎ １３／０４

Ｇ０１Ｂ １１／０２

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

少なくとも２つの撮像素子と、前記撮像素子で撮影された画像情報に画像処理をする画像処理部と、前記画像処理部で画像処理された画像情報を表示する画像表示部と、を備える画像撮像装置であって、
前記画像処理部では、前記２つの撮像素子が配置される方向と同じ方向となるように、
前記画像表示部に第一基準点と第二基準点とを表示し、
前記画像情報から特徴点を算出し、
前記特徴点に前記第一基準点または前記第二基準点が近接したときに、前記第一基準点または前記第二基準点が設定されるように座標位置を調整し、
前記第一基準点と前記第二基準点との間の長さを算出することを特徴とする画像撮像装置。

【請求項2】

少なくとも２つの撮像素子と、
前記撮像素子で撮影された画像情報に画像処理をする画像処理部と、
前記画像処理部で画像処理された画像情報を表示する画像表示部と、を備える画像撮像装置であって、
前記第一基準点および第二基準点にける被写体までの距離に基づいて、前記第一基準点および第二基準点の表示形式を変化させ、
前記第一基準点および前記第二基準点の視差値が同一になったときに、前記第一基準点と前記第二基準点との間の長さを算出することを特徴とする画像撮像装置。

【請求項3】

少なくとも２つの撮像素子と、
前記撮像素子で撮影された画像情報に画像処理をする画像処理部と、
前記画像処理部で画像処理された画像情報を表示する画像表示部と、を備える画像撮像装置であって、
前記第一基準点および第二基準点にける被写体までの距離に基づいて、前記第一基準点および第二基準点の表示形式を変化させ、
前記撮像素子で撮影している画像を保存する信号を受信した後に、前記第一基準点および前記第二基準点の視差値が同一になったときに、前記撮像素子で撮影された画像情報を保存することを特徴とする画像撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像撮像装置に関する技術であり、特に、撮影した画像における２点間の長さを算出する技術に関する。

【背景技術】

【0002】

立体画像を撮影することが可能な２つの撮像素子を備えた画像撮像装置（ステレオカメラ）が開発されている。立体画像を撮影するときには、左眼用の画像を左眼用の撮像素子で撮影し、右眼用の画像を右眼用の撮像素子で撮影する。撮影された左右画像の間には、画像撮像装置から被写体までの距離に応じた視差が発生している。視差と距離との関係は、Ｄ＝Ｂ×ｆ／Ｚで表わすことができる。ここで、Ｄは視差、Ｂは基線長、ｆは焦点距離、Ｚは画像撮像装置から被写体までの距離である。平行に配置された２つの撮像素子で撮影した場合、画像撮像装置から被写体までの距離が小さいと視差は大きくなり、距離が大きいと視差は小さくなり、無限遠では０となる。

【0003】

このような、左右画像に発生する視差から距離情報を算出して、撮影した画像の中の２点間の長さを算出する方法が開発されており、例えば、下記特許文献１のような方法がある。図１５に示すように、特許文献１では、画像撮像装置で撮影された画像において、測定開始位置と測定終了位置の２点Ｐｓ、Ｐｅを指定し（Ｔ１，Ｔ２）、その２点Ｐｓ、Ｐｅ間の３次元位置から長さを算出する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−２３２３３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１の方法は以下のような課題を有する。特許文献１の方法では、測定開始位置Ｐｓと測定終了位置Ｐｅとの指定を、タッチパネル画面へのタッチ入力（Ｔ１，Ｔ２）、または、画面上のポインタを十字ボタンで操作して行う。しかし、タッチパネルへの入力は、測定点を指定するときに、測定位置がユーザーの指に隠れてしまうため正確に指定することができず、算出される長さもユーザーが意図したものとは異なってしまう。また、十字ボタンによる操作も、ユーザーが意図する正確な指定を実現するためには細かい操作が必要となり、十字ボタンでの入力回数が増加して手軽に使用することができない。さらに、測定開始位置と測定終了位置との２点を指定するまで距離が分からず、所望の２点間の長さが算出できているかどうかも分からない。

【0006】

そこで本発明は、上記課題に鑑みてなされたものであり、ユーザーが満足できる使い易い距離測定を実現するとともに、算出される長さの精度向上も可能な画像撮像装置を提供する。

【課題を解決するための手段】

【0007】

本発明の画像処撮像装置は、少なくとも２つの撮像素子と、前記撮像素子で撮影された画像情報に画像処理をする画像処理部と、前記画像処理部で画像処理された画像情報を表示する画像表示部を備える画像撮像装置であって、前記画像処理部では、前記２つの撮像素子が配置される方向と同じ方向となるように、前記画像表示部に第一基準点と第二基準点とを表示し、前記第一基準点と前記第二基準点との視差値を前記２つの撮像素子から算出し、前記第一基準点と前記第二基準点との間の長さを算出し、前記第一基準点と前記第二基準点との間の長さを算出した結果を、前記画像表示部に表示することを特徴とする。

【0008】

また、本発明の画像処撮像装置は、前記第一基準点または前記第二基準点の周辺の画像情報を前記画像表示部の一部に拡大表示すると好適である。

【0009】

また、本発明の画像処撮像装置は、前記撮像素子で撮影される画像情報の一部を前記画像表示部に表示するとともに、前記撮像素子で撮影される全体の画像を前記画像表示部の一部に表示すると好適である。

【0010】

また、本発明の画像処撮像装置は、前記撮像素子で撮影される画像情報から、特徴点として注目画素と周辺画素との関係から画素値の微分値または二次微分値を算出し、前記特徴点に前記第一基準点または前記第二基準点が近接したときに、前記第一基準点または前記第二基準点が設定されるように座標位置を調整すると好適である。

【0011】

また、本発明の画像処撮像装置は、前記第一基準点および第二基準点にける被写体までの距離に応じて、前記第一基準点および第二基準点の表示形式を変化させると好適である。

【0012】

また、本発明の画像処撮像装置は、前記表示形式の変化が、第一基準点および第二基準点の大きさとすると好適である。

【0013】

また、本発明の画像処撮像装置は、前記第一基準点および前記第二基準点の視差値が同一になったときに、前記撮像素子で撮影された画像情報と、前記第一基準点と前記第二基準点との間の長さを算出した結果を保存すると好適である。

【0014】

また、本発明の画像処撮像装置は、前記撮像素子で撮影している画像を保存する信号を受信した後に、前記第一基準点および前記第二基準点の視差値が同一になったときに、前記撮像素子で撮影された画像情報と、前記第一基準点と前記第二基準点との間の長さを算出した結果を保存すると好適である。

【0015】

また、本発明の画像処撮像装置は、前記画像表示部の長手方向と、前記２つの撮像素子が配置される方向と、前記第一基準点と前記第二基準点が配置される方向と、が同じとすると好適である。

【0016】

また、本発明の画像処撮像装置は、前記画像表示部に表示される前記第一基準点と前記第二基準点との距離が、前記画像表示部の長手方向の幅の半分以上とすると好適である。

【0017】

また、本発明は、少なくとも２つの撮像素子と、前記撮像素子で撮影された画像情報に画像処理をする画像処理部と、前記画像処理部で画像処理された画像情報を表示する画像表示部と、を備える画像撮像装置を用いた画像処理方法であって、前記画像処理部で、前記２つの撮像素子が配置される方向と同じ方向となるように、前記画像表示部に第一基準点と第二基準点とを表示するステップと、前記第一基準点と前記第二基準点との視差値を前記２つの撮像素子から算出するステップと、前記第一基準点と前記第二基準点との間の長さを算出するステップと、前記第一基準点と前記第二基準点との間の長さを算出した結果を、前記画像表示部に表示するステップと、を有することを特徴とする画像処理方法である。

【0018】

また、本発明は、画像処理方法を実行するためのプログラムであっても良く、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。

【発明の効果】

【0019】

本発明の画像撮像装置によれば、２点間の長さを測定する基準点を表示しながら撮影することで、算出する長さの精度を向上することができ、容易な撮影と測定が可能となる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施の形態による画像撮像装置の一構成例を示す機能ブロック図である。

【図2】本実施の形態による画像撮影装置の画像処理部の一構成例を示す機能ブロック図である。

【図3】第一基準点と第二基準点とを示す図である。

【図4】ブロックマッチングによる探索処理を示す図である。

【図5】本実施の形態による画像撮像装置の画像表示部における表示例を示す図である。

【図6】本実施の形態による画像撮像装置の画像表示部における表示例を示す図である。

【図7】第一基準点と測定対象被写体との関係を示す図である。

【図8】本実施の形態による画像撮像装置の画像表示部における表示例を示す図である。

【図9】本実施の形態による画像撮像装置の画像表示部における表示例を示す図である。

【図10】画像撮像装置と測定対象被写体との関係を示す図である。

【図11】本実施の形態による画像撮像装置の画像表示部における表示例を示す図である。

【図12】画像撮像装置と測定対象被写体との関係を示す図である。

【図13】本実施の形態による画像撮像装置の撮像素子の配置と、基準点の配置との関係を示す図である。

【図14】本実施の形態による画像撮像装置の撮像素子の配置と、基準点の配置との関係を示す図である。

【図15】従来の技術を示す図である。

【発明を実施するための形態】

【0021】

以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際とは異なる場合がある。

【0022】

図１は、本発明の実施形態の画像撮像装置の一構成例を示す機能ブロック図である。本実施形態の画像撮像装置Ａでは、少なくとも、第１の撮像素子１００と第２の撮像素子１０１との２つの撮像素子を備えている。この２つの撮像素子１００、１０１で撮影された画像は、画像処理部１０２に伝達されて、必要な画像処理画が行われた後に、画像表示部１０３に伝達されて、画像をディスプレイに表示したり、画像記憶部１０４に画像データを保存したりすることができる。

【0023】

撮像素子１００、１０１は、レンズなどの光学部品と、光電変換により画像データを取得すセンサなどで構成され、センサには、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）といった固体撮像素子を利用することができる。画像処理部１０２では、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などによるハードウェア処理や、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサによるソフトウェア処理などにより処理が行われる。画像表示部１０３は、例えば、液晶ディスプレイや有機ＥＬパネルなどの表示デバイスにより構成することができる。画像記憶部１０４は、例えば、フラッシュメモリやハードディスクなどの記憶媒体により構成することができる。

【0024】

図２は、本発明の画像処理部１０２の一構成例を示す機能ブロック図である。画像処理部１０２は、出力画像生成部１０５と、三次元位置算出部１０６と、を有している。基準画像情報とは、第１の撮像素子１００または第２の撮像素子１０１で撮影される画像情報のうちのいずれか一方である。参照画像情報とは、第１の撮像素子１００または第２の撮像素子１０１で撮影される基準画像情報ではない方の画像情報である。本実施形態では、被写体に向かって画像撮像装置Ａを構えたときに、左側の撮像素子で撮影された画像を基準画像情報として説明する。出力画像生成部１０５には、基準画像情報が入力され、色変換、シャープネス、ノイズリダクション、コントラスト補正などの基本的な画像処理が行われるとともに、三次元位置算出部１０６で算出される長さ情報などから、必要な情報を画像情報に追加して出力画像情報として出力する。

【0025】

三次元位置算出部１０６では、基準画像情報における第一基準点および第二基準点の三次元位置を算出し２点間の長さを三角測量の原理に基づいて算出する。第一基準点および第二基準点は、図３に示すように、基準画像情報または出力画像情報において設定された２点であり、所定座標だけ離れて設定されている。２点間の距離を算出するときの処理を考慮すると、２つの基準点は水平または垂直な位置に配置されるのが良い。すなわち、第一基準点Ｐ１（ｘ１、ｙ１）および第二基準点Ｐ２（ｘ２、ｙ２）であるとき、図３のように水平位置に離間して配置されているのでｙ１＝ｙ２となる。

【0026】

第一基準点および第二基準点における被写体までの距離は、基準画像情報と参照画像情報との間に発生する視差により算出される。

【0027】

図４に示すように、視差Ｄは、各基準点の周辺を含む画素情報を基準探索窓Ｗｓとし、参照画像情報に設定される参照探索窓Ｗｒを移動するブロックマッチングにより算出することができる。ブロックマッチングは、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）などにより類似度または相違度を評価することで行われる。算出された視差Ｄから距離を算出することができ、距離ＺはＺ＝Ｂ×ｆ／Ｄにより算出される。ここで、Ｂは２つの撮像素子間の距離である基線長であり、ｆは２つの撮像素子の焦点距離である。距離が算出されたことにより、Ｘ方向およびＹ方向の基準座標からの相対的な距離も算出することができる。すなわち、第一基準点および第二基準点の座標位置から２点間の距離を算出することができる。

【0028】

三次元位置算出部１０６で算出された長さ情報は、出力画像生成部１０５に伝達され、基準画像情報に付加されて出力画像情報として出力される。

【0029】

図５は出力画像情報が画像表示部１０３に表示されている状態を示す図である。算出された長さ情報（長さ算出結果）は、測定対象被写体Ｈとともに、撮像素子により撮影されている画像に重畳されて画面上部に表示されている。また、三次元位置算出部１０６にて長さが算出される第一基準点Ｐ１および第二基準点Ｐ２も基準画像情報に重畳する。

【0030】

所望の２点間の測定は、図６に示すように、第一基準点Ｐ１と第二基準点Ｐ２を、測定したい所望の２点に合わせることにより行う。このとき、長さを算出する第一基準点Ｐ１および第二基準点Ｐ２が常に表示され、タッチやポイントなどをすることなく、測定対象被写体に合わせることができるため、２点の指定を容易に精度良く行うことができる。

【0031】

また、長さを算出する第一基準点Ｐ１および第二基準点Ｐ２が設定されているため、２点間の距離は常に算出することができる。したがって、所望の２点間の長さが測定できているかを確認しながら第一基準点Ｐ１と第二基準点Ｐ２を測定対象被写体に合わせることで、位置合わせの精度を高めることができ、測定の失敗を防ぐことができる。例えば、図６において、第一基準点Ｐ１が測定対象被写体の左側に僅かにずれていた場合、第一基準点Ｐ１は背景となり、第二基準点Ｐ２との長さは非常に大きくなる。この算出結果は長さ算出結果として画像表示部１０３に表示されている。すなわち、大きく値が異なっていれば、基準点の位置がずれていると予想することができ、その場で再度基準点を測定対象被写体に合わせることができ、測定の失敗を防ぐことができる。

【0032】

さらに、測定したい所望の点は、測定対象被写体の特徴点であることが多い。特徴点とは、被写体の輪郭や模様といった画像情報に変化のある点である。そこで、基準画像情報の特徴点に第一基準点Ｐ１および第二基準点Ｐ２が設定されやすくしておく。図７に示すように、第一基準点Ｐ１が測定対象被写体Ｈに近接したときに、測定対象被写体Ｈの特徴点に設定されるようにする。特徴点は、基準画像情報の注目画素とその周辺画素の微分値や二次微分値などで算出することができる。第一基準点Ｐ１と第二基準点Ｐ２との間の距離を算出するときは、位置が微調整された後の座標を使用する。これにより、長さを測定したい点を設定しやすくなり、精度良く距離の測定を行うことができるようになる。

【0033】

また、図８に示すように第一基準点Ｐ１および第二基準点Ｐ２の周辺領域を拡大表示して、基準点の設定を高精度で行うようにすると好適である。撮像素子で撮影される画像情報の解像度が大きい場合には特に有効である。撮像素子で撮影できる画像情報の解像度が大きい場合であっても、画像表示部の解像度の方が小さいと、基準点の設定も画像表示部の解像度で行うことになってしまい、基準点の設定が曖昧になってしまう。そこで、撮影されている解像度に近付けるように拡大表示を行い、基準点の設定を細かく行えるようにすると、長さの測定が精度良く行えるようになる。

【0034】

一方、撮影対象被写体の一部分の長さを測定したい場合、画像表示部１０３には撮影対象被写体の一部分しか表示されないことになる。このとき、撮影対象被写体のどの部分を撮影しているかを把握することが困難になる場合がある。そこで、図８で通常表示される領域には画像全体の切り出し画像を表示し、拡大表示領域となっている領域を、撮影対象被写体の全体が表示される縮小画像領域とすると、撮影対象被写体の全体が把握でき好適である。これらの表示方法はユーザーが任意に設定できるようにしても良い。

【0035】

以上では、画像表示部１０３が横長で、第一基準点Ｐ１と第二基準点Ｐ２も横方向に配置されている場合で説明をしたが、他の配置や関係であっても同様に実施することができる。

【0036】

図９には、画像表示部１０３が縦長で、第一基準点Ｐ１と第二基準点Ｐ２が縦方向の場合を示す。
さらに、図９では第一基準点Ｐ１と第二基準点Ｐ２の大きさを異ならせて表示している。これは、各基準点における被写体までの距離に応じて大きさを異ならせているためである。画像表示部１０３が図９のような状態であるとき、画像撮像装置Ａと測定対象被写体の関係は図１０のようになっている。画像撮像装置Ａから第一基準点Ｐ１までの距離に比べて、画像撮像装置Ａから第二基準点Ｐ２までの距離は大きくなっている。これが画像表示部１０３の各基準点の大きさの異なりとなっている。

【0037】

一般に、視差と距離は反比例の関係にあり、離散値として視差を算出すると近景は細かく、遠景は粗く算出される。これは２点間の距離を算出するときに、第一基準点Ｐ１または第二基準点Ｐ２のうち、被写体Ｈまでの距離が大きい方の誤差の影響が大きいことを示す。したがって、第一基準点Ｐ１および第二基準点Ｐ２の距離を同程度に精度良く算出するためには、各基準点と画像撮像装置Ａとの距離が同程度の距離にあると良いことになる。図９の状態では、第一基準点Ｐ１の視差は細かく算出されるが、第二基準点Ｐ２の視差は誤差を多く含むこととなり、算出される長さの誤差は少なくとも第二基準点Ｐ２の誤差を含むことになる。

【0038】

そこで、図９のように各基準点における被写体Ｈまでの距離に関する情報を、画像表示部１０３に表示することにより、画像撮像装置Ａと各基準点の距離が同程度なるように誘導することができる。三次元位置算出部１０６では、長さ情報に加えて各基準点の距離情報または視差情報を出力画像生成部１０５に伝達し、出力画像情報を生成する。

【0039】

図１１は、表示される各基準点の大きさが同じになるように調整した後の状態を示す。表示される各基準点の大きさが同じ程度となっており、両基準点とも図９の第二基準点Ｐ２よりも画像撮像装置Ａに近付いており、同程度の分解能で視差が算出されていると予想され、算出される長さの誤差は少なくとも両基準点の誤差となり、図９のときよりも精度良く長さが算出される。画像表示部１０３の表示状態が図１１のような状態のとき、画像撮像装置Ａと測定対象被写体との関係は図１２のようになっている。画像撮像装置Ａが測定対象被写体Ｈを正面から撮影する状態となり、良好な距離の測定が可能となっている。

【0040】

さらに、撮影した画像を画像記憶部１０４に保存する場合、撮影するための信号を受信したときに保存しても良いし、第一基準点Ｐ１および第二基準点Ｐ２の視差値が略同一になったときに保存しても良い。撮影するための信号を受信した後、第一基準点Ｐ１および第二基準点Ｐ２の視差値が略同一になったときに保存すると、撮影者の意図する長さを測定し保存することができるため好適である。

【0041】

ここで、本実施形態では第一基準点Ｐ１および第二基準点Ｐ２を表示するときの大きさによって、画像撮像装置Ａと各基準点との距離を表したが、基準点を表す点の色相や彩度や明度といったものでも良く、他の方法でも同様の効果を得ることができる。例えば、画像撮像装置Ａから遠い側の基準点は青色、画像撮像装置Ａから近い側の基準点は赤色として、同程度の距離になるにしたがって無彩色になるようにする。しかし、被写体Ｈまでの距離が近い場合には大きく、被写体Ｈまでの距離が遠い小さく表示する方法は、遠近の表現として遠近法を用いているため、ユーザーが理解し易く基準点の距離を表現するのに好適である。

【0042】

図１３は、本実施形態の画像撮像装置が備える２つの撮像素子１００および１０１の配置と、画像表示部１０３に表示される第一基準点Ｐ１および第二基準点Ｐ２との関係を示す図である。平行に配置される２つの撮像素子で撮影された画像情報の間には、撮像素子が配置される方向に視差が発生する。したがって、ブロックマッチングなどで特徴点を利用した視差算出を行う場合、撮像素子が配置される方向とは異なる輪郭を持つ特徴点の方が、誤算出を低下させることができる。

【0043】

例えば、撮像素子が配置される方向と同じ方向の輪郭が特徴点であった場合、左右方向へのブロックマッチングをすると、輪郭が左右方向に発生しているので、基準探索窓と類似した参照探索窓が複数存在してしまう可能性がある。一方、撮像素子が配置される方向と同じ方向の輪郭が特徴であった場合には、左右方向への探索で輪郭が存在する参照探索窓は一カ所しか存在しない。

【0044】

ここで、画像表示部１０３の左右方向の長さを測定する場合、第一基準点Ｐ１および第二基準点Ｐ２における特徴点は、上下方向への輪郭であることが多い。したがって、視差が左右方向に発生し、左右方向へブロックマッチングの探索を行うと、特徴点の視差算出の精度が向上する。これを実現するためには、上述した理由により２つの撮像素子が左右方向に配置されていることが必要である。すなわち、図１３に示すように、２つの撮像素子が配置される方向と、２つの基準点が配置される方向とを同じにすることで、長さを測定するときの各基準点における特徴点の視差算出精度が向上し、測定した長さの算出結果の精度を向上させることがきる。

【0045】

２つの撮像素子が配置される方向と、２つの基準点が配置される方向とを同じにする状態は、図１３の他に図１４の状態もある。両図のどちらの画像撮像装置であっても、同様の効果が得られ、画像撮像装置を回転させることにより、上下方向、左右方向どちらの長さも測定することができる。しかし、測定対象被写体の測定する所望の２点間を大きく撮影して、基準点を設定する方が精度良く長さを測定できるため、図１３のように、画像表示部の長手方向に、２つの撮像素子を配置するとともに、２つの基準点を配置した方が好適である。さらに、同様の理由により、２つの基準点が配置される方向の画像表示部１０３の幅の少なくとも半分の距離に、画像表示部１０３に表示される２つの基準点を離間して設定した方が、測定される長さの精度の点で好適である。

【0046】

画像撮像装置により撮影または測定された結果は、画像記憶部１０４に保存することができる。保存する画像情報は、画像表示部１０３に表示されていたような状態で、第一基準点、第二基準点、長さ算出結果を含めた画像情報であっても良いし、基準画像情報のメタデータに第一基準点、第二基準点、長さ算出結果を入れた画像情報であっても良いし、第一基準点、第二基準点、長さ算出結果を含めた画像情報と、基準画像情報との両方であっても良く、ユーザーが適宜設定できるようにしておくと好適である。

【0047】

以上に説明したように、本発明の画像撮像装置は、長さを測定する２つの基準点を表示しながら撮影することで、基準点を所望の位置に設定し易くなり、所望とする長さの算出結果の精度を向上することができる。また、基準点が設定されていることにより、常に視差の算出を行い、撮影状態の長さ測定結果を表示することが可能で、所望の長さを測定できているかを確認することで測定の失敗を防ぐことができる。また、視差の算出により各基準点の距離情報を表示することで、画像撮像装置と測定対象被写体との関係を把握し、精度の良い撮影状態に誘導することができる。また、視差値が略同一になったときに画像情報を保存すると、精度の良い撮影状態での画像情報保存が可能となる。

【0048】

さらに、基準画像情報の特徴点に、各基準点が設定され易くなるように自動で微調整することで、容易に所望の長さを測定することが可能となる。また、測定対象被写体の撮影状態に加えて、基準点周辺の拡大画像を表示したり、測定対象被写体全体の画像を表示したりすることで、基準点の設定を容易に精度良く行えるようになる。

【0049】

さらに、２つの撮像素子が配置される方向と、２つの基準点が配置される方向とを同じにすることで、視差の誤算出を低減することができ、測定される長さの誤算出も低減することが可能となる。また、測定対象被写体を大きく撮影した方が長さ算出精度を向上させることができるため、第一基準点と第二基準点は、両基準点が配置される方向の画像表示部の幅の少なくとも半分は離間させて設定した方が好適である。

【0050】

本実施の形態は、画像撮影のみを機能とした画像撮像装置として説明したが、２つの撮像素子を備えた携帯電話や携帯情報端末などでも同様の効果を得ることが可能である。また、基準点を円形で説明したが矩形などその他の形状でも同様の効果を得ることができる。

【0051】

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

【0052】

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0053】

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

【0054】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

【産業上の利用可能性】

【0055】

本発明は、画像撮像装置に利用可能である。

【符号の説明】

【0056】

Ａ 画像撮像装置
１００ 撮像素子
１０１ 撮像素子
１０２ 画像処理部
１０３ 画像表示部
１０４ 画像記憶部
１０５ 出力画像生成部
１０６ 三次元位置算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】