特許 6184831 射出瞳位置測定装置、撮像装置、射出瞳位置測定方法及びプログラム、並びに撮像方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6184831

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】射出瞳位置測定装置、撮像装置、射出瞳位置測定方法及びプログラム、並びに撮像方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170814BHJP

   G03B 15/00 20060101ALI20170814BHJP

   G03B 37/04 20060101ALI20170814BHJP

   G06T 5/50 20060101ALI20170814BHJP

【ＦＩ】

   H04N5/232 290

   G03B15/00 W

   G03B37/04

   G06T5/50

   H04N5/232 380

【請求項の数】8

【全頁数】18

(21)【出願番号】特願2013-216810(P2013-216810)

(22)【出願日】2013年10月17日

(65)【公開番号】特開2015-80118(P2015-80118A)

(43)【公開日】2015年4月23日

【審査請求日】2016年9月29日

(73)【特許権者】

【識別番号】511130254

【氏名又は名称】株式会社アウトソーシングテクノロジー

(74)【代理人】

【識別番号】100123526

【弁理士】

【氏名又は名称】宮川 壮輔

(74)【代理人】

【識別番号】100125036

【弁理士】

【氏名又は名称】深川 英里

(72)【発明者】

【氏名】滝上 耕太郎

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開平１１−３３１６９６（ＪＰ，Ａ）

【文献】 特開平０６−００４６６０（ＪＰ，Ａ）

【文献】 特開平１１−０７３４８９（ＪＰ，Ａ）

【文献】 特開２０１３−０４６２７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３７／０４

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

撮像光学系及び撮像素子によって撮像した複数の画像を入力する画像入力部と、
前記画像入力部が入力した前記複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得することによって前記複数の画像を補正する画像補正部と、
前記画像補正部が補正した前記複数の画像の一部を連結領域として互いに重ね合わせて、前記複数の画像を連結する画像連結部と、
前記補正された複数の画像が、前記画像連結部によって滑らかに連結されたときの前記仮想球体の半径値を記憶する仮想球体半径値記憶部と、
前記仮想球体半径値記憶部から前記半径値を読み出すことによって前記撮像光学系の射出瞳から前記撮像素子までの光軸上の距離を取得する射出瞳位置取得部とを備える射出瞳位置測定装置。

【請求項2】

前記画像補正部は、前記複数の球体投影画像を、さらに仮想の円柱周面上にそれぞれ投影して複数の円柱投影画像を取得することによって、前記撮像した複数の画像を補正するものであることを特徴とする請求項１に記載の射出瞳位置測定装置。

【請求項3】

前記画像補正部は、補正前の前記複数の画像の座標と、これに対応する補正後の前記複数の画像の座標とを保持する座標変換テーブルを用いて、前記複数の画像を補正するものであることを特徴とする請求項１又は請求項２に記載の射出瞳位置測定装置。

【請求項4】

撮像光学系及び撮像素子によって撮像した複数の画像を入力する画像入力部と、
前記画像入力部が入力した前記複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得することによって前記複数の画像を補正する画像補正部と、
前記画像補正部が補正した前記複数の画像の一部を連結領域として互いに重ね合わせて、前記複数の画像を連結する画像連結部と、
前記補正された複数の画像が、前記画像連結部によって滑らかに連結されたときの前記仮想球体の半径値を記憶する仮想球体半径値記憶部とを備え、
前記画像補正部は、前記仮想球体の半径を前記仮想球体半径値記憶部が記憶した前記半径値に設定することによって、前記仮想球体の半径を前記撮像光学系の射出瞳から前記撮像素子までの光軸上の距離と等しくさせる仮想球体設定部を備える撮像装置。

【請求項5】

撮像光学系及び撮像素子によって撮像した複数の画像を入力する画像入力ステップと、
前記画像入力ステップにおいて入力した前記複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得することによって前記複数の画像を補正する画像補正ステップと、
前記画像補正ステップにおいて補正した前記複数の画像の一部を連結領域として互いに重ね合わせて、前記複数の画像を連結する画像連結ステップと、
前記画像補正ステップにおいて補正された前記複数の画像が、前記画像連結ステップにおいて滑らかに連結されたときの前記仮想球体の半径値を記憶する仮想球体半径値記憶ステップと、
前記仮想球体半径値記憶ステップにおいて記憶した前記半径値を読み出すことによって前記撮像光学系の射出瞳から前記撮像素子までの光軸上の距離を取得する射出瞳位置取得ステップとを含む射出瞳位置測定方法。

【請求項6】

撮像光学系及び撮像素子によって撮像した複数の画像を入力する画像入力ステップと、
前記画像入力ステップにおいて入力した前記複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得することによって前記複数の画像を補正する画像補正ステップと、
前記画像補正ステップにおいて補正した前記複数の画像の一部を連結領域として互いに重ね合わせて、前記複数の画像を連結する画像連結ステップと、
前記画像補正ステップにおいて補正された前記複数の画像が、前記画像連結ステップにおいて滑らかに連結されたときの前記仮想球体の半径値を記憶する仮想球体半径値記憶ステップと、
前記仮想球体の半径を前記仮想球体半径値記憶ステップにおいて記憶した前記半径値に設定することによって、前記仮想球体の半径を前記撮像光学系の射出瞳から前記撮像素子までの光軸上の距離と等しくさせる仮想球体設定ステップとを含む撮像方法。

【請求項7】

コンピュータに、
撮像光学系及び撮像素子によって撮像した複数の画像を入力する画像入力ステップと、
前記画像入力ステップにおいて入力した前記複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得することによって前記複数の画像を補正する画像補正ステップと、
前記画像補正ステップにおいて補正した前記複数の画像の一部を連結領域として互いに重ね合わせて、前記複数の画像を連結する画像連結ステップと、
前記画像補正ステップにおいて補正された前記複数の画像が、前記画像連結ステップにおいて滑らかに連結されたときの前記仮想球体の半径値を記憶する仮想球体半径値記憶ステップと、
前記仮想球体半径値記憶ステップにおいて記憶した前記半径値を読み出すことによって前記撮像光学系の射出瞳から前記撮像素子までの光軸上の距離を取得する射出瞳位置取得ステップとを実行させるための射出瞳位置測定プログラム。

【請求項8】

コンピュータに、
撮像光学系及び撮像素子によって撮像した複数の画像を入力する画像入力ステップと、
前記画像入力ステップにおいて入力した前記複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得することによって前記複数の画像を補正する画像補正ステップと、
前記画像補正ステップにおいて補正した前記複数の画像の一部を連結領域として互いに重ね合わせて、前記複数の画像を連結する画像連結ステップと、
前記画像補正ステップにおいて補正された前記複数の画像が、前記画像連結ステップにおいて滑らかに連結されたときの前記仮想球体の半径値を記憶する仮想球体半径値記憶ステップと、
前記仮想球体の半径を前記仮想球体半径値記憶ステップにおいて記憶した前記半径値に設定することによって、前記仮想球体の半径を前記撮像光学系の射出瞳から前記撮像素子までの光軸上の距離と等しくさせる仮想球体設定ステップとを実行させるための撮像プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、射出瞳位置測定装置、撮像装置、射出瞳位置測定方法及びプログラム、並びに撮像方法及びプログラムに関し、特に、複数の画像を連結する射出瞳位置測定装置、撮像装置、射出瞳位置測定方法及びプログラム、並びに撮像方法及びプログラムに関する。

【背景技術】

【0002】

従来、複数の画像を連結してパノラマ画像を得る撮像装置が知られている（例えば、特許文献１及び特許文献２）。パノラマ画像を得るための複数の画像は、単一又は複数のカメラによって撮影される。撮影された複数の画像は、例えば、隣り合う画像の端部同士を重ねた状態で連結されて、単一のパノラマ画像が生成される。撮像された複数の画像に歪み等が生じている場合には、歪み等を解消するための画像補正を施すこともある。画像補正方法の一例として、撮像した画像を仮想球体の球面に投影するという球体投影による補正が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−６１２３７号公報

【特許文献2】特表２００１−５０１３４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、球体投影による補正を行う際には、仮想球体を適切なサイズに設定しないと、隣り合う画像の端部同士が整合せず、画像を滑らかに連結できなくなってしまう。複数の画像を補正して連結する場合、仮想球体の半径を画像を撮像した撮像部の射出瞳から撮像素子までの光軸上の距離（以下、「射出瞳距離」という。）と等しくすることによって、画像を滑らかに連結させることができる。但し、実機における射出瞳距離を正確に測定することは容易ではない。レンズの射出瞳位置は合焦点調整などで設計値から移動してしまう。したがって、合焦調整後の実機における実際の射出瞳距離は、設計値からは求められない場合がある。また、使用するレンズによっては、射出瞳位置がレンズメーカーから公開されていなかったり、射出瞳位置の正確な測定値が分からなかったりする場合もある。

【0005】

上記に鑑みて本発明は、実機における実際の射出瞳位置を測定可能にすることを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明に係る射出瞳位置測定装置は、撮像光学系及び撮像素子によって撮像した複数の画像を入力する画像入力部と、画像入力部が入力した複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得することによって複数の画像を補正する画像補正部と、画像補正部が補正した複数の画像の一部を連結領域として互いに重ね合わせて、複数の画像を連結する画像連結部と、補正された複数の画像が、画像連結部によって滑らかに連結されたときの仮想球体の半径値を記憶する仮想球体半径値記憶部と、仮想球体半径値記憶部から半径値を読み出すことによって撮像光学系の射出瞳から撮像素子までの光軸上の距離を取得する射出瞳位置取得部とを備える。

【0007】

「射出瞳位置」とは、射出瞳の位置をいい、一般的に、射出瞳から撮像素子までの光軸上の距離（前述の「射出瞳距離」）によって表されるものである。したがって、本願明細書及び特許請求の範囲の記載において、「射出瞳位置」とは、「射出瞳距離」によって示される位置である。

【0008】

本発明に係る射出瞳位置測定装置によれば、補正された複数の画像が、画像連結部によって滑らかに連結されたときの仮想球体の半径値を記憶する仮想球体半径値記憶部を備えていることにより、球体投影による補正を行って画像を連結する際の仮想球体の適切な半径値を記憶することができる。前述のように、仮想球体の適切な半径値は、実機の射出瞳距離と等しい。したがって、記憶された仮想球体の半径値を読み出すことによって実機の射出瞳距離を知ることができる。このように、本発明に係る射出瞳位置測定装置によれば、実機における実際の射出瞳位置を測定することができる。

【0009】

一例として、画像補正部は、複数の球体投影画像を、さらに仮想の円柱周面上にそれぞれ投影して複数の円柱投影画像を取得することによって、撮像した複数の画像を補正するものである。これにより、球体投影画像を平面展開することができる。

【0010】

画像補正部は、補正前の複数の画像の座標と、これに対応する補正後の複数の画像の座標とを保持する座標変換テーブルを用いて、複数の画像を補正するものであってもよい。これにより、画像補正部による画像補正を高速に実行することができる。

【0011】

本発明に係る撮像装置は、撮像光学系及び撮像素子によって撮像した複数の画像を入力する画像入力部と、画像入力部が入力した複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得することによって複数の画像を補正する画像補正部と、画像補正部が補正した複数の画像の一部を連結領域として互いに重ね合わせて、複数の画像を連結する画像連結部と、補正された複数の画像が、画像連結部によって滑らかに連結されたときの仮想球体の半径値を記憶する仮想球体半径値記憶部とを備え、画像補正部は、仮想球体の半径を仮想球体半径値記憶部が記憶した半径値に設定することによって、仮想球体の半径を撮像光学系の射出瞳から撮像素子までの光軸上の距離と等しくさせる仮想球体設定部を備える。

【0012】

このように、本発明に係る撮像装置によれば、補正された複数の画像が、画像連結部によって滑らかに連結されたときの仮想球体の半径値を記憶する仮想球体半径値記憶部を備えていることにより、前述の射出瞳位置測定装置と同様に、実機における実際の射出瞳位置を測定することができる。加えて、仮想球体の半径を仮想球体半径値記憶部が記憶した半径値に設定することによって、仮想球体の半径を撮像光学系の射出瞳から撮像素子までの光軸上の距離と等しくさせる仮想球体設定部を備えることから、仮想球体の半径値設定が完了した後の撮影において、滑らかに連結した画像を得ることができる。

【0013】

本発明に係る射出瞳位置測定方法は、撮像光学系及び撮像素子によって撮像した複数の画像を入力する画像入力ステップと、画像入力ステップにおいて入力した複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得することによって複数の画像を補正する画像補正ステップと、画像補正ステップにおいて補正した複数の画像の一部を連結領域として互いに重ね合わせて、複数の画像を連結する画像連結ステップと、画像補正ステップにおいて補正された複数の画像が、画像連結ステップにおいて滑らかに連結されたときの仮想球体の半径値を記憶する仮想球体半径値記憶ステップと、仮想球体半径値記憶ステップにおいて記憶した半径値を読み出すことによって撮像光学系の射出瞳から撮像素子までの光軸上の距離を取得する射出瞳位置取得ステップとを含む。本発明に係る射出瞳位置測定方法によれば、前述の射出瞳位置測定装置と同様に、実機における実際の射出瞳位置を測定することができる。

【0014】

本発明に係る撮像方法は、撮像光学系及び撮像素子によって撮像した複数の画像を入力する画像入力ステップと、画像入力ステップにおいて入力した複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得することによって複数の画像を補正する画像補正ステップと、画像補正ステップにおいて補正した複数の画像の一部を連結領域として互いに重ね合わせて、複数の画像を連結する画像連結ステップと、画像補正ステップにおいて補正された複数の画像が、画像連結ステップにおいて滑らかに連結されたときの仮想球体の半径値を記憶する仮想球体半径値記憶ステップと、仮想球体の半径を仮想球体半径値記憶ステップにおいて記憶した半径値に設定することによって、仮想球体の半径を撮像光学系の射出瞳から撮像素子までの光軸上の距離と等しくさせる仮想球体設定ステップとを含む。本発明に係る撮像方法によれば、前述の撮像装置と同様に、実機における実際の射出瞳位置を測定することができる。加えて、仮想球体の半径値設定が完了した後の撮影において、滑らかに連結した画像を得ることができる。

【0015】

本発明に係る射出瞳位置測定プログラムは、コンピュータに、撮像光学系及び撮像素子によって撮像した複数の画像を入力する画像入力ステップと、画像入力ステップにおいて入力した複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得することによって複数の画像を補正する画像補正ステップと、画像補正ステップにおいて補正した複数の画像の一部を連結領域として互いに重ね合わせて、複数の画像を連結する画像連結ステップと、画像補正ステップにおいて補正された複数の画像が、画像連結ステップにおいて滑らかに連結されたときの仮想球体の半径値を記憶する仮想球体半径値記憶ステップと、仮想球体半径値記憶ステップにおいて記憶した半径値を読み出すことによって撮像光学系の射出瞳から撮像素子までの光軸上の距離を取得する射出瞳位置取得ステップとを実行させる。本発明に係る射出瞳位置測定プログラムによれば、前述の射出瞳位置測定装置と同様に、実機における実際の射出瞳位置を測定することができる。

【0016】

本発明に係る撮像プログラムは、コンピュータに、撮像光学系及び撮像素子によって撮像した複数の画像を入力する画像入力ステップと、画像入力ステップにおいて入力した複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得することによって複数の画像を補正する画像補正ステップと、画像補正ステップにおいて補正した複数の画像の一部を連結領域として互いに重ね合わせて、複数の画像を連結する画像連結ステップと、画像補正ステップにおいて補正された複数の画像が、画像連結ステップにおいて滑らかに連結されたときの仮想球体の半径値を記憶する仮想球体半径値記憶ステップと、仮想球体の半径を仮想球体半径値記憶ステップにおいて記憶した半径値に設定することによって、仮想球体の半径を撮像光学系の射出瞳から撮像素子までの光軸上の距離と等しくさせる仮想球体設定ステップとを実行させる。本発明に係る撮像プログラムによれば、前述の撮像装置と同様に、実機における実際の射出瞳位置を測定することができる。加えて、仮想球体の半径値設定が完了した後の撮影において、滑らかに連結した画像を得ることができる。

【発明の効果】

【0017】

本発明に係る射出瞳位置測定装置によれば、補正された複数の画像が、画像連結部によって滑らかに連結されたときの仮想球体の半径値を記憶する仮想球体半径値記憶部を備えていることにより、球体投影による補正を行って画像を連結する際の仮想球体の適切な半径値を記憶することができる。前述のように、仮想球体の適切な半径値は、実機の射出瞳距離と等しい。したがって、記憶された仮想球体の半径値を読み出すことによって実機の射出瞳距離を知ることができる。このように、本発明に係る射出瞳位置測定装置によれば、実機における実際の射出瞳位置を測定することができる。

【図面の簡単な説明】

【0018】

【図1】本実施形態に係る撮像装置の構成図である。

【図2】本実施形態に係る第１の撮像部の構成図である。

【図3】本実施形態に係る撮像部の位置関係を表すイメージ図である。

【図4】本実施形態に係る撮像装置による画像処理の流れを示すフローチャートである。

【図5】立体物を撮影したときの遠近感異常及び歪みついての説明図である。

【図6】本実施形態に係る球体円柱投影のイメージ図である。

【図7】本実施形態に係る球体円柱投影による座標変換のイメージ図である。

【図8】本実施形態に係る撮像装置によって表示される単一画像の一例である。

【図9】本実施形態に係る撮像装置によって表示される単一画像の他の例である。

【発明を実施するための形態】

【0019】

以下、本発明の実施の形態を添付の図により説明する。
＜構成＞
図１に本実施形態に係る撮像装置１の構成図を示す。撮像装置１は、一例として、撮影した複数の画像を連結してパノラマ画像を生成する多眼カメラである。撮像装置１は、撮像部２と、画像入力部３と、制御部４と、射出瞳位置取得部２１と、画像補正部２２と、画像連結部６と、記憶部７と、出力部１０と、入力部１１とを備えている。

【0020】

撮像部２は、パノラマ画像を構成する複数の画像を撮像するものである。撮像部２は、レンズや絞り等を備える撮像光学系１４と撮像素子１５を備えている。本実施形態では、撮像部２において、撮像光学系１４と撮像素子１５を備える撮像機構が３組（第１の撮像部２Ａ，第２の撮像部２Ｂ，第３の撮像部２Ｃ）設けられている。図２に第１の撮像部２Ａの構成を示す。レンズ１４ａを有する撮像光学系１４は、撮像素子１５と所定の距離離れて配置されている。射出瞳距離Ｌは、射出瞳３８から撮像素子１５までの光軸３９上の距離である。

【0021】

撮像素子１５は、ＣＣＤやＣＭＯＳ等のイメージセンサである。撮像素子１５は、カラーフィルタ、アンプ、及びＡ／Ｄコンバータ等を備え、撮像光学系１４によって捉えられた像を光電変換し、デジタル画像信号を画像入力部３に出力する。

【0022】

第２の撮像部２Ｂと第３の撮像部２Ｃの構成は、図２に示した第１の撮像部２Ａの構成と同じであり、第１の撮像部２Ａから第３の撮像部２Ｃのそれぞれにおいて、各射出瞳距離Ｌは同一距離である。

【0023】

図３に、撮像部２の位置関係を表すイメージ図を示す。第１の撮像部２Ａと第２の撮像部２Ｂと第３の撮像部２Ｃは、中心軸２Ｘを基準として左右回転方向Ｒに回転し、且つ上下方向Ｈにずれて設置されている。第１の撮像部２Ａは、第２の撮像部２Ｂに対して角度ａ１分、反時計回りに回転し、高さｈ１分、低い位置に設置されている。第３の撮像部２Ｃは、第２の撮像部２Ｂに対して角度ａ２分、時計回りに回転し、第２の撮像部２Ｂに対して高さｈ２分、高い位置に設置されている。

【0024】

したがって、第１の撮像部２Ａは、第２の撮像部２Ｂの撮影領域から角度ａ１分回転した位置を撮影し、第３の撮像部２Ｃは、第２の撮像部２Ｂの撮影領域から角度ａ２分回転した位置を撮影する。上下のズレ分（高さｈ１，ｈ２）は、実際には左右のズレ分（角度ａ１，ａ２）と比較して僅かである。第１の撮像部２Ａと第２の撮像部２Ｂと第３の撮像部２Ｃが撮像した各画像を左右回転方向Ｒに連結することによって、第１の撮像部２Ａの撮影領域から第３の撮像部２Ｃの撮影領域までが連続したパノラマ画像が生成される。

【0025】

なお、第１の撮像部２Ａの撮像光学系１４と、第２の撮像部２Ｂの撮像光学系１４と、第３の撮像部２Ｃの撮像光学系１４は、入射瞳の位置で位置合わせされている。すなわち、上下にずれて設置された第１の撮像部２Ａの撮像光学系１４と、第２の撮像部２Ｂの撮像光学系１４と、第３の撮像部２Ｃの撮像光学系１４の入射瞳位置は一致している。

【0026】

第１の撮像部２Ａと第２の撮像部２Ｂと第３の撮像部２Ｃの位置関係は相対的に固定されているため、上下のズレ分（高さｈ１，ｈ２）と左右のズレ分（角度ａ１，ａ２）は、撮影時に変動しない。

【0027】

画像入力部３は、複数の画像を制御部４に入力するものであり、撮像部２から入力されたデジタル画像信号を制御部４に出力する。制御部４は、撮像装置１の各処理を制御する。射出瞳位置取得部２１は、射出瞳距離Ｌを取得する。画像補正部２２は、撮像部２が撮像した画像を補正し、画像連結部６は、補正された画像を連結する。画像入力部３と、制御部４と、射出瞳位置取得部２１と、画像補正部２２と、画像連結部６は、ＣＰＵ等の演算手段によって実現し、メインメモリ、フラッシュメモリ、ハードディスク等の記憶手段と協働して機能する。

【0028】

画像補正部２２は、球体投影による補正を実行する。球体投影による補正とは、撮像した画像の遠近感異常（遠近感が正確に表現されない現象）及び歪みを解消するために、複数の画像を仮想球体の球面上に投影することによって行う補正である。画像補正部２２は、さらに、球体投影した画像を平面展開するために、円柱投影による補正を実行する。以下の記載において、球体投影と円柱投影を組み合わせた上記補正を「球体円柱投影による補正」と呼ぶ。画像補正部２２は、通常の撮影時に撮像画像を補正するように機能すると共に、射出瞳位置測定及び仮想球体設定用の画像を補正する際にも機能する。

【0029】

画像補正部２２は、仮想球体設定部２３を備える。仮想球体設定部２３は、仮想球体の半径値を設定して、座標変換テーブルの更新を実行する。また、仮想球体設定部２３は、半径値設定用画像が滑らかに連結されたときの仮想球体の半径値を、その後の処理に用いる仮想球体の半径の設定値として設定することによって、仮想球体の半径を実際の射出瞳距離Ｌと等しくする。
射出瞳位置取得部２１は、仮想球体の半径値から射出瞳距離Ｌの値を取得し、実機における実際の射出瞳の実際の位置を得る。

【0030】

画像連結部６は、ブレンディング処理部２４を備えている。ブレンディング処理部２４は、連結領域決定部２５とブレンディング実行部２６を備えている。連結領域決定部２５は、各画像の連結領域を決定する。ブレンディング実行部２６は、連結領域において重なる画像をブレンドして画像を連結する。

【0031】

記憶部７は、メインメモリ、フラッシュメモリ、ハードディスク等の記憶手段によって構成されている。記憶部７は、撮像画像記憶部３２と、画像補正用データ記憶部３３と、補正済み画像記憶部３４と、ブレンディング処理済み画像記憶部３５とを備えている。

【0032】

撮像画像記憶部３２は、撮像部２によって撮像され、画像入力部３と制御部４を介して入力された複数の画像を記憶する。画像補正用データ記憶部３３は、画像補正部２２によって画像を補正する際に用いるデータを記憶するものであり、座標変換テーブルを保持し、各種パラメータ及び各種設定値を記憶する。また、画像補正用データ記憶部３３は、後述するように、補正された複数の画像が、画像連結部によって滑らかに連結されたときの仮想球体の半径値を記憶するため、仮想球体半径値記憶部としても機能するものである。補正済み画像記憶部３４は、画像補正部２２によって補正された補正済み画像を記憶する。ブレンディング処理済み画像記憶部３５は、ブレンディング処理部２４によって処理された画像を記憶する。

【0033】

出力部１０は、撮像装置１からの信号を外部へ出力するものである。出力部１０には、ディスプレイ等の表示装置、プリンタ等の印刷装置、他のコンピュータ等への送信装置等が含まれる。本実施形態において、出力部１０は、ディスプレイ等の表示装置を備えている。入力部１１は、外部からの信号を撮像装置１に入力するものである。入力部１１には、タッチパネル、シャッターボタン、各種入力ボタン、キーボード等の入力手段が含まれる。本実施形態において、入力部１１は、動画撮影開始指示及び動画撮影停止指示ボタンと、静止画撮影用シャッターボタンとを兼用する撮影指示入力ボタンを備えている。

【0034】

＜処理の流れ＞
次に、撮像装置１によって実行される画像処理の流れについて説明する。まず、撮像装置１の初期設定として、画像補正部２２によって使用される仮想球体のサイズを設定する。図４に、仮想球体の半径値設定シーケンスを示す。

【0035】

図４のステップＳ１において、入力部１１の撮影指示入力ボタンを押すと、撮像部２が複数の静止画像を撮像する。ここで撮影される画像は、仮想球体の半径値を設定するために用いられる半径値設定用画像である。本実施形態においては、撮像部２が、第１の撮像部２Ａ，第２の撮像部２Ｂ，第３の撮像部２Ｃという３組の撮像機構を備えているため、各撮像機構によって撮影領域の異なる３枚の画像が撮影される。撮像画像記憶部３２が撮像された画像を記憶する。

【0036】

次に、図４のステップＳ２において、画像補正部２２は、撮像画像記憶部３２から、撮像された３枚の静止画像を読み出して画像補正する。画像補正部２２は座標変換テーブルを用いて球体円柱投影による補正を実行する。ここで、球体円柱投影による補正について、以下に説明する。

【0037】

現在用いられているレンズは、２次元のものを２次元に投影する性質を有している。したがって、通常の写真撮影に使われる平面投影では、立体物の被写体の場合、撮像画像の端部の遠近感異常及び歪みが発生し、平面的な被写体の場合、撮像画像の端部の遠近感異常が発生する。このため、個々の画像の遠近感異常及び歪みという問題に加えて、画像を一致させて連結することができなくなるという問題が生じ得る。

【0038】

図５に、立体物を撮影したときの遠近感異常及び歪みついての説明図を示す。図５には、球の被写体６９と、射出瞳距離Ｌと等しい半径を有する仮想球体７０と、補正前の画像が投影されるイメージ平面８１とが例示されている。被写体６９の第１の領域６９ａは、イメージ平面８１上の領域８１ａに投影され、被写体６９の第２の領域６９ｂは、イメージ平面８１上の領域８１ｂに投影される。図５に図示したように、イメージ平面８１上に投影された被写体６９の像は、投影面の端部にいくほど遠近感異常及び歪みが大きくなる。これに対して、仮想球体７０上に投影された被写体６９の像は、領域６９ａに対応する領域７０ａ及び領域６９ｂに対応する領域７０ｂに示されるように、遠近感異常及び歪みを生じていない。そこで、画像を仮想球体７０に球体投影することによって、個々の画像の遠近感異常及び歪みを補正し、画像を一致させて滑らかに連結できるようにする。また、球体投影した球面画像を円柱投影によって平面画像に展開する。

【0039】

図６に、球体円柱投影のイメージ図を示す。仮想球体７０の外側に第１の球面７５，第２の球面７６，第３の球面７７と接して表現されている第１の平面７１、第２の平面７２及び第３の平面７３は、撮像された画像が投影されるイメージ平面８１（図５に示す）を示している。

【0040】

補正前の画像が、球体投影されると、第１の撮像部２Ａによって撮像された第１の画像は第１の球面７５に投影され、第２の撮像部２Ｂによって撮像された第２の画像は第２の球面７６に投影され、第３の撮像部２Ｃによって撮像された第３の画像は第３の球面７７に投影される。すなわち、補正前の第１の画像を構成する画素の画素７８は、球面７５上の対応する画素７９に変換される。球体投影による補正だけでは画像の四隅が上手く連結できないため、球面７５，７６，７７に投影することによって得られた球体投影画像を円柱投影によって平面展開する。これにより、画素７９は、円柱投影によってさらに画素８０に座標変換される。画素８０は第１の平面７１上に位置している。

【0041】

球体円柱投影による座標変換についてさらに以下に説明する。図７に球体円柱投影による座標変換のイメージ図を示す。（ａ）図に仮想球体７０の正面図を示し、（ｂ）図に仮想球体７０の右側面図を示す。平面投影面（イメージ平面）８１は、図６における第１の平面７１から第３の平面７３に対応している。

【0042】

以下に、「球体投影演算ステップ」について説明する。イメージ平面８１上の点Ｐｎと仮想球体７０の中心点Ｃとの間に直線を引き、仮想球体７０と直線の交点Ｓｎを定める。この交点Ｓｎ、すなわち、図７における点Ｓ１，Ｓ２，Ｓ３がイメージ平面８１から仮想球体７０の球面上にマッピングされた画素７９（図６に示す）に対応し、図７におけるＰ１，Ｐ２，Ｐ３が補正前の画素７８（図６に示す）に対応している。

【0043】

点Ｃ（０，０，Ｌ）を中心とした仮想球体７０の方程式は

【数1】

上記式（１）におけるパラメータＬは、仮想球体７０の半径を示す。

【0044】

一方、任意の仮想球体７０の球面上の点Ｓ（ｘ_２，ｙ_２，ｚ_２）（仮想球体７０と直線の交点）と中心点Ｃを結ぶ直線の方程式は

【数2】

から、

【数3】

となる。
直線の式をｔとおき、

【数4】

イメージ平面８１上では、ｚ＝０となり、その条件でｔは、式（６）から以下のように定まる。

【数5】

式（７）と式（４），式（５），及び式（６）を用いて、イメージ平面８１上の点Ｐ（ｘ，ｙ，ｚ（＝０））と点Ｐから点Ｃに向かって伸びる直線が仮想球体７０と交わる点座標Ｓ（ｘ_２，ｙ_２，ｚ_２）の関係が求められる。

【0045】

次に、「円柱投影演算ステップ」について説明する。交点Ｓｎと、この交点Ｓｎによって表される球体投影画像を仮想円柱の周面上に投影して平面展開した時のイメージ平面８１上の点Ｐｎ´との関係を求める。点Ｐｎ´、すなわち、図７における点Ｐ１´，Ｐ２´，Ｐ３´が補正後の画素８０（図６に示す）に対応している。

【0046】

仮想円柱の中心線上の点Ｑ（０，ｙ_ｃ，Ｌ）とイメージ平面８１上の点Ｐ（ｘ_ｐ，ｙ_ｐ，０）を結ぶ直線の方程式は、

【数6】

となる。

【数7】

これらを仮想球体７０の方程式

【数8】

に代入し

【数9】

から

【数10】

となる。
式（９），式（１０）及び式（１１）より、交点Ｓｎ（イメージ平面８１上の座標Ｐｎ´とｙ軸への円柱投影座標Ｑｎを結ぶ直線と、仮想球体７０との交点）が求められる。

【0047】

逆トレーシング又は逆追跡方式を採用して、前述の円柱投影演算ステップを実行後に前述の球体投影演算ステップを実行することにより、補正後の座標Ｐｎ´から、補正前の座標Ｐｎを特定して対応付けることができる。

【0048】

まず、円柱投影演算ステップを実行して、円柱投影した時のイメージ平面８１上の各点Ｐｎ´の座標に対応する仮想球体７０上の点Ｓｎの座標を特定して、互いに対応付ける。次に、球体投影演算ステップを実行して、円柱投影演算ステップによって求めた点Ｓｎの座標から補正前のイメージ平面８１上の点Ｐｎの座標を特定して対応付ける。これにより、補正後の画素の座標（点Ｐｎ´の座標）と補正前の画素の座標（点Ｐｎの座標）を対応付けることができる。

【0049】

画像補正用データ記憶部３３に保持された座標変換テーブルには、この補正後の画素の座標と補正前の画素の座標の対応関係が格納されている。座標変換テーブルを用いて座標を変換することにより、球体円柱投影による補正を高速に実行することができる。なお、画像補正用データ記憶部３３は、パラメータＬに代入される値と、撮像素子１５の画素数及び１画素のサイズを記憶している。撮像素子１５の画素数及び１画素のサイズは、ｘ，ｙの値を決定するために用いられる。

【0050】

例えば、撮像素子１５の画素数が６４０×４８０ピクセルの場合、座標変換テーブルを、ＴＡＢＬＥ［６４０］［４８０］のような２次元配列で整数値のｘ，ｙをメンバーに持つテーブルとして表現してもよい。この場合、座標変換後（補正後）の画像の座標（Ｘ，Ｙ）と座標変換前（補正前）の画像の座標（ａ，ｂ）との対応関係は、ＴＡＢＬＥ［Ｘ］［Ｙ］．ｘ＝ａ（座標値），ＴＡＢＬＥ［Ｘ］［Ｙ］．ｙ＝ｂ（座標値）と示すことができる。このように、座標変換テーブルを用いることによって、補正後の画像の座標（Ｘ，Ｙ）を高速に決定することができる。

【0051】

図４のステップＳ２において、画像補正部２２は、画像補正用データ記憶部３３から座標変換テーブルを読み出して、球体円柱投影による画像補正を実行する。初めてステップＳ２を実行する際に読み出される座標変換テーブルには、パラメータＬに所定の初期値を代入して算出した補正前及び補正後の座標の対応関係が格納されている。本実施形態においては、所定の初期値として、設定値として与えられている射出瞳距離Ｌの値を用いている。

【0052】

ステップＳ２において、撮像装置１の射出瞳距離Ｌの正確な値は不明である。レンズ設計は合焦点を無限遠で行うことが一般的である。そのため、有限長で合焦調整したレンズは設計値よりも繰り出した状態となっている。本実施形態において、撮像光学系１４のレンズ１４ａは、有限長で合焦されている。したがって、実際の射出瞳距離Ｌの値は、設計値によって与えられる射出瞳距離Ｌの値と同一ではなく、設計値によって与えられる射出瞳距離Ｌは実際の射出瞳距離Ｌよりも短い。

【0053】

ステップＳ３において、画像連結部６はステップＳ２において補正された複数の画像を連結する。複数の画像は、隣合う画像の端部が重ね合わされて、重ね合わされた部分が画像合成されることにより連結する。連結領域決定部２５は、各画像の端部において、隣り合う画像同士を重ね合わせる領域（連結領域）を決定する。ブレンディング実行部は、連結領域において重ね合わされた一方の画像と他方の画像をブレンドして合成する。これにより、複数の画像（本実施形態においては、３枚の画像）が連結領域において連結し、単一画像が生成される。生成された単一画像はブレンディング処理済み画像記憶部３５に記憶される。

【0054】

ステップＳ４において、出力部１０の表示装置は、ステップＳ３において連結した単一画像をブレンディング処理済み画像記憶部３５から読み出して表示する。表示される単一画像の例を図８及び図９に示す。図８に示す単一画像１００と図９に示す単一画像２００は、共に、第１の画像１０１と第２の画像１０２と第３の画像１０３を連結した画像である。第１の画像１０１と第２の画像１０２と第３の画像１０３には、調整用直線状被写体１０５が、全ての画像に連続して撮像されている。図８に示す単一画像１００は、撮像装置１における実際の射出瞳距離Ｌの値を半径値とした仮想球体７０を用いて、第１の画像１０１から第３の画像１０３を画像補正した場合に得られる連結画像である。単一画像１００においては、第１の画像１０１と第２の画像１０２とが、また、第２の画像１０２と第３の画像１０３とが、それぞれ滑らかに連結しているため、画像同士のつなぎ目が目立たない自然な一枚のパノラマ写真となっている。

【0055】

これに対して、図９に示す単一画像２００は、設計値として与えられた射出瞳距離Ｌの値を半径値とした仮想球体７０を用いて、第１の画像１０１から第３の画像１０３を画像補正した場合に得られる連結画像である。単一画像２００においては、第１の画像１０１と第２の画像１０２との連結、また、第２の画像１０２と第３の画像１０３との連結が滑らかではなく、第１の画像１０１と第２の画像１０２とのつなぎ目２０１と、第２の画像１０２と第３の画像１０３とのつなぎ目２０２において、調整用直線状被写体１０５の輪郭が内側に入り込んでしまっている。したがって、調整用直線状被写体１０５が波打ったような形状として表れ、画像同士のつなぎ目２０１，２０２が目立つ不自然な写真となっている。

【0056】

初めてステップＳ４を実行する場合は、前述のように、ステップＳ２において使用される仮想球体７０の半径値が、設定値として与えられている射出瞳距離Ｌの値となっている。したがって、初めてステップＳ４を実行すると、図９に示すような画像の連結が滑らかではない不自然な単一画像２００が表示されることになる。前述のように、本実施形態においては、設計値によって与えられる射出瞳距離Ｌは実際の射出瞳距離Ｌよりも短いため、図８に示す単一画像１００を得るために使用された仮想球体７０よりも半径の小さい仮想球体７０によって画像補正したことになる。

【0057】

一方、仮に、実際の射出瞳距離Ｌよりも長い半径の仮想球体７０を用いて、第１の画像１０１から第３の画像１０３を画像補正して連結した場合には、第１の画像１０１と第２の画像１０２とのつなぎ目２０１と、第２の画像１０２と第３の画像１０３とのつなぎ目２０２において、調整用直線状被写体１０５の輪郭は外側に張り出す角を形成してしまう。したがって、図９に示す単一画像２００と同様に、画像の連結が滑らかではなく、画像同士のつなぎ目が目立つ不自然な写真となってしまう。

【0058】

ステップＳ４において表示された画像が図９に示す単一画像２００のように、滑らかに連結していないときには、仮想球体７０の半径値を変更する（ステップＳ５）。なお、画像の連結状態を確認するには、画像のつなぎ目における形状変化が分かりやすい被写体を採用することが望ましい。例えば、図８及び図９に示す調整用直線状被写体１０５のように、画像の中心からずれた位置、すなわち、画像の上辺又は下辺に近い位置において、連結するすべての画像を横切る直線状の被写体が写っていることが望ましい。図８及び図９において、他の直線状被写体２０５は画像の中心付近に配置されているため、画像のつなぎ目において形状の変化が表れにくい。したがって、他の直線状被写体２０５は、画像の連結状態の確認に適さない。

【0059】

図４のステップＳ５において、仮想球体７０の半径値を変更する場合には、入力部１１によって、パラメータＬに新しい半径値を入力する。例えば、ステップＳ４において、図９に示す単一画像２００が表示された場合には、現在のパラメータＬの値が実際の射出瞳距離Ｌよりも短いことを示しているため、現在のパラメータＬの値よりも大きい値を仮想球体７０の半径値として入力する。パラメータＬの値として新しい半径値が入力されると、画像補正用データ記憶部３３は、入力された新しい半径値を記憶し、仮想球体設定部２３は、パラメータＬに入力された新しい半径値に基づいて、座標変換テーブルを更新する。

【0060】

座標変換テーブルが更新されると、再びステップＳ２に戻って更新された座標変換テーブルを用いて画像を補正する。補正された画像はステップＳ３を経てステップＳ４において再び表示される。図８に示すような滑らかに連結された単一画像１００が表示されるまで、新しい半径値の入力、座標変換テーブルの更新を繰り返す（ステップＳ２からステップＳ６をループ処理する）。ステップＳ４において、図８に示すような滑らかに連結された単一画像１００が表示されると、現在の半径値は、実際の射出瞳距離Ｌと一致している適切な値ということになるため、さらなる半径値変更は行わずにステップＳ７に進む。

【0061】

ステップＳ７において、射出瞳位置取得部２１は、画像補正用データ記憶部３３から現在の半径値を読み出すことによって射出瞳距離Ｌを取得し、これにより、実際の射出瞳の位置を得る。

【0062】

図４に示すステップＳ１〜ステップＳ７（仮想球体７０半径値設定シーケンス）を実行することによって、仮想球体７０の半径を、滑らかな連結画像が得られる適切な値に設定することができる。加えて、撮像装置１における実際の射出瞳の位置を知ることができる。

【0063】

図４に示すステップＳ１〜ステップＳ７によって、仮想球体７０の半径値が設定された後、撮像装置１は図４に示すステップＳ１からステップＳ３を実行することによってパノラマ画像を生成する。前述のように、ステップＳ３において、画像連結部６によって複数の画像が連結されて、単一画像が生成される。生成された単一画像は、ブレンディング処理済み画像記憶部３５に記憶される。記憶された単一画像は、出力部１０を介して出力することができる。なお、動画の場合は、動画撮影が終了するまで、ステップＳ１からステップＳ３の処理が連続的に繰り返される。生成した単一画像を例えば、ＡＶＩ形式等で記憶し、動画撮影中又は動画撮影後に、出力部１０を介して出力することもできる。

【0064】

本実施形態に係る撮像装置１によれば、補正された複数の画像が、画像連結部６によって滑らかに連結されたときの仮想球体７０の半径値を記憶する画像補正用データ記憶部３３（仮想球体半径値記憶部）を備えているため、球体投影による補正を行って画像を連結する際の仮想球体７０の適切な半径値を記憶することができる。前述のように、仮想球体７０の適切な半径値は、実機の射出瞳距離Ｌと等しい。したがって、記憶された仮想球体７０の半径値を読み出すことによって実機の射出瞳距離Ｌを知ることができる。このように、撮像装置１によれば、実機における実際の射出瞳位置を測定することができる。

【0065】

加えて、仮想球体７０の半径を画像補正用データ記憶部３３（仮想球体７０半径値記憶部）が記憶した半径値に設定することによって、仮想球体７０の半径を射出瞳距離Ｌと等しくさせる仮想球体設定部２３を備えることから、仮想球体７０の半径値設定が完了した後の撮影において、滑らかに連結した画像を得ることができる。

【0066】

また、画像補正部２２は、複数の球体投影画像を、さらに仮想の円柱周面上にそれぞれ投影して複数の円柱投影画像を取得することによって、撮像した複数の画像を補正している。これにより、球体投影画像を平面展開することができる。

【0067】

画像補正部２２は、補正前の複数の画像の座標と、これに対応する補正後の複数の画像の座標とを保持する座標変換テーブルを用いて、複数の画像を補正している。これにより、画像補正部２２による画像補正を高速に実行することができる。

【0068】

＜他の実施形態＞
以上、本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。例えば、前述の撮像装置１は、パノラマ画像を撮影する多眼カメラとして実現され得るが、これに限定されない。複数の画像を連結してパノラマ画像以外の単一画像を生成してもよい。

【0069】

また、本発明をパノラマ画像又は他の画像の撮影を目的としない射出瞳位置測定装置として実現してもよい。この場合、例えば、撮像光学系１４と撮像素子１５を備える様々な他の実機によって撮像した画像から、射出瞳位置測定装置によって、それぞれの実機における実際の射出瞳位置を導くことができる。各実機における実際の射出瞳位置が測定されることにより、各実機における実際の射出瞳位置を用いた設計開発等を行うことができるようになる。

【0070】

前述の実施形態において、パラメータＬの初期値に、設定値として与えられている射出瞳距離Ｌの値を用いているがこれに限定されず、他の値を用いてもよい。また、図４に示すステップＳ２を初めて実行する際に、座標変換テーブルを新規に作成してもよい。

【0071】

前述の実施形態において、撮像装置１は第１の撮像部２Ａから第３の撮像部２Ｃを備え、３枚の画像を連結しているが、これに限定されない。例えば、２個の撮像部２又は４個以上の撮像部２を備え、２枚又は４枚以上の画像を連結するように構成してもよい。

【0072】

画像連結部６は、生成した単一画像を整形する画像整形部を備えていてもよい。前述のように、撮像装置１において第１の撮像部２Ａから第３の撮像部２Ｃは上下にずれて配置されているため、撮像した画像の上下の位置が厳密には整合しない。したがって、画像整形部によって、上下の不揃いな端部をカットし、単一画像を長方形に整形してもよい。

【符号の説明】

【0073】

１ 撮像装置
２ 撮像部
３ 画像入力部
６ 画像連結部
１４ 撮像光学系
１５ 撮像素子
２１ 射出瞳位置取得部
２３ 仮想球体設定部
２２ 画像補正部
３３ 画像補正用データ記憶部（仮想球体半径値記憶部）
３８ 射出瞳
７０ 仮想球体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】