特許 6793310 映像変換装置および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6793310

(24)【登録日】2020年11月12日

(45)【発行日】2020年12月2日

(54)【発明の名称】映像変換装置および撮像装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20201119BHJP

   H04N 5/232 20060101ALI20201119BHJP

   G06T 3/00 20060101ALI20201119BHJP

【ＦＩ】

   H04N7/18 J

   H04N7/18 K

   H04N5/232 290

   G06T3/00 720

【請求項の数】11

【全頁数】16

(21)【出願番号】特願2017-58373(P2017-58373)

(22)【出願日】2017年3月24日

(65)【公開番号】特開2018-160868(P2018-160868A)

(43)【公開日】2018年10月11日

【審査請求日】2019年12月16日

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100106840

【弁理士】

【氏名又は名称】森田 耕司

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(72)【発明者】

【氏名】三宅 一永

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特表２０１２−５１４５５８（ＪＰ，Ａ）

【文献】 特開２０１１−０９１５２７（ＪＰ，Ａ）

【文献】 特開２０１０−２７３２４５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

入力映像の視点を変換する映像変換装置であって、
前記入力映像の視点から視点を回転させる際の回転角を入手する回転角入手部と、
前記回転角の回転に対応する射影変換行列を算出する射影変換行列算出部と、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成する補正用視点変換テーブル生成部と、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成する映像出力用視点変換テーブル生成部と、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成する視点変換部と、
を備えた映像変換装置。

【請求項2】

前記映像出力用視点変換テーブルは、前記視点変換映像の各座標について、前記視点変換部が該視点変換映像を生成する際に参照すべき前記入力映像の座標が記述された座標テーブルであり、
前記視点変換部は、前記座標テーブルに従って、前記視点変換映像の各座標について前記入力映像の画素値を参照することで前記視点変換映像を生成する、
請求項１に記載の映像変換装置。

【請求項3】

一の仮想回転角に対応する補正用視点変換テーブルは、該仮想回転角で視点を回転させたときの視点変換映像の各座標について、前記視点変換部が該視点変換映像を生成する際に参照すべき前記入力映像の座標が記述された座標テーブルの理想値を、該仮想回転角の回転に対応する射影変換行列の逆行列で射影変換して生成される座標テーブルである、
請求項１または２に記載の映像変換装置。

【請求項4】

前記仮想回転角は、パン成分およびチルト成分から構成される、
請求項１〜３のいずれかに記載の映像変換装置。

【請求項5】

前記記憶部は、｛−Ａ，０，＋Ａ｝から選択されるパン角と、｛−Ｂ，０，＋Ｂ｝から選択されるチルト角との組み合わせからなる９通りの仮想回転角（ただし、Ａ、Ｂはいずれも正の数）にそれぞれ対応する９通りの補正用視点変換テーブルを記憶する、
請求項４に記載の映像変換装置。

【請求項6】

レンズを通った光を撮像素子により電気信号に変換して前記入力映像を生成するカメラ部と、
請求項１〜５のいずれかに記載の映像変換装置と、
を備えた撮像装置。

【請求項7】

前記レンズは、魚眼レンズである、
請求項６に記載の撮像装置。

【請求項8】

前記カメラ部は、車両周辺を撮影して前記入力映像を生成する、
請求項６または７に記載の撮像装置。

【請求項9】

入力映像の視点を変換する処理をコンピュータに実行させる映像変換プログラムであって、
前記入力映像の視点から視点を回転させる際の回転角を入手するステップと、
前記回転角の回転に対応する射影変換行列を算出するステップと、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成するステップと、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成するステップと、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成するステップと、
をコンピュータに実行させる映像変換プログラム。

【請求項10】

請求項９に記載の映像変換プログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項11】

入力映像の視点を変換する映像変換方法であって、
前記入力映像の視点から視点を回転させる際の回転角を入手するステップと、
前記回転角の回転に対応する射影変換行列を算出するステップと、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成するステップと、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成するステップと、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成するステップと、
を備えた映像変換方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力映像の視点を変換する映像変換装置およびその映像変換装置を備えた撮像装置に関する。

【背景技術】

【0002】

近年、車両周辺の状況を撮影する車載カメラの利用が拡大している。このような車載カメラは、自動車の安全運転を支援するために、運転手から死角となる場所を撮影する。カメラの映像を車内のモニタに表示することで、運転手は、車両周辺の様子を確認しながら運転できる。この際、カメラからの入力映像に対して視点変換をすることで、任意の視点から車両周辺を見た映像を生成するとともに、運転状況に応じて運転手が必要とする視点の映像をその都度提示することが行われる（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１２１１１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

図８は、従来の車載カメラにおける映像変換処理を示すフローチャートである。図８に示すように、従来の車載カメラでは、まずカメラ部により車両周辺が撮影されることで入力映像が生成され（ステップＳ１１１）、生成された入力映像がフレームメモリに一次記憶される（ステップＳ１１２）。そして、入力映像に対してレンズ歪を除去する操作が行われ、歪みのない補正映像が作成され（ステップＳ１１３）、作成された補正映像がフレームメモリに一次記憶される（ステップＳ１１４）。そして、補正映像に対して視点変換操作（すなわち、カメラを向けたい方向への射影変換および見やすくするためのワイド、ナローといった歪の付加）が行われ、視点変換映像が生成され（ステップＳ１１５）、生成された視点変換映像がフレームメモリに一次記憶される（ステップＳ１１６）。その後、視点変換映像が液晶ディスプレイなどに出力される（ステップＳ１１７）。

【0005】

ところで、このような車載カメラにおいて、複数のカメラを用いると台数に応じてコストが嵩むことから、一台のカメラでより広い範囲の映像を取得するために、魚眼レンズを使用したカメラの利用が望まれている。しかしながら、上記した従来の映像変換処理では、ステップＳ１１３において一度歪のない映像を作成することから、魚眼レンズを使用する場合には過大なコストがかかってしまう。

【0006】

すなわち、たとえば画角１８０°の映像に対して歪を除去する場合、歪のない映像では、像高ｒと半画角θとの関係が焦点距離ｆを用いてｒ＝ｆｔａｎθという関係が成り立つが、半画角θが９０°付近では上記関係式に当てはめると像高ｒが無限大になってしまう。したがって、ステップＳ１１４において半画角θが９０°付近の位置の歪のない映像を保持するには、膨大な容量のメモリが必要になる。

【0007】

本発明は、このような点を考慮して創案されたものである。本発明の目的は、視点変換演算に必要なメモリの容量を削減できる技術を提供することにある。

【課題を解決するための手段】

【0008】

本発明の一側面に係る映像変換装置は、
入力映像の視点を変換する映像変換装置であって、
前記入力映像の視点から視点を回転させる際の回転角を入手する回転角入手部と、
前記回転角の回転に対応する射影変換行列を算出する射影変換行列算出部と、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成する補正用視点変換テーブル生成部と、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成する映像出力用視点変換テーブル生成部と、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成する視点変換部と、
を備える。

【発明の効果】

【0009】

本発明によれば、視点変換演算に必要なメモリの容量を削減できる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態に係る撮像装置の構成を示すブロック図

【図2】第１の実施形態に係る撮像装置の動作を示すフローチャート

【図3】第１の実施形態に係る撮像装置による視点変換操作を示すフローチャート

【図4】第１の実施形態に係る撮像装置の記憶部に記憶された補正用視点変換テーブルの算出方法を示すフローチャート

【図5】（ａ）入力映像を示す図 （ｂ）視点変換映像を示す図 （ｃ）座標テーブルを示す図

【図6】複数の仮想回転角を説明する図

【図7】（ａ）仮想回転角Ｒ１に対応する座標テーブルを示す図 （ｂ）仮想回転角Ｒ３に対応する座標テーブルを示す図 （ｃ）仮想回転角Ｒ１とＲ３との間の回転角Ｒに対応する補間座標テーブルを示す図

【図8】従来の車載カメラにおける映像変換処理を示すフローチャート

【発明を実施するための形態】

【0011】

実施形態の第１の態様に係る映像変換装置は、
入力映像の視点を変換する映像変換装置であって、
前記入力映像の視点から視点を回転させる際の回転角を入手する回転角入手部と、
前記回転角の回転に対応する射影変換行列を算出する射影変換行列算出部と、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成する補正用視点変換テーブル生成部と、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成する映像出力用視点変換テーブル生成部と、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成する視点変換部と、
を備える。

【0012】

このような態様によれば、入力映像に対して歪を補正した補正映像を作成してメモリに一次記憶させ該補正映像に対して視点変換操作を行うのではなく、視点を回転させたときに生じる歪の誤差込みの映像出力用視点変換テーブルを用意し、該映像出力用視点変換テーブルに基づいて入力映像に対して視点変換操作を行うので、視点変換演算に必要なメモリの容量を削減できる。

【0013】

実施形態の第２の態様に係る映像変換装置は、第１の態様に係る映像変換装置であって、
前記映像出力用視点変換テーブルは、前記視点変換映像の各座標について、前記視点変換部が該視点変換映像を生成する際に参照すべき前記入力映像の座標が記述された座標テーブルであり、
前記視点変換部は、前記座標テーブルに従って、前記視点変換映像の各座標について前記入力映像の画素値を参照することで前記視点変換映像を生成する。

【0014】

実施形態の第３の態様に係る映像変換装置は、第１または２の態様に係る映像変換装置であって、
一の仮想回転角に対応する補正用視点変換テーブルは、該仮想回転角で視点を回転させたときの視点変換映像の各座標について、前記視点変換部が該視点変換映像を生成する際に参照すべき前記入力映像の座標が記述された座標テーブルの理想値を、該仮想回転角の回転に対応する射影変換行列の逆行列で射影変換して生成される座標テーブルである。

【0015】

実施形態の第４の態様に係る映像変換装置は、第１〜３のいずれかの態様に係る映像変換装置であって、
前記仮想回転角は、パン成分およびチルト成分から構成される。

【0016】

実施形態の第５の態様に係る映像変換装置は、第４の態様に係る映像変換装置であって、
前記記憶部は、｛−Ａ，０，＋Ａ｝から選択されるパン角と、｛−Ｂ，０，＋Ｂ｝から選択されるチルト角との組み合わせからなる９通りの仮想回転角（ただし、Ａ、Ｂはいずれも正の数）にそれぞれ対応する９通りの補正用視点変換テーブルを記憶する。

【0017】

実施形態の第６の態様に係る撮像装置は、
レンズを通った光を撮像素子により電気信号に変換して前記入力映像を生成するカメラ部と、
第１〜５のいずれかの態様に係る映像変換装置と、
を備える。

【0018】

実施形態の第７の態様に係る撮像装置は、第６の態様に係る撮像装置であって、
前記レンズは、魚眼レンズである。

【0019】

実施形態の第８の態様に係る撮像装置は、第６または７の態様に係る撮像装置であって、
前記カメラ部は、車両周辺を撮影して前記入力映像を生成する。

【0020】

実施形態の第９の態様に係る映像変換プログラムは、
入力映像の視点を変換する処理をコンピュータに実行させる映像変換プログラムであって、
前記入力映像の視点から視点を回転させる際の回転角を入手するステップと、
前記回転角の回転に対応する射影変換行列を算出するステップと、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成するステップと、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成するステップと、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成するステップと、
をコンピュータに実行させる。

【0021】

実施形態の第１０の態様に係る記録媒体は、第９の態様に係る映像変換プログラムを記録したコンピュータ読み取り可能な記録媒体である。

【0022】

実施形態の第１１の態様に係る映像変換方法は、
入力映像の視点を変換する映像変換方法であって、
前記入力映像の視点から視点を回転させる際の回転角を入手するステップと、
前記回転角の回転に対応する射影変換行列を算出するステップと、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成するステップと、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成するステップと、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成するステップと、
を備える。

【0023】

本明細書中において、映像について「視点」というときは、当該映像がカメラで撮影されたと想定したときのそのカメラの位置および角度を含み、さらにカメラの画角（映像の拡大縮小率）を含んでもよい。

【0024】

以下に、添付の図面を参照して、実施の形態の具体例を詳細に説明する。なお、各図において同等の機能を有する構成要素には同一の符号を付し、同一符号の構成要素の詳しい説明は繰り返さない。

【0025】

（撮像装置の構成）
図１は、第１の実施形態に係る撮像装置１の構成を示すブロック図である。

【0026】

図１に示すように、撮像装置１は、カメラ部１０と、映像変換装置の一例である映像変換部２０と、フレームメモリ３０と、出力部４０と、を有している。まず、撮像装置１の構成要素のうち、映像変換部２０以外の構成要素、すなわち、カメラ部１０、フレームメモリ３０、出力部４０について説明する。

【0027】

カメラ部１０は、たとえば車両の後部や前部、サイドミラーなどに取り付けられる車載カメラであり、車両周辺を撮影することで入力映像を生成する。カメラ部１０は、レンズ１１と、撮像素子１２と、を有している。

【0028】

レンズ１１は、被写体からの光を撮像素子１２に結像する。本実施の形態では、レンズ１１として、魚眼レンズ（超広角レンズともいう）が用いられる。この場合、一台のカメラでより広い範囲の映像を取得することができる。魚眼レンズの画角は、１４０°以上であってもよいし、１８０°以上であってもよいし、２００°以上であってもよい。

【0029】

撮像素子１２は、レンズ１１により結像した像を電気信号に変換して入力映像を生成する。撮像素子１２としては、たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサやＣＭＯＳ（Ｃｏｍｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサなどの固体撮像素子が用いられる。

【0030】

フレームメモリ３０は、カメラ部１０により生成された入力映像を１フレーム分記憶し、映像変換部２０に入力映像を出力するとともに、映像変換部２０により生成される視点変換映像を１フレーム分記憶し、出力部４０に視点変換映像を出力する。

【0031】

出力部４０は、液晶ディスプレイなどの映像表示手段（図示しない）に対するインターフェースであり、フレームメモリ３０に一次記憶された視点変換映像を該映像表示手段に出力する。

【0032】

次に、映像変換部２０について説明する。

【0033】

図１に示すように、映像変換部２０は、回転角入手部２１と、射影変換行列算出部２２と、補正用視点変換テーブル生成部２３と、映像出力用視点変換テーブル生成部２４と、視点変換部２５と、記憶部２６とを有している。

【0034】

回転角入手部２１は、入力映像の視点から視点を回転させる際の回転角Ｒ（パンθｘ、チルトθｙ、ロールθｚ）を入手する。たとえば、車体に対するカメラ部２０の取り付け位置の誤差角度が、工場出荷前に予め測定されて図示しない記憶媒体に予め記憶されており、回転角入手部１２は、車体に対するカメラ部２０の取り付け位置の誤差角度を、回転角Ｒとして該記憶媒体から入手してもよい。また、カメラを向けたい方向がユーザにより図示しない入力部を介して入力された場合には、回転角入手部１２は、ユーザにより入力されたカメラの向きに対応する角度を、回転角Ｒとして該入力部から入手してもよい。

【0035】

射影変換行列算出部２２は、回転角入手部２１が入手した回転角Ｒの回転に対応する射影変換行列Ｒｘｙｚ（Ｒ）を算出する。ここで、回転角Ｒ（パンθｘ、チルトθｙ、ロールθｚ）の回転に対応する射影変換行列Ｒｘｙｚ（Ｒ）は、下式（１）により規定される。

【数1】

【0036】

記憶部２６には、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルＰａｏが予め算出されて記憶されている。

【0037】

本実施の形態では、図６に示すように、記憶部２６には、｛−Ａ，０，＋Ａ｝から選択されるパン角θｘと、｛−Ｂ，０，＋Ｂ｝から選択されるチルト角θｙとの組み合わせからなる９通りの仮想回転角Ｒ１（０，０）、Ｒ２（＋Ａ，０）、Ｒ３（＋Ａ，＋Ｂ）、Ｒ４（０，＋Ｂ）、Ｒ５（−Ａ，＋Ｂ）、Ｒ６（−Ａ，０）、Ｒ７（−Ａ，−Ｂ）、Ｒ８（０，−Ｂ）、Ｒ９（＋Ａ，−Ｂ）（ただし、Ａ、Ｂはいずれも正の数）にそれぞれ対応する、９通りの補正用視点変換テーブルＰａｏ（Ｒ１）…Ｐａｏ（Ｒ９）が記憶されている。なお、Ａ，Ｂは、設計時に予想される回転角の最大値であり、たとえば、回転角Ｒが取付位置の誤差角度の場合には、Ａ，Ｂはいずれも５°程度であればよい。

【0038】

ここで、一の仮想回転角Ｒｍ（ｍ＝１〜９）に対応する補正用視点変換テーブルＰａｏ（Ｒｍ）とは、該仮想回転角Ｒｍで視点を回転させたときの視点変換映像（図５（ｂ）参照）の各座標（ｘ，ｙ）について、後述する視点変換部２５が該視点変換映像を生成する際に参照すべき入力映像（図５（ａ）参照）の座標（ｘ’，ｙ’）が記述された座標テーブル（図５（ｃ）参照）の理想値Ｐａ（Ｒｍ）を、該仮想回転角Ｒｍの回転に対応する射影変換行列Ｒｘｙｚ（Ｒｍ）の逆行列で射影変換して生成される座標テーブルである（Ｐａｏ（Ｒｍ）＝Ｒｘｙｚ（Ｒｍ）^-1Ｐａ（Ｒｍ））。補正用視点変換テーブルＰａｏの算出方法および座標テーブルの理想値Ｐａの算出方法については、後述する。

【0039】

本実施の形態では、カメラ部１０のレンズ１１に魚眼レンズが使用されているため、カメラ部１０のロール方向の回転θｚに対して、入力映像におけるレンズ歪は一定である。そのため、記憶部２６では、ロール角θｚは無視して、パン角θｘとチルト角θｙとの組み合わせからなる複数の仮想回転角Ｒにそれぞれ対応する複数の補正用視点変換テーブルＰａｏが記憶されている。カメラ部１０のレンズ１１として、カメラ部１０のロール方向の回転θｚに対して、入力映像におけるレンズ歪が変化するレンズが使用される場合には、記憶部２６には、パン角θｘとチルト角θｙとロール角θｚとの組み合わせからなる複数の仮想回転角Ｒにそれぞれ対応する複数の補正用視点変換テーブルＰａｏが記憶されていればよい。

【0040】

補正用視点変換テーブル生成部２３は、記憶部２６に記憶された、複数の仮想回転角Ｒ１…Ｒ９）にそれぞれ対応する複数の補正用視点変換テーブルＰａｏ（Ｒ１）…Ｐａｏ（Ｒ９）の間を補間して、回転角入手部２１が入手した回転角Ｒに対応する補正用視点変換テーブルＰａｏ（Ｒ）を生成する。

【0041】

たとえば、回転角入手部２１が入手した回転角Ｒが（＋Ａ／３，＋Ｂ／３）の場合（図６参照）、補正用視点変換テーブル生成部２３は、仮想回転角Ｒ１（０，０）に対応する補正用視点変換テーブルＰａｏ（Ｒ１）（図７（ａ）参照）と、仮想回転角Ｒ３（＋Ａ，＋Ｂ）に対応する補正用視点変換テーブルＰａｏ（Ｒ２）（図７（ｂ）参照）との間を線形補間して、回転角Ｒ（＋Ａ／３，＋Ｂ／３）に対応する補正用視点変換テーブルＰａｏ（Ｒ）（図７（ｃ）参照）を生成する。

【0042】

より詳しくは、仮想回転角Ｒ１（０，０）に対応する補正用視点変換テーブルＰａｏ（Ｒ１）のある座標の参照座標値が（ｘ１、ｙ１）であり、仮想回転角Ｒ１（０，０）に対応する補正用視点変換テーブルＰａｏ（Ｒ１）の同じ座標の参照座標値が（ｘ２、ｙ２）である場合、補正用視点変換テーブル生成部２３は、回転角Ｒ（＋Ａ／３，＋Ｂ／３）に対応する補正用視点変換テーブルＰａｏ（Ｒ）の同じ座標の参照座標値を（ｘ１＋（ｘ２−ｘ１）／３，ｙ１＋（ｙ２−ｙ１）／３）により算出する。補正用視点変換テーブル生成部２３は、補正用視点変換テーブルＰａｏの各座標について同様の計算を実行することで、回転角Ｒ（＋Ａ／３，＋Ｂ／３）に対応する補正用視点変換テーブルＰａｏ（Ｒ）を生成する。

【0043】

映像出力用視点変換テーブル生成部２４は、回転角入手部２１が入手した回転角Ｒに対応する補正用視点変換テーブルＰａｏ（Ｒ）を、回転角入手部２１が入手した回転角の回転に対応する射影変換行列Ｒｘｙｚ（Ｒ）で射影変換して、映像出力用視点変換テーブルＰを生成する（Ｐ＝Ｒｘｙｚ（Ｒ）Ｐａｏ（Ｒ））。

【0044】

ここで、映像出力用視点変換テーブルＰとは、視点変換映像（図５（ｂ）参照）の各座標について、後述する視点変換部２５が該視点変換映像を生成する際に参照すべき入力映像（図５（ａ）参照）の座標が記述された座標テーブル（図５（ｃ）参照）である。

【0045】

視点変換部２５は、映像出力用視点変換テーブルＰに基づいて、入力映像を変換して視点変換映像を生成する。より詳しくは、視点変換部２５は、映像出力用視点変換テーブルＰ（図５（ｃ）参照）に従って、視点変換映像（図５（ｂ）参照）の各座標について入力映像（図５（ａ）参照）の画素値を参照することで、視点変換映像を生成する。

【0046】

（撮像装置の動作）
次に、図２および図３を参照し、第１の実施形態に係る撮像装置１の動作について説明する。図２は、第１の実施形態に係る撮像装置１の動作を示すフローチャートである。図３は、第１の実施形態に係る撮像装置１による視点変換操作を示すフローチャートである。

【0047】

図２に示すように、まず、カメラ部１１により被写体（たとえば車両周辺）が撮影され、入力映像が生成される（ステップＳ１１）。生成された入力映像は、フレームメモリ３０に一次記憶される（ステップＳ１２）。

【0048】

次に、映像変換部２０により入力映像に対して視点変換操作が行われ、視点変換映像が生成される（ステップＳ１３）。

【0049】

より詳しくは、図３に示すように、回転角入手部２１が、入力映像の視点から視点を回転させる際の回転角Ｒ（パンθｘ、チルトθｙ、ロールθｚ）を入手する（ステップＳ２１）。

【0050】

次に、射影変換行列算出部２２が、回転角入手部２１により入手された回転角Ｒの回転に対応する射影変換行列Ｒｘｙｚ（Ｒ）を算出する（ステップＳ２２）。

【0051】

また、補正用視点変換テーブル生成部２３が、記憶部２６に記憶された、複数の仮想回転角Ｒ１…Ｒ９にそれぞれ対応する複数の補正用視点変換テーブルＰａｏ（Ｒ１）…Ｐａｏ（Ｒ９）の間を補間して、回転角入手部２１により入手された回転角Ｒに対応する補正用視点変換テーブルＰａｏ（Ｒ）を生成する（ステップＳ２３）。

【0052】

次に、映像出力用視点変換テーブル生成部２４が、補正用視点変換テーブル生成部２３により生成された、回転角Ｒに対応する補正用視点変換テーブルＰａｏ（Ｒ）を、射影変換行列算出部２２により算出された、回転角Ｒの回転に対応する射影変換行列Ｒｘｙｚで射影変換して、映像出力用視点変換テーブルＰを生成する（ステップＳ２４）。

【0053】

次に、視点変換部２５が、映像出力用視点変換テーブル生成部２４により生成された映像出力用視点変換テーブルＰに基づいて、入力映像を変換して視点変換映像を生成する（ステップＳ２５）。より詳しくは、視点変換部２５は、映像出力用視点変換テーブルＰ（図５（ｃ）参照）に従って、視点変換映像（図５（ｂ）参照）の各座標について入力映像（図５（ａ）参照）の画素値を参照することで、視点変換映像を生成する。

【0054】

次に、図１に示すように、生成された視点変換映像が、フレームメモリ３０に一次記憶される（ステップＳ１４）。その後、出力部４０により、視点変換映像が液晶ディスプレイなどの映像表示手段に出力される（ステップＳ１５）。

【0055】

ところで、上記したように従来の車載カメラでは、図８を参照し、カメラ部により生成された入力映像に対してレンズ歪を除去する操作が行われ、歪みのない補正映像が作成され（ステップＳ１１３）、作成された補正映像がフレームメモリに一次記憶されたのち（ステップＳ１１４）、補正映像に対して視点変換操作が行われることで、視点変換映像が生成される（ステップＳ１１５）。ここで、ステップＳ１１３において一度歪のない映像を作成することから、魚眼レンズを使用する場合には過大なコストがかかってしまう。すなわち、たとえば画角１８０°の映像に対して歪を除去する場合、歪のない映像では、像高ｒと半画角θとの関係が焦点距離ｆを用いてｒ＝ｆｔａｎθという関係が成り立つが、半画角θが９０°付近では上記関係式に当てはめると像高ｒが無限大になってしまう。したがって、ステップＳ１１４において半画角θが９０°付近の位置の歪のない映像を保持するには、膨大な容量のメモリが必要になる。

【0056】

これに対し、本実施の形態によれば、入力映像に対して歪を補正した補正映像を作成してメモリに一次記憶させ該補正映像に対して視点変換操作を行うのではなく、視点を回転させたときに生じる歪の誤差込みの映像出力用視点変換テーブルＰを用意し（ステップＳ２１〜Ｓ２４）、該映像出力用視点変換テーブルＰに基づいて入力映像に対して視点変換操作を行うので（ステップＳ２５）、視点変換演算に必要なメモリの容量を大幅に削減することができる。

【0057】

（補正用視点変換テーブルＰａｏの算出）
次に、図４を参照し、記憶部２６に記憶される、複数の仮想回転角Ｒｍにそれぞれ対応する複数の補正用視点変換テーブルＰａｏ（Ｒｍ）の算出方法を説明する。なお、以下の説明では、補正用視点変換テーブルＰａｏ（Ｒｍ）がコンピュータにより自動的に算出される方法を説明するが、該方法の一部または全部は作業者により手動で行われてもよい。

【0058】

まず、コンピュータは、視点の回転無しの視点変換テーブル（すなわち、ワイド、ナローといった画角変換のみを行う際の視点変換テーブル）を入手する（ステップＳ３１）。

【0059】

次に、コンピュータは、対象とする仮想回転角Ｒｍを選択する（ステップＳ３２）。たとえば、コンピュータは、｛−Ａ，０，＋Ａ｝から選択されるパン角θｘと、｛−Ｂ，０，＋Ｂ｝から選択されるチルト角θｙとの組み合わせからなる９通りの仮想回転角Ｒ１（０，０）、Ｒ２（＋Ａ，０）、Ｒ３（＋Ａ，＋Ｂ）、Ｒ４（０，＋Ｂ）、Ｒ５（−Ａ，＋Ｂ）、Ｒ６（−Ａ，０）、Ｒ７（−Ａ，−Ｂ）、Ｒ８（０，−Ｂ）、Ｒ９（＋Ａ，−Ｂ）（ただし、Ａ、Ｂはいずれも正の数）から、１つの仮想回転角Ｒｍを選択する。

【0060】

次に、コンピュータは、選択した仮想回転角Ｒｍに対応する射影変換行列Ｒｘｙｚ（Ｒｍ）を算出する（ステップＳ３３）。

【0061】

次に、コンピュータは、後述する視点変換テーブルの理想値Ｐａの算出方法に従って、選択した仮想回転角Ｒｍで視点を回転したときの視点変換テーブルの理想値Ｐａ（Ｒｍ）を算出する（ステップＳ３４）。

【0062】

次に、コンピュータは、算出した視点変換テーブルの理想値（Ｒｍ）を、算出した射影変換行列Ｒｘｙｚ（Ｒｍ）の逆行列で射影変換することで、選択した仮想回転角Ｒｍに対応する補正用視点変換テーブルＰａｏ（Ｒｍ）を生成する（Ｐａｏ（Ｒｍ）＝Ｒｘｙｚ（Ｒｍ）^-1Ｐａ（Ｒｍ））（ステップＳ３５）。生成された補正用視点変換テーブルＰａｏ（Ｒｍ）は、対応する仮想回転角Ｒｍに紐づけられた態様で記憶部２６に記憶される。

【0063】

次に、コンピュータは、９通りの仮想回転角Ｒ１…Ｒ９の中に未選択の仮想回転角Ｒｍ（すなわち、対応する補正用視点変換テーブルＰａｏがまだ生成されていない仮想回転角Ｒｍ）があるか否かを判断する（ステップＳ３６）。

【0064】

未選択の仮想回転角Ｒｍがあると判断された場合には、コンピュータは、ステップＳ３２から処理をやり直す（ステップＳ３６：ＹＥＳ）。一方、未選択の仮想回転角Ｒｍが無いと判断された場合には、コンピュータは、補正用視点変換テーブルＰａｏ（Ｒｍ）の算出に係る処理を終了する。

【0065】

（視点変換テーブルの理想値Ｐａの算出）
次に、視点変換テーブルの理想値Ｐａを算出する方法について説明する。

【0066】

まず、撮像画像上の座標（ｘｓ，ｙｓ）を、一度レンズの中心から一定の距離にある三次元上の点（ｘｃ，ｙｃ，ｚｃ）（すなわち球面上の点）に投影してから、回転を加える。

【0067】

すなわち、レンズ歪は、テーブルを使って算出してもよいが、ここではレンズが、半画角θ、像高ｒのときにｒ＝ｆθ（ｆは焦点距離）となる歪を持っているとすると、像高ｒは、下式（２）から算出できるので、半画角θは、下式（３）になる。

【数2】

【数3】

【0068】

また、撮像画像上の座標（ｘｓ，ｙｓ）の回転角φは、下式（４）で表現できるので、下式（５）から回転角φを算出できる。

【数4】

【数5】

【0069】

これら、半画角θ、回転角φの方向にある、レンズ中心からの距離１の三次元上の座標（ｘｃ，ｙｃ，ｚｃ）は、下式（６）から算出できる。

【数6】

【0070】

三次元上の座標（ｘｃ，ｙｃ，ｚｃ）を回転行列Ｒｘｙｚで回転させた後の座標（Ｘｃ，Ｙｃ，Ｚｃ）は、下式（７）になる。

【数7】

【0071】

回転後の座標（Ｘｃ，Ｙｃ，Ｚｃ）に対して、レンズ歪みを加えた撮像画像上の座標（Ｘｄ，Ｙｘ）を、以下の手順で算出する。これにより、レンズ歪を考慮した回転を行うことができる。

【0072】

すなわち、回転後の座標（Ｘｃ，Ｙｃ，Ｚｃ）から、半画角θ、回転角φとすると、下式（８）および下式（９）が成り立つ。

【数8】

【数9】

【0073】

よって、下式（１０）および下式（１１）が成り立つ。

【数10】

【数11】

【0074】

レンズ歪の式ｒ＝ｆθから、レンズ歪を加えた撮像画像上の座標（Ｘｄ，Ｙｄ）は、下式（１２）から算出できる。

【数12】

【0075】

上記手法により、撮像画像上の各座標（ｘｓ、ｙｓ）について、回転行列Ｒｘｙｚで視点を回転させた後の撮像画像上の座標（Ｘｄ，Ｙｄ）の理想値を求めることができる。したがって、視点変換映像の各座標（Ｘｄ，Ｙｄ）について、視点変換前の座標（ｘｓ，ｙｓ）を逆に求めることで、視点変換テーブルの理想値Ｐａが算出される。

【符号の説明】

【0076】

１ 撮像装置
１０ カメラ部
１１ レンズ
１２ 撮像素子
２０ 映像変換部
２１ 回転角入手部
２２ 射影変換行列算出部
２３ 補正用視点変換テーブル生成部
２４ 映像出力用視点変換テーブル生成部
２５ 視点変換部
２６ 記憶部
３０ フレームメモリ
４０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】