特許 5834712 画像生成装置、画像生成方法、画像生成装置用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5834712

(24)【登録日】2015年11月13日

(45)【発行日】2015年12月24日

(54)【発明の名称】画像生成装置、画像生成方法、画像生成装置用プログラム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20151203BHJP

   G06T 15/20 20110101ALI20151203BHJP

   H04N 13/00 20060101ALI20151203BHJP

【ＦＩ】

   G06T3/00 770

   G06T15/20 500

   H04N13/00 110

【請求項の数】7

【全頁数】19

(21)【出願番号】特願2011-215079(P2011-215079)

(22)【出願日】2011年9月29日

(65)【公開番号】特開2013-77050(P2013-77050A)

(43)【公開日】2013年4月25日

【審査請求日】2014年7月29日

(73)【特許権者】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】110000958

【氏名又は名称】特許業務法人 インテクト国際特許事務所

(74)【代理人】

【識別番号】100083839

【弁理士】

【氏名又は名称】石川 泰男

(74)【代理人】

【識別番号】100120189

【弁理士】

【氏名又は名称】奥 和幸

(72)【発明者】

【氏名】包 躍

(72)【発明者】

【氏名】筬島 敏光

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１０−２７８９８９（ＪＰ，Ａ）

【文献】 特開平０７−０４９９４４（ＪＰ，Ａ）

【文献】 特公平０６−１０１０２４（ＪＰ，Ｂ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００− ３／６０

Ｇ０６Ｔ １５／００−１９／２０

Ｈ０４Ｎ １３／００−１５／００

(57)【特許請求の範囲】

【請求項1】

複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段と、
前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段と、
前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段と、
前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段と、
前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段と、
前記第１位置と第２位置との間に第３位置を設定する位置設定手段と、
前記第１位置および第２位置に対する前記第３位置の位置関係と前記視差ベクトルとに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成手段と、
を備え、
前記色相変換手段が、前記色相を当該色相の値の範囲に応じてグループに分類し、前記グループに対するインデックスを色相の値とした前記色相の画像に変換し、
前記特徴点抽出手段は、前記第１位置と第２位置とを結ぶ方向を、前記第１画像および第２画像の各画像のスキャン方向とし、前記色相の変化が生じた箇所を前記特徴点として抽出し、
前記対応点探索手段は、前記スキャン方向に従って順に出現する前記特徴点を各々順序付けし、当該特徴点の位置において、色相変換前の元画像についての照合を行うことで順次対応する特徴点を探索することを特徴とする画像生成装置。

【請求項2】

請求項１に記載の画像生成装置において、
前記画像生成手段が、前記第３画像における前記対応する特徴点の位置を、前記第３位置の位置関係に対応する比率と前記視差ベクトルとから決定することを特徴とする画像生成装置。

【請求項3】

請求項１または請求項２に記載の画像生成装置において、
前記画像生成手段が、前記視差ベクトルに従い、前記第１位置および第２位置のうち前記第３位置に近い方の位置の前記第１画像または第２画像の画素の情報を用いて第３画像を生成することを特徴とする画像生成装置。

【請求項4】

請求項３に記載の画像生成装置において、
前記画像生成手段が、前記視差ベクトルに従った画素が無い場合、前記第１位置および第２位置のうち前記第３位置から遠い方の位置の前記第１画像または第２画像の画素の情報を用いて第３画像を生成することを特徴とする画像生成装置。

【請求項5】

請求項１から４のいずれか１項に記載の画像生成装置において、
前記位置設定手段が、複数の第３位置を設定し、
前記画像生成手段が、複数の第３画像を生成することを特徴とする画像生成装置。

【請求項6】

画像生成装置が、画像を生成する画像生成方法であって、
複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力ステップと、
前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換ステップと、
前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出ステップと、
前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索ステップと、
前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出ステップと、
前記第１位置と第２位置との間に第３位置を設定する位置設定ステップと、
前記第１位置および第２位置に対する前記第３位置の位置関係と前記視差ベクトルとに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成ステップと、
を有し、
前記色相変換ステップにおいて、前記色相を当該色相の値の範囲に応じてグループに分類し、前記グループに対するインデックスを色相の値とした前記色相の画像に変換し、
前記特徴点抽出ステップにおいて、前記第１位置と第２位置とを結ぶ方向を、前記第１画像および第２画像の各画像のスキャン方向とし、前記色相の変化が生じた箇所を前記特徴点として抽出し、
前記対応点探索ステップにおいて、前記スキャン方向に従って順に出現する前記特徴点を各々順序付けし、当該特徴点の位置において、色相変換前の元画像についての照合を行うことで順次対応する特徴点を探索することを特徴とする画像生成方法。

【請求項7】

コンピュータを、
複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段、
前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段、
前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段、
前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段、
前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段、
前記第１位置と第２位置との間に第３位置を設定する位置設定手段、および、前記第１位置および第２位置に対する前記第３位置の位置関係と前記視差ベクトルとに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成手段として機能させ、
前記色相変換手段は、前記色相を当該色相の値の範囲に応じてグループに分類し、前記グループに対するインデックスを色相の値とした前記色相の画像に変換し、
前記特徴点抽出手段は、前記第１位置と第２位置とを結ぶ方向を、前記第１画像および第２画像の各画像のスキャン方向とし、前記色相の変化が生じた箇所を前記特徴点として抽出し、
前記対応点探索手段は、前記スキャン方向に従って順に出現する前記特徴点を各々順序付けし、当該特徴点の位置において、色相変換前の元画像についての照合を行うことで順次対応する特徴点を探索する画像生成装置用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、立体画像用の画像を生成する画像生成装置、画像生成方法、画像生成装置用プログラムに関する。

【背景技術】

【0002】

従来、臨場感のある裸眼式立体視を可能とするため、２つのカメラを用いて撮影された２つの画像（ステレオ画像）を用いて、２つのカメラの間の位置から撮像された場合の中間画像を生成して多眼化することが行われている。例えば、特許文献１には、被写体の映像を結像する第１結像レンズ部と、第１撮影素子と、を有する第１画像取得部と、第２結像レンズ部と、これによって結像された映像を受ける複数のレンズがアレイ状に配列された第１レンズアレイ部と、第２撮影素子と、を有する第２画像取得部とを備え、第２画像取得部は、第１画像取得部に対して被写体から見て水平方向に離れて配置される立体映像撮影装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−７８７６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、先行技術では、複数のレンズがアレイ状に配列された特殊なカメラを使用しており、当カメラは製造が難しいカメラで、設備のコストが高く実現が困難である。さらに、先行技術では、画素の相関が高い物体のクラスタリングを行う必要があったり、描画する際、奥から描画する必要があるため、奥行き方向でのソートの処理が必要であったりするため、演算量が増加していた。

【0005】

そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、低コストで、より少ない演算量で画像を生成する画像生成装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、請求項１に記載の発明は、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段と、前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段と、前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段と、前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段と、前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段と、前記第１位置と第２位置との間に第３位置を設定する位置設定手段と、前記第１位置および第２位置に対する前記第３位置の位置関係と前記視差ベクトルとに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成手段と、を備え、前記色相変換手段が、前記色相を当該色相の値の範囲に応じてグループに分類し、前記グループに対するインデックスを色相の値とした前記色相の画像に変換し、前記特徴点抽出手段は、前記第１位置と第２位置とを結ぶ方向を、前記第１画像および第２画像の各画像のスキャン方向とし、前記色相の変化が生じた箇所を前記特徴点として抽出し、前記対応点探索手段は、前記スキャン方向に従って順に出現する前記特徴点を各々順序付けし、当該特徴点の位置において、色相変換前の元画像についての照合を行うことで順次対応する特徴点を探索することを特徴とする。

【0010】

また、請求項２に記載の発明は、請求項１に記載の画像生成装置において、前記画像生成手段が、前記第３画像における前記対応する特徴点の位置を、前記第３位置の位置関係に対応する比率と前記視差ベクトルとから決定することを特徴とする。

【0011】

また、請求項３に記載の発明は、請求項１または請求項２に記載の画像生成装置において、前記画像生成手段が、前記視差ベクトルに従い、前記第１位置および第２位置のうち前記第３位置に近い方の位置の前記第１画像または第２画像の画素の情報を用いて第３画像を生成することを特徴とする。

【0012】

また、請求項４に記載の発明は、請求項３に記載の画像生成装置において、前記画像生成手段が、前記視差ベクトルに従った画素が無い場合、前記第１位置および第２位置のうち前記第３位置から遠い方の位置の前記第１画像または第２画像の画素の情報を用いて第３画像を生成することを特徴とする。

【0013】

また、請求項５に記載の発明は、請求項１から４のいずれか１項に記載の画像生成装置において、前記位置設定手段が、複数の第３位置を設定し、前記画像生成手段が、複数の第３画像を生成することを特徴とする。

【0014】

また、請求項６に記載の発明は、画像生成装置が、画像を生成する画像生成方法であって、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力ステップと、前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換ステップと、前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出ステップと、前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索ステップと、前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出ステップと、前記第１位置と第２位置との間に第３位置を設定する位置設定ステップと、前記第１位置および第２位置に対する前記第３位置の位置関係と前記視差ベクトルとに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成ステップと、を有し、前記色相変換ステップにおいて、前記色相を当該色相の値の範囲に応じてグループに分類し、前記グループに対するインデックスを色相の値とした前記色相の画像に変換し、前記特徴点抽出ステップにおいて、前記第１位置と第２位置とを結ぶ方向を、前記第１画像および第２画像の各画像のスキャン方向とし、前記色相の変化が生じた箇所を前記特徴点として抽出し、前記対応点探索ステップにおいて、前記スキャン方向に従って順に出現する前記特徴点を各々順序付けし、当該特徴点の位置において、色相変換前の元画像についての照合を行うことで順次対応する特徴点を探索することを特徴とする。

【0015】

また、請求項７に記載の発明は、コンピュータを、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段、前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段、前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段、前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段、前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段、前記第１位置と第２位置との間に第３位置を設定する位置設定手段、および、前記第１位置および第２位置に対する前記第３位置の位置関係と前記視差ベクトルとに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成手段として機能させ、前記色相変換手段は、前記色相を当該色相の値の範囲に応じてグループに分類し、前記グループに対するインデックスを色相の値とした前記色相の画像に変換し、前記特徴点抽出手段は、前記第１位置と第２位置とを結ぶ方向を、前記第１画像および第２画像の各画像のスキャン方向とし、前記色相の変化が生じた箇所を前記特徴点として抽出し、前記対応点探索手段は、前記スキャン方向に従って順に出現する前記特徴点を各々順序付けし、当該特徴点の位置において、色相変換前の元画像についての照合を行うことで順次対応する特徴点を探索する。

【発明の効果】

【0016】

本発明によれば、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付け、第１画像および第２画像の各画素の色相を求める色相変換を行い、色相変換された第１画像および第２画像から、第１画像および第２画像の特徴点を抽出し、第１画像と第２画像とにおいて対応する特徴点を求め、対応する特徴点の間の距離を有する視差ベクトルを算出し、第１位置と第２位置との間に第３位置を設定し、第１位置および第２位置に対する第３位置の位置関係と視差ベクトルとに従い、第１画像と第２画像とから、第３位置から撮像された場合の第３画像を生成することにより、特殊なカメラは使用せず、奥行き情報無しに、第３位置の位置関係と視差ベクトルとに従い、特徴点間の画像データを描画するので、低コストで、より少ない演算量で画像を生成することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態に係る画像生成システムの概要構成例を示すブロック図である。

【図2】図１の画像生成の概要構成の一例を示すブロック図である。

【図3】図１の撮像装置の位置と、仮想的な撮像装置の位置との位置関係の一例を示す模式図である。

【図4】図１の画像生成装置の動作例を示すフローチャートである。

【図5】図１の撮像装置により撮像された画像の一例を示す模式図である。

【図6】撮像された画像に対するスキャン方向の一例を示す模式図である。

【図7】色相で領域分類し、インデックス化されたラインデータの一例を示す模式図である。

【図8】色相変換された画像の一例を示す模式図である。

【図9】撮像された画像の特徴点（基準点）および視差ベクトルの一例を示す模式図である。

【図10】撮像された画像の基準点、および、仮想的な撮像装置から撮像された場合の画像の基準点の一例を示す模式図である。

【図11】基準点周りの画素値の関係性の一例を示す模式図である。

【図12】基準点周りの画素値の関係性の一例を示す模式図である。

【発明を実施するための形態】

【0018】

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像生成システムに対して本発明を適用した場合の実施形態である。

【0019】

［１．画像生成システムの構成および機能の概要］
（１．１ 画像生成システム１の構成および機能）

【0020】

まず、本発明の一実施形態に係る画像生成システムの構成および概要機能について、図１を用いて説明する。

【0021】

図１は、本実施形態に係る画像生成システム１の概要構成例を示すブロック図である。

【0022】

図１に示すように、画像生成システム１は、所定の位置で撮像された被写体５の画像から仮想位置から撮像した場合の画像を生成する画像生成装置１０と、所定の位置で被写体５を撮像する撮像装置（撮像手段の一例）２０と、を備えている。

【0023】

画像生成装置１０は、撮像装置２０により撮像された複数の画像の画像データの入力を受け付ける画像入力手段１０ａと、ＲＧＢ信号の画像データから各画素の色相を求める変換を行う色相変換手段１０ｂと、色相変換された画像データから、画像の特徴点を抽出する特徴点抽出手段１０ｃと、画像間で対応する特徴点を求める対応点探索手段１０ｄと、対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段１０ｅと、仮想位置を設定する位置設定手段１０ｆと、仮想位置で撮像された画像を生成する画像生成手段１０ｇと、生成された画像を表示する表示部１３と、を有する。

【0024】

撮像装置２０は、撮像手段の一例である左目用の撮像装置２０ａと、右目用の撮像装置２０ｂとを有し、ステレオカメラを構成する。被写体５に対して、例えば、水平方向に、撮像装置２０ａと、撮像装置２０ｂとは、所定の距離を置いて設置される。撮像装置２０ａが設置される位置が、第１位置の一例であり、撮像装置２０ｂが設置される位置が、第２位置の一例である。撮像装置２０ａ、２０ｂは、静止画を撮像するスチルカメラ、または、動画を撮像するビデオカメラであり、解像度や、色の階調等に関して同一の性能を有する。撮像装置２０ａ、２０ｂの出力は、デジタル出力であるが、アナログ出力の撮像装置の場合は、Ａ／Ｄ変換器を有し、デジタル信号を出力する。

【0025】

撮像装置２０ａは、被写体５を左寄りから撮影し、左目用の画像（第１位置で撮像された第１画像の一例）を出力する。撮像装置２０ｂは、被写体５を右寄りから撮影し、右目用の画像（第２位置で撮像された第２画像の一例）を出力する。

【0026】

撮像装置２０ａおよび撮像装置２０ｂは、画像生成装置１０の画像入力手段１０ａに接続される。

【0027】

（１．２ 画像生成装置１０の構成および機能）
次に、画像生成装置１０の構成および機能について、図２を用いて説明する。
図２は、画像生成装置１０の概要構成の一例を示すブロック図である。

【0028】

図２に示すように、画像生成装置１０は、例えば、パーソナルコンピュータやサーバ装置等であり、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、入出力インターフェース部１５と、システム制御部１６とを備えている。そして、システム制御部１６と入出力インターフェース部１５とは、システムバス１７を介して接続されている。

【0029】

通信部１１は、画像生成装置１０の外部等とのデータや信号の送受信を行う。例えば、ネットワーク接続に使用される。

【0030】

記憶部１２は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム、制御用のプログラムや画像処理用のプログラム等を記憶する。

【0031】

表示部１３は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。表示部１３には、撮像装置２０により撮像された被写体５の画像や、生成された画像が表示される。

【0032】

操作部１４は、例えば、キーボードおよびマウス等によって構成されている。

【0033】

入出力インターフェース部１５は、撮像装置２０ａおよび撮像装置２０ｂの出力端に直接接続される部分で、画像入力手段１０ａの機能を実現するインターフェースである。撮像装置２０（２０ａ、２０ｂ）、通信部１１および記憶部１２とシステム制御部１６とのインターフェースである。

【0034】

システム制御部１６は、例えば、ＣＰＵ１６ａと、ＲＯＭ１６ｂと、ＲＡＭ１６ｃとを有する。システム制御部１６は、ＣＰＵ１６ａが、ＲＯＭ１６ｂや、ＲＡＭ１６ｃや、記憶部１２に記憶された各種プログラムを読み出して実行する。例えば、システム制御部１６は、画像処理のプログラムを実行し、色相変換手段１０ｂ、特徴点抽出手段１０ｃ、対応点探索手段１０ｄ、視差ベクトル算出手段１０ｅ、位置設定手段１０ｆ、画像生成手段１０ｇ等の機能を実現する。

【0035】

（１．３ 仮想的な撮像装置の位置）
次に、仮想的な撮像装置の位置（仮想位置）について図３を用いて説明する。
図３は、撮像装置２０ａ、２０ｂの位置と、仮想的な撮像装置の位置との位置関係の一例を示す模式図である。

【0036】

図３に示すように、撮像装置２０ａと撮像装置２０ｂとは、ｘ方向（例えば水平方向）に距離Ｌで設置されている。撮像装置２０ａと撮像装置２０ｂと間に、仮想的な撮像装置２５が３台設定される。撮像装置２５ａ、撮像装置２５ｂ、および、撮像装置２５ｃは等間隔に設定される。撮像装置２０ａの設置位置の第１位置０を基準として、撮像装置２０ｂの設置位置の第２位置Ｌとすると、第３位置の一例として、撮像装置２５ａの場合、位置Ｌ／４、撮像装置２５ｂの場合、位置Ｌ／２、撮像装置２５ｃの場合、位置３Ｌ／４が設定される。ここで、仮想的な撮像装置２５により撮像された場合の画像を中間視差画像（第３画像の一例）とする。

【0037】

［２．画像生成システムの動作］
次に、本発明の１実施形態に係る画像生成システムの動作について図４から図１２を用いて説明する。
図４は、画像生成装置１０の動作例を示すフローチャートである。図５は、撮像装置２０により撮像された画像の一例を示す模式図である。図６は、撮像された画像に対するスキャン方向の一例を示す模式図である。図７は、クラスタリングされインデックス化されたラインデータの一例を示す模式図である。図８は、色相変換された画像の一例を示す模式図である。図９は、撮像された画像の特徴点（基準点）および視差ベクトルの一例を示す模式図である。図１０は、撮像された画像の基準点、および、仮想的な撮像装置から撮像された場合の画像の基準点の一例を示す模式図である。図１１および図１２は、基準点周りの画素値の関係性の一例を示す模式図である。

【0038】

ここで、中間視差画像を生成方法の原理について簡単に説明する。
本提案手法では中間視差画像を生成する上で、画素値を算出して補間をするのでは無く、視点の移動による物体の移動距離を用いることにより、画像間の動きの軌跡を逆にたどり、２枚の元画像３０ａ、３０ｂに存在する画素のみを用いて中間視差画像を生成する。

【0039】

また、２枚の元画像３０ａ、３０ｂから互いに対応する特徴点を抽出し、特徴点から視差ベクトルを算出する。そして、生成される中間視差画像において、元画像の特徴点と近似した値の画素は、必ず特徴点間に存在すると考えられる。例えば、図３に示すように等間隔で仮想的な撮像装置２５ａ、２５ｂ、２５ｃが設置されているとすると、移動距離（視差ベクトルの長さ）を４で割ることにより位置関係が求まり、中間視差画像における特徴点と等しい値の画素がどのような間隔で配置されているかがわかる。そのため、中間視差画像において元画像３０ａ、３０ｂの特徴点に対応する基準点が、位置関係と視差ベクトルとに従い求まる。この基準点の周りに画素配置をしていくことにより、中間視差画像を生成することができる。なお、基準点は、第３画像における対応する特徴点の一例である。

【0040】

まず、画像生成システムの動作として、画像生成装置１０のシステム制御部１６は、図３に示すように、第３位置の一例として、仮想的な撮像装置２５ａ、２５ｂ、２５ｃの位置（例えば、Ｌ／４、Ｌ／２、３Ｌ／４）を予め設定しておく。このように画像生成装置１０のシステム制御部１６は、第１位置と第２位置との間に第３位置を設定する位置設定手段１０ｆの一例として機能する。

【0041】

そして、画像生成装置１０のシステム制御部１６は、仮想的な撮像装置２５ａ、２５ｂ、２５ｃの位置に応じた中間視差画像を生成するための記憶領域を、記憶部１２に予め設定しておく。

【0042】

次に、図４に示すように、画像生成装置１０は、左右の画像の入力を受け付ける（ステップＳ１）。具体的には、画像生成装置１０のシステム制御部１６は、図５に示すように、被写体５を左側から撮像した画像３０ａ（第１画像の一例）を、撮像装置２０ａから受け付け、右側から撮像した画像３０ｂ（第２画像の一例）を、撮像装置２０ｂから受け付ける。画像３０ａは、撮像装置２０ａの位置（第１位置の一例）から撮像した画像であり、画像３０ｂは、撮像装置２０ｂの位置（第２位置の一例）から撮像した画像である。なお、画像のデータは、ＲＧＢ信号のデータである。このように、画像生成装置１０のシステム制御部は、複数の撮像手段により第１位置から撮像された第１画像と、第２位置から撮像された第２画像との入力を受け付ける画像入力手段１０ａの一例として機能する。

【0043】

次に、画像生成装置１０は、各画像の１ライン分の画像データを取得する（ステップＳ２）。具体的には、画像生成装置１０のシステム制御部１６は、図６に示すよう、撮像された各画像３０ａ、３０ｂをｘ方向にスキャンして１ライン分の画像データを取得する。なお、スキャン方向のｘ方向は、第１位置と第２位置とを結ぶ方向の一例である。

【0044】

次に、画像生成装置１０は、ＲＧＢ信号に対してＨＳＶ変換を行う（ステップＳ３）。具体的には、画像生成装置１０のシステム制御部１６は、下記の式に従い、ＲＧＢ信号の各画像のデータの１ライン分の各画素に対して、各画素の色相Ｍｘｙを求める。

【数1】

【0045】

ここで、ＲＧＢ信号の画像のデータにおけるＲ、Ｇ、Ｂの各値は、０．０を最小量、１．０を最大値とする０．０から１．０の範囲とする。Ｒ、Ｇ、Ｂの三つの値の内、最大のものをＭＡＸ、最小のものをＭＩＮをとする。なお、Ｒ＝Ｇ＝Ｂ（黒、白、グレー）の時は、Ｍｘｙは計算せず、特定の値を割り当てる。このように画像生成装置１０のシステム制御部１６は、第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段１０ｂの一例として機能する。

【0046】

次に、画像生成装置１０は、色相のグルーピングを行う（ステップＳ４）。具体的には、画像生成装置１０のシステム制御部１６は、色相Ｍｘｙの値をグループ化することによりセグメント化して、各点におけるＭｘｙを求め、色相のグルーピングを行う。ＭｘｙをグルーピングしたものをＡｘｙと定義する。

【数2】

【0047】

この例では、色相のグルーピングのグループ数は６としている。加えて、Ｒ＝Ｇ＝Ｂ（黒、白、グレー）のように、色以外のグループがあるので、合計で７グループとなる。そして、図７に示すように、各画像３０ａ、３０ｂにおいて、ＨＳＶ変換されたラインデータには、クラスタのインデックス情報が入力される。インデックスは、０〜６までの数値とする。Ｒ＝Ｇ＝Ｂのように色以外に対して”０”を、グループＨＹに対して”１”を、グループＨＧに対して”２”を、グループＨＣに対して”３”を、グループＨＢに対して”４”を、グループＨＭに対して”５”を、グループＨＲに対して”６”を各画素に割り当てる。このように画像生成装置１０のシステム制御部１６は、色相を当該色相の値の範囲に応じてグループに分類し、グループに対するインデックスを色相の値とした色相の画像に変換する色相変換手段の一例として機能する。なお、グループ数は、更に細分化することも可能である。

【0048】

ここで、全ラインに対して色相を求め、色相のグルーピングした場合、図８に示すように、各画像３０ａ、３０ｂに対して色相の画像３２ａ、３２ｂが得られる。

【0049】

次に、画像生成装置１０は、色相のグループの境界探索を行う（ステップＳ５）。具体的には、画像生成装置１０のシステム制御部は、図７に示すように、各画像３０ａ、３０ｂにおいて、矢印の方向に、インデックスの値が変化する境界の位置の探索を行う。これにより各画像３０ａ、３０ｂのエッジ情報が得られる。

【0050】

次に、画像生成装置１０は、特徴点の位置を特定する（ステップＳ６）。具体的には、画像生成装置１０のシステム制御部１６は、図７に示すように、各画像３０ａにおいて、色相のインデックスが”０”から”２”に変化した境界の位置の画素４０ａ、”２”から”４”に変化した境界の位置の画素４１ａ、”４”から”１”に変化した境界の位置の画素を、特徴点の画素として特定する。同様に、画像生成装置１０のシステム制御部１６は、各画像３０ｂにおいて、色相のインデックスが”０”から”２”に変化した境界の位置の画素４０ｂ、”２”から”４”に変化した境界の位置の画素４１ｂを、特徴点の画素として特定する。このように、色相の値にある一定の差がある箇所が特徴点として選択される。また、画像生成装置１０のシステム制御部１６は、色相変換された第１画像および第２画像から、第１画像および第２画像の特徴点を抽出する特徴点抽出手段１０ｃの一例として機能する。また、画像生成装置１０のシステム制御部１６は、色相の変化が生じた箇所を特徴点として抽出する特徴点抽出手段の一例として機能する。

【0051】

次に、画像生成装置１０は、対応する特徴点の探索を行う（ステップＳ７）。具体的には、画像生成装置１０のシステム制御部１６は、画像３０ａのラインデータと、画像３０ｂのラインデータとにおいて、スキャン方向に従って、順に出現する特徴点を各々順序付けし、特徴点位置の（色相変換前の）元画像のパターンマッチングを行うことで順次対応する特徴点を探索する。例えば、画素４０ａの特徴点と、画素４０ｂの特徴点とは対応し、画素４１ａの特徴点と、画素４１ｂの特徴点とは対応するとする。また、図９に示すように、画素４２ａの特徴点と、画素４２ｂの特徴点とは対応するとする。このように画像生成装置１０のシステム制御部１６は、第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段１０ｄの一例として機能する。なお、対応する点が存在しない場合は、その特徴点は、特徴点の扱いをしないようにする。

【0052】

次に、画像生成装置１０は、視差ベクトルを算出する（ステップＳ８）。具体的には、画像生成装置１０のシステム制御部１６は、図９に示すように、スキャン方向（ｘ方向）の視差ベクトル５０を算出する。視差ベクトル５０は、画像３０ａの特徴点の画素４２ａと、画像３０ｂの対応する特徴点の画素４２ｂとすると、（左目）画像３０ａを基準、例えば、画像３０ａの特徴点の画素４２ａのｘ方向の位置”４”を基準に、（右目）画像３０ｂの特徴点の画素４２ｂのｘ方向の位置”１６”までの距離（１２画素の分）（視差ベクトルの長さ）を有する。画像生成装置１０のシステム制御部１６は、視差ベクトル５０を算出するする過程で、抽出した特徴点により対応する特徴点の間の距離（１２画素の分の長さ）を算出している。このように画像生成装置１０のシステム制御部１６は、対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段１０ｅの一例として機能する。

【0053】

なお、図９において、便宜上、画像３０ａおよび画像３０ｂの１〜４ラインのラインデータのみが示されていて、第２ラインがデータ処理されているとする。さらに、仮想的な撮像装置２５ａから撮像した場合の中間視差画像３５ａ、仮想的な撮像装置２５ｂから撮像した場合の中間視差画像３５ｂ、仮想的な撮像装置２５ｃから撮像した場合の中間視差画像３５ｃにおいても、１〜４ラインのラインデータのみが示されている。また、図９において、矢印は、視点が左側から右側、または、右側から左側に移動した場合の特徴点の移動方向を表す。

【0054】

次に、画像生成装置１０は、視差ベクトルと視差との関係から、中間視差画像の基準点の位置を決定する（ステップＳ９）。画像生成装置１０のシステム制御部１６は、図１０に示すように、仮想的な撮像装置２５ａ、２５ｂ、２５ｃの位置（例えば、Ｌ／４、Ｌ／２、３Ｌ／４）と、撮像装置２０ａと撮像装置２０ｂとの距離Ｌとの比（第１位置および第２位置に対する第３位置の位置関係）と、視差ベクトル５０の長さ（１２画素）とに従い、第２ラインにおける基準点の画素４５ａ、４５ｂ、４５ｃを求める。このように画像生成装置１０のシステム制御部１６は、視差ベクトル５０を用いて、左右の画像の特徴点の位置を線形計算することにより、中間視差画像の特徴点の位置、すなわち、基準点の位置を割り出す。

【0055】

例えば、画像生成装置１０のシステム制御部１６は、視差ベクトル５０に、長さＬ／４と長さＬとの比を掛けた視差ベクトル５１（長さ３画素）と、特徴点の画素４２ａの位置とにより、中間視差画像３５ａの基準点の画素４５ａの位置を求める。また、画像生成装置１０のシステム制御部１６は、視差ベクトル５０に、長さＬ／２と長さＬとの比を掛けた視差ベクトル５２（長さ６画素）と、特徴点の画素４２ａの位置とにより、中間視差画像３５ｂの基準点の画素４５ｂの位置を求める。また、画像生成装置１０のシステム制御部１６は、視差ベクトル５０に、長さ３Ｌ／４と長さＬとの比を掛けて向きを逆にした視差ベクトル５３（長さ３画素）と、特徴点の画素４２ｂの位置と、により、中間視差画像３５ｃの基準点の画素４５ｃの位置を求める。このように画像生成装置１０のシステム制御部１６は、第３画像における対応する特徴点の位置を、第３位置の位置関係に対応する比率と視差ベクトルとから決定する画像生成手段の一例として機能する。

【0056】

次に、画像生成装置１０は、１ラインの中間視差画像を生成する（ステップＳ１０）。画像生成装置１０のシステム制御部１６は、基本的に、視点の移動による特徴点のシフト量が少ない方の画像、すなわち、仮想的な撮像装置２５、２５ｂ、２５ｃが近い撮像装置２０ａ、２０ｂの画素値を利用して、中間視差画像３５ａ、３５ｂ、３５ｃを生成していく。例えば、画像生成装置１０のシステム制御部１６は、図１０に示すように、左目の画像３０ａの画素値”ｐ”を利用して、中間視差画像３５ａの第２ラインの画素４５ａの画素値、および、中間視差画像３５ｂの第２ラインの画素４５ｂの画素値を求め、レンダリングする。一方、画像生成装置１０のシステム制御部１６は、右目の画像３０ｂの画素値”ｐ’”を利用して、中間視差画像３５ｃの第２ラインの画素４５ｃの画素値を求め、レンダリングする。なお、画素４５ａは、左目の画像３０ａの画素４２ａからのシフト量が３画素分であり、右目の画像３０ｂの画素４２ｂからのシフト量が９画素分であり、左目の画像３０ａからの方が、シフト量が少ない。

【0057】

そして、画像生成装置１０のシステム制御部１６は、基準点の画素４５ａ、４５ｂ、４５ｃ以外の画素値を求める。画像生成装置１０のシステム制御部１６は、求めた画素値を、中間視差画像３５ａ、３５ｂ、３５ｃを生成するための記憶領域の対応する画素の箇所に記憶して行き、中間視差画像３５ａ、３５ｂ、３５ｃの画素を生成する。

【0058】

ここで、ステレオ画像の性質として、右画像と左画像はお互いに同じ画像が平行移動したものである。これは、基準点周りの画素において考えると、基準点は特徴点であるため、特徴点に隣り合う画素は左目の画像３０ａ、右目の画像３０ｂと共に近似的な関係であると考えられる。図１１に示すように、左目の画像３０ａの基準点の画素４２ａ（画素値”p”）に隣り合う画素４３ａ（画素値”o”）について着目した時、右目の画像３０ｂの基準点の画素４２ｂ（画素値”p’”）に隣り合う画素４３ｂ（画素値”o’”）は、画素４３ａに対して近似的な画素値となる。

【0059】

この関係を利用することにより、中間視差画像３５ａ、３５ｂ、３５ｃにおける基準点の画素の隣の画素については、画素値”o”、および、画素値”o’”のいずれか一方を利用することで、基準点周りの画素の画素値を補間することができる。画素値”o”、および、画素値”o’”のいずれか一方を利用するかは、左目の画像３０ａ、右目の画像３０ｂのどちらの特徴点のシフト量が少ないかにより決定する。

【0060】

従って、画像生成装置１０のシステム制御部１６は、図１１に示すように、中間視差画像３５ａの画素４６ａの画素値を、視差ベクトル５３に従い、左目の画像３０ａの画素４３ａの画素値”o”から求める。そして、画像生成装置１０のシステム制御部１６は、中間視差画像３５ｂの画素４６ｂの画素値を、左目の画像３０ａの画素４３ａの画素値”o”から求め、中間視差画像３５ｃの画素４６ｃの画素値を、右目の画像３０ｂの画素４３ｂの画素値”o’”から求める。さらに図１２に示すように、画像生成装置１０のシステム制御部１６は、画素４６ａ、４６ｂ、４６ｃの隣の画素においても適用することにより、ラインの画素を補間する。

【0061】

なお、図１２に示すように、中間視差画像において、中間視差画像３５ａの画素４７ａの場合のように、画像端に注目すると、右目の画像３０ｂには存在する画素でも、左目の画像３０ａには存在しない画素領域がある。この場合、画像生成装置１０のシステム制御部１６は、右目の画像３０ｂの画素４４ｂの画素値”ｌ’”を利用して、右目の画像３０ｂ側を起点とした視差ベクトル５４に従い、中間視差画像３５ａの画素４７ａの画素値”ｌ’”を求める。画像生成装置１０のシステム制御部１６は、中間視差画像３５ｂの画素４７ｂ、および、中間視差画像３５ｃの画素４７ｃの画素値も同様に求める。このように、視差ベクトルに従って、距離が近い方の画像３０ａ、３０ｂの画素が無い場合、画像生成装置１０のシステム制御部１６は、シフト量が多い方の画像３０ｂ、３０ａの画素の画素値を用いて、中間視差画像の画素の画素値を求める。

【0062】

そして、画像生成装置１０のシステム制御部１６は、中間視差画像３５ａ、３５ｂ、３５ｃの所定のラインデータの全ての画素に対して、画素値を求め、記憶部１２において、中間視差画像３５ａ、３５ｂ、３５ｃを生成するための記憶領域に記憶する。

【0063】

次に、画像生成装置１０は、次のラインに移動できるか否かを判定する（ステップＳ１１）。具体的には、画像生成装置１０のシステム制御部１６は、画像３０ａ、３０ｂの最後のラインか否かを判定する。現在第２ラインの処理が終了した場合は、次の第３ラインに移動できるので（ステップＳ１１；ＹＥＳ）、画像生成装置１０のシステム制御部１６は、処理対象を次のラインに移動させて、ステップＳ２に戻る。

【0064】

このように画像生成装置１０のシステム制御部１６は、第１位置および第２位置に対する第３位置の位置関係と視差ベクトルとに従い、第１画像と第２画像とから、第３位置から撮像された場合の第３画像を生成する画像生成手段１０ｇの一例として機能する。また画像生成装置１０のシステム制御部１６は、視差ベクトルに従い、第１位置および第２位置のうち第３位置に近い方の位置の第１画像または第２画像の画素の情報を用いて第３画像を生成する画像生成手段の一例として機能する。また画像生成装置１０のシステム制御部１６は、視差ベクトルに従った画素が無い場合、前記第１位置および第２位置のうち第３位置から遠い方の位置の第１画像または第２画像の画素の情報を用いて第３画像を生成する画像生成手段の一例として機能する。

【0065】

また、最後のラインの処理が終わった場合（ステップＳ１１；ＮＯ）、画像生成装置１０は、中間視差画像を表示する（ステップＳ１２）。具体的には、画像生成装置１０のシステム制御部１６は、記憶部１２から中間視差画像を読み出し、表示部１３に各中間視差画像３５ａ、３５ｂ、３５ｃを表示する。

【0066】

以上、本実施形態によれば、複数の撮像手段の一例である撮像装置２０ａ、２０ｂにより、第１位置（ｘ＝０）から撮像された第１画像３０ａと、第２位置（ｘ＝Ｌ）から撮像された第２画像３０ｂとの入力を受け付け、第１画像および第２画像の各画素の色相を求める色相変換を行い、色相変換された第１画像および第２画像から、第１画像および第２画像の特徴点を抽出し、第１画像と第２画像とにおいて対応する特徴点を求め、対応する特徴点の間の距離を有する視差ベクトル５０を算出し、第１位置と第２位置との間に第３位置（位置Ｌ／４、位置Ｌ／２、位置３Ｌ／４）を設定し、第１位置および第２位置に対する第３位置の位置関係と視差ベクトルとに従い、第１画像と第２画像とから、第３位置から撮像された場合の第３画像３５ａ、３５ｂ、３５ｃを生成することにより、特殊なカメラは使用せず、奥行き情報無しに、第３位置の位置関係と視差ベクトルとに従い、特徴点間の画像データを描画するので、低コストで、より少ない演算量で画像を生成することができる。

【0067】

また、本実施形態において使用する撮像装置２０ａ、２０ｂは、通常のスチルカメラまたビデオカメラであるので、本実施形態は実現しやすい手法である。本実施形態に置いて撮像装置２０ａ、２０ｂは、動画撮影をする場合には同期撮影であってもよい。

【0068】

また、色相の変化に応じて特徴点を抽出する場合、色相により特徴点を求めているので、輝度による影響が出ない。

【0069】

また、色相を当該色相の値の範囲に応じてグループに分類し、当該グループに対するインデックスを色相の値とした色相の画像に変換する場合、ＨＳＶ変換を用いての色相変換を施すことにより、色相によるグルーピング処理が行われ、色相のグループの境界が容易に抽出される。また、ラインごとに処理を行うため、画素マトリックスレベルでのクラスタリングが必要ないため、処理が容易である。画像生成装置１０において、必要なメモリ、演算量といったシステム要件を下げることができ、またハード化しやすい。

【0070】

第１画像３０ａおよび第２画像３０ｂの各画像のスキャン方向（ｘ方向）は、第１位置（ｘ＝０）と第２位置（ｘ＝Ｌ）とを結ぶ方向である場合、スキャン方向と、視差ベクトル５０の方向（撮像装置２０ａと、撮像装置２０ｂとの設置方句）とが平行になり、視差ベクトル５０が求めやすくなる。すなわち、画像生成装置１０のシステム制御部１６は、対応する特徴点の間の距離（視差ベクトルの長さ）を求めるだけで、視差ベクトル５０を求めることができる。

【0071】

画像生成装置１０のシステム制御部１６が、第３画像（各中間視差画像３５ａ、３５ｂ、３５ｃ）における対応する特徴点の位置を、第３位置の位置関係に対応する比率と視差ベクトルとから決定する場合、中間視差画像３５ａ、３５ｂ、３５ｃを描画する基準となる基準点を容易に決めやすくなる。

【0072】

画像生成装置１０のシステム制御部１６が、視差ベクトル５０に従い、第１位置および第２位置のうち第３位置に近い方の位置の第１画像３０ａまたは第２画像３０ｂの画素から第３画像を生成する場合、中間視差画像に位置的に近い方の画像の画素を利用して描画を行うため、より自然な画像を生成できる。

【0073】

画像生成装置１０のシステム制御部１６が、視差ベクトル５０に従った画素が無い場合、前記第１位置および第２位置のうち前記第３位置から遠い方の位置の第１画像または第２画像の画素の情報を用いて第３画像を生成する場合、一方の撮像装置では、画像の端となり、写らない所の画像も生成できる。

【0074】

画像生成装置１０のシステム制御部１６が、複数の第３位置を設定し、複数の第３画像（中間視差画像３５ａ、３５ｂ、３５ｃ）を生成する場合、容易に多眼的に複数の中間視差画像３５ａ、３５ｂ、３５ｃを生成できる。

【0075】

なお、画像３０ａと画像３０ｂが同一の解像度で無い場合、画像生成装置１０のシステム制御部１６は、画像３０ａと画像３０ｂとの解像度を合わせてから、ステップＳ１からの処理を行ってもよい。

【0076】

特徴点を求める際の方向は、スキャン方向のｘ方向に限らず、ｙ方向でも構わない。

【0077】

また、撮像装置２０ａおよび撮像装置２０ｂが、水平方向（ｘ方向）以外に設置されていてもよい。例えば、上下方向（ｙ方向）に設置されている場合、スキャン方向はｙ方向が好ましい。

【0078】

また、画像生成装置１０のシステム制御部１６が、特徴点を求める際、色相変換された画像に対して、微分マスクを使い、エッジを求めてもよい。

【0079】

また、画像生成装置１０のシステム制御部１６は、ＳＳＤ(Sum of Squared Difference)、ＳＡＤ(Sum of Absolute Difference)等のマッチング手法により、特徴点同士の一致の度合いを評価し、対応する特徴点を求めてもよい。例えば、画像生成装置１０のシステム制御部１６は、第１画像３０ａおよび第２画像３０ｂのライン方向における画素の色のマッチングを行う。また、画像生成装置１０のシステム制御部１６が、第１画像３０ａの特徴点を含む画像領域とマッチングする第２画像３０ｂの画像領域を求め、対応する特徴点を求めてもよい。色相変換前の元画像についてパターンマッチングを行ってもよい。

【0080】

さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

【符号の説明】

【0081】

１：画像生成システム
１０：画像生成装置
２０（２０ａ、２０ｂ）：撮像装置（撮像手段）
３０（３０ａ、３０ｂ）：画像（第１画像、第２画像）
３５（３５ａ、３５ｂ、３５ｃ）：中間視差画像（第３画像）
４０ａ、４０ｂ、４１ａ、４１ｂ、４２ａ、４２ｂ、４５ａ、４５ｂ、４５ｃ：特徴点の画素（特徴点）
５０：視差ベクトル

【図1】

【図2】

【図3】

【図4】

【図9】

【図10】

【図11】

【図12】

【図5】

【図6】

【図7】

【図8】