特開 2024-180460 画像処理装置、画像処理方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024180460

(43)【公開日】2024-12-26

(54)【発明の名称】画像処理装置、画像処理方法、及びコンピュータプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241219BHJP

   H04N 23/54 20230101ALI20241219BHJP

【ＦＩ】

H04N23/60 300

H04N23/54

【審査請求】未請求

【請求項の数】23

【出願形態】ＯＬ

(21)【出願番号】P 2024177018

(22)【出願日】2024-10-09

(62)【分割の表示】P 2022001906の分割

【原出願日】2022-01-07

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】北村 和也

(72)【発明者】

【氏名】西田 徳朗

(72)【発明者】

【氏名】中村 廣輝

(72)【発明者】

【氏名】長谷川 啓行

(72)【発明者】

【氏名】竹内 健悟

(57)【要約】

【課題】画像合成などに利用可能な距離情報等を外部に出力するのに適した画像処理装置を提供する
【解決手段】画像処理装置において、レンズユニットを介して被写体を含む画像を取得する画像取得手段と、前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、前記距離情報に関する補助データを生成する補助データ生成手段と、前記画像と前記距離情報と前記補助データとを重畳したデータストリームを生成するデータストリーム生成手段と、前記データストリームを外部に出力する出力手段と、を有する。
【選択図】図１０

【特許請求の範囲】

【請求項1】

レンズユニットを介して被写体を含む画像を取得する画像取得手段と、
前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、
前記距離情報に関する補助データを生成する補助データ生成手段と、
前記画像と前記距離情報と前記補助データとを重畳したデータストリームを生成するデータストリーム生成手段と、
前記データストリームを外部に出力する出力手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記画像取得手段は、前記レンズユニットの異なる瞳領域を通過する光束をそれぞれ受光する複数の光電変換部が画素毎に配置された撮像素子を含み、
前記複数の光電変換部の出力の位相差に基づき前記距離情報を取得可能であることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記複数の光電変換部の出力を加算することによって前記画像を取得することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記データストリーム生成手段は、前記距離情報を複数のデータストリームに分割重畳することを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。

【請求項5】

前記データストリーム生成手段は、前記距離情報を輝度のデータストリームに重畳することを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。

【請求項6】

前記データストリーム生成手段は、前記距離情報を色のデータストリームに重畳することを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。

【請求項7】

前記データストリーム生成手段は、前記距離情報をアルファチャネルのデータストリームに重畳することを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記距離情報を複数のデータストリームに分割重畳するか、１つのデータストリームに重畳するかを選択可能な選択手段を有することを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。

【請求項9】

前記選択手段は、前記距離情報を輝度のデータストリームに重畳するか、前記距離情報を色のデータストリームに重畳するかを選択可能であることを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記選択手段は、前記距離情報をアルファチャネルのデータストリームに重畳するか否かを選択可能であることを特徴とする請求項８又は９に記載の画像処理装置。

【請求項11】

前記距離情報の有効ビット数を選択可能な有効ビット数選択手段を有することを特徴とする請求項１～１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記データストリーム生成手段は、有効ビット数の前記距離情報の上位ビットを重畳し、下位ビットには０を重畳することを特徴とする請求項１～１１のいずれか１項に記載の画像処理装置。

【請求項13】

前記補助データは、画像処理装置の設定データ又は状態に関するデータを含むことを特徴とする請求項１～１２のいずれか１項に記載の画像処理装置。

【請求項14】

前記補助データは、前記レンズユニットに関するレンズ情報を含むことを特徴とする請求項１～１３のいずれか１項に記載の画像処理装置。

【請求項15】

前記レンズ情報は、焦点距離、合焦位置、絞り情報の少なくとも一つを含むことを特徴とする請求項１４に記載の画像処理装置。

【請求項16】

前記補助データは、前記画像と前記距離情報との同期をとるためのデータを含むことを特徴とする請求項１～１５のいずれか１項に記載の画像処理装置。

【請求項17】

前記補助データは、前記距離情報の属性を示すデータを含むことを特徴とする請求項１～１６のいずれか１項に記載の画像処理装置。

【請求項18】

前記補助データは、前記データストリームのデータ構造に関する情報を含むことを特徴とする請求項１～１７のいずれか１項に記載の画像処理装置。

【請求項19】

前記出力手段は、ＳＤＩを用いて出力を行うことを特徴とする請求項１～１８のいずれか１項に記載の画像処理装置。

【請求項20】

前記データストリームは静止画データを含むことを特徴とする請求項１～１９のいずれか１項に記載の画像処理装置。

【請求項21】

前記データストリーム生成手段は、前記重畳を多重化又は混合によって行うことを特徴とする請求項１～２０のいずれか１項に記載の画像処理装置。

【請求項22】

レンズユニットを介して被写体を含む画像を取得する画像取得ステップと、
前記被写体までの距離を示す距離情報を取得する距離情報取得ステップと、
前記距離情報に関する補助データを生成する補助データ生成ステップと、
前記画像と前記距離情報と前記補助データとを重畳したデータストリームを生成するデータストリーム生成ステップと、
前記データストリームを外部に出力する出力ステップと、を有することを特徴とした画像処理方法。

【請求項23】

請求項１～２１のいずれか１項に記載の画像処理装置の各手段をコンピュータにより制御するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びコンピュータプログラム等に関する。

【背景技術】

【0002】

現在、映画やテレビで一般的に用いられている画像合成技術として、画像の特定の色の部分を透明にし、そこに異なる画像を合成するクロマキー合成という方法がある。クロマキー合成用の画像を撮影する際には、グリーンバックやブルーバックといった特定色の背景を用意する必要があり、その背景に色むらができないように皺を伸ばし、照明を調整するといった作業も必要となる。又、グリーンバックからの反射光が被写体に映り込むと背景分離が上手くできなくなる場合がある。従って、撮影後の後処理で反射光の映り込みを消すなどの作業が必要となる場合もある。

【0003】

一方、近年用いられている画像合成技術として、被写体までの距離情報を使用することで被写体と背景との分離を行い、被写体を別の画像と合成する方法がある。この方法を用いると、グリーンバックなどの背景を準備する必要がなくなり、前述したクロマキー合成のための煩雑な作業も不要となる。

【0004】

被写体までの距離情報を作成するための方法としては、例えば、画像撮影用の撮像装置とは別に、距離センサを備えた装置を用いて被写体までの距離を測定する方法がある。その場合、夫々の装置で画角や解像度が異なるため、後処理で画像合成を行うために、撮影前にキャリブレーション作業を行う必要が生じる。

【0005】

一方、特許文献１に記載されているように、撮像面位相差方式の測距機能を有した撮像素子を用いることで、撮像装置から被写体までの距離を示す距離情報を生成する技術が開示されている。この技術を用いると、１つの撮像素子で画像撮影と距離情報の生成を同時に行うことができるため、上述したキャリブレーション作業は不要となる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２１－４８５６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら特許文献１では、後処理で画像合成などを行うために、距離情報をどのように出力するべきかについては考慮されていない。

【0008】

本発明はこのような状況を鑑みてなされたものであり、画像合成などに利用可能な距離情報等を外部に出力するのに適した画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明の画像処理装置は、
レンズユニットを介して被写体を含む画像を取得する画像取得手段と、
前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、
前記距離情報に関する補助データを生成する補助データ生成手段と、
前記画像と前記距離情報と前記補助データとを重畳したデータストリームを生成するデータストリーム生成手段と、
前記データストリームを外部に出力する出力手段と、
を有することを特徴とする。

【発明の効果】

【0010】

本発明によれば、画像合成などに利用可能な距離情報等を外部に出力するのに適した画像処理装置を実現することが可能となる。

【図面の簡単な説明】

【0011】

【図1】実施例１に係る画像処理装置のブロック図である。

【図2】（Ａ）は、撮像素子の受光面に配置されたカラーフィルタ例を示す図、（（Ｂ）は、図２（Ａ）のカラーフィルタの配列に対応させて、各画素に光電変換部（フォトダイオード）を２つ配置した例を示す図である。

【図3】実施例１に係る距離情報の生成処理を説明するためのフローチャートである。

【図4】ノイズが存在しない理想的な状態において、一対の画像信号列の相関が高い場合の式（１）の演算結果を示す図である。

【図5】ノイズが存在する微小ブロックに式（１）を適用した場合の演算結果を示す図である。

【図6】実施例１におけるＳＤＩのデータ構造を説明する図である。

【図7】実施例１における距離情報の重畳例を示す図である。

【図8】実施例１においてブランキング領域に重畳されるアンシラリデータのパケット構造を示す図である。

【図9】実施例１におけるストリーム生成処理のフローチャートである。

【図10】実施例２における、ディスプレイで視認しやすいように距離情報を出力する処理例を示すフローチャートである。

【図11】実施例２における距離情報の重畳例を示す図である。

【図12】実施例２における距離情報の表示例を示す図である。

【図13】実施例２における距離情報の他の重畳例を示す図である。

【図14】実施例３におけるＳＤＩのデータ構造を説明する図である。

【図15】実施例３におけるストリーム生成処理のフローチャートである。

【図16】実施例３における距離情報の重畳例を示す図である。

【図17】実施例４における距離情報の出力モード選択処理の例を示すフローチャートである。

【図18】実施例５における距離情報の出力モード選択処理の例を示すフローチャートである。

【図19】実施例５における高精度距離情報出力モードでの距離情報の重畳例を示す図である。

【図20】実施例５におけるグレースケール出力モードでの距離情報の重畳例を示す図である。

【図21】実施例５における距離情報の表示例を示す図である。

【図22】実施例５におけるヒートマップ出力モードでの距離情報の重畳例を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施形態を実施例を用いて説明する。ただし、本発明は以下の実施形態や実施例に限定されるものではない。なお、各図において、同一の部材又は要素については同一の参照番号を付し、重複する説明は省略又は簡略化する。

【0013】

又、実施例においては、画像処理装置としてデジタルカメラに適用した例について説明する。しかし、画像処理装置はネットワークカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラ、ドローンカメラ、ロボットに搭載されたカメラなどの撮像機能を有する電子機器等を含む。
尚、実施例における画像は静止画だけでなく、動画等の映像を含む。

【0014】

＜実施例１＞
図１は、実施例１に係る画像処理装置のブロック図である。同図において、画像処理装置１００は、画像の入力から出力、更に記録まで可能な装置であり、例えばデジタルカメラとして構成されている。

【0015】

図１において、内部バス１０１に対してコンピュータとしてのＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、画像処理部１０５、レンズユニット１０６、撮像部１０７、ネットワークモジュール１０８、画像出力部１０９が接続されている。又、内部バス１０１に対して記録媒体Ｉ／Ｆ（インターフェース）１１０、物体検出部１１５等が接続されている。内部バス１０１に接続される各ブロックは、内部バス１０１を介して互いにデータのやりとりを行うことができるように構成されている。

【0016】

尚、図１に示されるブロックの一部は、画像処理装置に含まれるコンピュータとしてのＣＰＵに、記憶媒体としてのＲＯＭなどのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。又、図１に示される夫々のブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

【0017】

レンズユニット１０６は、ズームレンズ、フォーカスレンズを含むレンズ群や絞り機構及び駆動モータ等から成るユニットである。レンズユニット１０６を通過した光学像は、撮像部１０７の受光面に形成される。撮像部１０７は被写体を含む画像を取得する画像取得手段として機能しており、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を含む。撮像素子の受光面に形成された光学像は撮像信号に変換され、更にデジタル信号に変換されて出力される。尚、本実施例の撮像素子は像面位相差検出機能を有するセンサでありその詳細については後述する。

【0018】

コンピュータとしてのＣＰＵ１０２は、ＲＯＭ１０３に格納されるコンピュータプログラムに従い、ＲＡＭ１０４をワークメモリとして用いて、画像処理装置１００の各部を制御する。又、ＲＯＭ１０３に格納されるコンピュータプログラムに従い、後述の図３、図９、図１０、図１５、図１７、図１８のフローチャートの処理を実行する。ＲＯＭ１０３は、不揮発性の半導体メモリであり、ＣＰＵ１０２を動作させるためのコンピュータプログラムや各種調整パラメータなどが記録されている。

【0019】

ＲＡＭ１０４は、揮発性の半導体メモリであり、一般的に、フレームメモリ１１１に比べて、低速、低容量のものが使用される。フレームメモリ１１１は、画像信号を一時的に溜めておき、必要な時に読み出すことが可能な半導体メモリである。画像信号は膨大なデータ量であるため、高帯域かつ大容量のものが求められる。ここではＤＤＲ４－ＳＤＲＡＭ（Ｄｕａｌ Ｄａｔａ Ｒａｔｅ４－Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）などを用いる。このフレームメモリ１１１を使用することで、例えば、時間的に異なる画像を合成したり、必要な領域だけを切り出すなどの処理を行うことが可能となる。

【0020】

画像処理部１０５は、ＣＰＵ１０２の制御に基づいて、撮像部１０７からのデータ、又はフレームメモリ１１１や記録媒体１１２に格納された画像データに対して各種画像処理を施す。画像処理部１０５が行う画像処理には、画像データの画素補間、符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。

【0021】

又、画像処理部１０５は、撮像部１０７の画素の特性のばらつきを補正したり、欠陥画素の補正、ホワイトバランスの補正、輝度の補正、レンズの特性により発生する歪みや周辺光量落ちの補正などの補正処理を行う。又、画像処理部１０５は、距離マップを生成するが、その詳細については後述する。尚、画像処理部１０５は、特定の画像処理を施すための専用の回路ブロックで構成しても良い。又、画像処理の種別によっては画像処理部１０５を用いずにＣＰＵ１０２がプログラムに従って画像処理を施すことも可能である。

【0022】

画像処理部１０５における画像処理結果に基づいて、ＣＰＵ１０２はレンズユニット１０６の制御を行い、光学的に画像の拡大や焦点距離、光量を調整する絞りなどの調整を行う。又、レンズ群の一部を、光軸に直交する平面内で移動させることにより、手ブレ補正を行うようにしても良い。１１３は、機器外部とのインターフェースとして、ユーザの操作を受け付ける操作部であり、操作部１１３は、メカニカルなボタンやスイッチなどの素子で構成され、電源スイッチ、モード切替スイッチなどを含む。

【0023】

１１４は、画像を表示するための表示部であり、例えば、画像処理部１０５で処理された画像や設定メニューや画像処理装置１００の動作状況を確認することができる。表示部１１４は、表示デバイスとしてＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの、小型で低消費電力のデバイスを用いる。更に、抵抗膜方式や静電容量方式の薄膜素子などを用いたタッチパネル構造とし、操作部１１３の一部として利用しても良い。

【0024】

ＣＰＵ１０２は、画像処理装置１００の設定状態などをユーザに知らせるための文字列や、画像処理装置１００の設定をするためのメニューを生成し、画像処理部１０５で処理された画像に重畳して、表示部１１４に表示させる。文字情報の他にも、ヒストグラム、ベクトルスコープ、波形モニタ、ゼブラ、ピーキング、フォルスカラーなどのような撮影アシスト表示も重畳することが可能である。

【0025】

１０９は画像出力部であり、インターフェースとして、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などである。或いはＤｉｓｐｌａｙ Ｐｏｒｔ（登録商標）などのインターフェースを用いても良い。画像出力部１０９を介して外部の表示装置（ディスプレイ）などにリアルタイム画像を表示することが可能である。

【0026】

又、画像だけでなくコントロール信号も伝送可能な、ネットワークモジュール１０８も備えている。ネットワークモジュール１０８は、画像信号や音声信号の入出力を行うためのインターフェースである。ネットワークモジュール１０８は、インターネットなどを介して外部装置と通信し、ファイルやコマンドなどの各種データの送受信を行うこともできる。ネットワークモジュール１０８は無線でも良いし有線でも良い。

【0027】

画像処理装置１００は、画像を外部に出力するだけでなく、本体内に記録する機能も備えている。記録媒体１１２は、画像データや種々の設定データを記録することが可能でな、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの大容量記憶素子であり、記録媒体Ｉ／Ｆ１１０に装着可能となっている。

【0028】

物体検出部１１５は、物体を検出するためのブロックであり、例えば、ニューラルネットワークを用いたディープラーニングに代表される人工知能を用いて物体検出を行う。ディープラーニングによる物体検出をする場合、ＣＰＵ１０２は、ＲＯＭ１０３に格納された処理のためのプログラムやＳＳＤやＹＯＬＯなどのネットワーク構造や重みパラメータなどを物体検出部１１５に送信する。

【0029】

尚、ＳＳＤはＳｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒの略であり、ＹＯＬＯはＹｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅの略である。物体検出部１１５は、ＣＰＵ１０２から得られる各種パラメータに基づいて、画像信号から物体を検出するための処理を行い、処理結果をＲＡＭ１０４に展開する。

【0030】

図２（Ａ）は、撮像素子の受光面に配置されたカラーフィルタ例を示す図である。図２（Ａ）では、赤（Ｒ）、青（Ｂ）、緑（Ｇｂ、Ｇｒ）のベイヤ配列例を示しており、撮像素子は複数の画素が２次元状に配置されており、各画素の前面には図２（Ａ）のように、Ｒ、Ｂ、Ｇｂ、Ｇｒのいずれかのカラーフィルタが配置されている。図２（Ａ）では２行分のカラーフィルタ配列だけが示されているが、このカラーフィルタ配列が垂直走査方向に２行ずつ繰り返し配置される。

【0031】

又、撮像素子の各画素の前面に配置されたカラーフィルタの前面にはマイクロレンズが配置されると共に、各画素は、水平走査方向に並べて配置された２つの光電変換部（フォトダイオードＡ、フォトダイオードＢ）を有する。

【0032】

図２（Ｂ）は、図２（Ａ）のカラーフィルタの配列に対応させて、各画素に光電変換部（フォトダイオード）を２つ配置した例を示す図である。図２（Ｂ）においては、各画素はフォトダイオードＡとフォトダイオードＢの対により構成され、対である２つのフォトダイオードに対して同じ色のカラーフィルタが配置されている。尚、フォトダイオードＡ、フォトダイオードＢはマイクロレンズを介して、光学系の異なる射出瞳からの光束を夫々受光する。

【0033】

本実施例の撮像素子においては、行方向に並んだ画素の複数のフォトダイオードＡからＡ像信号を取得することができる。同様に、行方向に並んだ画素の複数のフォトダイオードＢからＢ像信号を取得することができる。これらのＡ像信号とＢ像信号は位相差検出用の信号として処理される。

【0034】

即ち、例えばＣＰＵ１０２や画像処理部１０５においてＡ像信号とＢ像信号の相関演算を行い、Ａ像信号とＢ像信号の位相差を検出し、位相差に基づき被写体距離を算出する。即ち、ＣＰＵ１０２や画像処理部１０５は、被写体までの距離を示す距離情報を取得するための距離情報取得手段として機能している。

【0035】

尚、各画素の２つのフォトダイオードＡ、Ｂの信号を加算することによって画像用の信号（Ａ像信号＋Ｂ像信号）も取得でき、この加算した画像用の信号は、図２（Ａ）に示されるベイヤ配列に応じたカラーの画像信号として画像処理部１０５で処理される。

【0036】

撮像部１０７においては、画素毎に位相差検出用信号（Ａ像信号、Ｂ像信号）を出力することも可能であるが、近接する複数画素のＡ像信号を加算平均すると共に、近接する複数画素のＢ像信号を加算平均した値を出力する事も可能である。加算平均した値を出力することで、撮像部１０７から信号を読み出す時間の短縮や、内部バス１０１の帯域削減ができる。

【0037】

このような撮像素子を有する撮像部１０７からの出力信号を使って、ＣＰＵ１０２や画像処理部１０５が２つの像信号の相関演算を行い、２つの像信号の位相差に基づきデフォーカス量や視差情報、各種信頼性などの情報を算出する。受光面でのデフォーカス量は、Ａ像信号、Ｂ像信号のズレ（位相差）に基づき算出される。デフォーカス量は正負の値を持っており、デフォーカス量が正の値であるか負の値であるかによって、前ピンか後ピンかがわかる。

【0038】

又、デフォーカス量の絶対値によって、合焦までの度合いが分かり、デフォーカス量が０であれば合焦である。即ち、ＣＰＵ１０２は、デフォーカス量の正負を元に前ピンか後ピンかの情報を算出し、デフォーカス量の絶対値に基づいて、合焦の度合い（ピントズレ量）である合焦度合い情報を算出する。前ピンか後ピンかの情報は、デフォーカス量が所定値を超える場合に出力し、デフォーカス量の絶対値が所定値以内である場合には、合焦であるという情報を出力する。

【0039】

ＣＰＵ１０２は、デフォーカス量に応じてレンズユニット１０６を制御してフォーカス調整を行う。
又、ＣＰＵ１０２は、前記位相差情報とレンズユニット１０６のレンズ情報から三角測量の原理を用いて被写体までの距離を算出する。

【0040】

図２では、１つのマイクロレンズに対して光電変換手段としてのフォトダイオードを２つ配置した画素をアレイ状に並べた例について説明した。しかし、各画素は、１つのマイクロレンズに対して光電変換手段としてのフォトダイオードを３つ以上配置した構成としても良い。又、全ての画素が上記のような構成でなくても良く、例えば２次元状に配置された画像検出用の複数の画素の中に、距離検出用の画素を離散的に配置しても良い。

【0041】

その場合、距離検出用の画素は上記のような２つのフォトダイオードを有する構造としても良いし、或いは距離検出用の各画素はフォトダイオードＡ、フォトダイオードＢの一方だけを有する構造としても良い。フォトダイオードＡ、フォトダイオードＢの一方だけを有する場合には、フォトダイオードＡ、フォトダイオードＢはレンズユニットの異なる瞳領域（射出瞳）の像が入射するように配置する。或いは一方の光束を遮光する。このように、本実施例の撮像部１０７は、Ａ像信号とＢ像信号などの位相差検出可能な２つの像信号が得られる構成になっていれば良く、上記のような画素構造に限定されない。又、撮像部１０７は視差を有する２つの撮像素子からなる所謂ステレオカメラであっても良い。

【0042】

次に図３～図５を用いて距離情報の生成処理を説明する。
図３は、実施例１に係る距離情報の生成処理を説明するためのフローチャートである。
尚、コンピュータとしてのＣＰＵ１０２が記憶媒体としてのＲＯＭ１０３などに記憶されたコンピュータプログラムを実行することによって図３のフローチャートの各ステップの動作が行われる。

【0043】

図３のフローチャートにおいて、先ず、ステップＳ３００で、撮像部１０７から、撮像用の（Ａ像信号＋Ｂ像信号）と位相差検出用のＡ像信号の２つの信号を夫々読出すことで取得する。
次いでステップＳ３０１で、画像処理部１０５は、（Ａ像信号＋Ｂ像信号）とＡ像信号の差を求めることで位相差検出用のＢ像信号を算出する。

【0044】

尚、上記のステップＳ３００とステップＳ３０１では（Ａ像信号＋Ｂ像信号）とＡ像信号を読出して差を演算することによりＢ信号を算出する例を説明した。しかし、Ａ像信号とＢ像信号を夫々撮像部１０７から読出すようにしても良い。又、ステレオカメラのようにイメージセンサを２つ具備している場合においては夫々のイメージセンサから出力される画像信号をＡ像信号及びＢ像信号としても処理すれば良い。

【0045】

ステップＳ３０２では、位相差検出用のＡ像信号と位相差検出用のＢ像信号の夫々について光学的なシェーディングの補正を行う。
ステップＳ３０３では、位相差検出用のＡ像信号と位相差検出用のＢ像信号の夫々にフィルタ処理を行う。例えば、ＦＩＲで構成されたハイパスフィルタで低域をカットする。尚、フィルタ係数を変えたバンドパスフィルタやローパスフィルタを夫々通しても良い。

【0046】

次に、ステップＳ３０４で、ステップＳ３０３でフィルタ処理を行った位相差検出用のＡ像信号と位相差検出用のＢ像信号に対して微小ブロックに分割し相関演算を行う。尚、微小ブロックのサイズ又は形状についての制限はなく、近接するブロック同士で領域が重なっても良い。

【0047】

以下、一対の画像であるＡ像信号、Ｂ像信号の相関演算について説明する。着目画素位置におけるＡ像信号の信号列をＥ（１）～Ｅ（ｍ）と表記し、着目画素位置におけるＢ像信号の信号列をＦ（１）～Ｆ（ｍ）と表記する。Ａ像信号の信号列Ｅ（１）～Ｅ（ｍ）に対して、Ｂ像信号の信号列Ｆ（１）～Ｆ（ｍ）を相対的にずらしながら、式（１）を用いて２つの信号列間のずれ量ｋにおける相関量Ｃ（ｋ）が演算される。

【0048】

【数1】

式（１）において、Σ演算はｎについて総和を算出する演算を意味する。Σ演算において、ｎ、ｎ＋ｋの取る範囲は、１からｍの範囲に限定される。ずれ量ｋは整数値であり、一対のデータの検出ピッチを単位とした相対的シフト量である。

【0049】

図４は、ノイズが存在しない理想的な状態において、一対の画像信号列の相関が高い場合の式（１）の演算結果を示す図である。
図４に示すように、一対の画像信号列の相関が高いずれ量（ｋ＝ｋｊ＝０）において、差分である相関量Ｃ（ｋ）は最小になる。以下、離散的な相関量Ｃ（ｋ）が最小となるときのｋを、ｋｊと表記する。式（２）から（４）に示す３点内挿処理によって、連続的な相関量に対する最小値Ｃ（ｘ）を与えるシフト量ｘが算出される。尚、シフト量ｘは実数値であり、単位をｐｉｘｅｌとする。

【0050】

【数2】

【数3】

【数4】

【0051】

式（４）のＳＬＯＰは、最小かつ極小となる相関量と、その隣接する相関量における変化の傾きを表す。図４において、具体例として、
Ｃ（ｋｊ）＝Ｃ（０）＝１０００
Ｃ（ｋｊ－１）＝Ｃ（－１）＝１７００
Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８３０
とする。

【0052】

この例では、ｋｊ＝０である。式（２）から（４）より、
ＳＬＯＰ＝８３０
ｘ＝－０．０７８ｐｉｘｅｌ
となる。
尚、合焦状態の場合、Ａ像の信号列とＢ像の信号列に対するシフト量ｘは０．００が理想値である。

【0053】

一方、図５は、ノイズが存在する微小ブロックに式（１）を適用した場合の演算結果を示す図である。
図５に示すように、ランダムに分布しているノイズの影響により、Ａ像の信号列とＢ像の信号列との相関が低下する。相関量Ｃ（ｋ）の最小値は、図４に示す最小値に比べて大きくなり、相関量の曲線は全体的に平坦な形状（最大値と最小値との差分絶対値が小さい形状）となる。

【0054】

図５において、具体例として、
Ｃ（ｋｊ）＝Ｃ（０）＝１３００
Ｃ（ｋｊ－１）＝Ｃ（－１）＝１４８０
Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８００
とする。

【0055】

この例では、ｋｊ＝０である。式（２）から式（４）より、
ＳＬＯＰ＝５００
ｘ＝－０．３２ｐｉｘｅｌ
となる。
即ち、図４に示すノイズが存在しない状態での演算結果と比べて、シフト量ｘが理想値から離れている。

【0056】

一対の画像信号系列間の相関が低い場合、相関量Ｃ（ｋ）の変化量が小さくなり、相関量の曲線は全体的に平坦な形状となるため、ＳＬＯＰの値が小さくなる。又、被写体像が低コントラストである場合にも、同様に一対の画像信号系列間の相関が低くなり、相関量の曲線が平坦な形状となる。この性質に基づき、算出されたシフト量ｘの信頼性をＳＬＯＰの値で判断することができる。即ち、ＳＬＯＰの値が大きい場合には、一対の画像信号系列間の相関が高く、又、ＳＬＯＰの値が小さい場合には、一対の画像信号系列間に有意な相関が得られなかったと判断することができる。

【0057】

尚、本実施例では、相関演算に式（１）を用いたため、一対の画像信号系列の相関が最も高いずれ量において相関量Ｃ（ｋ）が最小かつ極小となる。しかし、一対の画像信号系列の相関が最も高いずれ量において相関量Ｃ（ｋ）が最大かつ極大となる相関演算法を用いても良い。

【0058】

次にステップＳ３０５では信頼度を算出する。前述したようにステップＳ３０４で算出したＳＬＯＰの値を信頼度と定義する。
次にステップＳ３０６で補間処理を行う。ステップＳ３０４で相関演算を行えたがステップＳ３０５で算出した信頼性が低いためにシフト量として採用できない場合がある。

【0059】

その場合には、周囲の画素で算出されたシフト量から補間する。補間方法としてはメディアンフィルタを掛けても良いし、シフト量のデータを縮小した後に再度拡大する演算をしても良い。又、撮像用の（Ａ像信号＋Ｂ像信号）から色データを抽出し、色データを用いてシフト量を補間しても良い。

【0060】

次にステップＳ３０７で、ステップＳ３０４で算出されたシフト量ｘを参照してデフォーカス量を計算する。具体的には、デフォーカス量（ＤＥＦと記す）を下記式（５）で求めることができる。

【数5】

式（５）において、Ｐは検出ピッチ（画素配置ピッチ）と一対の視差画像における左右２つの視点の投影中心の距離とによって決まる変換係数であり、単位はｍｍ／ｐｉｘｅｌである。

【0061】

次に、ステップＳ３０８で、ステップＳ３０７で算出したデフォーカス量から距離を算出する。被写体までの距離をＤａ、焦点位置をＤｂ、焦点距離をＦとしたときに近似的に以下の式（６）が成り立つ。

【0062】

【数6】

従って、被写体までの距離Ｄａは式（７）となる。

【数7】

【0063】

従って、ＤＥＦ＝０のときのＤｂをＤｂ０とすると式（７）は以下の式（８）

【数8】

となり被写体までの絶対距離を求めることができる。

【0064】

一方、相対距離はＤａ－Ｄａ’となるので式（７）と式（８）より以下の式（９）で求めることができる。

【数9】

【0065】

以上のように、図３のフローチャートに従って相関演算を行えば、位相差検出用のＡ像信号と位相差検出用のＢ像信号からシフト量、デフォーカス量、距離データ等の距離情報を算出することができる。即ち、複数の光電変換部の出力の位相差に基づき距離情報を取得可能である。尚、本実施例における距離情報は、距離データ自体であっても良いし、シフト量やデフォーカス量であっても良く、距離情報はそれらを含むものである。

【0066】

本実施例では、上記のようにして算出した距離情報と、距離情報に関する補助データ等を重畳してデータストリームを生成し、出力手段としての画像出力部１０９を介して外部に出力している。それによって、高精度なＣＧ（コンピュータグラフィクス）画像の合成等を外部装置で精度良く、効率的に行うことができる。尚、補助データの詳細については後述する。
以下、本実施例では、上記の距離情報と、距離情報に関する補助データを、ＳＤＩの伝送規格を利用して外部に出力するための方法の例について説明する。尚、ＳＤＩの伝送規格には禁止コードが存在するため、本実施例では、禁止コードにならないように距離情報の一部を変換してから重畳している。

【0067】

先ず、図６を用いて、フレームレートが２９．９７ｆｐｓ、水平解像度が１９２０、垂直解像度が１０８０の場合のＨＤ－ＳＤＩのデータストリームの構造を説明する。尚、ＨＤ－ＳＤＩのデータストリームはＳＭＰＴＥＳＴ２９２－１で規定されている。

【0068】

図６は、実施例１におけるＳＤＩのデータ構造を説明する図であり、１ライン分のデータストリームを、１ワードが１０ビットの２つのデータストリームに分けて示している。１フレームでは、このデータストリームが１１２５ラインある。Ｙ（輝度）ストリーム及びＣ（色）ストリームは、１ワードが１０ビットで２２００ワードで構成される。

【0069】

データは１９２０ワード目から画像信号の区切り位置を認識するための識別子ＥＡＶ（Ｅｎｄ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ）が重畳され、続いて、ＬＮ（Ｌｉｎｅ Ｎｕｍｂｅｒ）及び伝送エラーチェック用のデータであるＣＲＣＣ（Ｃｙｃｌｅ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ Ｃｏｄｅ）が重畳される。

【0070】

そして、アンシラリデータ（補助データ）を重畳して良いデータ領域（以下、ブランキング領域と記す）が２６８ワード続き、その後、ＥＡＶと同様に画像信号の区切り位置を認識するための識別子ＳＡＶ（Ｓｔａｒｔ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ）が重畳される。そして、Ｙデータ（輝度データ）及びＣデータ（色データ）が１９２０ワード分重畳されて伝送される。フレームレートが変わると１ラインのワード数が変わるため、ブランキング領域のワード数が変わる。

【0071】

次に、図７を用いて、本実施例における距離情報の重畳処理について説明する。
図７は、実施例１における距離情報の重畳例を示す図であり、図６におけるＹデータ及びＣデータの重畳位置において、各ワード毎にどのように距離情報を重畳するかを示している。

【0072】

図７は、図３のステップＳ３０８において、Ｙデータに重畳する距離情報としてＤ［１７］～Ｄ［９］、Ｃデータに重畳する距離情報としてＤ［８］～Ｄ［０］までの合計１８ビットの高精度距離情報が各画素毎に算出されている場合の例を示している。又、距離情報を複数のデータストリームに分割重畳している。

【0073】

ＳＤＩの伝送規格においては、０、１、２、３及び１０２０、１０２１、１０２２、１０２３が禁止コードとなっている。そこで、図７のように、Ｙ［９］の位置にＤ［１７］を反転した値“Ｄ［１７］を重畳し、Ｙ［８］からＹ［０］の位置にＤ［１７］からＤ［９］の値を重畳する。又、Ｃ［９］の位置にＤ［８］を反転した値”Ｄ［８］を重畳し、Ｃ［８］からＣ［０］の位置にＤ［８］からＤ［０］の値を重畳することで、禁止コードにならないように距離情報を変換して重畳している。

【0074】

ここでは距離情報が１８ビットである高精度距離情報の場合の例を示したが、距離情報のビット深度は１８ビット以下でもよい。その場合も同様に、Ｙ［９］の位置に重畳する値としてＹ［８］の位置に重畳する値を反転した値を用い、Ｃ［９］の位置に重畳する値としてＣ［８］の位置に重畳する値を反転した値を用いる。それにより、禁止コードにならないように距離情報を重畳することができる。

【0075】

尚、前述のように、本実施例では距離情報に各種の補助データをメタデータとして付帯させて出力している。例えば、外部装置においてＣＧ画像合成などの後処理をする際に、距離情報を精度良く利用するには、補助データ（アンシラリデータ）として、例えば画像処理装置の各種設定データや状態に関するデータを取得できることが望ましい。ここで、画像処理装置の各種設定データは例えば露出設定情報などを含み、画像処理装置の状態に関するデータは画像処理装置の例えば傾き等のデータを含む。

【0076】

更に又、補助データには、レンズユニット１０６に関するレンズ情報（例えばレンズユニット１０６の焦点距離、合焦位置、絞り情報の少なくとも一つ）を含めることが望ましい。
更に又、補助データには、撮像画像と距離情報との同期をとるためのデータ（例えばタイムコード）、距離情報の算出を行う前に行っている各種補正処理の有無を示す情報を含めることが望ましい。

【0077】

又、距離情報の属性を示すデータも含めることが望ましい。ここで距離情報の属性とは、例えば距離情報が距離データ自体なのか、デフォーカス情報なのか、シフト量データなのかを示す情報も含む。尚、距離情報としてデフォーカス情報を出力する場合は、デフォーカス量から被写体距離を算出するためにレンズユニットの焦点距離の情報が補助データとして必要となる。又、距離情報としてシフト量を出力する場合にはずれ量ｋの情報も補助データとして必要となる。

【0078】

又、距離情報の属性は、距離情報の有効ビット数（ビット深度）や距離情報の単位、距離情報が絶対距離か相対距離かを示す情報、距離情報が小数点を含む場合は何ビット以下が小数点以下なのかなどの情報を含む。
又、距離情報の属性は、その距離情報が相対距離の場合にその距離情報が符号付きか否かを示す情報、距離情報の１ＬＳＢが何ｃｍかを示す情報、相対距離で符号付き表現でない場合に合焦位置の距離を示す情報を含む。

【0079】

又、補助データは、最近距離（最も近い被写体までの距離）と最遠距離（最も遠い被写体までの距離）の値、測距可能な分解能などの情報を含むことが望ましい。
更に又、補助データとしては、上記のような画像、距離情報、補助データを重畳して画像処理装置１００から出力する場合に、重畳されたデータストリームのデータ構造（データフォーマット）に関する情報を含めることが必要である。

【0080】

尚、本実施例における重畳とは多重化（例えば、ブランキング期間等の隙間に挿入）するものでも良いし、データを互いに混合して符号化するものであってもよく、本実施例の重畳はどちらの方法も含む。又、本実施例におけるデータストリームは複数フレームからなる動画データなどのデータストリームに限定されず、たとえば１フレーム分だけの静止画データも含む。

【0081】

そのため、本実施例では、前述のように、距離情報を出力する際に、距離情報以外にも上述した各種情報（以下、補助データ又はアンシラリデータと記す）をメタデータとして付帯して出力する。それにより画像合成などの後処理の精度や効率を向上させることができる。
尚、本実施例では、各種補助データをパケット化し、ブランキング領域に重畳して距離情報と共に出力しているので伝送効率が良い。

【0082】

図８は、実施例１においてブランキング領域に重畳されるアンシラリデータのパケット構造を示す図であり、ＳＭＰＴＥ ＳＴ ２９１で規定されている補助データ（アンシラリデータ）を格納するためのパケット構造を示している。
補助データ（アンシラリデータ）は、図８で示すＴｙｐｅ２のアンシラリデータパケット（ＡＮＣ Ｄａｔａ ｐａｃｋｅｔ）の中の、各１０ビットで構成されるユーザデータワード（Ｕｓｅｒ Ｄａｔａ Ｗｏｒｄｓ）領域に格納する。格納するデータ形式は、情報が値として取得できるものであれば、どのような形式であっても良い。

【0083】

上述した補助データは、このユーザデータワードに格納される。又、アンシラリデータパケットの種類を識別するためのヘッダ領域であるＤＩＤ（Ｄａｔａ ＩＤ）とＳＤＩＤ（Ｓｅｃｏｎｄａｒｙ Ｄａｔａ ＩＤ）には、各パケット毎に、伝送しているデータに関する情報であることを示す所定の値を設定する。尚、１つのアンシラリデータパケットには最大２５５ワードのユーザデータワードを格納することができるが、２５５ワードまで格納せず、上述した補助データを複数のアンシラリデータパケットに分割して重畳し出力する構成としても良い。

【0084】

次に、図９は、実施例１におけるストリーム生成処理のフローチャートであり、図９を用いて、実施例１におけるストリーム生成処理を説明する。尚、コンピュータとしてのＣＰＵ１０２が記憶媒体としてのＲＯＭ１０３などに記憶されたコンピュータプログラムをＲＡＭ１０４に展開して実行することによって図９のフローチャートの各ステップの動作が行われる。
図９において、ステップＳ９０１では、ＣＰＵ１０２は、ＳＭＰＴＥ ＳＴ ２９２－１に従いＥＡＶ、ＬＮ、ＣＲＣＣを生成し、重畳する。

【0085】

ステップＳ９０２では、ＣＰＵ１０２は、上述した各補助データ（アンシラリデータ）を格納したアンシラリデータパケットをブランキング領域に重畳するか判断する。
アンシラリデータパケット毎に重畳位置は異なるため、所定のライン、所定のサンプルタイミングになった場合に、ステップＳ９０３において所定のアンシラリデータパケットを重畳する。ここでステップＳ９０３は、距離情報に関する補助データを生成する補助データ生成ステップ（補助データ生成手段）として機能している。

【0086】

ステップＳ９０４では、アンシラリデータパケットを重畳していないブランキング領域に、画像信号の黒レベルを示すデータを重畳する。黒レベルを示すデータは、例えばＹデータが６４、Ｃデータが５１２のデータである。
ステップＳ９０５では、ＣＰＵ１０２は、ＳＭＰＴＥ ＳＴ ２９２－１に従いＳＡＶを生成し、重畳する。

【0087】

ステップＳ９０６では、ＣＰＵ１０２は、有効画素データ重畳ラインかどうかを判断する。例えば、プログレッシブの画像であれば４２ライン目が有効画素データ重畳ラインの開始ラインであり、有効画素データ重畳ラインは１１２１ライン目まで続く。インタレースの画像であれば第１フィールドの有効画素データ重畳ラインは２１ライン目から５６０ライン目までであり、第２フィールドの有効画素データは５８４ライン目から１１２３ライン目までである。有効画素データ重畳ラインだと判断された場合、ステップＳ９０７に進む。一方、有効画素データ重畳ラインでない場合は、ＣＰＵ１０２は、ステップＳ９０８に進む。

【0088】

ステップＳ９０７では、図７を用いて説明したように距離情報等を重畳する。又、ステップＳ９０８では、ステップＳ９０４と同様に黒データの重畳を行う。
上述した処理をライン毎に行い、更にＳＭＰＴＥ ＳＴ ２９２－１に規定されているようにデータをシリアライズ（順次化）し出力する出力ステップを実行する。

【0089】

それによって、画像処理装置１００は、画像と距離情報と補助データを重畳して画像出力部１０９を介して外部に出力することができる。ここで、ステップＳ１３０１～Ｓ１３０８は、画像と距離情報と補助データとを重畳したデータストリームを生成するデータストリーム生成ステップ（データストリーム生成手段）として機能している。

【0090】

尚、本実施例においては距離情報そのものを出力する例について説明した。しかし、距離情報そのものではなく例えばシフト量を出力すると共に、出力している情報が距離情報ではなくシフト量であることを示す情報と、そのシフト量から距離情報を算出するのに必要な情報とを補助データとして出力しても良い。そうすることで、後処理で距離情報を算出することができる。

【0091】

＜実施例２＞
実施例１では、画像合成などに必要な距離情報及び補助データを外部に出力することで後処理で画像合成をすることができるが、その出力を外部ディスプレイに接続しても人が距離情報を認識しやすい画像としては表示されない。そこで実施例２では、外部ディスプレイに接続して距離情報の取得状況をユーザが確認しやすいように距離情報を出力する例について説明する。

【0092】

図１０は、実施例２における、ディスプレイで視認しやすいように距離情報を出力する処理例を示すフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。尚、本実施例において、実施例１と同一又は同様の構成及びステップについては同一の符号を付し、重複した説明は省略する。

【0093】

ステップＳ１００１において、ＣＰＵ１０２は、図３のステップＳ３０８において算出された距離情報の上位１０ビットにリミット処理を行い禁止コードにならないように変換する。具体的には、距離情報の上位１０ビットが０、１、２、３の場合は４にし、１０２３、１０２２、１０２１、１０２０の場合は１０１９にする。

【0094】

そしてステップＳ１００２では、図６におけるＹデータの重畳位置において、ＣＰＵ１０２が各ワード毎にリミット処理した距離情報の上位１０ビット（Ｄ’［９］～Ｄ’［０］）を図１１のように重畳する。図１１は、実施例２における距離情報の重畳例を示す図である。
一方、Ｃデータの重畳位置においては、例えば最上位ビットであるＣ［９］の位置に１、それ以外のＣ［８］からＣ［０］の位置に０というような固定値を重畳する。

【0095】

以上の処理を行い、ＳＭＰＴＥ ＳＴ ２９２－１の規定に従って画像出力部１０９を介して画像処理装置１００が距離情報を出力することで、ＨＤ－ＳＤＩを受信可能なディスプレイにおいて距離情報を図１２のようにグレースケール表示することができる。図１２は、実施例２における距離情報の表示例を示す図である。
図１２に示す例では、距離が近い被写体ほど輝度が高く、距離が遠い被写体ほど輝度が低く表示されている。このように距離情報が輝度の濃淡で表現されるため、ユーザが容易に距離情報の取得状況を視認することができる。

【0096】

尚、本実施例においては、距離情報をＹデータの位置に重畳する例について説明したが、ステップＳ１００２において、図１３のように距離情報をＣデータの位置に重畳し、固定値をＹデータの位置に重畳する構成としてもよい。図１３は、実施例２における距離情報の他の重畳例を示す図である。
図１３のように、Ｃデータの位置に重畳する場合は外部ディスプレイにおいてヒートマップのように色の濃淡で距離情報を表示することができる。

【0097】

ここで、伝送する画像フォーマットがＹＣｂＣｒ４２２である場合、Ｃデータに対して１ワード毎にＣｂとＣｒを交互に重畳するフォーマットになっている。従って、例えばＣｂには固定値を重畳し、Ｃｒにのみ距離情報を重畳することで、距離情報の水平分解能は半減するが、距離情報が赤色系のグラデーションで外部ディスプレイに表示されるような構成にしても良い。また逆に、Ｃｒには固定値を重畳し、Ｃｂにのみ距離情報を重畳することで、距離情報が青色系のグラデーションで外部ディスプレイに表示されるような構成にしても良い。

【0098】

或いは、所定の閾値を設け、距離情報がその閾値を上回る場合にはＣｂに距離情報、Ｃｒに固定値を重畳し、下回る場合にはＣｒに距離情報、Ｃｂに固定値を重畳するような構成にしても良い。また逆に、距離情報が閾値を上回る場合にはＣｒに距離情報、Ｃｂに固定値を重畳し、下回る場合にはＣｂに距離情報、Ｃｒに固定値を重畳するような構成にしても良い。
或いは、Ｙデータ及びＣデータの両方の位置に距離情報を重畳する構成としてもよく、その場合、距離情報の値に応じて輝度及び色の両方が変化するように外部ディスプレイに表示される。

【0099】

＜実施例３＞
実施例１及び実施例２では、従来画像信号を重畳する位置に距離情報を重畳して伝送する方法について説明したが、その場合、距離情報を出力する端子とは別に出力端子を用意する必要がある。そこで実施例３では、１系統の出力端子で画像信号と距離情報及び補助データを出力する例について説明する。

【0100】

図１４は、実施例３におけるＳＤＩのデータ構造を説明する図であり、図１４を用いて、フレームレートが２９．９７ｆｐｓ、水平解像度が１９２０、垂直解像度が１０８０の場合の３Ｇ－ＳＤＩのデータストリームの構造を説明する。尚、３Ｇ－ＳＤＩのデータストリームはＳＭＰＴＥ ＳＴ ４２５－１で規定されている。

【0101】

図１４では、１ライン分のデータストリームを、１ワードが１０ビットの４つのデータストリームに分けて示している。１フレームでは、このデータストリームが１１２５ラインある。Ｒストリーム、Ｇストリーム、Ｂストリーム、Ａストリームは、夫々１ワードが１０ビットの２２００ワードで構成される。Ａストリームはアルファチャンネルのデータストリームに相当しており、本実施例では、距離情報をアルファチャンネルのデータストリームであるＡストリームに重畳する。

【0102】

データは１９２０ワード目からＥＡＶが重畳され、続いて、ＬＮ及びＣＲＣＣが重畳される。そして、ブランキング領域が２６８ワード続き、ＳＡＶが重畳される。そして、Ｒ（赤）データ、Ｇ（緑）データ、Ｂ（青）データ、Ａ（距離情報）データが１９２０ワード重畳されて伝送される。フレームレートが変わると１ラインのワード数が変わるため、ブランキング領域のワード数が変わる。

【0103】

次に、図１５は、実施例３におけるストリーム生成処理のフローチャートであり、図１６は、実施例３における距離情報の重畳例を示す図である。
図１５のフローチャートと図１６の重畳例を用いて、実施例３におけるストリーム生成処理を説明する。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。本実施例において、実施例２と同一又は同様の構成及びステップについては同一の符号を付し、重複した説明は省略する。

【0104】

ステップＳ１５０１では、図１４におけるＡ（距離情報）データの重畳位置において、ＣＰＵ１０２が各ワード毎にリミット処理した距離情報の上位１０ビット（Ｄ’［９］～Ｄ’［０］）を図１６のように重畳する。一方、ＲＧＢの各データの重畳位置においては、画像信号をＲＧＢの形式でそのまま重畳する。

【0105】

以上説明した処理を行いＳＭＰＴＥ ＳＴ ４２５－１の規定に従って出力することで、１系統の出力端子で画像信号と距離情報及び補助データを出力することができる。
尚、本実施例においては、画像信号をＲＧＢの形式で重畳する例について説明したが、ＲＧＢではなくＹＣｂＣｒなどの形式で重畳し、Ａデータとして図１６のように距離情報を重畳して出力する構成としても良い。

【0106】

＜実施例４＞
実施例１及び実施例２において、距離情報の出力方法の例について夫々説明したが、それらの方法をユーザが選択し、ユーザ自身の使途に適した出力ができるように画像処理装置１００を構成しても良い。そこで実施例４では、各実施例における出力方法を切り替えて出力する例について説明する。

【0107】

図１７は、実施例４における距離情報の出力モード選択処理の例を示すフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。

【0108】

ユーザが操作部１１３を操作して不図示の電源部に電源が投入されると、ステップＳ１７０１において、ＣＰＵ１０２は撮影待機処理を行う。撮影待機処理では、ＣＰＵ１０２は、撮像部１０７で撮像し画像処理部１０５で画像処理を施した画像や、画像処理装置１００の設定をするためのメニューを表示部１１４に表示する。

【0109】

ステップＳ１７０２では、ユーザが表示部１１４を見ながら、操作部１１３を操作し、各種設定を行う。ＣＰＵ１０２は、上記操作に応じた設定を受け付け、対応する処理を画像処理装置１００の各処理部において行う。ここで、ユーザは、選択手段としての操作部１１３を用いて距離情報の出力モードの設定をすることができる。

【0110】

即ち、ユーザは出力モードとして、例えば高精度距離情報出力モード等の設定を選択することができる。高精度距離情報出力モードは、実施例１で説明したように、距離情報を複数のデータストリームに分割重畳し出力するモードを指す。尚、距離情報をアルファチャンネルのデータストリーム（Ａストリーム）に重畳するか否かをユーザが操作部１１３を用いて選択可能としても良い。
又、ユーザは高精度距離情報出力モード以外の出力モードとして、実施例２で説明したグレースケール表示をするためのグレースケール出力モードか、ヒートマップ表示をするためのヒートマップ出力モードにするかの設定を選択できるものとする。

【0111】

このように本実施例では、選択手段としての操作部１１３により、距離情報を複数のデータストリームに分割重畳するか、１つのデータストリームに重畳するかを選択可能である。更に又、１つのデータストリームに重畳する場合、距離情報を輝度のデータストリームに重畳するか、色のデータストリームに重畳するかを、操作部１１３により選択可能である。

【0112】

ステップＳ１７０３では、ＣＰＵ１０２は、ステップＳ１７０２において選択されたモードが高精度距離情報出力モードかを判断する。距離情報を出力するモードが高精度距離情報出力モードの場合、ステップＳ１７０４に進み、高精度距離情報出力モードでない場合はステップＳ１７０５に進む。

【0113】

ステップＳ１７０４では、実施例１で説明した処理を行い、距離情報を出力するモードが高精度距離情報出力モードであることを示す情報と、出力されるデータ構造に関する補助データを、図７で示したように距離情報に重畳し画像出力部１０９から出力する。即ち、ステップＳ１７０４では、距離情報をＹ（輝度）データとＣ（色）データとの複数のデータストリームに分割重畳する。

【0114】

一方、ステップＳ１７０５では、ＣＰＵ１０２は、ステップＳ１７０２において選択されたモードがグレースケール出力モードかヒートマップ出力モードかを判断する。選択されたモードがグレースケール出力モードの場合ステップＳ１７０６に進み、ヒートマップ出力モードの場合ステップＳ１７０７に進む。

【0115】

ステップＳ１７０６では、実施例２で説明した処理を行い、選択されたモードがグレースケール出力モードであることを示す情報と、出力されるデータ構造に関する補助データを、図１１で示したように距離情報に重畳し、画像出力部１０９から出力する。即ち、ステップＳ１７０６では、距離情報を輝度のデータストリームに重畳している。

【0116】

またステップＳ１７０７では、実施例２で説明した処理を行い、選択されたモードがヒートマップ出力モードであることを示す情報と、出力されるデータ構造に関する補助データを図１３で示したように距離情報に重畳し、画像出力部１０９から出力する。即ち、ステップＳ１７０７では、距離情報を色のデータストリームに重畳している。

【0117】

以上説明した処理を行うことで、ユーザは、所望の形式で距離情報を出力することができる。尚、本実施例においては、実施例１と実施例２で説明した出力方式を選択して出力する例について説明したが、更に実施例３で説明した出力方式を選択して出力することができるようにしても良い。

【0118】

＜実施例５＞
実施例１～実施例４において、１０ビットもしくは１８ビットの距離情報を出力する例について説明した。しかし、例えば後処理の画像合成で行いたい処理が、撮影した複数の被写体間にＣＧ画像を挿入するような処理である場合は、距離情報として１０ビットより少ないビット深度の情報を出力した方が後処理を行いやすくなる場合がある。

【0119】

或いは、ビット深度を減らした方が外部ディスプレイに表示した際に視認しやすくなる場合がある。そこで実施例５では、ユーザが操作部１１３を用いてビット深度（有効ビット数）を変更できるようにし、設定したビット深度に応じた距離情報を出力する例について説明する。

【0120】

図１８は、実施例５における距離情報の出力モード選択処理の例を示すフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０２がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０４に展開して実行することにより実現される。尚、本実施例において、実施例４と同一又は同様の構成及びステップについては同一の符号を付し、重複した説明は省略する。

【0121】

ステップＳ１８０１では、ユーザが表示部１１４を見ながら、操作部１１３を操作して距離情報のビット深度（有効ビット数）等の変更をする。ＣＰＵ１０２は、上記操作に応じた設定や処理を画像処理装置１００の各処理部に対して行う。ここで、操作部１１３は、距離情報の有効ビット数を選択可能な有効ビット数選択手段として機能している。

【0122】

以下、距離情報の有効ビット数を３ビットに設定した場合の例を説明する。
ステップＳ１８０２では、実施例１と同様の処理を行い、距離情報を出力するモードが高精度距離情報出力モードであることを示す補助データと、距離情報の有効ビット数を示す補助データを、図１９で示すような距離情報と重畳する。そして画像出力部１０９から出力する。

【0123】

図１９は、実施例５における高精度距離情報出力モードでの距離情報の重畳例を示す図であり、Ｙ［９］の位置にＹ［８］の位置に重畳する値を反転した値、Ｃ［９］の位置に重畳する値としてＣ［８］の位置に重畳する値を反転した値を重畳する。そして、Ｙ［８］からＹ［０］、Ｃ［８］からＣ［０］の位置に、ステップＳ１８０１で設定された有効ビット数の距離情報の上位ビットを重畳し、それ以外の下位ビットには０データを重畳する。

【0124】

ステップＳ１８０３では、実施例２で説明した処理を行い、選択されたモードがグレースケール出力モードであることを示す補助データと、距離情報の有効ビット数を示す補助データを、図２０で示すように距離情報と重畳し、画像出力部１０９から出力する。

【0125】

図２０は、実施例５におけるグレースケール出力モードでの距離情報の重畳例を示す図である。図２０で示した距離情報Ｄ’’は、ステップＳ１８０１で設定された有効ビット数の分だけ距離情報の上位ビットを抽出し、それ以外の下位ビットは０データで埋めた上で、ステップＳ１００１で行ったリミット処理と同様の処理を行った値である。

【0126】

図２１は、実施例５における距離情報の表示例を示す図であり、ステップＳ１８０３で出力した距離情報を外部ディスプレイで受信し表示すると、図２１のように、所定の距離ごとに分けられた複数のレイヤーが、夫々異なる輝度で表現された表示となる。

【0127】

ステップＳ１８０４では、実施例２で説明した処理を行い、選択されたモードがヒートマップ出力モードであることを示す補助データと、距離情報の有効ビット数を示す補助データと共に、図２２で示したように距離情報を重畳する。そして、画像出力部１０９から出力する。

【0128】

ここで、図２２は、実施例５におけるヒートマップ出力モードでの距離情報の重畳例を示す図である。図２２で示した距離情報Ｄ’’は、ステップＳ１８０１で設定された有効ビット数の分だけ距離情報の上位ビットを抽出し、それ以外の下位ビットは０データで埋めた上で、ステップＳ１００１で行ったリミット処理と同様の処理を行った値である。

【0129】

以上説明したように本実施例における処理を行うことで、ユーザはビット深度を選択して設定することが可能であり、設定されたビット深度に応じた距離情報を出力することができる。

【0130】

尚、以上の実施例では、ＳＭＰＴＥ ＳＴ ２９２－１やＳＭＰＴＥ ＳＴ ４２５－１に規定されているフレームレートが２９．９７ｆｐｓ、水平解像度が１９２０、垂直解像度が１０８０の出力フォーマットに距離情報を重畳して出力する例を説明した。しかし、フレームレートや解像度は上記の例に限らず、又、他の出力フォーマットに距離情報を重畳して出力しても良い。

【0131】

又、上述した各実施例においては、伝送路が１本である場合を説明したが、これに限らず、伝送路を複数用意し、画像とは別の伝送路を用いて距離情報のデータを出力する構成を採用しても良い。又、伝送技術はＳＤＩに限らず、ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）、ＵＳＢ、又はＬＡＮなどの画像伝送を行える伝送技術でもよく、これらを組み合わせて伝送路を複数用意しても良い。尚、本実施例における出力手段は、像と距離情報と補助データとを重畳したデータストリームをメモリを介して外部に出力（供給）するものを含む。

【0132】

又、例えば、実施例１～実施例５までを部分的に適宜組み合わせても良い。又、画像処理装置１００の表示部１１４におけるメニュー表示で、ユーザにより実施例１～実施例５に記載される機能やそれらの組み合わせを適宜選択できるように構成しても良い。

【0133】

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

【0134】

尚、本実施例における制御の一部又は全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理装置等に供給するようにしてもよい。そしてその画像処理装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

【符号の説明】

【0135】

１００：画像処理装置
１０１：内部バス
１０２：ＣＰＵ
１０３：ＲＯＭ
１０４：ＲＡＭ
１０５：画像処理部
１０６：レンズユニット
１０７：撮像部
１０８：ネットワークモジュール
１０９：画像出力部
１１０：記録媒体Ｉ／Ｆ
１１１：フレームメモリ
１１２：記録媒体
１１３：操作部
１１４：表示部
１１５：物体検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】