特開 2022-28085 画像処理装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022028085

(43)【公開日】2022-02-15

(54)【発明の名称】画像処理装置および方法

(51)【国際特許分類】

   H04N 19/11 20140101AFI20220207BHJP

   H04N 19/136 20140101ALI20220207BHJP

   H04N 19/46 20140101ALI20220207BHJP

   H04N 19/50 20140101ALI20220207BHJP

   H04N 5/232 20060101ALI20220207BHJP

【ＦＩ】

H04N19/11

H04N19/136

H04N19/46

H04N19/50

H04N5/232 120

H04N5/232 290

H04N5/232 300

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2018223023

(22)【出願日】2018-11-29

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(72)【発明者】

【氏名】井原 利昇

(72)【発明者】

【氏名】名雲 武文

(72)【発明者】

【氏名】大道 誠

【テーマコード（参考）】

5C122

5C159

【Ｆターム（参考）】

5C122EA55

5C122FD07

5C122FH08

5C122HA01

5C122HA08

5C122HA86

5C122HA88

5C122HB01

5C122HB09

5C122HB10

5C159MA04

5C159MC11

5C159ME01

5C159RC12

5C159TA33

5C159TC02

5C159UA02

5C159UA05

(57)【要約】

【課題】予測誤差の増大を抑制することができるようにする。
【解決手段】合焦に関するパラメータに基づいて設定された予測方式による予測を用いて撮像画像データを符号化する。また、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて、撮像画像データの符号化データを復号する。本開示は、例えば、画像処理装置、画像符号化装置、画像復号装置、撮像素子、または撮像装置等に適用することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

合焦に関するパラメータに基づいて設定された予測方式による予測を用いて撮像画像データを符号化する符号化部
を備える画像処理装置。

【請求項2】

前記予測方式は、前記合焦に関するパラメータに基づいて、被写体に合焦しているか否かに応じて設定される
請求項１に記載の画像処理装置。

【請求項3】

前記被写体に合焦している場合、処理対象画素と同色の画素の中で前記処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式が設定される
請求項２に記載の画像処理装置。

【請求項4】

前記被写体に合焦していない場合、画素値を検出するフォトダイオードの位置が処理対象画素と同一であり、かつ、前記処理対象画素と同色の画素の中で前記処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式が設定される
請求項２に記載の画像処理装置。

【請求項5】

前記合焦に関するパラメータは、前記合焦のための位相差検出に用いられる画素値から導出される
請求項１に記載の画像処理装置。

【請求項6】

前記合焦に関するパラメータは、前記符号化部が前記撮像画像データを符号化して生成した符号化データを復号して得られる撮像画像データの前記画素値を用いて行われる前記位相差検出の結果である
請求項５に記載の画像処理装置。

【請求項7】

前記合焦に関するパラメータは、前記撮像画像データの前記画素値を用いて行われる各予測方式による予測の結果である
請求項５に記載の画像処理装置。

【請求項8】

前記予測方式を設定する設定部をさらに備え、
前記符号化部は、前記設定部により設定された前記予測方式による予測を用いて前記撮像画像データを符号化する
請求項１に記載の画像処理装置。

【請求項9】

前記符号化部は、前記設定部により設定された予測方式を示す予測方式情報を、前記撮像画像データを符号化して生成した符号化データに付加する
請求項８に記載の画像処理装置。

【請求項10】

合焦に関するパラメータに基づいて設定された予測方式による予測を用いて撮像画像データを符号化する
画像処理方法。

【請求項11】

合焦に関するパラメータに基づいて設定された予測方式による予測を用いて、撮像画像データの符号化データを復号する復号部
を備える画像処理装置。

【請求項12】

前記予測方式は、前記合焦に関するパラメータに基づいて、被写体に合焦しているか否かに応じて設定される
請求項１１に記載の画像処理装置。

【請求項13】

前記被写体に合焦している場合、処理対象画素と同色の画素の中で前記処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式が設定される
請求項１２に記載の画像処理装置。

【請求項14】

前記被写体に合焦していない場合、画素値を検出するフォトダイオードの位置が処理対象画素と同一であり、かつ、前記処理対象画素と同色の画素の中で前記処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式が設定される
請求項１２に記載の画像処理装置。

【請求項15】

前記合焦に関するパラメータは、前記復号部が前記符号化データを復号して得られる撮像画像データを用いて行われる前記合焦のための位相差検出の結果である
請求項１１に記載の画像処理装置。

【請求項16】

前記合焦に関するパラメータは、前記符号化データに付加された、符号化の際に用いられた予測方式を示す予測方式情報である
請求項１１に記載の画像処理装置。

【請求項17】

前記予測方式を設定する設定部をさらに備え、
前記復号部は、前記設定部により設定された前記予測方式による予測を用いて前記符号化データを復号する
請求項１１に記載の画像処理装置。

【請求項18】

撮像画像データを符号化して前記符号化データを生成する際に用いられた予測方式を示す予測方式情報に基づいて、前記合焦のための位相差検出用の補助情報を生成する補助情報生成部と、
前記復号部により前記符号化データが復号されて生成された撮像画像データと、前記補助情報生成部により生成された前記補助情報とに基づいて、前記位相差検出を行う位相差検出部と
をさらに備える請求項１１に記載の画像処理装置。

【請求項19】

撮像画像データの符号化および復号による誤差を示す誤差情報に基づいて、前記合焦のための位相差検出の結果の信頼度を示す信頼度情報を生成する信頼度情報生成部と、
前記復号部により前記符号化データが復号されて生成された撮像画像データと、前記信頼度情報生成部により生成された前記信頼度情報とに基づいて、前記位相差検出を行う位相差検出部と
をさらに備える請求項１１に記載の画像処理装置。

【請求項20】

合焦に関するパラメータに基づいて設定された予測方式による予測を用いて、撮像画像データの符号化データを復号する
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置および方法に関し、特に、予測誤差の増大を抑制することができるようにした画像処理装置および方法に関する。

【背景技術】

【0002】

従来、画素において互いに異なる射出瞳を出射した光束に対応した複数の信号を検出し、その検出した複数の信号から位相差を検出し、その検出した位相差に基づいて焦点距離を制御し、被写体に合焦させる方法が考えられた（例えば、特許文献１および特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－２１５５５１号公報

【特許文献2】特開２０１７－７９４０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、このような画素を有する撮像部を用いて被写体を撮像し、撮像画像データを得る場合、合焦（フォーカス）の度合いに応じて画素の空間的な相関が変化するおそれがあった。そのため、このような撮像部により得られた撮像画像データから単一の予測方法で画素値を予測し、その予測誤差を用いてその撮像画像データを符号化する場合、合焦の度合いによって、その予測誤差が増大するおそれがあった。

【0005】

本開示は、このような状況に鑑みてなされたものであり、予測誤差の増大を抑制することができるようにするものである。

【課題を解決するための手段】

【0006】

本技術の一側面の画像処理装置は、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて撮像画像データを符号化する符号化部を備える画像処理装置である。

【0007】

本技術の一側面の画像処理方法は、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて撮像画像データを符号化する画像処理方法である。

【0008】

本技術の他の側面の画像処理装置は、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて、撮像画像データの符号化データを復号する復号部を備える画像処理装置である。

【0009】

本技術の他の側面の画像処理方法は、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて、撮像画像データの符号化データを復号する画像処理方法である。

【0010】

本技術の一側面の画像処理装置および方法においては、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて撮像画像データが符号化される。

【0011】

本技術の他の側面の画像処理装置および方法においては、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて、撮像画像データの符号化データが復号される。

【図面の簡単な説明】

【0012】

【図1】本技術を適用した予測方式等の一覧を示す図である。

【図2】方法１を実現する画像処理装置の主な構成例を示すブロック図である。

【図3】符号化部の主な構成例を示すブロック図である。

【図4】復号部の主な構成例を示すブロック図である。

【図5】画素アレイの主な構成例を説明する図である。

【図6】画素の主な構成例を説明する図である。

【図7】予測方式の例を説明する図である。

【図8】予測方式の他の例を説明する図である。

【図9】画素アレイの他の構成例を説明する図である。

【図10】予測方式の例を説明する図である。

【図11】予測値を導出する演算の例を説明する図である。

【図12】予測方式の他の例を説明する図である。

【図13】画像処理の流れの例を説明するフローチャートである。

【図14】簡易符号化処理の流れの例を説明するフローチャートである。

【図15】簡易復号処理の流れの例を説明するフローチャートである。

【図16】方法１を実現する撮像装置の主な構成例を示すブロック図である。

【図17】撮像処理の流れの例を説明するフローチャートである。

【図18】撮像処理の流れの例を説明する、図１７に続くフローチャートである。

【図19】方法２を実現する画像処理装置の主な構成例を示すブロック図である。

【図20】ビットストリームの主な構成例を説明する図である。

【図21】符号化部の主な構成例を示すブロック図である。

【図22】復号部の主な構成例を示すブロック図である。

【図23】画像処理の流れの例を説明するフローチャートである。

【図24】符号化処理の流れの例を説明するフローチャートである。

【図25】復号処理の流れの例を説明するフローチャートである。

【図26】方法２を実現する撮像装置の主な構成例を示すブロック図である。

【図27】撮像処理の流れの例を説明するフローチャートである。

【図28】撮像処理の流れの例を説明する、図２７に続くフローチャートである。

【図29】方法２－１を実現する画像処理装置の主な構成例を示すブロック図である。

【図30】補助情報生成部の主な構成例を示すブロック図である。

【図31】画像処理の流れの例を説明するフローチャートである。

【図32】補助情報生成処理の流れの例を説明するフローチャートである。

【図33】方法２－１を実現する撮像装置の主な構成例を示すブロック図である。

【図34】撮像処理の流れの例を説明するフローチャートである。

【図35】撮像処理の流れの例を説明する、図３４に続くフローチャートである。

【図36】方法３を実現する画像処理装置の主な構成例を示すブロック図である。

【図37】誤差情報について説明する図である。

【図38】信頼度情報生成部の主な構成例を示すブロック図である。

【図39】誤差情報について説明する図である。

【図40】画像処理の流れの例を説明するフローチャートである。

【図41】信頼度情報生成処理の流れの例を説明するフローチャートである。

【図42】方法３を実現する撮像装置の主な構成例を示すブロック図である。

【図43】撮像処理の流れの例を説明するフローチャートである。

【図44】撮像処理の流れの例を説明する、図４３に続くフローチャートである。

【図45】積層型イメージセンサの主な構成例を示す図である。

【図46】積層型イメージセンサの主な構成例を示す図である。

【図47】コンピュータの主な構成例を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．位相差検出を行う画素を用いた予測
２．第１の実施の形態（方法＃１詳細）
３．第２の実施の形態（方法＃２詳細）
４．第３の実施の形態（方法＃２－１詳細）
５．第４の実施の形態（方法＃３詳細）
６．第５の実施の形態（積層型イメージセンサ）
７．付記

【0014】

＜１．位相差検出を行う画素を用いた予測＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。

【0015】

特許文献３：ＵＳ２０１１／０２９２２４７
特許文献４：ＵＳ２０１２／０２１９２３１
特許文献５：特開２０１４－１０３５４３号公報

【0016】

つまり、上述の文献に記載されている内容もサポート要件を判断する際の根拠となる。

【0017】

＜DPCM符号化＞
従来、例えば特許文献１や特許文献２に記載のように、画素において互いに異なる射出瞳を出射した光束に対応した複数の信号を検出し、その検出した複数の信号から位相差を検出し、その検出した位相差に基づいて焦点距離を制御し、被写体に合焦させる方法が考えられた。

【0018】

また、例えば特許文献３乃至特許文献５に記載のように、インタフェースの使用帯域やメモリ容量の増大抑制等を目的として、撮像画像のデータ（撮像画像データとも称する）の伝送時や記録時において、その撮像画像データを、DPCM（Differential Pulse Code Modulation）を用いた符号化により圧縮する方法が考えられた。DPCM符号化においては、処理対象画素の画素値をその周辺に位置する画素（周辺画素とも称する）の画素値を用いて予測し、その予測値との差分（予測誤差）を符号化することにより符号化効率を向上させる。

【0019】

しかしながら、上述のような位相差を検出することができる画素を有する撮像部を用いて被写体を撮像し、撮像画像データを得る場合、合焦（フォーカス）の度合いに応じて画素の空間的な相関が変化するおそれがあった。

【0020】

そのため、このような撮像部により得られた撮像画像データを、単一の予測方法でDPCM符号化する場合、合焦の度合いによって、その予測誤差が増大するおそれがあった。つまり、合焦の度合いを考慮せずに、処理対象画素に対して所定の位置関係にある周辺画素の画素値を用いて処理対象画素の画素値の予測を行い、その予測誤差を用いて符号化を行う場合、合焦の度合いによって画素の空間的な相関が変化するため、その予測誤差が増大するおそれがあった。可変長符号化の場合、予測誤差が増大すると、符号化効率が低減するおそれがあった。また、固定長符号化の場合、予測誤差が増大すると、撮像画像データを符号化・復号して得られる復号画像の画質が低減するおそれがあった。

【0021】

＜予測方式制御＞
そこで、合焦の度合いに応じて予測方式を制御するようにする。

【0022】

例えば、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて撮像画像データを符号化するようにする。例えば、画像処理装置において、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて撮像画像データを符号化する符号化部を備えるようにする。

【0023】

このようにすることにより、合焦の度合いに応じた画素の空間的な相関の変化を抑制するように、撮像画像データを符号化することができる。したがって、予測誤差の増大を抑制することができる。これにより、可変長符号化の場合、符号化効率の低減を抑制することができる。また、固定長符号化の場合、復号画像の画質の低減を抑制することができる。

【0024】

また、例えば、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて、撮像画像データの符号化データを復号するようにする。例えば、画像処理装置において、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて、撮像画像データの符号化データを復号する復号部を備えるようにする。

【0025】

このようにすることにより、合焦の度合いに応じた画素の空間的な相関の変化を抑制するように符号化された撮像画像データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。これにより、可変長符号化の場合、符号化効率の低減を抑制することができる。また、固定長符号化の場合、復号画像の画質の低減を抑制することができる。

【0026】

なお、このような符号化や復号に用いられる予測方式は、例えば、合焦に関するパラメータに基づいて、被写体に合焦しているか否かに応じて設定されるようにしてもよい。このようにすることにより、合焦の度合いに応じた予測方式を選択することができる。

【0027】

例えば、被写体に合焦している場合、処理対象画素と同色の画素の中で処理対象画素の最も近傍に位置する画素の画素値を、処理対象画素の画素値の予測値とする予測方式が設定されるようにしてもよい。ここで、処理対象画素と同色の画素とは、処理対象画素と同種のカラーフィルタが設けられる画素を示す。また、ここで、同種のカラーフィルタとは、同一の（または略同様の）波長光を透過するカラーフィルタを示す。このようにすることにより、被写体に合焦している状態において、予測誤差の増大を抑制することができる。

【0028】

また例えば、被写体に合焦していない場合、画素値を検出するフォトダイオードの位置が処理対象画素と同一であり、かつ、その処理対象画素と同色の画素の中で処理対象画素の最も近傍に位置する画素の画素値を、処理対象画素の画素値の予測値とする予測方式が設定されるようにしてもよい。ここで、画素値を検出するフォトダイオードの位置とは、そのフォトダイオードの画素内における位置を示す。つまり、「画素値を検出するフォトダイオードの位置が処理対象画素と同一の」周辺画素とは、処理対象画素の周辺画素の内、画素値を検出するフォトダイオードのその画素内の位置が処理対象画素と同一である画素を示す。「処理対象画素と同色の画素」や「同種のカラーフィルタ」は、上述の通りである。このようにすることにより、被写体に合焦していない状態において、予測誤差の増大を抑制することができる。

【0029】

なお、被写体に合焦している場合および被写体に合焦していない場合のそれぞれにおいて、上述のように予測方式を設定することにより、合焦の度合いに関わらず（被写体に合焦している場合も合焦していない場合も）、予測誤差の増大を抑制することができる。

【0030】

また、例えば、上述の合焦に関するパラメータは、その合焦のための位相差検出に用いられる画素値から導出されるようにしてもよい。このようにすることにより、位相差検出を利用して、より容易に予測誤差の増大を抑制することができる。例えば、撮像部（撮像素子）の位相差検出用の画素構造を利用して、より容易に予測誤差の増大を抑制することができる。

【0031】

例えば、図１に示される表１０の「方法１」のように、位相差検出結果に応じて予測方式を制御するようにしてもよい。つまり、例えば、撮像画像データを符号化して生成した符号化データを復号して得られる撮像画像データの画素値（すなわち、復号画像の画素値）を用いて行われる位相差検出の結果を、上述の合焦に関するパラメータとして用い、符号化や復号に適用される予測方式を設定するようにしてもよい。

【0032】

このようにすることにより、例えば、焦点距離制御のための位相差検出の結果を利用して、符号化および復号に適用される予測方式をより容易に求めることができる。つまり、この予測方式の設定に関する処理による符号化や復号の負荷の増大を抑制することができる。また、符号化において適用された予測方式を示す予測方式情報を復号側に伝送させる必要が無いため、符号化効率の低減を抑制することができる。さらに、焦点距離制御のための位相差検出の結果を利用することにより、より正確に合焦の度合いに応じて予測方式を設定することができる。すなわち、予測誤差の増大をより抑制することができる。

【0033】

また、例えば、図１に示される表１０の「方法２」のように、撮像画像に応じて予測方式を制御するようにしてもよい。つまり、例えば、撮像画像データの、合焦のための位相差検出に用いられる画素値を用いて行われる各予測方式による予測の結果を、上述の合焦に関するパラメータとして用い、符号化に適用される予測方式を設定するようにしてもよい。

【0034】

このようにすることにより、例えば、撮像画像データから符号化に適用される予測方式を設定することができる。すなわち、復号画像のフィードバックを必要とせずに、より容易に符号化に適用される予測方式を設定することができる。つまり、この予測方式の設定に関する処理による符号化の負荷の増大を抑制することができる。

【0035】

また、その場合、例えば、そのように設定された予測方式を復号側に伝送するようにしてもよい。例えば、その符号化に適用された予測方式を示す予測方式情報を符号化データに付加して復号側に伝送するようにしてもよい。換言するに、その符号化データに付加された予測方式情報を、上述の合焦に関するパラメータとして用い、復号に適用される予測方式を設定するようにしてもよい。

【0036】

このようにすることにより、復号に適用される予測方式の設定に必要な演算量の増大を抑制することができる。すなわち、より容易に復号に適用される予測方式を設定することができる。つまり、この予測方式の設定に関する処理による復号の負荷の増大を抑制することができる。

【0037】

また、この「方法２」の場合、さらに、図１に示される表１０の「方法２－１」のように、上述の予測方式情報（撮像画像データの符号化に適用された予測方式）に基づいて、（焦点距離制御のための）位相差の検出を行うようにしてもよい。例えば、その予測方式情報を補助情報として用い、復号画像の位相差検出を行うようにしてもよい。このようにすることにより、位相差検出処理をより容易に行うことができる。例えば、予測方式情報に基づいて、被写体に全く合焦していない場合、焦点距離制御の精度を粗くし、被写体に略合焦している場合、その精度を細かくすることにより、より効率よく焦点距離を制御することができる（焦点距離制御の負荷や処理時間を低減させることができる、または、より高精度に焦点距離を制御することができる）。

【0038】

また、図１に示される表１０の「方法３」のように、上述のような撮像画像データの符号化および復号による誤差を示す誤差情報に基づいて、（焦点距離制御のための）位相差の検出を行うようにしてもよい。例えば、撮像画像データを符号化し、その符号化データを復号することにより生じる誤差（その誤差を示す誤差情報）を、位相差検出結果の信頼度を示す信頼度情報として用い、復号画像の位相差検出を行うようにしてもよい。例えば、符号化・復号により生じる誤差が大きな画素値を用いて導出される位相差検出結果は、相対的に信頼度が低減する可能性が高い。したがって、この信頼度情報に基づいて、誤差が大きな部分の画素値は位相差検出に用いないように制御するようにしてもよい。このようにすることにより、より正確に焦点距離を制御することができる。

【0039】

なお、図１に示される表１０の「方法３－１」のように、この「方法３」は、上述の「方法１」と組み合わせて用いることもできる。さらに、図１に示される表１０の「方法３－２」のように、この「方法３」は、上述の「方法２」や「方法２－１」と組み合わせて用いることもできる。

【0040】

＜２．第１の実施の形態＞
＜画像処理装置＞
次に、図１の各方法についてより具体的に説明する。本実施の形態においては、「方法１」について説明する。図２は、本技術を適用した画像処理装置の構成の一例を示すブロック図である。図２に示される画像処理装置１００は、入力された撮像画像データを符号化して符号化データを生成し、さらに、その符号化データを復号して撮像画像データを生成し、出力する装置である。この画像処理装置１００は、その撮像画像データの符号化・復号における予測方式の制御方法として「方法１」を適用する。図２に示されるように、この画像処理装置１００は、符号化部１０１、復号部１０２、位相差検出部１０３、および予測方式設定部１０４を有する。

【0041】

符号化部１０１は、画像の符号化に関する処理を行う。例えば、符号化部１０１は、画像処理装置１００に入力された撮像画像データを取得する。また、符号化部１０１は、その取得した撮像画像データを、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて撮像画像データを符号化する。つまり、符号化部１０１は、予測方式設定部１０４により指定される予測方式を適用して符号化する。したがって、符号化部１０１は、符号化に適用する予測方式をより容易に設定することができる。つまり、符号化処理の負荷の増大を抑制することができる。

【0042】

詳細については後述するが、符号化部１０１は、所謂AVCやHEVC等の一般的な画像符号化よりも簡易な方法で、撮像画像データを符号化する。以下において、この符号化部１０１による符号化を簡易符号化とも称する。

【0043】

符号化部１０１は、その符号化データを、記録媒体または伝送媒体を介して、復号部１０２に供給する。例えば、符号化部１０１は、その符号化データを、半導体メモリやハードディスク等の記録媒体に記録する。また、例えば、符号化部１０１は、その符号化データを、バス等の伝送路を介して復号部１０２に送信する。

【0044】

復号部１０２は、画像の復号に関する処理を行う。例えば、復号部１０２は、記録媒体または伝送媒体を介して符号化部１０１から供給される符号化データを取得する。例えば、復号部１０２は、半導体メモリやハードディスク等の記録媒体から、符号化部１０１により記録された符号化データを読み出す。また、例えば、復号部１０２は、符号化部１０１からバス等の伝送路を介して伝送されるその符号化データを受信する。また、復号部１０２は、その取得した符号化データを、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて復号する。つまり、復号部１０２は、予測方式設定部１０４により設定された予測方式を適用して復号を行う。したがって、復号部１０２は、符号化データに予測方式に関する情報が含まれていなくても、符号化の際に適用されたのと同一の予測方式を適用することができる。したがって符号化効率の低減を抑制することができる。

【0045】

詳細については後述するが、復号部１０２は、所謂AVCやHEVC等の一般的な画像復号よりも簡易な方法で、撮像画像データが符号化された符号化データを復号する。以下において、この復号部１０２による復号を簡易復号とも称する。

【0046】

復号部１０２は、その生成した撮像画像データを、画像処理装置１００の外部に出力する。また、復号部１０２は、その撮像画像データを、位相差検出部１０３に供給する。

【0047】

位相差検出部１０３は、位相差の検出に関する処理を行う。例えば、位相差検出部１０３は、復号部１０２から供給される撮像画像データ（復号結果）を取得する。また、位相差検出部１０３は、取得した撮像画像データを用いて、（被写体への）合焦のための位相差の検出を行う。この撮像画像データは像面において位相差を検出可能な撮像素子により生成されたものであり、位相差検出部１０３は、この撮像画像データから位相差を検出することができる。さらに、位相差検出部１０３は、導出した位相差検出結果を予測方式設定部１０４に供給する。

【0048】

予測方式設定部１０４は、予測方式の設定に関する処理を行う。例えば、予測方式設定部１０４は、位相差検出部１０３より供給される位相差検出結果を取得する。また、予測方式設定部１０４は、符号化や復号に適用される予測方式を設定する。例えば、予測方式設定部１０４が、合焦に関するパラメータに基づいて、その予測方式を設定するようにしてもよい。例えば、予測方式設定部１０４が、取得した位相差検出結果を合焦に関するパラメータとし、そのパラメータに基づいて、その予測方式を設定するようにしてもよい。

【0049】

例えば、予測方式設定部１０４が、そのパラメータに基づいて、被写体に合焦しているか否かに応じて、その予測方式を設定するようにしてもよい。このようにすることにより、予測方式設定部１０４は、合焦の度合いに応じた予測方式を設定することができる。

【0050】

例えば、予測方式設定部１０４が、被写体に合焦している場合、その予測方式として、処理対象画素と同色の画素の中でその処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式を設定するようにしてもよい。このようにすることにより、予測方式設定部１０４は、被写体に合焦している状態において、予測誤差の増大を抑制することができる。

【0051】

また、例えば、予測方式設定部１０４が、被写体に合焦していない場合、その予測方式として、画素値を検出するフォトダイオードの位置が処理対象画素と同一であり、かつ、処理対象画素と同色の画素の中でその処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式を設定するようにしてもよい。このようにすることにより、予測方式設定部１０４は、被写体に合焦していない状態において、予測誤差の増大を抑制することができる。

【0052】

なお、予測方式設定部１０４が、被写体に合焦している場合および被写体に合焦していない場合のそれぞれにおいて、上述のように予測方式を設定するようにしてもよい。このようにすることにより、予測方式設定部１０４は、合焦の度合いに関わらず（被写体に合焦している場合も合焦していない場合も）、予測誤差の増大を抑制することができる。

【0053】

さらに、例えば、予測方式設定部１０４が、合焦のための位相差検出の結果を上述の合焦に関するパラメータとして用い、予測方式を設定するようにしてもよい。つまり、予測方式設定部１０４が、位相差検出部１０３により行われた位相差の検出結果を上述の合焦に関するパラメータとして用い、符号化や復号に適用される予測方式を設定するようにしてもよい。このようにすることにより、予測方式設定部１０４は、例えば、焦点距離制御のための位相差検出の結果を利用して、符号化および復号に適用される予測方式をより容易に求めることができる。つまり、予測方式設定部１０４は、この予測方式の設定に関する処理による符号化や復号の負荷の増大を抑制することができる。また、予測方式設定部１０４は、符号化において適用された予測方式を示す予測方式情報を復号側に伝送させる必要が無いため、符号化効率の低減を抑制することができる。さらに、予測方式設定部１０４は、焦点距離制御のための位相差検出の結果を利用することにより、より正確に合焦の度合いに応じて予測方式を設定することができる。すなわち、予測方式設定部１０４は、予測誤差の増大をより抑制することができる。

【0054】

さらに、予測方式設定部１０４は、設定した予測方式を符号化部１０１および復号部１０２に供給する。

【0055】

以上に説明した各処理部（符号化部１０１乃至予測方式設定部１０４）は、１つの装置（例えば画像処理装置１００）として構成されるようにしてもよいし、複数の装置として構成されるようにしてもよい。例えば、符号化部１０１と復号部１０２とが、互いに異なる装置として構成されるようにしてもよい。その場合、位相差検出部１０３および予測方式設定部１０４は、符号化部１０１を有する装置に設けられるようにしてもよいし、復号部１０２を有する装置に設けられるようにしてもよいし、符号化部１０１を有する装置、および、復号部１０２を有する装置とは異なる装置に設けられるようにしてもよい。また、位相差検出部１０３と予測方式設定部１０４とが互いに異なる装置に設けられるようにしてもよい。その場合、例えば、位相差検出部１０３が復号部１０２を有する装置に設けられるようにし、予測方式設定部１０４が符号化部１０１を有する装置に設けられるようにしてもよい。また、位相差検出部１０３または予測方式設定部１０４のいずれか一方が、符号化部１０１を有する装置および復号部１０２を有する装置とは異なる装置に設けられるようにしてもよい。さらに、符号化部１０１乃至予測方式設定部１０４が、それぞれ、互いに異なる装置として構成されるようにしてもよい。

【0056】

＜符号化部＞
図３は、図２の符号化部１０１の主な構成例を示すブロック図である。図３に示されるように、この場合の符号化部１０１は、DPCM（Differential Pulse Code Modulation）処理部１２１、ゴロム符号化部１２２、および圧縮率調整部１２３を有する。

【0057】

DPCM処理部１２１は、DPCMに関する処理を行う。例えば、DPCM処理部１２１は、画像処理装置１００に入力される撮像画像データを取得する。また、DPCM処理部１２１は、予測方式設定部１０４により設定された予測方式を取得する。DPCM処理部１２１はそれらの情報を用いて、DPCM処理を行う。DPCM処理は、周辺画素の画素値を用いて処理対象画素の画素値の予測を行い（つまり、処理対象画素の画素値の予測値を導出し）、その予測値と処理対象画素の画素値との差分（予測誤差）を求める処理である。

【0058】

DPCM処理部１２１は、取得した撮像画像データに対して、このような処理を行い、予測誤差を導出する。例えば、DPCM処理部１２１は、撮像画像データの所定のサイズのブロック毎に、このようなDPCM処理を行う。その場合、DPCM処理部１２１は、そのブロックの先頭の画素の画素値は、PCM処理して出力し（つまりそのまま出力し）、それ以外の画素について上述のように予測誤差を求める。なお、PCM処理された画素値も、予測値０（初期値）との予測誤差と言えるので、以下においては、それらの処理結果を区別せずに予測誤差と称する。このように予測誤差（差分値）を導出することにより、情報量を低減させることができる。

【0059】

また、DPCM処理部１２１が、各画素値の（上位の）一部のビットのみに対して上述のようにDPCM処理するようにしてもよい。このようにすることにより、画素値を量子化することができる。例えば、DPCM処理部１２１が、ビット長１０ビットの画素値に対して、上位５ビットをDPCM処理するようにしてもよい。このようにすることにより、DPCM処理部１２１は、さらに情報量を低減させることができる。

【0060】

そして、このようなDPCM処理において、DPCM処理部１２１は、予測方式設定部１０４により設定された予測方式を適用する。つまり、DPCM処理部１２１は、予測方式設定部１０４により指定される周辺画素を用いて処理対象画素の予測値を導出する。このようにすることにより、DPCM処理部１２１は、合焦に関するパラメータに基づいて（例えば、被写体に合焦しているか否かに応じて）設定された周辺画素を用いて予測値を導出することができる。したがって、DPCM処理部１２１は、合焦の度合いに応じた予測方式により予測値を導出することができる。

【0061】

DPCM処理部１２１は、以上のように導出した予測値やDPCM処理される前の撮像画像データをゴロム符号化部１２２に供給する。

【0062】

ゴロム符号化部１２２は、ゴロム符号化に関する処理を行う。例えば、ゴロム符号化部１２２は、DPCM処理部１２１から供給される予測誤差や撮像画像データを取得する。ゴロム符号化部１２２は、その取得した予測誤差をゴロム符号（Golomb Coding）に符号化する。このような処理によりゴロム符号化部１２２は、一般的に情報量を低減させることができる。ゴロム符号化部１２２は、そのゴロム符号（符号化データ）と撮像画像データを圧縮率調整部１２３に供給する。

【0063】

圧縮率調整部１２３は、圧縮率の調整に関する処理を行う。例えば、圧縮率調整部１２３は、ゴロム符号化部１２２から供給されるゴロム符号や撮像画像データを取得する。圧縮率調整部１２３は、撮像画像データを用いてゴロム符号の符号量（すなわち圧縮率）を制御する。

【0064】

圧縮率調整部１２３は、DPCM処理部１２１によりDPCM処理されなかった任意の数のビットの情報を撮像画像データから抽出し、それをリファインメントとして、取得したゴロム符号に付加することにより、符号量、すなわち圧縮率を調整する。例えば、圧縮率調整部１２３は、このようにリファインメントを付加することにより、各ブロックの符号量を固定長とする（つまり固定長符号化を実現する）ことができる。

【0065】

圧縮率調整部１２３は、以上のようにリファインメントを付加したゴロム符号（符号量が調整されたゴロム符号）を符号化データとして符号化部１０１の外部に出力する。この符号化データは、例えば、記録媒体や伝送媒体を介して、復号部１０２に伝送される（図２）。

【0066】

以上のようにDPCM処理部１２１が、予測方式設定部１０４により設定された予測方式を適用してDPCM処理を行うので、符号化部１０１は、合焦の度合いに応じた画素の空間的な相関の変化を抑制するように、撮像画像データを簡易符号化することができる。したがって、符号化部１０１は、合焦の度合いに関わらず、予測誤差の増大を抑制することができる。これにより、可変長符号化の場合、符号化部１０１は、符号化効率の低減を抑制することができる。また、固定長符号化の場合、符号化部１０１は、復号画像の画質の低減を抑制することができる。

【0067】

＜復号部＞
図４は、図２の復号部１０２の主な構成例を示すブロック図である。図４に示されるように、この場合の復号部１０２は、圧縮率逆調整部１３１、ゴロム復号部１３２、および逆DPCM（Differential Pulse Code Modulation）処理部１３３を有する。

【0068】

圧縮率逆調整部１３１は、符号化部１０１の圧縮率調整部１２３が行った処理の逆処理を行う。例えば、圧縮率逆調整部１３１は、符号化部１０１から復号部１０２に供給される符号化データを取得する。また、圧縮率逆調整部１３１は、その符号化データから、圧縮率調整部１２３により付加されたリファインメントを除去する。換言するに圧縮率逆調整部１３１は、取得した符号化データから、ゴロム符号化部１２２により生成されたゴロム符号を抽出する。圧縮率逆調整部１３１は、そのゴロム符号をゴロム復号部１３２に供給する。

【0069】

ゴロム復号部１３２は、ゴロム符号の復号に関する処理を行う。例えば、ゴロム復号部１３２は、圧縮率逆調整部１３１から供給されるゴロム符号を取得する。また、ゴロム復号部１３２は、その取得したゴロム符号を、ゴロム符号化部１２２の符号化方法に対応する方法で復号（ゴロム復号とも称する）し、予測誤差を生成する。ゴロム復号部１３２は、生成した予測誤差を逆DPCM処理部１３３に供給する。

【0070】

逆DPCM処理部１３３は、DPCM処理部１２１が行ったDPCM処理の逆処理である逆DPCM処理に関する処理を行う。例えば、逆DPCM処理部１３３は、ゴロム復号部１３２から供給された予測誤差（差分値）を取得する。また、逆DPCM処理部１３３は、その取得した予測誤差に対して逆DPCM処理を行い、各画素データを復元する。

【0071】

その際、逆DPCM処理部１３３は、予測方式設定部１０４により設定された予測方式を適用する。つまり、逆DPCM処理部１３３は、予測方式設定部１０４により指定される周辺画素を用いて予測誤差から各画素データを復元する。このようにすることにより、逆DPCM処理部１３３は、合焦に関するパラメータに基づいて（例えば、被写体に合焦しているか否かに応じて）設定された周辺画素を用いて予測値を導出し、その予測値を用いて、予測誤差から画素データを復元することができる。したがって、逆DPCM処理部１３３は、合焦の度合いに応じた予測方式の予測値を用いて導出された予測誤差から、画素データを正しく復元することができる。

【0072】

逆DPCM処理部１３３は、以上のように導出した画素データを撮像画像データとして復号部１０２の外部に出力する。この撮像画像データは、例えば、画像処理装置１００の外部に出力されたり、位相差検出部１０３に供給されたりする（図２）。

【0073】

以上のように逆DPCM処理部１３３が、予測方式設定部１０４により設定された予測方式を適用して逆DPCM処理を行うので、復号部１０２は、合焦の度合いに応じた画素の空間的な相関の変化を抑制するように簡易符号化された撮像画像データを正しく簡易復号することができる。したがって、復号部１０２は、予測誤差の増大を抑制することができる。これにより、可変長符号化の場合、復号部１０２は、符号化効率の低減を抑制することができる。また、固定長符号化の場合、復号部１０２は、復号画像の画質の低減を抑制することができる。

【0074】

＜撮像画像データ＞
次に撮像画像データについて説明する。画像処理装置１００に入力される撮像画像データは、位相差を検出可能な画素値により構成される。この撮像画像データは、例えば、図５に示される画素アレイ１４０を用いて生成される。この画素アレイ１４０の各画素１４１には、ベイヤ配列のカラーフィルタが配置される。例えば、画素アレイ１４０の四角形は、画素１４１を示している。図中白色で示される画素１４１－１は、赤（Ｒ）のカラーフィルタが配置された画素であり、図中薄いグレーで示される画素１４１－２は、緑（Ｇ）のカラーフィルタが配置された画素であり、図中濃いグレーで示される画素１４１－３は、青（Ｂ）のカラーフィルタが配置された画素である。各画素１４１内の円形は、オンチップレンズ１４２を示す。

【0075】

各画素１４１には、図６のＡに示されるように、左光電変換素子１５１および右光電変換素子１５２の２つの光電変換素子（例えばフォトダイオード等）が設けられている。左光電変換素子１５１は、画素１４１の図中左側に設けられ、右光電変換素子１５２は、画素１４１の図中右側に設けられている。

【0076】

図６のＢに示されるように、矢印１５６のように図中右側から斜め方向に入射した被写体からの光は、オンチップレンズ１４２およびカラーフィルタ１５４を介して主に左光電変換素子１５１により受光される（光電変換され、画素値として検出される）。これに対して、矢印１５７のように図中左側から斜め方向に入射した被写体からの光は、オンチップレンズ１４２およびカラーフィルタ１５４を介して主に右光電変換素子１５２により受光される（光電変換され、画素値として検出される）。

【0077】

つまり、左光電変換素子１５１と右光電変換素子１５２は、互いに異なる角度で入射された入射光を主に検出する。つまり、左光電変換素子１５１の画素値と右光電変換素子１５２の画素値との間に入射光の角度の偏りの違い（視差）が生じる。このような視差を利用して位相差（像ずれ量）を検出することができる。なお、左光電変換素子１５１の画素値と右光電変換素子１５２の画素値とを加算することにより、１画素分の画素値が得られる。画像処理装置１００に入力される撮像画像データの各画素値は、このような左光電変換素子１５１の画素値と右光電変換素子１５２の画素値とにより構成される。

【0078】

＜予測方式＞
＜第１の予測方式＞
次にDPCM処理部１２１によるDPCM処理において適用される予測方式について説明する。図７は、第１の予測方式について説明する図である。図７に示される画素１４１－１乃至画素１４１－８は、図５の画素アレイ１４０の、赤（Ｒ）のカラーフィルタが配置された画素１４１と緑（Ｇ）のカラーフィルタが配置された画素１４１の行の一部を示す。画素１４１－１、画素１４１－３、画素１４１－５、および画素１４１－７は、赤（Ｒ）のカラーフィルタが配置された画素１４１であり、画素１４１－２、画素１４１－４、画素１４１－６、および画素１４１－８は、緑（Ｇ）のカラーフィルタが配置された画素１４１である。

【0079】

上述のように各画素１４１には、左光電変換素子１５１と右光電変換素子１５２が設けられており、図７に示されるように撮像画像データは、それぞれの光電変換素子で検出された画素値を有する。R_Lは、赤（Ｒ）のカラーフィルタが配置された画素１４１の左光電変換素子１５１において検出された画素値を示し、R_Rは、赤（Ｒ）のカラーフィルタが配置された画素１４１の右光電変換素子１５２において検出された画素値を示す。同様に、G_Lは、緑（Ｇ）のカラーフィルタが配置された画素１４１の左光電変換素子１５１において検出された画素値を示し、G_Rは、緑（Ｇ）のカラーフィルタが配置された画素１４１の右光電変換素子１５２において検出された画素値を示す。

【0080】

一般的に、予測値の予測精度は、その予測値とする画素値を検出する画素（予測画素）のフィルタの色（透過する波長域）が処理対象画素のフィルタの色とより近い程、高くなる。つまり、上述のようなRGBのカラーフィルタの場合、処理対象画素と同色のカラーフィルタを備える画素を予測画素とする場合の方が、処理対象画素と異なる色のカラーフィルタを備える画素を予測画素とする場合よりも、予測精度が最も高くなる。

【0081】

また、一般的に、予測値の予測精度は、その予測画素の位置が処理対象画素に近い程、高くなる。

【0082】

そこで、第１の予測方式では、これらの特徴に基づいて予測精度の向上を期待することができるように、処理対象画素と同色の画素（処理済みの画素）の中で処理対象画素の最も近傍に位置する画素（同色最近傍画素）の画素値を予測値とする。図７の例の場合、DPCM処理部１２１は、画素１４１－１の画素値R_RをDPCM処理する場合、矢印１６１－１のように、画素１４１－１の画素値R_Lを予測値として参照する。また、DPCM処理部１２１は、画素１４１－３の画素値R_LをDPCM処理する場合、矢印１６１－２のように、画素１４１－１の画素値R_Rを予測値として参照し、画素１４１－３の画素値R_RをDPCM処理する場合、矢印１６１－３のように、画素１４１－３の画素値R_Lを予測値として参照する。同様に、DPCM処理部１２１は、画素１４１－５の画素値R_LをDPCM処理する場合、矢印１６１－４のように、画素１４１－３の画素値R_Rを予測値として参照し、画素１４１－５の画素値R_RをDPCM処理する場合、矢印１６１－５のように、画素１４１－５の画素値R_Lを予測値として参照する。同様に、DPCM処理部１２１は、画素１４１－７の画素値R_LをDPCM処理する場合、矢印１６１－６のように、画素１４１－５の画素値R_Rを予測値として参照し、画素１４１－７の画素値R_RをDPCM処理する場合、矢印１６１－７のように、画素１４１－７の画素値R_Lを予測値として参照する。

【0083】

また、DPCM処理部１２１は、画素１４１－２の画素値G_RをDPCM処理する場合、矢印１６２－１のように、画素１４１－２の画素値G_Lを予測値として参照する。また、DPCM処理部１２１は、画素１４１－４の画素値G_LをDPCM処理する場合、矢印１６２－２のように、画素１４１－２の画素値G_Rを予測値として参照し、画素１４１－４の画素値G_RをDPCM処理する場合、矢印１６２－３のように、画素１４１－４の画素値G_Lを予測値として参照する。同様に、DPCM処理部１２１は、画素１４１－６の画素値G_LをDPCM処理する場合、矢印１６２－４のように、画素１４１－４の画素値G_Rを予測値として参照し、画素１４１－６の画素値G_RをDPCM処理する場合、矢印１６２－５のように、画素１４１－６の画素値G_Lを予測値として参照する。同様に、DPCM処理部１２１は、画素１４１－８の画素値G_LをDPCM処理する場合、矢印１６２－６のように、画素１４１－６の画素値G_Rを予測値として参照し、画素１４１－８の画素値G_RをDPCM処理する場合、矢印１６２－７のように、画素１４１－８の画素値G_Lを予測値として参照する。

【0084】

＜第２の予測方式＞
図８は、第２の予測方式について説明する図である。図８に示される画素１４１－１乃至画素１４１－８は、図７と同様の画素を示す。画素値R_L、画素値R_R、画素値G_L、および画素値G_Rも図７と同様である。

【0085】

上述のように、一般的に、予測値の予測精度は、予測画素のフィルタの色（透過する波長域）が処理対象画素のフィルタの色とより近い程、高くなる。

【0086】

また、上述のように、左光電変換素子１５１と右光電変換素子１５２とでは、その画素内の位置により、主に検出する光の入射方向が互いに異なる。したがって、一般的に、予測値の予測精度は、その予測値を検出する光電変換素子の予測画素内における位置が、処理対象の画素値を検出する光電変換素子の処理対象画素内における位置と近い程、高くなる。つまり、図８の例の場合、左光電変換素子１５１の画素値を処理対象とする場合、左光電変換素子１５１の画素値を予測値とする方が、右光電変換素子１５２の画素値を予測値とする場合よりも、予測精度が高くなる。逆に、右光電変換素子１５２の画素値を処理対象とする場合、右光電変換素子１５２の画素値を予測値とする方が、左光電変換素子１５１の画素値を予測値とする場合よりも、予測精度が高くなる。

【0087】

そこで、第２の予測方式では、これらの特徴に基づいて予測精度の向上を期待することができるように、処理対象の画素値を検出するフォトダイオード（光電変換素子）の位置が処理対象画素と同一であり、かつ、処理対象画素と同色の画素の中で処理対象画素の最も近傍に位置する画素（同色同配置最近傍画素）の画素値を予測値とする。

【0088】

図８の例の場合、DPCM処理部１２１は、画素１４１－３の画素値R_LをDPCM処理する場合、矢印１６３－１のように、画素１４１－１の画素値R_Lを予測値として参照し、画素１４１－３の画素値R_RをDPCM処理する場合、矢印１６３－２のように、画素１４１－１の画素値R_Rを予測値として参照する。同様に、DPCM処理部１２１は、画素１４１－５の画素値R_LをDPCM処理する場合、矢印１６３－３のように、画素１４１－３の画素値R_Lを予測値として参照し、画素１４１－５の画素値R_RをDPCM処理する場合、矢印１６３－４のように、画素１４１－３の画素値R_Rを予測値として参照する。同様に、DPCM処理部１２１は、画素１４１－７の画素値R_LをDPCM処理する場合、矢印１６３－５のように、画素１４１－５の画素値R_Lを予測値として参照し、画素１４１－７の画素値R_RをDPCM処理する場合、矢印１６３－６のように、画素１４１－５の画素値R_Rを予測値として参照する。

【0089】

また、DPCM処理部１２１は、画素１４１－４の画素値G_LをDPCM処理する場合、矢印１６４－１のように、画素１４１－２の画素値G_Lを予測値として参照し、画素１４１－４の画素値G_RをDPCM処理する場合、矢印１６４－２のように、画素１４１－２の画素値G_Rを予測値として参照する。同様に、DPCM処理部１２１は、画素１４１－６の画素値G_LをDPCM処理する場合、矢印１６４－３のように、画素１４１－４の画素値G_Lを予測値として参照し、画素１４１－６の画素値G_RをDPCM処理する場合、矢印１６４－４のように、画素１４１－４の画素値G_Rを予測値として参照する。同様に、DPCM処理部１２１は、画素１４１－８の画素値G_LをDPCM処理する場合、矢印１６４－５のように、画素１４１－６の画素値G_Lを予測値として参照し、画素１４１－８の画素値G_RをDPCM処理する場合、矢印１６４－６のように、画素１４１－６の画素値G_Rを予測値として参照する。

【0090】

＜予測精度の比較＞
以上のような第１の予測方式と第２の予測方式とで予測精度を比較する。被写体に合焦している場合（被写体までの距離と合焦位置までの距離とが一致または近い場合）、左光電変換素子１５１の画素値と右光電変換素子１５２の画素値との差が小さく、視差による予測精度への影響は、被写体に合焦していない場合（被写体までの距離と合焦位置までの距離とが大きく離れている場合）よりも小さい。つまり、視差の影響よりも参照距離（処理対象画素と予測画素との距離）の影響の方が大きくなる。そのため、参照距離がより短くなる第１の予測方式の方が、第２の予測方式よりも予測精度が高くなる。

【0091】

これに対して、被写体に合焦していない場合、左光電変換素子１５１の画素値と右光電変換素子１５２の画素値との差が大きく、視差による予測精度への影響は、被写体に合焦している場合よりも大きくなる。つまり、視差の影響の方が参照距離の影響よりも大きくなる。画素内位置が同一の光電変換素子により検出される画素値を予測値とする第２の予測方式はこの視差による影響を受けないので、第２の予測方式の方が第１の予測方式よりも予測精度が高くなる。

【0092】

＜予測方式の制御＞
予測方式設定部１０４が、第１の予測方式および第２の予測方式を候補とし、位相検出結果に基づいて、これらの内のいずれかを、符号化・復号に適用する予測方式として設定するようにしてもよい。その場合、上述したような各予測方式の特徴に基づいて、予測方式設定部１０４が、被写体に合焦しているか否かに応じて予測方式を設定する（第１の予測方式を適用するか第２の予測方式を適用するかを選択する）ようにする。

【0093】

例えば、被写体に合焦している場合、予測方式設定部１０４が、その予測方式として、第１の予測方式を設定するようにしてもよい。つまり、この場合、処理対象画素と同色の画素の中でその処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式が設定される。DPCM処理部１２１がこのように設定された予測方式でDPCM処理を行うことにより、符号化部１０１は、被写体に合焦している状態において、予測誤差の増大を抑制することができる。

【0094】

また、予測方式設定部１０４が、被写体に合焦していない場合、その予測方式として、第２の予測方式を設定するようにしてもよい。つまり、この場合、画素値を検出するフォトダイオードの位置が処理対象画素と同一であり、かつ、処理対象画素と同色の画素の中でその処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式が設定される。DPCM処理部１２１がこのように設定された予測方式でDPCM処理を行うことにより、符号化部１０１は、被写体に合焦していない状態において、予測誤差の増大を抑制することができる。

【0095】

さらに、予測方式設定部１０４が、被写体に合焦している場合および被写体に合焦していない場合のそれぞれにおいて、上述のように予測方式を設定するようにしてもよい。DPCM処理部１２１が、このように設定された予測方式でDPCM処理を行うことにより、符号化部１０１は、合焦の度合いに関わらず（被写体に合焦している場合も合焦していない場合も）、予測誤差の増大を抑制することができる。

【0096】

なお、以上においては、符号化部１０１（DPCM処理部１２１）の予測を例に説明したが、復号部１０２（逆DPCM処理部１３３）についても同様である。つまり、逆DPCM処理部１３３が、このように設定された予測方式で逆DPCM処理を行うことにより、復号部１０２は、被写体に合焦している状態において、被写体に合焦していない状態において、または、合焦の度合いに関わらず（被写体に合焦している場合も合焦していない場合も）、予測誤差の増大を抑制することができる。

【0097】

＜画素アレイの他の構成例＞
なお、撮像画像データは、位相差を検出できるものであればよく、上述の構成例に限定されない。例えば、撮像画像データが、図９に示されるような、１画素に４つの光電変換素子が配置される画素アレイにより生成されるようにしてもよい。

【0098】

図９は、図７や図８と同様に、画素アレイ１４０の一部（赤（Ｒ）のカラーフィルタが配置された画素１４１と緑（Ｇ）のカラーフィルタが配置された画素１４１の行の一部）の構成例を示している。

【0099】

この場合、各画素１４１には、画素内の左上、右上、左下、および右下のそれぞれに光電変換素子が設けられており、図９に示されるように撮像画像データは、それぞれの光電変換素子で検出された画素値を有する。R₀₀は、赤（Ｒ）のカラーフィルタが配置された画素１４１の画素内左上に配置された光電変換素子において検出された画素値を示し、R₀₁は、赤（Ｒ）のカラーフィルタが配置された画素１４１の画素内右上に配置された光電変換素子において検出された画素値を示し、R₁₀は、赤（Ｒ）のカラーフィルタが配置された画素１４１の画素内左下に配置された光電変換素子において検出された画素値を示し、R₁₁は、赤（Ｒ）のカラーフィルタが配置された画素１４１の画素内右下に配置された光電変換素子において検出された画素値を示す。

【0100】

同様に、G₀₀は、緑（Ｇ）のカラーフィルタが配置された画素１４１の画素内左上に配置された光電変換素子において検出された画素値を示し、G₀₁は、緑（Ｇ）のカラーフィルタが配置された画素１４１の画素内右上に配置された光電変換素子において検出された画素値を示し、G₁₀は、緑（Ｇ）のカラーフィルタが配置された画素１４１の画素内左下に配置された光電変換素子において検出された画素値を示し、G₁₁は、緑（Ｇ）のカラーフィルタが配置された画素１４１の画素内右下に配置された光電変換素子において検出された画素値を示す。

【0101】

この場合、図９の上の段の画素値（画素値R₀₀、画素値R₀₁、画素値G₀₀、画素値G₀₁）は、図７や図８を参照して説明した場合と同様に予測値が設定され、DPCM処理される。これに対して図９の下の段の画素値（画素値R₁₀、画素値R₁₁、画素値G₁₀、画素値G₁₁）は、以下のように処理される。

【0102】

＜第１の予測方式＞
まず、第１の予測方式について図１０を参照して説明する。図１０のＡに示されるように、DPCM処理部１２１は、画素１４１－３の画素値R₁₀をDPCM処理する場合、画素１４１－１の画素値R₀₁および画素値R₁₁、並びに、画素１４１－３の画素値R₀₀を参照し、それらの画素値を用いて、以下の式（１）のように、画素１４１－３の画素値R₁₀の予測値（Prediction(R₁₀)）を導出する。

【0103】

Prediction(R₁₀) = P2(R₁₁, R₀₀, R₁₀) ・・・（１）

【0104】

なお、式（１）において、P2（a,b,c）は、例えば、図１１に示されるように、処理対象の画素値Xの左（left）の画素値a、上（top）の画素値b、および右上（top-left）の画素値cを用いて、以下の式（２）のように導出される。

【0105】

P2(a,b,c) = Clip((a+b-c), min(a,b), max(a,b))
= Clip((R₁₁+R₀₀-R₀₁), min(R₁₁, R₀₀), max(R₁₁, R₀₀))
・・・（２）

【0106】

つまり、（R₁₁+R₀₀-R₀₁）が、R₁₁とR₀₀の小さい方よりも小さい場合、予測値は、R₁₁とR₀₀の小さい方に設定される。また、（R₁₁+R₀₀-R₀₁）が、R₁₁とR₀₀の大きい方よりも大きい場合、予測値は、R₁₁とR₀₀の大きい方に設定される。さらに、（R₁₁+R₀₀-R₀₁）が、R₁₁とR₀₀の小さい方よりも大きく、かつ、R₁₁とR₀₀の大きい方よりも小さい場合、予測値は、（R₁₁+R₀₀-R₀₁）に設定される。

【0107】

同様に、DPCM処理部１２１は、図１０のＢに示されるように、画素１４１－３の画素値R₁₁をDPCM処理する場合、画素１４１－３の画素値R₀₀、画素値R₁₀、および画素値R₀₁を参照し、それらの画素値を用いて、以下の式（３）のように、画素１４１－３の画素値R₁₁の予測値（Prediction(R₁₁)）を導出する。

【0108】

Prediction(R₁₁) = P2(R₁₀, R₀₁, R₀₀)
= Clip((R₁₀+R₀₁-R₀₀), min(R₁₀, R₀₁), max(R₁₀, R₀₁))
・・・（３）

【0109】

つまり、(R₁₀+R₀₁-R₀₀)が、R₁₀とR₀₁の小さい方よりも小さい場合、予測値は、R₁₀とR₀₁の小さい方に設定される。また、(R₁₀+R₀₁-R₀₀)が、R₁₀とR₀₁の大きい方よりも大きい場合、予測値は、R₁₀とR₀₁の大きい方に設定される。さらに、(R₁₀+R₀₁-R₀₀)が、R₁₀とR₀₁の小さい方よりも大きく、かつ、R₁₀とR₀₁の大きい方よりも小さい場合、予測値は、(R₁₀+R₀₁-R₀₀)に設定される。

【0110】

また、図１０のＣに示されるように、DPCM処理部１２１は、画素１４１－４の画素値G₁₀をDPCM処理する場合、画素１４１－２の画素値G₀₁および画素値G₁₁、並びに、画素１４１－４の画素値G₀₀を参照し、それらの画素値を用いて、以下の式（４）のように（つまり上述の式（１）の場合と同様に）、画素１４１－４の画素値G₁₀の予測値（Prediction(G₁₀)）を導出する。

【0111】

Prediction(G₁₀) = P2(G₁₁, G₀₀, G₁₀)
= Clip((G₁₁+G₀₀-G₁₀), min(G₁₁, G₀₀), max(G₁₁, G₀₀))
・・・（４）

【0112】

つまり、（G₁₁+G₀₀-G₀₁）が、G₁₁とG₀₀の小さい方よりも小さい場合、予測値は、G₁₁とG₀₀の小さい方に設定される。また、（G₁₁+G₀₀-G₀₁）が、G₁₁とG₀₀の大きい方よりも大きい場合、予測値は、G₁₁とG₀₀の大きい方に設定される。さらに、（G₁₁+G₀₀-G₀₁）が、G₁₁とG₀₀の小さい方よりも大きく、かつ、G₁₁とG₀₀の大きい方よりも小さい場合、予測値は、（G₁₁+G₀₀-G₀₁）に設定される。

【0113】

同様に、DPCM処理部１２１は、図１０のＤに示されるように、画素１４１－４の画素値G₁₁をDPCM処理する場合、画素１４１－４の画素値G₀₀、画素値G₁₀、および画素値G₀₁を参照し、それらの画素値を用いて、以下の式（５）のように（つまり上述の式（３）の場合と同様に）、画素１４１－４の画素値G₁₁の予測値（Prediction(G₁₁)）を導出する。

【0114】

Prediction(G₁₁) = P2(G₁₀, G₀₁, G₀₀)
= Clip((G₁₀+G₀₁-G₀₀), min(G₁₀, G₀₁), max(G₁₀, G₀₁))
・・・（５）

【0115】

つまり、(G₁₀+G₀₁-G₀₀)が、G₁₀とG₀₁の小さい方よりも小さい場合、予測値は、G₁₀とG₀₁の小さい方に設定される。また、(G₁₀+G₀₁-G₀₀)が、G₁₀とG₀₁の大きい方よりも大きい場合、予測値は、G₁₀とG₀₁の大きい方に設定される。さらに、(G₁₀+G₀₁-G₀₀)が、G₁₀とG₀₁の小さい方よりも大きく、かつ、G₁₀とG₀₁の大きい方よりも小さい場合、予測値は、(G₁₀+G₀₁-G₀₀)に設定される。

【0116】

＜第２の予測方式＞
次に、第２の予測方式について図１２を参照して説明する。図１２のＡに示されるように、DPCM処理部１２１は、画素１４１－３の画素値R₁₀をDPCM処理する場合、画素１４１－１の画素値R₀₀および画素値R₁₀、並びに、画素１４１－３の画素値R₀₀を参照し、それらの画素値を用いて、以下の式（６）のように、画素１４１－３の画素値R₁₀の予測値（Prediction(R₁₀)）を導出する。なお、式（６）の場合も、P2（a,b,c）は、例えば、上述の式（２）のように導出される。

【0117】

Prediction(R₁₀) = P2(R₁₀, R₀₀, R₀₀)
= Clip((R₁₀+R₀₀-R₀₀), min(R₁₀, R₀₀), max(R₁₀, R₀₀))
・・・（６）

【0118】

つまり、（R₁₀+R₀₀-R₀₀）が、R₁₁とR₀₀の小さい方よりも小さい場合、予測値は、R₁₁とR₀₀の小さい方に設定される。また、（R₁₀+R₀₀-R₀₀）が、R₁₁とR₀₀の大きい方よりも大きい場合、予測値は、R₁₁とR₀₀の大きい方に設定される。さらに、（R₁₀+R₀₀-R₀₀）が、R₁₁とR₀₀の小さい方よりも大きく、かつ、R₁₁とR₀₀の大きい方よりも小さい場合、予測値は、（R₁₀+R₀₀-R₀₀）に設定される。

【0119】

同様に、DPCM処理部１２１は、図１２のＢに示されるように、画素１４１－４の画素値R₁₁をDPCM処理する場合、画素１４１－２の画素値R₀₁、画素値R₁₁、並びに、画素１４１ー４の画素値R₀₁を参照し、それらの画素値を用いて、以下の式（７）のように、画素１４１－４の画素値R₁₁の予測値（Prediction(R₁₁)）を導出する。なお、式（７）の場合も、P2（a,b,c）は、例えば、上述の式（２）のように導出される。

【0120】

Prediction(R₁₁) = P2(R₁₁, R₀₁, R₀₁)
= Clip((R₁₁+R₀₁-R₀₁), min(R₁₁, R₀₁), max(R₁₁, R₀₁))
・・・（７）

【0121】

つまり、(R₁₁+R₀₁-R₀₁)が、R₁₁とR₀₁の小さい方よりも小さい場合、予測値は、R₁₁とR₀₁の小さい方に設定される。また、(R₁₁+R₀₁-R₀₁)が、R₁₁とR₀₁の大きい方よりも大きい場合、予測値は、R₁₁とR₀₁の大きい方に設定される。さらに、(R₁₁+R₀₁-R₀₁)が、R₁₁とR₀₁の小さい方よりも大きく、かつ、R₁₁とR₀₁の大きい方よりも小さい場合、予測値は、(R₁₁+R₀₁-R₀₁)に設定される。

【0122】

また、図１２のＣに示されるように、DPCM処理部１２１は、画素１４１－４の画素値G₁₀をDPCM処理する場合、画素１４１－２の画素値G₀₀および画素値G₁₀、並びに、画素１４１－４の画素値G₀₀を参照し、それらの画素値を用いて、以下の式（８）のように（つまり上述の式（６）の場合と同様に）、画素１４１－４の画素値G₁₀の予測値（Prediction(G₁₀)）を導出する。

【0123】

Prediction(G₁₀) = P2(G₁₀, G₀₀, G₀₀)
= Clip((G₁₀+G₀₀-G₀₀), min(G₁₀, G₀₀), max(G₁₀, G₀₀))
・・・（８）

【0124】

つまり、（G₁₀+G₀₀-G₀₀）が、G₁₀とG₀₀の小さい方よりも小さい場合、予測値は、G₁₀とG₀₀の小さい方に設定される。また、（G₁₀+G₀₀-G₀₀）が、G₁₀とG₀₀の大きい方よりも大きい場合、予測値は、G₁₀とG₀₀の大きい方に設定される。さらに、（G₁₀+G₀₀-G₀₀）が、G₁₀とG₀₀の小さい方よりも大きく、かつ、G₁₀とG₀₀の大きい方よりも小さい場合、予測値は、（G₁₀+G₀₀-G₀₀）に設定される。

【0125】

同様に、DPCM処理部１２１は、図１２のＤに示されるように、画素１４１－４の画素値G₁₁をDPCM処理する場合、画素１４１－２の画素値G₀₁および画素値G₁₁、並びに、画素１４１－４の画素値G₀₁を参照し、それらの画素値を用いて、以下の式（９）のように（つまり上述の式（７）の場合と同様に）、画素１４１－４の画素値G₁₁の予測値（Prediction(G₁₁)）を導出する。

【0126】

Prediction(G₁₁) = P2(G₁₁, G₀₁, G₀₁)
= Clip((G₁₁+G₀₁-G₀₁), min(G₁₁, G₀₁), max(G₁₁, G₀₁))
・・・（９）

【0127】

つまり、(G₁₁+G₀₁-G₀₁)が、G₁₁とG₀₁の小さい方よりも小さい場合、予測値は、G₁₁とG₀₁の小さい方に設定される。また、(G₁₁+G₀₁-G₀₁)が、G₁₁とG₀₁の大きい方よりも大きい場合、予測値は、G₁₁とG₀₁の大きい方に設定される。さらに、(G₁₁+G₀₁-G₀₁)が、G₁₁とG₀₁の小さい方よりも大きく、かつ、G₁₁とG₀₁の大きい方よりも小さい場合、予測値は、(G₁₁+G₀₁-G₀₁)に設定される。

【0128】

＜予測精度の比較＞
この場合も、第１の予測方式および第２の予測方式のそれぞれの特徴は、上述した各画素の２つの光電変換素子が設けられる場合と同様である。

【0129】

＜予測方式の制御＞
したがって、この場合も、予測方式設定部１０４は、第１の予測方式および第２の予測方式を候補とし、位相検出結果に基づいて、上述した各画素の２つの光電変換素子が設けられる場合と同様に、これらの内のいずれかを、符号化・復号に適用する予測方式として設定するようにしてもよい。このようにすることにより、上述した例と同様の効果を得ることができる。

【0130】

なお、以上においては、予測値導出の演算例として式（２）を挙げたが、予測値の導出方法は任意であり、この例に限定されない。

【0131】

＜画像処理の流れ＞
次に、図２の画像処理装置１００により実行される画像処理の流れの例を、図１３のフローチャートを参照して説明する。

【0132】

画像処理が開始されると、予測方式設定部１０４は、図１３のステップＳ１０１において、符号化・復号に適用する予測方式の設定を初期化する。

【0133】

ステップＳ１０２において、符号化部１０１は、予測方式設定部１０４により現在設定されている予測方式を用いて撮像画像データを簡易符号化し、撮像画像データの符号化データを生成する。

【0134】

ステップＳ１０３において、復号部１０２は、予測方式設定部１０４により現在設定されている予測方式を用いて、ステップＳ１０２において生成された符号化データを簡易復号し、撮像画像データを生成する。

【0135】

ステップＳ１０４において、位相差検出部１０３は、ステップＳ１０３において生成あされた撮像画像データを用いて、位相差を検出する。

【0136】

ステップＳ１０５において、予測方式設定部１０４は、ステップＳ１０４において得られる位相差検出結果を合焦に関するパラメータとし、その位相差検出結果に基づいて、符号化・復号に適用する予測方式を設定する。

【0137】

例えば、予測方式設定部１０４は、被写体に合焦しているか否かに応じて、符号化・復号に適用する予測方式を、候補（例えば第１の予測方式および第２の予測方式）の中から選択する。例えば、予測方式設定部１０４は、位相検出結果に基づいて、被写体に合焦していると判定された場合、第１の予測方式を選択し、被写体に合焦していないと判定された場合、第２の予測方式を選択する。

【0138】

ステップＳ１０６において、符号化部１０１は、全フレームを処理したか否かを判定する。未処理のフレームが存在する、すなわち、撮像画像データの新たなフレームが画像処理装置１００に入力されると判定された場合、処理はステップＳ１０２に戻り、それ以降の処理が繰り返される。

【0139】

ステップＳ１０２乃至ステップＳ１０６の処理が各フレームについて実行され、ステップＳ１０６において、入力された撮像画像データの全フレームを処理したと判定された場合、画像処理が終了する。

【0140】

＜簡易符号化処理の流れ＞
次に、図１４のフローチャートを参照して、図１３のステップＳ１０２において実行される簡易符号化処理の流れの例を説明する。

【0141】

簡易符号化処理が開始されると、DPCM処理部１２１は、ステップＳ１２１において、撮像画像データをDPCM処理し、撮像画像データと予測値との残差データ（予測誤差）を生成する。

【0142】

その際、DPCM処理部１２１は、予測方式設定部１０４により設定された予測方式（図１３のステップＳ１０１またはステップＳ１０５において設定された予測方式）を用いて撮像画像データをDPCM処理する。例えば、DPCM処理部１２１は、被写体に合焦しているか否かに応じて設定された第１の予測方式または第２の予測方式により撮像画像データをDPCM処理する。

【0143】

ステップＳ１２２において、ゴロム符号化部１２２は、ステップＳ１２１の処理により得られた残差データ（予測誤差）をゴロム符号化する。

【0144】

ステップＳ１２３において、圧縮率調整部１２３は、ステップＳ１２２の処理により得られたゴロム符号に対して、例えばデータを量子化したりデータを付加したりして、符号化データの圧縮率を調整する。

【0145】

ステップＳ１２３の処理により、所定の圧縮率の符号化データが得られると、簡易符号化処理が終了し、処理は、図１３に戻る。

【0146】

＜簡易復号処理の流れ＞
次に、図１５のフローチャートを参照して、図１３のステップＳ１０３において実行される簡易復号処理の流れの例を説明する。

【0147】

簡易復号処理が開始されると、ステップＳ１３１において、圧縮率逆調整部１３１は、符号化データの圧縮率の逆調整（すなわち、図１４のステップＳ１２３の処理の逆処理）を行うことにより、圧縮率を調整する前のゴロム符号を復元する。

【0148】

ステップＳ１３２において、ゴロム復号部１３２は、ステップＳ１３１の処理により得られた各ゴロム符号をゴロム復号し、残差データ（予測誤差）を復元する。

【0149】

ステップＳ１３３において、逆DPCM処理部１３３は、ステップＳ１３２の処理により得られた残差データを用いて逆DPCM処理（すなわち、図１４のステップＳ１２１の処理の逆処理）を行う。つまり、逆DPCM処理部１３３は、残差データ同士を加算する等して各画素値を復元し、撮像画像データを生成する。

【0150】

その際、逆DPCM処理部１３３は、予測方式設定部１０４により設定された予測方式（図１３のステップＳ１０１またはステップＳ１０５において設定された予測方式）を用いて残差データを逆DPCM処理する。例えば、逆DPCM処理部１３３は、被写体に合焦しているか否かに応じて設定された第１の予測方式または第２の予測方式により残差データを逆DPCM処理する。

【0151】

ステップＳ１３３の処理により撮像画像データが得られると、簡易復号処理が終了し、処理は、図１３に戻る。

【0152】

以上のように各処理を実行することにより、符号化・復号における予測誤差の増大を抑制することができる。これにより、可変長符号化の場合、符号化効率の低減を抑制することができる。また、固定長符号化の場合、復号画像の画質の低減を抑制することができる。

【0153】

＜撮像装置＞
以上のような「方法１」の本技術は、任意の電子機器に適用することができる。例えば、撮像装置にも適用することができる。図１６は、本技術を適用した撮像装置の主な構成例を示すブロック図である。図１６に示される撮像装置１７０は、被写体を撮像し、撮像画像データを生成し、記録したり、出力したりする。

【0154】

図１６に示されるように、撮像装置１７０は、レンズ１７１、イメージセンサ１７２、信号処理部１７３、出力部１７４、および記憶部１７５を有する。

【0155】

レンズ１７１は、後述する信号処理部１７３のレンズ制御部１９２により制御され、焦点距離を調整するための光学系である。絞り等を含むようにしてもよい。被写体からの光は、このレンズ１７１を介してイメージセンサ１７２に入射する。

【0156】

イメージセンサ１７２は、レンズ１７１を介して入射する被写体からの光を受光し、撮像画像データを生成する。さらに、イメージセンサ１７２は、その撮像画像データを簡易符号化し、符号化データとして信号処理部１７３に供給する。

【0157】

信号処理部１７３は、イメージセンサ１７２から供給される符号化データを復号し、撮像画像データを生成する。信号処理部１７３は、その撮像画像データを出力部１７４や記憶部１７５に供給する。また、信号処理部１７３は、その撮像画像データから位相差を検出し、その位相差検出結果に基づいてレンズ１７１を制御し、焦点距離の制御を行う。さらに、信号処理部１７３は、その位相差検出結果に基づいて、符号化・復号において適用される予測方式の制御を行う。

【0158】

出力部１７４は、信号処理部１７３から供給される撮像画像データを取得し、それを撮像装置１７０の外部に出力する。例えば、出力部１７４は、表示部（モニタ）を有し、撮像画像をその表示部に表示する。また、例えば、出力部１７４は、外部出力端子を有し、撮像画像データを、その外部出力端子を介して他の装置に供給する。

【0159】

記憶部１７５は、信号処理部１７３から供給される撮像画像データを取得し、それを記憶する。例えば、記憶部１７５は、ハードディスクやフラッシュメモリ等の記憶媒体を有し、信号処理部１７３から供給された撮像画像データをその記憶媒体に記憶させる。

【0160】

なお、記憶部１７５は、その記憶媒体に記憶された撮像画像データを適宜読み出し、出力部１７４等の他の処理部に供給することができる。また、その記憶媒体は、撮像装置１７０（記憶部１７５）に対して着脱可能なメディア（リムーバブルメディア）であってもよい。

【0161】

＜イメージセンサ＞
イメージセンサ１７２は、受光部１８１、ADC（Analog Digital Converter）１８２、符号化部１０１、および送信部１８３を有する。

【0162】

受光部１８１は、例えば、図５や図６を参照して説明したような画素アレイ１４０を有し、被写体からの光を受光して光電変換し、各画素値を検出する。受光部１８１は、検出した各画素値をADC１８２に供給する。

【0163】

ADC１８２は、受光部１８１から供給される電気信号（画素値）をA/D変換し、デジタルデータの撮像画像データを生成する。この撮像画像データは、図７乃至図１２を参照して説明したように、各画素が複数の画素値を有し、それらを用いて位相差を検出することができるデータ構造を有する。ADC１８２は、生成した撮像画像データを符号化部１０１に供給する。

【0164】

符号化部１０１は、ADC１８２から供給される撮像画像データを取得する。また、符号化部１０１は、後述する信号処理部１７３の予測方式設定部１０４から供給される予測方式の設定に関する情報（予測方式設定部１０４が設定した予測方式を示す情報）を取得する。符号化部１０１は、画像処理装置１００の場合と同様に、例えば図３に示されるような構成を有し、図１４のフローチャートを参照して説明したような簡易符号化処理を行って撮像画像データを簡易符号化し、符号化データを生成する。その際、符号化部１０１は、予測方式設定部１０４から供給された情報に基づいて（つまり、予測方式設定部１０４により設定された予測方式を用いて）、その簡易符号化を行う。符号化部１０１は、生成した符号化データを送信部１８３に供給する。

【0165】

送信部１８３は、符号化部１０１から供給された符号化データを取得し、それを信号処理部１７３（の受信部１９１）に送信する。

【0166】

＜信号処理部＞
信号処理部１７３は、受信部１９１、復号部１０２、位相差検出部１０３、予測方式設定部１０４、レンズ制御部１９２、および画像処理部１９３を有する。

【0167】

受信部１９１は、イメージセンサ１７２の送信部１８３から送信された符号化データを受信する。受信部１９１は、受信した符号化データを復号部１０２に供給する。

【0168】

復号部１０２は、受信部１９１から供給される符号化データを取得する。また、復号部１０２は、予測方式設定部１０４から供給される予測方式の設定に関する情報（予測方式設定部１０４が設定した予測方式を示す情報）を取得する。復号部１０２は、画像処理装置１００の場合と同様に、例えば図４に示されるような構成を有し、図１５のフローチャートを参照して説明したような簡易復号処理を行って符号化データを簡易復号し、撮像画像データを生成する。その際、復号部１０２は、予測方式設定部１０４から供給された情報に基づいて（予測方式設定部１０４により設定された予測方式、つまり、符号化部１０１が簡易符号化に適用した予測方式を用いて）、その簡易復号を行う。復号部１０２は、生成した撮像画像データを位相差検出部１０３および画像処理部１９３に供給する。

【0169】

位相差検出部１０３は、復号部１０２から供給される撮像画像データを取得する。位相差検出部１０３は、画像処理装置１００の場合と同様に、復号部１０２から供給される撮像画像データ（復号結果）を用いて、（被写体への）合焦のための位相差の検出を行う。この撮像画像データは像面において位相差を検出可能な撮像素子により生成されたものであり、位相差検出部１０３は、この撮像画像データから位相差を検出することができる。さらに、位相差検出部１０３は、導出した位相差検出結果を予測方式設定部１０４およびレンズ制御部１９２に供給する。

【0170】

予測方式設定部１０４は、位相差検出部１０３から供給される位相差検出結果を取得する。予測方式設定部１０４は、画像処理装置１００の場合と同様に、その取得した位相差検出結果に基づいて、符号化や復号に適用される予測方式を設定する。予測方式設定部１０４は、設定した予測方式を示す情報を符号化部１０１および復号部１０２に供給する。

【0171】

レンズ制御部１９２は、位相差検出部１０３から供給される位相差検出結果を取得する。レンズ制御部１９２は、その位相差検出結果に基づいて、被写体に合焦させるようにレンズ１７１を制御する制御信号を生成し、それをレンズ１７１に供給する。つまり、レンズ制御部１９２は、被写体に合焦させるようにレンズ１７１を制御する。

【0172】

画像処理部１９３は、復号部１０２から供給される撮像画像データを取得する。画像処理部１９３は、その撮像画像データに対する画像処理を行う。この画像処理の内容は任意である。画像処理部１９３は、画像処理後の撮像画像データを、出力部１７４および記憶部１７５の少なくともいずれか一方に供給する。もちろん、画像処理部１９３は、その画像処理をスキップすることもできる。その場合、画像処理部１９３は、取得した撮像画像データを出力部１７４および記憶部１７５の少なくともいずれか一方に供給する。

【0173】

以上のように、撮像装置１７０のイメージセンサ１７２と信号処理部１７３との間において、撮像画像データは、簡易符号化されて伝送される。そして、符号化部１０１は、予測方式設定部１０４により位相差検出結果に基づいて設定された予測方式（例えば被写体に合焦しているか否かに応じて選択された予測方式）を用いて、撮像画像データの簡易符号化を行う。同様に、復号部１０２は、予測方式設定部１０４により位相差検出結果に基づいて設定された予測方式（例えば被写体に合焦しているか否かに応じて選択された予測方式）を用いて、符号化データの簡易復号を行う。

【0174】

したがって、撮像装置１７０は、この簡易符号化・簡易復号における予測誤差の増大を抑制することができる。これにより、可変長符号化の場合、符号化効率の低減を抑制することができる。また、固定長符号化の場合、復号画像の画質の低減を抑制することができる。

【0175】

また、焦点距離制御のための位相差検出の結果を利用して符号化および復号に適用される予測方式を求めるので、撮像装置１７０は、その予測方式の設定に関する処理による符号化や復号の負荷の増大を抑制することができる。また、符号化において適用された予測方式を示す予測方式情報を符号化部１０１から復号部１０２に伝送させる必要が無いため、撮像装置１７０は、符号化効率の低減を抑制することができる。さらに、撮像装置１７０は、焦点距離制御のための位相差検出の結果を利用することにより、より正確に合焦の度合いに応じて予測方式を設定することができる。すなわち、撮像装置１７０は、予測誤差の増大をより抑制することができる。

【0176】

＜撮像処理の流れ＞
この撮像装置１７０が被写体を撮像するために実行する撮像処理の流れの例を、図１７および図１８のフローチャートを参照して説明する。

【0177】

撮像処理が開始されると、ステップＳ１５１において、レンズ１７１は、合焦位置を初期化する。ステップＳ１５２において、予測方式設定部１０４は、予測方式の設定を初期化する。

【0178】

ステップＳ１５３において、受光部１８１は、被写体を撮像し、被写体からの光を光電変換して電気信号として各画素値を得る。ステップＳ１５４において、ADC１８２は、その画素値をA/D変換してデジタルデータの撮像画像データを生成する。

【0179】

ステップＳ１５５において、符号化部１０１は、図１４のフローチャートを参照して説明したように簡易符号化処理を実行し、ステップＳ１５２またはステップＳ１６４（図１８）において設定された予測方式で撮像画像データを簡易符号化し、符号化データを生成する。

【0180】

ステップＳ１５６において、送信部１８３は、ステップＳ１５５において生成された符号化データを送信する。図１８のステップＳ１６１において、受信部１９１は、ステップＳ１５６において送信された符号化データを受信する。

【0181】

ステップＳ１６２において、復号部１０２は、図１５のフローチャートを参照して説明したように簡易復号処理を実行し、ステップＳ１５２またはステップＳ１６４において設定された予測方式（つまりステップＳ１５５において適用されたのと同一の予測方式）で符号化データを簡易復号し、撮像画像データを生成する。

【0182】

ステップＳ１６３において、位相差検出部１０３は、ステップＳ１６２において生成された撮像画像データを用いて位相差を検出する。ステップＳ１６４において、予測方式設定部１０４は、ステップＳ１６３において得られた位相差検出結果に基づいて、符号化・復号に適用される予測方式を設定する。

【0183】

ステップＳ１６５において、レンズ制御部１９２は、位相差検出結果に基づいてレンズ１７１を制御し、合焦位置を更新する。ステップＳ１６６において、画像処理部１９３は、ステップＳ１６２において生成された撮像画像データに対する画像処理を行う。

【0184】

ステップＳ１６７において、出力部１７４は、ステップＳ１６６の画像処理後の撮像画像データを、撮像装置１７０の外部に出力する。また、記憶部１７５は、その撮像画像データを記憶媒体に記憶する。

【0185】

ステップＳ１６８において、撮像装置１７０は、撮像処理を終了するか否かを判定する。撮像を継続し、新たなフレーム画像を生成すると判定された場合、処理は、図１７のステップＳ１５３に戻る。つまり、撮像装置１７０は、ステップＳ１５３乃至ステップＳ１６８の各処理をフレーム毎に実行する。例えばユーザ指示等に基づいて、ステップＳ１６８において、撮像処理を終了すると判定された場合、撮像処理が終了する。

【0186】

以上のように撮像処理を行うことにより、撮像装置１７０は、ステップＳ１５５の簡易符号化（図１７）やステップＳ１６２の簡易復号（図１８）における予測誤差の増大を抑制することができる。

【0187】

＜３．第２の実施の形態＞
＜画像処理装置＞
本実施の形態においては、「方法２」について説明する。図１９は、本技術を適用した画像処理装置の構成の一例を示すブロック図である。図１９に示される画像処理装置２００は、画像処理装置１００と同様、入力された撮像画像データを符号化して符号化データを生成し、さらに、その符号化データを復号して撮像画像データを生成し、出力する装置である。ただし、この画像処理装置２００は、その撮像画像データの符号化・復号における予測方式の制御方法として「方法２」を適用する。図１９に示されるように、この画像処理装置２００は、符号化部２０１および復号部１０２を有する。

【0188】

符号化部２０１は、画像の符号化に関する処理を行う。例えば、符号化部２０１は、画像処理装置２００に入力された撮像画像データを取得する。また、符号化部２０１は、符号化部１０１と同様、取得した撮像画像データを簡易符号化する。その際、符号化部２０１は、撮像画像データを、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて符号化する。ただし、符号化部２０１は、その撮像画像データに基づいて予測方式を設定し、自身で設定した予測方式を適用して簡易符号化を行う。例えば、符号化部２０１は、撮像画像データを用いて各予測方式による予測を行い、各予測の結果を合焦に関するパラメータとして用い、予測方式を設定する。

【0189】

符号化部２０１は、符号化部１０１と同様、生成した符号化データを、記録媒体または伝送媒体を介して、復号部２０２に供給する。ただし、符号化部２０１は、設定した予測方式を示す予測方式情報を、撮像画像データを符号化して生成した符号化データに付加し、その予測方式情報を付加した符号化データを復号部２０２に供給する。つまり、この場合、予測方式情報が、符号化部２０１から復号部２０２に供給される。

【0190】

復号部２０２は、画像の復号に関する処理を行う。例えば、復号部２０２は、復号部１０２と同様、記録媒体または伝送媒体を介して符号化部２０１から供給される符号化データを取得する。また、復号部２０２は、復号部１０２と同様、その取得した符号化データを簡易復号する。その際、復号部２０２は、符号化データを、合焦に関するパラメータに基づいて設定された予測方式による予測を用いて復号する。ただし、復号部２０２は、その符号化データに付加された予測方式情報により示される、符号化の際に用いられた予測方式を適用して簡易復号を行う。復号部２０２は、その生成した撮像画像データを、画像処理装置１００の外部に出力する。

【0191】

図２０は、その符号化データの主な構成例を示す図である。図２０に示される符号化データ２１０は、符号化部２０１により生成され、復号部２０２に供給される符号化データである。図２０に示されるように、符号化データ２１０は、ヘッダ２１１、予測方式情報２１２、VLC（Variable Length Code）２１３、およびリファインメント２１４を含む。

【0192】

ヘッダ２１１には、符号化データ２１０に関する各種ヘッダ情報が格納される。予測方式情報２１２は、符号化部２０１が設定した予測方式（符号化に適用された予測方式）を示す情報である。VLC２１３は、撮像画像データの符号化データ（例えばゴロム符号）により構成される。リファインメント２１４は、圧縮率調整用に付加されたビットデータである。

【0193】

このように、予測方式情報２１２は、撮像画像データの符号化データに付加されて符号化部２０１から復号部２０２に供給される。したがって、復号部２０２は、予測方式設定部から情報を受け取らずに（符号化データを取得するだけで）、符号化に適用されたのと同一の予測方式を復号に適用することができる。

【0194】

以上に説明した符号化部２０１および復号部２０２は、１つの装置（例えば画像処理装置２００）として構成されるようにしてもよいし、互いに異なる装置として構成されるようにしてもよい。

【0195】

＜符号化部＞
図２１は、図１９の符号化部２０１の主な構成例を示すブロック図である。図２１に示されるように、この場合の符号化部２０１は、予測方式設定部２２１および符号化部２２２を有する。

【0196】

予測方式設定部２２１は、画像処理装置２００に入力された撮像画像データを取得し、その撮像画像データに基づいて予測方式を設定する。この予測方式の設定方法は任意である。例えば、予測方式設定部２２１が、撮像画像データを用いて候補として用意される各予測方式による予測を行い、各予測の結果を合焦に関するパラメータとして用い、予測方式を設定するようにしてもよい。より具体的には、例えば、予測方式設定部２２１が、撮像画像データを、予測方式の各候補を適用して符号化し、それぞれの符号化効率を比較して、最も符号化効率の良い符号化方式を選択するようにしてもよい。予測方式設定部２２１は、設定した予測方式を符号化部２２２に通知する。

【0197】

符号化部２２２は、画像処理装置２００に入力された撮像画像データを取得する。また、符号化部２２２は、その取得した撮像画像データを、予測方式設定部２２１から通知された予測方式を適用して簡易符号化する。また、符号化部２２２は、その適用した予測方式を示す予測方式情報を生成する。符号化部２２２は、生成した符号化データに、生成した予測方式情報を付加し、復号部２０２に供給する。

【0198】

符号化部２２２は、符号化部１０１と同様の処理部であり、同様の処理を行う。つまり、符号化部２２２が、例えば、図３に示されるような構成を有し、図１４のフローチャートを参照して説明したような簡易符号化処理を行うようにしてもよい。

【0199】

第１の実施の形態において説明したように、被写体に合焦している場合は、第１の予測方式の方が第２の予測方式よりも予測精度が高く、被写体に合焦していない場合は、第２の予測方式の方が第１の予測方式よりも予測精度が高い。予測方式設定部２２１は、全ての候補の予測結果を比較して、より符号化効率の良い予測方式を選択するので、このような合焦の度合いに応じた予測精度の変化にも対応することができる（合焦の度合いに依らず、より符号化効率の良い予測方式を選択することができる）。つまり、符号化部２２２（符号化部２０１）は、予測誤差の増大を抑制することができる。

【0200】

付言するに、予測方式設定部２２１は、第１の実施の形態の場合のように、復号された撮像画像データに基づく情報（復号された撮像画像データに基づいて設定された予測方式を示す情報）を必要とせずに、予測方式を設定することができる。

【0201】

＜復号部＞
図２２は、図１９の復号部２０２の主な構成例を示すブロック図である。図２２に示されるように、復号部２０２は、予測方式設定部２３１および復号部２３２を有する。

【0202】

予測方式設定部２３１は、符号化部２０１から供給される符号化データを取得する。この符号化データには予測方式情報が付加されている。予測方式設定部２３１は、取得した符号化データをパースし、予測方式情報を取得する。予測方式設定部２３１は、その予測方式情報により指定される予測方式（つまり、符号化において適用された予測方式）を復号部２３２に通知する。

【0203】

復号部２３２は、その通知を受け取り、予測方式設定部２３１から通知された予測方式を用いて、予測方式設定部２３１から供給される符号化データを簡易復号し、撮像画像データを生成する。このようにすることにより、復号部２３２は、符号化において適用された予測方式を復号に適用することができる。復号部２３２は、生成した撮像画像データを画像処理装置２００の外部に出力する。

【0204】

復号部２３２は、復号部１０２と同様の処理部であり、同様の処理を行う。つまり、復号部２３２が、例えば、図４に示されるような構成を有し、図１５のフローチャートを参照して説明したような簡易復号処理を行うようにしてもよい。

【0205】

予測方式設定部２３１が、符号化部２０１から供給された予測方式情報に基づいて予測方式を設定するので、復号部２３２は、符号化に適用された予測方式で復号を行うことができる。したがって、復号部２３２（復号部２０２）は、合焦の度合いに応じた予測精度の変化にも対応することができ、予測誤差の増大を抑制することができる。

【0206】

＜画像処理の流れ＞
次に、図１９の画像処理装置２００により実行される画像処理の流れの例を、図２３のフローチャートを参照して説明する。

【0207】

画像処理が開始されると、符号化部２０１（の予測方式設定部２２１）および復号部２０２（の予測方式設定部２３１）は、図２３のステップＳ２０１において、符号化・復号に適用する予測方式の設定を初期化する。

【0208】

ステップＳ２０２において、符号化部２０１は、符号化処理を実行し、撮像画像データに基づいて予測方式を設定し、その予測方式を用いて撮像画像データを簡易符号化し、撮像画像データの符号化データを生成する。

【0209】

ステップＳ２０３において、復号部２０２は、復号処理を実行し、予測方式情報に基づいて予測方式を設定し、その予測方式を用いて、ステップＳ２０２において生成された符号化データを簡易復号し、撮像画像データを生成する。

【0210】

ステップＳ２０４において、符号化部２０１は、全フレームを処理したか否かを判定する。未処理のフレームが存在する、すなわち、撮像画像データの新たなフレームが画像処理装置２００に入力されると判定された場合、処理はステップＳ２０２に戻り、それ以降の処理が繰り返される。

【0211】

ステップＳ２０２乃至ステップＳ２０４の処理が各フレームについて実行され、ステップＳ２０４において、入力された撮像画像データの全フレームを処理したと判定された場合、画像処理が終了する。

【0212】

＜符号化処理の流れ＞
次に、図２４のフローチャートを参照して、図２３のステップＳ２０２において実行される符号化処理の流れの例を説明する。

【0213】

符号化処理が開始されると、予測方式設定部２２１は、ステップＳ２１１において、撮像画像データに基づいて予測方式を設定する。ステップＳ２１２において、符号化部２２２は、ステップＳ２１１において設定された予測方式で、撮像画像データを簡易符号化し、符号化データを生成する。この簡易符号化は、図１４のフローチャートを参照して説明した簡易符号化処理と同様である。

【0214】

ステップＳ２１３において、符号化部２２２は、簡易符号化に適用した予測方式を示す予測方式情報を生成し、それをステップＳ２１２において生成した符号化データに付加する。ステップＳ２１３の処理が終了すると、符号化処理が終了し、処理は図２３に戻る。

【0215】

＜復号処理の流れ＞
次に、図２５のフローチャートを参照して、図２３のステップＳ２０３において実行される復号処理の流れの例を説明する。

【0216】

復号処理が開始されると、予測方式設定部２３１は、ステップＳ２２１において、符号化データをパースし、予測方式情報を抽出する。ステップＳ２２２において、予測方式設定部２３１は、ステップＳ２２１において抽出した予測方式情報に基づいて予測方式を設定する。

【0217】

ステップＳ２２３において、復号部２３２は、ステップＳ２２２において設定された予測方式で、符号化データを簡易復号し、撮像画像データを生成する。この簡易復号は、図１５のフローチャートを参照して説明した簡易復号処理と同様である。ステップＳ２２３の処理が終了すると、復号処理が終了し、処理は図２３に戻る。

【0218】

以上のように各処理を実行することにより、符号化・復号における予測誤差の増大を抑制することができる。これにより、可変長符号化の場合、符号化効率の低減を抑制することができる。また、固定長符号化の場合、復号画像の画質の低減を抑制することができる。

【0219】

＜撮像装置＞
以上のような「方法２」の本技術は、任意の電子機器に適用することができる。例えば、撮像装置にも適用することができる。図２６は、本技術を適用した撮像装置の主な構成例を示すブロック図である。図２６に示される撮像装置２５０は、撮像装置１７０と同様の装置である。

【0220】

図２６に示されるように、撮像装置２５０は、レンズ２５１、イメージセンサ２５２、信号処理部２５３、出力部２５４、および記憶部２５５を有する。

【0221】

レンズ２５１は、レンズ１７１と同様の構成を有し、同様に機能する。イメージセンサ２５２は、イメージセンサ１７２と同様の処理部である。信号処理部２５３は、信号処理部１７３と同様の処理部である。出力部２５４は、出力部１７４と同様の処理部である。記憶部２５５は、記憶部１７５と同様の処理部である。

【0222】

ただし、イメージセンサ２５２において行われる簡易符号化に適用される予測方式は、イメージセンサ２５２において設定され、信号処理部２５３において行われる簡易復号に適用される予測方式は、イメージセンサ１７２から供給される予測方式情報に基づいて設定される。

【0223】

＜イメージセンサ＞
イメージセンサ２５２は、受光部２６１、ADC２６２、符号化部２０１、および送信部２６３を有する。

【0224】

受光部２６１は、受光部１８１と同様の処理部であり、同様の構成を有し、同様の処理を行う。ADC２６２は、ADC１８２と同様の処理部であり、同様の構成を有し、同様の処理を行う。送信部２６３は、送信部１８３と同様の処理部であり、同様の構成を有し、同様の処理を行う。

【0225】

符号化部２０１は、ADC２６２から供給される撮像画像データを取得する。また、符号化部２０１は、画像処理装置２００の場合と同様に、例えば図２１に示されるような構成を有し、図２４のフローチャートを参照して説明したような符号化処理を行って、撮像画像データから予測方式を設定し、その予測方式を用いて撮像画像データを簡易符号化し、符号化データを生成する。符号化部２０１は、生成した符号化データを送信部２６３に供給する。

【0226】

＜信号処理部＞
信号処理部２５３は、受信部２７１、復号部２０２、位相差検出部２７２、レンズ制御部２７３、および画像処理部２７４を有する。

【0227】

受信部２７１は、受信部１９１と同様の処理部であり、同様の構成を有し、同様の処理を行う。位相差検出部２７２は、位相差検出部１０３と同様の処理部であり、同様の構成を有し、同様の処理を行う。レンズ制御部２７３は、レンズ制御部１９２と同様の処理部であり、同様の構成を有し、同様の処理を行う。画像処理部２７４は、画像処理部１９３と同様の処理部であり、同様の構成を有し、同様の処理を行う。

【0228】

復号部２０２は、受信部２７１から供給される符号化データを取得する。復号部２０２は、画像処理装置２００の場合と同様に、例えば図２２に示されるような構成を有し、図２５のフローチャートを参照して説明したような復号処理を行って、符号化データから予測方式情報を抽出し、その予測方式情報に基づいて予測方式を設定し、その予測方式を用いて符号化データを簡易復号し、撮像画像データを生成する。復号部２０２は、生成した撮像画像データを位相差検出部２７２および画像処理部２７４に供給する。

【0229】

以上のように、撮像装置２５０のイメージセンサ２５２と信号処理部２５３との間において、撮像画像データは、簡易符号化されて伝送される。そして、符号化部２０１および復号部２０２は、上述のように予測方式を設定し、その予測方式を用いて簡易符号化・簡易復号を行う。

【0230】

したがって、撮像装置２５０は、この簡易符号化・簡易復号における予測誤差の増大を抑制することができる。これにより、可変長符号化の場合、符号化効率の低減を抑制することができる。また、固定長符号化の場合、復号画像の画質の低減を抑制することができる。

【0231】

また、このようにすることにより、例えば、撮像画像データから符号化に適用される予測方式を設定することができる。すなわち、復号画像のフィードバックを必要とせずに、より容易に符号化に適用される予測方式を設定することができる。つまり、この予測方式の設定に関する処理による符号化の負荷の増大を抑制することができる。

【0232】

＜撮像処理の流れ＞
この撮像装置２５０が被写体を撮像するために実行する撮像処理の流れの例を、図２７および図２８のフローチャートを参照して説明する。

【0233】

撮像処理が開始されると、ステップＳ２４１乃至ステップＳ２４４の各処理が、図１７のステップＳ１５１乃至ステップＳ１５４の各処理と同様に実行される。

【0234】

ステップＳ２４５において、符号化部２０１は、図２４のフローチャートを参照して説明したように符号化処理を実行し、撮像画像データに基づいて予測方式を設定し、撮像画像データを簡易符号化する。

【0235】

ステップＳ２４６において、送信部２６３は、ステップＳ２４５において生成された、予測方式情報が付加された符号化データを送信する。図２８のステップＳ２５１において、受信部２７１は、ステップＳ２４６において送信された、予測方式情報が付加された符号化データを受信する。

【0236】

ステップＳ２５２において、復号部２０２は、図２５のフローチャートを参照して説明したように復号処理を実行し、符号化データより予測方式情報を抽出し、その予測方式情報に基づいて予測方式を設定し、その予測方式を用いて符号化データを簡易復号し、撮像画像データを生成する。

【0237】

ステップＳ２５３乃至ステップＳ２５６の各処理が、図１８のステップＳ１６３、ステップＳ１６５乃至ステップＳ１６７の各処理と同様に実行される。

【0238】

ステップＳ２５７において、撮像装置２５０は、撮像処理を終了するか否かを判定する。撮像を継続し、新たなフレーム画像を生成すると判定された場合、処理は、図２７のステップＳ２４３に戻る。つまり、撮像装置２５０は、ステップＳ２４３乃至ステップＳ２５７の各処理をフレーム毎に実行する。例えばユーザ指示等に基づいて、ステップＳ２５７において、撮像処理を終了すると判定された場合、撮像処理が終了する。

【0239】

以上のように撮像処理を行うことにより、撮像装置２５０は、ステップＳ２４５の簡易符号化（図２７）やステップＳ２５２の簡易復号（図２８）における予測誤差の増大を抑制することができる。

【0240】

＜４．第３の実施の形態＞
＜画像処理装置＞
本実施の形態においては、「方法２－１」について説明する。図２９は、本技術を適用した画像処理装置の構成の一例を示すブロック図である。図２９に示される画像処理装置３００は、画像処理装置２００と同様、入力された撮像画像データを符号化して符号化データを生成し、さらに、その符号化データを復号して撮像画像データを生成し、出力する装置である。そして画像処理装置３００は、画像処理装置２００と同様、その撮像画像データの符号化・復号における予測方式の制御方法として「方法２」を適用する。ただし、この画像処理装置３００は、予測方式情報に基づいて、復号画像の位相差検出用の補助情報（位相差検出補助情報とも称する）を生成し、その位相差検出補助情報を用いて位相差検出を行う。図２９に示されるように、この画像処理装置３００は、画像処理装置２００の構成に加えて、補助情報生成部３０１、位相差検出部３０２、およびレンズ制御部３０３を有する。

【0241】

補助情報生成部３０１は、復号部２０２から予測方式情報（復号部２０２が符号化データから抽出した予測方式情報）を取得する。予測方式情報は、符号化・復号に適用された予測方式を示す。そして、この予測方式は上述のように合焦の度合いに応じて設定される。つまり、符号化・復号に適用された予測方式に基づいて、合焦の度合い（被写体に合焦している可能性）を容易に推定することができる。したがって、補助情報生成部３０１は、予測方式情報に基づいて、合焦の度合い（被写体に合焦している可能性）を示す位相差検出補助情報を生成し、それを位相差検出部３０２に供給する。

【0242】

位相差検出部３０２は、位相差検出部１０３と同様の処理部であり、復号部２０２が生成した撮像画像データを用いて位相差を検出し、その位相差検出結果をレンズ制御部３０３に供給する。ただし、位相差検出部３０２は、合焦の度合い（被写体に合焦しているか否か）によって検出精度が低減しないようにその合焦の度合いに応じてパラメータを切り替えたり、検出精度が十分な場合は処理を簡略化したりする。位相差検出部３０２は、そのような制御を、補助情報生成部３０１から供給される位相差検出補助情報に基づいて行う。つまり、位相差検出部３０２は、予測方式情報（符号化・復号に適用された予測方式）から推定される合焦の度合いに応じて、位相差検出のパラメータを切り替えたり、処理を簡略化したりする。

【0243】

このようにすることにより、画像処理装置３００は、合焦の度合いに依らず位相差検出の精度の低減を抑制することができる。また、検出精度が低減しないように位相差検出処理を簡略化し、その負荷の増大を抑制することができる。

【0244】

レンズ制御部３０３は、レンズ制御部１９２と同様の処理部であり、位相差検出部３０２から供給される位相差検出結果に基づいて、図示せぬレンズを制御し、合焦位置を制御する。

【0245】

＜補助情報生成部＞
図３０は、図２９の補助情報生成部３０１の主な構成例を示すブロック図である。図３０に示されるように、補助情報生成部３０１は、位相差検出領域統計処理部３１１および閾値処理部３１２を有する。

【0246】

予測方式情報は、符号化ブロック毎に生成される。位相差検出領域統計処理部３１１は、復号部２０２から供給される、その符号化ブロック単位の予測方式情報を取得する。また、位相差検出領域統計処理部３１１は、その予測方式情報を用いてフレーム全体の統計処理を行う。例えば、位相差検出領域統計処理部３１１は、フレーム全体での所定の予測方式の確率を導出する。例えば、位相差検出領域統計処理部３１１は、フレーム全体において、第２の予測方式が適用された確率（Ｎ％）を導出する。位相差検出領域統計処理部３１１は、その確率を示す情報（予測方式確率とも称する）を閾値処理部３１２に供給する。

【0247】

閾値処理部３１２は、位相差検出領域統計処理部３１１から供給される予測方式確率を取得し、その予測方式確率に基づいて合焦の度合い（被写体に合焦しているか否か）を判定する。この判定の方法は任意である。例えば、閾値処理部３１２は、予測方式確率の値（Ｎ％）を閾値と比較し、その比較結果に基づいて合焦の度合い（被写体に合焦しているか否か）を判定する。例えば、閾値処理部３１２は、被写体に合焦していない場合に選択される第２の予測方式の確率Ｎが所定の閾値Th0より大きい場合、被写体に合焦していない（Out Focusの）可能性が大きいと判定する。また、例えば、第２の予測方式の確率Ｎが所定の閾値Th1（Th0 > Th1）より小さい場合、閾値処理部３１２は、被写体に合焦している（In Focusの）可能性が大きいと判定する。さらに、例えば、それ以外の場合、すなわち、第２の予測方式の確率Ｎが閾値Th0以下であり、かつ、閾値Th1以上である場合、閾値処理部３１２は、合焦の度合いは不明であると判定する。

【0248】

なお、確率を導出する予測方式は任意であり、第２の予測方式に限定されない。例えば、第１の予測方式であってもよい。

【0249】

閾値処理部３１２は、以上のような判定の結果（つまり、判定した合焦の度合い）を示す位相差検出補助情報を生成し、それを位相差検出部３０２に供給する。

【0250】

＜画像処理の流れ＞
次に、図２９の画像処理装置３００により実行される画像処理の流れの例を、図３１のフローチャートを参照して説明する。

【0251】

画像処理が開始されると、ステップＳ３０１において、レンズ制御部３０３は、図示せぬレンズを制御し、合焦位置を初期化する。

【0252】

ステップＳ３０２乃至ステップＳ３０４の各処理は、図２３のステップＳ２０１乃至ステップＳ２０３の各処理と同様に実行される。

【0253】

ステップＳ３０５において、補助情報生成部３０１は、補助情報生成処理を実行し、ステップＳ３０４において符号化データから抽出された予測方式情報に基づいて、位相差検出補助情報を生成する。

【0254】

ステップＳ３０６において、位相差検出部３０２は、ステップＳ３０４において生成された撮像画像データと、ステップＳ３０５において生成された位相差検出補助情報とに基づいて、位相差を検出する。

【0255】

ステップＳ３０７において、レンズ制御部３０３は、ステップＳ３０６において生成される位相差検出結果に基づいて、図示せぬレンズを制御し、合焦位置を更新する。

【0256】

ステップＳ３０８において、符号化部２０１は、全フレームを処理したか否かを判定する。未処理のフレームが存在する、すなわち、撮像画像データの新たなフレームが画像処理装置１００に入力されると判定された場合、処理はステップＳ３０３に戻り、それ以降の処理が繰り返される。

【0257】

ステップＳ３０３乃至ステップＳ３０８の処理が各フレームについて実行され、ステップＳ３０８において、入力された撮像画像データの全フレームを処理したと判定された場合、画像処理が終了する。

【0258】

＜補助情報生成処理の流れ＞
次に、図３２のフローチャートを参照して、図３１のステップＳ３０５において実行される補助情報生成処理の流れの例を説明する。

【0259】

補助情報生成処理が開始されると、位相差検出領域統計処理部３１１は、ステップＳ３２１において、予測方式情報に基づいて、統計処理を行い、第２の予測方式が選択された確率を導出する。

【0260】

ステップＳ３２２において、閾値処理部３１２は、ステップＳ３２１において導出された第２の予測方式の確率を閾値と比較し、合焦の度合い（被写体に合焦している可能性）を判定する。

【0261】

ステップＳ３２３において、閾値処理部３１２は、ステップＳ３２２において得られた判定結果を位相差検出補助情報として出力する。

【0262】

ステップＳ３２３の処理が終了すると、補助情報生成処理が終了し、処理は図３１に戻る。

【0263】

以上のように各処理を実行することにより、画像処理装置３００は、合焦の度合いに依らず位相差検出の精度の低減を抑制することができる。また、検出精度が低減しないように位相差検出処理を簡略化し、その負荷の増大を抑制することができる。

【0264】

＜撮像装置＞
以上のような「方法２－１」の本技術は、任意の電子機器に適用することができる。例えば、撮像装置にも適用することができる。図３３は、本技術を適用した撮像装置の主な構成例を示すブロック図である。図３３に示される撮像装置３５０は、撮像装置２５０と同様の装置である。

【0265】

図３３に示されるように、撮像装置３５０は、レンズ３５１、イメージセンサ３５２、信号処理部３５３、出力部３５４、および記憶部３５５を有する。

【0266】

レンズ３５１は、レンズ２５１と同様の構成を有し、同様に機能する。イメージセンサ３５２は、イメージセンサ２５２と同様の処理部である。信号処理部３５３は、信号処理部３５３と同様の処理部である。出力部３５４は、出力部２５４と同様の処理部である。記憶部３５５は、記憶部２５５と同様の処理部である。

【0267】

ただし、信号処理部３５３において行われる位相差検出は、撮像画像データと、位相差検出補助情報とを用いて行われる。

【0268】

＜イメージセンサ＞
イメージセンサ３５２は、受光部３６１、ADC３６２、符号化部２０１、および送信部３６３を有する。

【0269】

受光部３６１は、受光部２６１と同様の処理部であり、同様の構成を有し、同様の処理を行う。ADC３６２は、ADC２６２と同様の処理部であり、同様の構成を有し、同様の処理を行う。符号化部２０１は、画像処理装置３００の場合と同様の処理を行う。送信部３６３は、送信部２６３と同様の処理部であり、同様の構成を有し、同様の処理を行う。

【0270】

＜信号処理部＞
信号処理部３５３は、受信部３７１、復号部２０２、補助情報生成部３０１、位相差検出部３０２、レンズ制御部３０３、および画像処理部３７２を有する。

【0271】

受信部３７１は、受信部２７１と同様の処理部であり、同様の構成を有し、同様の処理を行う。画像処理部３７２は、画像処理部２７４と同様の処理部であり、同様の構成を有し、同様の処理を行う。

【0272】

復号部２０２は、受信部３７１から供給される符号化データを取得する。復号部２０２は、画像処理装置３００の場合と同様に、例えば図２２に示されるような構成を有し、図２５のフローチャートを参照して説明したような復号処理を行う。例えば、復号部２０２は、符号化データから予測方式情報を抽出し、その予測方式情報に基づいて予測方式を設定し、その予測方式を用いて符号化データを簡易復号し、撮像画像データを生成する。復号部２０２は、生成した撮像画像データを位相差検出部３０２および画像処理部３７２に供給する。また、復号部２０２は、抽出した予測方式情報を補助情報生成部３０１に供給する。

【0273】

補助情報生成部３０１は、画像処理装置３００の場合と同様に、図３０に示されるような構成を有し、図３２のフローチャートを参照して説明したような補助情報生成処理を行う。例えば、補助情報生成部３０１は、復号部２０２から供給される予測方式情報を取得し、それに基づいて位相差検出補助情報を生成する。補助情報生成部３０１は、その位相差検出補助情報を位相差検出部３０２に供給する。

【0274】

位相差検出部３０２は、画像処理装置３００の場合と同様の処理を行う。例えば、位相差検出部３０２は、復号部２０２から撮像画像データを取得し、補助情報生成部３０１から位相差検出補助情報を取得する。位相差検出部３０２は、それらの情報を用いて、位相差の検出を行う。位相差検出部３０２は、位相差検出結果をレンズ制御部３０３に供給する。

【0275】

レンズ制御部３０３は、画像処理装置３００の場合と同様の処理を行う。例えば、レンズ制御部３０３は、位相差検出部３０２から供給される位相差検出結果に基づいて、レンズ３５１を制御し、合焦位置を制御する。

【0276】

このような構成とすることにより、撮像装置３５０は、画像処理装置３００の場合と同様に、合焦の度合いに依らず位相差検出の精度の低減を抑制することができる。また、検出精度が低減しないように位相差検出処理を簡略化し、その負荷の増大を抑制することができる。

【0277】

＜撮像処理の流れ＞
この撮像装置３５０が被写体を撮像するために実行する撮像処理の流れの例を、図３４および図３５のフローチャートを参照して説明する。

【0278】

撮像処理が開始されると、図３４のステップＳ３４１乃至ステップＳ３４６の各処理が、図２７のステップＳ２４１乃至ステップＳ２４６の各処理と同様に実行され、処理は図３５に進む。そして、図３５のステップＳ３５１およびステップＳ３５２の各処理が、図２８のステップＳ２５１およびステップＳ２５２の各処理と同様に実行される。

【0279】

ステップＳ３５３において、補助情報生成部３０１は、図３２のフローチャートを参照して説明したように補助情報生成処理を実行し、予測方式情報に基づいて位相差検出補助情報を生成する。

【0280】

ステップＳ３５４において、位相差検出部３０２は、ステップＳ３５２において生成された撮像画像データと、ステップＳ３５３において生成された位相差検出補助情報とに基づいて、位相差を検出する。

【0281】

ステップＳ３５５乃至ステップＳ３５７の各処理は、図２８のステップＳ２５４乃至ステップＳ２５６の各処理と同様に実行される。

【0282】

ステップＳ３５８において、撮像装置３５０は、撮像処理を終了するか否かを判定する。撮像を継続し、新たなフレーム画像を生成すると判定された場合、処理は、図３４のステップＳ３４３に戻る。つまり、撮像装置３５０は、ステップＳ３４３乃至ステップＳ３５８の各処理をフレーム毎に実行する。例えばユーザ指示等に基づいて、ステップＳ３５８において、撮像処理を終了すると判定された場合、撮像処理が終了する。

【0283】

以上のように撮像処理を行うことにより、撮像装置３５０は、ステップＳ３４５の簡易符号化（図３４）やステップＳ３５２の簡易復号（図３５）における予測誤差の増大を抑制することができる。また、撮像装置３５０は、合焦の度合いに依らず位相差検出の精度の低減を抑制することができる。また、検出精度が低減しないように位相差検出処理を簡略化し、その負荷の増大を抑制することができる。

【0284】

＜５．第４の実施の形態＞
＜画像処理装置＞
本実施の形態においては、「方法３」について説明する。図３６は、本技術を適用した画像処理装置の構成の一例を示すブロック図である。図３６に示される画像処理装置４００は、画像処理装置２００と同様、入力された撮像画像データを符号化して符号化データを生成し、さらに、その符号化データを復号して撮像画像データを生成し、出力する装置である。そして画像処理装置４００は、画像処理装置２００と同様、その撮像画像データの符号化・復号における予測方式の制御方法として「方法２」を適用する。ただし、この画像処理装置４００は、符号化・復号の誤差情報を導出し、その誤差情報に基づいて、復号画像の位相差検出結果の信頼度を表す位相差検出結果信頼度情報を生成し、その位相差検出結果信頼度情報を用いて位相差検出を行う。

【0285】

図３６に示されるように、この画像処理装置４００は、画像処理装置２００の構成に加えて、信頼度情報生成部４０１、位相差検出部４０２、およびレンズ制御部４０３を有する。

【0286】

復号部２０２は、符号化データより予測方式情報を抽出し、その予測方式情報に基づいて予測方式を設定し、その予測方式を用いて符号化データを復号する。この場合、復号部２０２は、さらに誤差情報を導出する。

【0287】

誤差情報は、符号化・復号により損失（ロス）するビット量を示す情報である。例えば、図３７において、各四角はビットを示し、図中縦方向の位置はビット深度（bit depth）を示し、図中横方向の位置は画素位置（horizontal position）を示す。つまり、四角の図中縦方向の並び（列）が画素値のビット列を示す。

【0288】

簡易符号化・簡易復号は左の列（画素値）から順に処理される。上述したように、簡易符号化においては例えばビット列の一部がDPCM処理される。図３７の例の場合、上位５ビットがDPCM処理される。ただし、最初に処理される一番左の画素値は、PCM処理され、そのまま出力される（０との差分値が予測誤差として出力される）。DPCM処理（またはPCM処理）により導出された予測誤差は、ゴロム符号化される。そして、適宜、リファインメントとして数ビットが付加される。図３７の例の場合、各画素値において、１ビットまたは２ビットがリファインメントとして付加されている。つまり、符号化データは、以上のビットについての情報が含まれる。簡易復号においては、これらの逆処理が行われ、これらのビットの値が復元される。

【0289】

換言するに、残りのビット（図３７の例の場合、白色の四角で示される未符号化bit）は伝送されず、損失（ロス）する。図３７の例の場合、各画素において３ビットまたは４ビットを損失している（bitloss）。

【0290】

誤差情報は、このビット量を示す情報であり、例えば、符号化ブロック毎に生成される。つまり、復号部２０２は、損失したビット量（bitloss）を、符号化ブロック毎に集計し（例えば、合計値または平均値等を算出し）、それを誤差情報として信頼度情報生成部４０１に供給する。なお、誤差情報を生成するデータ単位は任意である。例えば、画素単位の情報としてもよい。

【0291】

信頼度情報生成部４０１は、復号部２０２からその誤差情報を取得する。誤差情報の値が大きい程、簡易符号化・簡易復号によるビットの損失量が大きい。ビットの損失量が大きい程、撮像画像データにおける情報損失量が大きく、位相差検出の精度が低減する可能性が高い。つまり、誤差情報の値が大きい領域程、位相差検出結果の信頼度が低減する。

【0292】

そこで、信頼度情報生成部４０１は、取得した誤差情報に基づいて、位相差検出結果の信頼度を判定し、位相差検出結果の信頼度を示す位相差検出結果信頼度情報を生成し、それを位相差検出部４０２に供給する。なお、信頼度情報生成部４０１は、この位相差検出結果信頼度情報を、位相差検出の処理単位となる領域（位相差検出領域とも称する）毎に導出する。

【0293】

位相差検出部４０２は、位相差検出部１０３と同様の処理部であり、復号部２０２が生成した撮像画像データを用いて位相差を検出し、その位相差検出結果をレンズ制御部４０３に供給する。ただし、位相差検出部４０２は、信頼度情報生成部４０１から供給される位相差検出結果信頼度情報を取得し、その位相差検出結果信頼度情報も考慮して位相差の検出を行う。つまり、位相差検出部４０２は、撮像画像データおよび位相差検出結果信頼度情報（つまり誤差情報）に基づいて位相差の検出を行う。

【0294】

例えば、位相差検出部４０２は、位相差検出結果信頼度情報において、信頼度が十分に低いと判定された位相差検出領域を、位相差検出の対象から除外する。換言するに、位相差検出部４０２は、位相差検出結果信頼度情報において、信頼度が十分に高いと判定された位相差検出領域の画素値を用いて位相差の検出を行う。

【0295】

このようにすることにより、位相差検出部４０２は、位相差検出の精度の低減を抑制することができる（典型的には、より正確に位相差を検出することができる）。

【0296】

＜信頼度情報生成部＞
図３８は、図３６の信頼度情報生成部４０１の主な構成例を示すブロック図である。図３８に示されるように、信頼度情報生成部４０１は、積算部４１１および閾値処理部４１２を有する。

【0297】

積算部４１１は、復号部２０２から供給される誤差情報を取得し、その誤差情報を積算し、位相差検出領域毎の積算値を導出する。積算部４１１は、導出した位相差検出領域毎の積算値を閾値処理部４１２に供給する。

【0298】

閾値処理部４１２は、積算部４１１から供給される積算値を取得し、その積算値と閾値とを比較することにより、その積算値に対応する位相差検出領域における位相差検出結果の信頼度を判定する。例えば、閾値処理部４１２は、各位相差検出領域について、位相差検出結果が十分に信頼できるか否かを判定する。閾値処理部４１２は、その判定結果を示す位相差検出結果信頼度情報を生成し、それを位相差検出部４０２に供給する。

【0299】

位相差検出部４０２は、このような位相差検出結果信頼度情報に基づいて、例えば、図３９に示されるように、位相差検出結果の信頼度が十分に低い位相差検出領域を特定し、その領域を位相差検出の対象から除外する。図３９の例の場合、数字等が付された各四角は位相差検出領域を示す。そのうち「×」が付された四角が、位相差検出結果信頼度情報（つまり誤差情報）に基づいて、位相差検出結果の信頼度が十分に低いと判定された位相差検出領域を示す。位相差検出部４０２は、このような領域を対象から除外して、位相差検出を行う（つまり、その他の領域において位相差検出を行う）。

【0300】

なお、図３９において、白い部分は、画素値がフラットな領域（フラット領域）であり、このような領域も位相差検出が困難であるので、位相差検出の対象から除外される。また、図中、濃いグレーで示される四角は、位相差検出結果が不正確であった位相差検出領域を示す。つまり、位相差検出部４０２は、上述のように位相差検出結果の信頼度が低い領域を対象から除外することにより、このような位相差検出結果が不正確となる領域を対象から除外することができる。したがって、位相差検出部４０２は、フラット領域を除外するのみの場合よりも正確な位相差検出を行うことができる。

【0301】

＜画像処理の流れ＞
次に、図３６の画像処理装置４００により実行される画像処理の流れの例を、図４０のフローチャートを参照して説明する。

【0302】

画像処理が開始されると、ステップＳ４０１乃至ステップＳ４０４の各処理が、ステップＳ３０１乃至ステップＳ３０４の各処理と同様に実行される。

【0303】

ステップＳ４０５において、復号部２０２は、ステップＳ４０４において生成した撮像画像データに基づいて損失したビット量を算出し、誤差情報を生成する。

【0304】

ステップＳ４０６において、信頼度情報生成部４０１は、信頼度情報生成処理を実行し、ステップＳ４０５において導出された誤差情報に基づいて位相差検出結果信頼度情報を生成する。

【0305】

ステップＳ４０７において、位相差検出部３０２は、ステップＳ４０４において生成された撮像画像データと、ステップＳ４０６において生成された位相差検出結果信頼度情報とに基づいて、位相差を検出する。

【0306】

ステップＳ４０８において、レンズ制御部４０３は、ステップＳ４０７において生成される位相差検出結果に基づいて、図示せぬレンズを制御し、合焦位置を更新する。

【0307】

ステップＳ４０９において、符号化部２０１は、全フレームを処理したか否かを判定する。未処理のフレームが存在する、すなわち、撮像画像データの新たなフレームが画像処理装置１００に入力されると判定された場合、処理はステップＳ４０３に戻り、それ以降の処理が繰り返される。

【0308】

ステップＳ４０３乃至ステップＳ４０９の処理が各フレームについて実行され、ステップＳ４０９において、入力された撮像画像データの全フレームを処理したと判定された場合、画像処理が終了する。

【0309】

＜信頼度情報生成処理の流れ＞
次に、図４１のフローチャートを参照して、図４０のステップＳ４０６において実行される信頼度情報生成処理の流れの例を説明する。

【0310】

信頼度情報生成処理が開始されると、積算部４１１は、ステップＳ４２１において、ステップＳ４０５において導出された誤差情報を位相差検出領域毎に積算し、位相差検出領域毎の積算値を導出する。

【0311】

ステップＳ４２２において、閾値処理部４１２は、ステップＳ４２１において導出された各位相差検出領域の誤差情報の積算値を閾値と比較し、その領域を位相差検出の対象から除外するか否かを判定する。

【0312】

ステップＳ４２３において、閾値処理部４１２は、ステップＳ４２２において求めた判定結果を示す位相差検出結果信頼度情報を生成し、それを出力する（つまり、位相差検出部４０２に供給する）。ステップＳ４２３の処理が終了すると、信頼度情報生成処理が終了し、処理は図４０に戻る。

【0313】

以上のように各処理を実行することにより、画像処理装置４００は、位相差検出の精度の低減を抑制することができる（典型的には、より正確に位相差を検出することができる）。

【0314】

＜撮像装置＞
以上のような「方法３」の本技術は、任意の電子機器に適用することができる。例えば、撮像装置にも適用することができる。図４２は、本技術を適用した撮像装置の主な構成例を示すブロック図である。図４２に示される撮像装置４５０は、撮像装置２５０と同様の装置である。

【0315】

図４２に示されるように、撮像装置４５０は、レンズ４５１、イメージセンサ４５２、信号処理部４５３、出力部４５４、および記憶部４５５を有する。

【0316】

レンズ３５１は、レンズ２５１と同様の構成を有し、同様に機能する。イメージセンサ３５２は、イメージセンサ２５２と同様の処理部である。信号処理部３５３は、信号処理部３５３と同様の処理部である。出力部３５４は、出力部２５４と同様の処理部である。記憶部３５５は、記憶部２５５と同様の処理部である。

【0317】

ただし、信号処理部３５３において行われる位相差検出は、撮像画像データと、位相差検出補助情報とを用いて行われる。

【0318】

＜イメージセンサ＞
イメージセンサ４５２は、受光部４６１、ADC４６２、符号化部２０１、および送信部４６３を有する。

【0319】

受光部４６１は、受光部３６１と同様の処理部であり、同様の構成を有し、同様の処理を行う。ADC４６２は、ADC３６２と同様の処理部であり、同様の構成を有し、同様の処理を行う。符号化部２０１は、画像処理装置４００の場合と同様の処理を行う。送信部４６３は、送信部３６３と同様の処理部であり、同様の構成を有し、同様の処理を行う。

【0320】

＜信号処理部＞
信号処理部４５３は、受信部４７１、復号部２０２、信頼度情報生成部４０１、位相差検出部４０２、レンズ制御部４０３、および画像処理部４７２を有する。

【0321】

受信部４７１は、受信部３７１と同様の処理部であり、同様の構成を有し、同様の処理を行う。画像処理部４７２は、画像処理部３７２と同様の処理部であり、同様の構成を有し、同様の処理を行う。レンズ制御部４０３は、レンズ制御部３０３と同様の処理部であり、同様の構成を有し、同様の処理を行う。

【0322】

復号部２０２は、受信部４７１から供給される符号化データを取得する。復号部２０２は、画像処理装置４００の場合と同様に、例えば図２２に示されるような構成を有し、図２５のフローチャートを参照して説明したような復号処理を行う。例えば、復号部２０２は、符号化データから予測方式情報を抽出し、その予測方式情報に基づいて予測方式を設定し、その予測方式を用いて符号化データを簡易復号し、撮像画像データを生成する。復号部２０２は、生成した撮像画像データを位相差検出部４０２および画像処理部４７２に供給する。また、復号部２０２は、生成した撮像画像データに基づいて誤差情報を導出する。復号部２０２は、その誤差情報を信頼度情報生成部４０１に供給する。

【0323】

信頼度情報生成部４０１は、画像処理装置４００の場合と同様に、図３８に示されるような構成を有し、図４１のフローチャートを参照して説明したような信頼度情報生成処理を行う。例えば、信頼度情報生成部４０１は、復号部２０２から供給される誤差情報を取得し、その積算値を位相差検出領域毎に導出し、その積算値に基づいて位相差検出結果の信頼度を判定し、位相差検出結果信頼度情報を生成する。信頼度情報生成部４０１は、その位相差検出結果信頼度情報を位相差検出部４０２に供給する。

【0324】

位相差検出部４０２は、画像処理装置４００の場合と同様の処理を行う。例えば、位相差検出部４０２は、復号部２０２から撮像画像データを取得し、信頼度情報生成部４０１から位相差検出結果信頼度情報を取得する。位相差検出部４０２は、それらの情報を用いて、位相差の検出を行う。位相差検出部４０２は、位相差検出結果をレンズ制御部４０３に供給する。

【0325】

このような構成とすることにより、撮像装置４５０は、画像処理装置４００の場合と同様に、位相差検出の精度の低減を抑制することができる（典型的には、より正確に位相差を検出することができる）。

【0326】

＜撮像処理の流れ＞
この撮像装置４５０が被写体を撮像するために実行する撮像処理の流れの例を、図４３および図４４のフローチャートを参照して説明する。

【0327】

撮像処理が開始されると、図４３のステップＳ４４１乃至ステップＳ４４６の各処理が、図３４のステップＳ３４１乃至ステップＳ３４６の各処理と同様に実行され、処理は図４４に進む。そして、図４４のステップＳ４５１およびステップＳ４５２の各処理が、図３５のステップＳ３５１およびステップＳ３５２の各処理と同様に実行される。

【0328】

ステップＳ４５３において、復号部２０２は、ステップＳ４５２において生成した撮像画像データに基づいて誤差情報を導出する。

【0329】

ステップＳ４５４において、信頼度情報生成部４０１は、図４１のフローチャートを参照して説明したように信頼度情報生成処理を実行し、誤差情報に基づいて位相差検出結果信頼度情報を生成する。

【0330】

ステップＳ４５５において、位相差検出部４０２は、ステップＳ４５２において生成された撮像画像データと、ステップＳ４５４において生成された位相差検出結果信頼度情報とに基づいて、位相差を検出する。

【0331】

ステップＳ４５６乃至ステップＳ４５８の各処理は、図３５のステップＳ３５５乃至ステップＳ３５７の各処理と同様に実行される。

【0332】

ステップＳ４５９において、撮像装置４５０は、撮像処理を終了するか否かを判定する。撮像を継続し、新たなフレーム画像を生成すると判定された場合、処理は、図４３のステップＳ４４３に戻る。つまり、撮像装置４５０は、ステップＳ４４３乃至ステップＳ４５９の各処理をフレーム毎に実行する。例えばユーザ指示等に基づいて、ステップＳ４５９において、撮像処理を終了すると判定された場合、撮像処理が終了する。

【0333】

以上のように撮像処理を行うことにより、撮像装置４５０は、ステップＳ４４５の簡易符号化（図４３）やステップＳ４５２の簡易復号（図４４）における予測誤差の増大を抑制することができる。また、撮像装置４５０は、位相差検出の精度の低減を抑制することができる（典型的には、より正確に位相差を検出することができる）。

【0334】

＜その他＞
なお、上述した「方法３」において、簡易符号化・簡易復号の方法は任意である。この「方法３」は、上述のように「方法２」に適用することもできるし、「方法１」に適用することもできる。また、それら以外の簡易符号化・簡易復号の方法に適用することもできる。

【0335】

さらに、この「方法３」は、上述の「方法２－１」と併用することもできる。つまり、位相差検出部が、撮像画像データ、位相差検出補助情報、および位相差検出結果信頼度情報に基づいて位相差を検出するようにしてもよい。

【0336】

＜６．第５の実施の形態＞
＜適用例：撮像素子＞
以上においては、各実施の形態において説明した本技術を撮像装置に適用する例を説明したが、本技術は任意のデバイスに適用することができる。例えば、本技術は、撮像素子にも適用することができる。図４５は、本技術を適用した撮像素子である積層型イメージセンサの主な構成例を示すブロック図である。図４５に示される積層型イメージセンサ５００は、被写体を撮像し、撮像画像のデジタルデータ（画像データ）を得て、その画像データを出力するイメージセンサ（撮像素子）である。

【0337】

図４５に示されるように、積層型イメージセンサ５００は、半導体基板５０１乃至半導体基板５０３の３枚の半導体基板を有する。これらの半導体基板は、互いに重畳された状態で封止され、モジュール化（一体化）されている。つまり、これらの半導体基板は、多層構造（積層構造）を形成する。半導体基板５０１乃至半導体基板５０３には、それぞれ、電子回路が形成されており、各半導体基板に形成される回路は、ビア（VIA）等により互いに接続されている。各半導体基板（に形成される回路）間の経路をバスとも称する。例えば、半導体基板５０１の回路と半導体基板５０２の回路は、バス５１１を介してデータ等の授受を行うことができる。また、半導体基板５０２の回路と半導体基板５０３の回路は、バス５１２を介してデータ等の授受を行うことができる。

【0338】

また、半導体基板５０２に形成される回路には、積層型イメージセンサ５００のインタフェース５１３が形成される。つまり、半導体基板５０２に形成される回路は、このインタフェース５１３を介して、積層型イメージセンサ５００の外部の回路（例えば回路基板５２０に形成される回路）とデータ等の授受を行うことができる。このインタフェース５１３は、所定の通信規格に準拠した通信方式により通信が行われるインタフェースである。この通信規格は任意である。例えば、MIPI（Mobile Industry Processor Interface）であってもよいし、SLVS-EC（Scalable Low Voltage Signaling Embedded Clock）であってもよいし、その他の規格であってもよい。なお、インタフェース５１３の具体的な構成は任意である。例えば、入出力の制御を行う構成だけでなく、バスやケーブル等の伝送路もインタフェース５１３に含まれるものとしてもよい。

【0339】

このように、モジュール内部において半導体基板の多層構造を形成することにより、積層型イメージセンサ５００は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、積層型イメージセンサ５００は、コストの増大を抑制しながら、より大規模な回路を実装することができる。

【0340】

各半導体基板に形成される回路構成の例を図４６に示す。図４６においては説明の便宜上、半導体基板５０１乃至半導体基板５０３が平面上に並べて配置されているが、実際には、図４５に示されるように互いに重畳されている。

【0341】

一番上の半導体基板５０１には、受光部５３１およびA/D変換部５３２等が形成される。受光部５３１は、例えばフォトダイオード等の光電変換素子を有する単位画素を複数有し、各単位画素において入射光を光電変換し、入射光に相当する電荷を電気信号（画素信号）としてA/D変換部５３２に出力する。

【0342】

A/D変換部５３２は、受光部５３１から供給される各画素信号をA/D変換し、デジタルデータの画素データを生成する。A/D変換部５３２は、このように生成した各単位画素の画素データの集合を画像データとしてバス５１１を介して半導体基板５０２に供給する。

【0343】

中段の半導体基板５０２には、画像処理等を行う論理回路である画像処理部５３３が形成される。画像処理部５３３は、半導体基板５０１からバス５１１を介して供給される画像データを取得すると、その画像データに対して、所定の画像処理を行う。この画像処理の内容は任意である。例えば、欠陥画素補正、オートフォーカス用の位相差検出、画素加算、デジタルゲイン、ノイズリダクション等がこの画像処理に含まれていてもよい。もちろん、これら以外の処理が含まれていてもよい。

【0344】

一番下の半導体基板５０３には、DRAM（Dynamic Random Access Memory）５３４が形成される。このDRAM５３４は、バス５１２を介して半導体基板５０２（画像処理部５３３）から供給されるデータ等を記憶することができる。また、DRAM５３４は、半導体基板５０２（画像処理部５３３）等からの要求に応じて、記憶しているデータ等を読み出し、バス５１２を介して半導体基板５０２に供給することができる。つまり、画像処理部５３３は、画像処理中の画像データを一時的に保持させる等、このDRAM５３４を用いて画像処理を行うことができる。例えば、高速のフレームレートで撮像し、その各フレームの撮像画像をDRAM５３４に記憶させ、それを低速のフレームレートで読み出して出力することにより、所謂スローモーション撮像を実現することができる。

【0345】

このようなDRAM５３４の利用において、画像処理部５３３は、画像データを符号化（圧縮）し、生成した符号化データをDRAM５３４に記憶させたり、DRAM５３４から符号化データを読み出して復号し、画像データ（復号画像データ）を生成したりする。例えば、画像処理部５３３は、符号化部５３３Ａおよび復号部５３３Ｂを有する。符号化部５３３Ａは、画像データを符号化し、生成した符号化データをDRAM５３４に供給し、記憶させる。復号部５３３Ｂは、DRAM５３４から読み出された符号化データを復号し、画像データ（復号画像データ）を生成する。このように画像データを符号化データ（圧縮したデータ）としてDRAM５３４に記憶させるようにすることにより、DRAM５３４に記憶させるデータ量を低減させることができる。したがって、DRAM５３４の記憶領域や、バス５１２の帯域の利用効率を向上させることができる。したがって、DRAM５３４の容量やバス５１２の帯域幅の増大を抑制することができ、製造コストの増大を抑制することができる。

【0346】

この符号化部５３３Ａとして、上述した符号化部１０１や符号化部２０１を適用するようにしてもよい。また、復号部５３３Ｂとして、上述した復号部１０２や復号部２０２を適用するようにしてもよい。このようにすることにより、DRAM５３４へのデータの書き込みやDRAM５３４からのデータの読み出しにおいて、第１の実施の形態や第２の実施の形態等において上述した効果を得ることができる。

【0347】

また、画像処理部５３３に、補助情報生成部３０１乃至レンズ制御部３０３を設け、図２９を参照して説明したような構成を形成するようにしてもよい。このようにすることにより、DRAM５３４とのデータの授受における符号化・復号に基づいて、第３の実施の形態等において上述した効果を得ることができる。

【0348】

さらに、画像処理部５３３に、信頼度情報生成部４０１乃至レンズ制御部４０３を設け、図３６を参照して説明したような構成を形成するようにしてもよい。このようにすることにより、DRAM５３４とのデータの授受における符号化・復号に基づいて、第４の実施の形態等において上述した効果を得ることができる。

【0349】

また、回路基板５２０には、画像処理等を行う論理回路である画像処理部５３５が形成される。画像処理部５３５は、積層型イメージセンサ５００の半導体基板５０２（画像処理部５３３）からインタフェース５１３を介して供給される画像データを取得すると、その画像データに対して、所定の画像処理を行う。この画像処理の内容は任意である。

【0350】

つまり、画像処理部５３３は、インタフェース５１３を介してデータ等を画像処理部５３５に供給する（積層型イメージセンサ５００の外部に出力する）ことができる。このような出力の際に、画像処理部５３３は、画像データを符号化（圧縮）して、符号化データとして出力する。例えば、画像処理部５３３が符号化部５３３Ｃを有し、画像処理部５３５が復号部５３５Ａを有する。符号化部５３３Ｃは、画像データを符号化し、その符号化データを、インタフェース５１３を介して出力する。復号部５３５Ａは、そのインタフェース５１３を介して供給される符号化データを復号し、画像データ（復号画像データ）を生成する。画像処理部５３５は、生成した復号画像データに対して画像処理を行う。

【0351】

このように、符号化データ（圧縮したデータ）を、インタフェース５１３を介して伝送するようにすることにより、伝送するデータ量を低減させることができる。したがって、インタフェース５１３の帯域の利用効率を向上させることができる。つまり、インタフェース５１３の帯域幅の増大を抑制することができ、製造コストの増大を抑制することができる。

【0352】

この符号化部５３３Ｃとして、上述した符号化部１０１や符号化部２０１を適用するようにしてもよい。また、復号部５３５Ａとして、上述した復号部１０２や復号部２０２を適用するようにしてもよい。このようにすることにより、積層型イメージセンサ５００の外部へのデータ出力において、第１の実施の形態や第２の実施の形態等において上述した効果を得ることができる。

【0353】

また、画像処理部５３３に、補助情報生成部３０１乃至レンズ制御部３０３を設け、図２９を参照して説明したような構成を形成するようにしてもよい。このようにすることにより、積層型イメージセンサ５００の外部へのデータ出力における符号化・復号に基づいて、第３の実施の形態等において上述した効果を得ることができる。

【0354】

さらに、画像処理部５３３に、信頼度情報生成部４０１乃至レンズ制御部４０３を設け、図３６を参照して説明したような構成を形成するようにしてもよい。このようにすることにより、積層型イメージセンサ５００の外部へのデータ出力における符号化・復号に基づいて、第４の実施の形態等において上述した効果を得ることができる。

【0355】

＜７．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

【0356】

図４７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

【0357】

図４７に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

【0358】

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

【0359】

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

【0360】

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

【0361】

コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

【0362】

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

【0363】

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

【0364】

＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。

【0365】

また、以上においては、本技術を撮像装置に適用する場合について説明したが、本技術は、撮像装置に限らず任意の装置（電子機器）に適用することができる。例えば、他の装置において行われた高デジタルゲイン撮像により得られた撮像画像に対して画像処理を施す画像処理装置等にも本技術を適用することができる。

【0366】

また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。

【0367】

さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。

【0368】

なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

【0369】

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

【0370】

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

【0371】

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

【0372】

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

【0373】

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0374】

また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

【0375】

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0376】

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0377】

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0378】

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0379】

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0380】

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0381】

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0382】

なお、本技術は以下のような構成も取ることができる。
（１） 合焦に関するパラメータに基づいて設定された予測方式による予測を用いて撮像画像データを符号化する符号化部
を備える画像処理装置。
（２） 前記予測方式は、前記合焦に関するパラメータに基づいて、被写体に合焦しているか否かに応じて設定される
（１）に記載の画像処理装置。
（３） 前記被写体に合焦している場合、処理対象画素と同色の画素の中で前記処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式が設定される
（２）に記載の画像処理装置。
（４） 前記被写体に合焦していない場合、画素値を検出するフォトダイオードの位置が処理対象画素と同一であり、かつ、前記処理対象画素と同色の画素の中で前記処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式が設定される
（２）または（３）に記載の画像処理装置。
（５） 前記合焦に関するパラメータは、前記合焦のための位相差検出に用いられる画素値から導出される
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記合焦に関するパラメータは、前記符号化部が前記撮像画像データを符号化して生成した符号化データを復号して得られる撮像画像データの前記画素値を用いて行われる前記位相差検出の結果である
（５）に記載の画像処理装置。
（７） 前記合焦に関するパラメータは、前記撮像画像データの前記画素値を用いて行われる各予測方式による予測の結果である
（５）に記載の画像処理装置。
（８） 前記予測方式を設定する設定部をさらに備え、
前記符号化部は、前記設定部により設定された前記予測方式による予測を用いて前記撮像画像データを符号化する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記設定部は、前記合焦に関するパラメータに基づいて、被写体に合焦しているか否かに応じて前記予測方式を設定する
（８）に記載の画像処理装置。
（１０） 前記設定部は、前記被写体に合焦している場合、前記予測方式として、処理対象画素と同色の画素の中で前記処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式を設定する
（９）に記載の画像処理装置。
（１１） 前記設定部は、前記被写体に合焦していない場合、前記予測方式として、画素値を検出するフォトダイオードの位置が処理対象画素と同一であり、かつ、前記処理対象画素と同色の画素の中で前記処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式を設定する
（９）または（１０）に記載の画像処理装置。
（１２） 前記設定部は、前記符号化部が前記撮像画像データを符号化して生成した符号化データを復号して得られる撮像画像データを用いて行われる前記合焦のための位相差検出の結果を前記合焦に関するパラメータとして用い、前記予測方式を設定する
（９）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記設定部は、前記撮像画像データを用いて各予測方式による予測を行い、各予測の結果を前記合焦に関するパラメータとして用い、前記予測方式を設定する
（９）乃至（１１）のいずれかに記載の画像処理装置。
（１４） 前記符号化部は、前記設定部により設定された予測方式を示す予測方式情報を、前記撮像画像データを符号化して生成した符号化データに付加する
（１３）に記載の画像処理装置。
（１５） 前記符号化部は、
前記予測方式を用いて、前記撮像画像データの処理対象画素の予測を行い、前記処理対象画素の画素値の一部のビットと予測値との差分を導出する差分導出部と、
前記差分導出部により導出された前記差分をゴロム符号化するゴロム符号化部と、
前記ゴロム符号化部により前記差分がゴロム符号化されて生成された符号化データに適宜リファインメントを付加することにより、前記符号化データの符号量を調整する調整部と
を備える
（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記符号化部により前記撮像画像データが符号化されて生成された符号化データを送信する送信部をさらに備える
（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記符号化部により前記撮像画像データが符号化されて生成された符号化データを復号する復号部をさらに備える
（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記復号部により前記符号化データが復号されて生成された撮像画像データを用いて、前記合焦のための位相差検出を行う位相差検出部をさらに備える
（１７）に記載の画像処理装置。
（１９） 前記位相差検出部による前記位相差検出の結果に基づいて、被写体に合焦させるように光学系を制御する制御部をさらに備える
（１８）に記載の画像処理装置。
（２０） 合焦に関するパラメータに基づいて設定された予測方式による予測を用いて撮像画像データを符号化する
画像処理方法。

【0383】

（２１） 合焦に関するパラメータに基づいて設定された予測方式による予測を用いて、撮像画像データの符号化データを復号する復号部
を備える画像処理装置。
（２２） 前記予測方式は、前記合焦に関するパラメータに基づいて、被写体に合焦しているか否かに応じて設定される
（２１）に記載の画像処理装置。
（２３） 前記被写体に合焦している場合、処理対象画素と同色の画素の中で前記処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式が設定される
（２２）に記載の画像処理装置。
（２４） 前記被写体に合焦していない場合、画素値を検出するフォトダイオードの位置が処理対象画素と同一であり、かつ、前記処理対象画素と同色の画素の中で前記処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式が設定される
（２２）または（２３）に記載の画像処理装置。
（２５） 前記合焦に関するパラメータは、前記復号部が前記符号化データを復号して得られる撮像画像データを用いて行われる前記合焦のための位相差検出の結果である
（２１）乃至（２４）のいずれかに記載の画像処理装置。
（２６） 前記合焦に関するパラメータは、前記符号化データに付加された、符号化の際に用いられた予測方式を示す予測方式情報である
（２１）乃至（２５）のいずれかに記載の画像処理装置。
（２７） 前記予測方式を設定する設定部をさらに備え、
前記復号部は、前記設定部により設定された前記予測方式による予測を用いて前記符号化データを復号する
（２１）乃至（２６）のいずれかに記載の画像処理装置。
（２８） 前記設定部は、前記合焦に関するパラメータに基づいて、被写体に合焦しているか否かに応じて前記予測方式を設定する
（２７）に記載の画像処理装置。
（２９） 前記設定部は、前記被写体に合焦している場合、前記予測方式として、処理対象画素と同色の画素の中で前記処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式を設定する
（２８）に記載の画像処理装置。
（３０） 前記設定部は、前記被写体に合焦していない場合、前記予測方式として、画素値を検出するフォトダイオードの位置が処理対象画素と同一であり、かつ、前記処理対象画素と同色の画素の中で前記処理対象画素の最も近傍に位置する画素の画素値を予測値とする予測方式を設定する
（２８）または（２９）に記載の画像処理装置。
（３１） 前記設定部は、前記復号部が前記符号化データを復号して得られる撮像画像データを用いて行われる前記合焦のための位相差検出の結果を前記合焦に関するパラメータとして用い、前記予測方式を設定する
（２８）に記載の画像処理装置。
（３２） 前記復号部は、
前記符号化部に付加されているリファインメントを除去することにより、前記符号化データの符号量を逆調整する逆調整部と、
前記逆調整部により符号量が逆調整された前記符号化データをゴロム復号するゴロム復号部と、
前記ゴロム復号部により前記符号化データがゴロム復号されて生成された、撮像画像データの画素値と予測値との差分を用いて、前記撮像画像データを生成する撮像画像データ生成部と
を備える
（２１）乃至（３１）のいずれかに記載の画像処理装置。
（３３） 前記符号化データを受信する受信部をさらに備え、
前記復号部は、前記受信部により受信された前記符号化データを復号する
（２１）乃至（３２）のいずれかに記載の画像処理装置。
（３４） 前記復号部により前記符号化データが復号されて生成された撮像画像データを用いて、前記合焦のための位相差検出を行う位相差検出部をさらに備える
（２１）乃至（３３）のいずれかに記載の画像処理装置。
（３５） 前記位相差検出部は、さらに、撮像画像データを符号化して前記符号化データを生成する際に用いられた予測方式を示す予測方式情報に基づいて、前記位相差検出を行う
（３４）に記載の画像処理装置。
（３６） 前記予測方式情報に基づいて、前記位相差検出用の補助情報を生成する補助情報生成部をさらに備え、
前記位相差検出部は、前記復号部により前記符号化データが復号されて生成された撮像画像データと、前記補助情報生成部により生成された前記補助情報とに基づいて、前記位相差検出を行う
（３５）に記載の画像処理装置。
（３７） 前記位相差検出部は、さらに、撮像画像データの符号化および復号による誤差を示す誤差情報に基づいて、前記位相差検出を行う
（３４）乃至（３６）のいずれかに記載の画像処理装置。
（３８） 前記誤差情報に基づいて、前記位相差検出の結果の信頼度を示す信頼度情報を生成する信頼度情報生成部をさらに備え、
前記位相差検出部は、前記復号部により前記符号化データが復号されて生成された撮像画像データと、前記信頼度情報生成部により生成された前記信頼度情報とに基づいて、前記位相差検出を行う
（３７）に記載の画像処理装置。
（３９） 前記位相差検出部による前記位相差検出の結果に基づいて、被写体に合焦させるように光学系を制御する制御部をさらに備える
（３４）乃至（３８）のいずれかに記載の画像処理装置。
（４０） 合焦に関するパラメータに基づいて設定された予測方式による予測を用いて、撮像画像データの符号化データを復号する
画像処理方法。

【符号の説明】

【0384】

１００ 画像処理装置， １０１ 符号化部， １０２ 復号部， １０３ 位相差検出部， １０４ 予測方式設定部， １２１ DPCM処理部， １２２ ゴロム符号化部， １２３ 圧縮率調整部， １３１ 圧縮率逆調整部, １３２ ゴロム復号部， １３３ 逆DPCM処理部， １４０ 画素アレイ， １４１ 画素， １４２ オンチップレンズ， １５１ 左光電変換素子， １５２ 右光電変換素子， １５４ カラーフィルタ， １７０ 撮像装置， １７１ レンズ， １７２ イメージセンサ， １７３ 信号処理部， １７４ 出力部， １７５ 記憶部， １８１ 受光部， １８２ ADC， １８３ 送信部， １９１ 受信部， １９２ レンズ制御部， １９３ 画像処理部， ２００ 画像処理装置， ２０１ 符号化部， ２０２ 復号部， ２２１ 予測方式設定部， ２２２ 符号化部， ２３１ 予測方式設定部， ２３２ 復号部， ２５０ 撮像装置， ２５１ レンズ， ２５２ イメージセンサ， ２５３ 信号処理部， ２５４ 出力部， ２５５ 記憶部， ２６１ 受光部， ２６２ ADC， ２６３ 送信部， ２７１ 受信部， ２７２ 位相差検出部， ２７３ レンズ制御部， ２７４ 画像処理部， ３００ 画像処理装置， ３０１ 補助情報生成部， ３０２ 位相差検出部， ３０３ レンズ制御部， ３１１ 位相差検出領域統計処理部， ３１２ 閾値処理部， ３５０ 撮像装置， ３５１ レンズ， ３５２ イメージセンサ， ３５３ 信号処理部， ３５４ 出力部， ３５５ 記憶部， ３６１ 受光部， ３６２ ADC， ３６３ 送信部， ３７１ 受信部， ３７２ 画像処理部， ４００ 画像処理装置， ４０１ 信頼度情報生成部， ４０２ 位相差検出部， ４０３ レンズ制御部， ４１１ 積算部， ４１２ 閾値処理部， ４５０ 撮像装置， ４５１ レンズ， ４５２ イメージセンサ， ４５３ 信号処理部， ４６１ 受光部， ４６２ ADC， ４６３ 送信部， ４７１ 受信部， ４７２ 画像処理部， ５００ 積層型イメージセンサ， ５０１乃至５０３ 半導体基板， ５２０ 回路基板， ５３１ 受光部， ５３２ A/D変換部， ５３３ 画像処理部， ５３４ DRAM， ５３５ 画像処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】