特開 2024-84697 画像処理システム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024084697

(43)【公開日】2024-06-25

(54)【発明の名称】画像処理システム及び画像処理方法

(51)【国際特許分類】

   G06T 5/50 20060101AFI20240618BHJP

【ＦＩ】

G06T5/50

【審査請求】未請求

【請求項の数】23

【出願形態】ＯＬ

(21)【出願番号】P 2023192110

(22)【出願日】2023-11-10

(31)【優先権主張番号】10-2022-0173798

(32)【優先日】2022-12-13

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】アン サン ウ

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA13

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CD05

5B057CE08

5B057DB02

5B057DB06

5B057DB09

(57)【要約】

【課題】合成画像を生成する画像処理システムを提供する。
【解決手段】本技術による画像処理システム１０は、第１位相差の程度に対応する第１画素と第２位相差の程度に対応する第２画素を含む画素アレイ１１０を含む画像センサ１００と、第１画素の画素値に基づいて第１解像度に対応する第１画像セット５１０と第２画素の画素値に基づいて第２解像度に対応する第２画像セット５２０を生成する画像セット管理部２１０と、第１画像セット５１０に基づいて第１距離情報を生成し、第２画像セット５２０に基づいて第２距離情報を生成し、第１距離情報及び第２距離情報に基づいて第１画像セット５１０と第２画像セット５２０の合成画像を生成する画像合成部２２０と、を含んでもよい。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１位相差の程度に対応する第１画素と第２位相差の程度に対応する第２画素を含む画素アレイを含む画像センサと、
前記第１画素の画素値に基づいて第１解像度に対応する第１画像セットと前記第２画素の画素値に基づいて第２解像度に対応する第２画像セットを生成する画像セット管理部と、
前記第１画像セットに基づいて第１深度情報を生成し、前記第２画像セットに基づいて第２深度情報を生成し、前記第１深度情報及び前記第２深度情報に基づいて前記第１画像セットと前記第２画像セットの合成画像を生成する画像合成部と、を含む、画像処理システム。

【請求項2】

前記画像セット管理部は、
前記第１画素の画素値に基づいて前記第１位相差の程度に対応する前記第１画像セットの左側画像と右側画像を生成する、請求項１に記載の画像処理システム。

【請求項3】

前記第１位相差の程度は、
前記第２位相差の程度より小さく、
前記画像セット管理部は、
前記第２画素の画素値に基づいて前記第２位相差の程度に対応する前記第２画像セットの左側画像と右側画像を生成する、請求項２に記載の画像処理システム。

【請求項4】

前記画像セット管理部は、
前記第１解像度と前記第２解像度が等しくなるように前記第２画像セットの解像度をアップスケールする、請求項３に記載の画像処理システム。

【請求項5】

前記画像合成部は、
前記第１画像セットの左側画像と右側画像の位相差に基づいて前記第１深度情報を生成し、前記第２画像セットの左側画像と右側画像の位相差に基づいて前記第２深度情報を生成する、請求項４に記載の画像処理システム。

【請求項6】

前記画像合成部は、
前記第１深度情報及び前記第２深度情報に基づいて前記合成画像の画素に対する重み付け値を決め、前記重み付け値に応じて前記第１深度情報と前記第２深度情報が併合された前記合成画像のターゲット深度情報を生成する、請求項５に記載の画像処理システム。

【請求項7】

前記画像合成部は、
前記合成画像の深度が第１範囲であることに対応して前記第１深度情報に対する重み付け値を前記第２深度情報に対する重み付け値より高く決める、請求項６に記載の画像処理システム。

【請求項8】

前記画像合成部は、
前記合成画像の深度が第２範囲であることに対応して前記第２深度情報に対する重み付け値を前記第１深度情報に対する重み付け値より高く決める、請求項７に記載の画像処理システム。

【請求項9】

前記画像合成部は、
前記第１位相差の程度に基づいて前記第１範囲を決め、前記第２位相差の程度に基づいて前記第２範囲を決める、請求項８に記載の画像処理システム。

【請求項10】

前記第１範囲は、
前記第２範囲より前記合成画像の深度がさらに浅い、請求項８に記載の画像処理システム。

【請求項11】

前記画像合成部は、
前記第１位相差の程度によって前記第１画像セットにおいてセンシングされない部分である第１ホールを検出し、前記第２画像セットに基づいて前記第１ホールに対する補間動作を行う、請求項５に記載の画像処理システム。

【請求項12】

前記画像合成部は、
前記第２位相差の程度によって前記第２画像セットにおいてセンシングされない部分である第２ホールを検出し、前記第１画像セットに基づいて前記第２ホールに対する補間動作を行う、請求項１１に記載の画像処理システム。

【請求項13】

前記画像合成部は、
前記ターゲット深度情報に基づいて前記合成画像を生成する、請求項６に記載の画像処理システム。

【請求項14】

前記画像センサは、
予め定められた数の画素に光信号を伝達する複数のマイクロレンズを含み、
前記複数のマイクロレンズは、
前記第１画素に前記光信号を伝達する第１マイクロレンズ及び前記第２画素に前記光信号を伝達する第２マイクロレンズを含み、
前記第１マイクロレンズは、
前記第１画素の間に前記第１位相差の程度を発生させ、
前記第２マイクロレンズは、
前記第２画素の間に前記第２位相差の程度を発生させる、請求項１に記載の画像処理システム。

【請求項15】

前記第２マイクロレンズは、
予め決められた形状の遮断物を含み、
前記遮断物は、
前記第２画素に伝達される光信号の一部を遮断する、請求項１４に記載の画像処理システム。

【請求項16】

前記第１マイクロレンズによって発生する前記第１画素の第１両眼視差が前記第２マイクロレンズによって発生する前記第２画素の第２両眼視差と異なり、
前記第２両眼視差は、
前記第１両眼視差より大きいことを特徴とする、請求項１４に記載の画像処理システム。

【請求項17】

前記画素アレイに含まれた画素のうち前記第１マイクロレンズに対応する前記第１画素の比率が前記第２マイクロレンズに対応する前記第２画素の比率より大きいことを特徴とする、請求項１４に記載の画像処理システム。

【請求項18】

同じ装置から位相差の程度が異なる画素値を受信する段階と、
前記画素値のうち第１位相差の程度に対応する第１画素値に基づいてメイン画像セットを生成し、前記画素値のうち第２位相差の程度に対応する第２画素値に基づいてサブ画像セットを生成する段階と、
前記メイン画像セットと前記サブ画像セットに基づいてメイン深度情報とサブ深度情報を生成する段階と、
前記メイン深度情報と前記サブ深度情報に基づいて前記メイン画像セットと前記サブ画像セットの合成画像を生成する段階と、を含む、画像処理方法。

【請求項19】

前記メイン画像セットと前記サブ画像セットを生成する段階は、
前記第１画素値に基づいて前記第２位相差の程度より小さい前記第１位相差の程度に対応する前記メイン画像セットの左側画像と右側画像を生成する段階と、
前記第２画素値に基づいて前記第２位相差の程度に対応する前記サブ画像セットの左側画像と右側画像を生成する段階と、を含む、請求項１８に記載の画像処理方法。

【請求項20】

前記メイン画像セットと前記サブ画像セットのサイズが等しくなるように前記サブ画像セットのサイズをアップスケールする段階をさらに含む、請求項１９に記載の画像処理方法。

【請求項21】

前記メイン深度情報と前記サブ深度情報を生成する段階は、
前記メイン画像セットの左側画像と右側画像の位相差に基づいて前記メイン深度情報を生成する段階と、
前記サブ画像セットの左側画像と右側画像の位相差に基づいて前記サブ深度情報を生成する段階と、を含む、請求項２０に記載の画像処理方法。

【請求項22】

前記合成画像を生成する段階は、
前記メイン深度情報及び前記サブ深度情報に基づいて前記合成画像の併合に用いられる重み付け値を決める段階と、
前記重み付け値に基づいて前記メイン深度情報と前記サブ深度情報が併合された前記合成画像のターゲット深度情報を生成する段階と、
前記ターゲット深度情報に基づいて前記合成画像を生成する段階と、を含む、請求項２１に記載の画像処理方法。

【請求項23】

前記重み付け値を決める段階は、
前記第１位相差の程度に基づいて前記メイン深度情報に対する重み付け値が前記サブ深度情報に対する重み付け値より高い第１範囲を決める段階と、
前記第２位相差の程度に基づいて前記サブ深度情報に対する重み付け値が前記メイン深度情報に対する重み付け値より高い第２範囲を決める段階と、
前記メイン深度情報に基づいて前記第１範囲に対応する前記重み付け値を決め、前記サブ深度情報に基づいて前記第２範囲に対応する前記重み付け値を決める段階と、を含む、請求項２２に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理システムに関し、より具体的には、本発明は画像処理システム及び画像処理方法に関する。

【背景技術】

【0002】

通常、画像センサはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）画像センサと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサとに区分することができる。近年、製造費用が安く、電力消耗が少なく、周辺回路との集積が容易なＣＭＯＳ画像センサが注目を浴びている。

【0003】

スマートフォン、タブレットＰＣ、デジタルカメラなどに含まれた画像センサは外部客体から反射された光を電気的信号に変換することにより、外部客体に関する画像情報を取得することができる。画像信号処理装置は画像センサから取得した電気的信号を変換するか、または画像品質を向上させる動作を行うことができる。

【0004】

画像センサは画素に対応するマイクロレンズを含んでもよい。画像センサは位相検出オートフォーカス機能を実行して画像をセンシングする。位相検出オートフォーカス機能を行うことによって画像センサの位相差の程度が制限されることができる。

【0005】

位相差の程度によって画像センサがセンシングできる画像の深度が制限されることがあり、実際とは異なる画像がセンシングされ得る。画像処理装置は画像の深度情報を補正して画像の品質を向上させることができる。画像処理装置は画像センサの深度制限にもかかわらず、画像処理動作を通じてセンシングされる画像の正確度を向上させることができる。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の実施例は、位相差の程度の異なる画素から受信した画素値を用いて複数の深度情報を取得し、取得した情報を併合した深度情報に応じて合成画像を生成する画像処理システム及び画像処理方法を提供する。

【課題を解決するための手段】

【0007】

本発明の実施例による画像処理システムは、第１位相差の程度に対応する第１画素と第２位相差の程度に対応する第２画素を含む画素アレイを含む画像センサと、上記第１画素の画素値に基づいて第１解像度に対応する第１画像セットと上記第２画素の画素値に基づいて第２解像度に対応する第２画像セットを生成する画像セット管理部と、上記第１画像セットに基づいて第１距離情報を生成し、上記第２画像セットに基づいて第２距離情報を生成し、上記第１距離情報及び上記第２距離情報に基づいて上記第１画像セットと上記第２画像セットの合成画像を生成する画像合成部と、を含んでもよい。

【0008】

本発明の実施例による画像処理方法は、同じ装置から位相差の程度が異なる画素値を受信する段階と、上記画素値のうち第１位相差の程度に対応する第１画素値に基づいてメイン画像セットを生成し、上記画素値のうち第２位相差の程度に対応する第２画素値に基づいてサブ画像セットを生成する段階と、上記メイン画像セットと上記サブ画像セットに基づいてメイン深度情報とサブ深度情報を生成する段階と、上記メイン深度情報と上記サブ深度情報に基づいて上記メイン画像セットと上記サブ画像セットの合成画像を生成する段階と、を含んでもよい。

【発明の効果】

【0009】

本技術によると、画像センサの深度測定能力を向上させることができる画像処理システムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例による画像処理システムを説明するための図である。

【図2】一般的な画像センサとマイクロレンズを説明するための図である。

【図3】本発明の実施例による画素アレイとマイクロレンズを説明するための図である。

【図4】本発明の実施例による位相差の程度が異なるマイクロレンズを説明するための図である。

【図5】本発明の実施例による画像セットを説明するための図である。

【図6】本発明の実施例による合成画像を生成する画像処理装置を示す図である。

【図7】本発明の実施例による深度情報を併合する方法を説明するための図である。

【図8】本発明の実施例による合成画像を生成する方法を説明するための図である。

【図9】本発明の実施例による画像セットを生成する方法を説明するための図である。

【図10】本発明の実施例による合成画像の深度情報を生成する方法を説明するための図である。

【図11】本発明の実施例による画像処理システムを含む電子装置を示すブロック図である。

【発明を実施するための形態】

【0011】

本明細書または出願に開示されている本発明の概念による実施例に対する特定の構造的ないし機能的説明は、本発明の概念による実施例を説明する目的でのみ例示されており、本発明の概念による実施例は様々な形態で実施されてもよく、本明細書または出願に説明された実施例に限定されると解釈されてはならない。

【0012】

以下において、本発明が属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できる程度に詳細に説明するために、本発明の実施例を添付の図面を参照して説明する。

【0013】

図１は本発明の実施例による画像処理システムを説明するための図である。

【0014】

図１を参照すると、画像処理システム１０は画像センサ１００と、画像処理装置２００と、を含んでもよい。

【0015】

一実施例による画像処理システム１０は画像データを取得し、取得した画像データを処理することができる。画像処理システム１０は画像処理動作が行われた出力画像を保存したり、表示したり、または外部装置に出力することができる。一実施例による画像処理システム１０はホストの要求に応じてホストに出力画像を出力することができる。画像処理システム１０は画像データに基づいて画像処理動作を行うことにより、画像センシングの正確度を向上させることができる。

【0016】

画像センサ１００は外部から受信した光に基づいて画像データを生成することができる。画像センサ１００は画素を含む画素アレイ１１０を含んでもよい。画素は画素値を生成することができる。画素値のそれぞれは明るさ情報と位相情報を含んでもよい。

【0017】

本発明の実施例では、画素アレイ１１０に含まれる画素の位相差の程度は互いに異なってもよい。画素の位相差の程度によって画像の深度情報が変わってもよい。例えば、位相差の程度が大きいほど、画像で表現できる深度の範囲が大きくてもよい。画素の位相差の程度は画素値に影響を与えられる。画像センサ１００は互いに異なる位相差の程度に応じて生成される画素値を画像処理装置２００に伝達することができる。

【0018】

画像センサ１００はマイクロレンズを含んでもよい。マイクロレンズに応じて画像センサ１００に含まれた画素間の両眼視差が変わってもよい。画像センサ１００は両眼視差の異なる画素を含むことができる。画像センサ１００は両眼視差の異なる画素に対応する画素値を生成し、生成した画素値は画像処理装置２００に伝送されることができる。

【0019】

画像処理装置２００は画像センサ１００から受信する画素値を処理することができる。ここで、処理はＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）、補間、色調補正、画質補正、サイズ調整などであってもよい。

【0020】

本発明の実施例において、画像処理装置２００は画像セット管理部２１０と画像合成部２２０を含んでもよい。画像処理装置２００は画素値に基づいてセンシングした画像の深度情報を算出することができる。

【0021】

画像セット管理部２１０は画素値に基づいて解像度の異なる画像セットを生成することができる。画像セットのそれぞれは左側画像と右側画像を含んでもよい。画像セット管理部２１０は画像セットのうち解像度の低い画像セットの解像度をアップスケールして画像セットの解像度を等しく変更することができる。

【0022】

画像合成部２２０は画像セットの深度情報を生成し、生成した深度情報に基づいて合成画像を生成することができる。画像合成部２２０は画像セットに含まれた左側画像と右側画像の間の位相差に基づいて深度情報を生成することができる。画像合成部２２０は画像合成動作を通じてセンシングされた画像の正確度を向上させることができる。

【0023】

図２は一般的な画像センサとマイクロレンズを説明するための図である。

【0024】

図２を参照すると、画素の上にマイクロレンズが位置してもよい。１つのマイクロレンズは複数の画素に対応することができる。図２では４つの画素が１つのマイクロレンズを共有すると仮定することができる。

【0025】

複数の画素が同じレンズに対応する場合、画素の間には位相差が生じ得る。画像処理装置は位相差を用いて同じマイクロレンズに対応する画素に対する位相情報を生成することができる。生成した位相情報を用いて画像センサは位相検出オートフォーカス動作を行うことができる。画像センサが位相検出オートフォーカス動作を行うことができる位相差が制限されることができる。

【0026】

図２に示すマイクロレンズの特徴は全て同じであるため、画像センサは位相差の程度が同じ画素値を画像処理装置に伝達することができる。画像処理装置は受信した画素値に基づいて左側画像と右側画像をそれぞれ１つずつ生成することができる。

【0027】

画像処理装置は左側画像と右側画像の位相差に基づいて深度情報を算出することができる。図２に示す画像センサの位相差の程度は制限されるため、画像センサがセンシングできる画像の深度の範囲が制限されることができる。センシングできる深度の範囲から外れると、画像センシングの正確度が低くなり得る。

【0028】

図３は本発明の実施例による画素アレイとマイクロレンズを説明するための図である。

【0029】

図３を参照すると、マイクロレンズの一部のマイクロレンズの位相差の程度が変わる場合３１０、３２０、３３０が示されている。図３に示すマイクロレンズの配列パターンは一例に過ぎず、位相差の程度が変わる場合は多様であってもよい。

【0030】

本発明の実施例において、画素アレイは第１位相差の程度に対応する第１画素と、第２位相差の程度に対応する第２画素と、を含んでもよい。第１位相差の程度は第２位相差の程度より小さくてもよい。第１位相差の程度は画像センサが位相検出オートフォーカス機能を行うことができる位相差の程度であってもよい。

【0031】

本発明の実施例における画像センサは、第１位相差の程度に対応する第１画素値と、第２位相差の程度に対応する第２画素値と、を生成することができる。生成した第１画素値と第２画素値は画像処理装置に伝送されることができる。

【0032】

マイクロレンズの一部は予め決められた形状の遮断物を含んでもよい３１０。遮断物はマイクロレンズを通過する光信号の一部を遮断することができる。マイクロレンズの一部を遮断３１１する遮断物はメタルシールドであってもよい。遮断物の種類は多様であってもよい。

【0033】

本発明の実施例における遮断物はマイクロレンズと画素との間に位置することができる。遮断物はマイクロレンズを通過した光信号の一部を遮断することができる。例えば、図２のマイクロレンズの一部のマイクロレンズに遮断物が含まれてもよい。

【0034】

本発明の他の実施例における遮断物はマイクロレンズより上部に位置することができる。遮断物はマイクロレンズに入射する光信号の一部を遮断することができる。例えば、図２のマイクロレンズの一部のマイクロレンズの上部に遮断物が位置することができる。

【0035】

マイクロレンズの一部は隣接する２つの画素とペア３２０となってもよい。隣接する２つの画素がペアとなったマイクロレンズ３２１に対応する位相差の程度は、異なる数の画素がペアとなったマイクロレンズに対応する位相差の程度と異なってもよい。ペアとなった数が異なるマイクロレンズの配列は多様であってもよい。

【0036】

マイクロレンズの一部はレンズ特性が異なってもよい３３０。本発明の実施例では、図２のマイクロレンズの一部が除去され、レンズ特性の異なるマイクロレンズ３３１に置き換えられてもよい。レンズ特性が異なると、ペアとなった画素の数が同じであっても位相差の程度が異なることができる。具体的に、レンズの厚さ、焦点距離などが異なることができる。

【0037】

画像センサは予め定められた数の画素に光信号を伝達する複数のマイクロレンズを含むことができる。複数のマイクロレンズは第１画素に光信号を伝達する第１マイクロレンズと、第２画素に光信号を伝達する第２マイクロレンズと、を含んでもよい。第１マイクロレンズは第１画素の間に第１位相差の程度を発生させることができる。同様に、第２マイクロレンズは第２画素の間に第２位相差の程度を発生させることができる。

【0038】

本発明の実施例において、第２マイクロレンズは遮断物３１１を含むか、隣接する２つの画素とペアとなったマイクロレンズ３２１であるか、またはレンズ特性の異なるマイクロレンズ３３１であってもよい。第１マイクロレンズは４つの画素とペアとなるマイクロレンズであってもよい。

【0039】

本発明の実施例では、画素アレイに含まれた画素のうち第１画素の比率が第２画素の比率より大きくてもよい。即ち、第２画素は第１画素に比べて相対的に少なくてもよい。第１画素値に基づいて生成される画像は第２画素値に基づいて生成される画像に比べて解像度または画像のサイズが大きくてもよい。

【0040】

本発明の他の実施例では、第１マイクロレンズによって発生する第１画素の第１両眼視差は第２マイクロレンズによって発生する第２画素の第２両眼視差と異なってもよい。第２両眼視差は第１両眼視差より大きくてもよい。画像センサは両眼視差が異なる画素を含んでもよい。画像センサは両眼視差が異なる画素に対応する画素値を生成し、生成した画素値は画像処理装置に伝送されることができる。

【0041】

図４は本発明の実施例による位相差の程度が異なるマイクロレンズを説明するための図である。

【0042】

図４を参照すると、両眼視差（ｘ－ｘ’）を考慮してオブジェクトＸをセンシングする場合が示されている。原点Ｏ、Ｏ’はセンシング位置ｘ、ｘ’より後ろにあることができる。焦点距離ｆは原点Ｏ、Ｏ’とセンシング位置ｘ、ｘ’との距離であり、原点Ｏ、Ｏ’の間の距離はベースラインＢであってもよい。

【0043】

画像センサが位相検出オートフォーカス機能を実行するためには両眼視差（ｘ－ｘ’）、焦点距離ｆ、またはベースラインＢが制限されることができる。本発明の実施例では、位相検出オートフォーカス機能を実行しながらセンシングすることができる深度範囲を増加させることができる。画素に対応するマイクロレンズの一部の位相差の程度が変更されてもよい。

【0044】

具体的に、マイクロレンズの一部は予め決められた形状の遮断物を含む３１０場合、ベースラインＢが変更されてもよい。ベースラインＢを変更することにより、より遠くにあるオブジェクトを検出することができる。マイクロレンズの一部が隣接するマイクロレンズとペア３２０となる場合及びレンズ特性の異なるマイクロレンズに置き換えられる３３０場合は、焦点距離ｆが変更されてもよい。

【0045】

本発明の実施例では、焦点距離ｆとベースラインＢが増加することができる。焦点距離ｆとベースラインＢが増加するほど、より深いところに対するセンシング正確度が向上することができる。マイクロレンズにおいて遮断物の広さを増加するかまたは焦点距離ｆがより長いマイクロレンズを使用して画像の深いところに対するセンシング正確度を向上させることができる。

【0046】

両眼視差（ｘ－ｘ’）に対する焦点距離ｆとベースラインＢとの関係は既に公開された内容であり、本明細書では詳細な説明を省略することができる。

【0047】

図５は本発明の実施例による画像セットを説明するための図である。

【0048】

図５を参照すると、画像セット管理部は画素値に基づいて画像セットを生成することができる。画像セット管理部は左側画像と右側画像を含む画像セットを生成し、生成した画像セットのサイズを変更することができる。

【0049】

画像セット管理部は位相差の程度が異なる画素値に基づいて異なる画像セットを生成することができる。画像セット管理部は第１位相差の程度に対応する第１画素値に基づいて第１画像セット５１０を生成してもよい。画像セット管理部は第２位相差の程度に対応する第２画素値に基づいて第２画像セット５２０を生成してもよい。

【0050】

第１画像セット５１０は左側画像と右側画像を含むことができる。左側画像のオブジェクトは右側に偏り、右側画像のオブジェクトは左側に偏ることができる。

【0051】

第１画像セット５１０は第１位相差の程度に対応する画像の深度が浅い部分を敏感に表すことができる。画像センサから一定距離以内に位置するオブジェクトが敏感にセンシングされることができる。第１位相差の程度に対応する画像の深度から外れると、センシングの正確度が減少することができる。

【0052】

画像セット管理部は第２画素の画素値に基づいて第２位相差の程度に対応する第２画像セット５２０の左側画像と右側画像を生成することができる。このとき、第１位相差の程度は第２位相差の程度より小さくてもよい。第２画像セット５２０は第２位相差の程度に対応する画像の深度が深い部分を敏感に表すことができる。第２画像セット５２０は位相検出オートフォーカス機能によって制限される位相差の程度に関わらずセンシングできる深度範囲が広くてもよい。

【0053】

第１画像セット５１０に対応する画素の数が第２画像セット５２０に対応する画素の数より多いため、第１画像セット５１０のサイズが第２画像セット５２０より大きい。同様に、第１画像セット５１０の第１解像度は第２画像セット５２０の第２解像度より高くてもよい。

【0054】

本発明の実施例では、第１画像セット５１０のサイズが第２画像セット５２０のサイズと異なってもよい。画像センサに含まれた画素の位相差の程度が異なる画素の比率によって第２画像セット５２０の解像度または画像のサイズが変わってもよい。

【0055】

画像セット管理部は第２画像セットのサイズを第１画像セットのサイズと等しくなるようにアップスケールすることができる。例えば、第１画像セットの右側画像のサイズと第２画像セットの右側画像のサイズが等しくなるように調整され、第１画像セットの左側画像のサイズと第２画像セットの左側画像のサイズが等しくなるように調整されることができる。

【0056】

画像セット管理部は第２画像セットの第２解像度が第１解像度と等しくなるようにアップスケールすることができる。画像補間動作によりアップスケールが行われてもよい。アップスケールと関わる画像補間動作は既知の技術に該当するため、本明細書では詳細な説明を省略することができる。

【0057】

図６は本発明の実施例による合成画像を生成する画像処理装置を示す図である。

【0058】

図６を参照すると、画像処理装置２００が画素データを受信し、画像処理動作により深度の正確度が向上した合成画像を生成することができる。画素データは第１位相差の程度に対応する第１画素値と、第２位相差の程度に対応する第２画素値と、を含んでもよい。

【0059】

画像セット管理部２１０は第１画素値に基づいて第１画像セットを生成し、第２画素値に基づいて第２画像セットを生成することができる。第１画像セットは位相差の程度が第２画像セットより小さくてもよい。第１画像セットの解像度は第２画像セットの解像度より大きくてもよい。

【0060】

画像セット管理部２１０はスケーリングを通じて第１画像セットと第２画像セットの解像度または画像のサイズが等しくなるように合わせることができる。画像セット管理部２１０は第２画像セットの解像度または画像のサイズをアップスケールすることができる。

【0061】

画像合成部２２０は第１画像セットとアップスケールされた第２画像セットとを用いて、位相差の程度によってセンシングされていない部分に対する補間動作を行うことができる。位相差の程度が異なることに対応して、第１画像セットと第２画像セットは異なる部分があり得る。

【0062】

本発明の実施例では、画像合成部２２０は第１位相差の程度によって第１画像セットにおいてセンシングされない部分である第１ホールを検出し、第２画像セットに基づいて第１ホールに対する補間動作を行うことができる。同様に、画像合成部２２０は第２位相差の程度によって第２画像セットにおいてセンシングされない部分である第２ホールを検出し、第１画像セットに基づいて第２ホールに対する補間動作を行うことができる。

【0063】

第１ホール及び第２ホールを検出し、第１ホール及び第２ホールに対する補間動作を行う過程は省略されてもよい。また、第１ホールと第２ホールに対する補間動作は既知の技術であり、本明細書では詳細な説明を省略することができる。

【0064】

画像合成部２２０は第１画像セットと第２画像セットを合成した合成画像を生成することができる。画像合成部２２０は第１画像セットに基づいて第１深度情報を生成し、第２画像セットに基づいて第２深度情報を生成することができる。本発明の実施例において、画像合成部２２０は深度マップを生成することができる。

【0065】

画像合成部２２０は第１画像セットの左側画像と右側画像の位相差に基づいて第１深度情報を生成することができる。画像合成部２２０は第２画像セットの左側画像と右側画像の位相差に基づいて第２深度情報を生成することができる。

【0066】

画像合成部２２０は第１深度情報及び第２深度情報に基づいて合成画像のターゲット深度情報を生成することができる。画像合成部２２０は第１深度情報及び第２深度情報に基づいて合成画像の画素に対する重み付け値を決めることができる。画像合成部２２０は重み付け値に応じて第１深度情報及び第２深度情報が併合した合成画像のターゲット深度情報を生成することができる。

【0067】

画像合成部２２０は位相差の程度に応じて深度情報の範囲を決めることができる。画像合成部２２０は第１位相差の程度に基づいて第１範囲を、第２位相差の程度に基づいて第２範囲を決めることができる。第１範囲は第２範囲より合成画像の深度が浅くてもよい。

【0068】

本発明の実施例において、深度情報に対する重み付け値は合成画像の深度に応じて変わってもい。具体的に、画像合成部２２０は合成画像の深度が第１範囲であることに対応して、第１深度情報に対する重み付け値を第２深度情報に対する重み付け値より高く決めることができる。同様に、画像合成部２２０は合成画像の深度が第２範囲であることに対応して、第２深度情報に対する重み付け値を第１深度情報に対する重み付け値より高く決めることができる。

【0069】

図７は本発明の実施例による深度情報を併合する方法を説明するための図である。

【0070】

図７は図６の構成と合わせて説明することができる。図７を参照すると、画像合成部２２０は第１画像セット７１０と第２画像セット７２０に基づいて深度情報を生成し、重み付け合算を通じてターゲット深度情報７５０を算出することができる。画像に含まれた図形はオブジェクトを示すことができる。画像に含まれた図形のうち点線と斜線で示された図形は深度情報の正確度が低い図形を示すことができる。画像に含まれた図形のうち色付けした図形は深度情報の正確度が高い図形を示すことができる。

【0071】

第１画像セット７１０の解像度はアップスケールされた第２画像セット７２０の解像度と同じであると仮定することができる。第１画像セット７１０のサイズと第２画像セット７２０のサイズは同じであってもよい。

【0072】

画像合成部２２０は第１画像セット７１０の左側画像と右側画像に基づいて第１深度情報７３０を生成することができる。第１画像セット７１０において、深度が第１範囲に該当する楕円形のオブジェクトは色付けした図形で表示され、深度が第２範囲に該当する長方形のオブジェクトは点線と斜線で表示されてもよい。第１深度情報７３０に含まれる楕円形のオブジェクトの深度に対する正確度は長方形のオブジェクトの深度に対する正確度より高くてもよい。本発明の実施例において、第１深度情報７３０は第１範囲に含まれるオブジェクトに対してセンシングの正確度が高いことができる。

【0073】

画像合成部２２０は第２画像セット７２０の左側画像と右側画像に基づいて第２深度情報７４０を生成することができる。第２画像セット７２０において、深度が第２範囲に該当する長方形のオブジェクトは色付けした図形で表示され、深度が第１範囲に該当する楕円形のオブジェクトは点線と斜線で表示されてもよい。第２深度情報７４０は第２範囲に含まれるオブジェクトに対して高い正確度を有することができる。

【0074】

本発明の実施例では、第１深度情報７３０と第２深度情報７４０は相補的関係であってもよい。画像合成部２２０は第１深度情報７３０と第２深度情報７４０の重み付け併合によってターゲット深度情報７５０を算出することができる。画像合成部２２０は合成画像の深度が第１範囲であることに対応して第１深度情報７３０に対する重み付け値を高く決め、合成画像の深度が第２範囲であることに対応して第２深度情報７４０の重み付け値を高く決めることができる。

【0075】

本発明の実施例において、深度情報を重み付け合算する数式は以下の通りである。

【0076】

Ｄｅｐｔｈ＝ｄｅｐｔｈ１＊ＷＧＴ＋ｄｅｐｔｈ２＊（１－ＷＧＴ）

【0077】

ここで、Ｄｅｐｔｈはターゲット深度情報、ｄｅｐｔｈ１は第１深度情報、ｄｅｐｔｈ２は第２深度情報、ＷＧＴは重み付け値であってもよい。上の数式はターゲット深度情報を算出する一実施例に過ぎず、複数の深度情報を重み付け合算する方式は様々であってもよい。

【0078】

ターゲット深度情報７５０において、第１深度情報だけでは正確に示すことのできない第２範囲に含まれるオブジェクトの深度の正確性が向上することができる。例えば、第１深度情報７３０において楕円形のオブジェクトに対して高い重み付け値が与えられ、第２深度情報７４０において長方形のオブジェクトに高い重み付け値が与えられることができる。重み付け合算が行われると、１つの位相差の程度に対応する画像センサより正確性の高い深度情報が生成されることができる。

【0079】

図８は本発明の実施例による合成画像を生成する方法を説明するための図である。

【0080】

図８は図６の構成と合わせて説明することができる。図８を参照すると、画像処理装置２００は位相差の程度が異なる画素値を用いて複数の深度情報を生成し、複数の深度情報を重み付け合算して合成画像を生成することができる。本発明の実施例では、同じ画像センサを利用して複数の画像セットを生成することができる。同じ画像センサで複数の画像セット及び複数の深度情報が生成されるため、画像の合成の際に画像整列の正確度が向上することができる。

【0081】

段階Ｓ８１０において、画像セット管理部２１０は位相差の程度が異なる画素値を受信することができる。画像セット管理部２１０は同じ画像センサから画素値を受信することができる。画素値は第１位相差の程度に対応する第１画素値と、第２位相差の程度に対応する第２画素値と、を含んでもよい。

【0082】

段階Ｓ８２０において、画像セット管理部２１０は画素値に基づいて画像セットを生成することができる。画像セット管理部２１０は第１画素値に基づいてメイン画像セットを生成し、第２画素値に基づいてサブ画像セットを生成することができる。本発明の実施例では、メイン画像セットの解像度はサブ画像セットの解像度より高くてもよい。

【0083】

段階Ｓ８３０において、画像合成部２２０はメイン画像セットとサブ画像セットに基づいてメイン深度情報とサブ深度情報を生成することができる。メイン画像セットは第１位相差の程度に応じて決まった第１範囲において深度の正確度が高いことができる。サブ画像セットは第２位相差の程度に応じて決まった第２範囲において深度の正確度が高いことができる。

【0084】

段階Ｓ８４０において、画像合成部２２０はメイン深度情報とサブ深度情報を重み付け合算して合成画像のターゲット深度情報を生成することができる。画像合成部２２０はターゲット深度情報に基づいて合成画像を生成することができる。画像合成部２２０はセンシング画像をターゲット深度情報に応じて補正することができる。合成画像の深度の正確度は１つの位相差の程度に対応する画像センサの出力画像の深度の正確度より高いことができる。

【0085】

図９は本発明の実施例による画像セットを生成する方法を説明するための図である。

【0086】

図９は図６の構成と合わせて説明することができる。図９を参照すると、画像セット管理部２１０はメイン画像セットとサブ画像セットを生成することができる。画像セット管理部２１０は画素アレイに含まれた第１画素と第２画素の比率差を考慮してメイン画像とサブ画像のサイズが等しくなるようにスケールすることができる。画像を合成する前に画像のサイズと画像の整列が行われることができる。

【0087】

段階Ｓ９１０において、画像セット管理部２１０は第１画素値に基づいてメイン画像セットを生成することができる。メイン画像セットは第２位相差の程度より小さい第１位相差の程度に対応する左側画像と右側画像を含むことができる。

【0088】

画像セット管理部２１０は第２画素値に対するデッド画素訂正動作を行うことができる。デッド画素訂正動作が円滑に行われるためには第２画素の比率が予め定められた値より小さいことができる。デッド画素訂正動作は既に公開されている技術であるため、本明細書では詳細に説明しなくてもよい。

【0089】

段階Ｓ９２０において、画像セット管理部２１０は第２画素値に基づいてサブ画像セットを生成することができる。メイン画像セットと同様に、サブ画像セットも第２位相差の程度に対応する左側画像と右側画像を含むことができる。第２画素の数は第１画素の数に比べて少ないため、サブ画像セットのサイズはメイン画像セットのサイズより小さいことができる。

【0090】

段階Ｓ９３０において、画像セット管理部２１０はサブ画像セットのサイズをメイン画像セットのサイズと等しくなるようにアップスケールすることができる。画像セット管理部２１０が生成した画像セットを画像合成部が合成して合成画像を生成することができる。画像セット管理部２１０は画像を合成する前に画像セットのサイズを合わせて整列することができる。

【0091】

図１０は本発明の実施例による合成画像の深度情報を生成する方法を説明するための図である。

【0092】

図１０は図６の構成と合わせて説明することができる。図１０を参照すると、画像合成部２２０は生成された画像セットに基づいて複数の深度情報を生成することができる。画像合成部２２０は複数の深度情報を重み付け合算してターゲット深度情報を算出することができる。ターゲット深度情報は位相差の程度の異なる深度情報が含まれるため、深度情報の正確度が高いことができる。

【0093】

段階Ｓ１０１０において、画像合成部２２０はメイン画像セットの左側画像と右側画像の位相差に基づいてメイン深度情報を生成することができる。

【0094】

段階Ｓ１０２０において、画像合成部２２０はサブ画像セットの左側画像と右側画像の位相差に基づいてサブ深度情報を生成することができる。メイン深度情報とサブ深度情報は深度情報の正確度が高い範囲が異なってもよい。

【0095】

段階Ｓ１０３０において、画像合成部２２０はメイン深度情報及びサブ深度情報に基づいて合成画像の併合に用いられる重み付け値を決めることができる。

【0096】

画像合成部２２０は第１位相差の程度に基づいてメイン深度情報に対する重み付け値がサブ深度情報に対する重み付け値より高い第１範囲を決めることができる。画像合成部２２０は第２位相差の程度に基づいてサブ深度情報に対する重み付け値がメイン深度情報に対する重み付け値より高い第２範囲を決めることができる。

【0097】

画像合成部２２０はメイン深度情報に基づいて第１範囲に対応する重み付け値を決めることができる。画像合成部２２０はサブ深度情報に基づいて第２範囲に対応する重み付け値を決めることができる。

【0098】

段階Ｓ１０４０において、画像合成部２２０は重み付け値に基づいてメイン深度情報とサブ深度情報が併合された合成画像のターゲット深度情報を生成することができる。

【0099】

画像合成部２２０はターゲット深度情報に基づいて合成画像を生成することができる。画像合成部２２０はセンシング画像をターゲット深度情報に応じて補正することができる。

【0100】

図１１は本発明の実施例による画像処理システムを含む電子装置を示すブロック図である。

【0101】

図１１を参照すると、電子装置２０００は、画像センサ２０１０、プロセッサ２０２０、記憶装置（ＳＴＯＲＡＧＥ ＤＥＶＩＣＥ）２０３０、メモリ装置（ＭＥＭＯＲＹ ＤＥＶＩＣＥ）２０４０、入力装置２０５０及び出力装置２０６０を含んでもよい。図１１には示されていないが、電子装置２０００はビデオカード、メモリカード、ＵＳＢデバイスなどと通信するか、または他の電子機器と通信できるポート（ｐｏｒｔ）をさらに含んでもよい。

【0102】

画像センサ２０１０は入射光に相応する画像データを生成することができる。出力装置２０６０は画像データを表示することができる。記憶装置２０３０は画像データを記憶することができる。プロセッサ２０２０は画像センサ２０１０、記憶装置２０３０、及び出力装置２０６０の動作を制御することができる。

【0103】

本発明の実施例では、画像センサ２０１０は画素に対応するマイクロレンズを含んでもよい。画素の位相差の程度はマイクロレンズに応じて異なってもよい。画像センサ２０１０は位相差の程度が異なる画素値を生成することができる。

【0104】

プロセッサ２０２０は特定の計算またはタスク（ｔａｓｋ）を実行することができる。プロセッサ２０２０は電子装置２０００の動作を実行及び制御することができる。本発明の実施例によると、プロセッサ２０２０はマイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）またはアプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ、ＡＰ）であってもよい。

【0105】

プロセッサ２０２０は画像センサ２０１０とは独立したチップで具現されてもよい。例えば、プロセッサ２０２０はマルチチップパッケージ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ）で具現されることができる。本発明の他の実施例では、プロセッサ２０２０は画像センサ２０１０の一部として含まれて１つのチップで具現されてもよい。

【0106】

プロセッサ２０２０はアドレスバス（ａｄｄｒｅｓｓ ｂｕｓ）、制御バス（ｃｏｎｔｒｏｌ ｂｕｓ）及びデータバス（ｄａｔａ ｂｕｓ）を介して記憶装置２０３０、メモリ装置２０４０、入力装置２０５０及び出力装置２０６０に接続されて通信を行うことができる。本発明の実施例によると、プロセッサ２０２０は周辺構成要素相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ；ＰＣＩ）バスなどの拡張バスに接続されてもよい。

【0107】

本発明の実施例では、プロセッサ２０２０は位相差の程度が異なる画素値に基づいて位相差の程度が異なる画像セットを生成することができる。プロセッサ２０２０は画像セットに基づいて複数の深度情報を生成し、複数の深度情報を重み付け合算して合成画像の深度情報を生成することができる。プロセッサ２０２０は合成画像の深度情報に基づいて画像センサ２０１０のセンシング結果を補正することができる。位相差の程度が異なる画素値に基づいて生成した深度情報は位相差の程度が等しい画素値に基づいて生成した深度情報に比べて精巧であることができる。

【0108】

記憶装置２０３０はフラッシュメモリデバイス（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ；ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ；ＨＤＤ）、シーディーロム（ＣＤ－ＲＯＭ）及びあらゆる形態の不揮発性メモリ装置などを含んでもよい。

【0109】

メモリ装置２０４０は電子装置２０００の動作に必要なデータを記憶することができる。例えば、メモリ装置２０４０は動的ランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＤＲＡＭ）、静的ランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＳＲＡＭ）などの揮発性メモリ装置及びイーピーロム（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ；ＥＰＲＯＭ）、イーイーピーロム（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ；ＥＥＰＲＯＭ）及びフラッシュメモリデバイス（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）などの不揮発性メモリ装置を含んでもよい。プロセッサ２０２０はメモリ装置２０４０に記憶された命令語セットを実行して画像センサ２０１０及び出力装置２０６０を制御することができる。

【0110】

入力装置２０５０はキーボード、キーパッド、マウスなどの入力手段などを含んでもよい。出力装置２０６０はプリンタ、ディスプレイなどの出力手段を含んでもよい。

【0111】

画像センサ２０１０は様々な形態のパッケージで具現されることができる。例えば、画像センサ２０１０の少なくとも一部の構成はＰｏＰ（Ｐａｃｋａｇｅ ｏｎ Ｐａｃｋａｇｅ）、Ｂａｌｌ ｇｒｉｄ ａｒｒａｙｓ（ＢＧＡｓ）、Ｃｈｉｐ ｓｃａｌｅ ｐａｃｋａｇｅｓ（ＣＳＰｓ）、Ｐｌａｓｔｉｃ Ｌｅａｄｅｄ Ｃｈｉｐ Ｃａｒｒｉｅｒ（ＰＬＣＣ）、Ｐｌａｓｔｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＰＤＩＰ）、Ｄｉｅ ｉｎ Ｗａｆｆｌｅ Ｐａｃｋ、Ｄｉｅ ｉｎ Ｗａｆｅｒ Ｆｏｒｍ、Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ（ＣＯＢ）、Ｃｅｒａｍｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＣＥＲＤＩＰ）、Ｐｌａｓｔｉｃ Ｍｅｔｒｉｃ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＭＱＦＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＴＱＦＰ）、Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＳＯＩＣ）、Ｓｈｒｉｎｋ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＳＳＯＰ）、Ｔｈｉｎ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＴＳＯＰ）、Ｓｙｓｔｅｍ Ｉｎ Ｐａｃｋａｇｅ（ＳＩＰ）、Ｍｕｌｔｉ Ｃｈｉｐ Ｐａｃｋａｇｅ（ＭＣＰ）、Ｗａｆｅｒ－ｌｅｖｅｌ Ｆａｂｒｉｃａｔｅｄ Ｐａｃｋａｇｅ（ＷＦＰ）、Ｗａｆｅｒ－Ｌｅｖｅｌ Ｐｒｏｃｅｓｓｅｄ Ｓｔａｃｋ Ｐａｃｋａｇｅ（ＷＳＰ）などのパッケージを用いて具現されてもよい。

【0112】

実施例によって、画像センサ２０１０はプロセッサ２０２０と共に１つのチップに集積されてもよく、異なるチップにそれぞれ集積されてもよい。

【0113】

一方、電子装置２０００は画像センサ２０１０を利用する全てのコンピューティングシステムと解釈することができる。電子装置２０００はパッケージ化されたモジュール、部品などの形態で具現されてもよい。例えば、電子装置２０００はデジタルカメラ、モバイル機器、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ（ｔａｂｌｅｔ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノートパソコン（ｎｏｔｅｂｏｏｋ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ブラックボックス、ロボット、自律走行車両などで具現されてもよい。

【0114】

本発明の範囲は上記の詳細な説明ではなく、添付の特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出される全ての変更または変形された形態は本発明の範囲に含まれると解釈すべきである。

【符号の説明】

【0115】

１０ 画像処理システム
１００ 画像センサ
１１０ 画素アレイ
２００ 画像処理装置
２１０ 画像セット管理部
２２０ 画像合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】