特開 2024-159484 イメージセンサ、それを含むイメージ処理システム、及びイメージ処理システムの動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024159484

(43)【公開日】2024-11-08

(54)【発明の名称】イメージセンサ、それを含むイメージ処理システム、及びイメージ処理システムの動作方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241031BHJP

   H04N 23/70 20230101ALI20241031BHJP

   H04N 23/65 20230101ALI20241031BHJP

   H04N 23/611 20230101ALI20241031BHJP

   G06T 7/00 20170101ALI20241031BHJP

   G03B 15/00 20210101ALI20241031BHJP

   G03B 7/091 20210101ALI20241031BHJP

   G03B 13/36 20210101ALI20241031BHJP

   G02B 7/28 20210101ALI20241031BHJP

【ＦＩ】

H04N23/60 500

H04N23/70

H04N23/65 100

H04N23/611

G06T7/00 660A

G03B15/00 Q

G03B7/091

G03B13/36

G02B7/28 N

【審査請求】未請求

【請求項の数】22

【出願形態】ＯＬ

(21)【出願番号】P 2024014351

(22)【出願日】2024-02-01

(31)【優先権主張番号】10-2023-0055340

(32)【優先日】2023-04-27

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2023-0144714

(32)【優先日】2023-10-26

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】チャ ス ラム

(72)【発明者】

【氏名】ユ ヨン ホ

【テーマコード（参考）】

2H002

2H011

2H151

5C122

5L096

【Ｆターム（参考）】

2H002CC00

2H002GA63

2H011BA00

2H151CB22

5C122EA12

5C122FD01

5C122FF01

5C122FG14

5C122FH09

5C122FH11

5C122FH14

5C122FH22

5C122FK16

5C122GF05

5C122HB01

5L096AA02

5L096AA06

5L096CA02

5L096DA02

5L096FA67

5L096FA69

5L096GA30

(57)【要約】

【課題】前面カメラに対応する第２のイメージセンサから生成される情報イメージに基づき、後面カメラに対応する第１のイメージセンサの機能（例：自動ホワイト補正（ａｕｔｏ ｗｈｉｔｅ ｂａｌａｎｃｅ）、自動露出（ａｕｔｏ ｅｘｐｏｓｕｒｅ）、及び自動焦点（ａｕｔｏ ｆｏｃｕｓ））に必要な設定情報を自動に調整できるイメージ処理システム及びその動作方法を提供すること。
【解決手段】本発明の一実施形態は、ユーザを撮影した情報イメージから前記ユーザの目領域を検出するための第１の検出回路と、前記目領域に基づき、前記ユーザの目が凝視する方向に対応する第１の確率マップを生成するための第１の確率マップ生成回路と、前記第１の確率マップを格納するための格納回路とを備えるイメージセンサ、それを含むイメージ処理システム、及びイメージ処理システムの動作方法を提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザを撮影した情報イメージから前記ユーザの目領域を検出するための第１の検出回路と、
前記目領域に基づき、前記ユーザの目が凝視する方向に対応する第１の確率マップを生成するための第１の確率マップ生成回路と、
前記第１の確率マップを格納するための格納回路と、
を備えるイメージセンサ。

【請求項2】

前記第１の確率マップは、前記ユーザの瞳の位置に対応する座標を確率的に表した表を含む請求項１に記載のイメージセンサ。

【請求項3】

前記情報イメージから前記ユーザの顔領域を検出するための第２の検出回路と、
前記顔領域に基づき、前記ユーザの顔の少なくとも１つの回転（ｒｏｔａｔｉｏｎ）値を計算するための計算回路と、
前記少なくとも１つの回転値に基づき、前記ユーザの前記顔の角度に対応する第２の確率マップを生成するための第２の確率マップ生成回路と、
をさらに備え、
前記格納回路は、前記第２の確率マップをさらに格納する請求項１に記載のイメージセンサ。

【請求項4】

前記少なくとも１つの回転値は、前記顔のロール（ｒｏｌｌ）値、前記顔のピッチ（ｐｉｔｃｈ）値、及び前記顔のヨー（ｙａｗ）値のうち、少なくとも１つを含む請求項３に記載のイメージセンサ。

【請求項5】

前記第２の確率マップは、前記ユーザの前記顔の角度に対応する座標を確率的に表した表を含む請求項３に記載のイメージセンサ。

【請求項6】

設定情報に基づき、ユーザが凝視する関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）に対して少なくとも１つの機能を行い、前記関心領域が含まれた撮影イメージを取得するための第１のイメージセンサと、
前記ユーザを撮影して取得された情報イメージに基づき、前記ユーザの目が凝視する方向に対応する第１の確率マップを生成するための第２のイメージセンサと、
前記撮影イメージと前記第１の確率マップとに基づいて前記関心領域を検出し、前記関心領域を基準に前記設定情報を調整するためのイメージプロセッサと、
を備えるイメージ処理システム。

【請求項7】

前記少なくとも１つの機能は、自動ホワイト補正（ａｕｔｏ ｗｈｉｔｅ ｂａｌａｎｃｅ）、自動露出（ａｕｔｏ ｅｘｐｏｓｕｒｅ）、及び自動焦点（ａｕｔｏ ｆｏｃｕｓ）のうち、少なくとも１つを含み、
前記設定情報は、前記自動ホワイト補正と関連した設定値、前記自動露出と関連した設定値、及び前記自動焦点と関連した設定値のうち、少なくとも１つを含む請求項６に記載のイメージ処理システム。

【請求項8】

前記第１の確率マップは、前記ユーザの瞳の位置に対応する座標を確率的に表した表を含む請求項６に記載のイメージセンサ。

【請求項9】

前記第１のイメージセンサは、
前記イメージ処理システムの後面を介して入った入射光に基づいて第１のイメージ信号を生成するための第１のアナログブロックと、
前記第１のイメージ信号に基づいて前記撮影イメージを生成するための第１のデジタルブロックと、
前記設定情報に基づいて前記少なくとも１つの機能を制御するための制御ブロックと、
を備える請求項６に記載のイメージ処理システム。

【請求項10】

前記制御ブロックは、
前記設定情報を格納及び更新するための第１の格納回路と、
前記設定情報に基づいて前記少なくとも１つの機能を制御するためのタイミング制御回路と、
を備える請求項９に記載のイメージ処理システム。

【請求項11】

前記第２のイメージセンサは、ローパワーモード（ｌｏｗ ｐｏｗｅｒ ｍｏｄｅ）で前記情報イメージを取得し、前記第１の確率マップを生成する請求項６に記載のイメージ処理システム。

【請求項12】

前記第２のイメージセンサは、前記ユーザを撮影した前記情報イメージに基づいて前記ユーザの顔の角度に対応する第２の確率マップをさらに生成し、
前記イメージプロセッサは、前記関心領域を検出するとき、前記第２の確率マップをさらに用いる請求項６に記載のイメージ処理システム。

【請求項13】

前記第２のイメージセンサは、
前記イメージ処理システムの前面を介して入った入射光に基づいて第２のイメージ信号を生成するための第２のアナログブロックと、
前記第２のイメージ信号に基づいて前記情報イメージと前記第１の確率マップとを生成するための第２のデジタルブロックと、
を備える請求項６に記載のイメージ処理システム。

【請求項14】

前記第２のデジタルブロックは、
前記情報イメージから前記ユーザの目領域を検出するための第１の検出回路と、
前記目領域に基づいて前記第１の確率マップを生成するための第１の確率マップ生成回路と、
前記第１の確率マップを格納するための第２の格納回路と、
を備える請求項１３に記載のイメージ処理システム。

【請求項15】

前記第２のデジタルブロックは、
前記ユーザを撮影した前記情報イメージから前記ユーザの顔領域を検出するための第２の検出回路と、
前記顔領域に基づき、前記ユーザの顔の少なくとも１つの回転（ｒｏｔａｔｉｏｎ）値を計算するための計算回路と、
前記少なくとも１つの回転値に基づき、前記ユーザの前記顔の角度に対応する第２の確率マップを生成するための第２の確率マップ生成回路と、
をさらに備える請求項１４に記載のイメージ処理システム。

【請求項16】

前記少なくとも１つの回転値は、前記顔のロール（ｒｏｌｌ）値、前記顔のピッチ（ｐｉｔｃｈ）値及び前記顔のヨー（ｙａｗ）値のうち、少なくとも１つを含む請求項１５に記載のイメージ処理システム。

【請求項17】

前記第２の確率マップは、前記ユーザの前記顔の角度に対応する座標を確率的に表した表を含む請求項１５に記載のイメージ処理システム。

【請求項18】

前記イメージプロセッサは、前記撮影イメージが生成されるとき、前記関心領域以外の周辺領域をブラー（ｂｌｕｒ）処理する請求項６に記載のイメージ処理システム。

【請求項19】

前記イメージプロセッサは、
前記撮影イメージと前記第１の確率マップとに基づいて前記関心領域に含まれた被写体を検出するための被写体検出回路と、
前記撮影イメージと前記被写体とに基づき、前記被写体を対象として前記設定情報を調整するための設定制御回路と、
を備える請求項６に記載のイメージ処理システム。

【請求項20】

後面カメラがイネーブルされ、ノルマルモード（ｎｏｒｍａｌ）に進入すれば、前面カメラがイネーブルされ、ローパワーモード（ｌｏｗ ｐｏｗｅｒ ｍｏｄｅ）に進入するステップと、
前記前面カメラがユーザを撮影し、前記ユーザの目が凝視する方向を表した第１の確率マップを生成するステップと、
イメージプロセッサが前記第１の確率マップに基づいて前記ユーザの目が凝視する関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を検出し、前記関心領域に対応する設定情報を調整するステップと、
前記後面カメラが設定情報に基づき、前記関心領域に対して少なくとも１つの機能を行い、前記関心領域が含まれた撮影イメージを取得するステップと、
を含むイメージ処理システムの動作方法。

【請求項21】

前記前面カメラが前記ユーザを撮影した情報イメージに基づき、前記ユーザの顔の角度に対応する第２の確率マップを生成するステップをさらに含み、
前記イメージプロセッサが前記設定情報を調整するステップは、前記関心領域を検出するとき、前記第２の確率マップをさらに用いる請求項２０に記載のイメージ処理システムの動作方法。

【請求項22】

前記イメージプロセッサは、前記撮影イメージが生成されるとき、前記関心領域以外の周辺領域をブラー（ｂｌｕｒ）処理する請求項２０に記載のイメージ処理システムの動作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、半導体設計技術に関し、より詳細には、イメージセンサ、それを含むイメージ処理システム、及びイメージ処理システムの動作方法に関する。

【背景技術】

【0002】

イメージセンサは、光に反応する半導体の性質を利用してイメージをキャプチャ（ｃａｐｔｕｒｅ）する素子である。前記イメージセンサは、大別して、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を利用したイメージセンサと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を利用したイメージセンサとに区分されることができる。近年、アナログ及びデジタル制御回路を１つの集積回路ＩＣ上に直接実現できる長所により、ＣＭＯＳを利用したイメージセンサが多用されている。

【0003】

最近、スマートフォンのようなイメージ処理システムは、複数のイメージセンサを備える。前記スマートフォンは、例えば、後面カメラに対応する第１のイメージセンサと前面カメラに対応する第２のイメージセンサとを備える。前記第１及び第２のイメージセンサは、機能によって個別的に動作するか、または互いに依存的に動作する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施形態は、前面カメラに対応する第２のイメージセンサから生成される情報イメージに基づき、後面カメラに対応する第１のイメージセンサの機能（例：自動ホワイト補正（ａｕｔｏ ｗｈｉｔｅ ｂａｌａｎｃｅ）、自動露出（ａｕｔｏ ｅｘｐｏｓｕｒｅ）、及び自動焦点（ａｕｔｏ ｆｏｃｕｓ））に必要な設定情報を自動に調整できるイメージ処理システム及びその動作方法を提供する。

【0005】

また、本発明の実施形態は、撮影イメージからユーザが望む関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を自動に検出できるイメージセンサを提供する。

【課題を解決するための手段】

【0006】

本発明の一側面によれば、イメージセンサは、ユーザを撮影した情報イメージから前記ユーザの目領域を検出するための第１の検出回路と、前記目領域に基づき、前記ユーザの目が凝視する方向に対応する第１の確率マップを生成するための第１の確率マップ生成回路と、前記第１の確率マップを格納するための格納回路とを備えることができる。

【0007】

本発明の他側面によれば、イメージ処理システムは、設定情報に基づき、ユーザが凝視する関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）に対して少なくとも１つの機能を行い、前記関心領域が含まれた撮影イメージを取得するための第１のイメージセンサと、前記ユーザを撮影して取得された情報イメージに基づき、前記ユーザの目が凝視する方向に対応する第１の確率マップを生成するための第２のイメージセンサと、前記撮影イメージと前記第１の確率マップとに基づいて前記関心領域を検出し、前記関心領域を基準に前記設定情報を調整するためのイメージプロセッサとを備えることができる。

【0008】

本発明のさらに他の側面によれば、イメージ処理システムの動作方法は、後面カメラがイネーブルされ、ノルマルモード（ｎｏｒｍａｌ）に進入すれば、前面カメラがイネーブルされ、ローパワーモード（ｌｏｗ ｐｏｗｅｒ ｍｏｄｅ）に進入するステップと、前記前面カメラがユーザを撮影し、ユーザの目が凝視する方向の第１の確率マップを生成するステップと、イメージプロセッサが前記第１の確率マップに基づいて前記ユーザの目が凝視する関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を検出し、前記関心領域に対応する設定情報を調整するステップと、前記後面カメラが設定情報に基づき、前記関心領域に対して少なくとも１つの機能を行い、前記関心領域が含まれた撮影イメージを取得するステップとを含むことができる。

【発明の効果】

【0009】

本発明の実施形態は、ユーザが望む関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を自動に検出し、前記関心領域を対象として予定された動作（例：ホワイトバランシング（ｗｈｉｔｅ ｂａｌａｎｃｉｎｇ）動作、露出（ｅｘｐｏｓｕｒｅ）動作、焦点（ｆｏｃｕｓｉｎｇ）動作等）を自動に行うことにより、前記ユーザが手動的な操作なしに望みの画像を容易に取得できるという効果がある。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係るイメージ処理システムのブロック構成図である。

【図2】図１に示された第１のイメージセンサのブロック構成図である。

【図3】図１に示された第２のイメージセンサのブロック構成図である。

【図4】図３に示された第２のデジタルブロックのブロック構成図である。

【図5】図１に示されたイメージプロセッサのブロック構成図である。

【図6】本発明の実施形態に係るイメージ処理システムの動作を説明するためのフローチャートである。

【図7】図６の補足説明のための図面等である。

【図8】図６の補足説明のための図面等である。

【発明を実施するための形態】

【0011】

以下、本発明の属する技術分野における通常の知識を有する者が本発明の技術的思想を容易に実施できる程度に詳細に説明するために、本発明の実施形態を添付図面を参照して説明する。

【0012】

そして、明細書全体において、ある部分が他の部分と「接続」されているとするとき、これは、「直接的に接続」されている場合だけでなく、その中間に他の素子を挟んで「電気的に接続」されている場合も含む。また、ある部分がある構成要素を「含む」または「備える」とするとき、これは、特に反対される記載がない限り、他の構成要素を除外することではなく、他の構成要素をさらに含むか、備えることができるということを意味する。また、明細書全体の記載において一部構成要素を単数形に記載したとして、本発明がそれに局限されるものではなく、当該構成要素が複数個からなり得ることが分かるであろう。

【0013】

図１には、本発明の実施形態に係るイメージ処理システム１０が被写体２０とともにブロック構成図で示されている。

【0014】

図１に示すように、イメージ処理システム１０は、スマートフォンのような電子装置であることができる。例えば、イメージ処理システム１０は、第１のイメージセンサ１００、第２のイメージセンサ２００、及びイメージプロセッサ３００を備えることができる。

【0015】

第１のイメージセンサ１００は、イメージ処理システム１０の後面に備えられることができる。例えば、第１のイメージセンサ１００は、イメージ処理システム１０の後面を撮影するための後面カメラであることができる。通常、イメージ処理システム１０のディスプレイ（図示せず）は、イメージ処理システム１０の前面に構成され、ユーザは、前記ディスプレイを介して望みの関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を確認するので、本発明の実施形態では、第１のイメージセンサ１００を前記後面カメラとして例を挙げて説明するが、イメージ処理システム１０の設計によって第１のイメージセンサ１００は、イメージ処理システム１０の一面に備えられ、前記関心領域を撮影するカメラであることができる。

【0016】

第１のイメージセンサ１００は、設定情報３Ａに基づき、前記ユーザが凝視する前記関心領域に対して少なくとも１つの機能を行うことができる。第１のイメージセンサ１００は、前記関心領域が含まれた撮影イメージＩＭＧを取得できる。

【0017】

第２のイメージセンサ２００は、イメージ処理システム１０の前面に備えられることができる。第２のイメージセンサ２００は、イメージ処理システム１０の前面を撮影するための前面カメラであることができる。通常、イメージ処理システム１０の前記ディスプレイは、イメージ処理システム１０の前記前面に構成され、前記ユーザは、前記ディスプレイを介して前記関心領域を確認するので、本発明の実施形態では、第２のイメージセンサ２００を前記前面カメラとして例を挙げて説明するが、イメージ処理システム１０の設計によって第２のイメージセンサ２００は、イメージ処理システム１０の他面に備えられ、前記ユーザを撮影するカメラであることができる。

【0018】

第２のイメージセンサ２００は、前記ユーザを撮影して取得された情報イメージＤＩＭＧ（図４参照）に基づき、前記ユーザの目が凝視する方向（すなわち、瞳の凝視方向）に対応する第１の確率マップＰＭ１を生成できる。第１の確率マップＰＭ１は、前記ユーザの瞳の位置に対応する座標を確率的に表した表であることができる。さらに、第２のイメージセンサ２００は、前記ユーザを撮影した情報イメージＤＩＭＧに基づき、前記ユーザの顔の角度に対応する第２の確率マップＰＭ２を生成できる。第２の確率マップＰＭ２は、前記ユーザの前記顔の角度に対応する座標を確率的に表した表であることができる。第２のイメージセンサ２００は、情報イメージＤＩＭＧと第１の確率マップＰＭ１及び／又は第２の確率マップＰＭ２を生成するとき、ローパワーモード（ｌｏｗ ｐｏｗｅｒ ｍｏｄｅ）に進入することができる。第２のイメージセンサ２００は、前記ローパワーモードでノルマルモード（ｎｏｒｍａｌ）に比べて低い解像度（ｒｅｓｏｌｕｔｉｏｎ）と低いフレームレート（ｆｒａｍｅ ｒａｔｅ）とによって動作することで、第２のイメージセンサ２００の消費電力が減少しうる。

【0019】

イメージプロセッサ３００は、撮影イメージＩＭＧと第１の確率マップＰＭ１及び／又は第２の確率マップＰＭ２に基づいて前記関心領域を検出し、前記関心領域を基準に設定情報３Ａを調整することができる。イメージプロセッサ３００は、撮影イメージＩＭＧが生成されるとき、前記関心領域以外の周辺領域をブラー（ｂｌｕｒ）処理することができる。

【0020】

図２には、図１に示された第１のイメージセンサ１００がブロック構成図で示されている。

【0021】

図２に示すように、第１のイメージセンサ１００は、第１のアナログブロック１１０、第１のデジタルブロック１２０、及び制御ブロック１３０を備えることができる。

【0022】

第１のアナログブロック１１０は、イメージ処理システム１０の後面を介して入った入射光に基づいて第１のイメージ信号ＶＰＸ１を生成できる。第１のイメージ信号ＶＰＸ１は、各々アナログ信号であることができる。

【0023】

第１のデジタルブロック１２０は、第１のイメージ信号ＶＰＸ１に基づいて撮影イメージＩＭＧを生成できる。撮影イメージＩＭＧは、第１のイメージ信号ＶＰＸ１から変換されたデジタル信号を含むことができる。

【0024】

制御ブロック１３０は、設定情報３Ａに基づいて少なくとも１つの機能を制御できる。前記機能は、自動ホワイト補正（ａｕｔｏ ｗｈｉｔｅ ｂａｌａｎｃｅ）、自動露出（ａｕｔｏ ｅｘｐｏｓｕｒｅ）、及び自動焦点（ａｕｔｏ ｆｏｃｕｓ）のうち、少なくとも１つを含むことができる。設定情報３Ａは、前記自動ホワイト補正と関連した第１の設定値、前記自動露出と関連した第２の設定値、及び前記自動焦点と関連した第３の設定値を含むことができる。

【0025】

例えば、制御ブロック１３０は、第１の格納回路１３１及びタイミング制御回路１３３を備えることができる。

【0026】

第１の格納回路１３１は、設定情報３Ａを格納及び更新することができる。

【0027】

タイミング制御回路１３３は、設定情報３Ａに基づいて前記少なくとも１つの機能を制御できる。例えば、タイミング制御回路１３３は、前記第１の設定値に基づいて前記関心領域の色温度を補正でき、前記第２の設定値に基づいて前記関心領域の露出時間を補正でき、前記第３の設定値に基づいて前記関心領域の焦点を補正できる。

【0028】

図３には、図１に示された第２のイメージセンサ２００がブロック構成図で示されている。

【0029】

図３に示すように、第２のイメージセンサ２００は、第２のアナログブロック２１０及び第２のデジタルブロック２２０を備えることができる。

【0030】

第２のアナログブロック２１０は、イメージ処理システム１０の前面を介して入った入射光に基づいて第２のイメージ信号ＶＰＸ２を生成できる。第２のイメージ信号ＶＰＸ２は、各々アナログ信号であることができる。

【0031】

第２のデジタルブロック２２０は、第２のイメージ信号ＶＰＸ２に基づき、情報イメージＤＩＭＧと第１の確率マップＰＭ１及び／又は第２の確率マップＰＭ２を生成できる。

【0032】

図４には、図３に示された第２のデジタルブロック２２０がブロック構成図で示されている。

【0033】

図４に示すように、第２のデジタルブロック２２０は、信号変換回路２２１、第１の検出回路２２２、第１の確率マップ生成回路２２３、第２の検出回路２２４、計算回路２２５、第２の確率マップ生成回路２２６、及び第２の格納回路２２７を備えることができる。

【0034】

信号変換回路２２１は、第２のイメージ信号ＶＰＸ２に基づいて情報イメージＤＩＭＧを生成できる。情報イメージＤＩＭＧは、第２のイメージ信号ＶＰＸ２から変換されたデジタル信号を含むことができる。

【0035】

第１の検出回路２２２は、情報イメージＤＩＭＧから前記ユーザの目領域ＲＯＥを検出できる。

【0036】

第１の確率マップ生成回路２２３は、目領域ＲＯＥに基づいて第１の確率マップＰＭ１を生成できる。例えば、第１の確率マップ生成回路２２３は、目領域ＲＯＥで前記瞳の凝視方向に対応する座標を確率的に表した第１の確率マップＰＭ１を生成できる（図７参照）。

【0037】

第２の検出回路２２４は、情報イメージＤＩＭＧから前記ユーザの顔領域ＲＯＦを検出できる。

【0038】

計算回路２２５は、顔領域ＲＯＦに基づいて前記ユーザの顔の少なくとも１つの回転（ｒｏｔａｔｉｏｎ）値ＶＯＲを計算できる。回転値ＶＯＲは、前記顔のロール（ｒｏｌｌ）値、前記顔のピッチ（ｐｉｔｃｈ）値、及び前記顔のヨー（ｙａｗ）値のうち、少なくとも１つを含むことができる。

【0039】

第２の確率マップ生成回路２２６は、回転値ＶＯＲに基づいて前記ユーザの前記顔の角度に対応する第２の確率マップＰＭ２を生成できる。例えば、第２の確率マップ生成回路２２６は、前記ユーザの前記顔の角度に対応する座標を確率的に表した第２の確率マップＰＭ２を生成できる。

【0040】

第２の格納回路２２７は、第１の確率マップＰＭ１及び／又は第２の確率マップＰＭ２を格納することができる。

【0041】

本発明の実施形態において、第１の検出回路２２２、第１の確率マップ生成回路２２３、第２の検出回路２２４、計算回路２２５、第２の確率マップ生成回路２２６、及び第２の格納回路２２７は、第２のイメージセンサ２００に含まれることを例に挙げて説明しているが、必ずしもこれに限定されるものではなく、第１の検出回路２２２、第１の確率マップ生成回路２２３、第２の検出回路２２４、計算回路２２５、第２の確率マップ生成回路２２６、及び第２の格納回路２２７のうち一部または全部は、イメージプロセッサ３００に含まれることもできる。

【0042】

図５には、図１に示されたイメージプロセッサ３００がブロック構成図で示されている。

【0043】

図５に示すように、イメージプロセッサ３００は、被写体検出回路３１０及び設定制御回路３２０を備えることができる。

【0044】

被写体検出回路３１０は、撮影イメージＩＭＧと第１の確率マップＰＭ１及び／又は第２の確率マップＰＭ２に基づいて前記関心領域を検出し、前記関心領域に含まれた被写体ＯＤを検出できる。すなわち、被写体検出回路３１０は、前記ユーザが凝視する被写体ＯＤを検出できる。

【0045】

設定制御回路３２０は、撮影イメージＩＭＧと被写体ＯＤとに基づき、被写体ＯＤを対象として設定情報３Ａを調整できる。

【0046】

以下、上記のような構成を有する本発明の実施形態に係るイメージ処理システム１０の動作を図６～図８を参照して説明する。以下では、第１のイメージセンサ１００を「後面カメラ」と称して説明し、第２のイメージセンサ２００を「前面カメラ」と称して説明する。

【0047】

図６は、本発明の実施形態に係るイメージ処理システム１０の動作を説明するためのフローチャートである。

【0048】

図６に示すように、後面カメラ１００がイネーブルされれば、前面カメラ２００がイネーブルされ得る（Ｓ１０１）。このとき、後面カメラ１００は、ノルマルモード（ｎｏｒｍａｌ）に進入し、予め設定された解像度（ｒｅｓｏｌｕｔｉｏｎ）と予め設定されたフレームレート（ｆｒａｍｅ ｒａｔｅ）とによって撮影イメージＩＭＧを生成でき、前面カメラ２００は、ローパワーモード（ｌｏｗ ｐｏｗｅｒ ｍｏｄｅ）に進入し、前記ノルマルモードに比べて低い解像度と低いフレームレートによって補正イメージＤＩＭＧと第１の確率マップＰＭ１及び／又は第２の確率マップＰＭ２を生成できる。前面カメラ２００は、前記ローパワーモードの間、前記低い解像度と低いフレームレートによって動作することで、前面カメラ２００の消費電力が減少しうる。

【0049】

前面カメラ２００は、ユーザを撮影し、前記ユーザの目が凝視する方向を確率的に表した第１の確率マップＰＭ１を生成できる（Ｓ１０３）。前面カメラ２００は、前記ユーザの顔の角度を確率的に表した第２の確率マップＰＭ２を生成できる（Ｓ１０５）。前面カメラ２００は、設計によって第１の確率マップＰＭ１の信頼性が高い場合、第２の確率マップＰＭ２を生成しないこともある。

【0050】

イメージプロセッサ３００は、第１の確率マップＰＭ１及び／又は第２の確率マップＰＭ２に基づき、撮影イメージＩＭＧから前記ユーザが凝視する関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を検出し、前記関心領域に対応する設定情報３Ａを調整できる（Ｓ１０７）。設定情報３Ａは、自動ホワイト補正（ａｕｔｏ ｗｈｉｔｅ ｂａｌａｎｃｅ）と関連した第１の設定値、自動露出（ａｕｔｏ ｅｘｐｏｓｕｒｅ）と関連した第２の設定値、及び自動焦点（ａｕｔｏ ｆｏｃｕｓ）と関連した第３の設定値を含むことができる。

【0051】

後面カメラ１００が設定情報３Ａに基づき、前記関心領域に対して少なくとも１つの機能を行い、前記関心領域が含まれた撮影イメージＩＭＧを取得できる（Ｓ１０９）。前記機能は、前記自動ホワイト補正、前記自動露出、及び前記自動焦点のうち、少なくとも１つを含むことができる。

【0052】

一方、イメージプロセッサ３００は、撮影イメージＩＭＧが生成されるとき、前記関心領域以外の周辺領域をブラー（ｂｌｕｒ）処理することができる。

【0053】

図７には、図６において説明された第１の確率マップＰＭ１を説明するための図面が示されている。

【0054】

図７に示すように、第１の確率マップＰＭ１は、目領域ＲＯＥで前記ユーザの瞳の凝視方向に対応する座標を確率的に表すことができる。仮に、前記瞳の凝視方向が９つに設定されたとすれば、第１の確率マップＰＭ１も９個の座標ＬＴ、ＣＴ、ＲＴ、ＬＣ、ＣＣ、ＲＣ、ＬＢ、ＣＢ、ＲＢを有することができる。前記９個の座標ＬＴ、ＣＴ、ＲＴ、ＬＣ、ＣＣ、ＲＣ、ＬＢ、ＣＢ、ＲＢは、前記９つの凝視方向のうち、前記ユーザの凝視方向によって確率値として表されるか、またはデジタル値（０または１）として表されることができる。

【0055】

図８には、図６において説明された第２の確率マップＰＭ２を説明するための図面が示されている。

【0056】

図８に示すように、第２の確率マップＰＭ２は、顔領域ＲＯＦで前記ユーザの顔の角度に対応する座標を確率的に表すことができる。例えば、前記顔の角度は、前記ユーザの前記顔の回転（ｒｏｔａｔｉｏｎ）値ＶＯＲに対応することができる。回転値ＶＯＲは、前記顔のロール（ｒｏｌｌ）値、前記顔のピッチ（ｐｉｔｃｈ）値、及び前記顔のヨー（ｙａｗ）値のうち、少なくとも１つを含むことができる。仮に、前記顔の角度が９つに設定されたとすれば、第２の確率マップＰＭ２も９個の座標ＬＴ、ＣＴ、ＲＴ、ＬＣ、ＣＣ、ＲＣ、ＬＢ、ＣＢ、ＲＢを有することができる。前記９個の座標ＬＴ、ＣＴ、ＲＴ、ＬＣ、ＣＣ、ＲＣ、ＬＢ、ＣＢ、ＲＢは、前記９つの角度のうち、前記ユーザの凝視方向に対応する角度によって確率値として表されるか、デジタル値（０または１）として表されることができる。

【0057】

このような本発明の実施形態によれば、ユーザが望む関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を自動に検出し、前記関心領域を対象として予定された動作（例：ホワイトバランシング（ｗｈｉｔｅ ｂａｌａｎｃｉｎｇ）動作、露出（ｅｘｐｏｓｕｒｅ）動作、焦点（ｆｏｃｕｓｉｎｇ）動作等）を自動に行うことができるという利点がある。

【0058】

本発明の技術思想は、前記実施形態によって具体的に記述されたが、以上において説明した実施形態は、その説明のためのものであり、その制限のためのものでないことに注意すべきである。また、本発明の技術分野の通常の専門家であれば、本発明の技術思想の範囲内で種々の置換、変形、及び変更により、様々な実施形態が可能であることが理解できるであろう。

【符号の説明】

【0059】

１０ イメージ処理システム
１００ 第１のイメージセンサ
２００ 第２のイメージセンサ
３００ イメージプロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】