特開 2022-91698 イメージセンシング装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022091698

(43)【公開日】2022-06-21

(54)【発明の名称】イメージセンシング装置

(51)【国際特許分類】

   G06T 5/00 20060101AFI20220614BHJP

【ＦＩ】

G06T5/00 700

【審査請求】未請求

【請求項の数】21

【出願形態】ＯＬ

(21)【出願番号】P 2021190903

(22)【出願日】2021-11-25

(31)【優先権主張番号】10-2020-0170942

(32)【優先日】2020-12-09

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】特許業務法人三枝国際特許事務所

(72)【発明者】

【氏名】チャン チョル ゾン

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE06

5B057CH09

5B057DB02

5B057DB06

5B057DB09

5B057DC16

5B057DC32

(57)【要約】

【課題】対象カーネル（ｋｅｒｎｅｌ）のテクスチャ（ｔｅｘｔｕｒｅ）を分析するとき、簡単な計算法を利用するイメージセンシング装置を提供する。
【解決手段】本発明の一実施形態は、撮影されたイメージに対応するイメージ値を生成するためのイメージセンサ１００と、撮影されたイメージの対象カーネルのイメージ値のうち、対象カーネルの中央に対応する第１のイメージ値と対象カーネルの周辺に対応する第２のイメージ値とに基づいて対象カーネルのテクスチャを分析するためのイメージプロセッサ２００とを備えるイメージセンシング装置を提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮影されたイメージに対応するイメージ値を生成するためのイメージセンサと、
前記撮影されたイメージの対象カーネルのイメージ値のうち、前記対象カーネルの中央に対応する第１のイメージ値と前記対象カーネルの周辺に対応する第２のイメージ値とに基づいて前記対象カーネルのテクスチャを分析するためのイメージプロセッサと、
を備えるイメージセンシング装置。

【請求項2】

前記イメージプロセッサは、前記対象カーネルのテクスチャを分析するとき、前記対象カーネルで少なくとも１つの欠陥イメージ値が存在するかを共に分析する請求項１に記載のイメージセンシング装置。

【請求項3】

前記イメージプロセッサは、前記対象カーネルのテクスチャを分析した結果、前記対象カーネルがエッジ（ｅｄｇｅ）領域より複雑なテクスチャ領域であるとき、前記対象カーネルの少なくとも１つの欠陥イメージ値を補正する過程を省略する請求項１に記載のイメージセンシング装置。

【請求項4】

前記イメージプロセッサは、
前記対象カーネルのイメージ値のうち、前記第１及び第２のイメージ値に基づいて、前記対象カーネルの前記テクスチャと前記対象カーネルで少なくとも１つの欠陥イメージ値の存在可否を分析し、その分析結果に対応する制御信号を生成するためのカーネル分析部と、
前記対象カーネルのイメージ値と前記制御信号とに基づいて、前記対象カーネルの前記欠陥イメージ値を補正し、前記対象カーネルに対応する補正されたイメージ値を生成するためのカーネル補正部と、
前記制御信号に基づいて前記対象カーネルのイメージ値と前記補正されたイメージ値とのうち、いずれか１つのイメージ値を出力するためのイメージ出力部と、
を備える請求項１に記載のイメージセンシング装置。

【請求項5】

前記カーネル分析部は、
前記第１のイメージ値及び前記第２のイメージ値に基づいて第１の分散値を計算するための第１の計算部と、
前記第２のイメージ値に基づいて第２の分散値を計算するための第２の計算部と、
前記第１及び第２の分散値に基づいて第３の分散値を計算するための第３の計算部と、
前記第１～第３の分散値に基づいて前記制御信号を生成するための制御部と、
を備える請求項４に記載のイメージセンシング装置。

【請求項6】

前記第１の分散値は、前記第１のイメージ値と前記第２のイメージ値との間の差値を合算して得られる請求項５に記載のイメージセンシング装置。

【請求項7】

前記第２の分散値は、前記第２のイメージ値の間の差値を合算して得られる請求項５に記載のイメージセンシング装置。

【請求項8】

前記第３の分散値は、前記第１の分散値と前記第２の分散値との間の差値である請求項５に記載のイメージセンシング装置。

【請求項9】

前記カーネル分析部は、
前記第１のイメージ値及び前記第２のイメージ値に基づいて第１の分散値を計算するための第１の計算部と、
前記第２のイメージ値に基づいて第２の分散値を計算するための第２の計算部と、
前記第１及び第２の分散値に基づいて第３の分散値を計算するための第３の計算部と、
前記第１～第３の分散値と前記第１のイメージ値及び前記第２のイメージ値に基づいて前記制御信号を生成するための制御部と、
を備える請求項４に記載のイメージセンシング装置。

【請求項10】

撮影されたイメージに対応するイメージ値を生成するためのイメージセンサと、
対象カーネルのイメージ値のうち、同じカラーフィルタを有するピクセルのイメージ値に基づいて、Ｎ×Ｎ（ただし、Ｎは、１より大きい整数）ピクセルに対応する前記対象カーネルのテクスチャを分析するためのイメージプロセッサと、
を備えるイメージセンシング装置。

【請求項11】

前記イメージプロセッサは、前記対象カーネルのイメージ値のうち、前記対象カーネルの中央に対応する第１のイメージ値と前記対象カーネルの周辺に対応する第２のイメージ値とに基づいて前記対象カーネルのテクスチャを分析する請求項１０に記載のイメージセンシング装置。

【請求項12】

前記イメージプロセッサは、前記対象カーネルのテクスチャを分析するとき、前記対象カーネルで少なくとも１つの欠陥イメージ値が存在するかを共に分析する請求項１０に記載のイメージセンシング装置。

【請求項13】

前記イメージプロセッサは、前記対象カーネルのテクスチャを分析した結果、前記対象カーネルがエッジ（ｅｄｇｅ）領域より複雑なテクスチャ領域であるとき、前記対象カーネルの少なくとも１つの欠陥イメージ値を補正する過程を省略する請求項１０に記載のイメージセンシング装置。

【請求項14】

前記イメージプロセッサは、
前記対象カーネルのイメージ値のうち、前記第１のイメージ値及び前記第２のイメージ値に基づいて、前記対象カーネルの前記テクスチャと前記対象カーネルで少なくとも１つの欠陥イメージ値の存在可否とを分析し、その分析結果に対応する制御信号を生成するためのカーネル分析部と、
前記対象カーネルのイメージ値と前記制御信号とに基づいて、前記対象カーネルの前記欠陥イメージ値を補正し、前記対象カーネルに対応する補正されたイメージ値を生成するためのカーネル補正部と、
前記制御信号に基づいて前記対象カーネルのイメージ値と前記補正されたイメージ値とのうち、いずれか１つのイメージ値を出力するためのイメージ出力部と、
を備える請求項１１に記載のイメージセンシング装置。

【請求項15】

前記カーネル分析部は、
前記第１のイメージ値及び前記第２のイメージ値に基づいて第１の分散値を計算するための第１の計算部と、
前記第２のイメージ値に基づいて第２の分散値を計算するための第２の計算部と、
前記第１及び第２の分散値に基づいて第３の分散値を計算するための第３の計算部と、
前記第１～第３の分散値に基づいて前記制御信号を生成するための制御部と、
を備える請求項１４に記載のイメージセンシング装置。

【請求項16】

前記第１の分散値は、前記第１のイメージ値と前記第２のイメージ値との間の差値を合算して得られ、
前記第２の分散値は、前記第２のイメージ値の間の差値を合算して得られ、
前記第３の分散値は、前記第１の分散値と前記第２の分散値との間の差値である請求項１５に記載のイメージセンシング装置。

【請求項17】

前記カーネル分析部は、
前記第１のイメージ値及び前記第２のイメージ値に基づいて第１の分散値を計算するための第１の計算部と、
前記第２のイメージ値に基づいて第２の分散値を計算するための第２の計算部と、
前記第１及び第２の分散値に基づいて第３の分散値を計算するための第３の計算部と、
前記第１～第３の分散値と前記第１及び第２のイメージ値とに基づいて前記制御信号を生成するための制御部と、
を備える請求項１４に記載のイメージセンシング装置。

【請求項18】

対象カーネルのイメージ値のうち一部のイメージ値に基づいて、前記対象カーネルのテクスチャと前記対象カーネルで欠陥イメージ値の存在可否とを分析し、その分析結果に対応する制御信号を生成するためのカーネル分析部と、 前記対象カーネルのイメージ値と前記制御信号とに基づいて前記対象カーネルの欠陥イメージを補正し、前記対象カーネルに対応する補正されたイメージ値を生成するためのカーネル補正部と、
前記制御信号に基づいて前記対象カーネルのイメージ値と前記補正されたイメージ値とのうち、いずれか１つのイメージ値を出力するためのイメージ出力部と、
を備えるイメージセンシング装置。

【請求項19】

前記一部のイメージ値は、前記対象カーネルのイメージ値のうち、前記対象カーネルの中央に対応する第１のイメージ値と前記対象カーネルの周辺に対応する第２のイメージ値とを含む請求項１８に記載のイメージセンシング装置。

【請求項20】

前記カーネル補正部は、前記対象カーネルがフラット（ｆｌａｔ）領域またはエッジ（ｅｄｇｅ）領域であり、前記対象カーネルに前記欠陥イメージ値が存在するときにイネーブルされ、
前記カーネル補正部は、前記対象カーネルが前記フラット領域または前記エッジ領域であり、前記対象カーネルに前記欠陥イメージ値が存在しないときにディセーブルされ、
前記カーネル補正部は、前記対象カーネルが前記エッジ領域より複雑なテクスチャ領域であるときにディセーブルされる請求項１８に記載のイメージセンシング装置。

【請求項21】

イメージのカーネルの中央に対応する第１のイメージ値と前記カーネルの周辺に対応する第２のイメージ値とを生成するためのイメージセンサと、
前記第１のイメージ値と前記第２のイメージ値とに基づいて第１～第３の分散値を生成し、前記第１～第３の分散値に基づいて前記カーネルのテクスチャを決定し、前記カーネルで少なくとも１つの欠陥イメージ値を検出し、前記カーネルがフラット（ｆｌａｔ）領域またはエッジ（ｅｄｇｅ）領域であるとき、前記欠陥イメージ値を補正するか、または前記カーネルが前記エッジ領域よりさらに複雑なテクスチャ領域であるとき、前記欠陥イメージ値の補正を省略するイメージプロセッサと、
を備えるイメージセンシング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、半導体設計技術に関し、より詳細には、イメージセンシング装置に関する。

【背景技術】

【0002】

イメージセンシング装置は、光に反応する半導体の性質を利用してイメージをキャプチャ（ｃａｐｔｕｒｅ）する素子である。イメージセンシング装置は、大別してＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いたイメージセンシング装置と、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いたイメージセンシング装置とに区分されることができる。近年、アナログ及びデジタル制御回路を１つの集積回路（ＩＣ）上に直接実現できるという長所により、ＣＭＯＳを用いたイメージセンシング装置が多く利用されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の実施形態は、対象カーネル（ｋｅｒｎｅｌ）のテクスチャ（ｔｅｘｔｕｒｅ）を分析するとき、簡単な計算法を利用するイメージセンシング装置を提供する。

【0004】

また、本発明の実施形態は、対象カーネルの分析結果に応じて補正動作を省略できるイメージセンシング装置を提供する。

【課題を解決するための手段】

【0005】

本発明の一側面によれば、イメージセンシング装置は、撮影されたイメージに対応するイメージ値を生成するためのイメージセンサと、前記撮影されたイメージの対象カーネルのイメージ値のうち、前記対象カーネルの中央に対応する第１のイメージ値と前記対象カーネルの周辺に対応する第２のイメージ値とに基づいて前記対象カーネルのテクスチャを分析するためのイメージプロセッサとを備えることができる。

【0006】

前記イメージプロセッサは、前記対象カーネルのテクスチャを分析するとき、前記対象カーネルで少なくとも１つの欠陥イメージ値が存在するかを共に分析することができる。

【0007】

前記イメージプロセッサは、前記対象カーネルのテクスチャを分析した結果、前記対象カーネルがエッジ（ｅｄｇｅ）領域より複雑なテクスチャ領域であるとき、前記対象カーネルの少なくとも１つの欠陥イメージ値を補正する過程を省略できる。

【0008】

本発明の他の側面によれば、イメージセンシング装置は、撮影されたイメージに対応するイメージ値を生成するためのイメージセンサと、対象カーネルのイメージ値のうち、同じカラーフィルタを有するピクセルのイメージ値に基づいて、Ｎ×Ｎ（ただし、Ｎは、１より大きい整数）ピクセルに対応する前記対象カーネルのテクスチャを分析するためのイメージプロセッサとを備えることができる。

【0009】

前記イメージプロセッサは、前記対象カーネルのイメージ値のうち、前記対象カーネルの中央に対応する第１のイメージ値と前記対象カーネルの周辺に対応する第２のイメージ値とに基づいて前記対象カーネルのテクスチャを分析することができる。

【0010】

前記イメージプロセッサは、前記対象カーネルのテクスチャを分析するとき、前記対象カーネルで少なくとも１つの欠陥イメージ値が存在するかを共に分析することができる。

【0011】

前記イメージプロセッサは、前記対象カーネルのテクスチャを分析した結果、前記対象カーネルがエッジ（ｅｄｇｅ）領域より複雑なテクスチャ領域であるとき、前記対象カーネルの少なくとも１つの欠陥イメージ値を補正する過程を省略できる。

【0012】

本発明のさらに他の側面によれば、イメージセンシング装置は、対象カーネルのイメージ値のうち一部のイメージ値に基づいて、前記対象カーネルの前記テクスチャと前記対象カーネルで欠陥イメージ値の存在可否とを分析し、その分析結果に対応する制御信号を生成するためのカーネル分析部と、前記対象カーネルのイメージ値と前記制御信号とに基づいて前記対象カーネルの欠陥イメージを補正し、前記対象カーネルに対応する補正されたイメージ値を生成するためのカーネル補正部と、前記制御信号に基づいて前記対象カーネルのイメージ値と前記補正されたイメージ値とのうち、いずれか１つのイメージ値を出力するためのイメージ出力部とを備えることができる。

【0013】

前記一部のイメージ値は、前記対象カーネルのイメージ値のうち、前記対象カーネルの中央に対応する第１のイメージ値と前記対象カーネルの周辺に対応する第２のイメージ値とを含むことができる。

【0014】

前記カーネル補正部は、前記対象カーネルがフラット（ｆｌａｔ）領域またはエッジ（ｅｄｇｅ）領域であり、前記対象カーネルに前記欠陥イメージ値が存在するときにイネーブルされて前記欠陥イメージ値を補正でき、前記カーネル補正部は、前記対象カーネルが前記フラット領域または前記エッジ領域であり、前記対象カーネルに前記欠陥イメージ値が存在しないときにディセーブルされることができ、前記カーネル補正部は、前記対象カーネルが前記エッジ領域より複雑なテクスチャ領域ときにディセーブルされることができる。

【0015】

本発明のさらに他の側面によれば、イメージセンシング装置は、イメージのカーネルの中央に対応する第１のイメージ値と前記カーネルの周辺に対応する第２のイメージ値とを生成するためのイメージセンサと、前記第１のイメージ値と前記第２のイメージ値とに基づいて第１～第３の分散値を生成し、前記第１～第３の分散値に基づいて前記カーネルのテクスチャを決定し、前記カーネルで少なくとも１つの欠陥イメージ値を検出し、前記カーネルがフラット（ｆｌａｔ）領域またはエッジ（ｅｄｇｅ）領域であるとき、前記欠陥イメージ値を補正するか、または前記カーネルが前記エッジ領域よりさらに複雑なテクスチャ領域であるとき、前記欠陥イメージ値の補正を省略するイメージプロセッサとを備えることができる。

【発明の効果】

【0016】

本発明の実施形態は、対象カーネル（ｋｅｒｎｅｌ）のテクスチャ（ｔｅｘｔｕｒｅ）を分析するとき、簡単な計算法を利用することにより、低電力化及び高速化を実現できるという効果がある。

【0017】

また、本発明の実施形態は、対象カーネルの分析結果に応じて補正動作を省略することにより、低電力化及び高速化にさらに寄与できるという効果がある。

【図面の簡単な説明】

【0018】

【図1】本発明の実施形態に係るイメージセンシング装置のブロック構成図である。

【図2】図１に示されたイメージセンサのブロック構成図である。

【図3】図２に示されたピクセルアレイの一例を見せた図である。

【図4】図１に示されたイメージプロセッサのブロック構成図である。

【図5】図４に示されたカーネル分析部のブロック構成図である。

【図6】図５に示された制御部のブロック構成図である。

【図7】図５に示された第１の計算部をさらに説明するための図である。

【図8】図５に示された第２の計算部をさらに説明するための図である。

【図9】図１に示されたイメージセンシング装置の動作を説明するためのフローチャートである。

【発明を実施するための形態】

【0019】

以下、本発明の属する技術分野における通常の知識を有する者が本発明の技術的思想を容易に実施できる程度に詳細に説明するために、本発明の実施形態を添付図面を参照して説明する。

【0020】

そして、明細書全体において、ある部分が他の部分と「接続」されているとするとき、これは、「直接的に接続」されている場合だけでなく、その中間に他の素子を挟んで「電気的に接続」されている場合も含む。また、ある部分がある構成要素を「含む」または「備える」とするとき、これは、特に反対される記載がない限り、他の構成要素を除くことでなく、他の構成要素をさらに含むか、備えることができるということを意味する。また、明細書全体の記載において、一部構成要素を単数型に記載したとして、本発明がそれに限定されるものではなく、当該構成要素が複数個からなり得ることが分かるであろう。

【0021】

図１には、本発明の実施形態に係るイメージセンシング装置がブロック構成図で示されている。

【0022】

図１に示すように、イメージセンシング装置は、イメージセンサ１００及びイメージプロセッサ２００を備えることができる。

【0023】

イメージセンサ１００は、撮影されたイメージに対応するイメージ値ＤＰＸｓを生成できる。

【0024】

イメージプロセッサ２００は、イメージ値ＤＰＸｓに基づいて前記撮影されたイメージのカーネル（ｋｅｒｎｅｌ）別にテクスチャ（ｔｅｘｔｕｒｅ）を分析することができる。イメージプロセッサ２００は、前記テクスチャを分析するとき、それぞれの対象カーネルで欠陥が発生したピクセルのイメージ値（以下、「欠陥イメージ値」と称する）の存在可否を同時に分析することができる。

【0025】

前記テクスチャは、対象カーネルがフラット（ｆｌａｔ）領域であるか、またはエッジ（ｅｄｇｅ）領域であるか、または前記エッジ領域より複雑なテクスチャ領域であるかを表す特性のうち１つであることができる。前記フラット領域は、前記エッジ領域より単純なテクスチャ領域を意味でき、前記エッジ領域は、水平方向のエッジまたは垂直方向のエッジ、または対角線方向のエッジのうち、いずれか１つを含む領域を意味でき、前記複雑なテクスチャ領域は、前記水平方向のエッジと前記垂直方向のエッジと前記対角線方向のエッジのうち、少なくとも２個のエッジを含むか、または方向性なしに種々の色相が交じり合った領域を意味できる。

【0026】

イメージプロセッサ２００は、前記対象カーネルの前記テクスチャを分析した結果と前記対象カーネルで前記欠陥イメージ値の存在可否を分析した結果とに応じて前記対象カーネルで前記欠陥イメージ値の補正可否を決定できる。例えば、イメージプロセッサ２００は、前記対象カーネルが前記フラット領域または前記エッジ領域であり、前記対象カーネルに欠陥イメージ値が存在するとき、前記対象カーネルで前記欠陥イメージ値を補正する動作を行うことができる。それに対し、イメージプロセッサ２００は、前記対象カーネルが前記フラット領域または前記エッジ領域であり、前記対象カーネルに欠陥イメージ値が存在しないとき、前記欠陥イメージ値を補正する動作を省略できる。また、イメージプロセッサ２００は、前記対象カーネルが前記複雑なテクスチャ領域であるとき、前記対象カーネルの前記欠陥イメージ値の存在可否に関係なく、前記欠陥イメージ値を補正する動作を省略できる。

【0027】

前記欠陥イメージ値を補正する動作は、前記欠陥イメージ値を検出する動作と、その検出された欠陥イメージ値を復元する動作とを含むことができる。本発明の実施形態は、前記テクスチャを分析した結果と前記欠陥イメージ値の存在可否を分析した結果とに応じて前記欠陥イメージ値を補正する動作（特に、前記欠陥イメージ値を検出する動作）を省略できる。

【0028】

図２には、図１に示されたイメージセンサ１００のブロック構成図が図示されている。

【0029】

図２に示すように、イメージセンサ１００は、ピクセルアレイ１１０及び信号変換器１２０を備えることができる。

【0030】

ピクセルアレイ１１０は、ロー（ｒｏｗ）方向とコラム（ｃｏｌｕｍｎ）方向とに配列された前記複数のピクセルを含むことができる（図３参照）。ピクセルアレイ１１０は、ロー別にピクセル信号ＶＰＸｓを生成できる。例えば、ピクセルアレイ１１０は、第１のロー時間の間、第１のローに配列されたピクセルからピクセル信号ＶＰＸｓを生成でき、第ｎのロー時間の間、第ｎのローに配列されたピクセルからピクセル信号ＶＰＸｓを生成できる（ただし、「ｎ」は、２より大きい整数である）。ピクセル信号ＶＰＸｓは、各々アナログタイプのピクセル信号であることができる。

【0031】

信号変換器１２０は、前記アナログタイプのピクセル信号ＶＰＸｓをデジタルタイプのイメージ値ＤＰＸｓに変換することができる。例えば、信号変換器１２０は、アナログツーデジタルコンバータ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）を備えることができる。

【0032】

図３には、図２に示されたピクセルアレイ１１０の一例を見せた構成図が図示されている。

【0033】

図３に示すように、ピクセルアレイ１１０は、予定された（または、設定された）パターンで配列されることができる。例えば、ピクセルアレイ１１０は、ベイヤー（Ｂａｙｅｒ）パターンで配列されることができる。前記ベイヤーパターンは、２×２ピクセルの繰り返しセルで構成され、それぞれのセルには、グリーン（ｇｒｅｅｎ）カラーフィルタを有する２個のピクセル（Ｇｂ、Ｇｒ）が対角線で対向するように配置され、１個のブルー（ｂｌｕｅ）カラーフィルタを有する１個のピクセル（Ｂ）とレッド（ｒｅｄ）カラーフィルタを有する１個のピクセル（Ｒ）とが残りのコーナに配置され得る。前記４個のピクセル（Ｂ、Ｇｂ、Ｇｒ、Ｒ）は、図３に示された配置構造に必ずしも限定されるものではなく、前述したベイヤーパターンを前提として様々に配置されることができる。

【0034】

本発明の実施形態において、ピクセルアレイ１１０は、５×５ピクセルに区分することができる。前記５×５ピクセルは、前記対象カーネルに対応することができる。前記対象カーネルのサイズは、前記テクスチャの分析性能と前記欠陥イメージ値の補正性能とによって決定されることができる。

【0035】

図４には、図１に示されたイメージプロセッサ２００のブロック構成図が図示されている。

【0036】

図４に示すように、イメージプロセッサ２００は、カーネル分析部２１０、カーネル補正部２２０、イメージ出力部２３０、及びバイパス部２４０を備えることができる。

【0037】

バイパス部２４０は、制御信号ＣＴＲＬに基づいてイメージ値ＤＰＸｓをイメージ出力部２３０にバイパス（ｂｙｐａｓｓ）することができる。バイパス部２４０は、実施形態によっては、構成されないことができ、バイパス部２４０が構成されない場合、イメージ値ＤＰＸｓは、直接イメージ出力部２３０に入力されることができる。

【0038】

カーネル分析部２１０は、イメージ値ＤＰＸｓに基づいて前記撮影されたイメージのカーネル別にテクスチャを分析することができる。すなわち、カーネル分析部２１０は、前記対象カーネルがどの特性を有する領域（前記フラット領域、前記エッジ領域、及び前記複雑なテクスチャ領域のうち、いずれか１つの領域であることができる）であるかを分析することができる。カーネル分析部２１０は、前記対象カーネルのイメージ値のうち一部のイメージ値を用いて前記対象カーネルのテクスチャを分析することができる。例えば、カーネル分析部２１０は、前記対象カーネルのイメージ値のうち、同じカラーフィルタを有するピクセルのイメージ値に基づいて前記対象カーネルのテクスチャを分析することができる。

【0039】

カーネル分析部２１０は、前記対象カーネルのテクスチャを分析するとき、前記対象カーネルに含まれたイメージ値のうち、前記欠陥イメージ値が存在するかを共に分析することができる。すなわち、カーネル分析部２１０は、１回の分析動作にて前記対象カーネルのテクスチャと前記対象カーネルで前記欠陥イメージ値の存在可否とを同時に分析することができる。

【0040】

カーネル分析部２１０は、前記対象カーネルのテクスチャを分析した結果と前記対象カーネルで前記欠陥イメージ値の存在可否を分析した結果とに応じて前記対象カーネルに対応する制御信号ＣＴＲＬを生成できる。制御信号ＣＴＲＬは、ハイ論理（ｈｉｇｈ ｌｏｇｉｃ）レベルとロー論理（ｌｏｗ ｌｏｇｉｃ）レベルのうち、いずれか１つのレベルで調節される（すなわち、いずれか１つのレベルを有する）単一ビット（ｂｉｔ）の信号であることができる。

【0041】

カーネル補正部２２０は、制御信号ＣＴＲＬに基づいてイネーブルされるか、またはディセーブルされることができる。カーネル補正部２２０は、イネーブルされた場合、イメージ値ＤＰＸｓに基づいて前記対象カーネルに対応する補正されたイメージ値ＤＰＸｓ´を生成できる。

【0042】

例えば、カーネル補正部２２０は、前記対象カーネルが前記フラット領域または前記エッジ領域であり、前記対象カーネルに前記欠陥イメージ値が存在するときにイネーブルされることができる。カーネル補正部２２０は、イネーブルされた場合、前記対象カーネルのイメージ値のうち、少なくとも１つの欠陥イメージ値を補正できる。カーネル補正部２２０は、補正技法によって、前記対象カーネルに含まれたイメージ値のうち一部または全部に基づいて前記欠陥イメージ値を検出し、その検出された欠陥イメージ値を復元できる。例えば、前記補正技法は、前記対象カーネルに含まれたイメージ値のうち、最大１個の欠陥イメージ値を検出及び復元できる１（ｓｉｎｇｌｅ）欠陥ピクセル補正技法、前記対象カーネルに含まれたイメージ値のうち、最大２個の欠陥イメージ値を検出及び復元できる２（ｃｏｕｐｌｅｔ）欠陥ピクセル補正技法、及び前記対象カーネルに含まれたイメージ値のうち、最大３個の欠陥イメージ値を検出及び復元できる３（ｔｒｉｐｌｅｔ）欠陥ピクセル補正技法などを含むことができる。それに対し、カーネル補正部２２０は、前記対象カーネルが前記フラット領域または前記エッジ領域であり、前記対象カーネルに前記欠陥イメージ値が存在しないときにディセーブルされることができる。また、カーネル補正部２２０は、前記対象カーネルが前記複雑なテクスチャ領域であるとき、前記欠陥イメージ値の存在可否に関係なく、ディセーブルされることができる。

【0043】

イメージ出力部２３０は、制御信号ＣＴＲＬに基づいて前記対象カーネル別にバイパスされたイメージ値ＤＰＸ１ｓと補正されたイメージ値ＤＰＸｓ´とのうち、いずれか１つの値を出力できる。例えば、イメージ出力部２３０は、前記対象カーネルがカーネル補正部２２０のイネーブル条件に対応するとき（すなわち、制御信号ＣＴＲＬがカーネル補正部２２０をイネーブルするレベルを有するとき）、補正されたイメージ値ＤＰＸｓ´を出力でき、前記対象カーネルがカーネル補正部２２０のディセーブル条件に対応するとき（すなわち、制御信号ＣＴＲＬがカーネル補正部２２０をディセーブルするレベルを有するとき）、バイパスされたイメージ値ＤＰＸ１ｓを出力できる。

【0044】

図５には、図４に示されたカーネル分析部２１０のブロック構成図が図示されている。

【0045】

図５に示すように、カーネル分析部２１０は、第１の計算部２１１、第２の計算部２１３、第３の計算部２１５、及び制御部２１７を備えることができる。

【0046】

第１の計算部２１１は、イメージ値ＤＰＸｓに基づいて前記対象カーネル別に第１の分散値ＶＶ１を計算できる。第１の計算部２１１は、前記対象カーネルに含まれたイメージ値のうち一部イメージ値を用いて第１の分散値ＶＶ１を計算できる。例えば、第１の計算部２１１は、前記対象カーネルの中央に配置されたピクセルの第１のイメージ値と前記対象カーネルの周辺に配置されたピクセルの第２のイメージ値とを用いて第１の分散値ＶＶ１を計算できる。前記第１のイメージ値と前記第２のイメージ値とは、同じカラーフィルタを有するピクセルのイメージ値であることができる。第１の分散値ＶＶ１は、図７を参照してより詳細に説明する。

【0047】

第２の計算部２１３は、イメージ値ＤＰＸｓに基づいて前記対象カーネル別に第２の分散値ＶＶ２を計算できる。第２の計算部２１３は、前記対象カーネルに含まれたイメージ値のうち一部イメージ値を用いて第２の分散値ＶＶ２を計算できる。例えば、第２の計算部２１３は、前記第２のイメージ値を用いて第２の分散値ＶＶ２を計算できる。第２の分散値ＶＶ２は、図８を参照してより詳細に説明する。

【0048】

第３の計算部２１５は、第１の分散値ＶＶ１と第２の分散値ＶＶ２とに基づいて第３の分散値ＶＶ３を生成できる。例えば、第３の分散値ＶＶ３は、第１の分散値ＶＶ１と第２の分散値ＶＶ２との間の差値に対応することができる。

【0049】

制御部２１７は、第１の分散値ＶＶ１と第２の分散値ＶＶ２と第３の分散値ＶＶ３のイメージ値ＤＰＸｓに基づいて制御信号ＣＴＲＬを生成できる。例えば、制御信号ＣＴＲＬは、次の「表１」によって生成されることができる。

【表1】

「表１」において、「↑」は、相対的に大きい値を意味することができ、「↓」は、相対的に小さい値を意味することができ、「１」は、ハイ論理レベルを意味することができ、「０」は、ロー論理レベルを意味することができる。

【0050】

制御部２１７は、第１の分散値ＶＶ１と第２の分散値ＶＶ２と第３の分散値ＶＶ３とに基づいて、前記対象カーネルの前記テクスチャを分析した結果と前記対象カーネルで前記欠陥イメージ値の存在可否を分析した結果とが全て反映された制御信号ＣＴＲＬを生成できる。例えば、制御部２１７は、第１の分散値ＶＶ１と第１の基準値とを比較して、第１の分散値ＶＶ１が大きい値であるか、または小さい値であるかを判断でき、第２の分散値ＶＶ１と第２の基準値とを比較して、第２の分散値ＶＶ２が大きい値であるか、または小さい値であるかを判断でき、第３の分散値ＶＶ１と第３の基準値とを比較して、第３の分散値ＶＶ３が大きい値であるか、または小さい値であるかを判断できる。前記第１～第３の基準値は、互いに異なる値であるか、または互いに同じ値であるか、または異なる値と同じ値とが混ざっていることができる。制御部２１７は、第１の分散値ＶＶ１と第２の分散値ＶＶ２と第３の分散値ＶＶ３とが各々大きい値であるか、または小さい値であるかに応じて、前記対象カーネルの前記テクスチャを分析した結果と前記対象カーネルで前記欠陥イメージ値の存在可否を分析した結果とを分かることができる。さらに、制御部２１７は、第１の分散値ＶＶ１と第２の分散値ＶＶ２と第３の分散値ＶＶ３とともにイメージ値ＤＰＸｓを基にする場合、前記対象カーネルで前記欠陥イメージ値の存在可否をより明確に分析することができる（図６参照）。制御部２１７は、前記対象カーネルの前記テクスチャを分析した結果と前記対象カーネルで前記欠陥イメージ値の存在可否を分析した結果とに応じて前記対象カーネルに対応する制御信号ＣＴＲＬの論理レベルを決定できる。

【0051】

図６には、図５に示された制御部２１７がブロック構成図で図示されている。

【0052】

図６に示すように、制御部２１７は、カーネル領域判断部２１７１、欠陥画素判断部２１７３、及び制御信号生成部２１７５を備えることができる。

【0053】

カーネル領域判断部２１７１は、第１の分散値ＶＶ１と第２の分散値ＶＶ２と第３の分散値ＶＶ３とに基づいて、前記対象カーネルの前記テクスチャを分析した結果に対応する第１の領域判断信号ｆｌａｔＥＮと第２の領域判断信号ｅｄｇｅＥＮと第３の領域判断信号ｃｐｘＥＮとを生成できる。カーネル領域判断部２１７１は、第１の領域判断部ＪＤＧ１、第２の領域判断部ＪＤＧ２、及び第３の領域判断部ＪＤＧ３を備えることができる。第１の領域判断部ＪＤＧ１は、第１の分散値ＶＶ１と第２の分散値ＶＶ２と第３の分散値ＶＶ３とに基づいて前記フラット領域に対応する第１の領域判断信号ｆｌａｔＥＮを生成できる。第２の領域判断部ＪＤＧ２は、第１の分散値ＶＶ１と第２の分散値ＶＶ２と第３の分散値ＶＶ３とに基づいて前記エッジ領域に対応する第２の領域判断信号ｅｄｇｅＥＮを生成できる。第３の領域判断部ＪＤＧ３は、第１の分散値ＶＶ１と第２の分散値ＶＶ２と第３の分散値ＶＶ３とに基づいて前記複雑なテクスチャ領域に対応する第３の領域判断信号ｃｐｘＥＮを生成できる。第１の領域判断信号ｆｌａｔＥＮ、第２の領域判断信号ｅｄｇｅＥＮ、及び第３の領域判断信号ｃｐｘＥＮは、次の「表２」のように生成されることができる。

【表2】

欠陥画素判断部２１７３は、第１の分散値ＶＶ１と第２の分散値ＶＶ２と第３の分散値ＶＶ３とに基づいて前記対象カーネルで前記欠陥イメージ値の存在可否を分析した結果に対応する欠陥判断信号ｄｅｆＥＮを生成できる。

【0054】

欠陥画素判断部２１７３は、第１の分散値ＶＶ１と第２の分散値ＶＶ２と第３の分散値ＶＶ３とともにイメージ値ＤＰＸｓを基にする場合、欠陥分析能力をより向上させることができる。例えば、欠陥画素判断部２１７３は、前記第１のイメージ値と前記第２のイメージ値との間の差値を閾値と比較することにより、前記対象カーネルで前記欠陥イメージ値の存在可否を判断できる。前記閾値は、前記フラット領域であるか、または前記エッジ領域であるか、または前記複雑なテクスチャ領域であるかによって異なるように設定されることができる。例えば、前記閾値は、第１の分散値ＶＶ１と第２の分散値ＶＶ２と第３の分散値ＶＶ３とに基づいて設定されることができる。欠陥判断信号ｄｅｆＥＮは、次の「表３」のように生成されることができる。

【表3】

制御信号生成部２１７５は、第１の領域判断信号ｆｌａｔＥＮと第２の領域判断信号ｅｄｇｅＥＮと第３の領域判断信号ｃｐｘＥＮと欠陥判断信号ｄｅｆＥＮとに基づいて制御信号ＣＴＲＬを生成できる。

【0055】

図７には、図５に示された第１の計算部２１１をさらに説明するための図面が図示されている。

【0056】

図７に示すように、前記対象カーネルは、５×５ピクセルに対応することができる。前記第１の計算部２１１は、前記第１のイメージ値と前記第２のイメージ値とを用いて第１の分散値ＶＶ１を計算できる。前記第１のイメージ値は、前記対象カーネルの中央に配置された１個のピクセルのイメージ値であることができ、前記第２のイメージ値は、前記対象カーネルの周辺に配置された８個のイメージ値であることができる。

【0057】

第１の計算部２１１は、前記対象カーネルの中央に配置された１個のピクセルの第１のイメージ値と前記対象カーネルの周辺に配置された８個のピクセルの第２のイメージ値とに基づいて第１の分散値ＶＶ１を計算できる。第１の分散値ＶＶ１は、下記の「数式１」によって計算されることができる。

【数1】

ここで、「ＣＶ」は、前記第１のイメージ値を意味でき、「ＰＶｉ」は、第２のイメージ値を意味できる。

【0058】

第１の分散値ＶＶ１は、前記第１のイメージ値と前記第２のイメージ値との間の差値を合算して得られることができる。すなわち、第１の分散値ＶＶ１は、図７に示された８個の矢印のそれぞれの両端に配置された２個のピクセル間のイメージ値の差値を全て加えて得られることができる。

【0059】

図８には、図５に示された第２の計算部２１３をさらに説明するための図面が図示されている。

【0060】

図８に示すように、前記対象カーネルは、５×５ピクセルに対応することができる。前記第２の計算部２１３は、前記第２のイメージ値を用いて第２の分散値ＶＶ２を計算できる。前記第２のイメージ値は、前記対象カーネルの周辺に配置された８個のイメージ値であることができる。

【0061】

第２の計算部２１３は、前記対象カーネルの周辺に配置された８個のピクセルの前記第２のイメージ値に基づいて第２の分散値ＶＶ２を計算できる。第２の分散値ＶＶ２は、下記の「数式２」によって計算されることができる。

【数2】

ここで、「ＰＶ１」、「ＰＶ２」、「ＰＶ３」、「ＰＶ４」、「ＰＶ５」、「ＰＶ６」、「ＰＶ７」、及び「ＰＶ８」は、前記第２のイメージ値を意味できる。

【0062】

第２の分散値ＶＶ２は、前記第２のイメージ値の間の差値を合算して得られることができる。すなわち、第２の分散値ＶＶ２は、図８に示された８個の矢印のそれぞれの両端に配置された２個のピクセル間のイメージ値の差値を全て加えて得られることができる。

【0063】

以下、上記のような構成を有する本発明の実施形態に係るイメージセンシング装置の動作を説明する。

【0064】

図９には、図１に示されたイメージセンシング装置の動作を説明するためのフローチャートが図示されている。

【0065】

図９に示すように、イメージセンサ１００は、撮影されたイメージに対応するイメージ値ＤＰＸｓを生成できる（Ｓ１０１）。

【0066】

イメージプロセッサ２００は、イメージ値ＤＰＸｓに基づいてカーネル別にテクスチャを分析することができる（Ｓ１０３）。イメージプロセッサ２００は、対象カーネルの前記テクスチャを分析するとき、前記対象カーネルに対して欠陥イメージ値の存在可否を共に分析することができる。言い換えれば、イメージプロセッサ２００は、１回の分析動作にて前記対象カーネルのテクスチャと前記対象カーネルで前記欠陥イメージ値の存在可否とを同時に分析することができる。例えば、イメージプロセッサ２００は、上記の「数式１」によって前記対象カーネルの第１の分散値ＶＶ１を計算でき、上記の「数式２」によって前記対象カーネルの第２の分散値ＶＶ２を計算でき、第１の分散値ＶＶ１と第２の分散値ＶＶ２とに基づいて第３の分散値ＶＶ３を計算できる。イメージプロセッサ２００は、第１の分散値ＶＶ１と第２の分散値ＶＶ２と第３の分散値ＶＶ３とに基づいて、前記対象カーネルのテクスチャと前記対象カーネルで前記欠陥イメージ値の存在可否とを共に分析することができる（上記の「表１」参照）。

【0067】

イメージプロセッサ２００は、前記対象カーネルが前記フラット領域であり（Ｓ１０５の「はい」）、前記対象カーネルに欠陥イメージ値が存在するとき、（Ｓ１０７の「はい」）、前記欠陥イメージ値を補正する動作を行うことができる（Ｓ１０９）。または、イメージプロセッサ２００は、前記対象カーネルが前記エッジ領域であり（Ｓ１１１の「はい」）、前記対象カーネルに欠陥イメージ値が存在するとき（Ｓ１０７の「はい」）、前記欠陥イメージ値を補正する動作を行うことができる（Ｓ１０９）。

【0068】

これとは異なり、イメージプロセッサ２００は、前記対象カーネルが前記フラット領域であり（Ｓ１０５の「はい」）、前記対象カーネルに前記欠陥イメージ値が存在しないとき（Ｓ１０７の「いいえ」）、前記欠陥イメージ値を補正する動作を省略できる。または、イメージプロセッサ２００は、前記対象カーネルが前記エッジ領域であり（Ｓ１１１の「はい」）、前記対象カーネルに前記欠陥イメージ値が存在しないとき（Ｓ１０７の「いいえ」）、前記欠陥イメージ値を補正する動作を省略できる。または、イメージプロセッサ２００は、前記対象カーネルが前記複雑なテクスチャ領域であるとき（Ｓ１１３）、前記対象カーネルで前記欠陥イメージ値の存在可否に関係なく、前記欠陥イメージ値を補正する動作を省略できる。

【0069】

このような本発明の実施形態によれば、簡単な計算法にて分散値を計算し、前記分散値に基づいて対象カーネルのテクスチャと前記対象カーネルで欠陥イメージ値の存在可否を容易に分析可能であるという利点がある。

【0070】

本発明の技術思想は、上記実施形態によって具体的に記述されたが、以上で説明した実施形態は、その説明のためのものであり、その制限のためのものでないことに注意すべきである。また、本発明の技術分野の通常の専門家であれば、本発明の技術思想の範囲内で種々の置換、変形、及び変更により様々な実施形態が可能であることが理解できるであろう。

【符号の説明】

【0071】

１００ イメージセンサ
２００ イメージプロセッサ
２１０ カーネル分析部
２１１ 第１の計算部
２１３ 第２の計算部
２１５ 第３の計算部
２１７ 制御部
２２０ カーネル補正部
２３０ イメージ出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】