特開 2024-81124 画像処理装置及び顔検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024081124

(43)【公開日】2024-06-17

(54)【発明の名称】画像処理装置及び顔検出方法

(51)【国際特許分類】

   G06T 7/194 20170101AFI20240610BHJP

   G06T 7/00 20170101ALI20240610BHJP

   G06V 10/36 20220101ALI20240610BHJP

【ＦＩ】

G06T7/194

G06T7/00 660A

G06V10/36

【審査請求】未請求

【請求項の数】21

【出願形態】ＯＬ

(21)【出願番号】P 2023192112

(22)【出願日】2023-11-10

(31)【優先権主張番号】10-2022-0167854

(32)【優先日】2022-12-05

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】ハン ジ ヒ

(72)【発明者】

【氏名】キム ジョン ヒョン

(72)【発明者】

【氏名】キム フン

(72)【発明者】

【氏名】イム ジェ ヒョン

(72)【発明者】

【氏名】チョ ジュ ヒョン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA18

5L096CA18

5L096FA32

5L096FA33

5L096FA54

5L096FA67

5L096FA69

5L096GA09

5L096GA30

5L096GA55

(57)【要約】

【課題】顔を検出する画像処理装置を提供する。
【解決手段】本技術による画像処理装置１００は、画像に含まれた画素の画素値を含む画像データ及び画素のディスパリティ値を含む深度マップデータに基づいて、画像においてターゲットオブジェクトを含む前景領域３２０とターゲットオブジェクトが含まれていない背景領域３３０とを決める背景管理部１１０と、複数の位置から予め決められた方向に前景領域３２０に含まれる前景画素をカウントしたカウント値に基づいてターゲットオブジェクトの基準位置を決め、基準位置に基づいて設定された関心領域内から予め決められた形状に対応するターゲットオブジェクトを検出するターゲットオブジェクト管理部１２０と、を含んでもよい。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像に含まれた画素の画素値を含む画像データ及び前記画素のディスパリティ値を含む深度マップデータに基づいて前記画像においてターゲットオブジェクトを含む前景領域と前記ターゲットオブジェクトが含まれていない背景領域を決める背景管理部と、
複数の位置から予め決められた方向に前記前景領域に含まれる前景画素をカウントしたカウント値に基づいて前記ターゲットオブジェクトの基準位置を決め、前記基準位置に基づいて設定された関心領域内から予め決められた形状に対応する前記ターゲットオブジェクトを検出するターゲットオブジェクト管理部と、を含む、画像処理装置。

【請求項2】

前記背景管理部は、
前記ディスパリティ値に基づいて前記前景領域と前記背景領域に対する階級間の分散が最大となるディスパリティ限界値を決め、
前記前景画素の最大ディスパリティ値は前記ディスパリティ限界値である、請求項１に記載の画像処理装置。

【請求項3】

前記背景管理部は、
前記画素が前記前景領域に含まれる確率及び前記確率の平均である期待値を前記ディスパリティ値に基づいて算出し、前記階級間の分散を前記確率及び前記期待値に基づいて算出する、請求項２に記載の画像処理装置。

【請求項4】

前記背景管理部は、
前記前景画素の最大ディスパリティ値を前記ディスパリティ値の最小値から最大値まで増加させて算出された階級間の分散に基づいて前記ディスパリティ限界値を決める、請求項２に記載の画像処理装置。

【請求項5】

前記背景管理部は、
前記ディスパリティ限界値に基づいて前記画像において前記前景領域と前記背景領域を区分する、請求項２に記載の画像処理装置。

【請求項6】

前記背景管理部は、
前記前景領域と前記背景領域に含まれたノイズを除去する、請求項５に記載の画像処理装置。

【請求項7】

前記ターゲットオブジェクト管理部は、
前記画像において前記前景領域の位置に基づいて臨時領域を設定し、
前記複数の位置は、
前記臨時領域の境界に含まれる、請求項１に記載の画像処理装置。

【請求項8】

前記ターゲットオブジェクト管理部は、
前記複数の位置のうち前記カウント値が最小となる位置を前記基準位置と決める、請求項７に記載の画像処理装置。

【請求項9】

前記ターゲットオブジェクト管理部は、
前記画像を前記予め決められた方向に対応して等分した領域を生成し、等分した領域のうち前記前景領域がより多く含まれた領域を前記臨時領域と決める、請求項７に記載の画像処理装置。

【請求項10】

前記ターゲットオブジェクト管理部は、
前記臨時領域に含まれた画素のうち前記前景領域に含まれる画素の画素値を１に変換し、残りの画素の画素値を０に変換する、請求項７に記載の画像処理装置。

【請求項11】

前記ターゲットオブジェクト管理部は、
前記複数の位置から前記予め決められた方向に前記臨時領域に含まれた画素の画素値を合算する、請求項１０に記載の画像処理装置。

【請求項12】

前記ターゲットオブジェクト管理部は、
前記基準位置に基づいて前記前景領域において前記予め決められた方向の垂直方向に前記関心領域を設定する、請求項８に記載の画像処理装置。

【請求項13】

前記ターゲットオブジェクト管理部は、
前記関心領域内の楕円形状のオブジェクトを前記ターゲットオブジェクトと決める、請求項１２に記載の画像処理装置。

【請求項14】

画像に含まれた画素のディスパリティ値に基づいて前記画像において顔が含まれた第１領域と前記顔が含まれていない第２領域に対する階級間の分散が最大となるディスパリティ限界値を決める段階と、
前記ディスパリティ限界値に基づいて前記画像から前記第２領域を除去する段階と、
複数の位置から予め決められた方向に前記第１領域に含まれる第１画素をカウントしたカウント値に基づいて前記顔に対応する首の位置を決める段階と、
前記首の位置に基づいて設定された関心領域内から予め決められた形状に対応する前記顔を検出する段階と、を含む、画像処理装置の顔検出方法。

【請求項15】

前記ディスパリティ限界値を決める段階は、
前記ディスパリティ値に基づいて前記画素が前記第１領域に含まれる確率及び前記確率の平均である期待値を算出する段階と、
前記確率及び前記期待値に基づいて前記階級間の分散を算出する段階と、を含む、請求項１４に記載の画像処理装置の顔検出方法。

【請求項16】

前記ディスパリティ限界値を決める段階は、
前記ディスパリティ値の最小値から最大値まで増加する前記第１画素の最大ディスパリティ値に対応して階級間の分散を算出する段階と、
前記階級間の分散に基づいて前記階級間の分散が最大になるときの前記第１画素の最大ディスパリティ値を前記ディスパリティ限界値と決める段階と、を含む、請求項１４に記載の画像処理装置の顔検出方法。

【請求項17】

前記第２領域を除去する段階は、
前記ディスパリティ限界値に基づいて前記画像から前記第２領域を除去した中間画像を生成する段階と、
前記中間画像にメディアンフィルタを適用する段階と、を含む、請求項１４に記載の画像処理装置の顔検出方法。

【請求項18】

前記首の位置を決める段階は、
前記中間画像に基づいて前記画素のうち前記第１領域に含まれる画素の画素値を１に変換し、残りの画素の画素値を０に変換する段階と、
前記画像において前記第１領域の位置に基づいて設定された臨時領域の境界に含まれる前記複数の位置を設定する段階と、
前記複数の位置から前記予め決められた方向に変換された画素値をそれぞれ合算する段階と、
前記複数の位置のうち前記変換された画素値の合算値が最小となる位置を前記首の位置と決める段階と、を含む、請求項１７に記載の画像処理装置の顔検出方法。

【請求項19】

前記複数の位置を設定する段階は、
前記画像を前記予め決められた方向に対応して等分した領域を生成する段階と、
前記等分した領域のうち前記第１領域がより多く含まれた領域を前記臨時領域と決める段階と、をさらに含む、請求項１８に記載の画像処理装置の顔検出方法。

【請求項20】

前記顔を検出する段階は、
前記首の位置に基づいて前記第１領域において前記予め決められた方向の垂直方向に前記関心領域を設定する段階と、
前記関心領域内から楕円オブジェクトに対応する顔の位置を検出する段階と、
前記顔の位置に基づいて前記画像から前記顔のみを含む出力画像を生成する段階と、を含む、請求項１４に記載の画像処理装置の顔検出方法。

【請求項21】

画素のディスパリティ値に対応する確率分布に基づいて前記画素を含む画像において顔が含まれた第１領域と前記顔が含まれていない第２領域に対する階級間の分散が最大となるディスパリティ限界値を決める段階と、
前記ディスパリティ限界値に基づいて前記画像において前記第１領域と前記第２領域を区分する段階と、
前記画像を予め決められた方向に対応して等分した領域のうち前記第１領域がより多く含まれた領域内で複数の位置を設定する段階と、
前記複数の位置から前記予め決められた方向に前記第１領域に含まれる第１画素の数をそれぞれカウントする段階と、
前記複数の位置のうちカウントされた前記第１画素の数が最も小さい位置を前記顔に対応する首の位置と決める段階と、
前記首の位置に基づいて設定された関心領域内から予め決められた形状に対応する前記顔を検出する段階と、を含む、画像処理装置の顔検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置に関し、より具体的には画像処理装置及び顔検出方法に関する。

【背景技術】

【0002】

通常、画像センサはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）画像センサと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサとに区分することができる。近年、製造費用が安く、電力消耗が少なく、周辺回路との集積が容易なＣＭＯＳ画像センサが注目を浴びている。

【0003】

スマートフォン、タブレットＰＣ、デジタルカメラなどに含まれた画像センサは、外部客体から反射された光を電気的信号に変換することにより、外部客体に対する画像情報を取得することができる。画像処理装置は画像情報から画像に含まれた特定のオブジェクトを検出することができる。

【0004】

画像に含まれたオブジェクトのうち顔を検出するアルゴリズムに対する研究が盛んに行われている。あらゆる状況で顔を検出するアルゴリズムよりは特定の状況下で顔を検出するアルゴリズムが低コストで効率的な顔検出動作を行うことができる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施例は、ディスパリティ値に基づいて画像に含まれた前景領域を抽出し、特定の位置に対応する画素の数に基づいて首の位置を決め、首の位置に応じて設定される関心領域から顔を検出する画像処理装置及び顔検出方法を提供する。

【課題を解決するための手段】

【0006】

本発明の実施例による画像処理装置は、画像に含まれた画素の画素値を含む画像データ及び上記画素のディスパリティ値を含む深度マップデータに基づいて上記画像においてターゲットオブジェクトを含む前景領域と上記ターゲットオブジェクトが含まれていない背景領域を決める背景管理部と、複数の位置から予め決められた方向に上記前景領域に含まれる前景画素をカウントしたカウント値に基づいて上記ターゲットオブジェクトの基準位置を決め、上記基準位置に基づいて設定された関心領域内から予め決められた形状に対応する上記ターゲットオブジェクトを検出するターゲットオブジェクト管理部と、を含んでもよい。

【0007】

本発明の実施例による画像処理装置の顔検出方法は、画像に含まれた画素のディスパリティ値に基づいて上記画像において顔が含まれた第１領域と上記顔が含まれていない第２領域に対する階級間の分散が最大となるディスパリティ限界値を決める段階と、上記ディスパリティ限界値に基づいて上記画像から上記第２領域を除去する段階と、複数の位置から予め決められた方向に上記第１領域に含まれる第１画素をカウントしたカウント値に基づいて上記顔に対応する首の位置を決める段階と、上記首の位置に基づいて設定された関心領域内から予め決められた形状に対応する上記顔を検出する段階と、を含んでもよい。

【0008】

本発明の実施例による画像処理装置の顔検出方法は、画素のディスパリティ値に対応する確率分布に基づいて上記画素を含む画像において顔が含まれた第１領域と上記顔が含まれていない第２領域に対する階級間の分散が最大となるディスパリティ限界値を決める段階と、上記ディスパリティ限界値に基づいて上記画像において上記第１領域と上記第２領域を区分する段階と、上記画像を予め決められた方向に対応して等分した領域のうち上記第１領域がより多く含まれた領域内で複数の位置を設定する段階と、上記複数の位置から上記予め決められた方向に上記第１領域に含まれる第１画素の数をそれぞれカウントする段階と、上記複数の位置のうちカウントされた上記第１画素の数が最も小さい位置を上記顔に対応する首の位置と決める段階と、上記首の位置に基づいて設定された関心領域内から予め決められた形状に対応する上記顔を検出する段階と、を含んでもよい。

【発明の効果】

【0009】

本技術によると、ディスパリティ値に基づいてターゲットオブジェクトが含まれた前景領域とターゲットオブジェクトが含まれていない背景領域を分ける限界値を適応的に決めることができる。また、本技術によると、予め設定された条件に対応する状況（自撮り撮影など）で低コストで効率的な顔検出動作を行う画像処理装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例による画像処理装置を説明するための図である。

【図2】本発明の実施例による背景領域を除去する方法を説明するための図である。

【図3】本発明の実施例による前景領域と背景領域の区分を説明するための図である。

【図4】本発明の実施例による前景領域に含まれた顔を検出する方法を説明するための図である。

【図5】本発明の実施例による臨時領域と基準位置を説明するための図である。

【図6】本発明の実施例による顔を検出する方法を説明するためのフローチャートである。

【図7】本発明の実施例によるディスパリティ限界値を決める方法を説明するためのフローチャートである。

【図8】本発明の実施例による首の位置を決める方法を説明するためのフローチャートである。

【図9】本発明の実施例による顔のみを含む出力画像を生成する方法を説明するためのフローチャートである。

【図10】本発明の実施例による画像処理装置を含む電子装置を示すブロック図である。

【発明を実施するための形態】

【0011】

本明細書または出願に開示されている本発明の概念による実施例に対する特定の構造的ないし機能的説明は、本発明の概念による実施例を説明する目的でのみ例示されており、本発明の概念による実施例は様々な形態で実施されてもよく、本明細書または出願に説明された実施例に限定されると解釈されてはならない。

【0012】

以下において、本発明が属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できる程度に詳細に説明するために、本発明の実施例を添付の図面を参照して説明する。

【0013】

図１は本発明の実施例による画像処理装置を説明するための図である。

【0014】

図１を参照すると、画像処理装置１００は画像に含まれたターゲットオブジェクトを検出することができる。例えば、ターゲットオブジェクトは顔、手、足などまたはモーションであってもよい。本発明の実施例において、画像処理装置１００は画像データ及び深度マップデータに基づいて画像に含まれた顔を検出することができる。画像処理装置１００は画像全体においてターゲットオブジェクト検出動作を行うのではなく、ターゲットオブジェクトが検出される確率の高い関心領域を決め、関心領域でのみターゲットオブジェクト検出動作を行うことができる。画像の一部のみで検出動作が行われるため、ターゲットオブジェクトの検出にかかる費用を節約することができる。

【0015】

画像処理装置１００は画像データ及び深度マップデータを画像センサなどの外部デバイスまたは内部メモリなどから受信することができる。画像データは画像に含まれた画素の画素値を含んでもよい。画像データはロー（ｒａｗ）データではない補間動作が行われたデータ、例えば、ＲＧＢ画像データまたはＣＭＹＫ画像データであってもよい。画像データは画像に含まれた画素の色情報及び明るさ情報を含んでもよい。深度マップデータは画像に含まれた画素のディスパリティ値を含んでもよい。

【0016】

画像センサは複数のカメラまたは深度センサを用いてディスパリティ値を含む深度マップデータを生成して画像処理装置１００に伝達することができる。画像処理装置１００はターゲットオブジェクト検出動作を行う前にロー（ｒａｗ）データを受信し、受信したロー（ｒａｗ）データに基づいて画像処理動作を行うことができる。例えば、画像処理装置１００は補間動作を行ってＲＧＢ画像データまたはＣＭＹＫ画像データを生成するか、またはロー（ｒａｗ）データに含まれた位相情報に基づいてディスパリティ値を含む深度マップデータを生成することができる。画像処理装置１００は生成したＲＧＢ画像データ、ＣＭＹＫ画像データ、及び深度マップデータを内部メモリに保存することができる。ロー（ｒａｗ）データに基づいて行われる画像処理動作は公開された技術に対応するため、本発明の明細書では開示された技術に対する説明は省略することができる。

【0017】

画像処理装置１００は背景管理部１１０及びターゲットオブジェクト管理部１２０を含んでもよい。画像処理装置１００は全体の画像から背景領域が除去された前景のみを含む画像を出力するか、または画像からターゲットオブジェクトのみを含む画像を出力してもよい。

【0018】

背景管理部１１０は画像データ及び深度マップデータに基づいて画像においてターゲットオブジェクトを含む前景領域とターゲットオブジェクトが含まれていない背景領域を決めることができる。背景管理部１１０は処理する画像に応じて前景領域と背景領域を区別する基準を適応的に設定することができる。処理される画像が変わると、区別基準は変わってもよい。

【0019】

本発明の実施例において、背景管理部１１０は画素のディスパリティ値に基づいて前景領域と背景領域を区別することができる。背景管理部１１０はディスパリティ値に対応する確率分布に基づいてディスパリティ限界値を決めることができる。背景管理部１１０は画像に含まれたディスパリティ値に対する階級間の分散が最大となるようにディスパリティ限界値を決めることができる。

【0020】

背景管理部１１０はディスパリティ限界値よりディスパリティ値が小さいかまたは同じ画素が含まれた前景領域とディスパリティ限界値よりディスパリティ値が大きい画素が含まれた背景領域を決めることができる。背景管理部１１０は背景領域に含まれた画素の画素値を予め決められた画素値に変更することにより、画像から背景領域を除去することができる。

【0021】

ターゲットオブジェクト管理部１２０は前景領域においてターゲットオブジェクトの基準位置を決めることができる。本発明の実施例において、ターゲットオブジェクトは顔であるため、基準位置は首になることができる。画像において、首は一般的に最も細い部分であり、ターゲットオブジェクトの下側に位置することができる。ターゲットオブジェクト管理部１２０は前景領域の下段部において予め決められた方向に前景領域に含まれる画素の数をカウントし、カウント値に基づいて首の位置を決めることができる。

【0022】

ターゲットオブジェクト管理部１２０は首の位置に基づいてターゲットオブジェクトである顔が位置する可能性の最も高い部分を関心領域と設定することができる。一般的に、首の上の楕円形のオブジェクトが顔である可能性が最も高い。ターゲットオブジェクト管理部１２０は首の位置の上段に楕円マスキング動作を行うことができる。楕円マスキング動作によって楕円形状のオブジェクトが検出されることができる。ターゲットオブジェクト管理部１２０は検出された楕円形状のオブジェクトをターゲットオブジェクトである顔と決めることができる。ターゲットオブジェクト管理部１２０は画像から顔を除いた残りの画素の画素値を予め決められた画素値に変更することにより、顔のみが含まれた画像を出力することができる。

【0023】

図２は本発明の実施例による背景領域を除去する方法を説明するための図である。

【0024】

図２を参照すると、背景管理部は深度マップデータに基づいて画像から背景領域が除去された中間画像を生成することができる。

【0025】

背景管理部はターゲットオブジェクトを含む前景領域とターゲットオブジェクトが含まれていない背景領域を区別する基準であるディスパリティ限界値を決めることができる。背景管理部は前景領域と背景領域の分離度が最大となるようにディスパリティ限界値を適応的に決めることができる。

【0026】

本発明の実施例において、背景管理部はディスパリティ値に基づいて前景領域と背景領域に対する階級間の分散が最大となるディスパリティ限界値を決めることができる。前景領域と背景領域に対する階級間の分散は、画像に含まれる画素が前景領域に含まれる第１確率、第１確率の平均である第１ディスパリティ期待値、及び画像に含まれる全画素の全体ディスパリティ期待値に基づいて算出されてもよい。具体的な過程は以下の通りである。

【0027】

画素が前景領域に含まれる第１確率（Ｗ_０）と画素が背景領域に含まれる第２確率（Ｗ_１）は以下の通りである。

【0028】

【数1】

【0029】

ここで、Ｗ（ｋ）は第１確率、Ｄｍｉｎは画素のディスパリティの最小値、Ｄｍａｘは画素のディスパリティの最大値、ｕはディスパリティの増加単位、ｎ_ｉはディスパリティがｉである画素の数、Ｎは画像に含まれた画素の全体数、Ｐ_ｉはディスパリティがｉである画素の確率分布、Ｃ_０は前景領域に含まれた画素、Ｃ_１は背景領域に含まれた画素、Ｔはディスパリティ限界値を意味することができる。

【0030】

前景領域に対する確率の平均（μ_０）と背景領域に対する確率の平均（μ_１）は以下の通りである。

【0031】

【数2】

【0032】

ここで、μ（ｋ）は第１確率（Ｗ_０）の平均である第１ディスパリティ期待値、μ_Ｔは全体画素の全体のディスパリティ期待値であってもよい。

【0033】

前景領域に対するディスパリティ分散（σ_０）と背景領域に対するディスパリティ分散（σ_１）は以下の通りであり、

【0034】

【数3】

【0035】

以下の数式によると、

【0036】

【数4】

【0037】

前景領域と背景領域に対する階級間の分散（σ_ｂ ^２）を導出することができる。

【0038】

【数5】

【0039】

このとき、σ_Ｔ ^２は全体分散であり、σ_Ｗ ^２は前景領域と背景領域に対する階級内部の分散であってもよい。

【0040】

背景管理部は、前景領域に含まれる前景画素の最大ディスパリティ値をディスパリティ値の最小値から最大値まで増加させながら階級間の分散（σ_ｂ ^２）を算出することができる。背景管理部は階級間の分散（σ_ｂ ^２）が最大となるときの最大ディスパリティ値をディスパリティ限界値に設定することができる。これを数式で表すと以下の通りである。

【0041】

【数6】

【0042】

背景管理部は設定されたディスパリティ限界値に応じて画像の前景領域と背景領域を区分することができる。背景管理部は区分された前景領域と背景領域にメディアンフィルタを適用することができる。メディアンフィルタの適用によって前景領域と背景領域に含まれたノイズが除去されることができる。本発明の他の実施例において、背景管理部はガウシアンフィルタなどの他のフィルタに基づいてノイズを除去してもよい。

【0043】

背景管理部はディスパリティ値を含む深度マップデータに基づいて背景領域が除去された中間画像を生成することができる。中間画像は背景領域に含まれる画素の画素値が予め決められた画素値に変更されてもよい。本発明の実施例では、背景領域に含まれる画素の画素値は０であってもよい。

【0044】

本発明の実施例では、中間画像は背景領域と前景領域が互いに異なる画素値に統一されてもよい。例えば、中間画像の背景領域の画素値は全て０であり、中間画像の前景領域の画素値は全て１であってもよい。本発明の他の実施例では、中間画像の背景領域の画素値のみが統一されてもよい。中間画像の前景領域の画素値はＲＧＢ画像データに応じて決まってもよい。背景管理部は背景領域の画素値のみが統一された中間画像を画像データに基づいて生成することができる。

【0045】

図２において、背景管理部が画像から前景領域と背景領域を区分しノイズを除去する動作は、画像から背景を除去する動作を意味することができる。

【0046】

図３は本発明の実施例による前景領域と背景領域の区分を説明するための図である。

【0047】

図３を参照すると、画素のディスパリティヒストグラムが示されている。横軸は画素のディスパリティ値であり、縦軸はディスパリティ値に対応する画素の確率密度関数であることができる。ディスパリティ限界値３１０に基づいて画像に含まれた画素は前景領域３２０または背景領域３３０に区分されることができる。

【0048】

画素のディスパリティ値は負数とゼロを含むことができる。インフォーカス状態の画素のディスパリティはゼロであることができる。インフォーカス状態より焦点距離が増加した画素のディスパリティ値は正の値であることができる。逆に、インフォーカス状態より焦点距離が減少した画素のディスパリティ値は負の値であることができる。

【0049】

背景管理部は前景画素の最大ディスパリティ値を増加させながら前景領域と背景領域に対する階級間の分散を算出することができる。背景管理部は算出された階級間の分散が最大となるようにディスパリティ限界値を設定することができる。図３は階級間の分散に基づいて設定されたディスパリティ限界値の例示である。ディスパリティ限界値は画素のディスパリティ値に応じて異なるように設定されてもよい。従って、背景管理部はディスパリティ限界値を適応的に決めることにより、画像における前景領域と背景領域の分離度を向上させることができる。

【0050】

図４は本発明の実施例による前景領域に含まれた顔を検出する方法を説明するための図である。

【0051】

図４を参照すると、ターゲットオブジェクト管理部は中間画像に基づいてターゲットオブジェクトの基準位置である首の位置を検出し、首の位置に基づいてターゲットオブジェクトである顔の位置を検出することができる。ターゲットオブジェクト管理部は検出された顔の位置と画像データに基づいて顔のみが含まれた顔画像を生成することができる。

【0052】

ターゲットオブジェクト管理部は複数の位置のそれぞれから予め決められた方向に前景領域に含まれる前景画素の数をカウントすることができる。本発明の実施例において予め決められた方向は水平方向であってもよい。ターゲットオブジェクト管理部は画像の回転に対応して垂直方向に前景画素をカウントすることができる。ターゲットオブジェクト管理部は検出されるターゲットオブジェクトに応じて予め決められた方向を多様に決めてもよい。ターゲットオブジェクト管理部はカウント値に基づいてターゲットオブジェクトの基準位置を決めることができる。本発明の実施例における基準位置は首の位置を意味することができる。

【0053】

ターゲットオブジェクト管理部は基準位置に基づいて設定された関心領域内から予め決められた形状に対応するターゲットオブジェクトを検出することができる。本発明の実施例におけるターゲットオブジェクトは顔で、予め決められた形状は楕円形状であってもよい。

【0054】

ターゲットオブジェクト管理部は画像の前景領域の位置に基づいて臨時領域を設定することができる。ターゲットオブジェクト管理部は臨時領域の境界に含まれる複数の位置を設定することができる。

【0055】

ターゲットオブジェクト管理部は前景画素をカウントする方向に対応して中間画像を面積が等しい２つの領域に等分することができる。本発明の実施例では、ターゲットオブジェクト管理部は等分された２つの領域のうち前景領域がより多く含まれた領域を臨時領域と決めることができる。本発明の他の実施例では、ターゲットオブジェクト管理部は前景領域の中心点を検出し、等分した２つの領域のうち中心点が含まれる領域を臨時領域と決めることができる。

【0056】

ターゲットオブジェクト管理部は臨時領域に含まれた画素のうち前景領域に含まれる画素の画素値を１に変換し、残りの画素の画素値を０に変換することができる。ターゲットオブジェクト管理部は画素値の変換後に複数の位置のそれぞれから予め決められた方向に画素値を合算して前景領域に含まれる画素の数をカウントすることができる。

【0057】

ターゲットオブジェクト管理部は複数の位置のうちカウント値が最小となる位置を基準位置と決めることができる。ターゲットオブジェクトが顔であることに対応して前景領域でカウント値が最小となる部分は首であることができる。首は一般的に顔より下に位置し、上半身のうち最も細い身体部位であることができる。

【0058】

ターゲットオブジェクト管理部は前景領域において首の位置に基づいて関心領域を設定することができる。ターゲットオブジェクト管理部は予め決められた方向と垂直方向に関心領域を設定することができる。ターゲットオブジェクトである顔は首より上段に位置する可能性が高いため、ターゲットオブジェクト管理部は首の位置から垂直方向への上段部分を関心領域と設定することができる。

【0059】

関心領域のサイズは前景領域の全体サイズに基づいて決まってもよい。例えば、前景領域のサイズが大きいほど、関心領域のサイズも増加することができる。関心領域は臨時領域の一部分を含んでもよい。

【0060】

ターゲットオブジェクト管理部は関心領域内における楕円形状のオブジェクトをターゲットオブジェクトである顔と決めることができる。楕円形状のサイズは関心領域のサイズに比例することができる。ターゲットオブジェクト管理部は楕円マスキング動作により関心領域内から楕円形状のオブジェクトを検出することができる。

【0061】

ターゲットオブジェクト管理部は中間画像から顔の位置を検出し、検出した顔の位置に基づいて画像データから顔を検出することができる。ターゲットオブジェクト管理部は顔の位置と画像データに基づいて顔のみを含む顔画像を生成することができる。ターゲットオブジェクト管理部は画像に含まれた画素のうち顔に対応しない画素の画素値を全て予め決められた画素値に変更することができる。ターゲットオブジェクト管理部は顔画像を出力することができる。

【0062】

図５は本発明の実施例による臨時領域と基準位置を説明するための図である。

【0063】

図５を参照すると、２つの領域５１０、５２０に分けられる中間画像と中間画像の境界から予め決められた方向に前景画素の数をカウントしたカウント値を示したグラフが示されている。図５において、予め決められた方向は水平方向であると仮定し、グラフのｘ軸はカウントが開始される位置を示し、グラフのｙ軸は画素の数を示すことができる。

【0064】

中間画像は予め決められた方向に対応して面積の同じ２つの領域５１０、５２０に区分されてもよい。ターゲットオブジェクト管理部は２つの領域５１０、５２０のうち画素数のカウントの開始点となる複数の位置を含む臨時領域を設定することができる。

【0065】

ターゲットオブジェクト管理部は水平方向に中間画像を分割する２つの領域５１０、５２０を生成することができる。ターゲットオブジェクト管理部は前景領域がより多く含まれる領域５２０を臨時領域と設定することができる。

【0066】

ターゲットオブジェクト管理部は臨時領域の境界に含まれる複数の位置のそれぞれから水平方向に画素値を合算５３０することができる。臨時領域に含まれた画素のうち前景領域に含まれる画素の画素値が１であるため、画素値の合算結果が画素数であることができる。

【0067】

本発明の実施例では、ターゲットオブジェクト管理部は臨時領域の左側の垂直境界５４０に複数の位置を設定することができる。複数の位置のそれぞれから右側の水平方向に画素値を合算することができる。本発明の他の実施例では、画素値が左側の水平方向に合算される場合、ターゲットオブジェクト管理部は臨時領域の右側の垂直境界に複数の位置を設定することができる。

【0068】

図５のグラフにおいて、臨時領域は５５０であり、複数の位置は５６０に含まれることができる。臨時領域内においてカウント値が最小である位置５７０が首の位置に決まることができる。グラフの全範囲においてカウント値が最小の位置は首の位置ではない可能性があるため、顔の検出の正確性を上げるために中間画像において臨時領域の設定が必要となり得る。

【0069】

図６は本発明の実施例による顔を検出する方法を説明するためのフローチャートである。

【0070】

図６を参照すると、画像処理装置は画像データと深度マップデータに基づいて画像に含まれたターゲットオブジェクトである顔を検出することができる。本発明の実施例では、画像処理装置が検出する顔は顔、首、及び肩を含む上半身の画像から検出することができる。検出される顔は正面であると仮定することができる。

【0071】

段階Ｓ６１０において、背景管理部は画像に含まれた画素のディスパリティ値に基づいて顔が含まれた第１領域と顔が含まれていない第２領域に対する階級間の分散が最大となるディスパリティ限界値を決めることができる。背景管理部は第１領域に含まれる画素の最大ディスパリティ値がディスパリティ限界値より小さいか同一になるように第１領域を決めることができる。第１領域にはターゲットオブジェクトである顔が含まれることができる。背景管理部は第２領域に含まれる画素の最小ディスパリティ値がディスパリティ限界値より大きい画素を含む第２領域を決めることができる。

【0072】

段階Ｓ６２０において、背景管理部はディスパリティ限界値に基づいて画像から第２領域を除去することができる。背景管理部は第２領域に含まれる画素の画素値を予め決められた画素値に統一することができる。背景管理部は外部から受信したコマンドに応じて第１領域のみを含む中間画像を出力することができる。

【0073】

背景管理部はディスパリティ限界値に基づいて画像から第２領域を除去した中間画像を生成することができる。背景管理部は中間画像にメディアンフィルタを適用して中間画像に含まれたノイズを除去することができる。

【0074】

段階Ｓ６３０において、ターゲットオブジェクト管理部は複数の位置から予め決められた方向に第１領域に含まれる第１画素の数をカウントすることができる。ターゲットオブジェクト管理部はカウント値に基づいて中間画像において顔に対応する首の位置を決めることができる。

【0075】

段階Ｓ６４０において、ターゲットオブジェクト管理部は首の位置に基づいてターゲットオブジェクトである顔が含まれた関心領域を設定することができる。ターゲットオブジェクト管理部は設定された関心領域内から予め決められた形状に対応する顔を検出することができる。

【0076】

図７は本発明の実施例によるディスパリティ限界値を決める方法を説明するためのフローチャートである。

【0077】

図７を参照すると、背景管理部は第１画素の最大ディスパリティ値を変更し、ディスパリティ限界値を決めることができる。背景管理部はターゲットオブジェクトである顔を含む第１領域とターゲットオブジェクトである顔を含まない第２領域に対する階級間の分散が最大となるディスパリティ限界値を適応的に決めることができる。

【0078】

段階Ｓ７１０において、背景管理部は第１画素の最大ディスパリティ値を画像に含まれた画素のディスパリティ値のうち最小値に設定することができる。

【0079】

段階Ｓ７２０において、背景管理部はディスパリティ値に基づいて画素が第１領域に含まれる第１確率及び第１領域に含まれる画素のディスパリティ期待値を算出することができる。

【0080】

段階Ｓ７３０において、背景管理部は第１確率及び第１確率に対するディスパリティ期待値に基づいて最小値に対応する階級間の分散を算出することができる。

【0081】

段階Ｓ７４０において、背景管理部は第１画素の最大ディスパリティ値を画素のディスパリティ値の最大値と比較することができる。背景管理部は第１画素の最大ディスパリティ値が画素のディスパリティ値の最大値より大きいか同一になるまで第１画素の最大ディスパリティ値を増加させながら階級間の分散を算出することができる（Ｓ７５０段階）。

【0082】

段階Ｓ７５０において、背景管理部はディスパリティ値の最小値から最大値まで増加する第１画素の最大ディスパリティ値に対応して階級間の分散を算出することができる。第１画素の最大ディスパリティ値の増加単位は一定であることができる。

【0083】

段階Ｓ７６０において、背景管理部は階級間の分散に基づいて階級間の分散が最大になるときの第１画素の最大ディスパリティ値をディスパリティ限界値と決めることができる。背景管理部は画像に応じてディスパリティ限界値を適応的に決めることで、第１領域と第２領域の分離度を向上させることができる。

【0084】

本発明の他の実施例において、背景管理部はディスパリティ値の最大値から最小値まで減少する第１画素の最大ディスパリティ値に対応して階級間の分散を算出することができる。背景管理部は算出された階級間の分散に基づいてディスパリティ限界値を決めることができる。

【0085】

図８は本発明の実施例による首の位置を決める方法を説明するための図である。

【0086】

図８を参照すると、ターゲットオブジェクト管理部は第１領域に含まれる画素の数をカウントすることができる。ターゲットオブジェクトはカウントしたカウント値に基づいて上半身の画像のうち最も細い部分である首の位置を決めることができる。

【0087】

段階Ｓ８１０において、ターゲットオブジェクト管理部は画像から第２領域が除去された中間画像の第１領域に含まれた画素の画素値を１に変更することができる。ターゲットオブジェクト管理部は画素のうち第１領域に含まれる画素の画素値を１に変換し、残りの画素の画素値を０に変換することができる。本発明の実施例では、中間画像の第１領域に含まれた画素値が予め１に変換された場合、段階Ｓ８１０は省略されてもよい。

【0088】

段階Ｓ８２０において、ターゲットオブジェクト管理部は画像を予め決められた方向に対応して等分した２つの領域を生成することができる。ターゲットオブジェクト管理部は等分した２つの領域のうち第１領域がより多く含まれた領域を臨時領域と決めることができる。本発明の実施例では、ターゲットオブジェクト管理部は画像の下端部において顔の一部、首、及び肩を含む臨時領域を設定することができる。

【0089】

段階Ｓ８３０において、ターゲットオブジェクト管理部は画像の第１領域の位置に基づいて設定された臨時領域の境界に含まれる複数の位置を設定することができる。

【0090】

段階Ｓ８４０において、ターゲットオブジェクト管理部は複数の位置のそれぞれから予め決められた方向に画素値をカウントすることができる。ターゲットオブジェクト管理部は予め決められた方向に画素値を合算して第１領域に含まれる画素の数をカウントすることができる。

【0091】

段階Ｓ８５０において、ターゲットオブジェクト管理部は複数の位置のうち変換された画素値の合算値が最小となる位置を首の位置と決めることができる。首の位置は顔の下の部分に該当するため、画像において首の位置が決まると、首の位置の上段部から顔が検出される確率が高くなる。

【0092】

図９は本発明の実施例による顔のみを含む出力画像を生成する方法を説明するための図である。

【0093】

図９を参照すると、ターゲットオブジェクト管理部は画像データに基づいて画像に含まれた顔を検出することができる。画像の全体において顔検出動作を行うのではなく、顔が検出される確率の高い領域でのみ顔検出動作を行うため、顔の検出にかかるコストが少ないことができる。

【0094】

段階Ｓ９１０において、ターゲットオブジェクト管理部は顔の基準となる首の位置に基づいて第１領域において予め決められた方向の垂直方向に関心領域を設定することができる。ターゲットオブジェクト管理部は首の位置の上段方向に関心領域を設定することができる。ターゲットオブジェクト管理部は首の位置を基準として第１領域の面積が少ない方向に関心領域を設定することができる。

【0095】

段階Ｓ９２０において、ターゲットオブジェクト管理部は関心領域内から楕円オブジェクトに対応する顔の位置を検出することができる。ターゲットオブジェクト管理部は楕円マスクを生成し、生成された楕円マスクを関心領域内で移動させながら顔の位置を検出することができる。

【0096】

段階Ｓ９３０において、ターゲットオブジェクト管理部は検出された顔の位置及び画像データに基づいて顔のみを含む出力画像を生成することができる。ターゲットオブジェクト管理部は外部から受信したコマンドに応答して顔画像を出力することができる。

【0097】

図１０は本発明の実施例による画像処理装置を含む電子装置を示すブロック図である。

【0098】

図１０を参照すると、電子装置２０００は画像センサ２０１０、プロセッサ２０２０、記憶装置（ＳＴＯＲＡＧＥ ＤＥＶＩＣＥ）２０３０、メモリ装置（ＭＥＭＯＲＹ ＤＥＶＩＣＥ）２０４０、入力装置２０５０及び出力装置２０６０を含んでもよい。図１０には示されていないが、電子装置２０００はビデオカード、サウンドカード、メモリカード、ＵＳＢ装置などと通信するか、または他の電子機器と通信できるポート（ｐｏｒｔ）をさらに含んでもよい。

【0099】

画像センサ２０１０は入射光に相応する画像データを生成することができる。本発明の実施例では、画像センサ２０１０は深度センサを含むことができる。画像センサ２０１０はディスパリティ情報を含む深度データを生成することができる。画像センサ２０１０は深度データと画像データをプロセッサ２０２０に伝達することができる。出力装置２０６０は画像データを表示することができる。記憶装置２０３０は画像データを記憶することができる。プロセッサ２０２０は画像センサ２０１０、出力装置２０６０、及び記憶装置２０３０の動作を制御することができる。

【0100】

プロセッサ２０２０は画像センサ２０１０から受信する画像データを処理する演算を行い、処理された画像データを出力する画像処理装置であってもよい。ここで、処理はＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）、補間、色調補正、画質補正、サイズ調整などであってもよい。

【0101】

プロセッサ２０２０は画像センサ２０１０とは独立したチップで具現されてもよい。例えば、プロセッサ２０２０はマルチチップパッケージ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ）で具現されることができる。本発明の他の実施例では、プロセッサ２０２０は画像センサ２０１０の一部として含まれて１つのチップで具現されてもよい。

【0102】

プロセッサ２０２０は電子装置２０００の動作を実行及び制御することができる。本発明の実施例によると、プロセッサ２０２０はマイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、またはアプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ、ＡＰ）であってもよい。プロセッサ２０２０はアドレスバス（ａｄｄｒｅｓｓ ｂｕｓ）、制御バス（ｃｏｎｔｒｏｌ ｂｕｓ）及びデータバス（ｄａｔａ ｂｕｓ）を介して記憶装置２０３０、メモリ装置２０４０、入力装置２０５０及び出力装置２０６０に接続して通信を行うことができる。

【0103】

本発明の実施例では、プロセッサ２０２０はディスパリティ値を含む深度データに基づいて画像を前景領域と背景領域に区分し、前景領域に含まれた画素の数に基づいて顔オブジェクトと関係する首の位置を決めることができる。プロセッサ２０２０は首の位置に基づいて設定された関心領域内から楕円形状に対応する顔オブジェクトを検出することができる。プロセッサ２０２０は画素のディスパリティ値に対応する確率分布に基づいて前景領域と背景領域を区分する基準であるディスパリティ限界値を決めることができる。プロセッサ２０２０は階級間の分散が最大となるようにディスパリティ限界値を決め、前景領域と背景領域の分離度を向上させることができる。プロセッサ２０２０は画像に含まれたターゲットオブジェクト（例えば、上半身に含まれた正面の顔）を低コストであるにも関わらず効率的に検出することができる。

【0104】

記憶装置２０３０はフラッシュメモリデバイス（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ；ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ；ＨＤＤ）、シーディーロム（ＣＤ－ＲＯＭ）及びあらゆる形態の不揮発性メモリ装置などを含んでもよい。

【0105】

メモリ装置２０４０は電子装置２０００の動作に必要なデータを記憶することができる。例えば、メモリ装置２０４０は動的ランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＤＲＡＭ）、静的ランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＳＲＡＭ）などの揮発性メモリ装置及びイーピーロム（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ；ＥＰＲＯＭ）、イーイーピーロム（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ；ＥＥＰＲＯＭ）及びフラッシュメモリデバイス（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）などの不揮発性メモリ装置を含んでもよい。プロセッサ２０２０はメモリ装置２０４０に記憶された命令語セットを実行して画像センサ２０１０及び出力装置２０６０を制御することができる。

【0106】

入力装置２０５０はキーボード、キーパッド、マウスなどの入力手段を含み、出力装置２０６０はプリンタ装置、ディスプレイなどの出力手段を含んでもよい。

【0107】

画像センサ２０１０は様々な形態のパッケージで具現されることができる。例えば、画像センサ２０１０の少なくとも一部の構成はＰｏＰ（Ｐａｃｋａｇｅ ｏｎ Ｐａｃｋａｇｅ）、Ｂａｌｌ ｇｒｉｄ ａｒｒａｙｓ（ＢＧＡｓ）、Ｃｈｉｐ ｓｃａｌｅ ｐａｃｋａｇｅｓ（ＣＳＰｓ）、Ｐｌａｓｔｉｃ Ｌｅａｄｅｄ Ｃｈｉｐ Ｃａｒｒｉｅｒ（ＰＬＣＣ）、Ｐｌａｓｔｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＰＤＩＰ）、Ｄｉｅ ｉｎ Ｗａｆｆｌｅ Ｐａｃｋ、Ｄｉｅ ｉｎ Ｗａｆｅｒ Ｆｏｒｍ、Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ（ＣＯＢ）、Ｃｅｒａｍｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＣＥＲＤＩＰ）、Ｐｌａｓｔｉｃ Ｍｅｔｒｉｃ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＭＱＦＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＴＱＦＰ）、Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＳＯＩＣ）、Ｓｈｒｉｎｋ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＳＳＯＰ）、Ｔｈｉｎ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＴＳＯＰ）、Ｓｙｓｔｅｍ Ｉｎ Ｐａｃｋａｇｅ（ＳＩＰ）、Ｍｕｌｔｉ Ｃｈｉｐ Ｐａｃｋａｇｅ（ＭＣＰ）、Ｗａｆｅｒ－ｌｅｖｅｌ Ｆａｂｒｉｃａｔｅｄ Ｐａｃｋａｇｅ（ＷＦＰ）、Ｗａｆｅｒ－Ｌｅｖｅｌ Ｐｒｏｃｅｓｓｅｄ Ｓｔａｃｋ Ｐａｃｋａｇｅ（ＷＳＰ）などのパッケージを用いて具現されてもよい。

【0108】

一方、電子装置２０００は画像センサ２０１０を利用する全てのコンピューティングシステムと解釈することができる。電子装置２０００はパッケージ化されたモジュール、部品などの形態で具現されてもよい。例えば、電子装置２０００はデジタルカメラ、モバイル機器、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ（ｔａｂｌｅｔ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノートパソコン（ｎｏｔｅｂｏｏｋ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ブラックボックス、ロボット、自律走行車両などで具現されてもよい。

【0109】

本発明の範囲は上記の詳細な説明ではなく、添付の特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出される全ての変更または変形された形態は本発明の範囲に含まれると解釈すべきである。

【符号の説明】

【0110】

１００ 画像処理装置
１１０ 背景管理部
１２０ ターゲットオブジェクト管理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】