特開2023-180331画像処理方法、装置、電子機器および読み取り可能記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023180331
(43)【公開日】2023-12-21
(54)【発明の名称】画像処理方法、装置、電子機器および読み取り可能記憶媒体
(51)【国際特許分類】
H04N 23/76 20230101AFI20231214BHJP
H04N 23/10 20230101ALI20231214BHJP
H04N 23/60 20230101ALI20231214BHJP
【ＦＩ】
H04N5/243
H04N9/04 B
H04N5/232 290
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022093537
(22)【出願日】2022-06-09
(71)【出願人】
【識別番号】517372494
【氏名又は名称】維沃移動通信有限公司
【氏名又は名称原語表記】ＶＩＶＯ ＭＯＢＩＬＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ．１， ｖｉｖｏ Ｒｏａｄ， Ｃｈａｎｇ’ａｎ， Ｄｏｎｇｇｕａｎ，Ｇｕａｎｇｄｏｎｇ ５２３８６３， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100196601
【弁理士】
【氏名又は名称】酒井 祐市
(72)【発明者】
【氏名】伊藤 康幸
(72)【発明者】
【氏名】萩原 泰文
(72)【発明者】
【氏名】近藤 克博
【テーマコード（参考）】
5C065
5C122
【Ｆターム（参考）】
5C065BB09
5C065CC01
5C065CC10
5C065EE06
5C065GG21
5C065GG22
5C122DA09
5C122DA16
5C122EA35
5C122FA18
5C122FG02
5C122FG05
5C122FG06
5C122FH11
5C122FH18
5C122HB01
(57)【要約】
【課題】本発明は、画像処理方法、装置、電子機器および読み取り可能記憶媒体を提供する。
【解決手段】本発明に係る方法は、ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得し、ＲＧＢカメラと少なくとも一つのＮＩＲカメラが電子機器のディスプレイの高透過領域の下に設置されていること、第１の画像信号と第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得すること、第１の画像信号から第１の情報を除去して、処理後の第１の画像信号を得ること、処理後の第１の画像信号と第２の画像信号に対して画像融合処理を行い、融合画像を得ること、を含む。
【選択図】図１
【解決手段】本発明に係る方法は、ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得し、ＲＧＢカメラと少なくとも一つのＮＩＲカメラが電子機器のディスプレイの高透過領域の下に設置されていること、第１の画像信号と第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得すること、第１の画像信号から第１の情報を除去して、処理後の第１の画像信号を得ること、処理後の第１の画像信号と第２の画像信号に対して画像融合処理を行い、融合画像を得ること、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得し、前記ＲＧＢカメラと前記少なくとも一つのＮＩＲカメラが電子機器のディスプレイの高透過領域の下に設置されていること、
前記第１の画像信号と前記第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得すること、
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得ること、
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得ること、を含む
ことを特徴とする画像処理方法。
前記第１の画像信号と前記第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得すること、
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得ること、
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得ること、を含む
ことを特徴とする画像処理方法。
【請求項2】
前記第１の画像信号と前記第２の画像信号とに基づいて、第１の情報を取得することは、
前記第１の画像信号に対してＹＵＶ変換を行い、Ｙ信号とＵＶ信号を取得し、Ｙが輝度を表しており、ＵＶが色差を表していること、
前記Ｙ信号と前記第２の画像信号とに基づいて、前記第１の画像信号と前記第２の画像信号との間の差異を示す差分信号を取得すること、
前記差分信号に基づいて、前記第１の情報を得ること、を含む
ことを特徴とする請求項１に記載の画像処理方法。
前記第１の画像信号に対してＹＵＶ変換を行い、Ｙ信号とＵＶ信号を取得し、Ｙが輝度を表しており、ＵＶが色差を表していること、
前記Ｙ信号と前記第２の画像信号とに基づいて、前記第１の画像信号と前記第２の画像信号との間の差異を示す差分信号を取得すること、
前記差分信号に基づいて、前記第１の情報を得ること、を含む
ことを特徴とする請求項１に記載の画像処理方法。
【請求項3】
前記Ｙ信号と前記第２の画像信号とに基づいて、差分信号を取得することは、
前記Ｙ信号と各前記ＮＩＲカメラから出力される第２の画像信号とをそれぞれに比較して、Ｎ個の差分信号を取得すること、を含み、
Ｎの値が前記ＮＩＲカメラの数と等しい
ことを特徴とする請求項２に記載の画像処理方法。
前記Ｙ信号と各前記ＮＩＲカメラから出力される第２の画像信号とをそれぞれに比較して、Ｎ個の差分信号を取得すること、を含み、
Ｎの値が前記ＮＩＲカメラの数と等しい
ことを特徴とする請求項２に記載の画像処理方法。
【請求項4】
前記Ｙ信号と前記第２の画像信号とに基づいて、差分信号を取得することは、
前記ＮＩＲカメラの数が１よりも大きい場合、各前記ＮＩＲカメラから出力される第２の画像信号に対して画像融合処理を行い、融合後の第２の画像信号を取得すること
前記Ｙ信号と前記融合後の第２の画像信号とを比較して、差分信号を取得すること、を含む
ことを特徴とする請求項２に記載の画像処理方法。
前記ＮＩＲカメラの数が１よりも大きい場合、各前記ＮＩＲカメラから出力される第２の画像信号に対して画像融合処理を行い、融合後の第２の画像信号を取得すること
前記Ｙ信号と前記融合後の第２の画像信号とを比較して、差分信号を取得すること、を含む
ことを特徴とする請求項２に記載の画像処理方法。
【請求項5】
前記差分信号に基づいて、前記第１の情報を得ることは、
前記差分信号に対して較正を行い、較正後の差分信号を取得すること、
前記較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、前記第１の情報を取得すること、を含む
ことを特徴とする請求項２～４のいずれか１項に記載の画像処理方法。
前記差分信号に対して較正を行い、較正後の差分信号を取得すること、
前記較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、前記第１の情報を取得すること、を含む
ことを特徴とする請求項２～４のいずれか１項に記載の画像処理方法。
【請求項6】
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得ることは、
前記Ｙ信号から前記第１の情報を除去して、処理後のＹ信号を得ること、
前記第１の情報と前記処理後のＹ信号とに基づいて、前記ＵＶ信号を補正し、補正後のＵＶ信号を得ること、を含む
ことを特徴とする請求項２に記載の画像処理方法。
前記Ｙ信号から前記第１の情報を除去して、処理後のＹ信号を得ること、
前記第１の情報と前記処理後のＹ信号とに基づいて、前記ＵＶ信号を補正し、補正後のＵＶ信号を得ること、を含む
ことを特徴とする請求項２に記載の画像処理方法。
【請求項7】
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得ることは、
前記処理後のＹ信号と、前記補正後のＵＶ信号と、前記第２の画像信号とを画像融合処理し、融合画像を得ること、を含む
ことを特徴とする請求項６に記載の画像処理方法。
前記処理後のＹ信号と、前記補正後のＵＶ信号と、前記第２の画像信号とを画像融合処理し、融合画像を得ること、を含む
ことを特徴とする請求項６に記載の画像処理方法。
【請求項8】
ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得するための取得モジュールであって、前記ＲＧＢカメラと前記少なくとも一つのＮＩＲカメラが電子機器のディスプレイの高透過領域の下に設置されている取得モジュール、
前記第１の画像信号と前記第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得するための第１の処理モジュール、
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得るための第２の処理モジュール、
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得るための第３の処理モジュール、を含む
ことを特徴とする画像処理装置。
前記第１の画像信号と前記第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得するための第１の処理モジュール、
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得るための第２の処理モジュール、
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得るための第３の処理モジュール、を含む
ことを特徴とする画像処理装置。
【請求項9】
前記第１の処理モジュールは、
前記第１の画像信号に対してＹＵＶ変換を行い、Ｙ信号とＵＶ信号を取得するための第１処理手段であって、Ｙが輝度を表しており、ＵＶが色差を表している第１処理手段、
前記Ｙ信号と前記第２の画像信号とに基づいて、前記第１の画像信号と前記第２の画像信号との間の差異を示す差分信号を取得するための第２処理手段、
前記差分信号に基づいて、前記第１の情報を得るための第３処理手段、を含む
ことを特徴とする請求項８に記載の画像処理装置。
前記第１の画像信号に対してＹＵＶ変換を行い、Ｙ信号とＵＶ信号を取得するための第１処理手段であって、Ｙが輝度を表しており、ＵＶが色差を表している第１処理手段、
前記Ｙ信号と前記第２の画像信号とに基づいて、前記第１の画像信号と前記第２の画像信号との間の差異を示す差分信号を取得するための第２処理手段、
前記差分信号に基づいて、前記第１の情報を得るための第３処理手段、を含む
ことを特徴とする請求項８に記載の画像処理装置。
【請求項10】
前記第２処理手段は、具体的に、前記Ｙ信号と各前記ＮＩＲカメラから出力される第２の画像信号とをそれぞれに比較して、Ｎ個の差分信号を取得するためのものであり、
Ｎの値が前記ＮＩＲカメラの数と等しい
ことを特徴とする請求項９に記載の画像処理装置。
Ｎの値が前記ＮＩＲカメラの数と等しい
ことを特徴とする請求項９に記載の画像処理装置。
【請求項11】
前記第２処理手段は、具体的に、
前記ＮＩＲカメラの数が１よりも大きい場合、各前記ＮＩＲカメラから出力される第２の画像信号に対して画像融合処理を行い、融合後の第２の画像信号を取得し、
前記Ｙ信号と前記融合後の第２の画像信号とを比較して、差分信号を取得するためのものである
ことを特徴とする請求項９に記載の画像処理装置。
前記ＮＩＲカメラの数が１よりも大きい場合、各前記ＮＩＲカメラから出力される第２の画像信号に対して画像融合処理を行い、融合後の第２の画像信号を取得し、
前記Ｙ信号と前記融合後の第２の画像信号とを比較して、差分信号を取得するためのものである
ことを特徴とする請求項９に記載の画像処理装置。
【請求項12】
前記第３処理手段は、具体的に、
前記差分信号に対して較正を行い、較正後の差分信号を取得し、
前記較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、前記第１の情報を取得するためのものである
ことを特徴とする請求項９～１１のいずれか１項に記載の画像処理装置。
前記差分信号に対して較正を行い、較正後の差分信号を取得し、
前記較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、前記第１の情報を取得するためのものである
ことを特徴とする請求項９～１１のいずれか１項に記載の画像処理装置。
【請求項13】
前記第２の処理モジュールは、
前記Ｙ信号から前記第１の情報を除去して、処理後のＹ信号を得るための第４処理手段、
前記第１の情報と前記処理後のＹ信号とに基づいて、前記ＵＶ信号を補正し、補正後のＵＶ信号を得るための第５処理手段、を含む
ことを特徴とする請求項９に記載の画像処理装置。
前記Ｙ信号から前記第１の情報を除去して、処理後のＹ信号を得るための第４処理手段、
前記第１の情報と前記処理後のＹ信号とに基づいて、前記ＵＶ信号を補正し、補正後のＵＶ信号を得るための第５処理手段、を含む
ことを特徴とする請求項９に記載の画像処理装置。
【請求項14】
前記第３の処理モジュールは、
前記処理後のＹ信号と、前記補正後のＵＶ信号と、前記第２の画像信号とを画像融合処理し、融合画像を得るための第６処理手段、を含む
ことを特徴とする請求項１３に記載の画像処理装置。
前記処理後のＹ信号と、前記補正後のＵＶ信号と、前記第２の画像信号とを画像融合処理し、融合画像を得るための第６処理手段、を含む
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項15】
プロセッサと、メモリと、前記メモリに記憶されて前記プロセッサで動作可能なプログラムまたはコマンドとを含み、
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、請求項１～７のいずれか１項に記載の画像処理方法のステップが実現される、
ことを特徴とする電子機器。
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、請求項１～７のいずれか１項に記載の画像処理方法のステップが実現される、
ことを特徴とする電子機器。
【請求項16】
プログラムまたはコマンドが記憶されており、
前記プログラムまたはコマンドがプロセッサにより実行されたときに、請求項１～７のいずれか１項に記載の画像処理方法のステップが実現される、
ことを特徴とする読み取り可能記憶媒体。
前記プログラムまたはコマンドがプロセッサにより実行されたときに、請求項１～７のいずれか１項に記載の画像処理方法のステップが実現される、
ことを特徴とする読み取り可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理技術分野に関し、特に画像処理方法、装置、電子機器および読み取り可能記憶媒体に関する。
【背景技術】
【0002】
スマートフォンのカメラは、主として、主たる撮影用のためにディスプレイの反対側に設置されるリアカメラと、主に自撮り用にディスプレイと同じ側に設置されるフロントカメラとに分けられる。フロントカメラはディスプレイと同じ側に設置されるため、その設置場所はディスプレイを避ける必要があり、そのためスマートフォンの全正面をディスプレイとするフルスクリーンデザインを実現することが難しい。現在、フロントカメラフは、通常、ディスプレイの外側のベゼルにフロントカメラを設置するベゼル型、ディスプレイの一部に穴を開けてフロントカメラを設置するノッチ型、ドットドロップ型、および、パンチホール型に分けられる。
【0003】
また、スマートフォンの側面にフロントカメラを設置しておき撮影時に飛び出させるポップアップ型デザインで、フルスクリーンを実現する例もある。しかし、このようなデザイン形態には、コスト、厚さ、信頼性の課題や、カメラの出し入れに時間がかかる課題がある。
【0004】
そこで近年、上述した課題を解決するために、アンダースクリーンカメラ、すなわちディスプレイの下にフロントカメラを設置するものがさらに設計され、カメラを設置する領域のディスプレイの透過率を高くすることで、ディスプレイを通して撮影をする目的が実現される。しかし、ディスプレイの透過率を高くするに伴い、表示のコントラストが低下して、ディスプレイの他の部分との均一性が損なわれるなどの課題があるため、ディスプレイの透過率には限界がある。
【0005】
ディスプレイの透過率が制限されるから、ディスプレイ構成層によって光が散乱してフレアおよびゴーストが発生し、特に撮影対象の後方に強い光源がある場合に、フレアおよびゴーストは、より顕著で、撮影対象を被ってしまい、画質劣化という課題を引き起こす。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の少なくとも一つの実施例は、画像処理方法、装置、電子機器および読み取り可能記憶媒体を提供し、従来のインテリジェント端末が、ディスプレイの透過率が制限されるから、アンダースクリーンカメラを用いて撮影するときに、ディスプレイ構成層における光散乱によりフレアおよびゴーストが発生し、撮影の画質が劣化するという課題を解決する。
【課題を解決するための手段】
【0007】
上述した技術的課題を解決するために、本発明は、以下のようになされたものである。
【0008】
第一の面では、本発明の実施例は、
ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得し、前記ＲＧＢカメラと前記少なくとも一つのＮＩＲカメラが電子機器のディスプレイの高透過領域の下に設置されていること、
前記第１の画像信号と前記第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得すること、
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得ること、
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得ること、を含む画像処理方法を提供する。
ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得し、前記ＲＧＢカメラと前記少なくとも一つのＮＩＲカメラが電子機器のディスプレイの高透過領域の下に設置されていること、
前記第１の画像信号と前記第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得すること、
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得ること、
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得ること、を含む画像処理方法を提供する。
【0009】
第二の面では、本発明の実施例は、
ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得するための取得モジュールであって、前記ＲＧＢカメラと前記少なくとも一つのＮＩＲカメラが電子機器のディスプレイの高透過領域の下に設置されている取得モジュール、
前記第１の画像信号と前記第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得するための第１の処理モジュール、
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得るための第２の処理モジュール、
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得るための第３の処理モジュール、を含む画像処理装置を提供する。
ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得するための取得モジュールであって、前記ＲＧＢカメラと前記少なくとも一つのＮＩＲカメラが電子機器のディスプレイの高透過領域の下に設置されている取得モジュール、
前記第１の画像信号と前記第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得するための第１の処理モジュール、
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得るための第２の処理モジュール、
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得るための第３の処理モジュール、を含む画像処理装置を提供する。
【0010】
第三の面では、本発明の実施例は、
プロセッサと、メモリと、前記メモリに記憶されて前記プロセッサで動作可能なプログラムまたはコマンドとを含み、
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、第一の面に記載の画像処理方法のステップが実現される、電子機器を提供する。
プロセッサと、メモリと、前記メモリに記憶されて前記プロセッサで動作可能なプログラムまたはコマンドとを含み、
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、第一の面に記載の画像処理方法のステップが実現される、電子機器を提供する。
【0011】
第四の面では、本発明の実施例は、
プログラムまたはコマンドが記憶されており、
前記プログラムまたはコマンドがプロセッサにより実行されたときに、第一の面に記載の画像処理方法のステップが実現される、読み取り可能記憶媒体を提供する。
プログラムまたはコマンドが記憶されており、
前記プログラムまたはコマンドがプロセッサにより実行されたときに、第一の面に記載の画像処理方法のステップが実現される、読み取り可能記憶媒体を提供する。
【0012】
従来技術と比べて、本発明の実施例が提供する画像処理方法、装置、電子機器および読み取り可能記憶媒体は、電子機器のディスプレイの下に設置されたカメラがＲＧＢカメラとＮＩＲカメラとを組み合わせたものである場合において、各カメラのフレア、ゴーストの差異を利用して、これらのカメラから出力される画像信号の間の差分信号を取得し、フレアおよび／またはゴースト情報を取得して、元の画像からフレアおよび／またはゴースト情報を除去することで、効率的にフレアおよびゴーストによる影響を無くし、撮影の画質を高めた。
【図面の簡単な説明】
【0013】
【図1】本発明の実施例に係る画像処理方法の概略流れ図である。
【図2】本発明の実施例に係る電子機器のディスプレイの下に二つのカメラを配置したアンダースクリーンカメラ装置の概略構成図である。
【図3】本発明の別の実施例に係る画像処理方法の概略流れ図である。
【図4】本発明の別の実施例に係る電子機器のディスプレイの下に三つのカメラを配置したアンダースクリーンカメラ装置の概略構成図である。
【図5】本発明のまた別の実施例に係る画像処理方法の概略流れ図である。
【図6】本発明のさらに別の実施例に係る画像処理方法の概略流れ図である。
【図7】本発明の実施例に係る画像処理装置の概略ブロック図である。
【図8】本発明の実施例に係る電子機器の概略構成図である。
【発明を実施するための形態】
【0014】
以下は、本出願の実施例に係る図面に合せて、本出願の実施例に係る技術案を明確且つ完全に記述し、記述されている実施例が本出願の実施例の一部であり、全てではないことは明らかである。本出願に係る実施例に基づいて、当業者が創造的な労働を払わない前提で得られた他の実施例の全てはいずれも、本出願の保護する範囲に属する。
【0015】
本出願の明細書および特許請求の範囲における「第１」、「第２」などの用語は、類似のオブジェクトを区別するために用いられるものであり、特定の順序または前後順序を記述するためのものではない。このように用いられるデータは、本出願の実施例がここで図示または記述されているこれらの順序以外の順序で実施され得るように、適切な場合において互いに置き換え可能であり、そして、「第１」、「第２」などで区別されるオブジェクトは、通常同類のものであり、オブジェクトの数を限定するものではなく、例えば、第１のオブジェクトは、一つでもよく、複数でもよいと理解されるべきだ。また、明細書および請求項における「及び/又は」は、接続されるオブジェクトのうちの少なくとも一つを表しており、「／」という記号は、一般的に、前後の関連オブジェクトが「または」の関係にあることを表している。
【0016】
本発明の関連技術案の理解のために、以下は、本発明に係る関連の概念を説明する。
フレア：強い光がレンズを通るときに、一部の光がレンズのうちの各レンズに反射されて戻され、このような内部の反射により幻影が形成され、最終に写真に反映されると、フレアとなり、画像のぼけを引き起こす。
ゴースト：強い光のレンズ内での繰り返し反射によるものであって、通常、光源と対称に現れる。
フレア：強い光がレンズを通るときに、一部の光がレンズのうちの各レンズに反射されて戻され、このような内部の反射により幻影が形成され、最終に写真に反映されると、フレアとなり、画像のぼけを引き起こす。
ゴースト：強い光のレンズ内での繰り返し反射によるものであって、通常、光源と対称に現れる。
【0017】
図１に示すように、本発明の実施例は、画像処理方法を提供し、当該方法は、具体的に以下のステップを含むことができる。
【0018】
ステップ１０１：ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得し、ＲＧＢカメラと少なくとも一つのＮＩＲカメラが電子機器のディスプレイの高透過領域の下に設置されている。
【0019】
ステップ１０１では、ＲＧＢカメラはカラーカメラとも呼ばれ、ＲＧＢカメラが撮影した画像はカラー画像である。Ｒは赤色を、Ｇは緑色を、Ｂは青色を表している。赤色、緑色、青色の３原色を異なる割合で重ね合わせて、さまざまな色を発現させることができる。ＲＧＢカメラは、可視光を受光するためのものである。
【0020】
近赤外線（Ｎｅａｒ ＩｎｆｒａＲｅｄ（ＮＩＲ））のカメラは、近赤外光を受光するためのものである。近赤外光は、可視光と中赤外光との間に介在する電磁波であって、人間の目では視認できない。ＮＩＲカメラは、近赤外光の波長範囲が必要な環境、すなわち光照射条件の悪い環境に適用される。
【0021】
ステップ１０２：第１の画像信号と第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得する。
【0022】
具体的には、第１の画像信号と第２の画像信号とを比較することにより、第１の画像信号と第２の画像信号との間の差異情報、つまり、フレア情報および／またはゴースト情報である第１の情報を取得する。
【0023】
ステップ１０１から、本発明の実施例では、可視域波長のＲＧＢカメラと近赤外域波長のＮＩＲカメラの組み合わせを用いることが分かる。それぞれのカメラの位置が異なっていることや、カメラ毎にレンズの形状、レンズ組立精度およびカメラモジュールの組立精度なども異なるため、フレアおよびゴーストの発生状態も異なっている。従って、これらのカメラから出力される画像信号に対して差分を行うことにより、フレアおよびゴーストに特有な差分信号を得て、第１の画像信号と第２の画像信号との間の差異情報を得ることができる。
【0024】
ステップ１０３：第１の画像信号から第１の情報を除去して、処理後の第１の画像信号を得る。
【0025】
ステップ１０４：処理後の第１の画像信号と第２の画像信号に対して画像融合処理を行い、融合画像を得る。
【0026】
本実施例では、フレアおよび／またはゴーストを除去した処理の後の第１の画像信号と第２の画像信号に対して画像融合処理を行うことで、暗部での感度を向上してノイズを低減すると同時に、輝度解像度を向上させたカラー画像、すなわち融合画像を合成して出力し、画質を高める目的を達成することができる。
【0027】
本発明の一実施例では、上述したステップ１０２は、以下のステップを含むことができる。
【0028】
ステップ１０２１：第１の画像信号に対してＹＵＶ変換を行い、Ｙ信号とＵＶ信号を取得し、Ｙが輝度を表しており、ＵＶが色差を表している。
【0029】
具体的には、第１の画像信号に対してＲＧＢからＹＵＶの変換を行い、Ｙ信号とＵＶ信号に分離する。
【0030】
ステップ１０２２：Ｙ信号と第２の画像信号とに基づいて、第１の画像信号と第２の画像信号との間の差異を示す差分信号を取得する。
【0031】
具体的には、Ｙ信号と第２の画像信号とを比較することにより、差分信号を取得する。
【0032】
一つの選択的な実施形態では、上述したステップ１０２２は、具体的に以下のことを含むことがある。
【0033】
Ｓ１）Ｙ信号と各ＮＩＲカメラから出力される第２の画像信号とをそれぞれに比較して、Ｎ個の差分信号を取得し、Ｎの値がＮＩＲカメラの数と等しい。
【0034】
本実施形態は、ＮＩＲカメラが一つまたは複数である場合に適用されるものである。
【0035】
具体的には、ＮＩＲカメラが一つである場合に、Ｙ信号と当該ＮＩＲカメラから出力される第２の画像信号とを比較して、一つの差分信号を取得する。
【0036】
ＮＩＲカメラが複数である場合に、Ｙ信号と各ＮＩＲカメラから出力される第２の画像信号とをそれぞれに比較して、複数の差分信号を取得する。
【0037】
別の選択的な実施形態では、ステップ１０２２は、具体的に以下のことを含むことができる。
【0038】
Ｓ１１）ＮＩＲカメラの数が１よりも大きい場合、各ＮＩＲカメラから出力される第２の画像信号に対して画像融合処理を行い、融合後の第２の画像信号を取得する。
【0039】
各ＮＩＲカメラは画角、光軸および視差において差異があり、これらの差異を検知して補正を行う以外、超解像処理を運用することにより、画像の解像度をより効果的に向上させることができ、このように、融合した後の第２の画像信号には各ＮＩＲカメラで発生したフレア情報および／またはゴースト情報が合成される。
【0040】
Ｓ１２）Ｙ信号と融合後の第２の画像信号とを比較して、差分信号を取得する。
【0041】
ステップ１０２３：差分信号に基づいて、第１の情報を得る。
【0042】
本発明の一実施例では、上述したステップ１０２３は、以下のことを含むことができる。
【0043】
Ｓ２１）差分信号に対して較正を行い、較正後の差分信号を取得する。
【0044】
Ｓ２２）較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、第１の情報を取得する。
【0045】
当該実施例では、ＲＧＢカメラおよびＮＩＲカメラは画角、光軸および視差において差異があり、これらの差異を検知して補正を行う以外、コントラスト推定およびフレアマスクのアルゴリズム処理などを行う必要もあり、これにより、各カメラでのフレアおよび／またはゴーストの異なる状態を正確に検知することができ、第１の情報、すなわちフレア情報および／またはゴースト情報だけを抽出することができる。
【0046】
本発明の一実施例では、上述したステップ１０３は、以下のステップを含むことができる。
【0047】
ステップ１０３１：Ｙ信号から第１の情報を除去して、処理後のＹ信号を得る。
【0048】
ステップ１０３２：第１の情報と処理後のＹ信号とに基づいて、ＵＶ信号を補正し、補正後のＵＶ信号を得る。
【0049】
ＲＧＢカメラから出力されるＵＶ信号もＹ信号に重畳したフレア情報および／またはゴースト情報の影響を受けているため、得られた第１の情報、すなわちフレア情報および／またはゴースト情報と、第１の情報が除去されたＹ信号、すなわち処理後の信号とを用いて、ＵＶ信号を補正する必要がある。
【0050】
相応に、上述したステップ１０４は、以下のステップを含むことができる。
【0051】
ステップ１０４１：処理後のＹ信号と、補正後のＵＶ信号と、第２の画像信号とを画像融合処理し、融合画像を得る。
【0052】
上述した一連の処理により、フレアおよび／またはゴーストとそれ以外の画像とを分離することができ、これらの情報を用いてフレアおよび／またはゴーストを効率的に除去することができる。特に夜景において大きな問題となるネオンライトおよびＬＥＤライトによるフレアおよび／またはゴーストはＮＩＲカメラでは検知できないため、効率的に除去することができる。
【0053】
以下は、３つの例示により、本発明に係る画像処理方法の具体的な実施プロセスをそれぞれに説明する。
【0054】
例示一
図２には、電子機器のディスプレイの下に二つのカメラを配置したアンダースクリーンカメラ装置の実施態様は示されている。
図２には、電子機器のディスプレイの下に二つのカメラを配置したアンダースクリーンカメラ装置の実施態様は示されている。
【0055】
カメラ１はＲＧＢカメラであり、カメラ２はＮＩＲカメラである。カメラ１およびカメラ２は、ディスプレイの高透過領域の下に設置されており、ディスプレイの高透過領域を透過した光を受光して撮像する。
【0056】
図３には、二つのアンダースクリーンカメラからの出力画像を用いたフレア／ゴースト除去および画像融合処理の概略流れ図は示されている。
【0057】
ａ１）カメラ１の出力信号は、ＲＧＢからＹＵＶへの変換を行った後にＹ信号とＵＶ信号に分離する。
【0058】
ａ２）カメラ２の出力信号（近赤外光信号）とカメラ１のＹ信号とを比較して差分を形成する。
【0059】
ただし、この時、カメラ１、カメラ２は画角、光軸、視差などにおいて差異があるため、これらを検知して補正を行うと共に、コントラスト推定、フレアマスクのアルゴリズム処理などの設定を行うことで、カメラ１でのフレアの発生状態とカメラ２でのフレア／ゴーストの発生状態の差を正確に検知することができ、フレア／ゴースト情報だけを抽出することが可能である。
【0060】
ａ３）得られたフレア／ゴースト情報を用いて、カメラ１から出力されたＹ信号からフレア／ゴースト情報のみを除去する。
【0061】
ａ４）得られたフレア／ゴースト情報と、フレア／ゴースト情報が除去されたＹ信号とを用いて、ＵＶ信号を補正する。
【0062】
このステップを実行するのは、カメラ１から出力されたＵＶ信号もＹ信号に重畳したフレア／ゴースト情報の影響を受けるからである。
【0063】
これらの一連の処理により、フレア／ゴーストとそれ以外の画像とを分離することができ、これらの情報を用いてフレア／ゴーストを効率的に除去することができる。夜景撮影において大きな問題となるネオンライトおよびＬＥＤライトなどによるフレア／ゴーストはＮＩＲカメラでは検知できないため、これらの一連の処理により、ネオンライトおよびＬＥＤライトによるフレア／ゴーストは効率的に無くされ得る。
【0064】
ａ５）フレア／ゴースト除去後に、カメラ１から出力されたＹ信号、ＵＶ信号とカメラ２から出力された近赤外光信号とを用いて画像融合処理を行った後に、カラー融合画像を出力する。
【0065】
カメラ１から出力されたＹ信号、ＵＶ信号とカメラ２から出力された近赤外光信号とを用いて画像融合処理を行うことにより、暗部での感度を向上してノイズを低減し、輝度解像度を向上させたカラー融合画像を合成して出力することができる。
【0066】
例示二
図４には、電子機器のディスプレイの下に三つのカメラを配置したアンダースクリーンカメラ装置の実施態様が示されている。
図４には、電子機器のディスプレイの下に三つのカメラを配置したアンダースクリーンカメラ装置の実施態様が示されている。
【0067】
カメラ１はＲＧＢカメラであり、カメラ２およびカメラ３はＮＩＲカメラである。カメラ１、カメラ２およびカメラ３は、ディスプレイの高透過領域の下に設置されており、ディスプレイの高透過領域を透過した光を受光して撮像する。
【0068】
例示一では、ＲＧＢカメラとＮＩＲカメラの解像度および光学特性には差異があるため、視差の検出精度に課題がある。本例示では、例示一と比べて、特に暗部での検出精度の高いＮＩＲカメラを二つ用い、ＮＩＲカメラ間で正確な視差情報を取得できるため、デプスマップの正確性を向上させて、顔認識の正確性を向上させる。
【0069】
図５には、三つのアンダースクリーンカメラからの出力画像を用いたフレア／ゴースト除去および画像融合処理の概略流れ図は示されている。
【0070】
ｂ１）カメラ１の出力信号は、ＲＧＢからＹＵＶへの変換を行った後にＹ信号とＵＶ信号に分離する。
【0071】
ｂ２）カメラ２とカメラ３の近赤外光信号を画像融合し、合成された近赤外光信号を得る。
【0072】
ただし、この時、カメラ２とカメラ３は画角、光軸、視差において差異があるため、これらの差異を検知して補正を行う以外、超解像処理を運用することにより、画像の解像度をより効果的に向上させる。このように合成した近赤外光信号にはカメラ２とカメラ３で発生したフレア／ゴースト情報が合成される。
【0073】
ｂ３）合成された近赤外光信号とカメラ１のＹ信号とを比較して、差分を形成する。
【0074】
この時、近赤外画像とカメラ１から出力される画像は画角、光軸、視差において差異があるため、これらの差異を検知して補正を行う以外、コントラスト推定、フレアマスクのアルゴリズム処理などの設定も経ることで、カメラ１とカメラ２およびカメラ３でのフレア／ゴーストの異なる状態を正確に検知することができ、フレア／ゴースト情報だけを抽出することができる。
【0075】
ｂ４）得られたフレア／ゴースト情報を用いて、カメラ１から出力されたＹ信号からフレア／ゴースト情報のみを除去する。
【0076】
ｂ５）得られたフレア／ゴースト情報と、フレア／ゴースト情報が除去されたＹ信号とを用いて、ＵＶ信号を補正する。
【0077】
このステップを実行するのは、カメラ１から出力されたＵＶ信号もＹ信号に重畳したフレア／ゴースト情報の影響を受けるからである。
【0078】
これらの一連の処理により、フレア／ゴーストとそれ以外の画像とを分離することができ、これらの情報を用いてフレア／ゴーストを効率的に除去することができる。特に夜景において大きな問題となるネオンライトおよびＬＥＤライトによるフレア／ゴーストはＮＩＲカメラでは検知できないため、これらの一連の処理により、効率的に除去することができる。
【0079】
ｂ６）フレア／ゴースト除去後に、カメラ１から出力されたＹ信号、ＵＶ信号とカメラ２、カメラ３から合成された近赤外光信号とを用いて画像融合処理を行った後に、カラー融合画像を出力する。
【0080】
カメラ１から出力されたＹ信号、ＵＶ信号とカメラ２、カメラ３から合成された近赤外光信号とを用いて画像融合処理を行うことにより、暗部での感度を向上してノイズを低減すると同時に、輝度解像度を向上させたカラー融合画像を合成して出力することができる。
【0081】
【0082】
ｃ１）カメラ１の出力信号は、ＲＧＢからＹＵＶへの変換を行った後にＹ信号とＵＶ信号に分離する。
【0083】
ｃ２）カメラ２の出力信号（近赤外光信号）とカメラ１のＹ信号とを比較して差分を形成する。
【0084】
ただし、この時、近赤外画像とカメラ１から出力される画像は画角、光軸、視差において差異があるため、これらの差異を検知して補正を行う以外、コントラスト推定、フレアマスクのアルゴリズム処理などの設定も経ることで、カメラ１とカメラ２でのフレア／ゴーストの異なる状態を正確に検知することができ、フレア／ゴースト情報だけを抽出することができる。
【0085】
ｃ３）カメラ３の出力信号（近赤外光信号）とカメラ１のＹ信号とを比較して差分を形成する。
【0086】
ただし、この時、近赤外画像とカメラ１から出力される画像は画角、光軸、視差において差異があるため、これらの差異を検知して補正を行う以外、コントラスト推定、フレアマスクのアルゴリズム処理などの設定も経ることで、カメラ１とカメラ３でのフレア／ゴーストの異なる状態を正確に検知することができ、フレア／ゴースト情報だけを抽出することができる。
【0087】
ｃ４）得られたフレア／ゴースト情報を用いて、カメラ１から出力されたＹ信号からフレア／ゴースト情報のみを除去する。
【0088】
ｃ５）得られたフレア／ゴースト情報と、フレア／ゴースト情報が除去されたＹ信号とを用いて、ＵＶ信号を補正する。
【0089】
このステップを実行するのは、カメラ１から出力されたＵＶ信号もＹ信号に重畳したフレア／ゴースト情報の影響を受けるからである。
【0090】
これらの一連の処理により、フレア／ゴーストとそれ以外の画像とを分離することができ、これらの情報を用いてフレア／ゴーストを効率的に除去することができる。夜景撮影において大きな問題となるネオンライトおよびＬＥＤライトなどによるフレア／ゴーストはＮＩＲカメラでは検知できないため、これらの一連の処理により、ネオンライトおよびＬＥＤライトによるフレア／ゴーストは効率的に無くされ得る。
【0091】
ｃ６）フレア／ゴースト除去後に、カメラ１から出力されたＹ信号、ＵＶ信号と、カメラ２から出力された近赤外光信号およびカメラ３から出力された近赤外光信号とを用いて、画像融合処理を行った後に、カラー融合画像を出力する。
【0092】
カメラ１から出力されたＹ信号、ＵＶ信号と、カメラ２から出力された近赤外光信号と、カメラ３から出力された近赤外光信号とを用いて、画像融合処理を行うことにより、暗部での感度を向上してノイズを低減し、輝度解像度を向上させたカラー融合画像を合成して出力することができる。
【0093】
図７に示すように、本発明の実施例は、画像処理装置をさらに提供し、当該画像処理装置は、具体的に、
ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得するための取得モジュール７０１であって、ＲＧＢカメラと少なくとも一つのＮＩＲカメラが電子機器のディスプレイの高透過領域の下に設置されている取得モジュール７０１、
第１の画像信号と第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得するための第１の処理モジュール７０２、
第１の画像信号から第１の情報を除去して、処理後の第１の画像信号を得るための第２の処理モジュール７０３、
処理後の第１の画像信号と第２の画像信号に対して画像融合処理を行い、融合画像を得るための第３の処理モジュール７０４、を含むことができる。
ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得するための取得モジュール７０１であって、ＲＧＢカメラと少なくとも一つのＮＩＲカメラが電子機器のディスプレイの高透過領域の下に設置されている取得モジュール７０１、
第１の画像信号と第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得するための第１の処理モジュール７０２、
第１の画像信号から第１の情報を除去して、処理後の第１の画像信号を得るための第２の処理モジュール７０３、
処理後の第１の画像信号と第２の画像信号に対して画像融合処理を行い、融合画像を得るための第３の処理モジュール７０４、を含むことができる。
【0094】
選択的には、第１の処理モジュール７０２は、
第１の画像信号に対してＹＵＶ変換を行い、Ｙ信号とＵＶ信号を取得するための第１処理手段であって、Ｙが輝度を表しており、ＵＶが色差を表している第１処理手段、
Ｙ信号と第２の画像信号とに基づいて、第１の画像信号と第２の画像信号との間の差異を示す差分信号を取得するための第２処理手段、
差分信号に基づいて、第１の情報を得るための第３処理手段、を含む。
第１の画像信号に対してＹＵＶ変換を行い、Ｙ信号とＵＶ信号を取得するための第１処理手段であって、Ｙが輝度を表しており、ＵＶが色差を表している第１処理手段、
Ｙ信号と第２の画像信号とに基づいて、第１の画像信号と第２の画像信号との間の差異を示す差分信号を取得するための第２処理手段、
差分信号に基づいて、第１の情報を得るための第３処理手段、を含む。
【0095】
選択的には、第２処理手段は、具体的に、Ｙ信号と各ＮＩＲカメラから出力される第２の画像信号とをそれぞれに比較して、Ｎ個の差分信号を取得するためのものであり、Ｎの値がＮＩＲカメラの数と等しい。
【0096】
選択的には、第２処理手段は、具体的に、
ＮＩＲカメラの数が１よりも大きい場合、各ＮＩＲカメラから出力される第２の画像信号に対して画像融合処理を行い、融合後の第２の画像信号を取得し、
Ｙ信号と融合後の第２の画像信号とを比較して、差分信号を取得するためのものである。
ＮＩＲカメラの数が１よりも大きい場合、各ＮＩＲカメラから出力される第２の画像信号に対して画像融合処理を行い、融合後の第２の画像信号を取得し、
Ｙ信号と融合後の第２の画像信号とを比較して、差分信号を取得するためのものである。
【0097】
選択的には、第３処理手段は、具体的に、
差分信号に対して較正を行い、較正後の差分信号を取得し、
較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、第１の情報を取得するためのものである。
差分信号に対して較正を行い、較正後の差分信号を取得し、
較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、第１の情報を取得するためのものである。
【0098】
選択的には、第２の処理モジュール７０３は、
Ｙ信号から第１の情報を除去して、処理後のＹ信号を得るための第４処理手段、
第１の情報と処理後のＹ信号とに基づいて、ＵＶ信号を補正し、補正後のＵＶ信号を得るための第５処理手段、を含む。
Ｙ信号から第１の情報を除去して、処理後のＹ信号を得るための第４処理手段、
第１の情報と処理後のＹ信号とに基づいて、ＵＶ信号を補正し、補正後のＵＶ信号を得るための第５処理手段、を含む。
【0099】
選択的には、第３の処理モジュール７０４は、
処理後のＹ信号と、補正後のＵＶ信号と、第２の画像信号とを画像融合処理し、融合画像を得るための第６処理手段、を含む。
処理後のＹ信号と、補正後のＵＶ信号と、第２の画像信号とを画像融合処理し、融合画像を得るための第６処理手段、を含む。
【0100】
本発明の実施例に係る画像処理装置が持つメリットは、画像処理方法の実施例が持つメリットと同じであり、ここで再度述べない。
【0101】
図８に示すように、本発明の実施例は、電子機器８００をさらに提供する。電子機器８００は、プロセッサ８０１と、メモリ８０２と、前記メモリ８０２に記憶されて前記プロセッサ８０１で動作可能なプログラムまたはコマンドとを含み、前記プログラムまたはコマンドが前記プロセッサ８０１により実行されたときに、上述した画像処理方法の実施例における各プロセスが実現され、かつ、同様な技術的効果が達成され得る。重複を避けるために、ここで再度述べない。
【0102】
なお、本願の実施例における電子機器としては、携帯型の電子機器と非携帯型の電子機器とが含まれる。
【0103】
さらに、本発明の実施例は、読み取り可能記憶媒体をさらに提供する。前記読み取り可能記憶媒体には、プログラムまたはコマンドが記憶されており、前記プログラムまたはコマンドがプロセッサにより実行されたときに、上述した画像処理方法の実施例における各プロセスが実現され、かつ、同様な技術的効果が達成され得る。重複を避けるために、ここで再度述べない。
【0104】
以上、図面に合せて、本発明に係る実施例について記述したが、本発明は上述した具体的な実施形態に限られず、上述した具体的な実施形態は例示的なものだけであり、限定的なものではない。当業者は、本発明による啓示のもとで、本発明の主旨および請求項で保護する範囲を逸脱しない場合、さまざまな形態をさらになさることができ、それらはいずれも本発明の保護に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2023-10-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得すること、
前記第１の画像信号と前記第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得すること、
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得ること、
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得ること、を含み、
前記ＲＧＢカメラと前記少なくとも一つのＮＩＲカメラは、電子機器のディスプレイの高透過領域の下に設置されており、
前記第１の画像信号と前記第２の画像信号とに基づいて、第１の情報を取得することは、
前記第１の画像信号に対してＹＵＶ変換を行い、Ｙ信号とＵＶ信号を取得し、Ｙが輝度を表しており、ＵＶが色差を表していること、
前記Ｙ信号と前記第２の画像信号とに基づいて、前記第１の画像信号と前記第２の画像信号との間の差異を示す差分信号を取得すること、
前記差分信号に基づいて、前記第１の情報を得ること、を含む
ことを特徴とする画像処理方法。
前記第１の画像信号と前記第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得すること、
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得ること、
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得ること、を含み、
前記ＲＧＢカメラと前記少なくとも一つのＮＩＲカメラは、電子機器のディスプレイの高透過領域の下に設置されており、
前記第１の画像信号と前記第２の画像信号とに基づいて、第１の情報を取得することは、
前記第１の画像信号に対してＹＵＶ変換を行い、Ｙ信号とＵＶ信号を取得し、Ｙが輝度を表しており、ＵＶが色差を表していること、
前記Ｙ信号と前記第２の画像信号とに基づいて、前記第１の画像信号と前記第２の画像信号との間の差異を示す差分信号を取得すること、
前記差分信号に基づいて、前記第１の情報を得ること、を含む
ことを特徴とする画像処理方法。
【請求項2】
前記Ｙ信号と前記第２の画像信号とに基づいて、差分信号を取得することは、
前記Ｙ信号と各前記ＮＩＲカメラから出力される第２の画像信号とをそれぞれに比較して、Ｎ個の差分信号を取得すること、を含み、
Ｎの値が前記ＮＩＲカメラの数と等しい
ことを特徴とする請求項１に記載の画像処理方法。
前記Ｙ信号と各前記ＮＩＲカメラから出力される第２の画像信号とをそれぞれに比較して、Ｎ個の差分信号を取得すること、を含み、
Ｎの値が前記ＮＩＲカメラの数と等しい
ことを特徴とする請求項１に記載の画像処理方法。
【請求項3】
前記Ｙ信号と前記第２の画像信号とに基づいて、差分信号を取得することは、
前記ＮＩＲカメラの数が１よりも大きい場合、各前記ＮＩＲカメラから出力される第２の画像信号に対して画像融合処理を行い、融合後の第２の画像信号を取得すること
前記Ｙ信号と前記融合後の第２の画像信号とを比較して、差分信号を取得すること、を含む
ことを特徴とする請求項１に記載の画像処理方法。
前記ＮＩＲカメラの数が１よりも大きい場合、各前記ＮＩＲカメラから出力される第２の画像信号に対して画像融合処理を行い、融合後の第２の画像信号を取得すること
前記Ｙ信号と前記融合後の第２の画像信号とを比較して、差分信号を取得すること、を含む
ことを特徴とする請求項１に記載の画像処理方法。
【請求項4】
前記差分信号に基づいて、前記第１の情報を得ることは、
前記差分信号に対して較正を行い、較正後の差分信号を取得すること、
前記較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、前記第１の情報を取得すること、を含む
ことを特徴とする請求項１に記載の画像処理方法。
前記差分信号に対して較正を行い、較正後の差分信号を取得すること、
前記較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、前記第１の情報を取得すること、を含む
ことを特徴とする請求項１に記載の画像処理方法。
【請求項5】
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得ることは、
前記Ｙ信号から前記第１の情報を除去して、処理後のＹ信号を得ること、
前記第１の情報と前記処理後のＹ信号とに基づいて、前記ＵＶ信号を補正し、補正後のＵＶ信号を得ること、を含む
ことを特徴とする請求項１に記載の画像処理方法。
前記Ｙ信号から前記第１の情報を除去して、処理後のＹ信号を得ること、
前記第１の情報と前記処理後のＹ信号とに基づいて、前記ＵＶ信号を補正し、補正後のＵＶ信号を得ること、を含む
ことを特徴とする請求項１に記載の画像処理方法。
【請求項6】
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得ることは、
前記処理後のＹ信号と、前記補正後のＵＶ信号と、前記第２の画像信号とを画像融合処理し、融合画像を得ること、を含む
ことを特徴とする請求項５に記載の画像処理方法。
前記処理後のＹ信号と、前記補正後のＵＶ信号と、前記第２の画像信号とを画像融合処理し、融合画像を得ること、を含む
ことを特徴とする請求項５に記載の画像処理方法。
【請求項7】
ＲＧＢカメラから出力された第１の画像信号と、少なくとも一つのＮＩＲカメラから出力された第２の画像信号とを取得するための取得モジュールであって、前記ＲＧＢカメラと前記少なくとも一つのＮＩＲカメラが電子機器のディスプレイの高透過領域の下に設置されている取得モジュール、
前記第１の画像信号と前記第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得するための第１の処理モジュール、
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得るための第２の処理モジュール、
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得るための第３の処理モジュール、を含み、
前記第１の処理モジュールは、
前記第１の画像信号に対してＹＵＶ変換を行い、Ｙ信号とＵＶ信号を取得するための第１処理手段であって、Ｙが輝度を表しており、ＵＶが色差を表している第１処理手段、
前記Ｙ信号と前記第２の画像信号とに基づいて、前記第１の画像信号と前記第２の画像信号との間の差異を示す差分信号を取得するための第２処理手段、
前記差分信号に基づいて、前記第１の情報を得るための第３処理手段、を含む
ことを特徴とする画像処理装置。
前記第１の画像信号と前記第２の画像信号とに基づいて、フレア情報および／またはゴースト情報である第１の情報を取得するための第１の処理モジュール、
前記第１の画像信号から前記第１の情報を除去して、処理後の第１の画像信号を得るための第２の処理モジュール、
前記処理後の第１の画像信号と前記第２の画像信号に対して画像融合処理を行い、融合画像を得るための第３の処理モジュール、を含み、
前記第１の処理モジュールは、
前記第１の画像信号に対してＹＵＶ変換を行い、Ｙ信号とＵＶ信号を取得するための第１処理手段であって、Ｙが輝度を表しており、ＵＶが色差を表している第１処理手段、
前記Ｙ信号と前記第２の画像信号とに基づいて、前記第１の画像信号と前記第２の画像信号との間の差異を示す差分信号を取得するための第２処理手段、
前記差分信号に基づいて、前記第１の情報を得るための第３処理手段、を含む
ことを特徴とする画像処理装置。
【請求項8】
前記第２処理手段は、具体的に、前記Ｙ信号と各前記ＮＩＲカメラから出力される第２の画像信号とをそれぞれに比較して、Ｎ個の差分信号を取得するためのものであり、
Ｎの値が前記ＮＩＲカメラの数と等しい
ことを特徴とする請求項７に記載の画像処理装置。
Ｎの値が前記ＮＩＲカメラの数と等しい
ことを特徴とする請求項７に記載の画像処理装置。
【請求項9】
前記第２処理手段は、具体的に、
前記ＮＩＲカメラの数が１よりも大きい場合、各前記ＮＩＲカメラから出力される第２の画像信号に対して画像融合処理を行い、融合後の第２の画像信号を取得し、
前記Ｙ信号と前記融合後の第２の画像信号とを比較して、差分信号を取得するためのものである
ことを特徴とする請求項７に記載の画像処理装置。
前記ＮＩＲカメラの数が１よりも大きい場合、各前記ＮＩＲカメラから出力される第２の画像信号に対して画像融合処理を行い、融合後の第２の画像信号を取得し、
前記Ｙ信号と前記融合後の第２の画像信号とを比較して、差分信号を取得するためのものである
ことを特徴とする請求項７に記載の画像処理装置。
【請求項10】
前記第３処理手段は、具体的に、
前記差分信号に対して較正を行い、較正後の差分信号を取得し、
前記較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、前記第１の情報を取得するためのものである
ことを特徴とする請求項７～９のいずれか１項に記載の画像処理装置。
前記差分信号に対して較正を行い、較正後の差分信号を取得し、
前記較正後の差分信号に対してコントラスト推定およびフレアマスク処理を行い、前記第１の情報を取得するためのものである
ことを特徴とする請求項７～９のいずれか１項に記載の画像処理装置。
【請求項11】
前記第２の処理モジュールは、
前記Ｙ信号から前記第１の情報を除去して、処理後のＹ信号を得るための第４処理手段、
前記第１の情報と前記処理後のＹ信号とに基づいて、前記ＵＶ信号を補正し、補正後のＵＶ信号を得るための第５処理手段、を含む
ことを特徴とする請求項７に記載の画像処理装置。
前記Ｙ信号から前記第１の情報を除去して、処理後のＹ信号を得るための第４処理手段、
前記第１の情報と前記処理後のＹ信号とに基づいて、前記ＵＶ信号を補正し、補正後のＵＶ信号を得るための第５処理手段、を含む
ことを特徴とする請求項７に記載の画像処理装置。
【請求項12】
前記第３の処理モジュールは、
前記処理後のＹ信号と、前記補正後のＵＶ信号と、前記第２の画像信号とを画像融合処理し、融合画像を得るための第６処理手段、を含む
ことを特徴とする請求項１１に記載の画像処理装置。
前記処理後のＹ信号と、前記補正後のＵＶ信号と、前記第２の画像信号とを画像融合処理し、融合画像を得るための第６処理手段、を含む
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項13】
プロセッサと、メモリと、前記メモリに記憶されて前記プロセッサで動作可能なプログラムまたはコマンドとを含み、
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、請求項１～６のいずれか１項に記載の画像処理方法のステップが実現される、
ことを特徴とする電子機器。
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、請求項１～６のいずれか１項に記載の画像処理方法のステップが実現される、
ことを特徴とする電子機器。
【請求項14】
プログラムまたはコマンドが記憶されており、
前記プログラムまたはコマンドがプロセッサにより実行されたときに、請求項１～６のいずれか１項に記載の画像処理方法のステップが実現される、
ことを特徴とする読み取り可能記憶媒体。
前記プログラムまたはコマンドがプロセッサにより実行されたときに、請求項１～６のいずれか１項に記載の画像処理方法のステップが実現される、
ことを特徴とする読み取り可能記憶媒体。