特開 2024-126253 画像処理方法及び装置、電子機器及び可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024126253

(43)【公開日】2024-09-20

(54)【発明の名称】画像処理方法及び装置、電子機器及び可読記憶媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240912BHJP

   G06T 5/73 20240101ALI20240912BHJP

   H04N 23/90 20230101ALI20240912BHJP

【ＦＩ】

H04N23/60

G06T5/00 710

H04N23/90

H04N23/60 500

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023034523

(22)【出願日】2023-03-07

(71)【出願人】

【識別番号】517372494

【氏名又は名称】維沃移動通信有限公司

【氏名又は名称原語表記】ＶＩＶＯ ＭＯＢＩＬＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ．１， ｖｉｖｏ Ｒｏａｄ， Ｃｈａｎｇ’ａｎ， Ｄｏｎｇｇｕａｎ，Ｇｕａｎｇｄｏｎｇ ５２３８６３， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100180806

【弁理士】

【氏名又は名称】三浦 剛

(74)【代理人】

【識別番号】100196601

【弁理士】

【氏名又は名称】酒井 祐市

(72)【発明者】

【氏名】近藤 克博

(72)【発明者】

【氏名】伊藤 康幸

(72)【発明者】

【氏名】萩原 泰文

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA16

5B057CB01

5B057CB08

5B057CB16

5B057CD06

5B057CE03

5B057CE06

5B057CH09

5B057DA07

5C122EA12

5C122FA08

5C122FH11

5C122FH18

5C122FK12

5C122GD11

5C122GE06

5C122HA82

5C122HB01

5C122HB06

(57)【要約】

【課題】本発明は、ディスプレイの下に設置されたアンダースクリーンカメラを有する電子機器に適用される画像処理方法及び装置、電子機器及び可読記憶媒体を提供する。
【解決手段】前記方法は、アンダースクリーンカメラが複数の異なる画角で撮影した初期画像を取得することと、複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定することと、複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得ることとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ディスプレイの下に設置されたアンダースクリーンカメラを有する電子機器に適用される画像処理方法であって、
アンダースクリーンカメラが複数の異なる画角で撮影した初期画像を取得することと、
複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定することと、
複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得ることとを含むことを特徴とする。

【請求項2】

請求項１に記載の画像処理方法であって、
前記アンダースクリーンカメラが複数の異なる画角で撮影した初期画像を取得することは、
前記アンダースクリーンカメラが第１の方向に沿って複数の異なる位置に移動したときにそれぞれ撮影された初期画像を取得することを含み、
又は、
前記アンダースクリーンカメラが前記第１の方向に沿って複数の異なる位置に移動したときに、最高コントラストでそれぞれ撮影された初期画像を取得することを含み、
又は、
前記アンダースクリーンカメラが第１の方向及び第２の方向に沿って複数の異なる位置に移動したときにそれぞれ撮影された初期画像を取得することを含み、
又は、
前記アンダースクリーンカメラが第１の方向及び第２の方向に沿って複数の異なる位置に移動したときに、最高コントラストでそれぞれ撮影された初期画像を取得することを含むことを特徴とする。

【請求項3】

請求項２に記載の画像処理方法であって、
前記第１の方向と前記第２の方向は、前記ディスプレイと平行な異なる方向であることを特徴とする。

【請求項4】

請求項２に記載の画像処理方法であって、
前記アンダースクリーンカメラが複数の異なる位置に移動したことは、
前記アンダースクリーンカメラが固定移動量で複数の異なる位置にそれぞれ移動したことを含み、
又は、
前記アンダースクリーンカメラが、コントラストによって決定された移動量で複数の異なる位置にそれぞれ移動したことを含むことを特徴とする。

【請求項5】

請求項１に記載の画像処理方法であって、
前記複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定する前に、
前記初期画像毎の特徴点情報及び異なる初期画像間の移動量情報に基づいて、複数の前記初期画像を位置合わせ処理することと、
位置合わせ処理後の複数の前記初期画像に基づいて、複数の前記初期画像間の差分情報を決定することとを含み、
ここで、前記移動量情報は、異なる初期画像を撮影する際の前記アンダースクリーンカメラの移動量情報であることを特徴とする。

【請求項6】

請求項１に記載の画像処理方法であって、
前記複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定することは、
前記複数の前記初期画像間の差分情報及びフィルター係数に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定することを含み、
ここで、前記フィルター係数は、前記アンダースクリーンカメラの露光情報に関連付けられた差分レベルに基づいて決定されることを特徴とする。

【請求項7】

請求項１に記載の画像処理方法であって、
前記複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得ることは、
前記第１の画像情報に対応する目標画像領域に基づいて、複数の前記初期画像に前記目標画像領域に対応して回折現象の影響が発生していない第２の画像情報を決定することと、
前記第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、前記目標画像を得ることとを含むことを特徴とする。

【請求項8】

ディスプレイの下に設置されたアンダースクリーンカメラを有する電子機器に適用される画像処理装置であって、
アンダースクリーンカメラが複数の異なる画角で撮影した初期画像を取得するための取得モジュールと、
複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定するための第１の処理モジュールと、
複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得るための第２の処理モジュールとを含むことを特徴とする。

【請求項9】

電子機器であって、
プロセッサと、メモリと、前記メモリに格納されて前記プロセッサで実行可能なプログラム又は命令を含み、
前記プログラム又は命令は、前記プロセッサによって実行されると、請求項１～７のいずれか一項に記載の画像処理方法のステップを実現させることを特徴とする。

【請求項10】

可読記憶媒体であって、
前記可読記憶媒体には、プログラム又は命令が格納されており、
前記プログラム又は命令は、プロセッサによって実行されると、請求項１～７のいずれか一項に記載の画像処理方法のステップを実現させることを特徴とする。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理の技術分野に係り、特に画像処理方法及び装置、電子機器及び可読記憶媒体に係る。

【背景技術】

【0002】

スマートフォーンなどの電子機器のカメラには、主たる撮影用のためにディスプレイの裏側に設置されるリアカメラと、主に自撮り用にディスプレイと同じ側に設置されるフロントカメラがある。フロントカメラは、ディスプレイと同じ側に設置されるため、フロントカメラの設置場所は、ディスプレイを避ける必要があり、そのため電子機器の全面をディスプレイとするフルスクリーンデザインを実現することが難しい。電子機器のフルスクリーンデザインを実現するために、ディスプレイの外側のベゼル部分にフロントカメラを設置するベゼル型のデザインを採用することができるが、カメラの位置により、まず、操作をしにくい問題が存在する。ディスプレイの一部に穴を開けてフロントカメラを設置するノッチ型やドットドロップ型、パンチホール型のデザインなどもあるが、良好なフルスクリーンデザインを保証することもできない。また、電子機器の側壁にフロントカメラを格納しておき撮影時に飛び出させるポップアップ型のデザインでも、信頼性が劣る問題が存在する。

【0003】

電子機器のフルスクリーンデザインをより一層実現するために、フロントカメラをディスプレイの下に設置するデザインは、ますます応用される。フロントカメラ直上のディスプレイの透過率を高くして撮影に必要な光量を確保するが、ディスプレイの透過率を高くすると、ディスプレイの表示コントラストが低下して表示品質が低下することに繋がり、そして、アンダースクリーンカメラの撮影画像には、回折効果による低画像品質などの問題が存在する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の少なくとも１つの実施例は、アンダースクリーンカメラの撮影画像品質を高めることのできる画像処理方法及び装置、電子機器及び可読記憶媒体を提供する。

【課題を解決するための手段】

【0005】

上述した技術課題を解決するために、本発明は、下記のように実現される。

【0006】

第１の態様として、本発明の実施例は、ディスプレイの下に設置されたアンダースクリーンカメラを有する電子機器に適用される画像処理方法を提供する。前記方法は、アンダースクリーンカメラが複数の異なる画角で撮影した初期画像を取得することと、複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定することと、複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得ることとを含む。

【0007】

第２の態様として、本発明の実施例は、ディスプレイの下に設置されたアンダースクリーンカメラを有する電子機器に適用される画像処理装置を提供する。前記装置は、アンダースクリーンカメラが複数の異なる画角で撮影した初期画像を取得するための取得モジュールと、複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定するための第１の処理モジュールと、複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得るための第２の処理モジュールとを含む。

【0008】

第３の態様として、本発明の実施例は、プロセッサと、メモリと、前記メモリに格納されて前記プロセッサで実行可能なプログラム又は命令を含む電子機器を提供し、前記プログラム又は命令は、前記プロセッサによって実行されると、上述した第１の態様に記載の画像処理方法のステップを実現させる。

【0009】

第４の態様として、本発明の実施例は、プログラム又は命令が格納されている可読記憶媒体を提供し、前記プログラム又は命令は、プロセッサによって実行されると、上述した第１の態様に記載の画像処理方法のステップを実現させる。

【発明の効果】

【0010】

従来技術に比べ、本発明の実施例による画像処理方法及び装置、電子機器及び可読記憶媒体は、ディスプレイの下に設置されたアンダースクリーンカメラを有する電子機器の場合に、アンダースクリーンカメラが複数の異なる画角で撮影した初期画像を取得し、複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定し、複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得ることによって、アンダースクリーンカメラの撮影画像品質を保証し、回折現象による画像品質への影響を低下させるとともに、ディスプレイの透過率を高くしてアンダースクリーンカメラの撮影画像品質を高めることによってディスプレイの表示効果が低下するという問題を避けることができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施例に係る画像処理方法のフローチャートその１である。

【図2】本発明の実施例に係るディスプレイの下にアンダースクリーンカメラが設置される概略図である。

【図3】本発明の実施例に係るアンダースクリーンカメラの画角を変えるための装置の概略図その１である。

【図4】本発明の実施例に係る超音波モーターの駆動装置の概略図である。

【図5】本発明の実施例に係る超音波モーターによるアンダースクリーンカメラの移動駆動のフローチャートである。

【図6】本発明の実施例に係るステッピングモーターの駆動装置の概略図である。

【図7】本発明の実施例に係るステッピングモーターによるアンダースクリーンカメラの移動駆動のフローチャートである。

【図8】本発明の実施例に係る画像処理方法のフローチャートその２である。

【図9】本発明の実施例に係る画像処理方法のフローチャートその３である。

【図10】本発明の実施例に係る撮影領域内の異なる測定枠の概略図である。

【図11】本発明の実施例に係るコントラスト測定の概略図である。

【図12】本発明の実施例に係るアンダースクリーンカメラの画角を変えるための装置の概略図その２である。

【図13】本発明の実施例に係る画像処理方法のフローチャートその４である。

【図14】本発明の実施例に係る画像処理方法のフローチャートその５である。

【図15】本発明の実施例に係る画像処理装置のブロック図である。

【図16】本発明の実施例に係る電子機器のハードウェア構成図である。

【発明を実施するための形態】

【0012】

以下、本願実施例における添付図面を参照して、本願実施例における技術手段を明確且つ完全的に記載する。明らかに、記載される実施例は、本願の実施例の一部であり、全てではない。本願における実施例に基づき、当業者が創造性のある作業をしなくても為しえる全ての他の実施例は、いずれも本願の保護範囲に属するものである。

【0013】

本願の明細書及び特許請求の範囲における用語「第１」、「第２」などは、類似した目標を区別するためのものであり、必ずしも特定の順序又は優先順位を説明するためのものではない。このように使用されたデータは、本願の実施例がここでの図示又は説明以外の順序でも実施できるように、適宜入れ替えてもよいと理解すべきであり、なおかつ、用語「第１」、「第２」などにより区別される目標は、通常、同種なものであり、目標の数を限定しない。例えば、第１の目標は、１つでもよく、複数でもよい。なお、明細書及び特許請求の範囲における「及び／又は」は、接続目標の少なくとも１つを表す。文字「／」は、一般的に、前後の関連目標が「又は」の関係となることを示す。

【0014】

電子機器のフルスクリーンデザインをより一層実現するために、ディスプレイの下にフロントカメラを設置して、ディスプレイを通して自撮り撮影を行うアンダースクリーンカメラが提案されている。アンダースクリーンカメラの研究については、フロントカメラ直上のディスプレイの透過率を高くして撮影に必要な光量を確保すると同時に、ディスプレイ使用時のディスプレイの表示コントラストも十分に取れるようにすることができれば、コストや厚さ、信頼性などの問題もなく、フルスクリーンデザインの電子機器が実現可能となる。

【0015】

ディスプレイを通して撮影をするため、カメラを設置する部分のディスプレイの透過率を高くする必要があるが、ディスプレイの透過率を高くした場合には表示のコントラストが低下して表示品質が低下する。他の部分との均一性が損なわれるという課題があるため、ディスプレイの透過率を上げるのには限界がある。そのため、アンダースクリーンカメラのデメリットとしては、以下のような画質劣化の課題が挙げられる。（１）ディスプレイの透過光量の低下による感度低下。（２）ディスプレイのピクセルの回折効果による解像度劣化。（３）ディスプレイ構成層における光の散乱によるフレアやゴーストの発生。（４）ディスプレイ透過率の波長依存性や構成層での位相変化による色ずれやアーティファクト、偽色などの発生。（５）ディスプレイ構成層の不均一性による画像歪。

【0016】

これらの課題に対して、本願の実施例は、ディスプレイの透過率損失を避けるとともにアンダースクリーンカメラの撮影画像品質を高めるよう、画像処理方法及び装置、電子機器及び可読記憶媒体を提供する。

【0017】

図１に示すように、本発明の実施例は、ディスプレイの下に設置されたアンダースクリーンカメラを有する電子機器に適用される画像処理方法を提供する。当該方法は、具体的に以下のステップを含む。

【0018】

ステップ１１において、アンダースクリーンカメラが複数の異なる画角で撮影した初期画像を取得する。

【0019】

選択可能に、前記アンダースクリーンカメラは、前記電子機器のディスプレイの下を移動可能である。例えば、前記アンダースクリーンカメラの前記ディスプレイの下での移動方向は、１次元（ＸもしくはＹ方向）又は２次元（Ｘ，Ｙ方向）を含む。ここで、アンダースクリーンカメラは、前記ディスプレイの下で異なる位置に移動すると、その撮影画像の画角が異なる。そのため、アンダースクリーンカメラは、複数の異なる画角で撮影した初期画像を取得することができる。

【0020】

ステップ１２において、複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定する。

【0021】

選択可能に、前記差分情報は、例えば位置合わせ処理により得られた複数の前記初期画像間の差分情報のように、複数の初期画像間の相違を示す。具体的には、前記ステップ１２の前に、前記初期画像毎の特徴点情報及び異なる初期画像間の移動量情報に基づいて、複数の前記初期画像を位置合わせ処理することと、位置合わせ処理後の複数の前記初期画像に基づいて、複数の前記初期画像間の差分情報を決定することとを含む。ここで、前記移動量情報は、異なる初期画像を撮影する際の前記アンダースクリーンカメラの移動量情報である。

【0022】

選択可能に、複数の前記初期画像間の差分情報を取得した後に、更に、抽出されたフィルター係数により、回折現象の発生状態の差を検出することができ、回折現象の影響を受けた画像情報だけを抽出することができる。具体的には、前記ステップ１２は、前記複数の前記初期画像間の差分情報及びフィルター係数に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定することを含む。ここで、前記フィルター係数は、前記アンダースクリーンカメラの露光情報に関連付けられた差分レベルに基づいて決定される。例えば、前記アンダースクリーンカメラの露出情報に連動させた差分レベルにより、対応するフィルター係数が抽出される。

【0023】

ステップ１３において、複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得る。

【0024】

選択可能に、前記ステップ１３は、前記第１の画像情報に対応する目標画像領域に基づいて、複数の前記初期画像に前記目標画像領域に対応して回折現象の影響が発生していない第２の画像情報を決定することと、前記第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、前記目標画像を得ることとを含む。

【0025】

上記態様において、ディスプレイの下に設置されたアンダースクリーンカメラを有する電子機器の場合に、アンダースクリーンカメラが複数の異なる画角で撮影した初期画像を取得し、複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定し、複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得ることによって、アンダースクリーンカメラの撮影画像品質を保証し、回折現象による画像品質への影響を低下させるとともに、ディスプレイの透過率を高くしてアンダースクリーンカメラの撮影画像品質を高めることによってディスプレイの表示効果が低下するという問題を避けることができる。

【0026】

選択可能に、前記アンダースクリーンカメラが複数の異なる画角で撮影した初期画像を取得することは、 前記アンダースクリーンカメラが第１の方向に沿って複数の異なる位置に移動したときにそれぞれ撮影された初期画像を取得することを含み、又は、前記アンダースクリーンカメラが前記第１の方向に沿って複数の異なる位置に移動したときに、最高コントラストでそれぞれ撮影された初期画像を取得することを含み、又は、前記アンダースクリーンカメラが第１の方向及び第２の方向に沿って複数の異なる位置に移動したときにそれぞれ撮影された初期画像を取得することを含み、又は、前記アンダースクリーンカメラが第１の方向及び第２の方向に沿って複数の異なる位置に移動したときに、最高コントラストでそれぞれ撮影された初期画像を取得することを含む。

【0027】

ここで、前記第１の方向と前記第２の方向は、前記ディスプレイと平行な異なる方向である。例えば、前記第１の方向と前記第２の方向は、第１の方向がＸ、Ｙ方向の一方で、第２の方向がＸ、Ｙ方向の他方であるように、互いに垂直になる方向である。

【0028】

選択可能に、前記アンダースクリーンカメラが複数の異なる位置に移動したことは、前記アンダースクリーンカメラが固定移動量で複数の異なる位置にそれぞれ移動したことを含み、又は、前記アンダースクリーンカメラが、コントラストによって決定された移動量で複数の異なる位置にそれぞれ移動したことを含む。例えば、前記アンダースクリーンカメラは、異なる画角の画像を取得するよう、前記ディスプレイに平行な方向に固定移動量で移動する。ここで、前記固定移動量は、システムによって設定されたものか、ユーザが自ら定義したものであり、本願の実施例において、それらに限定されない。また、例えば、コントラスト成分を測定して、アンダースクリーンカメラの位置による回折効果の差を取得し、それにより、コントラスト成分に基づいてアンダースクリーンカメラの移動量を設定して異なる画角の画像を取得することができる。
実施例１

【0029】

本願の実施例は、電子機器がスマートフォーンであることを例にし、ディスプレイ下にフロントのアンダースクリーンカメラを設置し、受光波長の異なる複数のカメラを用いる。図２に示すように、ディスプレイ２１におけるアンダースクリーンカメラ２２より上の位置には、光の透過率を高めた高透過領域２１０が設けてある。このように、カメラは、ディスプレイの高透過領域の下に配置され、ディスプレイの高透過領域を透過した光を受光して撮像する。

【0030】

選択可能に、前記アンダースクリーンカメラは、前記ディスプレイ下の高透過領域内を移動可能である。図３は、アンダースクリーンカメラの画角を変化させるための装置を示す。アンダースクリーンカメラ２２は、ディスプレイの存在する平面空間に対して（例えば水平方向Ｘに）移動し、カメラの画角が異なる画像取得が可能である。例えば矢印Ｘ０は、画角の水平変化方向である。

【0031】

具体的には、１つの実現方式として、以下のとおりである。図４は、超音波モーターの駆動装置を示す。アンダースクリーンカメラ２２の移動方向と水平の片側に、アンダースクリーンカメラ２２の移動駆動用の超音波モーター４１を配置し、その対面にアンダースクリーンカメラ２２を支えるガイド４２及び位置（移動量）を検出させるための位置検出用磁石４３が配置される。アンダースクリーンカメラ２２の位置検出用磁石４３と同じ水平面に磁気センサー４４が配置される。図５は、超音波モーターによるアンダースクリーンカメラの移動駆動のフローチャートを示す。具体的には、磁気センサー４４により位置検出用磁石４３の磁界を検出することでフィードバック制御にて位置（移動量）を計算し、超音波モーター４１によりアンダースクリーンカメラ２２を移動駆動する。

【0032】

また別の実現方式は、以下の通りである。図６は、ステッピングモーターの駆動装置を示す。アンダースクリーンカメラ２２の移動方向と水平の片側に駆動用のステッピングモーター６１を配置し、その対面にアンダースクリーンカメラ２２を支えるガイド４２が配置される。図７は、ステッピングモーターによるアンダースクリーンカメラの移動駆動のフローチャートを示す。具体的には、ステッピングモーター６１が駆動用に発生するパルスを監視することでフィードフォワード制御にて位置を（移動量）を計算し、ステッピングモーター６１によりアンダースクリーンカメラ２２を移動駆動する。

【0033】

図８は、回折による解像度劣化発生の課題を解決するための、画角の異なる出力画像を用いた回折影響の除去及びイメージフュージョン画像処理フローを示す。

【0034】

具体的には、前記アンダースクリーンカメラが第１の方向に沿って複数の異なる位置に移動したときにそれぞれ撮影された初期画像を取得することと、複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定することと、複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得ることとを含む。

【0035】

例えば、アンダースクリーンカメラを一定量移動させ、複数の画角の異なる画像データを撮影させ、異なる画像データを撮影する移動量情報と各画像データの特徴点情報に基づいて位置合わせ処理を行う。位置合わせ後の各画像データを比較して差分情報を生成する。次に、アンダースクリーンカメラの露出情報に連動させた差分レベル抽出フィルター係数の設定を行うことで、回折現象の発生状態の差を正確に検出することができ、回折により影響を受けた画像情報だけを抽出することが可能である。次に、ここで得られた回折の影響を受けた画像情報に対して、回折影響の発生している部分を、発生していない画像データから補完し出力することにより、回折の影響が除去された画像を得ることで、アンダースクリーンカメラによる出力画像の撮影品質を高める。

【0036】

本実施例において、アンダースクリーンカメラの露光情報を加味することで、露光量による回折効果の大小に応じた回折効果の影響を適切に抽出する。回折影響の発生している部分を、発生していない画像データから補完することで、回折による影響が除去された画像を得ることができる。複数画像を重畳することにより、感度の向上が可能である。
実施例２

【0037】

本願の実施例は、電子機器がスマートフォーンであることを例にし、ディスプレイ下にフロントのアンダースクリーンカメラを設置し、受光波長の異なる複数のカメラを用いる。引き続き図２を参照し、ディスプレイ２１におけるアンダースクリーンカメラ２２より上の位置には、光の透過率を高めた高透過領域２１０が設けてある。このように、カメラは、ディスプレイの高透過領域の下に配置され、ディスプレイの高透過領域を透過した光を受光して撮像する。

【0038】

選択可能に、前記アンダースクリーンカメラは、前記ディスプレイ下の高透過領域内を移動可能である。図３は、アンダースクリーンカメラの画角を変化させるための装置を示す。アンダースクリーンカメラ２２は、ディスプレイの存在する平面空間に対して（例えば水平方向Ｘに）移動し、カメラの画角が異なる画像取得が可能である。例えば矢印Ｘ０は、画角の変化方向である。

【0039】

具体的には、１つの実現方式として、以下のとおりである。図４は、超音波モーターの駆動装置を示す。アンダースクリーンカメラ２２の移動方向と水平の片側に、アンダースクリーンカメラ２２の移動駆動用の超音波モーター４１を配置し、その対面にアンダースクリーンカメラ２２を支えるガイド４２及び位置（移動量）を検出させるための位置検出用磁石４３が配置される。アンダースクリーンカメラ２２の位置検出用磁石４３と同じ水平面に磁気センサー４４が配置される。図５は、超音波モーターによるアンダースクリーンカメラの移動駆動のフローチャートを示す。具体的には、磁気センサー４４により位置検出用磁石４３の磁界を検出することでフィードバック制御にて位置（移動量）を計算し、超音波モーター４１によりアンダースクリーンカメラ２２を移動駆動する。

【0040】

また別の実現方式は、以下の通りである。図６は、ステッピングモーターの駆動装置を示す。アンダースクリーンカメラ２２の移動方向と水平の片側に駆動用のステッピングモーター６１を配置し、その対面にアンダースクリーンカメラ２２を支えるガイド４２が配置される。図７は、ステッピングモーターによるアンダースクリーンカメラの移動駆動のフローチャートを示す。具体的には、ステッピングモーター６１が駆動用に発生するパルスを監視することでフィードフォワード制御にて位置を（移動量）を計算し、ステッピングモーター６１によりアンダースクリーンカメラ２２を移動駆動する。

【0041】

図９は、回折による解像度劣化発生の課題を解決するための、画角の異なる出力画像を用いた回折影響の除去及びイメージフュージョン画像処理フローを示す。

【0042】

具体的には、前記アンダースクリーンカメラが前記第１の方向に沿って複数の異なる位置に移動したときに、最高コントラストでそれぞれ撮影された初期画像を取得することと、複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定することと、複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得ることとを含む。

【0043】

例えば、前記アンダースクリーンカメラが前記第１の方向に沿って複数の異なる位置に移動したときに、最高コントラストでそれぞれ撮影された初期画像を取得することは、具体的に、撮像領域内の異なる任意の測定枠によるカメラ位置と回折効果の違いの測定に基づいて、合成処理に最適な画像を得ることを含む。図９を参照し、アンダースクリーンカメラ位置による回折効果の差は、コントラスト成分を測定することで得ることができる。図１０を参照し、撮像領域１０１内の異なる任意の測定枠Ａ，Ｂ，Ｃそれぞれでコントラストの最も高い位置にアンダースクリーンカメラを移動し撮影して画像を取得する。この際のコントラスト成分を測定する測定枠の位置及び数は、任意で設定可能とする。例えば、図１１に示すように、設定された複数の測定枠の位置に従ってアンダースクリーンカメラを対応する位置に移動した後に、対応する測定枠のコントラストに従ってコントラストのピーク値を測定して撮影する。

【0044】

それから、コントラスト成分から最適な画像処理用の画像を撮影した後に、複数の画角の異なる画像データは、移動量情報と各画像データの特徴点情報から位置合わせ処理を行う。位置合わせ後の各画像データを比較して差分情報を生成する。次に、アンダースクリーンカメラの露出情報に連動させた差分レベル抽出フィルター係数の設定を行うことで、回折現象の発生状態の差を正確に検出することができ、回折により影響を受けた情報だけを抽出することが可能である。更に、ここで得られた回折の影響を受けた画像情報に対して、回折影響の発生している部分を、発生していない画像データから補完し出力することにより、回折の影響が除去された画像を得ることで、アンダースクリーンカメラによる出力画像の撮影品質を高める。

【0045】

本実施例において、アンダースクリーンカメラの露光情報を加味することで、露光量による回折効果の大小に応じた回折効果の影響を適切に抽出する。回折影響の発生している部分を、発生していない画像データから補完することで、回折による影響が除去された画像を得ることができる。複数画像を重畳することにより、感度向上が可能である。コントラスト制御にて画像処理に最適な回折効果の画像の取得が可能となり、高性能な解像度劣化補正、フレア―やゴースト除去が実現できる。
実施例３

【0046】

本願の実施例は、電子機器がスマートフォーンであることを例にし、ディスプレイ下にフロントのアンダースクリーンカメラを設置し、受光波長の異なる複数のカメラを用いる。引き続き図２を参照し、ディスプレイ２１におけるアンダースクリーンカメラ２２より上の位置には、光の透過率を高めた高透過領域２１０が設けてある。このように、カメラは、ディスプレイの高透過領域の下に配置され、ディスプレイの高透過領域を透過した光を受光して撮像する。

【0047】

選択可能に、前記アンダースクリーンカメラは、前記ディスプレイ下の高透過領域内を移動可能である。図１２は、アンダースクリーンカメラの画角を変化させるための装置を示す。アンダースクリーンカメラは、ディスプレイの存在する平面空間に対して（例えば水平方向Ｘと垂直方向Ｙに）移動し、アンダースクリーンカメラの画角が異なる画像取得が可能である。例えば矢印Ｘ０は、画角の水平変化方向であり、矢印Ｙ０は、画角の垂直変化方向である。

【0048】

図１３は、回折による解像度劣化発生の課題を解決するための、画角の異なる出力画像を用いた回折影響の除去及びイメージフュージョン画像処理フローを示す。

【0049】

具体的には、前記アンダースクリーンカメラが第１の方向及び第２の方向に沿って複数の異なる位置に移動したときにそれぞれ撮影された初期画像を取得することと、複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定することと、複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得ることとを含む。

【0050】

例えば、アンダースクリーンカメラをＸ軸及びＹ軸の各々に一定量移動させ、複数の画角の異なる画像データを撮影させ、複数の画角の異なる画像データは、移動量情報と各画像の特徴点情報から位置合わせ処理を行う。位置合わせ後の各画像データを比較して差分情報を生成する。次に、アンダースクリーンカメラの露出情報に連動させた差分レベル抽出フィルター係数の設定を行うことで、回折現象の発生状態の差を正確に検出することができ、回折により影響を受けた画像情報だけを抽出することが可能である。次に、ここで得られた回折の影響を受けた画像情報に対して、回折影響の発生している部分を、発生していない画像データから補完し出力することにより、回折の影響が除去された画像を得ることで、アンダースクリーンカメラによる出力画像の撮影品質を高める。

【0051】

本実施例において、アンダースクリーンカメラの露光情報を加味することで、露光量による回折効果の大小に応じた回折効果の影響を適切に抽出する。回折影響の発生している部分を、発生していない画像データから補完することで、回折による影響が除去された画像を得ることができる。複数画像を重畳することにより、感度の向上が可能である。Ｘ軸及びＹ軸の２方向の画角に変化がある画像を取得することで、精度の高い解析現象の抽出と合成処理が可能となる。
実施例４

【0052】

本願の実施例は、電子機器がスマートフォーンであることを例にし、ディスプレイ下にフロントのアンダースクリーンカメラを設置し、受光波長の異なる複数のカメラを用いる。引き続き図２を参照し、ディスプレイ２１におけるアンダースクリーンカメラ２２より上の位置には、光の透過率を高めた高透過領域２１０が設けてある。このように、カメラは、ディスプレイの高透過領域の下に配置され、ディスプレイの高透過領域を透過した光を受光して撮像する。

【0053】

選択可能に、前記アンダースクリーンカメラは、前記ディスプレイ下の高透過領域内を移動可能である。図１２は、アンダースクリーンカメラの画角を変化させるための装置を示す。カメラは、ディスプレイの存在する平面空間に対して（例えば水平方向及び垂直方向に）移動し、カメラの画角が異なる画像取得が可能である。

【0054】

図１４は、回折による解像度劣化発生の課題を解決するための、画角の異なる出力画像を用いた回折影響の除去及びイメージフュージョン画像処理フローを示す。

【0055】

具体的には、前記アンダースクリーンカメラが第１の方向及び第２の方向に沿って複数の異なる位置に移動したときに、最高コントラストでそれぞれ撮影された初期画像を取得することと、複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定することと、複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得ることとを含む。

【0056】

例えば、前記アンダースクリーンカメラが第１の方向及び第２の方向に沿って複数の異なる位置に移動したときに、最高コントラストでそれぞれ撮影された初期画像を取得することは、具体的に、撮像領域内の異なる任意の測定枠によるカメラ位置と回折効果の違いの測定に基づいて、合成処理に最適な画像を得ることを含む。引き続き図９を参照し、アンダースクリーンカメラ位置による回折効果の差は、コントラスト成分を測定することで得ることができる。引き続き図１０を参照し、撮像領域１０１内の異なる任意の測定枠Ａ，Ｂ，Ｃそれぞれでコントラストの最も高い位置にアンダースクリーンカメラを移動し撮影して画像を取得する。この際のコントラスト成分を測定する測定枠の位置（例えば第１の方向及び第２の方向に沿って移動した異なる位置）及び数は、任意で設定可能とする。例えば、図１１に示すように、設定された複数の測定枠の位置に従ってアンダースクリーンカメラを対応する位置に移動した後に、対応する測定枠のコントラストに従ってコントラストのピーク値を測定して撮影する。

【0057】

それから、アンダースクリーンカメラをＸ軸及びＹ軸の各々に沿ってそれぞれ移動させ、コントラスト成分から最適な画像処理用の画像を撮影した後に、撮影された複数の画角の異なる画像データは、移動量情報と各画像データの特徴点情報から位置合わせ処理を行う。位置合わせ後の各画像データを比較して差分情報を生成する。次に、アンダースクリーンカメラの露出情報に連動させた差分レベル抽出フィルター係数の設定を行うことで、回折現象の発生状態の差を正確に検出することができ、回折により影響を受けた情報だけを抽出することが可能である。更に、ここで得られた回折の影響を受けた画像情報に対して、回折影響の発生している部分を、発生していない画像データから補完し出力することにより、回折の影響が除去された画像を得ることで、アンダースクリーンカメラによる出力画像の撮影品質を高める。

【0058】

本実施例において、カメラの露光情報を加味することで、露光量による回折効果の大小に応じた回折効果の影響を適切に抽出する。回折影響の発生している部分を、発生していない画像データから補完することで、回折による影響が除去された画像を得ることができる。複数画像を重畳することにより、感度向上が可能である。Ｘ軸及びＹ軸の２方向の画角に変化がある画像を取得することで、精度の高い解析現象の抽出と合成処理が可能となる。コントラスト制御にて画像処理に最適な回折効果の画像の取得が可能となり、高性能な解像度劣化補正、フレア―やゴースト除去が実現できる。

【0059】

図１５に示すように、本発明の実施例は、画像処理装置１５００を提供する。前記電子機器は、ディスプレイの下に設置されたアンダースクリーンカメラを有する。当該装置１５００は、アンダースクリーンカメラが複数の異なる画角で撮影した初期画像を取得するための取得モジュール１５１０と、複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定するための第１の処理モジュール１５２０と、複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得るための第２の処理モジュール１５３０とを含む。

【0060】

選択可能に、前記取得モジュール１５１０は、前記アンダースクリーンカメラが第１の方向に沿って複数の異なる位置に移動したときにそれぞれ撮影された初期画像を取得するための第１の取得ユニットを含み、又は、前記アンダースクリーンカメラが前記第１の方向に沿って複数の異なる位置に移動したときに、最高コントラストでそれぞれ撮影された初期画像を取得するための第２の取得ユニットを含み、又は、前記アンダースクリーンカメラが第１の方向及び第２の方向に沿って複数の異なる位置に移動したときにそれぞれ撮影された初期画像を取得するための第３の取得ユニットを含み、又は、前記アンダースクリーンカメラが第１の方向及び第２の方向に沿って複数の異なる位置に移動したときに、最高コントラストでそれぞれ撮影された初期画像を取得するための第４の取得ユニットを含む。

【0061】

選択可能に、前記第１の方向と前記第２の方向は、前記ディスプレイと平行な異なる方向である。

【0062】

選択可能に、前記アンダースクリーンカメラが複数の異なる位置に移動したことは、前記アンダースクリーンカメラが固定移動量で複数の異なる位置にそれぞれ移動したことを含み、又は、前記アンダースクリーンカメラが、コントラストによって決定された移動量で複数の異なる位置にそれぞれ移動したことを含む。

【0063】

選択可能に、前記画像処理装置１５００は、前記初期画像毎の特徴点情報及び異なる初期画像間の移動量情報に基づいて、複数の前記初期画像を位置合わせ処理するための第３の処理モジュールと、位置合わせ処理後の複数の前記初期画像に基づいて、複数の前記初期画像間の差分情報を決定するための第４の処理モジュールとを更に含み、ここで、前記移動量情報は、異なる初期画像を撮影する際の前記アンダースクリーンカメラの移動量情報である。

【0064】

選択可能に、前記第１の処理モジュール１５２０は、前記複数の前記初期画像間の差分情報及びフィルター係数に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定するための第１の処理ユニットを含み、ここで、前記フィルター係数は、前記アンダースクリーンカメラの露光情報に関連付けられた差分レベルに基づいて決定される。

【0065】

選択可能に、前記第２の処理モジュール１５３０は、前記第１の画像情報に対応する目標画像領域に基づいて、複数の前記初期画像に前記目標画像領域に対応して回折現象の影響が発生していない第２の画像情報を決定するための第２の処理ユニットと、前記第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、前記目標画像を得るための第３の処理ユニットとを含む。

【0066】

本発明の実施例に係る上記装置は、ディスプレイの下に設置されたアンダースクリーンカメラを有する電子機器の場合に、アンダースクリーンカメラが複数の異なる画角で撮影した初期画像を取得し、複数の前記初期画像間の差分情報に基づいて、複数の前記初期画像に回折現象の影響が発生している第１の画像情報を決定し、複数の前記初期画像に回折現象の影響が発生していない第２の画像情報に基づいて、前記第１の画像情報に対して補完処理を行い、目標画像を得ることによって、アンダースクリーンカメラの撮影画像品質を保証し、回折現象による画像品質への影響を低下させるとともに、ディスプレイの透過率を高くしてアンダースクリーンカメラの撮影画像品質を高めることによってディスプレイの表示効果が低下するという問題を避けることができる。

【0067】

図１６に示すように、本発明の実施例は、プロセッサ１６０１と、メモリ１６０２と、メモリ１６０２に格納されてプロセッサ１６０１で実行可能なプログラム又は命令を含む電子機器１６００を更に提供し、プログラム又は命令は、プロセッサ１６０１によって実行されると、上述した画像処理方法の実施例の各プロセスを実現させ、同じ技術効果を達成することもできるので、重複を避けるためにここでは繰り返して記載しない。

【0068】

なお、本願の実施例における電子機器は、モバイル電子機器と非モバイル電子機器を含む。

【0069】

更に、本発明の実施例は、プログラム又は命令が格納されている可読記憶媒体を提供する。前記プログラム又は命令は、プロセッサによって実行されると、上述した画像処理方法の実施例の各プロセスを実現させ、同じ技術効果を達成することもできるので、重複を避けるためにここでは繰り返して記載しない。

【0070】

以上、本発明の実施例を図面に基づいて記載したが、本発明は、上記の具体的な実施形態に限定されるものではない。上記の具体的な実施形態は、例示的なものであり、限定的なものではない。本発明の示唆を受け、当業者が本発明の趣旨及び特許請求の範囲から逸脱することなくなしえる多くの形態は、すべて本発明の保護範囲に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】