特表 2022-538947 画像処理方法及び装置、カメラアセンブリ、電子機器、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-07

(54)【発明の名称】画像処理方法及び装置、カメラアセンブリ、電子機器、記憶媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220831BHJP

   H04N 5/225 20060101ALI20220831BHJP

   G03B 15/00 20210101ALI20220831BHJP

【ＦＩ】

H04N5/232 290

H04N5/225 600

H04N5/225 800

G03B15/00 H

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2020562134

(86)(22)【出願日】2020-05-27

(85)【翻訳文提出日】2020-11-04

(86)【国際出願番号】 CN2020092507

(87)【国際公開番号】W WO2021237493

(87)【国際公開日】2021-12-02

(81)【指定国・地域】

(71)【出願人】

【識別番号】519405824

【氏名又は名称】北京小米移動軟件有限公司南京分公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＸＩＡＯＭＩ ＭＯＢＩＬＥ ＳＯＦＴＷＡＲＥ ＣＯ．， ＬＴＤ． ＮＡＮＪＩＮＧ ＢＲＡＮＣＨ

【住所又は居所原語表記】Ｒｏｏｍ １００１， １０ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ３， Ｎｏ． ８ Ｂａｉｌｏｎｇｊｉａｎｇ Ｅａｓｔ Ｓｔｒｅｅｔ， Ｊｉａｎｙｅ Ｄｉｓｔｒｉｃｔ， Ｎａｎｊｉｎｇ， Ｊｉａｎｇｓｕ ２１００１９， Ｃｈｉｎａ

(71)【出願人】

【識別番号】516180667

【氏名又は名称】北京小米移動軟件有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】Ｎｏ．０１８， Ｆｌｏｏｒ ８， Ｂｕｉｌｄｉｎｇ ６， Ｙａｒｄ ３３， Ｍｉｄｄｌｅ Ｘｉｅｒｑｉ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】徐 晶

(72)【発明者】

【氏名】劉 霖

(72)【発明者】

【氏名】朱 丹

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA16

5C122EA54

5C122FA18

5C122FB16

5C122FB17

5C122FB20

5C122FC05

5C122FD04

5C122FD05

5C122FE05

5C122FH18

5C122GG04

5C122HA88

5C122HB01

5C122HB06

5C122HB10

(57)【要約】

本開示は、画像処理方法および装置、カメラアセンブリ、電子機器、記憶媒体に関する。カメラアセンブリは、第１の波長帯域の光をセンシングして第１の画像を生成する第１のカメラモジュールと、第１の波長帯域の光と第２の波長帯域の光をセンシングして第２の画像を生成する第２のカメラモジュールと、第２の波長帯域の光を発光する赤外光源と、プロセッサとを備え、第２の画像がベイヤーサブ画像と赤外サブ画像を含み、プロセッサが第１のカメラモジュール、第２のカメラモジュール及び赤外光源にそれぞれ接続され、プロセッサが、ベイヤーサブ画像および赤外サブ画像の少なくとも一方と第１の画像を画像処理するように構成される。本実施形態では、カメラモジュールアレイに深度カメラを設置することなく深度画像を取得することができるので、カメラアセンブリのサイズを小さくすることができ、電子機器内に占めるスペースを小さくすることができ、電子機器の小型化、低コスト化に寄与することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１の波長帯域の光をセンシングする第１のカメラモジュールと、第１の波長帯域の光と第２の波長帯域の光をセンシングする第２のカメラモジュールと、第２の波長帯域の光を照射する赤外光源と、前記第１のカメラモジュール、第２のカメラモジュール及び前記赤外光源にそれぞれ接続されているプロセッサとを備え、
前記第１のカメラモジュールは、前記プロセッサによる制御によって第１の画像を生成するように構成され、
前記赤外光源は、前記プロセッサによる制御によって前記第２の波長帯域の光を照射するように構成され、
前記第２のカメラモジュールは、前記プロセッサによる制御によって第２の画像を生成するように構成され、前記第２の画像は、前記第１の波長帯域の光をセンシングすることによって生成されたベイヤーサブ画像と、前記第２の波長帯域の光をセンシングすることによって生成された赤外サブ画像とを含み、
前記プロセッサは更に、前記ベイヤーサブ画像および前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理するように構成される
ことを特徴とするカメラアセンブリ。

【請求項2】

前記赤外光源は、赤外投光光源、構造化光源、またはＴＯＦ光源のうちの少なくとも１つを備える
ことを特徴とする請求項１に記載のカメラアセンブリ。

【請求項3】

前記第１のカメラモジュールと前記第２のカメラモジュールは、レンズの視野角が異なるように構成される
ことを特徴とする請求項1に記載のカメラアセンブリ。

【請求項4】

第１のカメラモジュールによって生成された第１の画像と、第２のカメラモジュールによって生成された第２の画像とを取得し、前記第２の画像は前記第２のカメラモジュールが第１の波長帯域の光をセンシングして生成したベイヤーサブ画像と、第２の波長帯域の光をセンシングして生成した赤外サブ画像とを含むことと、
前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理することと、を含む
ことを特徴とする、画像処理方法。

【請求項5】

前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理することは、
前記第１の画像を強調するように、前記赤外サブ画像と前記第１の画像とを融合することを含む
ことを特徴とする請求項４に記載の画像処理方法。

【請求項6】

前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理することは、
前記ベイヤーサブ画像と前記第１の画像に基づいて可視光深度画像を取得することを含む、
ことを特徴とする請求項４に記載の画像処理方法。

【請求項7】

前記赤外光源が構造化光源またはＴＯＦ光源を備える場合において、
前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理することは、
前記可視光深度画像と前記赤外サブ画像の深度データを融合して深度融合画像を得ることを含む、
ことを特徴とする請求項６に記載の画像処理方法。

【請求項8】

ユーザによるズーム操作に応じて、前記第１の画像と前記ベイヤーサブ画像に基づいて画像ズームを行うことを更に含む
ことを特徴とする、請求項４に記載の画像処理方法。

【請求項9】

第１のカメラモジュールによって生成された第１の画像と、第２のカメラモジュールによって生成された第２の画像とを取得するように構成され、前記第２の画像は、前記第２のカメラモジュールが第１の波長帯域の光をセンシングして生成したベイヤーサブ画像と、第２の波長帯域の光をセンシングして生成した赤外サブ画像とを含む画像取得モジュールと、
前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理するように構成される画像処理モジュールと、
を備えることを特徴とする画像処理装置。

【請求項10】

前記画像処理モジュールは、
前記第１の画像を強調するように、前記赤外サブ画像と前記第１の画像とを融合するように構成される画像強調ユニットを備える
ことを特徴とする、請求項９に記載の画像処理装置。

【請求項11】

前記画像処理モジュールは、
前記ベイヤーサブ画像と前記第１の画像に基づいて可視光深度画像を取得するように構成される深度画像取得ユニットを備える
ことを特徴とする請求項９に記載の画像処理装置。

【請求項12】

前記赤外光源が構造化光源またはＴＯＦ光源を備える場合において、
前記画像処理モジュールは、
前記可視光深度画像と前記赤外サブ画像の深度データを融合して深度融合画像を得るように構成される深度整合ユニットを備える
ことを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

前記画像処理装置は、
ユーザによるズーム操作に応じて、前記第１の画像と前記ベイヤーサブ画像に基づいて画像ズームを行うように構成されるズームモジュールを更に備える
ことを特徴とする、請求項９に記載の画像処理装置。

【請求項14】

カメラアセンブリと、
プロセッサと、
前記プロセッサによって実行可能なコンピュータプログラムを記憶するメモリと、を備え、
前記プロセッサは、請求項４～８のいずれか１項に記載の方法のステップを実行させるために、前記メモリにおけるコンピュータプログラムを実行するように構成される
ことを特徴とする、電子機器。

【請求項15】

実行可能なコンピュータプログラムが格納されている可読記憶媒体であって、
前記コンピュータプログラムが実行される際に、請求項４～８のいずれか１項に記載の方法のステップを実行させる
ことを特徴とする可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理技術の分野に関し、特に、画像処理方法及び装置、カメラアセンブリ、電子機器、記憶媒体に関する。

【背景技術】

【0002】

従来のカメラは、映像又は写真を撮影し、シーンの明るさ情報や色情報を採集することができるが、深度情報を採集することができない。応用ニーズの増加に伴い、現在では、電子機器はカメラに深度カメラが追加されてカメラアレイが形成されているものがある。深度カメラは、アレイカメラモジュール、構造化光モジュール、ＴＯＦ（Ｔｉｍｅ－ｏｆ－ｆｌｙ）モジュールを備え、各モジュールの作動原理に応じて深度情報を取得することができる。しかしながら、上記のカメラアレイは、別途深度カメラを設置する必要があるため、電子機器の貴重なスペースを占め、電子機器の小型化、低コスト化には寄与しない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、関連技術の欠点を解消するために、画像処理方法および装置、カメラアセンブリ、電子機器、記憶媒体を提供する。

【課題を解決するための手段】

【0004】

本開示の実施例による第１の態様によれば、カメラアセンブリが提供され、当該カメラアセンブリは、
第１の波長帯域の光をセンシングする第１のカメラモジュールと、第１の波長帯域の光と第２の波長帯域の光をセンシングする第２のカメラモジュールと、第２の波長帯域の光を照射する赤外光源と、前記第１のカメラモジュール、第２のカメラモジュール及び前記赤外光源にそれぞれ接続されている前記プロセッサとを備え、
前記第１のカメラモジュールは、前記プロセッサによる制御によって第１の画像を生成するように構成され、
前記赤外光源は、前記プロセッサによる制御によって前記第２の波長帯域の光を照射するように構成され、
前記第２のカメラモジュールは、前記プロセッサによる制御によって第２の画像を生成するように構成され、前記第２の画像は、前記第１の波長帯域の光をセンシングすることによって生成されたベイヤーサブ画像と、前記第２の波長帯域の光をセンシングすることによって生成された赤外サブ画像とを含み、
前記プロセッサは更に、前記ベイヤーサブ画像および前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理するように構成される。

【0005】

選択的に、前記赤外光源は、赤外投光光源、構造化光源、またはＴＯＦ光源のうちの少なくとも１つを備える。

【0006】

前記第１のカメラモジュールと前記第２のカメラモジュールは、レンズの視野角が異なるように構成される。

【0007】

本開示の実施例による第２の態様によれば、画像処理方法が提供され、当該画像処理方法は、
第１のカメラモジュールによって生成された第１の画像と、第２のカメラモジュールによって生成された第２の画像とを取得し、前記第２の画像は前記第２のカメラモジュールが第１の波長帯域の光をセンシングして生成したベイヤーサブ画像と、第２の波長帯域の光をセンシングして生成した赤外サブ画像とを含むことと、
前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理することと、を含む。

【0008】

選択的に、前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理することは、
前記第１の画像を強調するように、前記赤外サブ画像と前記第１の画像とを融合することを含む。

【0009】

選択的に、前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理することは、
前記ベイヤーサブ画像と前記第１の画像に基づいて可視光深度画像を取得することを含む。

【0010】

選択的に、前記赤外光源が構造化光源またはＴＯＦ光源を備える場合において、
前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理することは、
前記可視光深度画像と前記赤外サブ画像の深度データを融合して深度融合画像を得ることを含む。

【0011】

選択的に、前記画像処理方法は、ユーザによるズーム操作に応じて、前記第１の画像と前記ベイヤーサブ画像に基づいて画像ズームを行うことを更に含む。

【0012】

本開示の実施例による第３の態様によれば、画像処理装置が提供され、当該画像処理装置は、
第１のカメラモジュールによって生成された第１の画像と、第２のカメラモジュールによって生成された第２の画像とを取得するように構成され、前記第２の画像は、前記第２のカメラモジュールが第１の波長帯域の光をセンシングして生成したベイヤーサブ画像と、第２の波長帯域の光をセンシングして生成した赤外サブ画像とを含む画像取得モジュールと、
前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理するように構成される画像処理モジュールと、
を備える。

【0013】

選択的に、前記画像処理モジュールは、
前記第１の画像を強調するように、前記赤外サブ画像と前記第１の画像とを融合するように構成される画像強調ユニットを備える。

【0014】

選択的に、前記画像処理モジュールは、
前記ベイヤーサブ画像と前記第１の画像に基づいて可視光深度画像を取得するように構成される深度画像取得ユニットを備える。

【0015】

選択的に、前記赤外光源が構造化光源またはＴＯＦ光源を備える場合において、
前記画像処理モジュールは、
前記可視光深度画像と前記赤外サブ画像の深度データを融合して深度融合画像を得るように構成される深度整合ユニットを備える。

【0016】

選択的に、前記装置は、ユーザによるズーム操作に応じて、前記第１の画像と前記ベイヤーサブ画像に基づいて画像ズームを行うように構成されるズームモジュールを更に備える。

【0017】

本開示の実施例による第４の態様によれば、電子機器が提供され、当該電子機器は、

上記のカメラアセンブリと、
プロセッサと、
前記プロセッサによって実行可能なコンピュータプログラムを記憶するメモリと、を備え、
前記プロセッサは、上記のいずれか１項に記載の方法のステップを実行させるために、前記メモリにおけるコンピュータプログラムを実行するように構成される。

【0018】

本開示の実施例による第５の態様によれば、実行可能なコンピュータプログラムが格納されている可読記憶媒体が提供され、当該コンピュータプログラムが実行される際に、上記のいずれか１項に記載の方法のステップを実行させる。

【発明の効果】

【0019】

本開示の実施例によって提供される技術的解決策は、以下の有益な効果を有することができる。

【0020】

上記の実施例から分かるように、本開示の実施例のカメラアセンブリにおいて、第１のカメラモジュールが第１の画像を採集するとともに、第２のカメラモジュールが第２の画像を取得し、第２の画像からベイヤーサブ画像および赤外サブ画像を取得し、これにより、ベイヤーサブ画像および赤外サブ画像の少なくとも一方と第１の画像を画像処理することができ、例えば、深度画像を取得することができ、すなわち、カメラモジュールアレイに深度カメラを設置することなく深度画像を取得することができる。カメラアセンブリのサイズを小さくすることができ、電子機器内に占めるスペースを小さくすることができ、電子機器の小型化および低コスト化に寄与する。

【0021】

上記の一般的な説明および後述の詳細は、単に例示的で説明的なものであり、本開示を限定するものではないことが理解されるべきである。

【図面の簡単な説明】

【0022】

【図1】例示的な実施形態によるカメラアセンブリのフローチャートである。

【図2】例示的な実施形態によるアプリケーションシナリオの図である。

【図3】例示的な実施形態による可視光深度画像の取得の概略図である。

【図4】例示的な実施形態による画像処理方法のフローチャートである。

【図5】例示的な実施形態による画像処理装置のブロック図である。

【図6】例示的な実施形態による電子機器のブロック図である。

【発明を実施するための形態】

【0023】

本明細書の図面は本明細書に組み込まれて本明細書の一部となり、本開示に適合する実施例を示し、本明細書と併せて本開示の原理を説明するものである。

【0024】

ここで、例示的な実施例を詳細に説明し、また、その例を図面に示している。以下の記述は図面に係る場合、特に示さない限り、異なる図面における同一番号は、同一または類似する要素を表す。下記の例示的に記載されている実施例は、本開示と一致する全ての実施例を表すものではない。むしろ、それらは、添付の特許請求の範囲に詳細に記載されている、本開示の様態と一致する装置の例示に過ぎない。

【0025】

従来のカメラは、映像又は写真を撮影し、シーンの明るさ情報や色情報を採集することができるが、深度情報を採集することができない。応用ニーズの増加に伴い、現在では、電子機器はカメラに深度カメラが追加されてカメラアレイが形成されているものがある。深度カメラは、アレイカメラモジュール、構造化光モジュール、ＴＯＦ（Ｔｉｍｅ－ｏｆ－ｆｌｙ）モジュールを備え、各モジュールの作動原理に応じて深度情報を取得することができる。しかしながら、上記のカメラアレイは、別途深度カメラを設置する必要があるため、電子機器の貴重なスペースを占め、電子機器の小型化、低コスト化には寄与しない。

【0026】

上記の課題を解決するために、本開示は、画像処理方法および装置、カメラアセンブリ、電子機器、記憶媒体を提供し、第１の波長帯域の光をセンシングして第１の画像を取得するように構成される第１のカメラモジュールと、第１の波長帯域の光および第２の波長帯域の光をセンシングして第２の画像を取得するように構成される第２のカメラモジュールとがカメラモジュールアレイに設置され、プロセッサは、第２の画像におけるベイヤーサブ画像および赤外サブ画像の少なくとも一方と第１の画像を画像処理可能であり、例えば、深度画像を取得することが可能である、ことを発明の構想とする。

【0027】

図１は、例示的な実施形態によるカメラアセンブリのブロック図である。 図１を参照すると、カメラアセンブリは、第１のカメラモジュール１０と、第２のカメラモジュール２０と、赤外光源３０と、プロセッサ４０とを備えてもよく、第１のカメラモジュール１０は第１の波長帯域の光をセンシングし、第２のカメラモジュール２０は第１の波長帯域の光および第２の波長帯域の光をセンシングしてもよい。ここで、プロセッサ４０は、第１のカメラモジュール１０、第２のカメラモジュール２０、および赤外光源３０にそれぞれ接続されている。ここで、接続とは、プロセッサ４０が制御指令を送信し、カメラモジュール（１０、２０）から画像を取得することができることを意味し、具体的な実現手段は、ここで限定されないが、通信バス、キャッシュ、または無線であっても良い。

【0028】

第１のカメラモジュール１０はプロセッサ４０による制御によって第１の画像を生成するように構成され、当該第１の画像はＲＧＢ画像であってもよい。

【0029】

赤外光源３０はプロセッサ４０による制御によって第２の波長帯域の光を照射するように構成される。

【0030】

第２のカメラモジュール２０はプロセッサ４０による制御によって第２の画像を生成するように構成され、当該第２の画像は、第１の波長帯域の光をセンシングすることによって生成されたベイヤーサブ画像と、第２の波長帯域の光をセンシングすることによって生成された赤外サブ画像とを含んでもよい。

【0031】

プロセッサ４０は前記第２の画像に基づいてベイヤーサブ画像及び赤外サブ画像を取得し、ベイヤーサブ画像及び赤外サブ画像の少なくとも一方と第１の画像を画像処理するように構成される。

【0032】

例として、本実施例において、第１の波長帯域の光は可視光波長帯域の光であっても良く、第２の波長帯域の光は赤外光波長の光であってもよい。

【0033】

本実施例では、第１のカメラモジュール１０は、第１の波長帯域の光（例えば、可視光波長帯域）に応答する画像センサー、レンズ、赤外光フィルタ等のデバイスを備えてもよく、ボイスコイルモータ、回路基板等のデバイスを更に備えてもよい。ここで、画像センサーは、第１の波長帯域の光に対して応答するために、電荷結合素子（Ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）または相補型金属酸化物半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｄｏｒ：ＣＭＯＳ）などを採用してもよい。第１のカメラモジュール１０および第２のカメラモジュール２０に分業して使用されるために、この第１のカメラモジュール１０の画像センサーにおいて、フィルタはｂａｙｅｒテンプレートや、ＣＹＹＭテンプレート、ＣＹＧＭテンプレートなど、可視光波長帯域のみに応答するカラーフィルタアレイであってもよい。第１のカメラモジュール１０の各デバイスの実装位置および作動原理は、関連技術を参照することができ、ここで重複して説明しない。

【0034】

本実施例では、第２のカメラモジュール２０は、第１の波長帯域の光（例えば、可視光波長帯域の光）と第２の波長帯域の光（例えば、赤外光波長帯域の光）との両方に応答する画像センサー、レンズ、可視光・近赤外光バンドパスフィルタ等のデバイスを備えてもよく、ボイスコイルモータ、回路基板等を更に備えてもよい。ここで、第１の波長帯域の光と第２の波長帯域の光との両方に応答する画像センサーは、ＣＣＤ又はＣＭＯＳ等で実現してもよく、フィルタは、ＲＧＢＩＲテンプレート、ＲＧＢＷテンプレート等、可視光波長帯域と赤外光波長帯域との両方に応答するカラーフィルタアレイであってもよい。第２のカメラモジュール２０の各デバイスの実装位置及び作動原理は、関連技術を参照することができ、ここで重複して説明しない。

【0035】

本実施例では、赤外光源３０は、赤外投光光源、構造化光源、またはＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ：飛行時間）光源のうちの少なくとも１つを備えてもよい。赤外投光光源の作動原理として、視野範囲内の被写体に対して赤外照明の明るさを増加させる光源である。構造化光源の動作原理は、被写体の表面および背景に特定の光情報を投射し、被写体によって引き起こされる光信号の変化に応じて被写体の位置や深度などの情報を計算することである。ＴＯＦ光源の動作原理は、視野範囲内に赤外パルスを投射し、赤外パルスの往復時間に応じて被写体の距離を計算することである。

【0036】

本実施例では、プロセッサ４０は、別個に設置されるマイクロプロセッサを用いてもよいし、上述のカメラアセンブリが設置されている電子機器のプロセッサを用いてもよい。プロセッサ４０は以下の２方面の機能を有する。

【0037】

第一、プロセッサ４０は、ボタン、マイク、画像センサーの１つまたはそれらの組合せによる操作信号を受けて、第１のカメラモジュール１０、第２のカメラモジュール２０及び赤外光源３０を制御することができる。例えば、電子機器が通常の撮影モードにある場合に、プロセッサ４０は、第１のカメラモジュール１０の焦点距離、明るさなどのパラメータを調整することができ、ユーザがシャッタを押す動作が検出されたときに、第１のカメラモジュール１０を制御して画像を撮影することができる。電子機器がパノラマ、ＨＤＲ（Ｈｉｇｈ－Ｄｙｎａｍｉｃ Ｒａｎｇｅ：ハイダイナミックレンジ画像）、フルフォーカス等のモードや、低照度のシーンにある場合に、プロセッサ４０は、赤外光源３０を点灯させ、第１のカメラモジュール１０と第２のカメラモジュール２０との両方の焦点距離や明るさ等のパラメータを調整し、ユーザがシャッタを押す動作が検出されたときに、第１のカメラモジュール１０が撮影して第１の画像を取得するように制御し、第２のカメラモジュール２０が撮影して第２の画像を取得するように制御することができる。

【0038】

第二、深度画像が必要な場合に、図２に示すように、電子機器は、第１の画像と第２の画像を処理して、可視光深度画像または深度融合画像を取得することができる。

【0039】

一例では、プロセッサは、第２の画像から第１の波長帯域の光に対応するベイヤー（ｂａｙｅｒ）サブ画像を抽出し、第１の画像とベイヤーサブ画像に基づいて可視光深度画像を以下のように算出することができる。

【0040】

図３を参照して、Ｐは視野範囲における被測定物（すなわち被写体）のある点とし、ＣＲ、ＣＬはそれぞれ第１のカメラと第２のカメラの光の中心とし、２つのカメラの光センサでのＰの結像点はそれぞれＰＲ、ＰＬ（カメラの結像面を回転させてレンズの前に配置する）とし、ｆはカメラの焦点距離とし、Ｂは２つのカメラの中心距離とし、Ｚは測定される深度とし、点ＰＲから点ＰＬまでの距離をＤとすると、
Ｄ＝Ｂ－（ＸＲ－ＸＬ）
となり、三角形相似原理に基づき、
[Ｂ－（ＸＲ－ＸＬ）]／Ｂ＝（Ｚ－Ｆ）／Ｚ
となり、よって、
Ｚ＝ｆＢ（ＸＲ－ＸＬ）
となる。

【0041】

焦点距離ｆ、カメラの中心距離Ｂ、点Ｐの右像面座標ＸＲ及び点Ｐの左像面座標ＸＬはキャリブレーションにより得られるので、（ＸＲ-ＸＬ）を得ると深度を得ることができる。ここで、ｆ、Ｂ、ＸＲ、ＸＬはキャリブレーション、較正、マッチング作業によって決定することができる。キャリブレーション、較正、マッチング作業は、関連する技術を参照することができ、ここで重複して説明しない。

【0042】

プロセッサ４０は、上記のステップを繰り返すことによって第１の画像におけるすべての画素の深度を取得して可視光深度画像を得ることができる。この可視光深度画像は大きな絞り、顔認証/虹彩認証でロックの解除、顔認証/虹彩認証での決済、３Ｄビューティモード、スタジオ照明、アニモジなどの適用シーンに適用可能である。

【0043】

一例では、第１のカメラモジュール１０と第２のカメラモジュール２０は各カメラの視野角が異なってもよく、両者の大きさの関係が特に限定されない。この場合、プロセッサ４０は、両カメラの視野角に基づいて、第１の画像と第２の画像から対応するサイズの画像を切り取ることができる。例えば、第２の画像から抽出されたベイヤーサブ画像から、サイズが比較的に大きな画像を１フレーム切り取ると共に、第１の画像からサイズが比較的に小さな画像を１フレーム切り取り、即ち、第２の画像のベイヤーサブ画像から切り取られた画像が第１の画像から切り取られた画像よりも大きくなり、その後、それらを順次表示する。これにより、ズーム効果を達成することができる。即ち、本実施例では光学ズームのような撮影効果を達成することができ、撮影体験を向上させることができる。

【0044】

もう１つの例では、第２の画像には赤外情報も含まれることを考慮して、プロセッサ４０は、第２の画像から、第２の波長帯域の光をセンシングすることによって生成された赤外サブ画像を抽出するように構成される。赤外サブ画像の周波数帯域における高周波情報が第１の画像の周波数帯域における情報よりも豊富であるので、赤外サブ画像と第１の画像とを融合させることによって、例えば、赤外サブ画像の高周波情報を抽出して第１の画像の周波数帯域に加えることによって、第１の画像を強調させる効果を得ることができ、融合済みの第１の画像がより細部豊富で、より高精細で、より正確な色彩を有するようにすることができる。また、赤外サブ画像は、指紋認証ロックの解除や顔認証などの電子機器の生体認証機能にも利用することができる。

【0045】

更にもう１つの例では、赤外光源が構造化光源であってもよいことを考慮して、図２に示すように、赤外光源が構造化光源を備えた場合に、プロセッサ４０は更に、赤外サブ画像に基づいて赤外光深度データを取得するように構成されても良い。例えば、プロセッサ４０は、赤外光源３０を制御することによって特定の方向の光ビームをオブジェクトや背景などの被写体に投射し、光ビームの戻り光信号の強さやスポットサイズなどのパラメータを取得し、パラメータと距離との所定の対応関係に基づいて、カメラに対する被写体の赤外光深度データを取得するように構成されてもよい。この赤外光深度データは、可視光深度画像に対して、オブジェクトや背景などの被写体のテクスチャ情報を含んでもよい。この場合、プロセッサ４０は、具体的なシーンによって、可視光深度画像または赤外光深度データを選択して使用することができ、例えば、高輝度シーン（すなわち、昼間のシーンなど、周囲の輝度値が所定の輝度値よりも大きいシーン）、被写体が半透明であるシーン、あるいは、被写体が赤外光を吸収するシーンなどの場合に、可視光深度画像を利用可能であり、低輝度シーン（すなわち、夜間のシーンなど、周囲の輝度値が所定の輝度値よりも小さいシーン）、被写体がテクスチャのないものであるシーン、或いは、被写体が周期に従って繰り返して現れるオブジェクトであるシーンの場合に、赤外光深度データを利用可能である。また、可視光深度画像または赤外線深度データを融合させて深度融合画像を得ることも可能であり、この深度融合画像は可視光深度画像及び赤外線深度データの各欠点を補うことができるので、ほぼ全てのシーンで使用することができ、特に照明条件が悪い、テクスチャのないオブジェクト、または周期に従って繰り返すオブジェクトなどのシーンで使用することができ、深度データの信頼度を向上させることに寄与する。

【0046】

更にもう１つの例では、赤外光源がＴＯＦ光源であってもよいことを考慮して、図２に示すように、赤外光源がＴＯＦ光源を備えた場合に、プロセッサ４０は更に、赤外サブ画像に基づいて赤外光深度データを取得するように構成されても良い。この赤外光深度データは、可視光深度画像に対して、オブジェクトや背景などの被写体のテクスチャ情報を含んでもよい。例えば、プロセッサ４０は、ＴＯＦ光源を制御することによって特定の方向の光ビームをオブジェクトや背景に投射し、光ビームの戻り光信号の発信時間と戻り返し時間との時間差を取得し、カメラに対するオブジェクトの赤外光深度データを算出するように構成されてもよい。この場合、プロセッサ４０は、具体的なシーンによって、可視光深度画像または赤外光深度データを選択して使用することができ、例えば、高輝度シーン（すなわち、昼間のシーンなど、周囲の輝度値が所定の輝度値よりも大きいシーン）、被写体が半透明であるシーン、あるいは、被写体が赤外光を吸収するシーンなどの場合に、可視光深度画像を利用可能であり、低輝度シーン（すなわち、夜間のシーンなど、周囲の輝度値が所定の輝度値よりも小さいシーン）、被写体がテクスチャのないものであるシーン、或いは、被写体が周期に従って繰り返して現れるオブジェクトであるシーンの場合に、赤外光深度データを利用可能である。また、可視光深度画像または赤外線深度データを融合させて深度融合画像を得ることも可能であり、この深度融合画像は可視光深度画像及び赤外線深度データ両方の欠点を補うことができるので、ほぼ全てのシーンで使用することができ、特に照明条件が悪い、テクスチャのないオブジェクト、または周期に従って繰り返すオブジェクトなどのシーンで使用することができ、深度データの信頼度を向上させることに寄与する。

【0047】

なお、本実施例では、構造化光源またはＴＯＦ光源の選択によるものであり、カメラモジュールの改良や追加をしなく、設計の難しさを大幅に低減させる。

【0048】

以上により、本開示の実施例のカメラアセンブリにおいて、第１のカメラモジュールが第１の画像を採集するとともに、第２のカメラモジュールが第２の画像を取得し、第２の画像からベイヤーサブ画像および赤外サブ画像を取得し、これにより、ベイヤーサブ画像および赤外サブ画像の少なくとも一方と第１の画像を画像処理することができ、例えば、深度画像を取得することができ、すなわち、カメラモジュールアレイに深度カメラを設置することなく深度画像を取得することができる。カメラアセンブリのサイズを小さくすることができ、電子機器内に占めるスペースを小さくすることができ、電子機器の小型化および低コスト化に寄与する。

【0049】

本開示の実施例はまた、画像処理方法を提供する。図４は、例示的な実施形態による画像処理方法のフローチャートである。図４を参照すると、上記の実施例によって提供されたカメラアセンブリに適用される画像処理方法は、次のステップを含んでもよい。

【0050】

ステップ４１：第１のカメラモジュールによって生成された第１の画像と、第２のカメラモジュールによって生成された第２の画像とを取得し、前記第２の画像は前記第２のカメラモジュールが第１の波長帯域の光をセンシングして生成したベイヤーサブ画像と、第２の波長帯域の光をセンシングして生成した赤外サブ画像とを含む。

【0051】

ステップ４２：前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理する。

【0052】

一実施例では、ステップ４２：前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理することは、前記第１の画像を強調するように、前記赤外サブ画像と前記第１の画像とを融合することを含んでも良い。

【0053】

一実施例では、ステップ４２：前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理することは、前記ベイヤーサブ画像と前記第１の画像に基づいて可視光深度画像を取得することを含んでも良い。

【0054】

一実施例では、前記赤外光源が構造化光源またはＴＯＦ光源を備える場合において、ステップ４２：前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理することは、前記可視光深度画像と前記赤外サブ画像の深度データを融合して深度融合画像を得ることを含んでも良い。

【0055】

一実施例では、前記方法は、ユーザによるズーム操作に応じて、前記第１の画像と前記ベイヤーサブ画像に基づいて画像ズームを行うことを更に含んでも良い。

【0056】

本開示の実施例によって提供される方法は、上記のカメラアセンブリの作動プロセスにマッチングすることが理解されるべきである。具体的にはカメラアセンブリの各実施例に記載の内容を参照することができ、ここで重複して説明しない。

【0057】

本開示の実施例は更に画像処理装置を提供する。図５を参照すると、この装置は、

【0058】

第１のカメラモジュールによって生成された第１の画像と、第２のカメラモジュールによって生成された第２の画像とを取得するように構成され、前記第２の画像は、前記第２のカメラモジュールが第１の波長帯域の光をセンシングして生成したベイヤーサブ画像と、第２の波長帯域の光をセンシングして生成した赤外サブ画像とを含む画像取得モジュール５１と、

【0059】

前記ベイヤーサブ画像及び前記赤外サブ画像の少なくとも一方と前記第１の画像を画像処理するように構成される画像処理モジュール５２と、を備えても良い。

【0060】

一実施例では、前記画像処理モジュール５２は、前記第１の画像を強調するように、前記赤外サブ画像と前記第１の画像とを融合するように構成される画像強調ユニットを備えても良い。

【0061】

一実施例では、前記画像処理モジュール５２は、前記ベイヤーサブ画像と前記第１の画像に基づいて可視光深度画像を取得するように構成される深度画像取得ユニットを備えても良い。

【0062】

一実施例では、赤外光源が構造化光源またはＴＯＦ光源を備える場合において、前記画像処理モジュールは、前記可視光深度画像と前記赤外サブ画像の深度データを融合して深度融合画像を得るように構成される深度整合ユニットを備える。

【0063】

一実施例では、前記画像処理装置は、ユーザによるズーム操作に応じて、前記第１の画像と前記ベイヤーサブ画像に基づいて画像ズームを行うように構成されるズームモジュールを更に備えても良い。

【0064】

本開示の実施例によって提供される装置は、上記の方法に係る実施例に対応することが理解されるべきである。具体的には方法の各実施例に記載の内容を参照することができ、ここで重複して説明しない。

【0065】

図６は例示的な実施例による電子機器のブロック図である。例えば、電子機器６００は、スマートフォン、コンピュータ、デジタル放送端末、タブレット機器、医療設備、フィットネス設備、個人デジタルアシスタント等であっても良い。

【0066】

図６に示すように、電子機器６００は、処理アセンブリ６０２、メモリ６０４、電源アセンブリ６０６、マルチメディアアセンブリ６０８、オーディオアセンブリ６１０、入力/出力(Ｉ／Ｏ)インターフェース６１２、センサアセンブリ６１４、通信アセンブリ６１６、及び画像採集アセンブリ６１８のうちの一つ、又は複数のアセンブリを含んでも良い。

【0067】

処理アセンブリ６０２は、通常、電子機器６００における表示、電話コール、データ通信、カメラ操作及び記録操作に関連する操作のような全般操作を制御する。処理アセンブリ６０２は、コンピュータプログラムを実行するように、一つ又は複数のプロセッサ６２０を含んでも良い。また、処理アセンブリ６０２は、他のアセンブリとインタラクションするために、一つ又は複数のモジュールを含んでも良い。例えば、処理アセンブリ６０２は、マルチメディアアセンブリ６０８と処理アセンブリ６０２とのインタラクションのために、マルチメディアモジュールを含んでも良い。

【0068】

メモリ６０４は、電子機器６００の操作をサポートするように様々のデータを記憶するように構成される。これらのデータは、例として、電子機器６００で操作されるいずれのアプリケーション又は方法のコンピュータプログラム、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどを含む。メモリ６０４は、任意タイプの揮発性メモリ、不揮発性メモリ、又はそれらの組み合わせで実現されることが可能であり、例えば、静的なランダムアクセスメモリ(ＳＲＡＭ)、電気的消去可能・プログラム可能な読み取り専用なメモリ(ＥＥＰＲＯＭ)、消去可能・プログラム可能な読み取り専用なメモリ(ＥＰＲＯＭ)、プログラム可能な読み取り専用なメモリ(ＰＲＯＭ)、読み取り専用なメモリ(ＲＯＭ)、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクである。

【0069】

電源アセンブリ６０６は、電子機器６００の各アセンブリに電力を提供する。電源アセンブリ６０６は、電源管理システム、一つ又は複数の電源、及び電子機器６００のための電力の生成、管理及び割り当てと関連する他のアセンブリを含んでも良い。電源アセンブリ６０６は電源チップを備えても良く、コントローラは電源チップと通信することによって、デバイスをオンまたはオフさせ、電池からメインボード回路へ給電又は給電しないように電源チップを制御することができる。

【0070】

マルチメディアアセンブリ６０８は、電子機器６００と目的対象との間に提供される出力インターフェースであるディスプレイを含む。幾つかの実施例において、ディスプレイは、液晶ディスプレー(ＬＣＤ)とタッチパネル(ＴＰ)を含むことができる。ディスプレイがタッチパネルを備える場合、ディスプレイは目的対象からの入力信号を受けるタッチスクリーンとして実現されることが可能である。タッチパネルは、タッチ、スライド及びタッチパネルにおけるジェスチャをセンシングするために、1個又は複数のタッチセンサを備える。タッチセンサは、タッチ又はスライドの動作の境界をセンシングするだけではなく、タッチ又はスライドの操作に関する持続時間と圧力もセンシングすることができる。

【0071】

オーディオアセンブリ６１０は、オーディオ信号を入力及び/又は出力するように構成される。例えば、オーディオアセンブリ６１０は、一つのマイク(ＭＩＣ)を備え、電子機器６００が操作モードである場合、例えばコールモード、記録モード及び音声認識モードである場合、マイクは、外部オーディオ信号を受け取るように構成される。受け取られたオーディオ信号は、さらにメモリ６０４に記憶され、又は通信アセンブリ６１６を介して送信することができる。幾つかの実施例において、オーディオアセンブリ６１０はオーディオ信号を出力するように構成される一つのスピーカーをさらに備える。

【0072】

Ｉ／Ｏインターフェース６１２は、処理アセンブリ６０２と周辺インターフェースモジュールとの間にインターフェースを提供し、上記の周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであっても良い。

【0073】

センサアセンブリ６１４は、一つ又は複数のセンサを含み、電子機器６００に各種の状態評価を提供するように構成される。例えば、センサアセンブリ６１４は、電子機器６００の開/閉状態、アセンブリの相対位置合わせを検出することができ、例えば、アセンブリが電子機器６００のディスプレイと小さいキーボードである。センサアセンブリ６１４はさらに、電子機器６００又は電子機器６００の一つのアセンブリの位置変化、目的対象が電子機器６００にタッチしているか否か、電子機器６００の位置又は加速/減速、及び電子機器６００の温度変化を検出することもできる。

【0074】

通信アセンブリ６１６は、電子機器６００とその他のデバイスとの間に有線又は無線方式で通信することに寄与するように構成される。電子機器６００は、通信規格に基づく無線ネットワーク、例えばＷｉＦｉ（登録商標）、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスすることができる。一つの例示的な実施例において、通信アセンブリ６１６は、ブロードキャストチャネルを介して、外部ブロードキャスト管理システムからのブロードキャスト信号を受信し、又は相関情報をブロードキャストする。一つの例示的な実施例において、通信アセンブリ６１６は短距離通信を促進させる近距離無線通信(ＮＦＣ)モジュールをさらに備える。例えば、ＮＦＣモジュールは、無線周波数識別(ＲＦＩＤ)技術、赤外データ通信(ＩｒＤＡ)技術、超広帯域無線(ＵＷＢ)技術、ブルートゥース(登録商標)(ＢＴ)技術及びその他の技術に基づいて実現されることが可能である。

【0075】

画像採集アセンブリ６１８は画像を採集するように構成される。例えば、画像採集アセンブリ６１８は上記の実施例によって提供されたカメラアセンブリにより実現される可能である。

【0076】

例示的な実施例において、電子機器６００は、1個又は複数のアプリケーション専用集積回路(ＡＳＩＣ)、デジタルシグナルプロセッサ(ＤＳＰ)、デジタル信号処理デバイス(ＤＳＰＤ)、プログラム可能なロジックデバイス(ＰＬＤ)、フィールドプログラマブルゲートアレイ(ＦＰＧＡ)、コントローラ、マイクロコントローラ、マイクロプロセッサー又はその他の回路によって実現されることが可能である。

【0077】

例示的な実施例において、実行可能なコンピュータプログラムを含む非一時的コンピュータ読み取り可能記憶媒体、例えば、命令を含むメモリ６０４をさらに提供し、上記の実行可能なコンピュータプログラムはプロセッサによって実行される。ここで、コンピュータ読み取り可能記憶媒体は、ＲＯＭ、ランダムアクセスメモリ(ＲＡＭ)、ＣＤ－ＲＯＭ、磁気テープ、フロッピー(登録商標)ディスク及び光学データメモリなどであっても良い。

【0078】

当業者は、明細書を参照し、及びここで開示されている開示を実施した後、本開示のその他の実施形態を容易に想到し得ることになる。本開示の趣旨は、本開示のいずれかの変形、用途又は適切な変化を包含することであり、これらの変形、用途、又は適切な変化は、本開示の一般性の原理に従い、そして本開示に開示されていない本技術分野における一般知識又は慣用技術手段も含む。明細書と実施例は、単なる例示的なものと見なされる。本開示の範囲と精神は特許請求の範囲によって示される。

【0079】

また、本開示は、上記に記載され図面に示された具体的な構成に限定されなく、その範囲を逸脱せずに各種の変更と変化を行うことができると理解されるべきである。本開示の範囲は、特許請求の範囲のみによって限定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】