特許 7139452 画像処理方法、コンピュータ可読記憶媒体、および電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-09

(45)【発行日】2022-09-20

(54)【発明の名称】画像処理方法、コンピュータ可読記憶媒体、および電子機器

(51)【国際特許分類】

   H04N 13/271 20180101AFI20220912BHJP

   H04N 13/239 20180101ALI20220912BHJP

【ＦＩ】

H04N13/271

H04N13/239

【請求項の数】 15

(21)【出願番号】P 2020559552

(86)(22)【出願日】2019-08-19

(65)【公表番号】

(43)【公表日】2021-08-12

(86)【国際出願番号】 CN2019101363

(87)【国際公開番号】W WO2020038330

(87)【国際公開日】2020-02-27

【審査請求日】2020-10-23

(31)【優先権主張番号】201810962707.9

(32)【優先日】2018-08-22

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(74)【代理人】

【識別番号】100203105

【弁理士】

【氏名又は名称】江口 能弘

(72)【発明者】

【氏名】チェン ヤン

(72)【発明者】

【氏名】ファン パン

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１６－２０８３８０（ＪＰ，Ａ）

【文献】特表２０１８－５０６７９７（ＪＰ，Ａ）

【文献】米国特許第０９７０４２５０（ＵＳ，Ｂ１）

【文献】特表２０１７－５２５０２４（ＪＰ，Ａ）

【文献】特開２０１２－０９４１４４（ＪＰ，Ａ）

【文献】特開２０１５－２１２９２７（ＪＰ，Ａ）

【文献】特表２０１７－５２７７７７（ＪＰ，Ａ）

【文献】特表２０１７－５３９１６９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００－１３／３９８

(57)【特許請求の範囲】

【請求項1】

電子機器のための画像処理方法であって、
露光期間中に第一のカメラ（１０２）によって第一のフレームレートで第一の初期画像（８０２）を取得し（２０２）、前記露光期間中に第二のカメラ（１０４）によって第二のフレームレートで少なくとも２つの第二の初期画像（８２２）を取得するステップであって、前記第一のフレームレートは、前記第二のフレームレートよりも小さく、前記第二の初期画像（８２２）のそれぞれは、深度情報を有する画像である、ステップと、
前記第一の初期画像（８０２）により第一の対象画像（８０４）を生成するステップと、
前記少なくとも２つの第二の初期画像（８２２）をさらなる処理のために１つの深度画像（８２４）にステッチするステップ（２０４）と、
を含み、
前記深度画像（８２４）と前記第一の対象画像（８０４）とはタイミングが同期して互いに対応することを特徴とする、画像処理方法。

【請求項2】

前記第二の初期画像（８２２）のそれぞれは、画像データと、前記画像データに対応するメタデータとを含み、
前記少なくとも２つの第二の初期画像（８２２）を１つの深度画像（８２４）に前記ステッチするステップ（２０４）は、
前記第二の初期画像（８２２）のそれぞれの前記画像データおよび前記メタデータを抽出するステップ（３０２）と、
前記第二の初期画像（８２２）から抽出した前記画像データおよび前記メタデータをパッケージ化し（３０４）、パッケージ化した画像データおよびメタデータを形成するステップと、
前記パッケージ化した画像データおよびメタデータを深度フォーマットで記憶し（３０６）、前記深度画像（８２４）を生成するステップと、
を含む、請求項１に記載の画像処理方法。

【請求項3】

前記抽出した画像データおよびメタデータをパッケージ化するステップ（３０４）は、
前記少なくとも２つの初期画像の前記画像データと、前記対応するメタデータをステッチするステップ、または、
露光タイミングに基づいて、前記少なくとも２つの第二の初期画像（８２２）の前記画像データを順次ステッチするステップ、
を含む、請求項２に記載の画像処理方法。

【請求項4】

前記少なくとも２つの第二の初期画像（８２２）のうちの少なくとも１つは、キーフレームであり、前記少なくとも２つの第二の初期画像（８２２）のうちの少なくとも１つは、非キーフレームであり、
前記抽出した画像データおよびメタデータを前記パッケージ化するステップ（３０４）は、
前記キーフレーム内の画素点と前記非キーフレーム内の対応する画素点との間の位相差を計算するステップと、
前記キーフレームの前記画像データおよび前記メタデータを抽出し、前記計算した位相差と前記キーフレームの前記画像データおよびメタデータをパッケージ化するステップと、
を含む、請求項２に記載の画像処理方法。

【請求項5】

前記メタデータは、前記第二の初期画像（８２２）を取得するシーケンスを示すように構成され、
前記少なくとも２つの第二の初期画像（８２２）を１つの深度画像（８２４）に前記ステッチするステップ（２０４）は、
前記メタデータに従って、前記少なくとも２つの初期画像（８２２）のうちの少なくとも１つが失われたかどうかを判定するステップと、
前記第二の初期画像（８２２）が全く失われなかったという判定に基づいて、前記第二の初期画像（８２２）および対応する識別情報をパッケージ化するステップと、
前記識別情報に従って、前記パッケージ化した第二の初期画像（８２２）を前記深度画像（８２４）に合成するステップと、
を含む、請求項２に記載の画像処理方法。

【請求項6】

前記露光期間中に前記第二のカメラ（１０４）によって前記第二のフレームレートで前記少なくとも２つの第二の初期画像（８２２）を前記取得するステップは、
前記露光期間中に前記第二のフレームレートで少なくとも２つのレーザ波を放射するようにレーザエミッタを制御するステップであって、前記少なくとも２つのレーザ波のそれぞれは、反射レーザ波が形成されるように、被写体によって反射される、ステップと、
前記露光期間中に前記反射レーザ波が生成した前記少なくとも２つの第二の初期画像（８２２）を、前記第二のカメラ（１０４）によって取得するステップと、
をさらに含む、請求項１～５のいずれか一項に記載の画像処理方法。

【請求項7】

前記露光期間中に前記第二のカメラ（１０４）によって前記第二のフレームレートで前記少なくとも２つの第二の初期画像（８２２）を取得するステップの後、
時間差法または位相差法を用いて、前記少なくとも２つの第二の初期画像（８２２）に対応する前記深度情報を計算するステップを
さらに含む、請求項１～６のいずれか一項に記載の画像処理方法。

【請求項8】

前記露光期間中に前記第一のカメラ（１０２）によって前記第一のフレームレートで前記第一の初期画像（８０２）を取得し（２０２）、前記露光期間中に前記第二のカメラ（１０４）によって前記第二のフレームレートで少なくとも２つの第二の初期画像（８２２）を取得するステップは、
画像捕捉命令を検出すると、前記露光期間中に前記第一のフレームレートで前記第一のカメラ（１０２）によって前記第一の初期画像（８０２）を取得するステップ（４０２）と、
前記第二の初期画像（８２２）の数を取得し（４０４）、前記第二の初期画像（８２２）の数および前記第一のフレームレートに従って、前記第二のフレームレートを計算するステップと、
前記露光期間中に、前記計算した第二のフレームレートで、前記第二のカメラ（１０４）によって前記第二の初期画像（８２２）を取得するステップ（４０６）と、
を含む、請求項１～７のいずれか一項に記載の画像処理方法。

【請求項9】

前記第二の初期画像（８２２）の数を前記取得するステップ（４０４）は、
予め設定された数の第二の初期画像（８２２）を取得するステップと、
前記画像捕捉命令に含まれるアプリケーション識別子に対応するアプリケーションレベルを取得し、前記アプリケーションレベルに従って、前記対応する数の前記第二の初期画像（８２２）を取得するステップと、
前記電子機器のジッタデータを取得し、前記ジッタデータに応じて、前記対応する数の前記第二の初期画像（８２２）を取得するステップと、
のうちの１つのステップを含む、請求項８に記載の画像処理方法。

【請求項10】

前記露光期間中に前記第一のカメラ（１０２）によって前記第一のフレームレートで前記第一の初期画像（８０２）を取得し（２０２）、前記露光期間中に前記第二のカメラ（１０４）によって前記第二のフレームレートで少なくとも２つの第二の初期画像（８２２）を前記取得するステップの後、
前記第一の初期画像（８０２）を捕捉する第一の時点と、前記第二の初期画像（８２２）のそれぞれを捕捉する第二の時点とを取得するステップと、
前記第一の時点と前記第二の時点との間の時間間隔が間隔閾値未満であるかどうかを判定するステップと、
前記第一の時点と前記第二の時点との間の前記時間間隔が前記間隔閾値以上であるという判定に基づいて、前記第一の初期画像および前記少なくとも２つの初期画像を廃棄するステップと、
をさらに含む、請求項１～９のいずれか一項に記載の画像処理方法。

【請求項11】

前記第一の初期画像（８０２）に対して第一のフォーマット変換を実行して（４０８）、第一の対象画像（８０４）を生成するステップをさらに含み、
前記少なくとも２つの第二の初期画像（８２２）を１つの深度画像に前記ステッチするステップ（２０４）は、
前記少なくとも２つの第二の初期画像（８２２）をパッケージ化し（４１０）、前記パッケージ化した第二の初期画像（８２２）に対して第二のフォーマット変換を実行して、前記深度画像（８２４）を生成するステップ
を含む、請求項１～１０のいずれか一項に記載の画像処理方法。

【請求項12】

前記第一の対象画像（８０４）内の対象被写体を識別し（４１２）、前記深度画像（８２４）に従って、前記対象被写体に対応する対象深度情報を取得するステップと、
前記対象深度情報に従って、前記対象被写体に対する処理を実行するステップ（４１４）と、
をさらに含む、請求項１１に記載の画像処理方法。

【請求項13】

前記第一の初期画像（８０２）に対して前記第一のフォーマット変換を実行して、前記第一の対象画像を生成するステップの後、前記第一の対象画像内の前記対象被写体を識別するステップ（４１２）の前に、
前記第一の対象画像および前記深度画像（８２４）をパッケージ化するステップと、
アプリケーションのレベルが閾値より大きい場合、前記パッケージ化した第一の対象画像および深度画像（８２４）を暗号化するステップ（６０２）と、
前記暗号化した第一の対象画像（８０４）および深度画像（８２４）を前記アプリケーションに送信するステップ（６０４）と、
をさらに含む、請求項１２に記載の画像処理方法。

【請求項14】

プログラムを記憶するコンピュータ可読記憶媒体であって、前記プログラムをプロセッサによって実行すると、前記プロセッサに請求項１～１３のいずれか一項に記載の画像処理方法を実行させることを特徴とする、コンピュータ可読記憶媒体。

【請求項15】

第一のカメラ（１１１１）と、第二のカメラ（１１２０）と、メモリ（１１６０）と、プロセッサ（１１３０、１１４０）とを備え、前記メモリ（１１６０）はコンピュータプログラムを記憶し、前記コンピュータプログラムを前記プロセッサ（１１３０、１１４０）によって実行すると、前記プロセッサ（１１３０、１１４０）に請求項１～１３のいずれか一項に記載の画像処理方法を実行させることを特徴とする、電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータの分野に関し、特に、画像処理方法、コンピュータ可読記憶媒体、および電子機器に関する。

【背景技術】

【0002】

インテリジェント機器は、被写体を撮影する際に、被写体の色情報だけでなく、被写体の深度情報も捕捉することができる。深度情報を用いることにより、画像の色情報をより正確に処理することができる。例えば、深度情報に基づいて画像中の近景と遠景とを識別することができ、これにより、近景と遠景との色を異なる方法で処理することができる。また、深度情報に基づいて、識別された人物の顔が生きているか否かを判定することにより、生きている人物の顔に対して美化処理を施すことができる。画像処理方法を用いて深度情報を捕捉するための方法には、両眼測距法、構造化光法、飛行時間法等数多くある。

【0003】

しかしながら、深度カメラ（飛行時間（ＴＯＦ）カメラのような深度画像を捕捉できるカメラ）の捕捉頻度は、可視光カメラの捕捉頻度と一致しない。ＴＯＦカメラを例にとると、同一の露光期間中にＴＯＦカメラによって捕捉された画像に、フレーム損失が発生しやすい傾向がある。フレーム損失が一旦発生すると、両眼較正は不正確になり、画像取得システムの安定性が低下する。

【発明の概要】

【0004】

電子機器の画像処理方法を提供する。この方法は、露光期間中に第一のカメラによって第一のフレームレートで第一の初期画像を取得し、露光期間中に第二のカメラによって第二のフレームレートで少なくとも２つの第二の初期画像を取得するステップであって、第一のフレームレートは、第二のフレームレートよりも小さく、第二の初期画像のそれぞれは、深度情報を有する画像である、ステップと、さらに処理するために、少なくとも２つの第二の初期画像を１つの深度画像にステッチする（ｓｔｉｔｃｈｉｎｇ）ステップと、を含むことができる。

【0005】

コンピュータ可読記憶媒体は、プログラムを記憶し、そのプログラムをプロセッサによって実行すると、プロセッサに上述のような画像処理方法を実行させる。

【0006】

電子機器が提供される。電子機器は、メモリとプロセッサとを含み、メモリは、コンピュータプログラムを記憶し、そのコンピュータプログラムをプロセッサによって実行すると、プロセッサに上述のような画像処理方法を実行させる。

【0007】

以下、本開示の実施形態または従来技術において、技術的解決策をより明確に説明するために、実施形態または従来技術の説明に必要な図面を簡単に紹介する。以下に説明する図面は、本開示のいくつかの実施形態に過ぎないことは明らかである。創造的な作業なしに、これらの図面に従って、当業者によって、さらに他の図面も得ることができる。

【図面の簡単な説明】

【0008】

【図1】本発明のいくつかの実施形態による画像処理方法の適用可能な環境を示す図である。

【図2】本開示のいくつかの実施形態による画像処理方法のフローチャートである。

【図3】本開示のいくつかの実施形態による画像処理方法のフローチャートである。

【図4】本開示のいくつかの実施形態による画像処理方法のフローチャートである。

【図5】本開示のいくつかの実施形態によって、ＴＯＦによる深度情報を計算する原理を示す模式図である。

【図6】本開示のいくつかの実施形態による画像処理方法のフローチャートである。

【図7】本開示のいくつかの実施形態による画像処理方法のフローチャートである。

【図8】本開示のいくつかの実施形態による画像処理フローを示す模式図である。

【図9】本開示のいくつかの実施形態による画像処理方法を実施するためのソフトウェアフレームワークを示すブロック図である。

【図10】本開示のいくつかの実施形態による画像処理装置のブロック図である。

【図11】本開示のいくつかの実施形態による画像処理回路のブロック図である。

【発明を実施するための形態】

【0009】

本開示の目的、技術的解決策、および利点をより明確にするために、本開示は、図面および実施形態と組み合わせて、以下でさらに詳細に説明される。本明細書で説明される具体的な実施形態は、本開示を説明するためにのみ使用され、本開示を限定することを意図しないことを理解されたい。

【0010】

本開示で使用される「第一の」、「第二の」等の用語は、様々な構成要素を説明するために本開示で構成され得るが、これらの構成要素を限定することは意図されないことが理解され得る。これらの用語は、第一の構成要素を別の構成要素と区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第一のクライアントを第二のクライアントと呼ぶことができる。同様に、第二のクライアントを第一のクライアントと呼ぶこともできる。第一のクライアントおよび第二のクライアントは、両方ともクライアントであってもよいが、同じクライアントではない。

【0011】

一態様では、電子機器の画像処理方法を提供することができる。この方法は、露光期間中に第一のカメラによって第一のフレームレートで第一の初期画像を取得し、露光期間中に第二のカメラによって第二のフレームレートで少なくとも２つの第二の初期画像を取得するステップであって、第一のフレームレートは、第二のフレームレートよりも小さく、第二の初期画像のそれぞれは、深度情報を有する画像である、ステップと、さらに処理するために、少なくとも２つの第二の初期画像を１つの深度画像にステッチするステップと、を含むことができる。

【0012】

いくつかの実施形態において、第二の初期画像のそれぞれは、画像データと、画像データに対応するメタデータとを含む。少なくとも２つの第二の初期画像を１つの深度画像にステッチするステップは、第二の初期画像のそれぞれの画像データおよびメタデータを抽出するステップと、抽出した画像データおよびメタデータをパッケージ化するステップと、パッケージ化した画像データおよびメタデータを深度フォーマットで記憶し、深度画像を生成するステップと、を含む。

【0013】

いくつかの実施形態において、抽出した画像データおよびメタデータをパッケージ化するステップは、少なくとも２つの初期画像の画像データと、対応するメタデータとをステッチするステップ、または露光タイミングに基づいて、少なくとも２つの第二の初期画像の画像データを順次ステッチするステップを含む。

【0014】

いくつかの実施形態において、少なくとも２つの第二の初期画像のうちの少なくとも１つは、キーフレームであり、少なくとも２つの第二の初期画像のうちの少なくとも１つは、非キーフレームである。抽出した画像データおよびメタデータをパッケージ化するステップは、キーフレーム内の画素点と非キーフレーム内の対応する画素点との間の位相差を計算するステップと、キーフレームの画像データおよびメタデータを抽出し、計算した位相差とキーフレームの画像データおよびメタデータをパッケージ化するステップと、を含む。

【0015】

いくつかの実施形態において、メタデータは、第二の初期画像を取得するシーケンスを示すように構成される。少なくとも２つの第二の初期画像を１つの深度画像にステッチするステップは、メタデータに従って、少なくとも２つの第二の初期画像のうちの少なくとも１つが失われたかどうかを判定するステップと、第二の初期画像が全く失われなかったという判定に基づいて、第二の初期画像および対応する識別情報をパッケージ化するステップと、識別情報に従って、パッケージ化した第二の初期画像を深度画像に合成するステップと、を含む。

【0016】

いくつかの実施形態において、露光期間中に第二のフレームレートで第二のカメラによって少なくとも２つの第二の初期画像を取得するステップは、露光期間中に第二のフレームレートで少なくとも２つのレーザ波を放射するようにレーザエミッタを制御するステップであって、少なくとも２つのレーザ波のそれぞれは反射レーザ波が形成されるように被写体によって反射される、ステップと、露光期間中に反射レーザ波が生成した少なくとも２つの第二の初期画像を、第二のカメラによって取得するステップと、を含む。

【0017】

いくつかの実施形態において、露光期間中に第二のカメラによって第二のフレームレートで少なくとも２つの第二の初期画像を取得するステップの後、時間差法または位相差法を用いて、少なくとも２つの第二の初期画像に対応する深度情報を計算するステップをさらに含む。

【0018】

いくつかの実施形態において、露光期間中に第一のカメラによって第一のフレームレートで第一の初期画像を取得し、露光期間中に第二のカメラによって第二のフレームレートで少なくとも２つの第二の初期画像を取得するステップは、画像捕捉命令を検出すると、露光期間中に第一のフレームレートで第一のカメラによって第一の初期画像を取得するステップと、第二の初期画像の数を取得し、第二の初期画像の数および第一のフレームレートに従って、第二のフレームレートを計算するステップと、露光期間中に、計算した第二のフレームレートで、第二のカメラによって第二の初期画像を取得するステップと、を含む。

【0019】

いくつかの実施形態において、第二の初期画像の数を取得するステップは、予め設定された数の第二の初期画像を取得するステップと、画像捕捉命令に含まれるアプリケーション識別子に対応するアプリケーションレベルを取得し、アプリケーションレベルに従って、対応する数の第二の初期画像を取得するステップと、電子機器のジッタデータを取得し、そのジッタデータに応じて、対応する数の第二の初期画像を取得するステップと、のうちの１つのステップを含む。

【0020】

いくつかの実施形態において、露光期間中に第一のカメラによって第一のフレームレートで第一の初期画像を取得し、露光期間中に第二のカメラによって第二のフレームレートで少なくとも２つの第二の初期画像を取得した後に、この方法は、第一の初期画像を捕捉する第一の時点と、第二の初期画像のそれぞれを捕捉する第二の時点とを取得するステップと、第一の時点と第二の時点との間の時間間隔が間隔閾値未満であるかどうかを判定するステップと、第一の時点と第二の時点との間の時間間隔が間隔閾値以上であるという判定に基づいて、第一の初期画像および少なくとも２つの初期画像を廃棄するステップと、をさらに含む。

【0021】

いくつかの実施形態において、この方法は、第一の初期画像に対して第一のフォーマット変換を実行し、第一の対象画像を生成するステップをさらに含むことができる。深度画像と第一の対象画像とは、タイミングが同期して互いに対応する。少なくとも２つの第二の初期画像を１つの深度画像にステッチするステップは、少なくとも２つの第二の初期画像をパッケージ化するステップと、パッケージ化した第二の初期画像に対して第二のフォーマット変換を実行し、深度画像を生成するステップと、を含むことができる。

【0022】

いくつかの実施形態において、方法は、第一の対象画像内の対象被写体を識別するステップと、深度画像に従って、対象被写体に対応する対象深度情報を取得するステップと、対象深度情報に従って、対象被写体に対する処理を実行するステップと、をさらに含むことができる。

【0023】

いくつかの実施形態において、第一の初期画像に対して第一のフォーマット変換を実行して、第一の対象画像を生成するステップの後、第一の対象画像内の対象被写体を識別するステップの前に、この方法は、第一の対象画像および深度画像をパッケージ化するステップと、アプリケーションのレベルが閾値より大きい場合、パッケージ化した第一の対象画像および深度画像を暗号化するステップと、暗号化した第一の対象画像および深度画像をアプリケーションに送信するステップと、をさらに含む。

【0024】

別の態様では、コンピュータ可読記憶媒体を提供することができる。コンピュータ可読記憶媒体は、プログラムを記憶し、このプログラムをプロセッサによって実行すると、プロセッサに上述のような画像処理方法を実行させる。

【0025】

さらなる態様では、電子機器を提供することができる。電子機器は、メモリおよびプロセッサを含むことができる。メモリは、コンピュータプログラムを記憶し、このコンピュータプログラムをプロセッサによって実行すると、プロセッサに上述のような画像処理方法を実行させる。

【0026】

図１は、本発明のいくつかの実施形態による画像処理方法の適用可能な環境を示す図である。図１に示すように、２つのカメラを電子機器１０上に搭載することができる。いくつかの実施形態において、２つのカメラは、第一のカメラ１０２および第二のカメラ１０４を含むことができる。より具体的には、電子機器１０は、第一のカメラ１０２および第二のカメラ１０４を用いて撮影を実行することができる。より具体的には、第一の初期画像を、露光期間中に第一のフレームレートで第一のカメラによって取得してもよく、少なくとも２つの第二の初期画像を、露光期間中に第二のフレームレートで第二のカメラによって取得してもよい。いくつかの実施形態において、第一のフレームレートは、第二のフレームレートよりも小さくてもよい。次いで、第一の初期画像に基づいて第一の対象画像を生成し、第二の初期画像に基づいて第二の対象画像（以下、「深度画像」とも呼ぶ）を生成してもよい。いくつかの実施形態において、深度画像は、第一の対象画像に対応する深度情報を示すように構成されてもよい。処理は、第一の対象画像および深度画像に基づいて実行されてもよい。電子機器１０は、携帯電話、コンピュータ、ウェアラブル装置であってもよく、本明細書で限定されないことは理解されるべきである。いくつかの実施形態において、第一のカメラは、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）カメラ等の可視光カメラ（ＲＧＢカメラとも呼ばれる）とすることができる。第二のカメラは、レーザ型の飛行時間（ＴＯＦ）カメラであってもよい。第二のカメラは、対象被写体の深度情報（すなわち、カメラから対象被写体までの距離の情報）を収集してもよい。

【0027】

飛行時間（ＴＯＦ）技術は、高精度距離測定のために、光検出および測距（ＬＩＤＡＲ）において使用され得る。ＴＯＦ技術は、照明ユニットによって放射された光が対象被写体に移動し、検出器に戻るのに要する時間を測定することに基づいている。現在、この原理によれば、標準的なＣＭＯＳまたはＣＣＤ技術でＴＯＦ距離測定、すなわちＴＯＦカメラが達成されている。ＴＯＦカメラは、距離画像（ＲＩＭ）センサとも呼ばれることがある。ＴＯＦカメラは他の３Ｄシステムとは異なり、対象被写体の距離（つまり深度情報）を収集する新世代のカメラになっている。現在、ＴＯＦ技術は、２つの方法によって達成することができる。第一の方法は、変調されたインコヒーレント光を利用し、位相ベースの測定を行うことができ、これは、位相差法とも呼ばれることがある。第二の方法は、パルス信号の連続的な送受信に基づく時間差に応じて、対象被写体の距離を計算することができ、これは、時間差法とも呼ばれることがある。

【0028】

図２は、本開示のいくつかの実施形態による画像処理方法のフローチャートである。図２に示すように、画像処理方法は、ブロック２０２～２０８によって実行されるアクション／動作を含むことができる。

【0029】

ブロック２０２では、第一の初期画像を、露光期間中に第一のカメラによって第一のフレームレートで取得してもよく、少なくとも２つの第二の初期画像を、露光期間中に第二のカメラによって第二のフレームレートで取得してもよい。いくつかの実施形態において、第一のフレームレートは、第二のフレームレートよりも小さくてもよい。第二のカメラは、ＴＯＦカメラ（深度画像を捕捉するように構成された深度カメラの１つのタイプである）であってもよく、第二の初期画像のそれぞれは、深度情報を有する深度画像であってもよい。当然、いくつかの実施形態において、第二のカメラは、また両眼測距法または構造化光法に基づく深度カメラのような他のタイプの深度カメラであってもよい。

【0030】

電子機器にカメラを搭載し、搭載されたカメラにより画像を取得することができる。カメラは、異なる取得画像に応じて、レーザカメラ、可視光カメラ等に分けることができる。レーザカメラは、被写体にレーザを照射して形成された画像を取得してもよく、可視画像は、被写体に可視光を照射して形成された画像を取得してもよい。複数のカメラを電子機器上に搭載することができ、カメラを搭載するための場所は、ここでは限定されないことがある。例えば、いくつかの実施形態において、電子機器の前面パネルにカメラを搭載することができ、背面パネルに２つのカメラを搭載することができる。カメラは、また、電子機器の内部に埋め込まれてもよく、次いで、カメラは、回転またはスライドによってオンにされてもよい。より具体的には、前方カメラおよび後方カメラを電子機器に搭載することができる。前方カメラと後方カメラとは、それぞれ異なる視野角からの画像を取得することができる。一般に、前方カメラは電子機器の前方視野角から画像を取得することができ、後方カメラは電子機器の後方視野角から画像を取得することができる。

【0031】

本開示のいくつかの実施形態において、少なくとも２つのカメラを電子機器に搭載することができる。少なくとも２つのカメラは、第一のカメラおよび第二のカメラを含むことができる。第一のカメラおよび第二のカメラは、第一の初期画像を第一のカメラによって取得し、第二の初期画像を第二のカメラによって取得するように、同時に露光するように制御されてもよい。第一のカメラと第二のカメラとの両方が、同じシーンについての画像を取得してもよいことが理解され得る。第一のカメラは第一のフレームレートで第一の初期画像を取得することができ、第二のカメラは第二のフレームレートで第二の初期画像を取得することができる。いくつかの実施形態において、第一のフレームレートは、第二のフレームレートより小さくてもよく、その結果、第二のカメラは、同じ露光期間中に複数の第二の初期画像を取得することができる。

【0032】

より具体的には、第二のカメラが捕捉した少なくとも２つの第二の初期画像を使用して、１つの画像に合成することができる。このようにして、第二の初期画像を捕捉する際に、第二のカメラによって発生するボイド現象を回避することができ、画像の精度を向上させることができる。例えば、第一のカメラは、３０フレーム／秒のレートで第一の初期画像を取得することができ、第二のカメラは、１２０フレーム／秒のレートで第二の初期画像を取得することができる。したがって、同じ露光期間中に、第一のカメラは１つの第一の初期画像を捕捉し、第二のカメラは４つの第二の初期画像を捕捉する。第二のカメラが第二の初期画像を捕捉するフレームレートは、調節可能であり得ることに留意されたい。第二のフレームレートが１２０フレーム／秒より大きい場合、同じ露光期間中に、第二のカメラがＮ（Ｎ＞４）個の第二の初期画像を捕捉することができる。本開示の実施形態は、これに限定を与えるものではない。

【0033】

より具体的には、第一の初期画像は、第一のカメラが捕捉した初期画像を参照することができ、第二の初期画像は、第二のカメラが捕捉した初期画像を指すことができる。カメラ内の画像センサは、光信号を電気信号に変換することができる。光信号が電気信号に変換された後、生成された初期画像は、プロセッサによって直接処理されなくてもよく、プロセッサによって処理される前に特定のフォーマットに変換される必要があってもよい。

【0034】

いくつかの実施形態において、第一のカメラは可視光カメラであってもよく、第二のカメラはレーザカメラであってもよい。第二のカメラに対応するレーザエミッタを電子機器に搭載することができる。レーザエミッタから放射されたレーザを被写体に照射してもよく、レーザを被写体に照射したときに第二の初期画像を生成してもよい。第二の初期画像を、第二のカメラによって取得してもよい。第二の初期画像は、第一の初期画像に対応する深度情報を生成するように構成されてもよい。

【0035】

いくつかの実施形態において、画像処理方法は、ブロック２０８によって実行されるアクションをさらに含むことができる。

【0036】

ブロック２０８では、第一の初期画像を使用することによって、第一の対象画像を生成することができる。より具体的には、ブロック２０８は、第一の初期画像に対して第一のフォーマット変換を実行して、第一の対象画像を生成する動作、すなわち、第一の対象画像を上述のようにプロセッサで処理し得る動作のような動作を含むことができる。いくつかの実施形態において、深度画像と第一の対象画像とは、タイミングが同期して互いに対応することができる。

【0037】

第一のカメラが捕捉した第一の初期画像は、対応する第一の対象画像を生成することができ、これは、プロセッサによって処理することができる。例えば、取得した第一の初期画像は、ＲＡＷフォーマットの画像であってもよく、ＲＡＷフォーマットからＹＵＶ（Ｌｕｍａ Ｃｈｒｏｍｉｎａｎｃｅ Ｃｈｒｏｍａ）フォーマットに変換されてもよい。フォーマット変換後に生成されたＹＵＶ画像は、生成された第一の対象画像であり、第一の対象画像は、さらに処理されてもよい。第二のカメラが捕捉した第二の初期画像も、ＲＡＷフォーマットの画像であってもよい。少なくとも２つの第二の初期画像を取得するので、第二の初期画像を、１つのＤｅｐｔｈ画像、すなわち、深度画像（第二の対象画像とも呼ばれる）に合成することができる。

【0038】

ブロック２０４では、少なくとも２つの第二の初期画像を１つの深度画像にステッチすることができる。

【0039】

いくつかの実施形態において、同一の露光期間中に、ＴＯＦカメラは、第一のカメラよりもフレームレートが高くすることができ、その結果、ＴＯＦカメラが捕捉する第二の初期画像の数を、第一のカメラが捕捉する第一の初期画像の数よりも多くすることができる。例えば、上記の例では、第一のフレームレートは３０フレーム／秒であり、第二のフレームレートは１２０フレーム／秒である。同じ露光期間（例えば、１／３０秒）中に、第一のカメラは１つの第一の初期画像を取得し、第二のカメラ（ＴＯＦカメラ）は４つの第二の初期画像を同時に取得することができる。しかしながら、フレームレートがより高いＴＯＦカメラは４つの第二の初期画像を捕捉するのに対し、第一のカメラは１つの第一の初期画像を捕捉するが、これは、ＴＯＦカメラで捕捉した第二の初期画像の数が第一のカメラで捕捉した第一の初期画像の数と矛盾しないことを意味するので、ＴＯＦ画像のフレーム損失の問題が簡単に発生する可能性がある。両眼較正に関して言えば、フレーム損失は、タイミングが同期されないことを意味し、これは後の両眼較正に多大な影響を及ぼし、さらに、アプリケーション層内の対象被写体の３Ｄモデル化にさえも影響を及ぼし、その結果、画像認識システムが不安定なものとなる。

【0040】

これに基づいて、複数の第二の初期画像をステッチして１つの深度画像を生成する必要がある。すなわち、複数の第二の初期画像を１つの深度画像にステッチすることができる。深度画像と第一の対象画像とは、タイミングが同期して互いに対応することができる。したがって、両眼較正を行い、１つの画像と、対応する深度情報とを得て、その後の３Ｄモデル化および３Ｄアプリケーションへの基礎を提供することが便利である。

【0041】

第二の初期画像のそれぞれは、深度情報を含む画像であり、深度画像は、複数の第二の初期画像を１つの画像にステッチして生成された画像であってもよく、深度画像は、複数の深度情報をさらに含んでいてもよいことに留意すべきである。深度画像は、後続の画像処理において第一のカメラが取得したＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）画像との画像合成のために構成されてもよく、深度情報を有するＲＧＢ画像、すなわちＲＧＢＤ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ Ｄｅｐｔｈ）画像が生成されてもよい。

【0042】

第二の初期画像は、画像データと、画像データに対応するメタデータとを含んでもよい。画像データはＲＡＷデータとも呼ばれ、メタデータはＭＥＴＡデータとも呼ばれる。ＲＡＷフォーマットは、画像処理の分野で一般的に使用されているフォーマットである。ＲＡＷフォーマットは、最初に捕捉された初期画像データ、すなわち、後続の画像処理を受けていない初期データを示すように構成されてもよい。ＭＥＴＡデータは、現在の画像の露光期間、焦点距離等、現在のＲＡＷデータの属性を示すデータであってもよい。いくつかの実施形態において、ブロック２０４では、少なくとも２つの第二の初期画像を深度画像にステッチすることは、以下のブロックによって実行されるアクション／動作を含むことができる。

【0043】

ブロック３０２では、第二の初期画像のそれぞれの画像データおよびメタデータを抽出することができる。

【0044】

ブロック３０４では、抽出した画像データおよびメタデータをパッケージ化することができる。

【0045】

ブロック３０４は、具体的には、少なくとも２つの第二の初期画像の画像データと対応するメタデータとをそれぞれステッチすること、あるいは少なくとも２つの第二の初期画像の画像データを露光タイミングに従って順次ステッチすることを含むことができる。

【0046】

例えば、同一の露光期間中に４つの第二の初期画像を捕捉し、第二の初期画像のそれぞれをＴＯＦ画像フォーマットでキャッシュする場合、４つの画像（第二の初期画像）の画像データおよびメタデータを抽出してもよく（ＴＯＦ画像フォーマットは、ペイロードの画像データおよび非ペイロードの追加情報を含んでもよく、非ペイロードデータは、この時点でフィルタリングされる必要がある）、データのステッチを達成するために、４つの第二の初期画像のそれぞれの画像データおよびメタデータを順次ステッチしてもよい。すなわち、第一の画像、第二の画像、第三の画像、および第四の画像の画像データを、順次ステッチしてもよい。第一の画像の画像日付の最後のビットを、第二の画像の画像日付の第一のビットにステッチすることができ、第二の画像の画像日付の最後のビットを、第三の画像の画像日付の第一のビットにステッチすることができ、以下同様で、最後の画像の画像日付の最後のビットをステッチするまで続く。いくつかの実施形態において、４つの第二の初期画像を１つの画像にステッチ（合成）する場合、データのステッチは、特定の深度画像フォーマットに従って実行してもよく、あるいは特定のフォーマットまたはプロトコルに従って実行してもよい。例えば、ＲａｗデータとＭｅｔａデータとを交互に配置することも可能である（すなわち、１つの画像のＲａｗデータの後に、同じ画像の対応するＭｅｔａデータが続き、次に、次の画像のＲａｗデータ、次の画像のＲａｗデータに対応する次の画像のＭｅｔａデータ等が続くような順序で配置することも可能である）。データのステッチは、本開示の実施形態では繰り返されない。

【0047】

本開示のいくつかの実施形態において、少なくとも２つの第二の初期画像を、時間差法または位相差法を使用することによって取得してもよいことに留意されたい。位相差法を使用する場合、捕捉した少なくとも２つの第二の初期画像のうちの少なくとも１つを、キーフレームとして構成してもよく、捕捉した少なくとも２つの第二の初期画像のうちの少なくとも１つを、非キーフレームとして構成してもよい。この場合、ブロック３０４では、以下のブロックによって実行されるアクション／動作を含むことができる。

【0048】

キーフレーム内の画素点と非キーフレーム内の対応する画素点との間の位相差データを計算することができる。

【0049】

キーフレームの画像データとメタデータを抽出し、計算した位相差データとキーフレームの画像データおよびメタデータとをパッケージ化してもよい。

【0050】

いくつかの実施形態において、位相差計算方法は、上述の通りであってもよい。キーフレームの画像データおよびメタデータを取得した後、非キーフレームの位相差のみを計算する必要がある、非キーフレーム内の画素点の位相をキーフレーム内の対応する画素点の位相と比較することができ、その結果、差を計算することができる。このように、非キーフレームの位相差を計算することができるので、４つの第二の初期画像の画像データおよびメタデータを全て保持する必要がない。その代わりに、キーフレームの画像データおよびメタデータと、非キーフレーム内の画素点とキーフレーム内の対応する画素点との間の位相差データのみを保持し、それによって、記憶空間をさらに節約することができる。

【0051】

いくつかの実施形態において、メタデータを、第二の初期画像を捕捉するシーケンスを示すように構成してもよい。少なくとも２つの第二の初期画像を１つの深度画像にステッチするブロックは、具体的には、以下によって実行される動作を含むことができる。

【0052】

捕捉した第二の初期画像のうちの少なくとも１つが失われたかどうかを、メタデータに従って判定する。捕捉した第二の初期画像が全く失われていないという判定に基づいて、第二の初期画像と、対応する識別情報とをパッケージ化することができる。

【0053】

パッケージ化した第二の初期画像を、識別情報に従って深度画像に合成することができる。

【0054】

いくつかの実施形態において、少なくとも２つの第二の初期画像を、第二のカメラが捕捉してもよい。したがって、第二のカメラが第二の初期画像を捕捉した後、第二の初期画像のそれぞれに対応する識別情報を生成することができ、第二の初期画像を捕捉することのシーケンスを識別情報によってマークすることができる。より具体的には、識別情報は、第二の初期画像の捕捉時刻、第二の初期画像の位相等であってもよいが、これらに限定されない。第二の初期画像の捕捉時刻は、第二の初期画像を捕捉する時刻を示すように構成することができる。捕捉時刻に従って、第二の初期画像を捕捉する時系列を判定することができる。第二の初期画像の位相は、第二の初期画像のそれぞれを捕捉することのシーケンスを示すことができる。例えば、第二の初期画像には、捕捉時刻のシーケンスに応じて、「０１」、「０２」、「０３」、「０４」というシリアル番号を付してもよい。パッケージ化した第二の初期画像を、識別情報に従って、１つの深度画像に順次合成してもよい。

【0055】

ブロック３０６では、パッケージ化した画像データおよびメタデータを深度フォーマットで記憶し、深度画像を生成してもよい。いくつかの実施形態において、記憶した画像データおよびメタデータは、深度画像のデータであってもよい。

【0056】

ブロック３０６では、１つの深度画像を構成することができ、深度画像はヌルであり、当初は、その中にデータを全く含まない。対応するパッケージ化したデータ（画像データおよびメタデータ）は、完全なデータを有する１つの深度画像を生成するために、深度画像のデータに順次書き込まれてもよい。深度画像を、バッファ領域に記憶してもよい。例えば、ＴＯＦカメラで捕捉した４つの第二の初期画像のそれぞれは、２４０×１８０の解像度を有してもよい。画像データとメタデータをパッケージ化し、深度フォーマットで記憶すると、記憶した深度画像は、９６０×７２０の解像度を有してもよい。ここで、明らかに、記憶した深度画像は、第二の初期画像のそれぞれの複数倍の解像度を有してもよく、その倍数は、第二の初期画像の数であってもよい。

【0057】

ブロック２０６では、深度画像および第一の対象画像をさらに処理することができる。

【0058】

第一のカメラと第二のカメラは、同一のシーンに対して撮影を行うことができ、その結果、撮影で取得した第一の初期画像と第二の初期画像が互いに対応してもよく、取得した第一のターゲット画像と深度画像も互いに対応してもよいことが理解されるべきである。例えば、第一の対象画像はＹＵＶ画像であってもよく、深度画像はＤｅｐｔｈ画像であってもよい。したがって、第一の対象画像は、撮影シーンの色情報を示すように構成されてもよく、深度画像は、撮影シーンに対応する深度情報を示すように構成されてもよい。

【0059】

第一の対象画像および深度画像を取得した後に、第一の対象画像および深度画像を処理してもよく、ここでは、具体的な処理方法は限定されない。例えば、第一の対象画像に従って、人物の顔認識処理を実行し、第一の対象画像で認識された人物の顔を、深度画像に従って三次元モデル化し、人物の顔の三次元モデルを取得するようにしてもよい。また、深度画像における深度情報に従って、第一の対象画像内の人物の顔に対して、美化処理を施すことも可能である。

【0060】

上述の実施形態によって提供される画像処理方法では、第一のカメラは、所与の露光期間中に第一のフレームレートで第一の初期画像を捕捉することができ、第二のカメラは、露光期間中に第二のフレームレートで少なくとも２つの第二の初期画像を捕捉することができる。処理は、第一の初期画像から生成された第一の対象画像と、第二の初期画像から生成された深度画像とに従って、さらに実行されてもよい。このようにして、第一のカメラと第二のカメラとが、同一の露光期間中に、画像を取得できることを確実にすることができる。さらに、第二のカメラは、少なくとも２つの第二の初期画像を同時に取得することができ、少なくとも２つの第二の初期画像に従って、さらなる処理のために最終深度画像を生成することができる。これにより、画像を捕捉する際に発生する誤差を減らすことができ、画像処理の精度を向上させることができる。

【0061】

上記の実施形態によって提供される画像処理方法では、同一の露光期間中に、第一の初期画像と複数の第二の初期画像とを取得することができる。その後、複数の第二の初期画像を１つの深度画像にステッチすることができる。第一の対象画像および１つの深度画像を、さらに処理してもよい。従来技術のＴＯＦカメラに比べて、本開示のいくつかの実施形態による画像処理方法ではフレーム損失が発生しにくく、それによって、画像処理システムの安定性を向上させることができる。

【0062】

ここで、ブロック２０８は、ブロック２０４の前または後に実行されてもよいし、ブロック２０４と同時に実行されてもよい。本開示は、ブロック２０８を実行する時間を限定するものではない。

【0063】

図４は、本開示のいくつかの実施形態による画像処理方法のフローチャートである。図４に示すように、画像処理方法は、ブロック４０２～４１４によって実行されるアクション／動作を含むことができる。ここで、ブロック４０２～４０６は、上述したように、ブロック２０２に属していてもよい。すなわち、ブロック２０２は、ブロック４０２～４０６で実行するアクションを含むことができる。さらに、ブロック２０４は、ブロック４０８および４１０で実行するアクションを含むことができ、ブロック２０６は、ブロック４１２および４１４で実行するアクションを含むことができる。

【0064】

ブロック４０２では、画像捕捉命令を検出すると、露光期間中に第一のフレームレートで第一のカメラによって第一の初期画像を取得することができる。

【0065】

画像捕捉命令とは、画像捕捉動作をトリガする命令であってもよい。例えば、ユーザはアプリケーションを開いてもよく、画像捕捉命令をアプリケーションの操作で生成してもよい。電子機器が画像捕捉命令を検出すると、カメラがオンになることもある。カメラがオンになった後、カメラの受光面に光を投射する期間は、シャッタを開く期間を制御することによって制御してもよい。長い期間にわたってシャッタを開くと、より多くの光がカメラに入射し、生成された画像の輝度が高くなることがある。例えば、周囲光が明るい場合、一般に、短い期間にわたってシャッタを開くように制御して、少数の光がカメラに入射するようにすることで、生成された画像が過度に明るくなるのを防ぐことができる。

【0066】

露光期間とは、カメラのシャッタを開くように制御する期間を指すことがある。露光期間に従って、シャッタを開く時間の時刻と、シャッタを開く期間とを取得してもよい。例えば、露光期間が「１２：００：００→１２：００：３０」の場合、「１２：００：００」に３０秒間にわたってシャッタを開くことを意味する。フレームレートとは、カメラが画像を捕捉する頻度を指すことができる。より具体的には、フレームレートとは、カメラで１秒あたりに捕捉する画像の数を指すことができる。例えば、フレームレートは、毎秒３０フレームであってもよく、これは、カメラで毎秒３０の画像を捕捉するように制御し得ることを意味する。

【0067】

本開示のいくつかの実施形態において、第一のカメラで捕捉した画像と第二のカメラで捕捉した画像とが互いに対応することを確実にするために、第一のカメラと第二のカメラとを同時に露光するように制御する必要がある。第一のカメラが捕捉した第一の初期画像の数は、第二のカメラが捕捉した第二の初期画像の数とは、異なっていてもよい。したがって、第一のカメラおよび第二のカメラは、同一の露光期間中に異なるフレームレートで画像を捕捉することができ、その結果、第一のカメラおよび第二のカメラは、同一の露光期間中に異なる数の画像を捕捉することができる。

【0068】

ブロック４０４では、画像の数を取得することができ、画像の数および第一のフレームレートに従って、第二のフレームレートを計算することができる。ここで、画像の数とは、捕捉する必要がある第二の初期画像の数を指すことがある。

【0069】

より具体的には、第一のカメラおよび第二のカメラが画像を捕捉するフレームレートは、予め設定しても、あるいはリアルタイムで変更してもよい。フレームレートは、ここでは限定されない。例えば、第一のフレームレートを予め設定し、第二のフレームレートをリアルタイムで変更してもよい。また、第一のフレームレートと第二のフレームレートとの両方を予め設定しておくことも可能である。

【0070】

いくつかの実施形態において、第二のフレームレートを第一のフレームレートで計算してもよい。最初に、第二の初期画像の数を取得してもよく、次いで、第二の初期画像の数および第一のフレームレートに従って、第二のフレームレートを計算してもよい。第二の初期画像の数をＳとし、第一のフレームレートをＺ１とすると、第二のフレームレートＺ２は、以下の式：Ｚ２＝Ｓ＊Ｚ１を用いて計算することができる。すなわち、第二のフレームレートは、第一のフレームレートの倍数であってもよく、その倍数は、第二の初期画像の数に等しくてもよい。例えば、第一のフレームレートが３０フレーム／秒であり、画像の数（すなわち、第二の初期画像の数）が４つである場合、第二のフレームレートは、３０×４＝１２０フレーム／秒である。

【0071】

いくつかの実施形態において、第二の初期画像の数を、予め設定してもよいし、画像捕捉命令に従って取得してもよい。第二の初期画像の数を取得するステップは、予め設定された数の画像を取得するステップ、または、画像捕捉命令に含まれるアプリケーション識別子に対応するアプリケーションレベルを取得し、アプリケーションレベルに応じて、第二の初期画像の対応する数を取得するステップを含むことができる。

【0072】

アプリケーション識別子は、上述の画像捕捉命令を開始するアプリケーションを示すように構成することができる。アプリケーションレベルは、画像捕捉命令を開始するアプリケーションの重要度レベルを示すように構成することができる。例えば、第三者アプリケーションのアプリケーションレベルは低いことがあり、その一方で、システムアプリケーションのアプリケーションレベルは高いことがある。電子機器は、アプリケーション識別子とアプリケーションレベルとの間の対応を予め構築することができ、対応するアプリケーションレベルは、アプリケーション識別子に従って見つけることができる。アプリケーションレベルが大きいほど、第二の初期画像の数は多くなる。

【0073】

いくつかの実施形態において、電子機器のジッタ条件に従って、第二の初期画像の数も取得することができる。一般に、電子機器のジッタが大きい場合には、電子機器が画像を取得しているときに、誤差が発生しやすいと考えられる。したがって、複数の画像を取得して合成することにより、画像の誤差を減らすことができる。より具体的には、電子機器は、ジッタデータと画像の数との対応関係を予め構築することができる。また、画像取得処理中に、電子機器のジッタデータを取得し、そのジッタデータに従って、対応する画像の数を取得してもよい。ジッタデータは、電子機器のジッタ条件を示すように構成することができ、ジャイロスコープ、加速度センサ等のセンサによって検出されるデータであってもよいが、これらには限定されない。

【0074】

ブロック４０６では、第二の初期画像を、露光期間中に第二のフレームレートで第二のカメラによって取得してもよい。第二の初期画像の数は、上述したように、画像の数に対応してもよい。

【0075】

画像捕捉命令が検出されると、第一のカメラと第二のカメラを同時に露光し、同一の露光期間中に、第一のカメラと第二のカメラとがそれぞれ異なる数の画像を取得するのを確実にする必要がある。したがって、電子機器は、画像捕捉命令を検出した後、第一のカメラを制御して第一のフレームレートで第一の初期画像を捕捉し、第二のカメラを制御して第二のフレームレートで第二の初期画像を捕捉してもよい。

【0076】

取得した第一の初期画像が第二の初期画像に対応することを確実にするために、第一の初期画像および第二の初期画像を取得した後、第二の初期画像を１つの深度画像にステッチする前に、第一の対象画像を捕捉する第一の時点と、第二の初期画像を捕捉する第二の時点とをそれぞれ取得してもよい。第一の時点と第二の時点との間の時間間隔が間隔閾値未満であるかどうかを判定することができる。第一の時点と第二の時点との間の時間間隔が間隔閾値未満である場合、複数の第二の初期画像を１つの深度画像にステッチするアクションを実行することができる。そうでなければ、第一の時点と第二の時点との間の時間間隔が間隔閾値以上であるという判定に基づいて、捕捉した第一の初期画像と第二の初期画像とは互いに対応せず、捕捉した第一の初期画像と第二の初期画像とを廃棄することができる。

【0077】

ブロック４０８では、第一の初期画像に対して第一のフォーマット変換を実行して、第一の対象画像を生成することができる。

【0078】

カメラは、光学素子と画像センサとで構成されてもよい。光学素子は、光線を集めるように構成されてもよい。画像センサは、カラーフィルタアレイ（ベイヤーフィルタ等）を含んでもよく、光学素子によって集められた光線の光強度および波長の情報を電気信号に変換し、次いで、初期画像を生成するように構成されてもよい。第一の初期画像は、第一のカメラが捕捉した初期画像であってもよい。第一のフォーマット変換は、第一の対象画像を生成するために、第一の初期画像に対して実行されてもよい。

【0079】

いくつかの実施形態において、第一のカメラは可視光カメラであってもよい。第一の初期画像は、ＲＡＷフォーマットの画像であってもよい。第一の対象画像は、ＹＵＶフォーマットの画像であってもよい。第一のフォーマット変換を、ＲＡＷフォーマットの第一の初期画像に対して実行して、その結果、ＹＵＶフォーマットの第一の対象画像を取得してもよい。

【0080】

ブロック４１０では、複数の第二の初期画像をパッケージ化することができ、パッケージ化した第二の初期画像に対して第二のフォーマット変換を実行して、１つの深度画像を生成することができる。

【0081】

画像捕捉命令を検出した後、第二のカメラは、同一の露光期間中に、第二のフレームレートで第二の初期画像を取得してもよく、画像の数に対応する数を有する第二の初期画像を取得してもよい。第二のカメラが捕捉した第二の初期画像も、初期画像であってもよい。したがって、最終対象画像を、特定のフォーマット変換の後に取得してもよい。より具体的には、第二の初期画像を取得した後、第二の初期画像を送信中に失わないようにするために、第二の初期画像をパッケージ化することができ、その結果、第二の初期画像を全体としてメモリ内で送信して、フレーム損失を減らすことができる。第二のフォーマット変換を、パッケージ化した第二の初期画像に対して実行してもよく、その後、深度画像を生成してもよい。

【0082】

いくつかの実施形態において、第二のカメラはレーザカメラであってもよい。レーザエミッタを電子機器上に搭載することができる。レーザエミッタは、特定の周波数でレーザ波を放射するように構成することができる。レーザ波は、被写体によって反射され、次いで、第二のカメラによって捕捉され、第二の初期画像を生成することができる。次いで、レーザ波のＴＯＦ（飛行時間）を計算することにより、被写体から第二のカメラまでの距離を計算することができる。

【0083】

より具体的には、レーザエミッタは、露光期間中にレーザ波を放射するように制御することができる。第二のカメラの少なくとも２つのシャッタを、第二のフレームレートでオンおよびオフに切り替えられるように制御してもよく、シャッタがオンに切り替わるときに、レーザ波の反射によって生成される少なくとも２つの第二の初期画像を取得してもよい。第二のカメラは、異なるシャッタを介して異なる第二の初期画像を捕捉することができる。ＴＯＦカメラが捕捉した第二の初期画像も、ＲＡＷフォーマットの画像であってもよい。深度画像は、Ｄｅｐｔｈフォーマットの画像であってもよい。第二のフォーマット変換は、ＲＡＷフォーマットの第二の初期画像に対して実行され、Ｄｅｐｔｈフォーマットの深度画像を取得することができる。

【0084】

図５は、本開示のいくつかの実施形態によって、ＴＯＦによる深度情報を計算する原理を示す模式図である。図５に示すように、レーザエミッタはレーザ波を放射してもよく、放射レーザ波は被写体によって反射され、反射レーザ波を形成してもよい。被写体の深度情報を、放射レーザ波と受信（反射）レーザ波との間の位相差に従って計算してもよい。レーザカメラが実際に画像を捕捉する場合、異なるシャッタを異なる瞬間にオンとオフに切り替えるように制御することができ、次いで、異なる受信信号を生成することができ、その結果、複数のシャッタをオンとオフに切り替えて、異なる画像を捕捉して、深度画像を計算することができる。いくつかの実施形態において、レーザカメラは、４つのシャッタを使用することによってレーザ波信号の受信を制御し、シャッタ１、シャッタ２、シャッタ３、およびシャッタ４が受信するレーザ波信号は、それぞれＱ１、Ｑ２、Ｑ３、およびＱ４であると仮定する。したがって、深度情報を計算する式は、以下：

【数1】

のようになる。

【0085】

ここで、Ｃは光速、ｆはレーザ波の放射周波数である。

【0086】

ブロック４１２では、第一の対象画像内の対象被写体を識別することができ、深度画像に従って、対象被写体に対応する対象深度情報を取得することができる。

【0087】

第一の対象画像および深度画像を取得した後、第一の対象画像および深度画像をパッケージ化し、次いで、第一の対象画像および深度画像を、画像データの損失を減らすためにアプリケーションに送信することができる。例えば、第一の対象画像がＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）画像であり、深度画像がＤｅｐｔｈ画像である場合、第一の対象画像および深度画像を、ＲＧＢＤ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ Ｄｅｐｔｈ）画像にパッケージ化して、さらにアプリケーションに送信してもよい。

【0088】

アプリケーションが第一の対象画像および深度画像を受信した後、第一の対象画像内の対象被写体を識別することができる。深度画像は、第一の対象画像に対応する深度情報を示すように構成されてもよい。こうして、深度画像に従って、第一の対象画像内の対象被写体に対応する対象深度情報を取得することができる。より具体的には、第一の対象画像内で識別された対象被写体は、複数の画素点を含む対象領域であってもよい。対象領域に応じて、深度画像内の対応する対象深度領域を方向付けることができ、対象領域内の各画素に対応する深度情報を対象深度領域に応じて取得することができる。

【0089】

本開示のいくつかの実施形態において、対象被写体を識別する方法は、ここでは限定されない。例えば、対象被写体が人物の顔である場合、第一の対象画像内の人物の顔は、人物の顔検出アルゴリズムによって識別されてもよい。対象被写体は、人工知能によって識別され得る建物、植物、動物等であってもよい。

【0090】

ブロック４１４では、対象深度情報に従って、対象被写体に対して処理を実行することができる。

【0091】

対象被写体に対応する対象深度情報を取得した後、対象深度情報に従って、対象被写体を処理してもよい。例えば、対象深度情報に従って、対象被写体に対して三次元モデル化を実行することができる。しかしながら、対象深度情報に従って、対象被写体を美化してもよい。具体的な処理方法は、ここで制限されるものではない。

【0092】

いくつかの実施形態において、第一の対象画像および深度画像を取得した後、第一の対象画像内の対象被写体を識別する前に、本方法は、以下のブロックによって実行される動作をさらに含むことができる。

【0093】

ブロック６０２では、アプリケーションレベルがレベル閾値よりも大きい場合、第一の対象画像および深度画像を暗号化することができる。

【0094】

第一の対象画像および深度画像を取得した後、第一の対象画像および深度画像を、さらなる処理のためにアプリケーションに送信することができる。第一の対象画像および深度画像を送信する前に、アプリケーションのアプリケーションレベルがレベル閾値よりも大きいかどうかを判定することが可能である。アプリケーションのアプリケーションレベルがレベル閾値よりも高いという判定に基づいて、アプリケーションのセキュリティ要件が高いことを示し、第一の対象画像および深度画像を暗号化することができる。しかしながら、アプリケーションのアプリケーションレベルがレベル閾値以下であるという判定に基づいて、アプリケーションのセキュリティ要件が低いことを示し、第一の対象画像および深度画像をアプリケーションに直接送信することもできる。

【0095】

ブロック６０４では、暗号化した第一の対象画像および深度画像を、処理のためにアプリケーションにさらに送信することができる。

【0096】

暗号化した第一の対象画像および深度画像を、処理のために、アプリケーションにさらに送信することができる。暗号化した第一の対象画像および深度画像を受信した後、アプリケーションは、暗号化した第一の対象画像および深度画像を復号化し、復号化した第一の対象画像および深度画像に対して次の処理または演算を実行することができる。

【0097】

第一の対象画像および深度画像を暗号化する前に、第一の対象画像および深度画像もパッケージ化することができ、次いで、パッケージ化した第一の対象画像および深度画像を暗号化することができ、その結果、送信プロセス中の第一の対象画像および深度画像のフレーム損失を減らすことができる。

【0098】

いくつかの実施形態において、第二のカメラが第二の初期画像を捕捉するとき、第二の初期画像のそれぞれに対応する識別情報も生成することができる。識別情報を、第二の初期画像を捕捉するシーケンスを識別するように構成してもよい。より具体的には、第二の初期画像に対してフォーマット変換を実行することは、以下のブロックによって実行される動作をさらに含むことができる。

【0099】

ブロック７０２では、第二の初期画像のそれぞれに対応する識別子情報を取得することができる。いくつかの実施形態において、識別情報を、第二の初期画像を捕捉するシーケンスを示すように構成してもよい。

【0100】

第二のカメラは、少なくとも２つの第二の初期画像を捕捉することができる。したがって、第二のカメラが第二の初期画像を捕捉した後、第二の初期画像のそれぞれに対応する識別情報を生成することができ、第二の初期画像を捕捉するシーケンスを識別情報によってマークすることができる。より具体的には、識別情報は、第二の初期画像の捕捉時刻、第二の初期画像の位相等であってもよいが、これらに限定されない。第二の初期画像の捕捉時刻は、第二の初期画像を捕捉する時刻を示すように構成することができる。捕捉時刻に従って、第二の初期画像を捕捉する時系列を判定することができる。例えば、第二の初期画像には、捕捉時刻のシーケンスに応じて、「０１」、「０２」、「０３」、「０４」というシリアル番号を付してもよい。

【0101】

ブロック７０４では、捕捉した第二の初期画像のうちの少なくとも１つが失われたかどうかを、識別情報に従って判定する。捕捉した第二の初期画像が全く失われていないという判定に基づいて、第二の初期画像と、対応する識別情報とをパッケージ化することができる。

【0102】

上述の識別情報に従って、捕捉した第二の初期画像の少なくとも１つが失われたかどうかを判定することができる。捕捉した第二の初期画像のうちの少なくとも１つが失われた場合、現在捕捉している第二の初期画像を廃棄してもよい。しかしながら、捕捉した第二の初期画像が全く失われていない場合、第二の初期画像と、対応する識別情報とをパッケージ化することができる。例えば、取得した第二の初期画像のシリアル番号が「０１」、「０３」、「０４」である場合、シリアル番号が「０２」の第二の初期画像が途中で失われていることを意味する。

【0103】

ブロック７０６では、識別情報に従って、パッケージ化した第二の初期画像に対して第二のフォーマット変換を実行することができる。

【0104】

パッケージ化した第二の初期画像を、全体として送信してもよく、その結果、送信中に１つの画像のみを、または画像の一部を失うことは不可能である。その代わりに、いくつかの実施形態において、全ての第二の初期画像が存在することも、あるいは廃棄されることもある。第二の初期画像および識別情報をパッケージ化した後に、第二の初期画像および識別情報をフォーマット変換のためにプロセッサに送信してもよい。より具体的には、第二の初期画像を捕捉するシーケンスを、識別情報に従って判定することができ、次いで、第二の初期画像を捕捉するシーケンスに従って、第二の初期画像を１つの深度画像に合成することができる。

【0105】

図８に示すように、第一のカメラは、露光期間中に第一のフレームレートで第一の初期画像８０２を取得することができる。第二のカメラは、露光期間中に第二のフレームレートで第二の初期画像８２２を取得することができる。その後、第一の対象画像８０４は、第一の初期画像８０２に従って計算することができる。深度画像８２４（第二の対象画像とも呼ばれる）は、第二の初期画像８２２に従って計算することができる。最終的に、取得した第一の対象画像８０４および深度画像８２４を処理することができる。

【0106】

上述の実施形態によって提供される画像処理方法では、第一のカメラは、所与の露光期間中に第一のフレームレートで第一の初期画像を捕捉することができ、第二のカメラは、露光期間中に第二のフレームレートで少なくとも２つの第二の初期画像を捕捉することができる。処理は、第一の初期画像から生成された第一の対象画像と、第二の初期画像から生成された深度画像とに従って、さらに実行されてもよい。このようにして、第一のカメラと第二のカメラとが、同一の露光期間中に、画像を取得できることを確実にすることができる。さらに、第二のカメラは、少なくとも２つの第二の初期画像を同時に取得することができ、少なくとも２つの第二の初期画像に従って、さらなる処理のために最終深度画像を生成することができる。これにより、画像を捕捉する際に発生する誤差を減らすことができ、画像処理の精度を向上させることができる。

【0107】

図２、図３、図４、図６、図７、図８のフローチャートの各ブロックは、矢印で示す順序で順番に示されているが、必ずしも矢印で示す順序で実行される必要はないことは、理解されるべきである。本開示によって明確に述べられない限り、これらのブロックは、厳密な順序に限定されず、他の順序で実行されてもよい。さらに、図２、図３、図４、図６、図７、および図８のブロックの少なくとも一部は、複数のサブブロックまたはステージを含むことができる。これらのサブブロックまたはステージは、必ずしも同じ時間または瞬間に実行される必要はなく、異なる時間または瞬間に実行されてもよい。これらのサブブロックまたはステージは、必ずしも連続して実行される必要はなく、他のブロック、またはサブブロックの少なくとも一部、または他のブロックのステージと交互に実行されてもよい。

【0108】

図９は、本開示のいくつかの実施形態による、上述の画像処理方法を実施するためのソフトウェアフレームワークを示すブロック図である。図９に示すように、ソフトウェアフレームワークは、アプリケーション層９０、ハードウェア抽象化層（ＨＡＬ）９２、カーネル層９４、およびハードウェア層９６を含むことができる。アプリケーション層９０は、アプリケーション９０２を含むことができる。ハードウェア抽象化層９２は、インタフェース９２２、画像同期モジュール９２４、画像アルゴリズムモジュール９２６、およびアプリケーションアルゴリズムモジュール９２８を含むことができる。カーネル層９４は、カメラドライバ９４２、カメラ較正モジュール９４４、およびカメラ同期モジュール９４６を含むことができる。ハードウェア層９６は、第一のカメラ９６２、第二のカメラ９６４、および画像信号プロセッサ（ＩＳＰ）９６６を含むことができる。

【0109】

いくつかの実施形態において、アプリケーション９０は、画像捕捉命令を開始し、次いで、画像捕捉命令をインタフェース９２２に送信するように構成されてもよい。インタフェース９２２が画像捕捉命令を解析した後、カメラの構成パラメータがカメラドライバ９４２によって定義されてもよい。次いで、構成パラメータを、画像プロセッサ９６６にさらに送信してもよい。第一のカメラ９６２および第二のカメラ９６４は、画像プロセッサ９６６によってオンになるように制御されてもよい。第一のカメラ９６２および第二のカメラ９６４がオンにされた後、第一のカメラ９６２および第二のカメラ９６４は、カメラ同期モジュール９４６によって制御され、画像を同期的に捕捉することができる。第一のカメラ９６２が捕捉した第一の初期画像および第二のカメラ９６４が捕捉した第二の初期画像は、画像プロセッサ９６６にさらに送信され、次いで、画像プロセッサ９６６を介してカメラ較正モジュール９４４に送信され得る。カメラ較正モジュール９４４は、第一の対象画像を第二の初期画像と位置合わせし、次いで、位置合わせされた第一および第二の初期画像をハードウェア抽象化層９２に送信することができる。ハードウェア抽象化層９２内の画像同期モジュール９２４は、第一の対象画像を捕捉する第一の時点および第二の初期画像を捕捉する第二の時点に従って、第一の対象画像および第二の初期画像を同時に取得するかどうかを判定するように構成され得る。画像アルゴリズムモジュール９２６は、第一の対象画像および第二の初期画像を同時に取得する場合にのみ、第一の初期画像に従って第一の対象画像を計算し、第二の初期画像に従って深度画像を計算することができる。第一の対象画像および深度画像は、アプリケーションアルゴリズムモジュール９２８によって処理（パッケージ化等）されてもよく、次いで、処理（パッケージ化等）された第一の対象画像および深度画像を、インタフェース９２２を介してアプリケーション９０２に送信してもよい。アプリケーション９０２は、第一の対象画像および深度画像を受信した後、第一の対象画像および深度画像に応じて、三次元モデル化、美化、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）等の処理を行ってもよい。

【0110】

図１０は、本開示のいくつかの実施形態による画像処理装置のブロック図である。画像処理装置は、前述のように、いくつかの実施形態において画像処理方法を達成または実行するように構成されてもよい。図１０に示されるように、画像処理装置１０００は、取得ユニット１００２、ステッチングユニット１００４、および処理ユニット１００６を含むことができる。

【0111】

取得ユニット１００２は、露光期間中に第一のカメラが第一のフレームレートで捕捉する第一の初期画像を取得し、露光期間中に第二のカメラが第二のフレームレートで捕捉する少なくとも２つの第二の初期画像を取得するように構成されてもよい。いくつかの実施形態において、第一のフレームレートは、第二のフレームレートよりも小さくてもよい。第二のカメラは、ＴＯＦカメラであってもよく、第二の初期画像は、深度情報を有する画像であってもよい。

【0112】

ステッチングユニット１００４は、少なくとも２つの第二の初期画像を１つの深度画像にステッチするように構成されてもよい。

【0113】

処理ユニット１００６は、深度画像および第一の対象画像を処理するように構成されてもよい。ここで、第一の対象画像を、第一の初期画像から生成することができる。

【0114】

上記の実施形態によって提供される画像処理装置では、同一の露光期間中に、第一の初期画像と複数の第二の初期画像とを取得することができる。その後、複数の第二の初期画像を１つの深度画像にステッチすることができる。第一の初期画像および１つの深度画像から生成された第一の対象画像を、さらに処理してもよい。従来技術のＴＯＦカメラに比べて、本発明の画像処理装置ではフレーム損失が発生しにくく、画像処理システムの安定性を向上させることができる。

【0115】

いくつかの実施形態において、第二の初期画像は、画像データと、画像データに対応するメタデータとを含んでもよい。ステッチングユニット１００４は、少なくとも２つの第二の初期画像を１つの深度画像にステッチするように構成されてもよい。より具体的には、ステッチングユニット１００４は、第二の初期画像のそれぞれの画像データおよびメタデータを抽出し、抽出した画像データおよびメタデータをパッケージ化し、パッケージ化した画像データおよびメタデータを記憶するように構成されてもよい。記憶した画像データおよびメタデータは、深度画像のデータであってもよい。

【0116】

いくつかの実施形態において、ステッチングユニット１００４は、抽出した画像データおよびメタデータを、以下の動作によってパッケージ化するように構成されてもよい。

【0117】

少なくとも２つの第二の初期画像の画像データと対応するメタデータとをそれぞれステッチしてもよく、あるいは、露光タイミングに従って、少なくとも２つの第二の初期画像の画像データとメタデータとを順次ステッチしてもよい。

【0118】

いくつかの実施形態において、捕捉した少なくとも２つの第二の初期画像のうちの少なくとも１つを、キーフレームとして構成してもよく、捕捉した少なくとも２つの第二の初期画像のうちの少なくとも１つを、非キーフレームとして構成してもよい。ステッチングユニット１００４は、キーフレーム内の画素点と非キーフレーム内の対応する画素点との間の位相差データを計算することと、キーフレームの画像データおよびメタデータを抽出することと、計算した位相差データとキーフレームの画像データおよびメタデータとをパッケージ化することによって、抽出した画像データおよびメタデータをパッケージ化するように構成されてもよい。

【0119】

いくつかの実施形態において、メタデータを、第二の初期画像を捕捉するシーケンスを示すように構成してもよい。ステッチングユニット１００４は、捕捉した第二の初期画像のうちの少なくとも１つがメタデータに従って失われたかどうかを判定することと、捕捉した第二の初期画像が全く失われていないという判定に基づいて、第二の初期画像と対応する識別情報とをパッケージ化することと、パッケージ化した第二の初期画像を、識別情報に従って深度画像に合成することによって、少なくとも２つの第二の初期画像を深度画像にステッチすることとを行うように構成されてもよい。

【0120】

いくつかの実施形態において、取得ユニット１００２は、以下のアクションまたは動作によって、露光期間中に第二のカメラが第二のフレームレートで捕捉する少なくとも２つの第二の初期画像を取得するように構成されてもよい。

【0121】

レーザエミッタは、露光期間中に第二のフレームレートで少なくとも２つのレーザ波を放射するように制御することができる。

【0122】

レーザ波は、被写体によって反射され、反射レーザ波を生成してもよく、反射レーザ波が形成した少なくとも２つの対応する第二の初期画像を、露光期間中に第二のカメラが捕捉してもよい。

【0123】

いくつかの実施形態において、装置１０００は、計算ユニット（図示せず）をさらに含むことができる。計算ユニットは、少なくとも２つの第二の初期画像に対応する深度情報を、時間差法または位相差法を用いて計算するように構成されてもよい。

【0124】

画像処理装置の上記実施形態において各モジュールに分割されているのは、単に例示の目的のためである。他の実施形態では、画像処理装置は、上記のモジュールとは異なる他のモジュールに分割されて、画像処理装置の機能の全部または一部を完了してもよい。

【0125】

本開示のいくつかの実施形態において、コンピュータ可読記憶媒体をさらに提供することができる。１つまたは複数のコンピュータ可読記憶媒体は、コンピュータ実行可能命令を含んでもよい。コンピュータ実行可能命令を１つまたは複数のプロセッサによって実行するとき、プロセッサは、上述の実施形態による画像処理方法を実行するようにさせることができる。

【0126】

コンピュータプログラム製品は、命令を含むことができる。このコンピュータプログラム製品をコンピュータで実行すると、コンピュータに、上記実施形態で提供された画像処理方法を実行させることができる。

【0127】

本開示のいくつかの実施形態において、電子機器をさらに提供することができる。上記電子機器は、画像処理回路を含んでもよい。画像処理回路は、ハードウェアおよび／またはソフトウェアコンポーネントによって実装されてもよく、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）パイプラインを規定する様々な処理ユニットを含んでもよい。図１１は、本開示のいくつかの実施形態による画像処理回路のブロック図である。図１１に示すように、説明のために、本開示の実施形態に関連する画像処理技法の様々な態様のみを示すことができる。

【0128】

図１１に示すように、画像処理回路は、第一のＩＳＰプロセッサ１１３０、第二のＩＳＰプロセッサ１１４０、および制御ロジック１１５０を含むことができる。第一のカメラ１１１１は、１つまたは複数の第一のレンズ１１１２および第一の画像センサ１１１４を含んでもよい。第一の画像センサ１１１４は、カラーフィルタアレイ（ベイヤーフィルタ等）を含んでもよい。第一の画像センサ１１１４は、第一の画像センサ１１１４の各捕捉画素が捕捉した光強度および波長情報を取得し、第一のＩＳＰプロセッサ１１３０が処理し得る一組の画像データを提供するように構成されてもよい。第二のカメラ１１２０は、１つまたは複数の第二のレンズ１１２２および第二の画像センサ１１２４を含んでもよい。第二の画像センサ１１２４は、カラーフィルタアレイ（ベイヤーフィルタ等）を含んでもよい。第二の画像センサ１１２４は、第二の画像センサ１１２４の各捕捉画素が捕捉した光強度および波長情報を取得し、第二のＩＳＰプロセッサ１１４０が処理し得る一組の画像データを提供するように構成されてもよい。

【0129】

第一のカメラ１１１１が捕捉した第一の初期画像を、処理のために第一のＩＳＰプロセッサ１１３０に送信することができる。第一のＩＳＰプロセッサ１１３０が第一の初期画像を処理した後、第一の初期画像の統計データ（画像の輝度、画像のコントラスト、画像の色等）を制御ロジック１１５０に送信することができる。制御ロジック１１５０は、第一のカメラ１１１１が、制御パラメータに従って、オートフォーカス、オート露光等の動作を実行し得るように、統計データに従って、第一のカメラ１１１１の制御パラメータを決定するように構成されてもよい。第一の初期画像を、第一のＩＳＰプロセッサ１１３０によって処理した後、画像メモリ１１６０に記憶してもよい。第一のＩＳＰプロセッサ１１３０は、また、処理のために画像メモリ１１６０に記憶された画像を読み出すように構成してもよい。さらに、第一の初期画像を、ＩＳＰプロセッサ１１３によって処理した後、表示のためにディスプレイ１１７０に直接送信してもよい。ディスプレイ１１７０は、また、表示のために画像メモリ１１６０内の画像を読み取るように構成されてもよい。

【0130】

第一のＩＳＰプロセッサ１１３０は、複数のフォーマットに従って画素毎に画像データを処理するように構成されてもよい。例えば、各画像ピクセルは、８、１０、１２、または１４ビットのビット深度を有することができる。第一のＩＳＰプロセッサ１１３０は、画像データ上で１つまたは複数の画像処理動作を行い、画像データ上の統計情報を収集するように構成することができる。いくつかの実施形態において、画像処理動作は、同じまたは異なるビット深度精度で実行されてもよい。

【0131】

画像メモリ１１６０は、メモリ装置、記憶装置、または電子機器内の別個の専用メモリの一部であってもよい。画像メモリ１１６０は、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）の特徴を有することができる。

【0132】

第一のＩＳＰプロセッサ１１３０は、第一の画像センサ１１１４から画像データを受信すると、１つまたは複数の画像処理動作、例えば、時間領域フィルタリングを実行することができる。処理された画像データを、表示する前に追加処理のために画像メモリ１１６０に送信してもよい。第一のＩＳＰプロセッサ１１３０は、処理されたデータを画像メモリ１１６０から受信し、処理されたデータに対してＲＧＢおよびＹＣｂＣｒ色空間で画像データ処理を行うことができる。第一のＩＳＰプロセッサ１１３０が処理した画像データは、ディスプレイ１１７０に出力されてもよく、その結果、画像データを、ユーザが見ることができ、および／または、グラフィックエンジンまたはＧＰＵ（グラフィックス処理ユニット）がさらに処理することもできる。さらに、第一のＩＳＰプロセッサ１１３０の出力も画像メモリ１１６０に送信することができ、ディスプレイ１１７０は画像メモリ１１６０から画像データを読み出すことができる。いくつかの実施形態において、画像メモリ１１６０は、１つまたは複数のフレームバッファを実装するように構成され得る。

【0133】

第一のＩＳＰプロセッサ１１３０が決定した統計データを、制御ロジック１１５０に送信してもよい。例えば、統計データは、自動露出、自動ホワイトバランス、自動焦点、フリッカ検出、黒レベル補正、第一のレンズ１２１２のシェーディング補正等の、第一の画像センサ１１１４の統計情報を含んでもよい。制御ロジック１１５０は、プロセッサおよび／または１つまたは複数のルーチン（ファームウェア等）を実行するように構成されたマイクロコントローラを含むことができる。１つまたは複数のルーチンは、受信された統計データに従って、第一のカメラ１１１１およびＩＳＰプロセッサ１１３０の制御パラメータを決定するように構成され得る。例えば、第一のカメラ１１１１の制御パラメータは、ゲイン、露光制御の積分時間、アンチジッタパラメータ、フラッシュ制御パラメータ、第一のレンズ１１１２の制御パラメータ（フォーカスまたはズームされた焦点距離等）、またはこれらのパラメータの組み合わせ等を含んでもよい。ＩＳＰ制御パラメータは、（例えば、ＲＧＢ処理中の）自動ホワイトバランスおよび色調整のための利得レベルおよび色補正マトリクスと、第一のレンズ１１１２のシェーディング補正パラメータとを含むことができる。

【0134】

同様に、第二のカメラ１１２０が捕捉した第二の初期画像を、処理のために第二のＩＳＰプロセッサ１１４０に送信することができる。第二のＩＳＰプロセッサ１１４０が第二の初期画像を処理した後、第二の初期画像の統計データ（画像の輝度、画像のコントラスト、画像の色等）を制御ロジック１１５０に送信することができる。制御ロジック１１５０は、第二のカメラ１１２０が、制御パラメータに従って、オートフォーカス、オート露光等の動作を実行し得るように、統計データに従って、第二のカメラ１１２０の制御パラメータを決定するように構成されてもよい。第二の初期画像を、第二のＩＳＰプロセッサ１１４０によって処理した後、画像メモリ１１６０に記憶してもよい。第二のＩＳＰプロセッサ１１４０は、また、処理のために画像メモリ１１６０に記憶された画像を読み出すように構成してもよい。さらに、第二の初期画像を、ＩＳＰプロセッサ１１４によって処理した後、表示のためにディスプレイ１１７０に直接送信してもよい。ディスプレイ１１７０は、また、表示のために画像メモリ１１６０内の画像を読み取るように構成されてもよい。第二のカメラ１１２０および第二のＩＳＰプロセッサ１１４０は、第一のカメラ１１１１および第一のＩＳＰプロセッサ１１３０で説明したプロセスを実施することもできる。

【0135】

本開示で使用されるメモリ、ストレージ、データベース、または他の媒体へのいかなる言及も、メモリおよび／または一時メモリを含むことができる。メモリには、読取り専用メモリ、プログラマブルＲＯＭ、電気的プログラマブルＲＯＭ、電気的消去可能プログラマブルＲＯＭ、またはフラッシュメモリが含まれてもよい。一時メモリは、ランダムアクセスメモリを含んでもよく、外部高速バッファメモリとして使用されてもよい。例示的ではあるが、ＲＡＭは、無制限に、例えば、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）、ラムバスダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトＲＤＲＡＭ（ＤＲＤＲＡＭ）およびラムバスダイナミックＲＡＭ（ＲＤＲＡＭ）等、様々な形態で得ることができる。

【0136】

上述の実施形態は、本開示のいくつかの実施形態を説明するだけであり、具体的に詳細に説明されているが、本開示の範囲を限定するものとして理解されるべきではない。当業者は、本開示の概念から逸脱することなく、複数の変換および改良をさらに行うことができることを指摘しておく。これらの全ては、本開示の保護の範囲内にある。したがって、特許開示の保護範囲は、添付の特許請求の範囲に従うべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】