知財求人 - 知財ポータルサイト「IP Force」
▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧
特表2022-504849画像データを処理するための方法、装置、プログラム、及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-13
(54)【発明の名称】画像データを処理するための方法、装置、プログラム、及び記録媒体
(51)【国際特許分類】
H04N 5/232 20060101AFI20220105BHJP
H04N 5/235 20060101ALI20220105BHJP
【ＦＩ】
H04N5/232 290
H04N5/235 600
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021520323
(86)(22)【出願日】2018-10-15
(85)【翻訳文提出日】2021-05-20
(86)【国際出願番号】 CN2018110308
(87)【国際公開番号】W WO2020077513
(87)【国際公開日】2020-04-23
(81)【指定国・地域】
(71)【出願人】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】滝澤 成温
(72)【発明者】
【氏名】星 輝
(72)【発明者】
【氏名】伊波 康
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122DA09
5C122EA12
5C122FA09
5C122FC02
5C122FC10
5C122FH07
5C122FH11
5C122FH18
5C122HA87
5C122HB01
5C122HB02
(57)【要約】
高画像品質画像データを処理する方法及び装置が提供される。画像データを処理する方法は、第１モードにおいて捕捉される第１の画像データを取得する段階であって、第１モードでは第１の解像度が設定される段階と、撮影命令に応じて、第１モードを第２モードに切り替える段階であって、第２モードでは第２の解像度が設定され、第２の解像度は、第１の解像度とは異なる段階と、第２モードにおいて捕捉される第２の画像データを取得する段階と、第１モードベースの融合を適用して、第２の画像データを、基準画像としての第１の画像データと融合させる段階と、を含む。
【特許請求の範囲】
【請求項1】
第１モードにおいて捕捉される第１の画像データを取得する段階であって、前記第１モードでは第１の解像度が設定される段階と、撮影命令に応じて、前記第１モードを第２モードに切り替える段階であって、前記第２モードでは第２の解像度が設定され、前記第２の解像度は、前記第１の解像度とは異なる段階と、
前記第２モードにおいて捕捉される第２の画像データを取得する段階と、
第１モードベースの融合を適用して、前記第２の画像データを、基準画像データである前記第１の画像データと融合させる段階と、
を含む、画像データを処理する方法。
【請求項2】
前記方法は、前記第１の画像データを選択するとともに、前記第２の画像データを選択する段階を更に含む、請求項１に記載の方法。
【請求項3】
選択される前記第１の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であり、選択される前記第２の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像である、請求項２に記載の方法。
【請求項4】
前記方法は、撮像条件に基づいて、前記第１モードベースの融合が適用されるか否かを決定する段階を更に含み、前記第１モードを第２モードに切り替える段階は、前記第１モードベースの融合が適用されることが決定され、前記撮影命令が受信されると、前記第１モードを第２モードに切り替える段階を含む、請求項１～３のいずれか一項に記載の方法。
【請求項5】
前記撮像条件に基づいて、前記第１モードベースの融合が適用されるか否かを決定する段階は、前記撮影命令が受信されるまで前記第１モードにおいて捕捉された連続フレーム間の変化に基づいて、前記第１モードベースの融合が適用されるか否かを決定する段階を含む、請求項４に記載の方法。
【請求項6】
前記連続フレーム間の前記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含む、請求項５に記載の方法。
【請求項7】
前記第１の画像データ及び前記第２の画像データは、同じ視野角及び同じ合焦位置を有するように設定される、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記第１モードベースの融合は、前記撮影命令までに捕捉された前記第１の画像データを使用して、前記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられる、請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記第１モード及び前記第２モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行する段階であって、前記フレームは、前記第１モードにおいて捕捉された第１フレームと、前記第２モードにおいて捕捉された第２フレームとを含む段階を更に含み、前記第１モードベースの融合を適用する段階において、前記カメラ揺れ補償の後の前記第２の画像データと、前記第１の画像データとが使用される、請求項１～８のいずれか一項に記載の方法。
【請求項10】
前記第１モードが高解像度モードであり、前記第２モードが通常モードであるか、又は、前記第１モードが通常モードであり、前記第２モードが高解像度モードである、請求項１～９のいずれか一項に記載の方法。
【請求項11】
前記第１の画像データ及び前記第２の画像データは、撮像ユニットにおける１つのイメージセンサから取得される、請求項１～１０のいずれか一項に記載の方法。
【請求項12】
前記方法は、前記第１モード及び前記第２モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行する段階を更に備え、前記第１モードベースの融合を適用する段階において、前記ノイズ低減処理の後の前記第１の画像データ及び前記第２の画像データが使用される、請求項１～１１のいずれか一項に記載の方法。
【請求項13】
異なるモードにおいて捕捉される複数の画像データを含むビデオシーケンスを取得する段階であって、前記異なるモードでは異なる解像度が設定される段階と、ビデオシーケンスの画像フレーム間の変化に基づいて、前記異なるモードにおいて捕捉される前記複数の画像データを融合するように異なるモードベースの融合が適用されるか否かを決定する段階と、
前記決定の結果に基づいて、前記ビデオシーケンスの前記複数の画像データに対して前記モードベースの融合を適用する段階と、
を含む、画像データを処理する方法。
【請求項14】
カメラモジュールと、命令を含む不揮発性メモリストレージと、
前記カメラモジュール及び前記不揮発性メモリストレージと通信する１つ又は複数のプロセッサであって、前記命令を実行して、請求項１～１３のいずれか一項に記載の方法を実行する１つ又は複数のプロセッサと、
を備える、デバイス。
【請求項15】
コンピュータに、請求項１～１３のいずれか一項に記載の方法を実行させるプログラムを記録したコンピュータ可読記憶媒体。
【請求項16】
コンピュータに、請求項１～１３のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理に関連する技術に関し、より詳細には、カメラによって捕捉した画像データ等の、画像データを処理する方法及び装置に関する。
【背景技術】
【0002】
スマートフォン等の個人情報端末には、被写体を撮影するためのカメラが搭載されることが知られている。一般に、カメラは、イメージセンサを備え、イメージセンサからの画像データを処理してオブジェクトを表示する。
【発明の概要】
【0003】
本開示の実施形態は、高画像品質画像を出力するための方法、装置、プログラム、及び記録媒体を提供する。前述の目的を達成するために、以下の技術的解決策が実施形態において用いられる。
【0004】
実施形態の第１の態様は、以下の方法を提供する。
【0005】
第１モードにおいて捕捉される第１の画像データを取得する段階であって、上記第１モードでは第１の解像度が設定される段階と、
撮影命令（ユーザ、タイマー、プログラム等による撮影命令等）に応じて、上記第１モードを第２モードに切り替える段階であって、上記第２モードでは第２の解像度が設定され、上記第２の解像度は、上記第１の解像度とは異なる段階と、
上記第２モードにおいて捕捉される第２の画像データを取得する段階と、
第１モードベースの融合を適用して、上記第２の画像データを、基準画像データとして使用される上記第１の画像データと融合させる段階と、
を含む、撮像ユニットによって捕捉される画像データ等の画像データを処理する方法。
第１モード画像データ（すなわち、第１モードにおいて捕捉された第１の画像データ）は、第１モードベースの融合において基準画像データとなることが留意され得る。
第１モード画像データ（すなわち、第１モードにおいて捕捉された第１の画像データ）と第２モード画像データ（すなわち、第２モードにおいて捕捉された第２の画像データ）とを融合した後、融合画像データが出力される。
第１の解像度を除いて、通常モード又は通常モードの情報も第１モードに含まれることに留意されたい。例えば、段落［０１０７］の説明を参照されたい。
撮像ユニット２０は、段落［００４２］等の説明において詳細に説明されていることに留意されたい。
第１モードベースの融合を使用することによって、第２モードの画像データは、第１モードの画像データと融合されることに留意されたい。例えば、第１モードベースの融合は、図４のブロック（６１～６７）に対応し得る。
撮影命令（ユーザ、タイマー、プログラム等による撮影命令等）に応じて、上記第１モードを第２モードに切り替える段階であって、上記第２モードでは第２の解像度が設定され、上記第２の解像度は、上記第１の解像度とは異なる段階と、
上記第２モードにおいて捕捉される第２の画像データを取得する段階と、
第１モードベースの融合を適用して、上記第２の画像データを、基準画像データとして使用される上記第１の画像データと融合させる段階と、
を含む、撮像ユニットによって捕捉される画像データ等の画像データを処理する方法。
第１モード画像データ（すなわち、第１モードにおいて捕捉された第１の画像データ）は、第１モードベースの融合において基準画像データとなることが留意され得る。
第１モード画像データ（すなわち、第１モードにおいて捕捉された第１の画像データ）と第２モード画像データ（すなわち、第２モードにおいて捕捉された第２の画像データ）とを融合した後、融合画像データが出力される。
第１の解像度を除いて、通常モード又は通常モードの情報も第１モードに含まれることに留意されたい。例えば、段落［０１０７］の説明を参照されたい。
撮像ユニット２０は、段落［００４２］等の説明において詳細に説明されていることに留意されたい。
第１モードベースの融合を使用することによって、第２モードの画像データは、第１モードの画像データと融合されることに留意されたい。例えば、第１モードベースの融合は、図４のブロック（６１～６７）に対応し得る。
【0006】
第１の態様によれば、高画像品質画像データが出力され得る。特に、第１及び第２モード間の画像データが融合される。上記モードは異なる解像度を有し、これらのモードにおいて異なる解像度及び感度の画像を取得可能である。したがって、融合画像データは、高品質画像データとして出力され得る。
【0007】
第１の態様の第１の可能な方式において、方法は、第１の画像データを選択するとともに、第２の画像データを選択する段階を更に含んでよい。こにより、第１及び第２の画像データを融合することが可能になり得る。
【0008】
第１の態様に係る、第１の態様の第２の可能な方式において、選択される上記第１の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であってよく、選択される上記第２の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であってよい。これにより、融合画像データを最もシャープな画像とすることが可能になり得る。
第１モードにおいて捕捉された画像データのセットから、最も少数の移動オブジェクトを有する最もシャープな画像が選択又は決定され得ることが理解され得る。第２モードにおいて捕捉された画像データのセットから、最も少数の移動オブジェクトを有する最もシャープな画像が選択又は決定され得ることが理解され得る。
第１モードにおいて捕捉された画像データのセットから、最も少数の移動オブジェクトを有する最もシャープな画像が選択又は決定され得ることが理解され得る。第２モードにおいて捕捉された画像データのセットから、最も少数の移動オブジェクトを有する最もシャープな画像が選択又は決定され得ることが理解され得る。
【0009】
第１の態様、第１及び第２の可能な方式のいずれか１つに係る、第１の態様の第３の可能な方式において、方法は、撮像条件に基づいて、上記第１モードベースの融合が適用されるか否かを決定する段階を更に含んでよく、
上記第１モードを第２モードに切り替える段階は、上記第１モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第１モードを第２モードに切り替える段階を含む。一例において、段落［００７０］の式（１）～（７）が撮像条件に対応する。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
上記第１モードを第２モードに切り替える段階は、上記第１モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第１モードを第２モードに切り替える段階を含む。一例において、段落［００７０］の式（１）～（７）が撮像条件に対応する。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0010】
第３の可能な方式に係る、第１の態様の第４の可能な方式において、上記撮像条件に基づいて、上記第１モードベースの融合が適用されるか否かを決定する段階は、上記撮影命令が受信されるまで第１モードにおいて捕捉された連続フレーム間の変化に基づいて、上記第１モードベースの融合が適用されるか否かを決定する段階を含む。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0011】
第４の可能な方式に係る、第１の態様の第５の可能な方式において、上記連続フレーム間の上記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含んでよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0012】
第１の態様及び第１～第５の可能な方式のいずれか１つに係る、第１の態様の第６の可能な方式において、上記第１の画像データ及び上記第２の画像データは、同じ視野角及び同じ合焦位置を有するように設定されてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0013】
第１の態様及び第１～第６の可能な方式のいずれか１つに係る、第１の態様の第７の可能な方式において、上記第１モードベースの融合は、上記撮影命令までに捕捉された上記画像を使用して、上記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0014】
第１の態様及び第１～第７の可能な方式のいずれか１つに係る、第１の態様の第８の可能な方式において、上記方法は、
上記第１モード及び上記第２モード間のカメラ揺れ補償を実行する段階、特に、上記第１モード及び上記第２モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行する段階を更に含んでよく、上記フレームは、第１モードにおいて捕捉された第１フレーム（上記第１の画像データを含む）及び第２モードにおいて捕捉された第２フレーム（第２の画像データを含む）を含んでよく、
上記第１モードベースの融合を適用する段階において、上記カメラ揺れ補償の後の上記第２の画像データと、上記第１の画像データとが使用される。第１の画像データは、基準画像データとして使用されてよく、したがって、第２の画像データは、第１の画像データに対するカメラ揺れを有し、そのため、カメラ揺れ補償は第２の画像データに適用されることが理解され得る。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
上記第１モード及び上記第２モード間のカメラ揺れ補償を実行する段階、特に、上記第１モード及び上記第２モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行する段階を更に含んでよく、上記フレームは、第１モードにおいて捕捉された第１フレーム（上記第１の画像データを含む）及び第２モードにおいて捕捉された第２フレーム（第２の画像データを含む）を含んでよく、
上記第１モードベースの融合を適用する段階において、上記カメラ揺れ補償の後の上記第２の画像データと、上記第１の画像データとが使用される。第１の画像データは、基準画像データとして使用されてよく、したがって、第２の画像データは、第１の画像データに対するカメラ揺れを有し、そのため、カメラ揺れ補償は第２の画像データに適用されることが理解され得る。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0015】
第１の態様及び第１～第８の可能な方式のいずれか１つに係る、第１の態様の第９の可能な方式において、上記第１モードが高解像度モードであってよく、上記第２モードが通常モードであってよい、又は、
上記第１モードが通常モードであってよく、上記第２モードが高解像度モードであってよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
上記第１モードが通常モードであってよく、上記第２モードが高解像度モードであってよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0016】
第１の態様及び第１～第９の可能な方式のいずれか１つに係る、第１の態様の第１０の可能な方式において、上記第１の画像データ及び上記第２の画像データは、上記撮像ユニットにおける同じイメージセンサから取得されてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0017】
第１の態様及び第１～第１０の可能な方式のいずれか１つに係る、第１の態様の第１１の可能な方式において、上記方法は、上記第１モード及び上記第２モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行する段階を更に備えてよく、
上記第１モードベースの融合を適用する段階において、上記ノイズ低減処理の後の上記第１の画像データ及び上記第２の画像データが使用されてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
上記第１モードベースの融合を適用する段階において、上記ノイズ低減処理の後の上記第１の画像データ及び上記第２の画像データが使用されてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0018】
実施形態の第２の態様は、以下の方法を提供する。
【0019】
異なるモードにおいて捕捉される複数の画像データを含むビデオシーケンスを取得する段階であって、上記異なるモードでは異なる解像度が設定される段階と、
ビデオシーケンスの連続画像フレーム間の変化に基づいて異なるモードベースの融合が適用されるか否かを決定する段階、特に、ビデオシーケンスの画像フレーム間の変化に基づいて、上記異なるモードにおいて捕捉される上記画像データを融合するように異なるモードベースの融合が適用されるか否かを決定する段階と、
上記決定の結果に基づいて、上記ビデオシーケンスの上記画像データに対して上記モードベースの融合を適用する段階、例えば、異なるモードにおいて捕捉される画像データを融合するために上記モードベースの融合が適用されることになることが決定された場合、上記ビデオシーケンスの上記画像データに対して上記モードベースの融合を適用する段階と、
を含む、撮像ユニットによって捕捉される画像データ等の画像データを処理する方法。
ビデオシーケンスの連続画像フレーム間の変化に基づいて異なるモードベースの融合が適用されるか否かを決定する段階、特に、ビデオシーケンスの画像フレーム間の変化に基づいて、上記異なるモードにおいて捕捉される上記画像データを融合するように異なるモードベースの融合が適用されるか否かを決定する段階と、
上記決定の結果に基づいて、上記ビデオシーケンスの上記画像データに対して上記モードベースの融合を適用する段階、例えば、異なるモードにおいて捕捉される画像データを融合するために上記モードベースの融合が適用されることになることが決定された場合、上記ビデオシーケンスの上記画像データに対して上記モードベースの融合を適用する段階と、
を含む、撮像ユニットによって捕捉される画像データ等の画像データを処理する方法。
【0020】
第２の態様によれば、高画像品質画像データが連続して出力され得る。特に、第１及び第２モード間の画像データが融合される。上記モードは異なる解像度を有し、これらのモードにおいて異なる解像度及び感度の画像を取得可能である。したがって、融合画像データは、高品質画像データとして出力され得る。
【0021】
実施形態の第３の態様は、以下の装置を提供する。
【0022】
第１の解像度を有する第１モードにおいて捕捉される複数の第１の画像データを取得するように構成されている第１の取得ユニットと、
撮影命令（ユーザ、タイマー、プログラム等による撮影命令等）に応じて、上記第１モードを第２モードに切り替えるように構成されている切り替えユニットであって、上記第２モードでは第２の解像度が設定され、上記第２の解像度は、上記第１の解像度とは異なる切り替えユニットと、
上記第２モードにおいて捕捉される、特に、第２モードの第２の解像度で捕捉される、第２の画像データを取得するように構成されている第２の取得ユニットと、
第１モードベースの融合を適用して、上記第２の画像データを、基準画像データである上記第１の画像データと融合させるように構成されている融合ユニットと、
を備える、撮像ユニットによって捕捉される画像データ等の画像データを処理する装置。第３の態様によれば、高画像品質画像データが出力され得る。特に、第１及び第２モード間の画像データが融合される。上記モードは異なる解像度を有し、これらのモードにおいて異なる解像度及び感度の画像を取得可能である。したがって、融合画像データは、高品質画像データとして出力され得る。
撮影命令（ユーザ、タイマー、プログラム等による撮影命令等）に応じて、上記第１モードを第２モードに切り替えるように構成されている切り替えユニットであって、上記第２モードでは第２の解像度が設定され、上記第２の解像度は、上記第１の解像度とは異なる切り替えユニットと、
上記第２モードにおいて捕捉される、特に、第２モードの第２の解像度で捕捉される、第２の画像データを取得するように構成されている第２の取得ユニットと、
第１モードベースの融合を適用して、上記第２の画像データを、基準画像データである上記第１の画像データと融合させるように構成されている融合ユニットと、
を備える、撮像ユニットによって捕捉される画像データ等の画像データを処理する装置。第３の態様によれば、高画像品質画像データが出力され得る。特に、第１及び第２モード間の画像データが融合される。上記モードは異なる解像度を有し、これらのモードにおいて異なる解像度及び感度の画像を取得可能である。したがって、融合画像データは、高品質画像データとして出力され得る。
【0023】
第３の態様の第１の可能な方式において、上記融合ユニットは、上記第１の画像データ及び上記第２の画像データを選択するように構成されてよい。これにより、第１及び第２の画像データが融合されることが可能になり得る。
【0024】
第３の態様の第１の可能な方式に係る、第３の態様の第２の可能な方式において、選択される上記第１の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であってよく、選択される上記第２の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であってよい。これにより、融合画像データが最もシャープな画像となることが可能になり得る。
【0025】
第３の態様の第３の方式、第１及び第２の可能な方式のいずれか１つに係る、第３の態様の第３の可能な方式において、上記装置は、撮像条件に基づいて、上記第１モードベースの融合が適用されるか否かを決定するように構成されている決定ユニットを更に備えてよく、
上記切り替えユニットは、上記第１モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第１モードを第２モードに切り替えるように構成されてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
上記切り替えユニットは、上記第１モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第１モードを第２モードに切り替えるように構成されてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0026】
第３の態様の第４の可能な方式において、決定ユニットは、具体的には、上記撮影命令が受信されるまで第１モードにおいて捕捉された連続フレーム間の変化に基づいて、上記第１モードベースの融合が適用されるか否かを決定するように構成されてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0027】
第３の態様の第４の可能な方式に係る、第３の態様の第５の可能な方式において、上記連続フレーム間の上記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含んでよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0028】
第３の態様の第１～第５の可能な方式のいずれか１つに係る、第３の態様の第６の可能な方式において、上記第１の画像データ及び上記第２の画像データは、同じ視野角及び同じ合焦位置を有するように設定されてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0029】
第３の態様の第１～第６の可能な方式のいずれか１つに係る、第３の態様の第７の可能な方式において、上記第１モードベースの融合は、上記撮影命令までに捕捉された上記画像を使用して、上記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0030】
第３の態様の第１～第７の可能な方式のいずれか１つに係る、第３の態様の第８の可能な方式において、融合ユニットは、上記第１モード及び上記第２モード間のカメラ揺れ補償を実行、特に、上記第１モード及び上記第２モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行するように構成されている整合ユニットあって、上記フレームは、上記第１モードにおいて捕捉された第１フレームと、上記第２モードにおいて捕捉された第２フレームとを含む整合ユニットを備えてよく、
上記融合ユニットは、上記カメラ揺れ補償後の第２の画像データ及び上記第１の画像データに融合を適用して、カメラ揺れ補償後の第２の画像データを、基準画像データとして使用される第１の画像データと融合させるように構成されてよい。特に、各第２の画像データは、異なるモード間でカメラ揺れを有する。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
上記融合ユニットは、上記カメラ揺れ補償後の第２の画像データ及び上記第１の画像データに融合を適用して、カメラ揺れ補償後の第２の画像データを、基準画像データとして使用される第１の画像データと融合させるように構成されてよい。特に、各第２の画像データは、異なるモード間でカメラ揺れを有する。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0031】
第３の態様の第１～第８の可能な方式のいずれか１つに係る、第３の態様の第９の可能な方式において、上記第１モードが高解像度モードであってよく、上記第２の捕捉モードが通常モードであってよい、又は、上記第１モードが通常モードであってよく、上記第２の捕捉モードが高解像度モードであってよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0032】
第３の態様の第１～第９の可能な方式のいずれか１つに係る、第３の態様の第１０の可能な方式において、上記第１の画像データ及び上記第２の画像データは、同じイメージセンサから取得されてよい。これにより、融合画像データが高画像品質画像データであることが確実にされ得る。
【0033】
第３の態様の第１～第１０の可能な方式のいずれか１つに係る、第３の態様の第１１の可能な方式において、上記装置は、上記第１モード及び上記第２モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行するように構成されている低減ユニットを更に備えてよく、
上記融合ユニットは、ノイズ低減処理後の上記第１の画像データ及び上記第２の画像データに融合を適用するように構成されてよい。
上記融合ユニットは、ノイズ低減処理後の上記第１の画像データ及び上記第２の画像データに融合を適用するように構成されてよい。
【0034】
実施形態の第４態様は、以下の装置を提供する。
【0035】
異なるモードにおいて捕捉される複数の画像データを含むビデオシーケンスを取得するように構成されている取得ユニットであって、上記異なるモードでは異なる解像度が設定される取得ユニットと、
ビデオシーケンスの連続フレーム間の変化に基づいて、上記異なるモードにおいて捕捉される上記画像データを融合するように異なるモードベースの融合が適用されるか否かを決定するように構成されている決定ユニットと、
上記決定の結果に基づいて、上記ビデオシーケンスの上記画像データに対して異なるモードベースの融合を適用するように構成されている融合ユニットと、
を備える、撮像ユニットによって捕捉される画像データを処理する装置。
ビデオシーケンスの連続フレーム間の変化に基づいて、上記異なるモードにおいて捕捉される上記画像データを融合するように異なるモードベースの融合が適用されるか否かを決定するように構成されている決定ユニットと、
上記決定の結果に基づいて、上記ビデオシーケンスの上記画像データに対して異なるモードベースの融合を適用するように構成されている融合ユニットと、
を備える、撮像ユニットによって捕捉される画像データを処理する装置。
【0036】
第４態様によれば、高画像品質画像データが連続して出力され得る。特に、第１および第２モード間の画像データが融合される。上記モードは異なる解像度を有し、これらのモードにおいて異なる解像度及び感度の画像を取得可能である。したがって、融合画像データは、高品質画像データとして出力され得る。
【0037】
実施形態の第５の態様は、コンピュータに、実施形態の第１及び第２の態様並びに第１の態様の第１～第１０の可能な方式のいずれか１つに係る方法を実行させるプログラムを記録したコンピュータ可読記憶媒体を提供する。
【0038】
実施形態の第６の態様は、コンピュータに、実施形態の第１及び第２の態様並びに第１の態様の第１～第１０の可能な方式のいずれか１つに係る方法を実行させる、コンピュータプログラムを提供する。第７の態様によれば、本発明は、カメラモジュールと、１つ又は複数のプロセッサと、メモリとを備える画像データを処理するデバイスに関する。上記メモリは、１つ又は複数のプロセッサに第１又は第２の態様に係る方法を実行させる命令を格納している。１つ又は複数の実施形態の詳細は、添付の図面及び以下の説明に記載されている。他の特徴、目的、及び利点は、明細書、図面、及び特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0039】
実施形態における技術的解決策をより明確に説明するために、以下で本実施形態を説明するために必要な添付の図面を簡単に説明する。以下の説明における添付の図面は、可能な実施形態のいくつかを示すに過ぎず、当業者であれば、これらの添付の図面から創造努力を伴わずに他の図面を導き出し得ることが明らかである。
【図1】第１の実施形態に係る画像処理装置の構成の例を示す概略図である。
【図2】第１の実施形態に係る画像処理装置における、イメージセンサの物理ピクセル数と各モードでの画像データのピクセル数との相関を示す図である。
【図3】第１の実施形態に係る画像処理装置における高解像度モードベースの融合の適用を示すタイミングチャートである。
【図4】高解像度モードでの、第１の実施形態に係る画像処理装置の詳細な構成例を示す図である。
【図5】第１の実施形態に係る画像処理装置における通常モードベースの融合の適用を示すタイミングチャートである。
【図6】通常モードでの、第１の実施形態に係る画像処理装置の詳細な構成例を示す図である。
【図7】第１の実施形態に係る画像処理装置の機能構成の例を示す図である。
【図8】第１の実施形態に係る画像処理装置の全画像プロセスの例を示すフローチャートである。
【図9A】高解像度モードでの、第２の実施形態に係る画像処理装置の詳細な構成例を示す図である。
【図9B】通常モードでの、第２の実施形態に係る画像処理装置の詳細な構成例を示す図である。
【図10】第２の実施形態に係る画像処理装置によって実装される融合の概要を説明する図である。
【図11】ノイズが低減された態様を説明する図である。
【図12】第３の実施形態に係る画像処理装置の機能構成の例を示す図である。
【図13】第３の実施形態に係る画像処理装置によって実現されるビデオシーケンスの例を説明する図である。
【図14】第３の実施形態に係る画像処理装置の撮像プロセスの例を示すフローチャートである。
【図15】モード切り替えが実行されな場合のビデオシーケンスの例を説明する図である。
【発明を実施するための形態】
【0040】
以下では、本開示の実施形態の技術的解決策が、本開示の実施形態の添付の図面を参照しながら明確に説明される。説明される実施形態は、本開示の実施形態の全てではなく一部に過ぎないことが明らかである。当業者によって創造努力を伴わずに本開示の実施形態に基づいて得られ得る全ての他の実施形態は、本開示の実施形態の保護範囲に含まれることに留意されたい。
［第１の実施形態］
［第１の実施形態］
【0041】
この例示的な実施形態における画像処理装置１０の説明が以下に提供される。画像処理装置１０は、カメラによって捕捉される画像データを処理するように構成されている。
［画像処理装置１０の構成］
［画像処理装置１０の構成］
【0042】
図１は、第１の実施形態に係る画像処理装置１０のハードウェアの構成例を示す概略図である。
【0043】
図１に示すように、画像処理装置１０は、処理ユニット１１と、メモリ１２と、入力デバイス１３と、ディスプレイデバイス１４と、カメラモジュール（撮像ユニット）２０と、ジャイロスコープ３０とを備える。カメラモジュール２０は、イメージセンサ２１を備える。この実施形態において、画像処理装置１０は、例えば、タブレットコンピュータ、ファブレット又はモバイルフォン、携帯電話、個人情報端末、パーソナルコンピュータ又はロボット等を備える。
【0044】
処理ユニット１１は、制御信号及びデータを移動するプロセスを実行するために、バスによって個々のコンポーネントに接続される。処理ユニット１１は、画像処理装置１０の全操作を実現するために、様々なプログラム、算術処理、タイミング制御等を実行してもよい。プログラムは、ＤＶＤ（デジタル多用途ディスク）－ＲＯＭ（リードオンリメモリ）、ＣＤ（コンパクトディスク）－ＲＯＭ（リードオンリメモリ）等のコンピュータ可読記憶媒体上に格納してよい。プログラムは、セキュアデジタルカード（ＳＤカード）等の取り外し可能かつ読み取り可能なコンピュータ記憶媒体上に格納されてもよい。処理ユニット１１は、ＣＰＵ（中央処理装置）、ＤＳＰ（デジタル信号プロセッサ）、ＡＳＩＣ（特定用途向け集積回路）、又はＦＰＧＡ（フィールドプログラマブルゲートアレイ）等の処理デバイスである。メモリ１２は、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）、又はフラッシュメモリ等のストレージデバイスである。
【0045】
オペレーティングシステムのためのプログラム及び画像処理装置１０の一般的な動作制御に必要な種々のデータは、メモリ１２に格納される。データ及びプログラムを一時的に格納するためのメモリ領域が、プログラム及びデータ、並びに装置１０における処理に必要な他のデータを保持するためにメモリ１２において提供される。
【0046】
入力デバイス１３は、操作ボタン、タッチパネル、入力ペン、及びセンサを備える。
【0047】
ディスプレイデバイス１４は、液晶ディスプレイ又はＥＬ（エレクトロルミネッセンス）ディスプレイ等の平面ディスプレイであってよい。
【0048】
カメラモジュール２０に含まれるイメージセンサ２１は、オブジェクトの画像データを取得する。後で説明するように、この実施形態の画像処理装置１０におけるイメージセンサ２１は、高解像度モード９１と通常モード９２とを有する。一定の解像度を用いる高解像度モード９１では、高解像度画像データが取得される。高解像度モード９１の解像度とは異なる解像度を用いる通常モード９２では、画像データの解像度は高解像度モードにおける画像データの解像度より低いが、画像データの感度及びＳＮＲ（信号対ノイズ比）は高解像度モードにおける画像データの感度及びＳＮＲ（信号対ノイズ比）よりも高くなる。モードは、これらの２つのモード９１及び９２に限定されず、ＨＤＲ（ハイダイナミックレンジレンダリング）モードも適用されてよい。
【0049】
この実施形態において、イメージセンサ２１は、例えば、ＣＭＯＳ（相補型金属酸化物半導体）構成をとってよいが、オブジェクトの画像データを異なる解像度で取得することができるのであれば、他の構成をとってもよい。カメラモジュール２０は、画像処理装置１０の外側に搭載されてよい。
【0050】
ジャイロスコープ３０は、カメラ（すなわち、カメラモジュール２０）の揺れを検出するために角速度を検出するように構成されている。
【0051】
図２は、イメージセンサ２１の物理ピクセル数と、各モードにおける画像データのピクセル数との相関を示す図である。
【0052】
図２の（Ｂ）の高解像度モード９１における画像データのピクセル数は、図２の（Ａ）のイメージセンサ２１のピクセル数と同じである。この場合、図２の（Ｂ）における１ピクセルは、１ピクセルとして出力される。図２の（Ｂ）に示すピクセルのアレイは、ベイヤアレイの例を示している。
【0053】
一方で、図２の（Ｃ）の通常モード９２における画像データのピクセル数は、図２の（Ａ）のイメージセンサ２１のピクセル数よりも少ない。例えば、図２の（Ｃ）に示す２×２ピクセルは、１ピクセルとして出力される。
【0054】
イメージセンサ２１からの画像データは、フレームの形式で処理ユニット１１及びメモリ１２に定期的に出力される。
［高解像度モードにおける画像処理の概要］
［高解像度モードにおける画像処理の概要］
【0055】
【0056】
図３に示すように、この画像処理装置１０では、イメージセンサ２１は、高解像度モード９１に対応する複数の画像データＨ（ｎ－ｘ）～Ｈ（ｎ）（ここで、ｎ及びｘは正の整数である）を順次取得する。
【0057】
図３に示すように、例えば、ｔ１において、画像データを撮影する命令が受信され、その後、ｔ２において、処理ユニット１１が高解像度モード９１を通常モード９２に切り替える。撮影命令の可能な例は、例えば、ディスプレイデバイス１４上に表示されているシャッタボタンに対するタッチ操作の実行である。
【0058】
通常モード９２における複数の画像データＮ（ｎ＋１）～Ｎ（ｎ＋５）は、イメージセンサ２１から順次取得される。
【0059】
図３において、ｔ０～ｔ１の継続時間はゼロシャッタラグ撮影の期間Ｔであり、この期間の間、高解像度モード９１における上述した画像データＨ（ｎ－ｘ）～Ｈ（ｎ）が、ディスプレイデバイス１４上にプレビューで表示されてよい。ゼロシャッタラグとは、撮影命令からオブジェクトの撮影完了までにタイムラグが存在しないことを意味する。
【0060】
その後、高解像度モードベースの融合が、通常モード９２における画像データＮ（ｎ＋１）に適用され、画像データＮ（ｎ＋１）と、シンボルＰで示される画像データＨ（ｎ－ｘ）とが融合される。したがって、融合された画像データは、撮影命令を受けた画像データとして出力される。
【0061】
上記融合では、２つの画像データＮ（ｎ＋１）、Ｈ（ｎ－ｘ）内のピクセルの特徴（輝度値等）に基づいて、画像処理装置１０は、２つの画像データのうちの適切な一方におけるピクセルを選択して、画像データを出力する。
【0062】
例えば、ピクセルの特徴がエッジを反映する場合、高解像度モード９１における画像データＨ（ｎ－ｘ）内のピクセルが選択される。一方、ピクセルの特徴が変動の比較的少ない背景を反映する場合、通常モード９２における画像データＮ（ｎ＋１）内のピクセルが選択される。結果として、出力される画像データは、ピクセルの特徴に従った適切なモードにおけるピクセルを含む。したがって、高画像品質画像データが出力され得る。
【0063】
モード９１及び９２間での融合の適用の関係は、図３に例示されているものに限定されない。高画像品質画像データは、融合においてモード９１及び９２間の画像データについて、揺れの影響が小さい画像データ（例えば、以下に与える式（３）及び（４）において差が小さい画像データ）を使用することによって出力されてよい。したがって、例えば、高解像度モード９１における画像データＨ（ｎ－ｘ）ではない画像データと、画像データＮ（ｎ＋１）とが融合されてよい。代替的には、高解像度モード９１における画像データＨ（ｎ－ｘ）～Ｈ（ｎ）のいずれか１つと、画像データＮ（ｎ＋１）～Ｎ（ｎ＋５）のいずれか１つとが融合されてよい。
［高解像度モードにおける画像処理装置の詳細な構成例］
［高解像度モードにおける画像処理装置の詳細な構成例］
【0064】
図４は、高解像度モードにおける画像処理装置１０の詳細な構成例を示す図である。
【0065】
図４を参照すると、画像処理装置１０は、メモリ１２と、カメラモジュール２０と、ジャイロスコープ３０と、第１処理ユニット５０と、第２処理ユニット６０とを備える。
【0066】
まず、モード９１及び９２間の切り替えに関する第１処理ユニット５０におけるコンポーネントを説明する。第１処理ユニット５０は、３Ａユニット５１と、移動オブジェクト検出器５２と、カメラ揺れ検出器５３と、捕捉モードコントローラ５４とを備える。３Ａとは、前処理としての自動露出（ＡＥ）、オートフォーカス（ＡＦ）、及びオートホワイトバランス（ＡＷＢ）を指す。
【0067】
カメラモジュール２０におけるイメージセンサ２１から出力される画像データは、フレームごとに、３Ａユニット５１及び移動オブジェクト検出器５２に順次出力される。
【0068】
後で説明するように、３Ａユニット５１は、２つの連続フレーム間の露出の差及び合焦位置の差を計算する。移動オブジェクト検出器５２は、例えば、オブジェクトの動きを検出するために、ブロックごと（８×８ピクセル等）に輝度の平均値及び偏差値を計算する。
【0069】
２つの連続フレーム間の３軸（ｘ、ｙ、ｚ）の個々の速度が、ジャイロスコープ３０からカメラ揺れ検出器５３に入力される。
【0070】
個々のユニット５１～５３の値は、捕捉モードコントローラ５４に順次入力されて格納される。その後、捕捉モードコントローラ５４は、第１モードベースの融合の適用が可能か否かを決定する。以下の式（１）～（７）によって与えられる条件が、この決定で使用される。
【0071】
露出の差≦閾値Ａ （１）
合焦位置の差≦閾値Ｂ （２）
平均値の差≦閾値Ｃ （３）
偏差値の差≦閾値Ｄ （４）
ｘ軸の加速度の差≦閾値Ｅ （５）
ｙ軸の加速度の差≦閾値Ｆ （６）
ｚ軸の加速度の差≦閾値Ｇ （７）
合焦位置の差≦閾値Ｂ （２）
平均値の差≦閾値Ｃ （３）
偏差値の差≦閾値Ｄ （４）
ｘ軸の加速度の差≦閾値Ｅ （５）
ｙ軸の加速度の差≦閾値Ｆ （６）
ｚ軸の加速度の差≦閾値Ｇ （７）
【0072】
式（１）及び（２）の差は、３Ａユニット５１によって計算される値に対応する。式（３）及び（４）の差は、移動オブジェクト検出器５２によって計算される値に対応する。式（５）～（７）の差は、カメラ揺れ検出器５３から取得される値を示す。
【0073】
式（１）～（７）の差の各々は、高解像度モード９１における画像データ（図３の画像データＨ（ｎ－ｘ）～Ｈ（ｎ））が撮影された際の連続フレーム間の変化を示す。
【0074】
捕捉モードコントローラ５４は、式（１）～（７）における全ての条件が満たされる場合、図３を参照しながら上述した高解像度モードベースの融合の適用を決定する。決定の条件は、式（１）～（７）において示されるものに限定されず、式（１）～（７）は任意に組み合わせることができる。
【0075】
式（１）～（７）における条件を満たすことは、画像データが比較的少ない変動（シーン、明るさ、オブジェクトの動き）を示すことを意味する。例えば、画像データが風景のシーン等に属する場合、画像データは、上述した変動が少ない（例えば、式（１）～（７）における個々の差が小さい）画像データであってよい。
【0076】
一方で、式（１）～（７）における条件のいずれか１つが満たされない場合、これは画像データが大きな変動を示すことを意味する。例えば、画像データが、画像データ内のオブジェクトが動くシーンに属する場合、画像データは、上述した変動が大きい（例えば、式（１）～（７）における個々の差が大きい）画像データであってよい。この場合、融合の適用は決定されず、イメージセンサ２１からの画像データは、後で説明される融合が適用されずに出力されてよい。
【0077】
撮影命令（図３の時間ｔ１）が受信されると、捕捉モードコントローラ５４は、（図３のｔ２のタイミングで）高解像度モード９１を通常モード９２に切り替えて、通常モード９２における画像データ（図３の画像データＮ（ｎ＋１）～Ｎ（ｎ＋５））を取得する。この場合、捕捉モードコントローラ５４は、露出制御、フォーカス制御、モード構成等を実行するために、ＭＩＰＩ（モバイル産業プロセッサインタフェース） 及びＩ２Ｃ（集積回路間通信）等の通信プロトコルに準拠してカメラモジュール２０と通信する。
【0078】
捕捉モードコントローラ５４において、モード９１及び９２間の各画像データは、同じ視野角及び合焦位置を有するように設定される。
【0079】
次に、第２処理ユニット６０が説明される。第２処理ユニット６０は、画像処理ユニット６１、６３と、リサイズユニット６２、６４と、動き計算ユニット６５と、画像整合ユニット６６と、融合ユニット６７とを備える。
【0080】
この実施形態において、高解像度モード９１における画像データは、画像処理ユニット６１及びリサイズユニット６２に提供される。画像処理ユニット６１は、イメージセンサ２１からの未処理画像データをＲＧＢ（赤、緑、及び青）画像データに変換する。この場合、画像データは、メモリ１２から読み出される。画像データは、例えば、輝度信号（Ｙ）、青成分の差動信号（Ｕ）、及び赤成分の差動信号（Ｖ）を有する画像データに変換されてよい。
【0081】
リサイズユニット６２は、通常モード９２において、高解像度モード９１における画像データのサイズ（ピクセル数）が通常モード９２における画像データのサイズ（ピクセル数）と同じになるように、高解像度モード９１の画像データをダウンスケールするように構成されている。なぜなら、図２に示すように、モード９１及び９２間で、イメージセンサ２１の出力においてピクセル数が異なるからである。
【0082】
イメージセンサ２１は、通常モード９２における画像データを画像処理ユニット６３及びリサイズユニット６４に提供する。画像処理ユニット６３は、イメージセンサ２１からの未処理画像データをＹＵＶ又はＲＧＢ画像データに変換する。リサイズユニット６４は、高解像度モード９１において、通常モード９２における画像データのサイズが高解像度モード９１における画像データのサイズと同じになるように、通常モード９２における画像データをアップスケールするように構成されている。
【0083】
リサイズユニット６２及び６４は、画像データを動き計算ユニット６５に提供し、動き計算ユニット６５は、さらに、モード９１及び９２間での画像データにおけるカメラ揺れを補償するために動き補償データを計算する。動き計算ユニット６５は整合を実行し、これにより、通常モード９２における画像データを、動き計算ユニット６５における計算の結果に従って高解像度モード９１における画像データと整合させることができる。図３の例では、画像データＮ（ｎ＋１）は、参照フレームとして選択された画像データＨ（ｎ－ｘ）と整合される。
【0084】
リサイズユニット６２からの画像データ及び画像整合ユニット６６からの画像データが融合ユニット６７に提供される。この２つの画像データは、高解像度モードベースの融合の適用によって融合されて出力される。図３の例では、シンボルＰで示される画像データＨ（ｎ－ｘ）は、参照フレームとして選択され、Ｎ（ｎ＋１）と融合されて出力される。例えば図３において、融合後の画像データが建物を含む風景シーンである場合、画像データＨ（ｎ－ｘ）のピクセルは、建物と背景との間の境界部を示すエッジ（ここでは上述した変動が大きい）に使用されてよく、画像データＮ（ｎ＋１）のピクセルは、背景（ここでは上述した変動が少ない）に使用されてよい。したがって、高画像品質風景シーンが撮影され得る。
【0085】
融合が適用されない場合、イメージセンサ２１からの画像データは、画像処理ユニット６１を介して出力されてよい。
［通常モードにおける画像処理の概要］
［通常モードにおける画像処理の概要］
【0086】
【0087】
図５は、通常モードベースの融合の適用を示す、図３のものと同様のタイミングチャートである。図５の例では、通常モード９２における画像データＮ（ｎ－ｘ）～Ｎ（ｎ）（ｎ及びｘは正の整数である）が順次取得される。その後、ｔ１における撮影命令の後で、ｔ２のタイミングにおいて、処理ユニット１１は、通常モード９２を高解像度モード９１に切り替えて、高解像度モード９１における画像データＨ（ｎ＋１）～Ｈ（ｎ＋５）を順次取得する。
【0088】
図５の例では、シンボルＰで示される画像データＮ（ｎ－ｘ）は、参照フレームとして選択され、Ｈ（ｎ＋１）と融合される。この融合は、図３に示す融合の方式と同様の方式で実行される。すなわち、画像データＮ（ｎ＋１）及びＨ（ｎ－ｘ）内のピクセルの特徴（輝度値等）に基づいて、画像処理装置１０は、２つの画像データのうちの適切な一方におけるピクセルを選択し、出力される画像データを設定する。例えば、ピクセルの特徴がエッジを反映する場合、高解像度モード９１における画像データＨ（ｎ－ｘ）内のピクセルが選択される。一方、ピクセルの特徴が変動の比較的少ない背景を反映する場合、通常モード９２における画像データＮ（ｎ＋１）内のピクセルが選択される。結果として、出力される画像データは、ピクセルの特徴に従った適切なモードにおけるピクセルを含む。したがって、高画像品質画像データが出力される。
【0089】
図３に示すものと同様に、図５において、ｔ０～ｔ１の継続時間はゼロシャッタラグ撮影の期間Ｔであり、この期間の間、通常モード９２における上述した画像データＮ（ｎ－ｘ）～Ｎ（ｎ）が、ディスプレイデバイス１４上にプレビューで表示されてよい。
【0090】
モード９１及び９２間での融合の適用の関係は、図５に例示されているものに限定されず、様々な態様が実装されてよい。通常モード９２における画像データＮ（ｎ－ｘ）～Ｎ（ｎ）のいずれか１つと、高解像度モード９２における画像データＨ（ｎ＋１）～Ｈ（ｎ＋５）のいずれか１つとが融合されてよい。
［通常モードにおける画像処理装置の詳細な構成例］
［通常モードにおける画像処理装置の詳細な構成例］
【0091】
図６は、通常モード９２における画像処理装置１０の詳細な構成例を示している。図６の構成は、通常モード９２が高解像度モード９１に切り替えられる点で図４の構成とは異なるので、以下ではこの点に焦点を当てて説明を行う。
【0092】
【0093】
撮影命令を受信すると（図５の時間ｔ１）、捕捉モードコントローラ５４は、通常モード９２を高解像度モード９１に切り替えて（図５の時間ｔ２）、高解像度モード９１における画像データ（図５のＨ（ｎ＋１）～Ｈ（ｎ＋５））を取得する。
【0094】
第２処理ユニット６０における画像整合ユニット６６Ａは、動き計算ユニット６５における計算の結果に従って、高解像度モード９１における画像データを通常モード９２における画像データと整合させる。動き計算ユニット６５は、通常モード９２における画像データに対する高解像度モード９１における画像データの動きを計算する。図５の例では、画像データＨ（ｎ＋１）は、参照フレームとして選択される画像データＮ（ｎ－ｘ）と整合される。
【0095】
リサイズユニット６４からの画像データ及び画像整合ユニット６６Ａからの画像データが融合ユニット６７に提供される。融合ユニット６７において、この２つの画像データは、高解像度モードベースの融合の適用によって融合されて出力される。図５の例では、画像データＮ（ｎ－ｘ）及びＨ（ｎ＋１）が融合されて出力される。したがって、図３の場合と同様に、高画像品質風景シーンが撮影され得る。
【0096】
融合が適用されない場合、イメージセンサ２１からの画像データは、画像処理ユニット６３を介して出力されてよい。
［画像処理装置１０の機能構成］
［画像処理装置１０の機能構成］
【0097】
図７は、画像処理装置１０の機能構成を示す図である。以下では、この図を参照しながらこの機能構成を説明する。図７に示すように、画像処理装置１０は、第１の取得ユニット１０１と、決定ユニット１０２と、切り替えユニット１０３と、第２の取得ユニット１０４と、融合ユニット１０５と、表示制御ユニット１０６とを備える。例示的な実装方式において、これらのコンポーネントは、図１の処理ユニット１１及びメモリ１２によって実現され、以下のように構成されている。
【0098】
第１の取得ユニット１０１は、事前設定された解像度を有する第１モード（高解像度モード９１又は通常モード９２）において捕捉された複数の第１の画像データを取得するように構成されている。第１の取得ユニット１０１は、図４及び図６における、メモリ１２、並びに第１処理ユニット５０内の３Ａユニット５１及び検出器５２に対応する。
【0099】
決定ユニット１０２は、画像データが撮影命令に応じて第１モードにおいて捕捉された場合、撮像条件（この実施形態では上述の式（１）～（７））に基づいて、モードベースの融合の適用を決定するように構成されている。決定ユニット１０２は、図４及び図６における、第１処理ユニット５０内の検出器５３及び捕捉モードコントローラ５４に対応する。
【0100】
切り替えユニット１０３は、撮影命令が受信されると、第１モードを第２モード（通常モード９２又は高解像度モード９１）に切り替えるように構成されている。切り替えユニット１０３は、図４及び図６における捕捉モードコントローラ５４に対応する。
【0101】
【0102】
融合ユニット１０５は、第２の画像データの出力に関して第１モードベースの融合を第２の画像データに適用して、第１の画像データを使用する。融合ユニット１０５は、図４及び図６における第２処理ユニット６０に対応する。
【0103】
融合ユニット１０５における整合ユニット１０５１は、第１モードと第２モードとの間で画像データの動きを整合させるように構成されている。整合ユニット１０５１は、図４及び図６における、第２処理ユニット６０内の動き計算ユニット６５及び画像整合ユニット６６、６６Ａに対応する。
【0104】
表示制御ユニット１０６は、撮影命令の前に第１の画像データをプレビューで表示するように構成されている。
【0105】
前述のコンポーネントは、画像処理装置１０の動作の記述において、必要に応じて言及される。
［画像処理装置１０の動作］
［画像処理装置１０の動作］
【0106】
以下では、画像処理装置１０の一般的な画像処理を、図１～図８を参照しながら説明する。この実施形態の画像処理装置１０において、処理ユニット１１は、プログラムに従い、後で説明される様々なプロセスを実行できる。
【0107】
図８は、画像処理装置１０の一般的な画像処理の例を示すフローチャートである。
【0108】
図８では、処理ユニット１１は、イメージセンサ２１から、第１モードにおける画像データを順次取得する（段階Ｓ１０１）。図３の例では、第１モードである高解像度モード９１における画像データＨ（ｎ－ｘ）～Ｈ（ｎ）が取得される。図５の例では、第２モードである通常モード９２における画像データＮ（ｎ－ｘ）～Ｎ（ｎ）が取得される。これらの画像データは、メモリ１２に順次格納される。
【0109】
この段階において、処理ユニット１１は、第１の取得ユニット１０１として実装されるように、メモリ１２及びカメラモジュール２０と協働する。
【0110】
処理ユニット１１は、段階Ｓ１０１における画像データが捕捉されると、撮像条件（式（１）～（７））に基づく撮影命令（例えば、ゼロシャッタラグ撮影命令）に応じて、第１モードベースの融合の適用を決定する（段階Ｓ１０２）。この場合、処理ユニット１１は、式（１）～（７）の条件が満たされているか否かを決定する。条件が満たされている場合、第１モードベースの融合の適用が決定され、条件が満たされていない場合、第１モードベースの融合の適用は決定されない。
【0111】
段階Ｓ１０２にて、処理ユニット１１は、決定ユニット１０２として実装されるようにジャイロスコープ３０と協働する。
【0112】
撮影命令が受信されると（図３及び図５のタイミングｔ１）、処理ユニット１１は、第１モードを第２モードに切り替える（段階Ｓ１０３）。図３の例では、ｔ２において、高解像度モード９１が通常モード９２に切り替えられる。図５の例では、ｔ２において、通常モード９２が高解像度モード９１に切り替えられる。
【0113】
段階Ｓ１０３にて、処理ユニット１１は、切り替えユニット１０３として実装される。
【0114】
処理ユニット１１は、イメージセンサ２１から、第２モードの解像度で捕捉された画像データを取得する（段階Ｓ１０４）。図３の例では、第２モードである通常モード９２における画像データＮ（ｎ＋１）～Ｎ（ｎ＋５）が取得される。図５の例では、第２モードである通常モード９２における画像データＮ（ｎ＋１）～Ｎ（ｎ＋５）が取得される。これらの画像データは、メモリ１２に順次格納される。
【0115】
段階Ｓ１０４にて、処理ユニット１１は、第２の取得ユニット１０４として実装されるように、メモリ１２と協働する。
【0116】
段階Ｓ１０４にて取得された画像データの出力に関して、処理ユニット１１は、段階Ｓ１０１にて取得された第１の画像データを使用するために、この画像データに第１モードベースの融合を適用する（ステップＳ１０５）。この場合、処理ユニット１１は、標的画像データ内のピクセルの特徴に基づいて、２つの画像データのなかで適切なモードにおける画像データ内のピクセルを選択し、撮影命令を受けた画像データを出力してよい。図３の例では、処理ユニット１１は、高解像度モード９１における画像データＨ（ｎ－ｘ）～Ｈ（ｎ）のうちの画像データＨ（ｎ－ｘ）を選択し、通常モード９２における画像データＮ（ｎ）～Ｎ（ｎ＋５）のうちの画像データＮ（ｎ＋１）を選択し、高解像度モード９１における画像データＨ（ｎ－ｘ）と通常モード９２における画像データＮ（ｎ＋１）とを更に融合して、融合画像データを出力してよい。図５の例では、通常モード９２における画像データＮ（ｎ－ｘ）と、高解像度モード９１における画像データＨ（ｎ＋１）とが融合されて出力される。モードの各々の選択された画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であってよい。
【0117】
図８のフローチャートを参照すると、段階Ｓ１０１にて取得された画像データは、段階Ｓ１０４にて取得された画像データとはサイズが異なる。ステップＳ１０５では、処理ユニット１１は、標的画像データ（図３の画像データＨ（ｎ－ｘ））又は標的画像データ（図５の画像データＨ（ｎ＋１））をリサイズして、カメラ揺れを補償するべく２つの画像データを整合させる。
【0118】
ステップＳ１０５では、処理ユニット１１は、融合ユニット１０５として実装される。
【0119】
図８では、処理ユニット１１（表示制御ユニット１０６）は、段階Ｓ１０３における撮影命令の前に、段階Ｓ１０１にて取得された画像データをディスプレイデバイス１４上にプレビューで表示してよい。したがって、段階Ｓ１０１にて取得された画像データが視認可能であり得、それにより、シャッタを適切なタイミングで押すことができる。
【0120】
上記で説明したように、この実施形態の画像処理装置１０は、画像データの出力に関して異なるモード９１及び９２における画像データを融合するように構成されている。高解像度モード９１では、高解像度画像データを捕捉できる。一方、通常モード９２では、解像度は高解像度モード９１よりも低いが、高感度及び高ＳＮＲ画像データを捕捉できる。結果として、ステップＳ１０５で融合された画像データは、適切なモードにおいて捕捉された画像データによって構成され、したがって、より高い画像品質を有し得る。
【0121】
個々のモード９１及び９２における画像データは、１つのイメージセンサ２１から取得される。これにより、必要なイメージセンサの数が低減され、画像処理装置１０の小型化を実現できる。
［第２の実施形態］
［第２の実施形態］
【0122】
第２の実施形態に係る画像処理装置１０Ａが、図９Ａ及び図９Ｂを参照しながら説明される。図９Ａは、画像処理装置１０Ａにおける高解像度モードベースの融合の概要を説明する図である。図９Ｂは、画像処理装置１０Ａにおける通常モードベースの融合の概要を説明する図である。別途規定されない限り、第１の実施形態の説明に使用されているシンボル等は、第２の実施形態の以下の説明にも使用される。
【0123】
図９Ａ及び図９Ｂでは、第１の実施形態の画像処理装置１０（図４及び図６）とは異なり、画像処理装置１０Ａは、ノイズ低減ユニット６８及び６９を更に備える。図９Ａ及び図９Ｂに示すノイズ低減ユニット６８及び６９は、実線及び破線で示されているが、ユニット６８及び６９は、実線又は破線で示す位置に提供されてよい。
【0124】
ノイズ低減ユニット６８は、複数のフレームの単位で、高解像度モード９１における各画像データにノイズ低減処理を実行するように構成されている。ノイズ低減ユニット６９は、複数のフレームの単位で、通常モード９２における各画像データにノイズ低減処理を実行するように構成されている。
【0125】
【0126】
図１０は、ノイズ低減ユニット６８及び６９によってノイズが低減される態様を例示している。図１０では、４つの連続フレームｆ０～ｆ３が、例えば、通常モード９２における画像データに対応し、４つの連続フレームｆ４～ｆ７が、例えば、高解像度モード９１における画像データに対応する。
【0127】
図１０では、ノイズ低減ユニット６８において、４つの連続フレームｆ４～ｆ７が、ＭＦＮＲ２０１のプロセスで１つのフレームＦ０にして組み合わされる。これにより、高解像度モード９１におけるノイズが打ち消されたフレームＦ０が提供される。フレームのサンプル数は、図１０に例示されている４つに限定されず、異なってもよい。
【0128】
デジタルビニング２０２のプロセスにおいて、モード９１及び９２間でサイズを調整するために、４つのフレームｆ４～ｆ７がフレームｆ４１～ｆ４４に変更されて、通常モード９２におけるフレームｆ０～ｆ３とサイズが整合される。
【0129】
フレームｆ４１～ｆ４４は、フレームｆ４～Ｆ７のサイズを変更することによって取得されるが、サイズの変更によってノイズを減少できる。なぜなら、ノイズ成分の発生は、解像度の影響を受け得るからである。
【0130】
図１１は、ノイズ成分８２ａ、８２ｂ、８２ｃを含む高解像度モード９１における画像データ内のノイズを低減するプロセスの例を示している。ここで、ノイズ成分８２ａ、８２ｂ、８２ｃを打ち消すために、画像データのモードは通常モード９２に変換される。図１１の（Ａ）の高解像度モード９１における画像データ内の輝度変化８１には、ノイズ成分８２ａ～８２ｃが含まれている。これらのノイズ成分の発生は解像度の大きさの影響を受け得るので、解像度を下げることでノイズ成分が減少し得る。図１１の（Ｂ）の通常モード９２における画像データ内の輝度変化８３では、ノイズ成分８２ａ～８２ｃが打ち消され得る。図１０におけるノイズが低減されたフレームｆ４１～ｆ４４は、このように取得される。
【0131】
図１０では、ノイズ低減ユニット６９において、８つのフレームｆ０～ｆ４、ｆ４１～ｆ４４が、ＭＦＮＲ２０３のプロセスで１つのフレームＦ１にして組み合わされる。これにより、通常モード９２におけるノイズが打ち消されたフレームＦ１が提供される。
【0132】
第１の実施形態に係る融合と同様に、融合ユニット６７による２０４で使用されるプロセスにおいて、単一のフレームＦ２を出力するために２つのフレームＦ０及びＦ１もまた融合される。したがって、高画像品質画像データが出力され得る。
［第３の実施形態］
［第３の実施形態］
【0133】
第３の実施形態に係る画像処理装置１０Ｂが説明される。画像処理装置１０Ｂの構成は、図１、図４及び図６に示す構成と実質的に同一である。別途規定されない限り、第１の実施形態の説明に使用されているシンボル等は、第２の実施形態の以下の説明にも使用される。
【0134】
画像処理装置１０Ｂは、複数の画像データを含むビデオシーケンスを扱う。これは、例えば、処理ユニット１１が異なるモード９１及び９２における画像データを取得し、画像データ内のフレーム間変化に基づいて複数の画像データを融合させることで実装できる。
【0135】
図１２は、画像処理装置１０ｂの機能構成を示している。
【0136】
図１２を参照すると、画像処理装置１０Ｂは、取得ユニット３０１と、決定ユニット３０２と、融合ユニット３０３とを備える。取得ユニット３０１は、図４及び図６の第１処理ユニット５０及びメモリ１２に対応する。決定ユニット３０２は、図４及び図６の捕捉モードコントローラ５４に対応する。融合ユニット３０３は、図４及び図６の第２処理ユニット６０に対応する。これらのコンポーネントは、図１３を参照しながら後で与えられる動作の記述において、必要に応じて言及される。
【0137】
図１３は、ビデオシーケンス内の画像データが画像処理装置１０Ｂにおいて融合される態様を示している。例えば、図１３の（Ａ）の入力において、高解像度モード９１における画像データ６００、６０２、６０４、６０６と、高解像度モード９１における画像データ６０１、６０３、６０５、６０７が交互に与えられる。ＭＣ（動き補償）５０１～５０７の各々において、モード間の動きが補償されながら、異なるモードにおける２つの画像データに関して、融合が実行される。各ＭＣのプロセスは、図４のユニット６５～６７の各々におけるプロセス又は図６のユニット６５、６６Ａ及び６７の各々におけるプロセスと同様である。
【0138】
図１３の（Ｂ）の出力において、融合画像データ７００～７０７が出力される。結果として、高画像品質ビデオシーケンスが出力される。
【0139】
図１４は、画像処理装置１０Ｂの一般的な画像処理の例を示すフローチャートである。
【0140】
図１４を参照すると、処理ユニット１１は、異なるモード９１及び９２において捕捉された複数の画像データ（図１３（Ａ）の画像データ６００～６０７）を含むビデオシーケンスを取得する（段階Ｓ２０１）。異なるモード９１及び９２間の切り替えは、フレームごとに実行される。この切り替えは、この実施形態において捕捉モードコントローラ５４（図４及び図６）によっても実行される。
【0141】
段階Ｓ２０１にて、処理ユニット１１は、取得ユニット３０１として実装されるように、メモリ１２及びカメラモジュール２０と協働する。
【0142】
処理ユニット１１は、段階Ｓ２０１にて取得された連続画像データのフレーム間の変化に基づいて、異なるモードベースの融合が適用されるべきか否かを決定する（段階Ｓ２０２）。この実施形態では、この決定は、第１の実施形態におけるように図４及び図６の融合ユニット６７によっても実行される。すなわち、融合の適用は、画像データ内のピクセルの特徴に基づいて決定される。
【0143】
段階Ｓ２０２にて、処理ユニット１１は、決定ユニット３０２として実装される。
【0144】
処理ユニット１１は、段階Ｓ２０２における決定の結果に基づいて、対応するモードにおける画像データ（図１３の（Ｂ）の画像データ７００～７０７）を使用するために、段階Ｓ２０１にて取得された画像データの出力に対してモードベースの融合を適用する（段階Ｓ２０３）。結果として、高画像品質ビデオシーケンスが出力される。
【0145】
次に、第３の実施形態の変更形態が説明される。
【0146】
図１５は、図１３の態様の変更形態を例示しており、これは、モード９１及び９２間で切り替えずに、通常モード９２における画像データが連続して入力される場合の、モード間の融合の態様である。モード９１及び９２間の切り替えが実行されない場合の例は、処理ユニット１１が、前述の式（１）～（７）が満たされていないと決定する場合である。この場合、例えば、図１５の（Ａ）の入力において、画像データ６１２～６１４、６１６～６１７等の通常モード９２における画像データが連続して入力され得る。結果として、図１５に示すように、通常モード９２における画像データ６１２又は６１３に加えて、画像データ６１２の直前の高解像度モード９１における画像データ６１１もＭＣ５０３又は５０４において与えられ、これにより、異なるモード間の動きが補償されながら融合が実行される。ＭＣ５０７において、通常モード９２における画像データ６１７に加えて、高解像度モード９１における直前の画像データ６１５も与えられ、これにより、異なるモード間の動きが補償されながら融合が実行される。これらのＭＣのプロセスは、図４の個々のユニット６５～６７及び図６の個々のユニット６５、６６Ａ及び６７におけるプロセスと同様である。結果として、画像処理装置１０Ｂの電力消費が低減される。
【0147】
装置関連実施形態及び方法関連実施形態は、同じ構想に基づいており、装置関連実施形態によってもたらされる技術的な利点は、方法関連実施形態によってもたらされる技術的な利点と同じである。特定の原理については、装置関連実施形態の説明を参照されたく、詳細はここで説明されない。本発明の実施形態は、画像処理に基づいて主に説明されているが、本明細書で説明されている装置の実施形態及び他の実施形態は、画像処理のために構成されてもよいことに留意されたい。一般に、ピクチャ処理コーディングが単一のピクチャ１７に限定される場合には、インター予測ユニット２４４（エンコーダ）及び３４４（デコーダ）のみが利用可能でなくてもよい。装置の全ての他の機能（ツール又は技術とも称される）は、画像処理のために等しく使用され得る。 例えば本明細書に説明されている装置及び機能の実施形態は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装されてよい。ソフトウェアで実装される場合、機能は、１つ又は複数の命令又はコードとしてコンピュータ可読媒体上に格納又は通信媒体を介して伝送され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、データ記憶媒体等の有形の媒体に対応するコンピュータ可読記憶媒体、又は、例えば通信プロトコルに従った１つの場所から別の場所へのコンピュータプログラムの移動を容易にする任意の媒体を含む通信媒体を含んでよい。このように、コンピュータ可読媒体は、（１）不揮発性の有形コンピュータ可読記憶媒体、又は、（２）信号若しくは搬送波等の通信媒体に一般に対応してよい。データ記憶媒体は、本開示に説明されている技術の実装のための命令、コード、及び／又はデータ構造を取得するために１つ若しくは複数のコンピュータ又は１つ若しくは複数のプロセッサによってアクセスできる任意の利用可能な媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでよい。限定ではなく例として、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、若しくは他の光学ディスクストレージ、磁気ディスクストレージ、若しくは他の磁気ストレージデバイス、フラッシュメモリ、又は、命令若しくはデータ構造の形態の所望のプログラムコードを格納するのに使用でき、コンピュータによってアクセスできる任意の他の媒体を含むことができる。また、任意の接続が、適宜コンピュータ可読媒体と称される。例えば、同軸ケーブル、光ファイバケーブル、ツイストペアデジタル加入者線（ＤＳＬ）、又は赤外線、ラジオ、及びマイクロ波等の無線技術を使用して、ウェブサイト、サーバ、又は他のリモートソースから命令が伝送される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、又は赤外線、ラジオ及びマイクロ波等の無線技術は、媒体の定義に含まれる。一方、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まず、不揮発性の有形記憶媒体を指すことを理解されたい。本明細書で使用されるディスク（ｄｉｓｋ ａｎｄ ｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザディスク、光学ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピディスク、及びブルーレイディスクを含み、通例、ディスク（ｄｉｓｋ）は、データを磁気的に再現するものであり、ディスク（ｄｉｓｃ）は、レーザを用いてデータを光学的に再現するものである。上記の組み合わせも、コンピュータ可読媒体の範囲に含まれるべきである。命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は他の等価な集積若しくはディスクリート論理回路等の、１つ又は複数のプロセッサによって実行されてよい。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれか、又は、本明細書に記載の技術の実装に好適な任意の他の構造を指してよい。加えて、いくつかの態様では、本明細書に記載の機能は、エンコーディング及びデコーディングのために構成されている専用ハードウェア及び／又はソフトウェアモジュール内に提供されるか、又は、組み合わされたコーデックに組み込まれてよい。また、本技術は、１つ若しくは複数の回路又は論理要素において完全に実施することができる。本開示の技術は、無線ハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、多種多様なデバイス又は装置において実施してよい。様々な構成要素、モジュール、又はユニットが、開示された技術を実行するように構成されているデバイスの機能的態様を強調するように本開示において記載されているが、異なるハードウェアユニットによる実現は必ずしも要求されない。むしろ、上述したように、好適なソフトウェア及び／又はファームウェアと連動して、様々なユニットがコーデックハードウェアユニットにして組み合わされるか、又は、上述したように、１つ又は複数のプロセッサを含む相互運用ハードウェアユニットの集合によって提供されてよい。
【0148】
上記で与えられた開示は、実施形態例に過ぎｚ、本発明の保護範囲を限定することを意図していない。当業者であれば、前述の実施形態及び本発明の特許請求の範囲の範囲内で作成された等価な変更例を実施するプロセスの全て又は一部も、本発明の範囲内に含まれることを理解するであろう。
（項目１） 第１モードにおいて捕捉される第１の画像データを取得する段階であって、上記第１モードでは第１の解像度が設定される段階と、
撮影命令に応じて、上記第１モードを第２モードに切り替える段階であって、上記第２モードでは第２の解像度が設定され、上記第２の解像度は、上記第１の解像度とは異なる段階と、
上記第２モードにおいて捕捉される第２の画像データを取得する段階と、
第１モードベースの融合を適用して、上記第２の画像データを、基準画像データである上記第１の画像データと融合させる段階と、
を含む、画像データを処理する方法。
（項目２） 上記方法は、上記第１の画像データを選択するとともに、上記第２の画像データを選択する段階を更に含む、項目１に記載の方法。
（項目３） 選択される上記第１の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であり、選択される上記第２の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像である、項目２に記載の方法。
（項目４） 上記方法は、撮像条件に基づいて、上記第１モードベースの融合が適用されるか否かを決定する段階を更に含み、
上記第１モードを第２モードに切り替える段階は、上記第１モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第１モードを第２モードに切り替える段階を含む、項目１～３のいずれかに記載の方法。
（項目５） 上記撮像条件に基づいて、上記第１モードベースの融合が適用されるか否かを決定する段階は、上記撮影命令が受信されるまで第１モードにおいて捕捉された連続フレーム間の変化に基づいて、上記第１モードベースの融合が適用されるか否かを決定する段階を含む、項目４に記載の方法。
（項目６） 上記連続フレーム間の上記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含む、項目５に記載の方法。
（項目７） 上記第１の画像データ及び上記第２の画像データは、同じ視野角及び同じ合焦位置を有するように設定される、項目１～６のいずれか１つに記載の方法。
（項目８） 上記第１モードベースの融合は、上記撮影命令までに捕捉された上記画像を使用して、上記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられる、項目１～７のいずれか１つに記載の方法。
（項目９） 上記第１モード及び上記第２モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行する段階であって、上記フレームは、上記第１モードにおいて捕捉された第１フレームと、上記第２モードにおいて捕捉された第２フレームとを含む段階を更に含み、
上記第１モードベースの融合を適用する段階において、上記カメラ揺れ補償の後の上記第２の画像データと、上記第１の画像データとが使用される、項目１～８のいずれか１つに記載の方法。
（項目１０）
上記第１モードが高解像度モードであり、上記第２モードが通常モードであるか、又は、
上記第１モードが通常モードであり、上記第２モードが高解像度モードである、項目１～９のいずれか１つに記載の方法。
（項目１１）
上記第１の画像データ及び上記第２の画像データは、上記撮像ユニットにおける１つのイメージセンサから取得される、項目１～１０のいずれか１つに記載の方法。
（項目１２）
上記方法は、上記第１モード及び上記第２モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行する段階を更に備え、
上記第１モードベースの融合を適用する段階において、上記ノイズ低減処理の後の上記第１の画像データ及び上記第２の画像データが使用される、項目１～１１のいずれか１つに記載の方法。
（項目１３）
異なるモードにおいて捕捉される複数の画像データを含むビデオシーケンスを取得する段階であって、上記異なるモードでは異なる解像度が設定される段階と、
ビデオシーケンスの画像フレーム間の変化に基づいて、上記異なるモードにおいて捕捉される上記画像データを融合するように異なるモードベースの融合が適用されるか否かを決定する段階と、
上記決定の結果に基づいて、上記ビデオシーケンスの上記画像データに対して上記モードベースの融合を適用する段階と、
を含む、画像データを処理する方法。
（項目１４）
第１の解像度を有する第１モードにおいて捕捉される複数の第１の画像データを取得するように構成されている第１の取得ユニットと、
撮影命令に応じて、上記第１モードを第２モードに切り替えるように構成されている切り替えユニットであって、上記第２モードでは第２の解像度が設定され、上記第２の解像度は、上記第１の解像度とは異なる切り替えユニットと、
上記第２モードにおいて捕捉される第２の画像データを取得するように構成されている第２の取得ユニットと、
第１モードベースの融合を適用して、上記第２の画像データを、基準画像データとして使用される上記第１の画像データと融合させるように構成されている融合ユニットと、
を備える、画像データを処理する装置。
（項目１５）
融合ユニットは、上記第１の画像データ及び上記第２の画像データを選択するように更に構成されている、項目１４に記載の装置。
（項目１６）
選択される上記第１の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であり、選択される上記第２の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像である、項目１４又は１５に記載の装置。
（項目１７）
撮像条件に基づいて、上記第１モードベースの融合が適用されるか否かを決定するように構成されている決定ユニットを更に備え、
上記切り替えユニットは、上記第１モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第１モードを第２モードに切り替えるように構成されている、項目１４～１６のいずれか１つに記載の装置。
（項目１８）
決定ユニットは、具体的には、上記撮影命令が受信されるまで第１モードにおいて捕捉された連続フレーム間の変化に基づいて、上記第１モードベースの融合が適用されるか否かを決定するように構成されている、項目１７に記載の装置。
（項目１９）
上記フレーム間の上記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含む、項目１８に記載の装置。
（項目２０）
上記第１の画像データ及び上記第２の画像データは、同じ視野角及び同じ合焦位置を有するように設定される、項目１４～１９のいずれか１つに記載の装置。
（項目２１）
上記第１モードベースの融合は、上記撮影命令までに捕捉された上記画像を使用して、上記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられる、項目１４～２０のいずれか１つに記載の装置。
（項目２２）
融合ユニットは、上記第１モード及び上記第２モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行するように構成されている整合ユニットあって、上記フレームは、上記第１モードにおいて捕捉された第１フレームと、上記第２モードにおいて捕捉された第２フレームとを含む整合ユニットを備え、
上記融合ユニットは、上記カメラ揺れ補償後の第２の画像データ及び上記第１の画像データに融合を適用して、カメラ揺れ補償後の第２の画像データを、基準画像データとして使用される第１の画像データと融合させるように構成されている、項目１４～２１のいずれか１つに記載の装置。
（項目２３）
上記第１モードが高解像度モードであり、上記第２の捕捉モードが通常モードであるか、又は、上記第１モードが通常モードであり、上記第２の捕捉モードが高解像度モードである、項目１４～２２のいずれか１つに記載の装置。
（項目２４）
上記第１の画像データ及び上記第２の画像データは、同じイメージセンサから取得される、項目１４～２３のいずれか１つに記載の装置。
（項目２５）
上記第１モード及び上記第２モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行するように構成されている低減ユニットを更に備え、
上記融合ユニットは、ノイズ低減処理後の上記第１の画像データ及び上記第２の画像データに融合を適用するように構成されている、項目１４～２４のいずれか１つに記載の装置。
（項目２６）
異なるモードにおいて捕捉される複数の画像データを含むビデオシーケンスを取得するように構成されている取得ユニットであって、上記異なるモードでは異なる解像度が設定される取得ユニットと、
ビデオシーケンスの画像フレーム間の変化に基づいて、異なるモードベースの融合が適用されるか否かを決定するように構成されている決定ユニットと、
上記決定の結果に基づいて、上記ビデオシーケンスの上記画像データに対して異なるモードベースの融合を適用するように構成されている融合ユニットと、
を備える、撮像ユニットによって捕捉される画像データを処理する装置。
（項目２７）
カメラモジュールと、
命令を含む不揮発性メモリストレージと、
上記カメラモジュール及び上記メモリと通信する１つ又は複数のプロセッサと、
を備え、上記１つ又は複数のプロセッサは、
第１モードにおいて捕捉される第１の画像データを取得する段階であって、上記第１モードでは第１の解像度が設定される段階と、
撮影命令に応じて、上記第１モードを第２モードに切り替える段階であって、上記第２モードでは第２の解像度が設定され、上記第２の解像度は、上記第１の解像度とは異なる段階と、
上記第２モードにおいて捕捉される第２の画像データを取得する段階と、
第１モードベースの融合を適用して、上記第２の画像データを、基準画像データである上記第１の画像データと融合させる段階と、
を行わせるように上記命令を実行する、デバイス。
（項目２８）
上記１つ又は複数のプロセッサは、上記第１の画像データを選択するとともに、上記第２の画像データを選択するように更に構成されている、項目２７に記載のデバイス。
（項目２９）
選択される上記第１の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であり、選択される上記第２の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像である、項目２８に記載のデバイス。
（項目３０）
１つ又は複数のプロセッサは、撮像条件に基づいて、上記第１モードベースの融合が適用されるか否かを決定し、
上記第１モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第１モードを第２モードに切り替えるように更に構成されている、項目２７～２９のいずれかに記載のデバイス。
（項目３１）
上記１つ又は複数のプロセッサは、上記撮影命令が受信されるまで第１モードにおいて捕捉された連続フレーム間の変化に基づいて、上記第１モードベースの融合が適用されるか否かを決定するように構成されている、項目３０に記載のデバイス。
（項目３２）
上記連続フレーム間の上記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含む、項目３１に記載のデバイス。
（項目３３）
上記第１の画像データ及び上記第２の画像データは、同じ視野角及び同じ合焦位置を有するように設定される、項目２７～３２のいずれか１つに記載のデバイス。
（項目３４）
上記第１モードベースの融合は、上記撮影命令までに捕捉された上記画像を使用して、上記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられる、項目２７～３３のいずれか１つに記載のデバイス。
（項目３５）
上記１つ又は複数のプロセッサは、上記第１モード及び上記第２モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行するように更に構成され、上記フレームは、上記第１モードにおいて捕捉された第１フレームと、上記第２モードにおいて捕捉された第２フレームとを含み、
上記第１モードベースの融合を適用する段階において、上記カメラ揺れ補償の後の上記第２の画像データと、上記第１の画像データとが使用される、項目２７～３４のいずれか１つに記載のデバイス。
（項目３６）
上記第１モードが高解像度モードであり、上記第２モードが通常モードであるか、又は、
上記第１モードが通常モードであり、上記第２モードが高解像度モードである、項目２７～３５のいずれか１つに記載のデバイス。
（項目３７）
上記第１の画像データ及び上記第２の画像データは、上記撮像ユニットにおける１つのイメージセンサから取得される、項目２７～３６のいずれか１つに記載のデバイス。
（項目３８）
上記１つ又は複数のプロセッサは、上記第１モード及び上記第２モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行するように更に構成され、
上記第１モードベースの融合を適用する段階において、上記ノイズ低減処理の後の上記第１の画像データ及び上記第２の画像データが使用される、項目２７～３７のいずれか１つに記載のデバイス。
（項目３９）
上記カメラモジュールは、イメージセンサを備える、項目２７～３８のいずれか１つに記載のデバイス。
（項目４０）
コンピュータに、項目１～１３のいずれか１つに記載の方法を実行させるプログラムを記録したコンピュータ可読記憶媒体。
（項目４１）
コンピュータに、項目１～１３のいずれか１つに記載の方法を実行させる、コンピュータプログラム。
（項目１） 第１モードにおいて捕捉される第１の画像データを取得する段階であって、上記第１モードでは第１の解像度が設定される段階と、
撮影命令に応じて、上記第１モードを第２モードに切り替える段階であって、上記第２モードでは第２の解像度が設定され、上記第２の解像度は、上記第１の解像度とは異なる段階と、
上記第２モードにおいて捕捉される第２の画像データを取得する段階と、
第１モードベースの融合を適用して、上記第２の画像データを、基準画像データである上記第１の画像データと融合させる段階と、
を含む、画像データを処理する方法。
（項目２） 上記方法は、上記第１の画像データを選択するとともに、上記第２の画像データを選択する段階を更に含む、項目１に記載の方法。
（項目３） 選択される上記第１の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であり、選択される上記第２の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像である、項目２に記載の方法。
（項目４） 上記方法は、撮像条件に基づいて、上記第１モードベースの融合が適用されるか否かを決定する段階を更に含み、
上記第１モードを第２モードに切り替える段階は、上記第１モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第１モードを第２モードに切り替える段階を含む、項目１～３のいずれかに記載の方法。
（項目５） 上記撮像条件に基づいて、上記第１モードベースの融合が適用されるか否かを決定する段階は、上記撮影命令が受信されるまで第１モードにおいて捕捉された連続フレーム間の変化に基づいて、上記第１モードベースの融合が適用されるか否かを決定する段階を含む、項目４に記載の方法。
（項目６） 上記連続フレーム間の上記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含む、項目５に記載の方法。
（項目７） 上記第１の画像データ及び上記第２の画像データは、同じ視野角及び同じ合焦位置を有するように設定される、項目１～６のいずれか１つに記載の方法。
（項目８） 上記第１モードベースの融合は、上記撮影命令までに捕捉された上記画像を使用して、上記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられる、項目１～７のいずれか１つに記載の方法。
（項目９） 上記第１モード及び上記第２モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行する段階であって、上記フレームは、上記第１モードにおいて捕捉された第１フレームと、上記第２モードにおいて捕捉された第２フレームとを含む段階を更に含み、
上記第１モードベースの融合を適用する段階において、上記カメラ揺れ補償の後の上記第２の画像データと、上記第１の画像データとが使用される、項目１～８のいずれか１つに記載の方法。
（項目１０）
上記第１モードが高解像度モードであり、上記第２モードが通常モードであるか、又は、
上記第１モードが通常モードであり、上記第２モードが高解像度モードである、項目１～９のいずれか１つに記載の方法。
（項目１１）
上記第１の画像データ及び上記第２の画像データは、上記撮像ユニットにおける１つのイメージセンサから取得される、項目１～１０のいずれか１つに記載の方法。
（項目１２）
上記方法は、上記第１モード及び上記第２モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行する段階を更に備え、
上記第１モードベースの融合を適用する段階において、上記ノイズ低減処理の後の上記第１の画像データ及び上記第２の画像データが使用される、項目１～１１のいずれか１つに記載の方法。
（項目１３）
異なるモードにおいて捕捉される複数の画像データを含むビデオシーケンスを取得する段階であって、上記異なるモードでは異なる解像度が設定される段階と、
ビデオシーケンスの画像フレーム間の変化に基づいて、上記異なるモードにおいて捕捉される上記画像データを融合するように異なるモードベースの融合が適用されるか否かを決定する段階と、
上記決定の結果に基づいて、上記ビデオシーケンスの上記画像データに対して上記モードベースの融合を適用する段階と、
を含む、画像データを処理する方法。
（項目１４）
第１の解像度を有する第１モードにおいて捕捉される複数の第１の画像データを取得するように構成されている第１の取得ユニットと、
撮影命令に応じて、上記第１モードを第２モードに切り替えるように構成されている切り替えユニットであって、上記第２モードでは第２の解像度が設定され、上記第２の解像度は、上記第１の解像度とは異なる切り替えユニットと、
上記第２モードにおいて捕捉される第２の画像データを取得するように構成されている第２の取得ユニットと、
第１モードベースの融合を適用して、上記第２の画像データを、基準画像データとして使用される上記第１の画像データと融合させるように構成されている融合ユニットと、
を備える、画像データを処理する装置。
（項目１５）
融合ユニットは、上記第１の画像データ及び上記第２の画像データを選択するように更に構成されている、項目１４に記載の装置。
（項目１６）
選択される上記第１の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であり、選択される上記第２の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像である、項目１４又は１５に記載の装置。
（項目１７）
撮像条件に基づいて、上記第１モードベースの融合が適用されるか否かを決定するように構成されている決定ユニットを更に備え、
上記切り替えユニットは、上記第１モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第１モードを第２モードに切り替えるように構成されている、項目１４～１６のいずれか１つに記載の装置。
（項目１８）
決定ユニットは、具体的には、上記撮影命令が受信されるまで第１モードにおいて捕捉された連続フレーム間の変化に基づいて、上記第１モードベースの融合が適用されるか否かを決定するように構成されている、項目１７に記載の装置。
（項目１９）
上記フレーム間の上記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含む、項目１８に記載の装置。
（項目２０）
上記第１の画像データ及び上記第２の画像データは、同じ視野角及び同じ合焦位置を有するように設定される、項目１４～１９のいずれか１つに記載の装置。
（項目２１）
上記第１モードベースの融合は、上記撮影命令までに捕捉された上記画像を使用して、上記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられる、項目１４～２０のいずれか１つに記載の装置。
（項目２２）
融合ユニットは、上記第１モード及び上記第２モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行するように構成されている整合ユニットあって、上記フレームは、上記第１モードにおいて捕捉された第１フレームと、上記第２モードにおいて捕捉された第２フレームとを含む整合ユニットを備え、
上記融合ユニットは、上記カメラ揺れ補償後の第２の画像データ及び上記第１の画像データに融合を適用して、カメラ揺れ補償後の第２の画像データを、基準画像データとして使用される第１の画像データと融合させるように構成されている、項目１４～２１のいずれか１つに記載の装置。
（項目２３）
上記第１モードが高解像度モードであり、上記第２の捕捉モードが通常モードであるか、又は、上記第１モードが通常モードであり、上記第２の捕捉モードが高解像度モードである、項目１４～２２のいずれか１つに記載の装置。
（項目２４）
上記第１の画像データ及び上記第２の画像データは、同じイメージセンサから取得される、項目１４～２３のいずれか１つに記載の装置。
（項目２５）
上記第１モード及び上記第２モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行するように構成されている低減ユニットを更に備え、
上記融合ユニットは、ノイズ低減処理後の上記第１の画像データ及び上記第２の画像データに融合を適用するように構成されている、項目１４～２４のいずれか１つに記載の装置。
（項目２６）
異なるモードにおいて捕捉される複数の画像データを含むビデオシーケンスを取得するように構成されている取得ユニットであって、上記異なるモードでは異なる解像度が設定される取得ユニットと、
ビデオシーケンスの画像フレーム間の変化に基づいて、異なるモードベースの融合が適用されるか否かを決定するように構成されている決定ユニットと、
上記決定の結果に基づいて、上記ビデオシーケンスの上記画像データに対して異なるモードベースの融合を適用するように構成されている融合ユニットと、
を備える、撮像ユニットによって捕捉される画像データを処理する装置。
（項目２７）
カメラモジュールと、
命令を含む不揮発性メモリストレージと、
上記カメラモジュール及び上記メモリと通信する１つ又は複数のプロセッサと、
を備え、上記１つ又は複数のプロセッサは、
第１モードにおいて捕捉される第１の画像データを取得する段階であって、上記第１モードでは第１の解像度が設定される段階と、
撮影命令に応じて、上記第１モードを第２モードに切り替える段階であって、上記第２モードでは第２の解像度が設定され、上記第２の解像度は、上記第１の解像度とは異なる段階と、
上記第２モードにおいて捕捉される第２の画像データを取得する段階と、
第１モードベースの融合を適用して、上記第２の画像データを、基準画像データである上記第１の画像データと融合させる段階と、
を行わせるように上記命令を実行する、デバイス。
（項目２８）
上記１つ又は複数のプロセッサは、上記第１の画像データを選択するとともに、上記第２の画像データを選択するように更に構成されている、項目２７に記載のデバイス。
（項目２９）
選択される上記第１の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像であり、選択される上記第２の画像データは、移動オブジェクトを有しない又は最も少数の移動オブジェクトを有する最もシャープな画像である、項目２８に記載のデバイス。
（項目３０）
１つ又は複数のプロセッサは、撮像条件に基づいて、上記第１モードベースの融合が適用されるか否かを決定し、
上記第１モードベースの融合が適用されることが決定され、上記撮影命令が受信されると、上記第１モードを第２モードに切り替えるように更に構成されている、項目２７～２９のいずれかに記載のデバイス。
（項目３１）
上記１つ又は複数のプロセッサは、上記撮影命令が受信されるまで第１モードにおいて捕捉された連続フレーム間の変化に基づいて、上記第１モードベースの融合が適用されるか否かを決定するように構成されている、項目３０に記載のデバイス。
（項目３２）
上記連続フレーム間の上記変化は、露出、合焦位置、ブロック平均、ブロック偏差、及び各軸の角速度に関する変化の全て又はいずれかを含む、項目３１に記載のデバイス。
（項目３３）
上記第１の画像データ及び上記第２の画像データは、同じ視野角及び同じ合焦位置を有するように設定される、項目２７～３２のいずれか１つに記載のデバイス。
（項目３４）
上記第１モードベースの融合は、上記撮影命令までに捕捉された上記画像を使用して、上記撮影命令から撮影完了までのタイムラグが無いゼロシャッタラグと組み合わせられる、項目２７～３３のいずれか１つに記載のデバイス。
（項目３５）
上記１つ又は複数のプロセッサは、上記第１モード及び上記第２モードにおいて捕捉されたフレーム間のカメラ揺れ補償を実行するように更に構成され、上記フレームは、上記第１モードにおいて捕捉された第１フレームと、上記第２モードにおいて捕捉された第２フレームとを含み、
上記第１モードベースの融合を適用する段階において、上記カメラ揺れ補償の後の上記第２の画像データと、上記第１の画像データとが使用される、項目２７～３４のいずれか１つに記載のデバイス。
（項目３６）
上記第１モードが高解像度モードであり、上記第２モードが通常モードであるか、又は、
上記第１モードが通常モードであり、上記第２モードが高解像度モードである、項目２７～３５のいずれか１つに記載のデバイス。
（項目３７）
上記第１の画像データ及び上記第２の画像データは、上記撮像ユニットにおける１つのイメージセンサから取得される、項目２７～３６のいずれか１つに記載のデバイス。
（項目３８）
上記１つ又は複数のプロセッサは、上記第１モード及び上記第２モードにおいて捕捉された画像データの単位で複数の画像データを融合することによって、ノイズ低減処理を実行するように更に構成され、
上記第１モードベースの融合を適用する段階において、上記ノイズ低減処理の後の上記第１の画像データ及び上記第２の画像データが使用される、項目２７～３７のいずれか１つに記載のデバイス。
（項目３９）
上記カメラモジュールは、イメージセンサを備える、項目２７～３８のいずれか１つに記載のデバイス。
（項目４０）
コンピュータに、項目１～１３のいずれか１つに記載の方法を実行させるプログラムを記録したコンピュータ可読記憶媒体。
（項目４１）
コンピュータに、項目１～１３のいずれか１つに記載の方法を実行させる、コンピュータプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【国際調査報告】