特表 2022-540858 移動シーンでのリアルタイム画像生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-20

(54)【発明の名称】移動シーンでのリアルタイム画像生成

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220912BHJP

   G06T 7/269 20170101ALI20220912BHJP

【ＦＩ】

H04N5/232 290

G06T7/269

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022501269

(86)(22)【出願日】2020-07-09

(85)【翻訳文提出日】2022-02-08

(86)【国際出願番号】 IL2020050773

(87)【国際公開番号】W WO2021005608

(87)【国際公開日】2021-01-14

(31)【優先権主張番号】62/871,941

(32)【優先日】2019-07-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】522011551

【氏名又は名称】ボヤージュ８１ リミテッド

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】マンガン，シュミュエル

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA03

5C122EA22

5C122EA24

5C122FH07

5C122FH12

5C122HA13

5C122HA35

5C122HA88

5C122HA89

5C122HB02

5C122HB10

5L096AA02

5L096AA06

5L096CA04

5L096HA04

(57)【要約】

方法であって、シーンの高フレームレートビデオストリームを受信することであって、シーンは、ビデオストリームを取得するイメージングデバイスに対して動いている少なくとも１つのオブジェクトを含む、受信することと、ビデオストリームを、リアルタイムで、各々ｎ個のフレームの少なくとも１つの連続するシーケンスに連続的に分割することと、現在の各シーケンスに関して、（ｉ）シーケンス内のフレームの少なくともいくつかのペア間のピクセルの動きを推定することと、（ｉｉ）シーケンスの各ピクセルの動きベクトル場を計算することと、（ｉｉｉ）計算された動きベクトル場に基づいて、ピクセルのすべてをそれぞれのピクセル位置に同じ位置に配置する代表的なフレームを生成することと、（ｉｖ）それぞれのピクセル位置の各々について、シーケンス内のすべてのフレームからのピクセル値を集約することと、代表的なフレームのストリームをリアルタイムで出力することであって、ストリームが、高いフレームレートよりも低いフレームレートを有する、出力することと、を含む、方法。
【選択図】図１

【特許請求の範囲】

【請求項1】

システムであって、
少なくとも１つのハードウェアプロセッサと、
プログラム命令を格納した非一時的なコンピュータ可読記憶媒体と、を含み、前記プログラム命令が、
シーンの高フレームレートビデオストリームを受信することであって、前記シーンが、前記ビデオストリームを取得するイメージングデバイスに対して動いている少なくとも１つのオブジェクトを含む、受信することと、
前記ビデオストリームを、リアルタイムで、各々ｎ個のフレームの少なくとも１つの連続するシーケンスに連続的に分割することと、
現在の各シーケンスに関して、
（ｉ）前記シーケンス内のフレームの少なくともいくつかのペア間のピクセルの動きを推定することと、
（ｉｉ）前記シーケンスの各ピクセルの動きベクトル場を計算することと、
（ｉｉｉ）前記計算された動きベクトル場に基づいて、前記ピクセルのすべてをそれぞれのピクセル位置に同じ位置に配置する代表的なフレームを生成することと、
（ｉｖ）前記それぞれのピクセル位置の各々について、前記シーケンス内のすべてのフレームからのピクセル値を集約することと、
前記代表的なフレームのストリームをリアルタイムで出力することであって、前記ストリームが、前記高いフレームレートよりも低いフレームレートを有する、出力することと、を行うために、少なくとも１つのハードウェアプロセッサによって実行可能である、システム。

【請求項2】

前記フレームの対の少なくともいくつかが、隣接するフレームの対である、請求項１に記載のシステム。

【請求項3】

前記フレームの対の少なくともいくつかが、隣接しないフレームの対である、請求項１に記載のシステム。

【請求項4】

前記推定が、前記シーケンス内の前記ペアのサブセットに関してのみ実行される、請求項１～３のいずれか一項に記載のシステム。

【請求項5】

前記推定が、前記シーケンスにおける前記ペアの先行する１つに関連付けられた前記推定、前記ビデオストリームにおける先行する時点に関連付けられた前記推定、および階層的動き推定のうちの少なくとも１つで初期化される、請求項１～４のいずれか一項に記載のシステム。

【請求項6】

前記推定が、オプティカルフローシステムを使用して実行される、請求項１～５のいずれか一項に記載のシステム。

【請求項7】

前記推定が、ダウンサンプリング解像度レベルに少なくとも部分的に基づく、請求項１～６のいずれか一項に記載のシステム。

【請求項8】

前記計算が、前記動きベクトル場に関してマルチフレームマルチレベル時間－空間平滑性制約を共同で解くことによって、（ｉ）前記シーケンス内の前記フレームのサブセット、および（ｉｉ）解像度レベルのサブセットにわたってさらに洗練される、請求項１～７のいずれか一項に記載のシステム。

【請求項9】

前記高フレームレートが１２０～１０，０００フレーム／秒（ｆｐｓ）である、請求項１～８のいずれか一項に記載のシステム。

【請求項10】

ｎが、前記高フレームレートと前記低フレームレートとの間の比率に少なくとも部分的に基づいて決定される、請求項１～９のいずれか一項に記載のシステム。

【請求項11】

前記低フレームレートが、前記出力ストリームの所望のフレームレートに基づいて決定される、請求項１～１０のいずれか一項に記載のシステム。

【請求項12】

ｎが、前記推定、計算、生成、および集約に関連付けられた処理時間に少なくとも部分的に基づいてさらに決定される、請求項１～１１のいずれか一項に記載のシステム。

【請求項13】

前記出力が、（ｉ）ＲＧＢ色空間における前記代表的なフレームの各々から画像を生成すること、および（ｉｉ）前記画像を出力することをさらに含む、請求項１～１２のいずれか一項に記載のシステム。

【請求項14】

前記それぞれのピクセル位置の各々について、前記集約がピクセル平均化を使用して実行される、請求項１～１３のいずれか一項に記載のシステム。

【請求項15】

方法であって、
シーンの高フレームレートビデオストリームを受信することであって、前記シーンが、前記ビデオストリームを取得するイメージングデバイスに対して動いている少なくとも１つのオブジェクトを含む、受信することと、
前記ビデオストリームを、リアルタイムで、各々ｎ個のフレームの少なくとも１つの連続するシーケンスに連続的に分割することと、
現在の各シーケンスに関して、
（ｉ）前記シーケンス内のフレームの少なくともいくつかのペア間のピクセルの動きを推定することと、
（ｉｉ）前記シーケンスの各ピクセルの動きベクトル場を計算することと、
（ｉｉｉ）前記計算された動きベクトル場に基づいて、前記ピクセルのすべてをそれぞれのピクセル位置に同じ位置に配置する代表的なフレームを生成することと、
（ｉｖ）前記それぞれのピクセル位置の各々について、前記シーケンス内のすべてのフレームからのピクセル値を集約することと、
前記代表的なフレームのストリームをリアルタイムで出力することであって、前記ストリームが、前記高いフレームレートよりも低いフレームレートを有する、出力することと、を含む、方法。

【請求項16】

前記フレームの対の少なくともいくつかが、隣接するフレームの対である、請求項１５に記載の方法。

【請求項17】

前記フレームの対の少なくともいくつかが、隣接しないフレームの対である、請求項１５に記載の方法。

【請求項18】

前記推定が、前記シーケンス内の前記ペアのサブセットに関してのみ実行される、請求項１５～１７のいずれか一項に記載の方法。

【請求項19】

前記推定が、前記シーケンスにおける前記ペアの先行する１つに関連付けられた前記推定、前記ビデオストリームにおける先行する時点に関連付けられた前記推定、および階層的動き推定のうちの少なくとも１つで初期化される、請求項１５～１８のいずれか一項に記載の方法。

【請求項20】

前記推定が、オプティカルフロー方法を使用して実行される、請求項１５～１９のいずれか一項に記載の方法。

【請求項21】

前記推定が、ダウンサンプリング解像度レベルに少なくとも部分的に基づく、請求項１５～２０のいずれか一項に記載の方法。

【請求項22】

前記計算が、前記動きベクトル場に関してマルチフレームマルチレベル時間－空間平滑性制約を共同で解くことによって、（ｉ）前記シーケンス内の前記フレームのサブセット、および（ｉｉ）解像度レベルのサブセットにわたってさらに洗練される、請求項１５～２１のいずれか一項に記載の方法。

【請求項23】

前記高フレームレートが、１２０～１０，０００フレーム／秒（ｆｐｓ）である、請求項１５～２２のいずれか一項に記載の方法。

【請求項24】

ｎが、前記高フレームレートと前記低フレームレートとの間の比率に少なくとも部分的に基づいて決定される、請求項１５～２３のいずれか一項に記載の方法。

【請求項25】

前記低フレームレートが、前記出力ストリームの所望のフレームレートに基づいて決定される、請求項１５～２４のいずれか一項に記載の方法。

【請求項26】

ｎが、前記推定、計算、生成、および集約に関連付けられた処理時間に少なくとも部分的に基づいてさらに決定される、請求項１５～２５のいずれか一項に記載の方法。

【請求項27】

前記出力が、（ｉ）ＲＧＢ色空間における前記代表的なフレームの各々から画像を生成すること、および（ｉｉ）前記画像を出力することをさらに含む、請求項１５～２６のいずれか一項に記載の方法。

【請求項28】

前記それぞれのピクセル位置の各々について、前記集約が、ピクセル平均化を使用して実行される、請求項１５～２７のいずれか一項に記載の方法。

【請求項29】

プログラムコードが具体化された非一時的なコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、前記プログラムコードが、
シーンの高フレームレートビデオストリームを受信することであって、前記シーンが、前記ビデオストリームを取得するイメージングデバイスに対して動いている少なくとも１つのオブジェクトを含む、受信することと、
前記ビデオストリームを、リアルタイムで、各々ｎ個のフレームの少なくとも１つの連続するシーケンスに連続的に分割することと、
現在の各シーケンスに関して、
（ｉ）前記シーケンス内のフレームの少なくともいくつかのペア間のピクセルの動きを推定することと、
（ｉｉ）前記シーケンスの各ピクセルの動きベクトル場を計算することと、
（ｉｉｉ）前記計算された動きベクトル場に基づいて、前記ピクセルのすべてをそれぞれのピクセル位置に同じ位置に配置する代表的なフレームを生成することと、
（ｉｖ）前記それぞれのピクセル位置の各々について、前記シーケンス内のすべてのフレームからのピクセル値を集約することと、
前記代表的なフレームのストリームをリアルタイムで出力することであって、前記ストリームが、前記高いフレームレートよりも低いフレームレートを有する、出力することと、を行うために、少なくとも１つのハードウェアプロセッサによって実行可能である、コンピュータプログラム製品。

【請求項30】

前記フレームの対の少なくともいくつかが、隣接するフレームの対である、請求項２９に記載のコンピュータプログラム製品。

【請求項31】

前記フレームの対の少なくともいくつかが、隣接しないフレームの対である、請求項２９に記載のコンピュータプログラム製品。

【請求項32】

前記推定が、前記シーケンス内の前記ペアのサブセットに関してのみ実行される、請求項２９～３１のいずれか一項に記載のコンピュータプログラム製品。

【請求項33】

前記推定が、前記シーケンスにおける前記ペアの先行する１つに関連付けられた前記推定、前記ビデオストリームにおける先行する時点に関連付けられた前記推定、および階層的動き推定のうちの少なくとも１つで初期化される、請求項２９～３２のいずれか一項に記載のコンピュータプログラム製品。

【請求項34】

前記推定が、オプティカルフローシステムを使用して実行される、請求項２９～３３のいずれか一項に記載のコンピュータプログラム製品。

【請求項35】

前記推定が、ダウンサンプリング解像度レベルに少なくとも部分的に基づく、請求項２９～３４のいずれか一項に記載のコンピュータプログラム製品。

【請求項36】

前記計算が、前記動きベクトル場に関してマルチフレームマルチレベル時間－空間平滑性制約を共同で解くことによって、（ｉ）前記シーケンス内の前記フレームのサブセット、および（ｉｉ）解像度レベルのサブセットにわたってさらに洗練される、請求項２９～３５のいずれか一項に記載のコンピュータプログラム製品。

【請求項37】

前記高フレームレートが、１２０～１０，０００フレーム／秒（ｆｐｓ）である、請求項２９～３６のいずれか一項に記載のコンピュータプログラム製品。

【請求項38】

ｎが、前記高フレームレートと前記低フレームレートとの間の比率に少なくとも部分的に基づいて決定される、請求項２９～３７のいずれか一項に記載のコンピュータプログラム製品。

【請求項39】

前記低フレームレートが、前記出力ストリームの所望のフレームレートに基づいて決定される、請求項２９～３８のいずれか一項に記載のコンピュータプログラム製品。

【請求項40】

ｎが、前記推定、計算、生成、および集約に関連付けられた処理時間に少なくとも部分的に基づいてさらに決定される、請求項２９～３９のいずれか一項に記載のコンピュータプログラム製品。

【請求項41】

前記出力が、（ｉ）ＲＧＢ色空間における前記代表的なフレームの各々から画像を生成すること、および（ｉｉ）前記画像を出力することをさらに含む、請求項２９～４０のいずれか一項に記載のコンピュータプログラム製品。

【請求項42】

前記それぞれのピクセル位置の各々について、前記集約が、ピクセル平均化を使用して実行される、請求項２９～４１のいずれか一項に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年７月９日に出願された「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＲＥＡＬ－ＴＩＭＥ ＩＭＡＧＥ ＧＥＮＥＲＡＴＩＯＮ ＩＮ ＭＯＶＩＮＧ ＳＣＥＮＥＳ」と題された米国仮特許出願第６２／８７１，９４１号の優先権の利益を主張し、その内容は、その全体が参照により本明細書に組み込まれる。

【0002】

本発明は、コンピュータ画像処理の分野に関する。

【背景技術】

【0003】

デジタルイメージングデバイスは、電子画像センサ上に画像を形成して、シーンの電子表現を作成する。センサは通常、ピクセルの２次元配列からなり、各々が、センサがシーンに露光される間に蓄積される光のリポジトリとして機能する。

【0004】

イメージングデバイスの収集効率により、ピクセルに当たる光はごくわずかであり、センサの露光時間は、十分な量の光を収集するのに十分な長さである必要がある。最適な露光時間は、とりわけ周囲の照明条件を考慮に入れる必要がある。例えば、シーンが暗いほど、十分な画像の明るさを確保するために、露光時間を長くする必要がある。しかしながら、キャプチャ中にシーン内のオブジェクトが移動している場合、露光時間が長くなると、オブジェクトの動きボケおよびノイズのある画像が生成されることになる。この問題は、ピクセル領域がますます小さくなる画像センサの最近の傾向で、さらに顕著になっている。

【0005】

オブジェクトの動きボケを減らす１つの方法は、露光時間を短くすることである。しかしながら、より短い露光時間は、特に、より暗い状態またはより暗い色合い、および画像の他の微光部分において、不十分な画像の明るさをもたらし得る。さらに、短い露光時間は、収集されて画像のダイナミックレンジを拡張し得る有用な光子の無駄、およびダイナミックレンジの損失を引き起こす。

【0006】

関連技術の前述の例およびそれに関連する制限は、例示的であり、排他的ではないことを意図している。関連技術の他の制限は、本明細書を読み、図を検討することにより、当業者に明らかになるであろう。

【発明の概要】

【0007】

以下の実施形態およびその態様は、範囲を限定するものではなく、例示的かつ実例的であることを意図するシステム、ツール、および方法と併せて説明および図示される。

【0008】

いくつかの実施形態では、本開示は、空間時間計算スキームおよび簡略化されたオプティカルフローアルゴリズムとともに、高フレームレートカメラを使用することによる動きベクトル場の効率的なリアルタイム計算のためのシステム、方法、およびコンピュータプログラム製品を提供する。一実施形態では、本発明によって設定される条件、具体的には、複数の解像度および複数の時間間隔での高速フレームレートおよび空間時間導関数は、センサに衝突する光子の１００％を利用することを可能にし、したがって、計算に最適なＳＮＲ条件を提供する。別の実施形態では、本発明によって設定された条件、具体的には最適なＳＮＲ、高速フレームレート、ならびに複数の解像度および複数の時間間隔での空間時間導関数により、動き検出問題は、開口問題の解決とピクセル解像度での動き場ベクトルの生成のために、１回の反復ですむ領域になる。したがって、これにより、速い動きの条件下で複数の高速フレームから平均画像フレームを計算することが可能になり、これは、一実施形態では、標準の色空間画像またはビデオ出力に変換される。

【0009】

一実施形態では、システムが提供され、システムは、少なくとも１つのハードウェアプロセッサと、プログラム命令を格納した非一時的なコンピュータ可読記憶媒体と、を含み、プログラム命令は、シーンの高フレームレートビデオストリームを受信することであって、シーンは、ビデオストリームを取得するイメージングデバイスに対して動いている少なくとも１つのオブジェクトを含む、受信することと、ビデオストリームを、リアルタイムで、各々ｎ個のフレームの少なくとも１つの連続するシーケンスに連続的に分割することと、現在の各シーケンスに関して、（ｉ）シーケンス内のフレームの少なくともいくつかのペア間のピクセルの動きを推定することと、（ｉｉ）シーケンスの各ピクセルの動きベクトル場を計算することと、（ｉｉｉ）計算された動きベクトル場に基づいて、ピクセルのすべてをそれぞれのピクセル位置に同じ位置に配置する代表的なフレームを生成することと、（ｉｖ）それぞれのピクセル位置の各々について、シーケンス内のすべてのフレームからのピクセル値を集約することと、代表的なフレームのストリームをリアルタイムで出力することであって、ストリームが、高いフレームレートよりも低いフレームレートを有する、出力することと、を行うために、少なくとも１つのハードウェアプロセッサによって実行可能である。

【0010】

一実施形態では、方法も提供され、方法は、シーンの高フレームレートビデオストリームを受信することであって、シーンは、ビデオストリームを取得するイメージングデバイスに対して動いている少なくとも１つのオブジェクトを含む、受信することと、ビデオストリームを、リアルタイムで、各々ｎ個のフレームの少なくとも１つの連続するシーケンスに連続的に分割することと、現在の各シーケンスに関して、（ｉ）シーケンス内のフレームの少なくともいくつかのペア間のピクセルの動きを推定することと、（ｉｉ）シーケンスの各ピクセルの動きベクトル場を計算することと、（ｉｉｉ）計算された動きベクトル場に基づいて、ピクセルのすべてをそれぞれのピクセル位置に同じ位置に配置する代表的なフレームを生成することと、（ｉｖ）それぞれのピクセル位置の各々について、シーケンス内のすべてのフレームからのピクセル値を集約することと、代表的なフレームのストリームをリアルタイムで出力することであって、ストリームが、高いフレームレートよりも低いフレームレートを有する、出力することと、を含む。

【0011】

一実施形態では、プログラムコードが具体化された非一時的なコンピュータ可読記憶媒体を含むコンピュータプログラム製品がさらに提供され、プログラムコードは、シーンの高フレームレートビデオストリームを受信することであって、シーンは、ビデオストリームを取得するイメージングデバイスに対して動いている少なくとも１つのオブジェクトを含む、受信することと、ビデオストリームを、リアルタイムで、各々ｎ個のフレームの少なくとも１つの連続するシーケンスに連続的に分割することと、現在の各シーケンスに関して、（ｉ）シーケンス内のフレームの少なくともいくつかのペア間のピクセルの動きを推定することと、（ｉｉ）シーケンスの各ピクセルの動きベクトル場を計算することと、（ｉｉｉ）計算された動きベクトル場に基づいて、ピクセルのすべてをそれぞれのピクセル位置に同じ位置に配置する代表的なフレームを生成することと、（ｉｖ）それぞれのピクセル位置の各々について、シーケンス内のすべてのフレームからのピクセル値を集約することと、代表的なフレームのストリームをリアルタイムで出力することであって、ストリームが、高いフレームレートよりも低いフレームレートを有する、出力することと、を行うために、少なくとも１つのハードウェアプロセッサによって実行可能である。

【0012】

いくつかの実施形態では、フレームの対の少なくともいくつかは、隣接するフレームの対である。

【0013】

いくつかの実施形態では、フレームの対の少なくともいくつかは、隣接しないフレームの対である。

【0014】

いくつかの実施形態では、推定は、シーケンス内のペアのサブセットに関してのみ実行される。

【0015】

いくつかの実施形態では、推定は、シーケンスにおけるペアの先行する１つに関連付けられた推定、ビデオストリームにおける先行する時点に関連付けられた推定、および階層的動き推定のうちの少なくとも１つで初期化される。

【0016】

いくつかの実施形態では、推定は、オプティカルフローシステムを使用して実行される。

【0017】

いくつかの実施形態では、推定は、ダウンサンプリング解像度レベルに少なくとも部分的に基づく。

【0018】

いくつかの実施形態では、計算は、動きベクトル場に関してマルチフレームマルチレベル時間－空間平滑性制約を共同で解くことによって、（ｉ）シーケンス内のフレームのサブセット、および（ｉｉ）解像度レベルのサブセットにわたってさらに洗練される。

【0019】

いくつかの実施形態では、高フレームレートは、１２０～１０，０００フレーム／秒（ｆｐｓ）である。

【0020】

いくつかの実施形態では、ｎは、高フレームレートと低フレームレートとの間の比率に少なくとも部分的に基づいて決定される。

【0021】

いくつかの実施形態では、低フレームレートが、出力ストリームの所望のフレームレートに基づいて決定される。

【0022】

いくつかの実施形態では、ｎは、推定、計算、生成、および集約に関連付けられた処理時間に少なくとも部分的に基づいてさらに決定される。

【0023】

いくつかの実施形態では、出力は、（ｉ）ＲＧＢ色空間における代表的なフレームの各々から画像を生成すること、および（ｉｉ）画像を出力することをさらに含む。

【0024】

いくつかの実施形態では、それぞれのピクセル位置の各々について、集約がピクセル平均化を使用して実行される。

【0025】

上記の例示的な態様および実施形態に加えて、さらなる態様および実施形態は、図を参照し、以下の詳細な説明を検討することによって明らかになるであろう。

【図面の簡単な説明】

【0026】

例示的な実施形態を参照図に示す。図に示されている構成要素および特徴の寸法は、概して、提示上の便宜および明確さのために選択されたものであり、必ずしも縮尺どおりに示されているわけではない。図を以下に列挙する。

【0027】

【図1】本発明の例示的な実施形態による、高フレームレートのイメージングデバイスを使用して、動きボケが低減され、かつモーションシーンにおいて高い信号対雑音比（ＳＮＲ）を有する画像の自動リアルタイム生成のための例示的なシステムを示す。

【図2】本発明の例示的な実施形態による、高フレームレートのイメージングデバイスを使用して、動きボケが低減され、かつモーションシーンにおいて高い信号対雑音比（ＳＮＲ）を有する画像の自動リアルタイム生成のためのプロセスの機能ステップを詳細に示したフローチャートである。

【図3A-3B】本発明の例示的な実施形態による、高フレームレートのイメージングデバイスを使用して、動きボケが低減され、かつモーションシーンにおいて高い信号対雑音比（ＳＮＲ）を有する画像の自動リアルタイム生成のための反復プロセスの概略図である。

【発明を実施するための形態】

【0028】

本明細書では、高フレームレートのイメージングデバイスを使用して、動きボケが低減され、かつダイナミックレンジが高く、かつモーションシーンの信号対雑音比（ＳＮＲ）が高い画像を自動リアルタイムで生成するためのシステム、方法、およびコンピュータプログラム製品について説明する。

【0029】

いくつかの実施形態では、本開示は、微光条件および／またはシーン内のオブジェクトが動いているときに高フレームレートイメージングデバイスによって取得されたフレームのシーケンス、例えば、ビデオストリームからシーンの低ノイズ画像を生成するために特に有用である。

【0030】

動きボケおよび信号ノイズは、デジタルイメージングでの画質低下の主な原因である。微光条件では、画質は動きボケとノイズのトレードオフになることがよくある。適切な信号対雑音比を得るために、低照度レベルでは長時間の露光が必要である。一方、露光時間が長くなると、カメラによる動きまたは被写体の動きによる動きボケのリスクが増加する。

【0031】

動きボケは、露光期間中にカメラまたは被写体が動くときに発生する。これが発生すると、被写体の画像は、露光時間中にカメラセンサの感光面の異なる領域に移動する。そのため、露光時間が長いと、カメラの動きまたはシーン内のオブジェクトの動きが画像に写りやすくなる。

【0032】

デジタルカメラのノイズには、例えば、光センサ構成要素によって生成されるノイズ、光センサの電圧リークによって生成されるノイズ、画像センサピクセルの不均一性に関連付けられたパターンノイズ、または、所与の時間間隔中にセンサピクセルによってキャプチャされた光子の数のランダム性に関連付けられている主要なノイズ源である光子ショットノイズなど、複数のノイズ源が含まれる。ショットノイズのポアソン分布により、光の量が増加すると相対ノイズが減少するため、より長い露光時間は、ＳＮＲを改善する。

【0033】

これは、スマートフォンカメラなどのモバイルデバイスカメラに特に当てはまる。それらのより小さいサイズのため、ピクセルは、同じ露光時間内により少ない数の光子を受け取る。さらに、得られた信号には、様々なソースに起因するランダムノイズが存在する。

【0034】

画像内のノイズの相対量を低減する（つまり、ＳＮＲを増加させる）ための最も効果的な方法は、より長い露光時間を使用することであり、これにより、センサによって、より多くの光子が観測されることを可能にする。しかしながら、長時間露光の場合、動きボケのリスクが増加する。

【0035】

これらの問題を軽減しようとする既知の方法は、次のとおりである。
・画像の解像度を増加させるために畳み込みカーネルを適用すること、しかしながら、これらの手法では、通常、動きの範囲が小さいとき、および全体的Ｌ１０７であるとき、限られた改善しか得られない。
・光学式または電子式の手ぶれ補正を使用して、カメラのわずかな動きおよび振動を軽減すること。しかしながら、これらの手法はカメラの揺れを補正するのに役立つが、動きの範囲が大きい場合、または動きが全体的でない場合は効果がない。
・シャープネス基準に基づいてフレームを選択し、複数のフレームを取得すること。しかしながら、この方法では、シーン内の不均一な動きを処理することができない。

【0036】

しかしながら、これらの既知の方法では、通常、微光条件、カメラの動きとオブジェクトの動きの同時発生、および／またはフレーム間のモーションレートが大きい場合に効果的に対処することができない。

【0037】

したがって、いくつかの実施形態では、本開示は、例えば、高フレームレートのイメージングデバイスを使用して、シーンの高フレームレートの短露光時間画像フレームのシーケンスをキャプチャするプロセスを提供する。

【0038】

いくつかの実施形態では、本開示は、次に、フレームのシーケンス内の隣接するフレームのペア間のピクセルレベルの動きを計算する。

【0039】

いくつかの実施形態では、本開示は、次に、シーケンス内のすべてのフレームにわたる各ピクセルの動きベクトル場を計算する。

【0040】

いくつかの実施形態では、本開示は、次に、集約が異なるフレームのピクセル間の動きを補償するシーケンス内のすべてのフレームにわたる各ピクセル位置の集約ピクセル値を計算することを提供する。いくつかの実施形態では、次に、集約ピクセル値は、シーケンス内のすべてのフレームの代表的な画像を生成するために使用され得、各ピクセル位置が、シーケンス内の任意の個々のフレームと比較して、キャプチャされた光子の量が増加し、したがってより高いＳＮＲを反映する。いくつかの実施形態では、複数の短時間露光フレームにわたってピクセル値を集約または結合することは、動きボケペナルティを被ることなく、結果として得られる代表的な画像の有効露光時間を増加させるように機能する。

【0041】

いくつかの実施形態では、このプロセスは、例えば、連続ビデオストリームからの連続シーケンスに対して反復的に実行され得る。いくつかの実施形態では、そのような各シーケンスに関して、本開示は、代表的なフレームを出力することを提供し、各ピクセル位置は、シーケンス内の任意の個々のフレームと比較して、キャプチャされた光子の量が増加し、したがってより高いＳＮＲを反映する。いくつかの実施形態では、本開示は、代表的なフレームの対応するストリームを、ストリームのより高い取得フレームレートよりも低いフレームレート、例えば、１０～１００ｆｐｓの出力レートで出力することを提供する。いくつかの実施形態では、本開示の出力ストリームフレームレートは、例えば、下流のアプリケーションまたは実装の要件と併せて、所望の出力フレームレートに基づいて決定され得る。

【0042】

いくつかの実施形態では、生成された代表的な画像および／または画像のストリームは、次に、例えば、標準ＲＧＢ色空間に変換され、標準ＲＧＢ画像として出力され得る。

【0043】

いくつかの実施形態では、本開示は、例えば、受信した高フレームレート画像ストリーム、例えば、ビデオストリームから、動きボケのない高ＳＮＲ画像の連続的な低フレームレートストリームをリアルタイムで生成することによって、このプロセスをリアルタイムで実行することを提供する。いくつかの実施形態では、本プロセスは、比較的小さいフレーム間のモーションレートを表す高フレームレート入力ストリームを利用することによって、計算オーバーヘッド要件を低減するので、連続的なリアルタイムの代表的な画像生成を可能にし得る。したがって、動き推定は、オフライン処理を必要とせずに、モバイルデバイスなどの一般的に使用されるイメージングプラットフォームで迅速かつ効率的に計算することができる。

【0044】

いくつかの実施形態では、本開示は、複数の高フレームレート、短露光時間フレームからの代表的な画像フレーム露光時間を集約することに基づいており、これは、強い光において、画像センサの制限されたフルウェル容量による飽和を防ぎ、フルイメージング時間中に１００％の光子収集を可能にして、ＳＮＲと動き検出の精度を改善するので、より広いダイナミックレンジの照明を提供し得る。微光条件では、これは、シーン内の強い光源による飽和を防ぎ、シーン内の暗い領域の１００％の光子収集を可能にしながら、それらを強力なモーションアンカーとして使用する。

【0045】

いくつかの実施形態では、本開示は、以下のような一般的に利用可能な技術およびデバイスを使用して実装するのに特に適し得る。
・低コスト、高速ＣＭＯＳ画像センサ、
・例えば、毎秒１２０～１０，０００フレーム／秒（ｆｐｓ）の速度で動作することができる高フレームレートの画像センサ、
・画像センサ、メモリ、および好適な処理機能を低消費電力の小型ユニット内にパッケージ化し、組み込んだスマートフォンなどのモバイルデバイス、および／または
・グラフィックスプロセッシングユニット（ＧＰＵ）、テンソルプロセッシングユニット（ＴＰＵ）、人工知能プロセッシングユニット（ＡＩＵ）などの小型処理ユニット、またはスマートカメラもしくはモバイルデバイスに組み込むことができる他の積和（ＭＡＣ）演算のアレイを使用した効率的で高度な並列処理モジュール。

【0046】

したがって、本開示の潜在的な利点は、高フレームレートの画像またはビデオストリームのシーケンスにおける動きベクトル場の効率的なリアルタイム計算を提供し、これにより、画像センサの各画素位置に衝突する光子の総量を集約し、動き補償された、高ダイナミックレンジ、高ＳＮＲ代表標準色空間の画像の連続ストリームを出力として生成することを可能にする点にある。

【0047】

より高いフレームレートの画像取得を使用することにより、所望のフレームレート出力を有する所与のシナリオについて、本開示は、広いダイナミックレンジの照明条件で動作する能力を増加させる。強い光の中で、これは画像センサの制限されたフルウェル容量による飽和を防ぎ、フルイメージング時間中に１００％の光子収集を可能にして、ＳＮＲと動き検出の精度を改善する。微光条件では、これは、シーン内の強い光源による飽和を防ぎ、シーン内の暗い領域の１００％の光子収集を可能にしながら、それらを強力なモーションアンカーとして使用する。

【0048】

本開示は、例えば、微光下で動いているシーンを撮影するときに通常は不十分な結果を示す、モバイルデバイスなどで、例えば、消費者グレードのカメラの文脈で、特に有用であり得る。

【0049】

本明細書で使用される場合、「画像」という用語は、ピクセル値の２次元配列を指す。画像は、別の画像の２次元サブセットになり得る。デジタル画像は、１つ以上のデジタル画像チャネルを含み、各々は、ピクセルの２次元配列を含み、各ピクセル値は、ピクセルの幾何学的領域に対応する電子画像センサによって受け取られる光の量に関連する。カラーイメージングの用途の場合、デジタル画像は通常、赤、緑、および青のデジタル画像チャネルからなるが、他の構成も実施される。モノクロの用途の場合、デジタル画像は、１つのデジタル画像チャネルからなる。いくつかの実施形態では、本開示は、上記の用途のいずれかのデジタル画像に適用することができるが、これらに限定されない。

【0050】

本開示は、デジタル画像チャネルを、行および列によって配置されたピクセル値の２次元配列として説明しているが、本開示は、ベイヤー配列などのモザイク配列に同等の効果で適用することができる。同様に、本開示は、ピクセルカラーセンサが積層されたカラー画像センサに適用することができる。

【0051】

いくつかの実施形態では、本開示は、元のピクセル値を処理されたピクセル値で置き換えて、処理されたピクセル値で新しいデジタル画像を形成することを説明するが、元のピクセル値を保持することも企図される。

【0052】

図１は、本発明のいくつかの実施形態による、高フレームレートイメージングデバイスを使用して、シーンの高ＳＮＲ画像を自動リアルタイムで生成するための例示的なシステム１００を示している。

【0053】

本明細書に記載のシステム１００は、本発明の単なる例示的な実施形態であり、実際には、示されるよりも多いまたは少ない構成要素を有し得、２つ以上の構成要素を組み合わせ得るか、または構成要素の異なる構成もしくは配置を有し得る。システム１００の様々な構成要素は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの両方の組み合わせで実装され得る。様々な実施形態では、システム１００は、専用のハードウェアデバイスを含み得るか、または既存のデバイスへの追加もしくは拡張を形成し得る。

【0054】

いくつかの実施形態では、システム１００は、処理ユニット１１０およびメモリ記憶デバイス１１４を備え得る。いくつかの実施形態では、システム１００は、記憶デバイス１１４などのその不揮発性メモリに、処理ユニット１１０などの処理ユニット（「ハードウェアプロセッサ」、「ＣＰＵ」、または単に「プロセッサ」も）を動作させるように構成されたソフトウェア命令または構成要素を格納し得る。いくつかの実施形態では、ソフトウェア構成要素は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御および管理し、様々なハードウェアおよびソフトウェア構成要素間の通信を容易にするための様々なソフトウェア構成要素および／またはドライバを含むオペレーティングシステムを含み得る。いくつかの実施形態では、システム１００は、１つ以上のグラフィックプロセッシングユニット（ＧＰＵ）を含み得る。いくつかの実施形態では、処理ユニット１１０は、例えば、ＧＰＵ、ＴＰＵ、ＡＩＵ、または任意のデスクトップ、スマートカメラ、もしくはモバイルコンピューティングデバイス内に組み込むことができる、他の積和演算（ＭＡＣ）のアレイを備える。

【0055】

いくつかの実施形態では、システム１００は、例えば、自己振動を補償するために使用されるＩＭＵセンサのうちの１つ以上をさらに含み得る。

【0056】

処理ユニット１１０を動作させるソフトウェア命令および／または構成要素は、好適なイメージングデバイスによってキャプチャされた複数のフレームを受信および分析するための命令を含み得る。例えば、処理ユニット１１０は、画像処理モジュール１１１および畳み込みネットワークモジュール１１２を含み得る。画像処理モジュール１１０は、例えば、ビデオストリームを受信し、それに１つ以上の画像処理アルゴリズムを適用する。

【0057】

入ってくる画像ストリームは、様々なイメージングデバイスから来ることがある。画像処理モジュール１１１によって受信される画像ストリームは、それぞれのソースデバイスの特性および目的に応じて、解像度、フレームレート（例えば、１００～１０，０００ｆｐｓ）、フォーマット、およびプロトコルにおいて変化し得る。実施形態に応じて、画像処理モジュール１１１は、様々な処理機能を介して、ビデオストリームをルーティングすることができるか、または、例えば、ディスプレイ上で、記録システムに、ネットワークを介して、もしくは別の論理的宛先に提示するために処理済みビデオストリームを送信する出力回路にルーティングすることができる。画像処理モジュール１１１は、画像ストリーム処理アルゴリズムを単独でまたは組み合わせて実行し得る。画像処理モジュール１１１はまた、画像ストリームに関するロギングまたは記録操作を容易にし得る。

【0058】

畳み込みネットワークモジュール１１２は、シーケンス内の単一フレーム内または２つ以上のフレーム間で、微分畳み込みカーネル、ダウンおよびアップサンプリングカーネル、またはローパスカーネル、または空間シフトカーネルを介して動き検出または補償を実行する畳み込み層のネットワークを含み得る。

【0059】

いくつかの実施形態では、システム１００はまた、画像フレーム間の動きを推定する、すなわち、あるフレーム内のすべての点から別のフレーム内の点への変換を記述する動きベクトル場を決定するように構成され得る（通常、シーケンス内の隣接フレーム間またはすべてのフレームから１つの代表的なフレームの間）。動き推定は、２つの画像（例えば、フレーム）間の対応する点を見つけるプロセスとして定義され得、シーンまたはオブジェクトの２つのビューで互いに対応する点は、そのシーン内またはそのオブジェクト上の同じ点と見なされ得る。いくつかの実施形態では、本開示は、フレーム間の動きを推定するために、フレーム間およびフレーム内の微分と全体的な制約に基づく高密度オプティカルフローアルゴリズムを適用し得る。例えば、Ｂ．Ｋ．Ｐ．Ｈｏｒｎ ａｎｄ Ｂ．Ｇ．Ｓｃｈｕｎｃｋ，”Ｄｅｔｅｒｍｉｎｉｎｇ ｏｐｔｉｃａｌ ｆｌｏｗ．”Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ １７，ｐｐ １８５－２０３，１９８１を参照されたい。いくつかの実施形態では、本開示によって示される構成要素および条件は、単一または数回の反復で全体的な制約を解決することを可能にし、したがって、リアルタイムで高密度オプティカルフローの効率的な計算を可能にする。いくつかの実施形態では、本開示は、オプティカルフローならびに／または別のおよび／もしくは同様のコンピュータビジョン手法もしくはアルゴリズムを適用して、フレーム間の動きを推定し得る。例えば、Ｆａｒｎｅｂａｃｋ Ｇ．（２００３）Ｔｗｏ－Ｆｒａｍｅ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｐｏｌｙｎｏｍｉａｌ Ｅｘｐａｎｓｉｏｎ．Ｉｎ：Ｂｉｇｕｎ Ｊ．，Ｇｕｓｔａｖｓｓｏｎ Ｔ．（ｅｄｓ）Ｉｍａｇｅ Ａｎａｌｙｓｉｓ．ＳＣＩＡ ２００３．Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，ｖｏｌ ２７４９．Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ，Ｈｅｉｄｅｌｂｅｒｇを参照されたい。

【0060】

ビデオプレゼンテーションで見られるような連続した画像シーケンスの場合、オプティカルフローは、ある画像を別の（通常は微小な位置変化を表す）画像にワープする速度場として定義され得る。いくつかの実施形態では、オプティカルフロー推定は、ある画像内の位置から次の画像内の位置へのピクセルの任意の動きを記述する並進の推定を含む。いくつかの実施形態では、オプティカルフロー推定は、各ピクセルおよび／またはピクセル群に関して、変化はピクセルの座標（ｘ、ｙ）であることを返す。いくつかの実施形態では、画像のペア間のピクセルの動きは、追加の方法および／または他の方法を使用して推定され得る。いくつかの実施形態では、システム１００はまた、画像フレームのシーケンスにわたって取得された累積ピクセル座標差を計算し得る。

【0061】

図２は、本発明のいくつかの実施形態による、高フレームレートイメージングデバイスを使用して、シーンの低ノイズ、高ダイナミックレンジ、動き補償画像を自動リアルタイム生成するためのプロセスにおける機能ステップを詳述するフローチャートである。

【0062】

いくつかの実施形態では、ステップ２０２において、図１の例示的なシステム１００などのシステムは、例えば、人間、ペット、車両などの１つ以上の移動物体、またはカメラとシーンの間の相対的な動きを含み得るシーンを描写する入力画像ストリームを受信するように構成され得る。

【0063】

いくつかの実施形態では、入力ストリームは、例えば、１２０～１０，０００ｆｐｓの高フレームレートのイメージングデバイスを使用して取得され得る。いくつかの実施形態では、より低いおよび／またはより高いフレームレートを有するイメージングデバイスが使用され得る。

【0064】

いくつかの実施形態では、ストリームに描かれるシーンまたはシーンの一部は、薄暗く照らされることがあり、例えば、画像ストリームは、微光周囲条件下で取得されることがある。いくつかの実施形態では、シーンの一部は、暗い影付きの領域を含む。いくつかの実施形態では、シーンは、比較的高速の動きで動くオブジェクトを含み得る。いくつかの実施形態では、カメラは、シーンに対して比較的高速の動きまたは角運動で動いている。

【0065】

いくつかの実施形態では、ステップ２０４で、画像フレームストリームは、例えば、５～１００フレーム／シーケンスなど、各々ｎ個のフレームの連続するシーケンスに連続的に分割され得る。

【0066】

いくつかの実施形態では、各シーケンスのフレーム数は、コンピューティングプラットフォームのタイプおよびアーキテクチャ、所望の速度および品質の結果などを含むがこれらに限定されないパラメータの組み合わせによって決定され得る。いくつかの実施形態では、シーケンス内のフレームの数は、例えば、プロセスが実行される関連するコンピューティングプラットフォームの計算能力および処理時間によって規定され得る。いくつかの実施形態では、シーケンス内のフレームの数は、コンピューティングプラットフォームの即時応答時間に少なくとも部分的に基づいて、動的に調整され得る。したがって、例えば、第１のシーケンスは、例えば、８０ｍｓのフレーム処理時間を想定して、指定された数のフレームを含み得るが、後続のシーケンスは、例えば、より多くのフレームを含み得、瞬間処理時間は、例えば、４０ｍｓに減少している可能性がある。

【0067】

いくつかの実施形態では、ステップ２０６において、本開示は、シーケンス全体にわたってフレーム間のピクセルの動きを推定する連続オプティカルフロープロセスにおいて、シーケンス内の隣接するフレームのペア全体にわたってピクセルの動きを推定する。
いくつかの実施形態では、ステップ２０６において、本開示は、フレームのペアの複数のダウンサンプリングされたレベルを使用して、隣接するフレームのペア全体にわたるピクセルの動きを推定する。

【0068】

いくつかの実施形態では、ステップ２０６において、本開示は、シーケンス全体のピクセルの動きを推定する連続オプティカルフロープロセスにおいて、シーケンス内の隣接しないフレームの複数のペアのサブセット全体にわたってピクセルの動きを推定する。

【0069】

いくつかの実施形態では、ステップ２０６で計算された推定されたフレーム間のピクセルの動きは、動きベクトル場に対するマルチフレーム時間空間制約を使用して、フレームのサブセットおよび解像度レベルのサブセットにわたって共同で洗練される。

【0070】

図３Ａは、ステップ２０６の反復プロセスの概略図である。したがって、図３Ａに示されるように、いくつかの実施形態では、システム１００は、ｎ個のフレームを含む現在のシーケンス、例えば、フレームＮ－２からＮ＋２を含むシーケンスｉを受信し得、シーケンス内のフレーム数はｎ＝５である。

【0071】

次に、システム１００は、現在の各シーケンスに関して、ステップ２０６の以下のサブステップを実行し得る。
（ｉ）ステップ２０６ａ：例えば、以下の間のピクセルレベルの動きを推定する。
ａ．フレーム［Ｎ－２］－［Ｎ－１］、
ｂ．フレーム［Ｎ－１］－［Ｎ］、
ｃ．フレーム［Ｎ］－［Ｎ＋１］、および
ｄ．フレーム［Ｎ＋１］－［Ｎ＋２］、ならびに
（ｉｉ）ステップ２０６ｂ：すべての解像度レベルとフレームペアにわたって推定された動きを使用して、現在のシーケンスで各ピクセルのピクセルレベルの動き場ベクトルを計算する。

【0072】

いくつかの実施形態では、ピクセルレベルの動き推定は、現在のシーケンスｉのフレームの隣接する各ペアの間で、複数のダウンサンプリングされた解像度レベルにわたって洗練され得る。

【0073】

いくつかの実施形態では、隣接するペアの動き推定は、シーケンス内の別の、例えば、先行するペアからの結果を使用して初期化され得る。

【0074】

いくつかの実施形態では、本開示によるピクセルレベルの動き推定は、任意の好適な方法、例えば、任意のオプティカルフローまたは２Ｄモーションフローアルゴリズムなどの任意の好適な画像動き推定アルゴリズムを使用して実行され得る。

【0075】

オプティカルフローは、観察者とシーンとの間の相対的な動きによって引き起こされる、視覚シーン内のオブジェクト、表面、およびエッジの見かけの動きのパターンである。オプティカルフローは、画像内の輝度パターンの見かけの動きの速度の分布として定義することもできる。

【0076】

したがって、オプティカルフロー法は、すべてのピクセルまたはボクセル位置で時間ｔおよびｔ＋Δｔで取得される２つの画像フレーム間の動きを計算しようとする。これらの方法は、画像信号のローカルテイラー級数近似に基づいているため、微分と呼ばれ、つまり、空間座標と時間座標に関して偏導関数を使用する。

【0077】

２Ｄ＋ｔ次元の場合、強度Ｉ（ｘ、ｙ、ｔ）を有する、位置（ｘ、ｙ、ｔ）にあるボクセルは、２つの画像フレーム間でΔｘ、Δｙ、およびΔｔだけ移動したことになり、以下のような輝度不変制約が与えられ得る。
Ｉ（ｘ，ｙ，ｔ）＝Ｉ（ｘ＋Δｘ，ｙ＋Δｙ，ｔ＋Δｔ）

【0078】

動きが小さいと仮定すると、テイラー級数を使用したＩ（ｘ、ｙ、ｔ）での画像制約は、次のように展開することができる。

【数1】

【0079】

これらの方程式から、次のようになる。

【数2】

または

【数3】

その結果、

【数4】

ここで、Ｖ_ｘ、Ｖ_ｙは、Ｉ（ｘ，ｙ，ｔ）の速度またはオプティカルフローのｘおよびｙ成分であり、

【数5】

は、対応する方向の（ｘ，ｙ，ｔ）での画像の導関数である。Ｉ_ｘ、Ｉ_ｙ、およびＩ_ｔは、導関数について次のように書くことができる。
Ｉ_ｘＶ_ｘ＋Ｉ_ｙＶ_ｙ＝－Ｉ_ｔ
または

【数6】

。

【0080】

上記で詳述した方法は、画像Ｉ_ｘ、Ｉ_ｙ、Ｉ_ｔのすべてのピクセルの空間的および時間的な導関数を計算することを記述している。しかしながら、すべてのピクセルの動きベクトル場を計算するには、動き推定の「開口問題」を解決する必要がある。開口問題を解決するための既知の方法は、以下を含む。
・位相相関
・ブロックベースの方法（二乗差の合計もしくは絶対差の合計を最小化する、または正規化された相互相関を最大化する）
・画像信号および／または求められる流れ場の偏導関数、ならびに高次偏導関数に基づいて、オプティカルフローを推定する微分法、例えば、
〇Ｌｕｃａｓ－Ｋａｎａｄｅ法：画像パッチとフロー場のアフィンモデルに関する
〇Ｈｏｒｎ－Ｓｃｈｕｎｃｋ法：輝度不変制約からの残差、およびフロー場の予測される平滑性を表す特定の正則化項に基づいて関数を最適化する
〇Ｂｕｘｔｏｎ－Ｂｕｘｔｏｎ法：画像シーケンスのエッジの動きのモデルに基づく
〇Ｂｌａｃｋ－Ｊｅｐｓｏｎ法：相関による粗いオプティカルフロー、および
〇一般的な変分法：他のデータ項と他の平滑性の項を使用した、Ｈｏｒｎ－Ｓｃｈｕｎｃｋの様々な修正／拡張。
・離散最適化法：探索空間を量子化し、対応する変形によりソース画像とターゲット画像との間の距離を最小化するように、ピクセルごとにラベルを割り当てて画像マッチングを行う。最適解は、多くの場合、最大フロー最小カット定理アルゴリズム、線形計画法、または確率伝搬法によって復元される。

【0081】

オプティカルフロー法の主な欠点は、導関数の計算にあり、まず、動きが速すぎると、動きボケ効果により導関数の正確な推定が妨げられ、方法の精度が低下する。第２に、動きボケを防ぐために短時間露光が使用されるとき、フレーム間の空間の動きによる距離が長すぎて、空間導関数を正しく推定することができない。ほとんどの用途では、これらはソリューションを低モーションレートのみに制限する。

【0082】

いくつかの実施形態では、本開示は、オプティカルフローを推定するＨｏｒｎ－Ｓｃｈｕｎｃｋ法を利用し、これは、開口問題を解決するために平滑性の全体的な制約を導入する全体的な方法である。この方法は本質的に反復的であるが、小さな動きなどの特定の条件下では、１回または数回の反復でのみ解決される場合がある。

【0083】

手法のバリエーションは、以下を含み得る。
・階層的なダウンサンプリングを適用し、マルチスケール解像度を使用する。
・コーナーとジャンクションのより良い推定のためにキーポイントマッチングを使用する、または
・初期推測として、前のフレームからの動きを与える。

【0084】

したがって、いくつかの実施形態では、本開示は、上記のように、各隣接フレームペア、例えば、図３ＡのフレームＮ－１、Ｎにおける空間的および時間的導関数の計算に基づいて、現在のシーケンスにおける各フレームの各ピクセルの動きベクトル場を計算することを提供する。いくつかの実施形態では、空間導関数は、ｘおよびｙ方向に隣接する一対のフレームのフレームによって計算され得、シフトされていない画像から結果を差し引いて、ｘ、ｙ導関数Ｉ_ｘ、Ｉ_ｙを生成する。いくつかの実施形態では、フレームの対Ｎ－１、Ｎが差し引かれ、時間的導関数Ｉ_ｔが生成される。

【0085】

いくつかの実施形態では、本開示は、上記のように、隣接しないフレームペアのサブセット、例えば、フレームＮ、Ｍの間の空間的および時間的導関数の計算に基づいて、現在のシーケンスにおける各フレームの各ピクセルの動きベクトル場を計算することを提供する。いくつかの実施形態では、空間導関数は、ｘおよびｙ方向に隣接しない一対のフレームのフレームによって計算され得、シフトされていない画像から結果を差し引いて、ｘ、ｙ導関数Ｉ_ｘ、Ｉ_ｙを生成する。いくつかの実施形態では、フレームの対Ｎ、Ｍが差し引かれ、時間的導関数Ｉ_ｔが生成される。

【0086】

いくつかの実施形態では、開口問題は、Ｌｕｃａｓ－Ｋａｎａｄｅ、Ｈｏｒｎ－Ｓｃｈｕｎｃｋ、または他の任意の好適な方法などの事前定義された入力方法を使用して解決すされ得る。いくつかの実施形態では、開口問題を解決することは、例えば、プロセスの入力パラメータ、例えば、ブロックサイズ、平滑性調整項、または任意の他の関連するパラメータを制御することを含む。いくつかの実施形態では、このプロセスは、シーケンス内の別の隣接するフレームペアの結果から取得され得る動きベクトル場推定を使用してさらに初期化され得る。

【0087】

いくつかの実施形態では、動きベクトル場の計算は、階層的解像度またはピラミッド型解像度としても知られるマルチスケール解像度を利用し得る。したがって、いくつかの実施形態では、上記のように導関数を計算する前に、フレームペアＮ、Ｍは、限定はしないが、２：１、４：１、最大比ｍａｘ：１までなど複数の比率でダウンサンプリングされ得る。

【0088】

いくつかの実施形態では、計算された導関数を使用して、開口問題を解決して、出力動きベクトル場を生成し得る。

【0089】

したがって、いくつかの実施形態では、現在のフレームシーケンス、例えば、図３Ａのシーケンスｉは、ステップ２０６の反復プロセスに従って処理されて、シーケンスｉを含むフレーム内の各ピクセル位置の動きベクトル場を生成し得る。

【0090】

いくつかの実施形態では、図２のステップ２０８において、本開示は、現在のシーケンス、例えば、図３Ａのシーケンスｉごとに、代表的なフレームｎ_ｒを生成することを提供し得る。いくつかの実施形態では、代表的なフレームｎ_ｒは、ステップ２０６で実行される平均動きベクトル場および閉塞状態の計算に基づいて、代表的なピクセル位置に同じ場所に配置されたシーケンスｉの少なくともいくつかのフレームのすべてのピクセルを含む。

【0091】

いくつかの実施形態では、閉塞状態は、フレームごとのピクセルごとに定義される。いくつかの実施形態では、閉塞は、フレーム間のピクセル近傍類似度メトリックを使用して検出される。いくつかの実施形態では、閉塞は、動きベクトル場のボイドを検出することによって検出される。

【0092】

したがって、いくつかの実施形態では、本開示は、シーケンスｉの少なくともいくつかのフレーム、例えば、すべてのフレームまたはフレームのサブセットにわたる平均の動きを計算する。いくつかの実施形態では、本開示は、次に、シーケンスｉのフレームに動き補償平均を適用して、シーケンスｉのフレームの各ピクセル位置でのすべてのピクセル値の集約を表す平均の「フリーズ」画像を生成する。いくつかの実施形態では、集約は、ピクセル強度値を平均化することによるものである。

【0093】

いくつかの実施形態では、ステップ２０８は、シーケンスｉ内の各フレームの対応するピクセルをシーケンスｉ内の選択されたフレーム、例えば、中心フレーム、中間フレーム、中央フレームなどに同じ場所に配置するために、シーケンスｉ内のフレームの少なくともサブセットに対する全体的アライメント、シフト、レジストレーション、および／またはワーピング操作を含む。

【0094】

いくつかの実施形態では、ステップ２０６および／または２０８は、例えば、シーケンスｉのフレームのサブセット、例えば、第１、第２、第４、第８フレームなど、または他の選択されたサブセットを含む、スパースフレームシーケンスに関して実行され得る。図３Ｂは、スパースフレームシーケンスに関して実行されるステップ２０６の反復プロセスの概略図である。

【0095】

いくつかの実施形態では、図２のステップ２０８を引き続き参照して、代表的なフレームｎ_ｒ内のすべての同じ場所に配置されたピクセルのピクセル値を組み合わせて、画像出力ｉ_ｒを形成し得る。したがって、同じ色のピクセルからの電荷は、例えば、信号レベルの組み合わせ、ピクセル電荷に関連付けられた値の加重平均、および／または任意の他の好適な方法に基づいて、組み合わせるか、またはビニングすることができる。いくつかの実施形態では、組み合わされたピクセルの結果として生じるＳＮＲは、組み合わされていない信号と比較してＳＮＲを増加させる。いくつかの実施形態では、組み合わされたピクセルの結果として生じるダイナミックレンジは、組み合わされていない信号と比較してダイナミックレンジを増加させる。

【0096】

他の実施形態では、センサは、バイエル、クアッドバイエル（各バイエルピクセルが４つのサブピクセルに分割される）、ノババイエル（９つのサブピクセルバイエル）、および／または任意の他の空間モザイクもしくは深度オーバーレイカラー配列などのカラーセンサであってもよい。カラーセンサの場合、カラーデータは、最初にモノクロ強度場に変換され、これは動きベクトル場を生成するために使用され、各色は、カラー画像を生成するためにモザイク解除される前に別々に動き平均になる。別の実施形態では、カラーデータは最初にモザイク解除され、各色は、動き場計算のための空間－時間微分を計算するために使用され、勾配は、クワッドバイエル、ノババイエルなどのサブバイエルピクセルにわたって計算され、空間勾配は、カラーモザイク解除に使用される。いくつかの実施形態では、時間勾配は、単色補間を使用してモザイク解除の前に計算され、他の実施形態では、時間勾配は、マルチカラーのモザイク解除後に計算される。いくつかの実施形態では、導関数は、画像センサ解像度（例えば、４０ＭＰ）のピクセルごとに計算され、一方、オプティカルフローは、出力解像度（例えば、４Ｋ／ＵＨＤ／８ＭＰ）などのより低い解像度で推定される。いくつかの実施形態では、動き場は、画像センサ解像度（例えば、４０ＭＰ）のピクセルごとに計算され、一方、出力は、より低い解像度（例えば、４Ｋ／ＵＨＤ／８ＭＰ）であり、その結果、初期解像度は、ターゲット出力解像度にダウンサンプリングする前のサブ解像度シフトに使用される。アルゴリズムの出力は、ＲＧＢなどのターゲット色空間の画像である。画像は、Ｒ、Ｇ、Ｂなどの線形の個別の色の個別の場からの色変換を通過して、ｓＲＧＢまたは同等の標準色空間で標準の表示可能な画像を生成する。

【0097】

本発明は、システム、方法、および／またはコンピュータプログラム製品であり得る。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるための１つ以上のコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体を含み得る。

【0098】

コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持および記憶することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上記の任意の好適な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、その上に命令が記録された機械的に符号化されたデバイス、および上記の任意の好適な組み合わせを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波または他の自由に伝播する電磁波、導波管または他の伝送媒体を通って伝播する電磁波（例えば、光ファイバーケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号などの一時的な信号自体であると解釈されるべきではない。むしろ、コンピュータ可読記憶媒体は、非一時的（すなわち、不揮発性）媒体である。

【0099】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイス、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／もしくはワイヤレスネットワークを介して外部コンピュータもしくは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバー、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを含み得る。各コンピューティング／処理デバイスのネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。

【0100】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語など従来の手続き型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上かつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され得るか、または、接続は、外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）行われ得る。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることにより、コンピュータ可読プログラム命令を実行し得る。

【0101】

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書に記載される。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装することができることが理解されよう。

【0102】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の１つ以上のブロックに指定された機能／行為を実装するための手段を作り出すように、機械を製造し得る。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能なデータ処理装置、および／または他のデバイスに特定の方法で機能するように指示することができるコンピュータ可読記憶媒体に格納され得、その結果、その中に命令が格納されているコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の１つ以上のブロックで指定された機能／行為の態様を実装する命令を含む製造品を含む。

【0103】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされて、コンピュータ実装プロセスを生成するために、コンピュータ、他のプログラム可能な装置、または他のデバイス上で一連の操作ステップを実行させ得、その結果、コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行される命令は、フローチャートおよび／またはブロック図の１つ以上のブロックで指定された機能／行為を実装する。

【0104】

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表し得、これは、指定された論理機能を実装するための１つ以上の実行可能命令を含む。いくつの代替的な実装形態では、ブロックに記されている機能は、図に記されている順序とは異なる順序で発生し得る。例えば、連続して示される２つのブロックは、実際には実質的に同時に実行され得るか、またはそれらのブロックは、関与する機能に応じて逆の順序で実行され得る。ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能または行為を実行するか、または専用ハードウェアとコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装するｋとができることにも留意されたい。

【0105】

本発明の様々な実施形態の説明は、例示の目的で提示されているが、網羅的であること、または開示される実施形態に限定されることを意図するものでもない。説明された実施形態の範囲および趣旨から逸脱することなく、多くの修正および変形が当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見られる技術に対する実際の適用もしくは技術的改善を最良に説明するために、または当業者が本明細書に開示される実施形態を理解することを可能にするために選択された。

【図1】

【図2】

【図3A】

【図3B】

【国際調査報告】