知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-07
(45)【発行日】2023-08-16
(54)【発明の名称】フリッカ低減のための方法、装置およびコンピュータ可読媒体
(51)【国際特許分類】
H04N 23/745 20230101AFI20230808BHJP
H04N 23/71 20230101ALI20230808BHJP
H04N 23/741 20230101ALI20230808BHJP
H04N 25/60 20230101ALI20230808BHJP
【ＦＩ】
H04N23/745
H04N23/71
H04N23/741
H04N25/60
【請求項の数】
16
【外国語出願】
(21)【出願番号】P 2018225710
(22)【出願日】2018-11-30
(65)【公開番号】P2019103142
(43)【公開日】2019-06-24
【審査請求日】2021-10-27
(31)【優先権主張番号】1720000.7
(32)【優先日】2017-11-30
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】500395107
【氏名又は名称】アーム・リミテッド
(74)【代理人】
【識別番号】100107456
【弁理士】
【氏名又は名称】池田 成人
(74)【代理人】
【識別番号】100162352
【弁理士】
【氏名又は名称】酒巻 順一郎
(74)【代理人】
【識別番号】100123995
【弁理士】
【氏名又は名称】野田 雅一
(72)【発明者】
【氏名】オズギュル， タスディゼン
(72)【発明者】
【氏名】アレキシ， コルニエンコ
【審査官】▲高▼橋 真之
(56)【参考文献】
【文献】特開２０１７－０４６３６２（ＪＰ，Ａ）
【文献】特開２００８－１０９３７０（ＪＰ，Ａ）
【文献】国際公開第２０１５／１６３１４５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／７０ －２３／７６
Ｈ０４Ｎ ２５／６０ －２５／６９
Ｈ０４Ｎ ５／２２２－ ５／２５７
(57)【特許請求の範囲】
【請求項1】
映像の取り込み中のフリッカの存在により生じるアーチファクトを低減するために少なくとも１つのプロセッサにより実行される方法であって、前記映像の一連のフレームを取り込むステップであり、前記フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、ステップと、
少なくとも１つの前記領域における画素強度に関連するデータの、前記一連のフレームにわたる変動に基づいて、前記フリッカの時変振動を特性化するステップと、
前記フリッカの前記時変振動の前記特性化に基づいて、前記映像のフレームにフリッカ補正を適用するステップと、
を含み、前記フリッカ補正が適用される前記フレームが複数のゾーンを含み、前記方法が、
前記複数のゾーンのうちの少なくとも１つのゾーンを無フリッカゾーンとして識別するステップと、
少なくとも１つの前記無フリッカゾーンにおいて、前記フリッカ補正を禁止するステップと、
を含む、方法。
【請求項2】
前記フリッカの前記時変振動を特性化するステップが、前記フリッカの振幅及び位相のうちの少なくとも一方を決定することを含む、請求項１に記載の方法。
【請求項3】
前記方法が、前記フリッカの周波数を決定するステップを含み、前記フリッカの前記時変振動の前記特性化が、決定された前記周波数に基づく、請求項１又は２に記載の方法。
【請求項4】
前記フリッカの周波数を決定するステップが、前記映像が取り込まれた地理的位置に基づく、請求項３に記載の方法。
【請求項5】
前記フリッカ補正が適用される前記フレームが、前記一連のフレームのうちの１つである、請求項１～４のいずれか一項に記載の方法。
【請求項6】
前記フリッカ補正が適用される前記フレームが、前記一連のフレームの後である、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記一連のフレームが、少なくとも３つのフレームを含む、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記映像が、ローリングシャッターを用いて取り込まれ、前記所定領域がそれぞれ、１本の画素ラインを含む、
請求項１～７のいずれか一項に記載の方法。
【請求項9】
画素強度に関連する前記データが、前記所定領域の画素の平均強度である、請求項１～８のいずれか一項に記載の方法。
【請求項10】
前記一連のフレームが、所与の露光を有するフレームを含み、前記方法が、前記フリッカ補正が適用される前記フレームが高ダイナミックレンジフレーム成分である高ダイナミックレンジフレームを生成するステップを含む、
請求項１～９のいずれか一項に記載の方法。
【請求項11】
前記少なくとも１つの無フリッカゾーンが、前記フリッカの前記時変振動の前記特性化において無視される、請求項１に記載の方法。
【請求項12】
前記複数のゾーンのうちの所与のゾーンを無フリッカゾーンとして識別するステップが、前記所与のゾーンの画素強度の時間変動が前記所与のゾーンにおけるフリッカの存在と整合しないことを判定することを含む、請求項１又は１１に記載の方法。
【請求項13】
前記所与のゾーンの画素強度の前記時間変動が、前記所与のゾーンの平均画素強度の時間変動である、請求項１２に記載の方法。
【請求項14】
前記少なくとも１つの無フリッカゾーンのうちの所与のゾーンにおいて、前記フリッカ補正を禁止するステップが、前記所与のゾーンのエッジ領域を識別することと、
フリッカ補正を前記エッジ領域にわたり適用することであり、前記エッジ領域にわたり適用される前記フリッカ補正の程度が前記エッジ領域にわたり変化する、適用することと、
を含む、請求項１～１３のいずれか一項に記載の方法。
【請求項15】
映像の取り込み中のフリッカの存在により生じるアーチファクトを低減する装置であって、前記映像の一連のフレームを取り込む受信モジュールであり、前記フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、受信モジュールと、
少なくとも１つの前記領域における画素強度に関連するデータの、前記一連のフレームにわたる変動に基づいて、前記フリッカの時変振動を特性化する特性化モジュールと、
前記フリッカの前記時変振動の前記特性化に基づいて、前記映像のフレームにフリッカ補正を適用するフリッカ補正モジュールと、
を備え、前記フリッカ補正が適用される前記フレームが複数のゾーンを含み、前記装置が、
前記複数のゾーンのうちの少なくとも１つのゾーンを無フリッカゾーンとして識別することと、
少なくとも１つの前記無フリッカゾーンにおいて、前記フリッカ補正を禁止することと、
を実行するように構成されている、装置。
【請求項16】
コンピュータ可読命令の集合が格納された非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ可読命令が、少なくとも１つのプロセッサにより実行された場合に、前記少なくとも１つのプロセッサに、映像の一連のフレームを取り込むことであり、前記フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、ことと、
前記映像の取り込み中に存在するフリッカの時変振動を特性化することであり、前記特性化が、少なくとも１つの前記領域における画素強度に関連するデータの前記一連のフレームにわたる変動に基づく、ことと、
前記フリッカの前記時変振動の前記特性化に基づいて、前記映像のフレームにフリッカ補正を適用することと、
を行わせ、前記フリッカ補正が適用される前記フレームが複数のゾーンを含み、前記コンピュータ可読命令が、前記少なくとも１つのプロセッサにより実行された場合に、前記少なくとも１つのプロセッサに、
前記複数のゾーンのうちの少なくとも１つのゾーンを無フリッカゾーンとして識別することと、
少なくとも１つの前記無フリッカゾーンにおいて、前記フリッカ補正を禁止することと、
を行わせる、非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像取り込み中のフリッカの存在により生じるアーチファクトを低減する方法、装置、及びコンピュータ可読記憶媒体に関する。
【背景】
【0002】
特定の既知の光源は、一定の光強度をもたらさず、代わりにフリッカを生じさせる。このようなちらつきは、ゼロ強度等の最小強度と最大強度との間の強度の周期的変動である。強度の時間依存性は、ステップ関数又は正弦曲線等の多様な形状を有し得る。
【0003】
フリッカは、５０Ｈｚ又は６０Ｈｚの周波数で正弦曲線状に変動する電流等、交流電流による光源の給電の結果であり得る。電力は、電流の２乗に比例して変動するため、交流電流に起因するフリッカは、電流周波数の２倍の周波数を有する。例えば、５０Ｈｚの電流に起因するフリッカは、１００Ｈｚの周波数を有するであろう。
【0004】
フリッカは、例えば光源の全体的な認識強度を低減するために、意図的に誘発可能である。一例として、発光ダイオード（ＬＥＤ）は、「オン」状態と「オフ」状態との間で循環可能である。この循環が１００Ｈｚ前後よりも高い周波数を有する場合は、通常、人間観察者によってフリッカと認識されることはないが、代わりに、「オン」状態に対応する強度よりも低い一定の強度と認識されることになる。ＬＥＤ街路灯等のＬＥＤ照明設備は、通常、このような循環を実行して、所望の全体光強度を実現する。
【0005】
ちらつく光源の存在下で映像が取り込まれる場合は、取り込まれた映像フレームにアーチファクトが生じていることがある。例えば、ラインごとにシーン全体を垂直方向又は水平方向に走査することによって各映像フレームが取り込まれる「ローリングシャッター」法を用いて映像が取り込まれる場合がある。これにより、各ラインは、異なる時間ひいては振動するフリッカの異なる位相にて取り込まれる。したがって、取り込まれたシーンの輝度は、フレーム全体で変動するため、「バンディング」アーチファクトを生じる可能性がある。
【0006】
上記のこれらのようなフリッカアーチファクトは、ちらつき自体が十分に高速で人間が観察できない場合でも、取り込まれた映像中では視認可能となる。これにより、人間観察者が認識するような取り込み映像の品質が低下する。また、フリッカアーチファクトは、取り込み映像のコンピュータ処理でも問題を呈する。例えば、自動運転車のナビゲーションに取り込み映像が用いられる場合は、フリッカアーチファクトがそのナビゲーションを損なう可能性もある。したがって、取り込み映像中のフリッカアーチファクトを低減する方法が求められている。
【概要】
【0007】
本発明の一態様によれば、映像の取り込み中のフリッカの存在により生じるアーチファクトを低減する方法であって、
映像の一連のフレームを取り込むステップであり、フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、ステップと、
少なくとも１つの上記領域における画素強度に関連するデータの一連のフレームにわたる変動に基づいて、フリッカの時変振動を特性化するステップと、
フリッカの時変振動の特性化に基づいて、映像のフレームにフリッカ補正を適用するステップと、
を含む、方法が提供される。
映像の一連のフレームを取り込むステップであり、フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、ステップと、
少なくとも１つの上記領域における画素強度に関連するデータの一連のフレームにわたる変動に基づいて、フリッカの時変振動を特性化するステップと、
フリッカの時変振動の特性化に基づいて、映像のフレームにフリッカ補正を適用するステップと、
を含む、方法が提供される。
【0008】
さらなる態様によれば、映像の取り込み中のフリッカの存在により生じるアーチファクトを低減する装置であって、
映像の一連のフレームを取り込む受信モジュールであり、フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、受信モジュールと、
少なくとも１つの上記領域における画素強度に関連するデータの一連のフレームにわたる変動に基づいて、フリッカの時変振動を特性化する特性化モジュールと、
フリッカの時変振動の特性化に基づいて、映像のフレームにフリッカ補正を適用するフリッカ補正モジュールと、
を備える、装置が提供される。
映像の一連のフレームを取り込む受信モジュールであり、フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、受信モジュールと、
少なくとも１つの上記領域における画素強度に関連するデータの一連のフレームにわたる変動に基づいて、フリッカの時変振動を特性化する特性化モジュールと、
フリッカの時変振動の特性化に基づいて、映像のフレームにフリッカ補正を適用するフリッカ補正モジュールと、
を備える、装置が提供される。
【0009】
さらなる態様によれば、コンピュータ可読命令の集合が格納された非一時的なコンピュータ可読記憶媒体であって、上組のコンピュータ可読命令が、少なくとも１つのプロセッサにより実行された場合に、少なくとも１つのプロセッサに、
映像の一連のフレームを取り込むことであり、フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、ことと、
映像の取り込み中に存在するフリッカの時変振動を特性化することであり、特性化が、少なくとも１つの上記領域における画素強度に関連するデータの一連のフレームにわたる変動に基づく、ことと、
フリッカの時変振動の特性化に基づいて、映像のフレームにフリッカ補正を適用することと、
を行わせる、非一時的なコンピュータ可読記憶媒体が提供される。
映像の一連のフレームを取り込むことであり、フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、ことと、
映像の取り込み中に存在するフリッカの時変振動を特性化することであり、特性化が、少なくとも１つの上記領域における画素強度に関連するデータの一連のフレームにわたる変動に基づく、ことと、
フリッカの時変振動の特性化に基づいて、映像のフレームにフリッカ補正を適用することと、
を行わせる、非一時的なコンピュータ可読記憶媒体が提供される。
【図面の簡単な説明】
【0010】
【詳細な説明】
【0011】
図１は、画像取り込み中のフリッカの存在により生じるアーチファクトを低減する方法１００の模式的表現を示している。
【0012】
方法１００は、映像の一連のフレームを取り込むステップ１０５を含む。フレームはそれぞれ、複数の所定領域を含む。各領域は、複数の画素を含む。
【0013】
方法１００は、少なくとも１つの上記領域における画素強度に関連するデータの一連のフレームにわたる変動に基づいて、フリッカの時変振動を特性化するステップ１１０を含む。
【0014】
方法１００は、フリッカの時変振動の特性化に基づいて、映像のフレームにフリッカ補正を適用するステップ１１５を含む。したがってこのようなフリッカ補正が行われないシステムに対して、フリッカアーチファクトを低減することにより、映像の認識品質を向上可能である。また、例えば上述の通り、自動運転車のナビゲーションのためのコンピュータ処理に対する映像の適性についても、上記のようなフリッカ補正が行われないシステムに対して向上する。
【0015】
いくつかのフリッカ補正方法は、フレームが取り込まれる時間を変更することにより、フリッカの振動と同期してフレームを取り込むステップを含む。本方法によれば、上記のようにフレームが取り込まれる時間を変更することなく、フリッカ補正が可能となる。したがって、本方法によれば、例えば２４０フレーム／秒を超えるような高フレームレートで映像を記録する場合等、上記のようにフレームが取り込まれる時間を変更することができない状況におけるフリッカ補正が可能となる。このような高フレームレートでは、フリッカの単一の振動全体で複数のフレームが取り込まれることにつながる。このため、フレーム取り込み時間は、常にフリッカの同じ位相となるようには分布し得ない。
【0016】
いくつかの例において、フリッカが存在しないことを示す入力が受信された場合は、フリッカ補正が無効となる。このような入力の一例として、例えばホワイトバランスが日光又は白熱灯等のちらつきのない光源と整合する場合に、照明の特性がフリッカと整合しないという自動センシングに基づく指標又はユーザからのいずれかの指標が挙げられる。
【0017】
【0018】
図２Ａは、正弦曲線状に変動するフリッカ強度２０５を模式的に示している。ローリングシャッター技術を用いて映像が取り込まれるが、第１のライン２１０、第２のライン２１５、さらなるライン、及び最後のライン２２０を含む後続画素ラインがフリッカ正弦曲線２０５の異なる位相で取り込まれる。これらのラインが組み合わされて、映像の第１のフレームが形成される。その後、図２Ａの破線で表されるように、これらの画素ラインが第１のラインから始まって再び取り込まれることにより、映像の第２のフレームが形成される。このように、第２のフレームは、第１のフレームよりも暗い照明条件で取り込まれるため、第１のフレームよりも全体的に暗くなる場合がある。
【0019】
図２Ｂは、垂直ローリングシャッターを用いて、ちらつく光源の存在下で取り込まれたフレーム２４０を模式的に示している。フレーム２４０には、１２本の画素ライン２４５を含む。本例においては、ローリングシャッターが垂直ローリングシャッターであったことから、ライン２４５が水平行である。逆に、水平ローリングシャッターを使用された場合、ライン２４５は、垂直列となる。
【0020】
フレーム２４０の取り込み間隔は、フリッカ振動の２つの周期に略対応する。ローリングシャッターの結果として、所与のライン２４５の画素は、同時ひいてはフリッカの同じ位相に取り込まれる。その結果、所与のライン２４５の画素は、同じ輝度の照明下で取り込まれる。ローリングシャッターを用いて映像が取り込まれるいくつかの例において、図１の方法１００に関して前述した各所定領域には、このような画素ラインを含む。
【0021】
後続ライン２４５は、フリッカの異なる位相で取り込まれる。このため、ライン強度は、フリッカの振動全体に対応する垂直距離２５０にわたって変動する。図２Ｂの例において、第１のラインは、フリッカの最大輝度に対応する最大強度を有する。後続ラインの強度は、フリッカの最小輝度に対応する最小強度に達するまで低下する。その後、強度は、最大強度に達するまでラインごとに増大する。この循環は、フレーム２４０全体で繰り返され、フレーム２４０にバンディングアーチファクトが生じる。
【0022】
バンディングの程度は、異なる光源の相互作用によって決まり得る。例えば、ちらつく光源に近いシーンの部分がフリッカを生じ得る一方、ちらつかない光源に近いシーンの部分は、フリッカを生じ得ない。
【0023】
正弦曲線状に振動するフリッカ２０５は、振幅、位相、及び周波数等のパラメータによって特徴付けられる。例において、フリッカの時変振動を特性化する方法１００のステップは、フリッカの振幅及び位相のうちの少なくとも一方を決定することを含む。
【0024】
上記の代替又は追加として、方法１００は、フリッカの周波数を決定することを含んでいてもよい。そして、フリッカの時変振動の特性化は、決定された周波数に基づき得る。ちらつく光源は、局所主交流電源の周波数に等しい周波数でちらつく可能性がある。この主電源周波数は地域特有であり、例えば欧州で５０Ｈｚに等しく、米国では６０Ｈｚに等しい。したがって、フリッカの周波数の決定は、例えば映像と関連付けられた位置メタデータにより識別される映像が取り込まれた地理的位置に基づいていてもよい。そして、このような例においては、映像のフレームのフリッカアーチファクトを解析することによって、振幅及び／又は位相を決定可能であり、以下にその例をより詳しく説明する。
【0025】
上述のバンディングアーチファクトの出現は、シーン内の物体のレイアウトによって決まる。一方、平坦な物体に対応するフレームの領域は、図２Ｂに示すようなはっきりしたバンディングパターンを生じ得る。また、質感がより複雑な物体上の局所的な色調変動によって、画素の輝度がより複雑に分布することにつながる可能性もある。フリッカ振動の特性化の精度を向上させるため、図１に関して上述した画素強度に関連するデータは、所定領域の画素の平均強度であってもよい。以下、図３Ａ及び図３Ｂを参照してこれを概説する。
【0026】
図３Ａは、特定フレームの各ラインの最初の画素の強度のプロファイルの模式的表現３０５を示している。この強度分布は、バンディングアーチファクトの結果として、大略正弦曲線状の形状を示す。ただし、フレームに取り込まれた物体の局所的な変動のため、強度は、この正弦曲線の周りで変動する。
【0027】
図３Ｂは、同じフレームの各ラインの複数画素の平均強度のプロファイルの模式的表現３１０を示している。上述の通り、各ラインが同じフリッカ位相で取り込まれることから、局所的な強度変動は、平均化プロセスによって平滑化される。これにより、フリッカの滑らかな正弦曲線がより正確に再現されるため、フリッカをより正確に特性化可能となる。さらに、ライン当たりの平均画素強度に基づく解析に用いられる処理及び記憶は、個々の画素強度に基づく解析よりも少なくなる。
【0028】
【0029】
図４Ａは、図３Ａ及び図３Ｂのフレームとは異なり、ちらつく光源で取り込まれたフレームの各ラインの最初の画素の強度のプロファイルの模式的表現４０５を示している。強度は、基礎となる正弦曲線形状が見えない変動分布となっている。
【0030】
図４Ｂは、フレームの各ラインの複数画素の平均強度のプロファイルの模式的表現４１０を示している。図３Ｂに関しては、局所的な強度変動が平均化プロセスにより平滑化されている。ただし、図３Ｂとは異なり、フリッカの基礎となる正弦曲線は再現されていない。これは、例えば図４Ａ及び図４Ｂのフレームに取り込まれたシーンに含まれる平坦面が、図３Ａ及び図３Ｂのフレームに取り込まれたシーンよりも少なく、バンディングアーチファクトの区別が曖昧になったことにつながる。ただし、フリッカは、取り込まれた映像中で依然として視認可能となり得るため、フリッカの特性化により補正するのが望ましい。
【0031】
図４Ｃは、図４Ａ及び図４Ｂのフレームの各ラインの平均画素強度と図４Ａ及び図４Ｂのフレームの前のフレームの各ラインの平均画素強度との差の模式的表現４１５を示している。これらの差をラインごとのプロファイルとして示している。プロファイルは、正弦曲線状のフリッカ振動に対応する正弦曲線形状を有する。このため、フリッカの基礎となる正弦曲線は、単一のフレーム内の画素強度の解析よりも、フレーム間のラインごとの変化の解析によって、より正確に再現される。連続フレーム間に移動がない場合、これらフレーム間の平均強度の差は、フリッカの正弦曲線状の振動によってもたらされるためである。
【0032】
フリッカ振動の正弦曲線は、時間ｔの関数として、以下の形態で表現可能である。ここで、振幅Ａ及び位相θは、未知数である。
Ａｓｉｎ（２πｔ＋θ）
Ａｓｉｎ（２πｔ＋θ）
【0033】
この等式は、未知の定数Ａｃｏｓ（θ）及びＡｓｉｎ（θ）をそれぞれｒ（０）及びｒ（１）で置き換えて、以下のように書き換えられる。
Ａｓｉｎ（２πｔ＋θ）＝Ａｓｉｎ（２πｔ）ｃｏｓ（θ）＋Ａｓｉｎ（θ）ｃｏｓ（２πｔ）
ｒ（０）＝Ａｃｏｓ（θ）
ｒ（１）＝Ａｓｉｎ（θ）
Ａｓｉｎ（２πｔ＋θ）＝ｒ（０）ｓｉｎ（２πｔ）＋ｒ（１）ｃｏｓ（２πｔ）
Ａｓｉｎ（２πｔ＋θ）＝Ａｓｉｎ（２πｔ）ｃｏｓ（θ）＋Ａｓｉｎ（θ）ｃｏｓ（２πｔ）
ｒ（０）＝Ａｃｏｓ（θ）
ｒ（１）＝Ａｓｉｎ（θ）
Ａｓｉｎ（２πｔ＋θ）＝ｒ（０）ｓｉｎ（２πｔ）＋ｒ（１）ｃｏｓ（２πｔ）
【0034】
上の等式において、ｓｉｎ（２πｔ）及びｃｏｓ（２πｔ）は、既知数である。未知数ｒ（０）及びｒ（１）に関して解くため、平均画素強度の差を３つのフレーム間で決定する。
【0035】
図５は、一連の３つのフレーム５０５、５１０、５１５の模式的表現を示している。この一連は、例えば図１の方法１００に関して上述した一連のフレームであってもよい。他の例において、この一連は、４つ以上のフレームを含む。図５において、フレーム５０５、５１０、５１５はそれぞれ、Ｆ０、Ｆ１、及びＦ２と表示している。一例においては、Ｆ０ ５０５が現行フレームで、Ｆ１ ５０１及びＦ２ ５１５が過去フレームである。「Ｆ０」、「Ｆ１」、及び「Ｆ２」は、上記フレーム５０５、５１０、５１５中の画素強度に言及する際の省略表現として使用可能である。
【0036】
上述の通り、フレーム５０５、５１０、５１５は、概念的に画素ラインへと分割可能である。各フレーム５０５、５１０、５１５のｎ番目のラインはそれぞれ、５０５ｎ、５１０ｎ、５１５ｎと表示している。所与のラインｎについて、フレームＦ０ ５０５とフレームＦ１ ５１０との平均画素強度の差は、Ｆ０－Ｆ１と称し得る。同様に、所与のラインｎについて、フレームＦ１ ５１０とフレームＦ２ ５１５との平均画素強度の差は、Ｆ１－Ｆ２と称し得る。
【0037】
上の等式のｒ（０）及びｒ（１）に関して解くことに戻り、後続フレーム間の平均画素強度の差は、以下のように表現可能である。
Ｆ０－Ｆ１＝ｙ（０）＝ｒ（０）ｓｉｎ（２πｔ）＋ｒ（１）ｃｏｓ（２πｔ）
Ｆ１－Ｆ２＝ｙ（１）＝ｒ（０）ｓｉｎ（２πｔ）＋ｒ（１）ｃｏｓ（２πｔ）
Ｆ０－Ｆ１＝ｙ（０）＝ｒ（０）ｓｉｎ（２πｔ）＋ｒ（１）ｃｏｓ（２πｔ）
Ｆ１－Ｆ２＝ｙ（１）＝ｒ（０）ｓｉｎ（２πｔ）＋ｒ（１）ｃｏｓ（２πｔ）
【0038】
したがって、２つの未知数を共有するこれら２つの等式は、一対の連立方程式として解くことができ、フリッカ信号の振幅及び位相に関する以下のような表現が得られる。
Ａ２（ｓｉｎ２（θ）＋ｃｏｓ２（θ））＝ｒ（０）２＋ｒ（１）２
Ａ２（ｓｉｎ２（θ）＋ｃｏｓ２（θ））＝ｒ（０）２＋ｒ（１）２
【数1】
【数2】
【0039】
各ラインについて、振幅Ａ及び位相θを決定可能である。各ラインの振幅は、当該ラインの平均強度値で除することにより、振幅対信号比Ｍを決定することができる。そして、振幅対信号比及び位相を全ラインにわたって平均化することにより、基礎となるフリッカ正弦曲線の指標を生成することができる。生成した正弦曲線を１から減算して反転することにより、フリッカ正弦曲線の反転型を生成することができる。この反転型は、補正比ＣＲと称し、以下のように表現可能である。
ＣＲ＝１－Ｍｓｉｎ（Ｆ０＋θ）
ＣＲ＝１－Ｍｓｉｎ（Ｆ０＋θ）
【0040】
そして、補正比の使用により、映像のフレームにフリッカ補正を適用することができる。例えば、フレームには、補正比の式で記述されたフリッカ正弦曲線の反転型をラインごとに乗じることができる。このフリッカの逆数の乗算によって、フリッカ正弦曲線の効果的な相殺又は部分的な相殺が可能となり、以てフレーム中のフリッカアーチファクトが低減又は除去される。
【0041】
いくつかの例において、フリッカ補正が適用されるフレームは、フリッカの特性化の基準となる一連のフレームのうちの１つである。例えば、図５を参照して、フリッカ補正は、フレームＦ０ ５０５に適用されるようになっていてもよい。このように、現行フレームと２つの過去フレームとの差に基づいて、フリッカを現行フレーム中で補正可能である。
【0042】
他の例において、フリッカ補正が適用されるフレームは、フリッカの特性化の基準となる一連のフレームの後である。例えば、図５を参照して、フリッカ補正は、フレームＦ０ ５０５の後続のフレームに適用されるようになっていてもよい。このように、現行フレーム及び２つの過去フレームに基づいて、フリッカを特性化可能であり、後続のフレームに適用されるフリッカ補正が効果的に予測される。
【0043】
いくつかの例においては、フレームが複数のゾーンを含み、フリッカ補正方法は、少なくとも１つのこのようなゾーンを無フリッカゾーンとして識別するステップを含む。そして、少なくとも１つの無フリッカゾーンにおいては、フリッカ補正が禁止される。例えば、フリッカ補正は、無フリッカゾーンにおいて適用されないようになっていてもよい。或いは、フリッカ補正の程度は、無フリッカゾーンにおいて低下するようになっていてもよい。フリッカアーチファクトを示さないフレームの部分にフリッカ補正を適用すると、フレームの画像品質が低下する可能性がある。例えば、フレームのちらついていない部分は、フリッカ補正アルゴリズムの適用後に、フリッカを示す可能性がある。したがって、このように無フリッカゾーンにおけるフリッカ補正を禁止することにより、全体的な画像品質が向上し得る。
【0044】
いくつかの例において、ゾーンは、矩形ゾーンである。例えば、各フレームは、このようなゾーンの格子を含んでいてもよい。ゾーンサイズの縮小によって、全体的な画像品質が向上する一方、フリッカ補正の決定及び適用に必要な処理及び記憶リソースが増大する可能性がある。したがって、ゾーンサイズは、画像品質と処理及び記憶リソースとのトレードオフとして選択可能である。いくつかの例においては、ゾーンサイズ及びレイアウトが固定されている。他の例においては、ゾーンサイズ及びレイアウトが映像ごと又はフレームごとの基準で動的に変化する。
【0045】
【0046】
図６Ａは、正方形ゾーンのアレイを含むフレーム６０５を模式的に示している。ゾーンには、フリッカアーチファクトが存在するゾーン６１０を含み、図６Ａにおいてハッチング表示している。ゾーンには、フリッカアーチファクトが存在しないゾーン６１５を含み、図５Ａにおいて非ハッチング表示している。例えば、このゾーン６１０、６１５のレイアウトは、フレーム６０５により取り込まれたシーンの混合照明条件に起因し、フリッカゾーン６１０がちらつく光源により照らされ、無フリッカゾーン６１５が連続光源により照らされたものであってもよい。連続光源の一例は、日光である。或いは、無フリッカゾーン６１５は、フリッカ周波数が十分に高いちらつく光源により照らされて、フリッカアーチファクトが存在しないようになっていてもよい。例えば、いくつかの種類の小型蛍光ランプ及び発光ダイオード電球は、このような十分に高いフリッカ周波数で動作する。
【0047】
例において、所与のゾーンを無フリッカゾーン６１５として識別するステップは、所与のゾーンの画素強度の時間変動が所与のゾーンにおけるフリッカの存在と整合しないことを判定することを含む。所与のゾーンの画素強度の時間変動は、同じフレームの平均画素強度の時間変動であってもよい。このような一例においては、各ゾーン６１０、６１５の平均強度がフレームごとに格納される。この平均強度を過去フレームの当該ゾーン６１０、６１５の平均強度と比較することにより、フレーム間のゾーン当たりの変化を決定する。そして、ゾーン当たりの変化を閾値に対して比較する。所与のゾーンの変化が閾値よりも大きい場合は、ゾーンがフリッカゾーン６１０として識別される。所与のゾーンの変化が閾値よりも小さい場合は、ゾーンが無フリッカゾーンとして識別される。閾値は、ゾーンをフリッカゾーン６１０と誤認識するリスクとゾーンを無フリッカゾーン６１５と誤認識するリスクとのトレードオフに基づいて選択されるようになっていてもよい。
【0048】
いくつかの例においては、所与のゾーンの変化に応じて、変化する程度にフリッカ補正が適用される。例えば、より小さな変化を示すゾーンよりも、大きな変化ひいては著しいフリッカアーチファクトを示すゾーンにより大きな程度のフリッカ補正が適用されるように、フリッカ補正の禁止のレベルは、ゾーン当たりを基準として設定されるようになっていてもよい。
【0049】
図６Ｂは、変化する程度でフリッカ補正を適用可能な方式を示している。グラフ６２０は、フレームに適用される補正と所与のゾーンの変化との関係を示している。所与のゾーンの変化が第１の閾値６２５を下回る場合は、当該ゾーンに補正が適用されない。所与のゾーンの変化が第２の閾値６３０を上回る場合は、当該ゾーンに最大補正６３５が適用される。例えば、最大補正６３５を適用することは、上述のような補正比を適用することを含んでいてもよい。所与のゾーンの変化が第１の閾値６２５と第２の閾値６３０との間である場合は、当該ゾーンの変化とともに増大する程度の補正が適用される。このように、補正の程度が所与のゾーンの変化によって決まることから、フリッカアーチファクトが著しいゾーンに対して十分な程度のフリッカ補正を適用できる一方、フリッカアーチファクトが著しくないゾーンに対しては、わずかな程度の補正を適用可能である。
【0050】
例において、所与のゾーンにおけるフリッカ補正を禁止するステップは、所与のゾーンのエッジ領域を識別することと、変化する程度のフリッカ補正をエッジ領域全体にわたり適用することと、を含む。これにより、フリッカ補正が適用されるゾーンとフリッカ補正が適用されないゾーンとの間の鮮明な境界がもたらし得るゾーン間境界でのブロッキングアーチファクトの発生を抑えることができる。変化する程度のフリッカをエッジ領域にわたり適用することは、フリッカゾーンの中心における最大と、当該フリッカゾーンと隣接する無フリッカゾーンとの境界における最小との間で適用されるフリッカ補正の程度を双線形補間することを含んでいてもよい。
【0051】
例においては、フリッカの時変振動の特性化において、無フリッカゾーンが無視される。例えば、上述のライン当たりの平均画素強度は、無フリッカゾーンではなくフリッカゾーンを考慮に入れて計算されるようになっていてもよい。第１の閾値６２５と第２の閾値６３０との間で変化を伴うゾーンに、変化する程度の補正が適用される図６Ｂのようないくつかの例においては、閾値６２５を上回る変化を伴うすべてのゾーンがフリッカゾーンとしてカウントされるため、フリッカの時変振動の特性化において考慮される。このように無フリッカゾーンを無視することにより、フリッカの特性化の精度が向上するとともに、特性化を実行する処理リソースが抑えられる。
【0052】
本開示の例は、単一露光映像及び高ダイナミックレンジ（ＨＤＲ）映像におけるフリッカを低減するように実装されていてもよい。ＨＤＲ映像においては、複数の取り込み画像から各フレームが生成され、各取り込み画像が異なる露光を有する。本明細書においては、入射光に対する取り込み画像の感度を表すものとして用語「露光」を使用している。露光は、ビデオカメラ又はスマートフォン等の映像記録機器のパラメータを変更することによって変動し得る。例えば、「ローリングシャッター」取り込みにおいて画像センサが走査される速度を大きくすることにより、画像センサに光が入射する時間を短くすることによって、露光を抑えることができる。これは、積分時間と称する場合がある。上記のようなパラメータの別の例は、光に対する画像センサの感度を表すセンサのアナログ及び／又はデジタル利得である。上記のようなパラメータの第３の例は、焦点比すなわち「Ｆストップ」である。画像の露光は、これらパラメータのうちの少なくとも１つの関数（例えば、光に対する全体感度を表す単一の値）として表現可能である。例えば、画像センサの利得を２倍にして積分時間を有することにより、露光に対する正味の影響をなくすようにしてもよい。光に対してより高感度となる設定の組み合わせを大露光と称し、光に対してより低感度となる設定の組み合わせを小露光と称する場合もある。また、当技術分野において見られるように、用語「露光」は、特定の露光値の画像を表すのに用いられるようになっていてもよい。
【0053】
ＨＤＲフレームは、ＨＤＲ技法を使用しない場合に通常可能となる光度ダイナミックレンジよりも広いレンジを表す。このようなフレームを生成する１つの技法として、異なる露光をそれぞれ有する複数の連続するコンポーネントフレームを取り込んだ後、これらを単一のＨＤＲフレームとして結合又は「ステッチ」することが挙げられる。例えば、大露光での取り込みは、低照度のエリアの詳細の影響をより受けやすいが、明るいエリアでは飽和する。一方、より小露光での取り込みは、高照度のエリアの詳細の影響をより受けやすいが、暗いエリアでは詳細が失われる。したがって、大露光の取り込みの暗領域を小露光の取り込みの明領域と組み合わせることによって、ＨＤＲフレームを形成可能である。
【0054】
図７は、一例に係る、異なる露光をそれぞれ有する高ダイナミックレンジフレームコンポーネントの取り込みを模式的に示している。
【0055】
長露光７０５が取り込まれて、センサから読み出される。この読み出しは、上述の通り、ラインごとのローリングシャッター読み出しである。その後、中露光７１０が取り込まれて、センサから読み出される。いくつかの例においては、図示のように、長露光７０５の読み出しが終わる前に中露光７１０の読み出しが始まる。これは、デジタルオーバラップ動作と称する場合がある。デジタルオーバラップ動作において、所与の露光が読み出されていない場合は、代わりに帰線区間が読み出されるようになっていてもよい。他の例においては、長露光が終わった後に中露光７１０の読み出しが始まる。その後、短露光７１５が取り込まれて、センサから読み出される。中露光７１０に関して、短露光７１５の読み出しは、長露光７０５の読み出し及び／又は中露光７１０の読み出しと時間的に重なっていてもよい。或いは、短露光７１５の読み出しは、長露光７０５及び／又は中露光７１０の読み出しと重なっていなくてもよい。
【0056】
３つの全露光７０５、７１０、７１５が読み出されたら、次のフレームについてプロセスが再度始まる。１つのフレームの３つの露光７０５、７１０、７１５の後、次のフレームの露光が読み出される前に、垂直帰線区間が存在していてもよい。このような一例においては、４つの非ＨＤＲフレームに対応する時間にわたって、露光が異なる３つのＨＤＲフレームコンポーネントが読み出される。これにより、１秒当たり１２０個の非ＨＤＲフレームを取り込むように構成されたセンサであれば、１秒当たり３０個のＨＤＲフレームを取り込むことも可能である。
【0057】
上記のような一例において、フリッカの特性化の基準となる一連のフレームは、所与の露光を有するフレームを含む。その後、フリッカ補正が適用されるフレームがＨＤＲコンポーネントであるＨＤＲフレームが生成される。その他のＨＤＲフレームコンポーネントについても、本明細書に記載の方法に従ってフリッカが補正されるフレームであってもよい。これにより、フリッカ補正がそれぞれ実行済みの複数のコンポーネント取り込みに基づいて、ＨＤＲフレームを生成可能である。フリッカの同位相となるような各フレームの取り込み時間の調整等、他の特定のフリッカ補正技法は、ＨＤＲ映像との併用に適していない場合がある。本技法によれば、ＨＤＲ映像に対してフリッカ補正を実行することにより、このようなフリッカ補正が実行されないフレームと比較して、ＨＤＲフレームの品質を向上可能である。
【0058】
図８は、例えば本明細書に記載のような方法を実装することにより、映像の取り込み中のフリッカの存在により生じるアーチファクトを低減する装置８００を模式的に示している。装置は、モジュールを備える。これらのモジュールは、ハードウェア、ソフトウェア、又はこれらの組み合わせにて実装されてもよい。
【0059】
装置８００は、映像の一連のフレームを取り込む受信モジュール８０５を備える。フレームはそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む。
【0060】
装置８００は、少なくとも１つの上記領域における画素強度に関連するデータの一連のフレームにわたる変動に基づいて、フリッカの時変振動を特性化する特性化モジュール８１０を備える。
【0061】
装置８００は、フリッカの時変振動の特性化に基づいて、映像のフレームにフリッカ補正を適用するフリッカ補正モジュール８１５を備える。
【0062】
いくつかの例においては、上述の通り、複数の露光の組み合わせによって、単一のＨＤＲフレームを形成する。図９は、このように露光を組み合わせる構成９００を模式的に示している。
【0063】
長露光フリッカ補正ブロック９０５では、長露光が受信される。中露光フリッカ補正ブロック９１０では、中露光が受信される。短露光フリッカ補正ブロック９１５では、短露光が受信される。複数のフリッカ補正ブロック９０５、９１０、９１５は、それぞれの受信露光に対してフリッカ補正を実行する。フリッカ補正ブロック９０５、９１０、９１５は、例えば同じハードウェアフリッカ補正ブロックの複数のインスタンスであってもよい。
【0064】
構成９００は、フレーム融合ブロック９２０をさらに備える。フレーム融合ブロック９２０は、フリッカ補正ブロック９０５、９１０、９１５から、フリッカが補正された長露光、中露光、及び短露光を受信して組み合わせることにより、上述の通りＨＤＲフレームを形成する。
【0065】
図１０は、フリッカ補正を実行する例示的な装置１０００を模式的に示している。装置は、フレーム解析モジュール１００５、ゾーン解析モジュール１０１０、及びフリッカ補正モジュール１０１５を備える。
【0066】
ゾーン解析モジュール１０１０は、過去フレームの画素強度を記述したデータを受信する。ゾーン解析モジュール１０１０は、このデータを用いて、上述の通り、ゾーン当たりの画素強度の変化を計算する。図６Ｂに関して上述した通り、各ゾーンの変化は、閾値と比較される。各ゾーンの変化が各閾値よりも大きいか小さいかを記述したゾーンマップがフレーム解析モジュール１００５及びフリッカ補正モジュール１０１５に提供される。
【0067】
フレーム解析モジュール１００５は、過去フレームの画素強度を記述したデータを受信する。また、フレーム解析モジュール１００５は、ゾーン解析モジュール１０１０からゾーンマップを受信する。これらの入力に基づいて、フレーム解析モジュール１００５は、上記詳述の通り、ラインごとの連続計算でフリッカの振幅及び位相を決定する。その後、フレーム解析モジュール１００５は、現行フレームに適用されるフリッカ補正比（ＣＲ）を計算して、これをフリッカ補正モジュール１０１５に提供する。
【0068】
フリッカ補正モジュール１０１５は、フレーム解析モジュール１００５からの補正比と、ゾーン解析モジュール１０１０からのゾーンマップとを受信する。また、フリッカ補正モジュール１０１５は、現行フレームを記述したデータを受信する。その後、フリッカ補正モジュール１０１５は、例えば上記でより詳述の通り、現行フレームのフリッカを補正して、補正フレームを出力する。例においては、クロックサイクル当たり１画素のレートでフリッカ補正が画素ごとに実行される。
【0069】
装置１０００のいくつかの実装態様において、フレーム解析モジュール１００５及びゾーン解析モジュール１０１０は、例えば過去フレームのデータを格納するメモリを備える。逆に、フリッカ補正モジュール１０１５は、純粋な組み合わせ型で、パイプライン方式レジスタ以外のメモリを備えていなくてもよい。
【0070】
図１０Ｂは、装置１０００の一実装態様のより詳細版を模式的に示している。
【0071】
フレーム解析モジュール１００５は、２つの過去フレームのラインごとの画素強度平均値を格納するランダムアクセスメモリＲＡＭ１０２０を備える。ＲＡＭ１０２０は、例えばスタティックＲＡＭ（ＳＲＡＭ）であってもよい。フレーム解析モジュール１００５は、画素ごとの強度データを受信してライン当たりの平均値を決定するライン平均化モジュール１０２５をさらに備える。これは、例えばラインの受信時に機能する積算器により実装されてもよい。ライン平均値の正規化にシリアル乗算器及びシリアル除算器が用いられるようになっていてもよく、フリッカゾーンとの交差数が異なるラインについて、補正比を正確に計算可能である。ライン平均化モジュール１０２５は、所与のラインの平均強度をＲＡＭ１０２０に格納する。ＲＡＭ１０２０は、例えばピンポンバッファとして動作するように２等分されていてもよく、その結果、後続フレームの平均画素強度は、ＲＡＭ１０２０の半分に交互に格納される。
【0072】
ライン平均化モジュール１０２５は、フリッカの振幅及び位相を計算するシリアル計算器１０３０と関連付けられている。図１１は、このようなシリアル計算器１０３０の例示的な構成１１００を模式的に示している。
【0073】
３つの連続するフレームＦ０、Ｆ１、及びＦ２のライン固有の正弦値及び余弦値を決定するため、正弦及び余弦ルックアップテーブルＬＵＴが用いられる。具体的には、以下の値が計算される。
ｓｉｎＦ１、ｓｉｎＦ２、ｓｉｎＦ０、ｓｉｎＦ１、ｃｏｓＦ１、ｃｏｓＦ２、ｃｏｓＦ０、ｃｏｓＦ１
ｓｉｎＦ１、ｓｉｎＦ２、ｓｉｎＦ０、ｓｉｎＦ１、ｃｏｓＦ１、ｃｏｓＦ２、ｃｏｓＦ０、ｃｏｓＦ１
【0074】
これらのうちの１番目、３番目、５番目、及び７番目がレジスタＦ１１１０に格納される。その後、以下の計算の結果を決定してレジスタａ、ｂ、ｃ、及びｄ１１１５ａ～１１１５ｄに格納するのに用いられる。
ｓｉｎＦ１－ｓｉｎＦ２＝ａ
ｓｉｎＦ０－ｓｉｎＦ１＝ｃ
ｃｏｓＦ１－ｃｏｓＦ２＝ｂ
ｃｏｓＦ０－ｃｏｓＦ１＝ｄ
ｓｉｎＦ１－ｓｉｎＦ２＝ａ
ｓｉｎＦ０－ｓｉｎＦ１＝ｃ
ｃｏｓＦ１－ｃｏｓＦ２＝ｂ
ｃｏｓＦ０－ｃｏｓＦ１＝ｄ
【0075】
その後、これらの値は、マルチプレクサ（Ｍｕｘ）１１２０により多重化され、上記規定のｒ（０）及びｒ（１）の計算に用いられる。ｒ（０）は、以下のように表現可能である。
ａｒ（０）＋ｂｒ（１）＝ｙ（０）
ａｒ（０）＋ｂｒ（１）＝ｙ（０）
【数3】
【0076】
そして、ｒ（０）は、以下のようにｒ（１）と置き換え可能である。
ｃｒ（０）＋ｄｒ（１）＝ｙ（１）
ｃｒ（０）＋ｄｒ（１）＝ｙ（１）
【数4】
【数5】
【0077】
このようにして、ｒ（０）及びｒ（１）を決定可能である。上式中の乗算及び除算は、シリアル乗算器１１２５及びシリアル除算器１１３０により演算され、中間値が共有レジスタ１１３５、１１４０に格納される。
【0078】
図１０Ｂに戻って、ゾーン解析モジュール１０１０は、ゾーン解析器１０３０と、各ゾーンの総強度を格納するレジスタ１０３５とを備える。図１２は、ゾーン解析器１０３０の例示的な構成１２００を模式的に示している。
【0079】
画素強度値Ｙが積算器１２０５で受信されるが、この構成１２００では、フレームのゾーン列ごとに１つの積算器１２０５を備える（明瞭化のため、図１２では積算器１２０５を１つだけ示している）。例えば、所与のフレームが８つのゾーン列を含む場合、構成１２００は、８つの積算器１２０５を備える。所与の積算器１２０５からの積算画素強度は、レジスタ１２１０に格納される。ゾーン全体の画素強度がレジスタ１２１０に積算された場合は、シフタ１２１５において、積算値がＮビットだけ右にシフトする。Ｎは、入力フレームの解像度によって決まる任意の数字である。このシフトは、２Ｎによる除算と実質的に均等である。ゾーン列ごとにシフトされた値は、マルチプレクサ１２２０により多重化され、総ゾーン強度レジスタ１０３５に格納される。レジスタ１０３５は、或いはＳＲＡＭ等のＲＡＭであってもよい。
【0080】
現行フレームの現行ゾーンのゾーン強度は、減算器１２２５において、過去フレームの対応ゾーンの強度値から減算される。この差Δは、除算器１２３０において、現行ゾーンの強度値により除され、現行ゾーンの絶対変化が求められる。ゾーン当たりの変化（ＣＰＺ）とも上記で称するこの値は、出力されて、図６Ｂに関して上述した通り、フリッカ補正を適用する閾値と比較される。
【0081】
図１０Ｂに戻って、フリッカ補正モジュール１０１５は補間器１０４５を備え、補間器１０４５は、ゾーン解析モジュール１０１０のゾーン解析器１０３０からゾーンマップを受信して補正比に適用する重み付けを決定し、特に所与のゾーンの変化が存在する場合に、図６Ｂを参照して上述したように低減された程度に、フリッカ補正が適用されるようにする。一例において、補間器１０４５は、３つの乗算器を備える。いくつかの例において、隣接ゾーンに同じ補正が適用される場合は、補間器１０４５のクロックゲーティングによって電力が節約される。これらの重み付けには、乗算器１０５０において、フレーム解析モジュール１００５のシリアル計算器１０３０から受信された補正比が乗算されて、重み付けされた補正比ＣＲ’が生成される。この重み付けされた補正比は、乗算器１０５５において現行フレームに適用され、補正されたフレームが出力される。
【0082】
図１３は、少なくとも１つのプロセッサ１３１０により実行された場合に、本明細書に記載の例に係る方法を少なくとも１つのプロセッサ１３１０に行わせるコンピュータ可読命令の集合を含む非一時的なコンピュータ可読記憶媒体１３０５の一例を示している。コンピュータ可読命令は、例えば命令実行システム又は命令実行システムとの接続による使用が行われるプログラム及びデータを包含、格納、又は維持可能な任意の媒体等、機械可読媒体から読み出されるようになっていてもよい。この場合、機械可読媒体としては、例えば電子的、磁気的、光学的、電磁的、又は半導体媒体等の多くの物理的媒体のうちのいずれか１つが挙げられ得る。適当な機械可読媒体のより具体的な例としては、ハードドライブ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラム可能型リードオンリーメモリ、又は携帯型ディスク等が挙げられるが、これらに限定されない。
【0083】
ブロック１３１５において、命令は、プロセッサ１３１０に、映像の一連のフレームを取り込ませる。フレームはそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む。
【0084】
ブロック１３２０において、命令は、プロセッサ１３１０に、映像の取り込み中に存在するフリッカの時変振動を特性化させる。特性化は、少なくとも１つの上記領域における画素強度に関連するデータの一連のフレームにわたる変動に基づく。
【0085】
ブロック１３２５において、命令は、プロセッサ１３１０に、フリッカの時変振動の特性化に基づいて、映像のフレームにフリッカ補正を適用させる。
【0086】
上記実施形態は、本発明の説明に役立つ例として理解されるべきである。本発明のさらなる実施形態も考えられる。例えば、上記では、フリッカの特性化の基準となる領域が画素ラインであってもよいことを説明した。他の実施形態において、これらの領域は、単画素であってもよいし、画素ラインの一部であってもよいし、より大きな画素ブロックであってもよい。任意の一実施形態に関して説明した如何なる特徴も、単独での使用又は上記他の特徴との組み合わせによる使用が可能であるとともに、その他任意の実施形態又はその他任意の実施形態の任意の組み合わせの１つ又は複数の特徴との組み合わせによる使用が可能であることが理解されるべきである。さらに、添付の特許請求の範囲に定義される本発明の範囲から逸脱することなく、上述していない均等物及び改良物も採用可能である。
［発明の項目］
［項目１］
映像の取り込み中のフリッカの存在により生じるアーチファクトを低減する方法であって、
前記映像の一連のフレームを取り込むステップであり、前記フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、ステップと、
少なくとも１つの前記領域における画素強度に関連するデータの、前記一連のフレームにわたる変動に基づいて、前記フリッカの時変振動を特性化するステップと、
前記フリッカの前記時変振動の前記特性化に基づいて、前記映像のフレームにフリッカ補正を適用するステップと、
を含む、方法。
［項目２］
前記フリッカの前記時変振動を特性化するステップが、前記フリッカの振幅及び位相のうちの少なくとも一方を決定することを含む、項目１に記載の方法。
［項目３］
前記方法が、前記フリッカの周波数を決定するステップを含み、
前記フリッカの前記時変振動の前記特性化が、決定された前記周波数に基づく、項目１又は２に記載の方法。
［項目４］
前記フリッカの周波数を決定するステップが、前記映像が取り込まれた地理的位置に基づく、項目３に記載の方法。
［項目５］
前記フリッカ補正が適用される前記フレームが、前記一連のフレームのうちの１つである、項目１～４のいずれか一項に記載の方法。
［項目６］
前記フリッカ補正が適用される前記フレームが、前記一連のフレームの後である、項目１～５のいずれか一項に記載の方法。
［項目７］
前記一連のフレームが、少なくとも３つのフレームを含む、項目１～６のいずれか一項に記載の方法。
［項目８］
前記映像が、ローリングシャッターを用いて取り込まれ、
前記所定領域がそれぞれ、１本の画素ラインを含む、
項目１～７のいずれか一項に記載の方法。
［項目９］
画素強度に関連する前記データが、前記所定領域の画素の平均強度である、項目１～８のいずれか一項に記載の方法。
［項目１０］
前記一連のフレームが、所与の露光を有するフレームを含み、
前記方法が、前記フリッカ補正が適用される前記フレームが高ダイナミックレンジフレーム成分である高ダイナミックレンジフレームを生成するステップを含む、
項目１～９のいずれか一項に記載の方法。
［項目１１］
複数の前記フレームが、複数のゾーンを含み、前記方法が、
少なくとも１つの前記ゾーンを無フリッカゾーンとして識別するステップと、
前記少なくとも１つの無フリッカゾーンにおいて、前記フリッカ補正を禁止するステップと、
を含む、項目１～１０のいずれか一項に記載の方法。
［項目１２］
前記少なくとも１つの無フリッカゾーンが、前記フリッカの前記時変振動の前記特性化において無視される、項目１１に記載の方法。
［項目１３］
所与のゾーンを無フリッカゾーンとして識別するステップが、前記所与のゾーンの画素強度の時間変動が前記所与のゾーンにおけるフリッカの存在と整合しないことを判定することを含む、項目１１又は１２に記載の方法。
［項目１４］
所与のゾーンの画素強度の前記時間変動が、前記所与のゾーンの平均画素強度の時間変動である、項目１３に記載の方法。
［項目１５］
所与のゾーンにおいて、前記フリッカ補正を禁止するステップが、
前記所与のゾーンのエッジ領域を識別することと、
変化する程度のフリッカ補正を前記エッジ領域にわたり適用することと、
を含む、項目１１～１４のいずれか一項に記載の方法。
［項目１６］
映像の取り込み中のフリッカの存在により生じるアーチファクトを低減する装置であって、
前記映像の一連のフレームを取り込む受信モジュールであり、前記フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、受信モジュールと、
少なくとも１つの前記領域における画素強度に関連するデータの、前記一連のフレームにわたる変動に基づいて、前記フリッカの時変振動を特性化する特性化モジュールと、
前記フリッカの前記時変振動の前記特性化に基づいて、前記映像のフレームにフリッカ補正を適用するフリッカ補正モジュールと、
を備える、装置。
［項目１７］
コンピュータ可読命令の集合が格納された非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ可読命令が、少なくとも１つのプロセッサにより実行された場合に、前記少なくとも１つのプロセッサに、
映像の一連のフレームを取り込むことであり、前記フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、ことと、
前記映像の取り込み中に存在するフリッカの時変振動を特性化することであり、前記特性化が、少なくとも１つの前記領域における画素強度に関連するデータの前記一連のフレームにわたる変動に基づく、ことと、
前記フリッカの前記時変振動の前記特性化に基づいて、前記映像のフレームにフリッカ補正を適用することと、
を行わせる、非一時的なコンピュータ可読記憶媒体。
［発明の項目］
［項目１］
映像の取り込み中のフリッカの存在により生じるアーチファクトを低減する方法であって、
前記映像の一連のフレームを取り込むステップであり、前記フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、ステップと、
少なくとも１つの前記領域における画素強度に関連するデータの、前記一連のフレームにわたる変動に基づいて、前記フリッカの時変振動を特性化するステップと、
前記フリッカの前記時変振動の前記特性化に基づいて、前記映像のフレームにフリッカ補正を適用するステップと、
を含む、方法。
［項目２］
前記フリッカの前記時変振動を特性化するステップが、前記フリッカの振幅及び位相のうちの少なくとも一方を決定することを含む、項目１に記載の方法。
［項目３］
前記方法が、前記フリッカの周波数を決定するステップを含み、
前記フリッカの前記時変振動の前記特性化が、決定された前記周波数に基づく、項目１又は２に記載の方法。
［項目４］
前記フリッカの周波数を決定するステップが、前記映像が取り込まれた地理的位置に基づく、項目３に記載の方法。
［項目５］
前記フリッカ補正が適用される前記フレームが、前記一連のフレームのうちの１つである、項目１～４のいずれか一項に記載の方法。
［項目６］
前記フリッカ補正が適用される前記フレームが、前記一連のフレームの後である、項目１～５のいずれか一項に記載の方法。
［項目７］
前記一連のフレームが、少なくとも３つのフレームを含む、項目１～６のいずれか一項に記載の方法。
［項目８］
前記映像が、ローリングシャッターを用いて取り込まれ、
前記所定領域がそれぞれ、１本の画素ラインを含む、
項目１～７のいずれか一項に記載の方法。
［項目９］
画素強度に関連する前記データが、前記所定領域の画素の平均強度である、項目１～８のいずれか一項に記載の方法。
［項目１０］
前記一連のフレームが、所与の露光を有するフレームを含み、
前記方法が、前記フリッカ補正が適用される前記フレームが高ダイナミックレンジフレーム成分である高ダイナミックレンジフレームを生成するステップを含む、
項目１～９のいずれか一項に記載の方法。
［項目１１］
複数の前記フレームが、複数のゾーンを含み、前記方法が、
少なくとも１つの前記ゾーンを無フリッカゾーンとして識別するステップと、
前記少なくとも１つの無フリッカゾーンにおいて、前記フリッカ補正を禁止するステップと、
を含む、項目１～１０のいずれか一項に記載の方法。
［項目１２］
前記少なくとも１つの無フリッカゾーンが、前記フリッカの前記時変振動の前記特性化において無視される、項目１１に記載の方法。
［項目１３］
所与のゾーンを無フリッカゾーンとして識別するステップが、前記所与のゾーンの画素強度の時間変動が前記所与のゾーンにおけるフリッカの存在と整合しないことを判定することを含む、項目１１又は１２に記載の方法。
［項目１４］
所与のゾーンの画素強度の前記時間変動が、前記所与のゾーンの平均画素強度の時間変動である、項目１３に記載の方法。
［項目１５］
所与のゾーンにおいて、前記フリッカ補正を禁止するステップが、
前記所与のゾーンのエッジ領域を識別することと、
変化する程度のフリッカ補正を前記エッジ領域にわたり適用することと、
を含む、項目１１～１４のいずれか一項に記載の方法。
［項目１６］
映像の取り込み中のフリッカの存在により生じるアーチファクトを低減する装置であって、
前記映像の一連のフレームを取り込む受信モジュールであり、前記フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、受信モジュールと、
少なくとも１つの前記領域における画素強度に関連するデータの、前記一連のフレームにわたる変動に基づいて、前記フリッカの時変振動を特性化する特性化モジュールと、
前記フリッカの前記時変振動の前記特性化に基づいて、前記映像のフレームにフリッカ補正を適用するフリッカ補正モジュールと、
を備える、装置。
［項目１７］
コンピュータ可読命令の集合が格納された非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ可読命令が、少なくとも１つのプロセッサにより実行された場合に、前記少なくとも１つのプロセッサに、
映像の一連のフレームを取り込むことであり、前記フレームがそれぞれ、複数の画素をそれぞれ含む複数の所定領域を含む、ことと、
前記映像の取り込み中に存在するフリッカの時変振動を特性化することであり、前記特性化が、少なくとも１つの前記領域における画素強度に関連するデータの前記一連のフレームにわたる変動に基づく、ことと、
前記フリッカの前記時変振動の前記特性化に基づいて、前記映像のフレームにフリッカ補正を適用することと、
を行わせる、非一時的なコンピュータ可読記憶媒体。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】