知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022119712
(43)【公開日】2022-08-17
(54)【発明の名称】ステッチ画像のアライメント評価方法及び画像処理装置
(51)【国際特許分類】
H04N 5/232 20060101AFI20220809BHJP
H04N 5/225 20060101ALI20220809BHJP
H04N 7/18 20060101ALI20220809BHJP
G03B 15/00 20210101ALI20220809BHJP
G03B 37/00 20210101ALI20220809BHJP
【ＦＩ】
H04N5/232 380
H04N5/225 800
H04N5/232 290
H04N7/18 K
G03B15/00 S
G03B37/00 A
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2021204739
(22)【出願日】2021-12-17
(31)【優先権主張番号】21154578.5
(32)【優先日】2021-02-01
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】502208205
【氏名又は名称】アクシス アーベー
(74)【代理人】
【識別番号】100064012
【弁理士】
【氏名又は名称】浜田 治雄
(72)【発明者】
【氏名】ビョルン アルデ
(57)【要約】 （修正有）
【課題】複数の画像センサによって取り込まれた画像のステッチングを動的に較正する方法、プログラム及びキャリアを提供する。
【解決手段】方法は、第１の位置合わせに従い、第１の画像センサからの第１の画像の第１の画像フレームと、第２の画像センサからの第２の画像の第１のストリームとを位置合わせし、ブレンドすることにより第１のステッチ画像フレームを得、第２のブレンド機能に従い、第２のステッチ画像フレームを得、第１のステッチ画像フレームと第２のステッチ画像フレームとの画素の値に基づいて計算された差分パターンに基づいて第１の位置合わせを評価する。
【選択図】図４
【解決手段】方法は、第１の位置合わせに従い、第１の画像センサからの第１の画像の第１の画像フレームと、第２の画像センサからの第２の画像の第１のストリームとを位置合わせし、ブレンドすることにより第１のステッチ画像フレームを得、第２のブレンド機能に従い、第２のステッチ画像フレームを得、第１のステッチ画像フレームと第２のステッチ画像フレームとの画素の値に基づいて計算された差分パターンに基づいて第１の位置合わせを評価する。
【選択図】図４
【特許請求の範囲】
【請求項1】
画像処理装置(110、600)によって実行され、第1の画像センサ(301a)からの第1の流れの画像(31Oa)の位置合わせを評価する方法であって、第2の画像センサ(301b)からの第2の流れの画像(31Ob)であり、第1及び第2の画像センサ(301a、301b)が重複視野を有し、
第1の位置合わせに従った第1の画像フレーム(31Oa)の位置合わせ(401a)と第2の画像フレーム(31Ob)の第1の流れの画像(311a)の位置合わせ(311b)と、
第1の位置合わせに応じて第2の画像フレーム(312a)の第1の流れの画像(31Oa)と第2の流れの画像(310b)の第2の流れの画像フレーム(312b)とを位置合わせ(401b)し、
第1の混合関数(333a)に従って、第1およびさらなる第1の画像フレーム(311a、311b)の第1の混合領域(331a)において、位置合わせされた第1の画像フレーム(311a)およびさらなる第1の画像フレーム(311b)を混合することによって、第1のステッチされた画像フレーム(321)を取得し(402)、
第2の混合関数(333b)に従って、第2およびさらなる第2の画像フレーム(312a、312b)の第2の混合領域(331b)において、位置合わせされた第2の画像フレーム(312a)およびさらなる第2の画像フレーム(312b)を混合することによって、第2のステッチ画像フレーム(322)を取得するステップ(403)を備え、
第1のステッチフレーム(321)及び第2のステッチフレーム(322)の対応する画素の値に基づいて計算された差分パターンに基づいて第1の位置合わせを評価するステップ(406)において、対応する画素が、第1及び第2のステッチ画像フレーム(321、322)のそれぞれにおける第1及び第2のブレンディング領域(331a、331b)の少なくとも1つの静的部分(334)内に含まれ、
第2の混合関数(333b)は、第1の混合関数(333a)とは異なり、
第1の混合関数(333a)は、整列された第1の画像フレーム(311a)およびさらなる第1の画像フレーム(311b)のそれぞれの混合重量を、第1の混合領域(331a)におけるピクセル位置の関数として設定し、
第2の混合関数(333b)は、整列された第2の画像フレーム(312a)とさらなる第2の画像フレーム(312b)とのそれぞれの混合重量を、第2の混合領域(331b)におけるピクセル位置の関数として設定することを特徴とする方法。
第1の位置合わせに従った第1の画像フレーム(31Oa)の位置合わせ(401a)と第2の画像フレーム(31Ob)の第1の流れの画像(311a)の位置合わせ(311b)と、
第1の位置合わせに応じて第2の画像フレーム(312a)の第1の流れの画像(31Oa)と第2の流れの画像(310b)の第2の流れの画像フレーム(312b)とを位置合わせ(401b)し、
第1の混合関数(333a)に従って、第1およびさらなる第1の画像フレーム(311a、311b)の第1の混合領域(331a)において、位置合わせされた第1の画像フレーム(311a)およびさらなる第1の画像フレーム(311b)を混合することによって、第1のステッチされた画像フレーム(321)を取得し(402)、
第2の混合関数(333b)に従って、第2およびさらなる第2の画像フレーム(312a、312b)の第2の混合領域(331b)において、位置合わせされた第2の画像フレーム(312a)およびさらなる第2の画像フレーム(312b)を混合することによって、第2のステッチ画像フレーム(322)を取得するステップ(403)を備え、
第1のステッチフレーム(321)及び第2のステッチフレーム(322)の対応する画素の値に基づいて計算された差分パターンに基づいて第1の位置合わせを評価するステップ(406)において、対応する画素が、第1及び第2のステッチ画像フレーム(321、322)のそれぞれにおける第1及び第2のブレンディング領域(331a、331b)の少なくとも1つの静的部分(334)内に含まれ、
第2の混合関数(333b)は、第1の混合関数(333a)とは異なり、
第1の混合関数(333a)は、整列された第1の画像フレーム(311a)およびさらなる第1の画像フレーム(311b)のそれぞれの混合重量を、第1の混合領域(331a)におけるピクセル位置の関数として設定し、
第2の混合関数(333b)は、整列された第2の画像フレーム(312a)とさらなる第2の画像フレーム(312b)とのそれぞれの混合重量を、第2の混合領域(331b)におけるピクセル位置の関数として設定することを特徴とする方法。
【請求項2】
前記第1および第2の画像センサ(301a、301b)は、同じ画像キャプチャ装置(110)に含まれ、前記第1の画像フレーム(311a)および前記さらなる第1の画像フレーム(311b)は、同じまたは類似の第1の時点でキャプチャされ、前記第2の画像フレーム(312a)および前記さらなる第2の画像フレーム(312b)は、前記第1の時点とは異なる同じまたは類似の第2の時点でキャプチャされている、請求項1に記載の方法。
【請求項3】
前記差分パターンは、に基づいて計算され、
a. - 第1のステッチされたフレーム(321)と第2のステッチされたフレーム(322)の対応する画素の値の間の差分および/または
b. 1番目のステッチフレーム(321)の対応する画素の重み付け値と2番目のステッチフレーム(322)の間の差となる請求項1～2のいずれか一つに記載の方法。
a. - 第1のステッチされたフレーム(321)と第2のステッチされたフレーム(322)の対応する画素の値の間の差分および/または
b. 1番目のステッチフレーム(321)の対応する画素の重み付け値と2番目のステッチフレーム(322)の間の差となる請求項1～2のいずれか一つに記載の方法。
【請求項4】
前記差分パターンに基づいて前記第1のアライメントを評価するステップは、
差分パターンに基づいて少なくとも1つの静止部分(334)内の第一の画像フレーム(311a)及び更に第一の画像フレーム(311b)のそれぞれの再構成を計算することと、
更に第一のステッチフレーム(321)又は第二のステッチフレーム(322)の対応する画素の値のいずれかに基づいて、それぞれの再構成を互いに比較することを含む請求項1～3のいずれか一つに記載の方法。
差分パターンに基づいて少なくとも1つの静止部分(334)内の第一の画像フレーム(311a)及び更に第一の画像フレーム(311b)のそれぞれの再構成を計算することと、
更に第一のステッチフレーム(321)又は第二のステッチフレーム(322)の対応する画素の値のいずれかに基づいて、それぞれの再構成を互いに比較することを含む請求項1～3のいずれか一つに記載の方法。
【請求項5】
前記差分パターンに基づいて前記第1のアライメントを評価するステップは、前記差分パターンを閾値と比較するステップを含む、請求項1～4のいずれか一つに記載の方法。
【請求項6】
前記第1のアラインメントを評価することに基づいて、複数のアラインメントの中からアラインメントを選択すること(408)をさらに含む請求項1～5のいずれか一つに記載の方法。
【請求項7】
前記差分パターンが閾値を上回り、
第2の位置合わせに応じて第1の画像フレーム(311a)と更に第1の画像フレーム(311b)とを位置合わせ(401b)し、第2の位置合わせに応じて第2の画像フレーム(312a)と更に第2の画像フレーム(312b)とを位置合わせ(401b)し、第2の位置合わせを評価する請求項1～6のいずれか一つに記載の方法。
第2の位置合わせに応じて第1の画像フレーム(311a)と更に第1の画像フレーム(311b)とを位置合わせ(401b)し、第2の位置合わせに応じて第2の画像フレーム(312a)と更に第2の画像フレーム(312b)とを位置合わせ(401b)し、第2の位置合わせを評価する請求項1～6のいずれか一つに記載の方法。
【請求項8】
(406)第1のステッチ画像フレーム(321)の画素の値に基づいて計算された第2の差分パターンに基づいて第2の位置合わせを評価し、第2の位置合わせ及び第1のブレンディング機能(333a)で得られた第2の位置合わせ及び第2のステッチ画像フレーム(322)の画素の値を、第2の位置合わせ及び第2のブレンディング機能(333b)で得られた、第1及び第2の差分パターンのうち最小の差分パターンに基づいて第1の位置合わせ及び第2の位置合わせのうちの位置合わせを選択する(410)を含む、請求項7に記載の方法。
【請求項9】
前記第1および第2の差分パターンのうちの前記最小の差分パターンは、前記第1の混合領域(331a)の前記静的部分(334)と前記第2の混合領域(331b)の前記静的部分(334)との間の最小の差分を含む、請求項8に記載の方法。
【請求項10】
前記画像処理装置(110、600)の実行時に前記方法を実行する、請求項1～9のいずれか一つに記載の方法。
【請求項11】
請求項1～10のいずれか1項に記載の方法を実行するように構成された画像処理装置(110、600)。
【請求項12】
カメラ、監視カメラ、監視カメラまたはカムコーダ、ネットワークビデオレコーダ、および無線通信装置のいずれかのような画像捕捉装置(110)を備える、請求項11に記載の画像処理装置(110、600)。
【請求項13】
画像処理装置(110、600)上で実行されると、画像処理装置(110、600)に請求項1～10のいずれか1項に記載の方法を実行させるコンピュータ可読コード単位を含むコンピュータプログラム(603)。
【請求項14】
前記キャリア(605)は、電子信号、光信号、無線信号、およびコンピュータ可読媒体のうちの1つである、請求項1に記載のコンピュータプログラムを含むキャリア(605)。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は、ステッチされた画像のアライメントを評価するための画像処理装置に関する。対応するコンピュータ・プログラムおよびコンピュータ・プログラム・キャリアも開示される。
【背景技術】
【0002】
画像化、特にビデオ画像化を使用する公衆の監視は、世界中の多くの地域で一般的である。監視を必要とする可能性のある領域は、例えば、銀行、店舗、及び学校及び政府施設のようなセキュリティが必要とされる他の領域である。監視を必要とする可能性のある他の分野は、ビデオ監視が主にプロセスを監視するために使用される処理、製造、およびロジスティクス用途である。
【0003】
用途によっては、ビデオの大きな視野が、少なくとも時折必要とされる。これは、いくつかの手段によって達成することができる。たとえば、シングルセンサーカメラには、カメラを動かして視野を変更するパンチルトズーム技術を搭載することができます。この解決策は、通常、固定カメラと比較してかなり高価である。単一センサ魚眼カメラは、手ごろな価格でパノラマビューを提供するが、より遠くでより詳細を得る能力に限界がある。もう1つの解決策は、単一センサー画像をステッチすることによってパノラマ画像が生成されるマルチセンサーパノラマカメラを使用することである。
【0004】
画像ステッチまたは写真ステッチは、複数の写真画像を重なり合う視野と組み合わせて、1つの均一な画像、例えば、分割された高解像度、場合によってはパノラマ画像を生成する処理である。例えば、重なり合うイメージセンサーからの画像データは、センサーからの画像間に重なりがある部分において異なる重みを用いてブレンドされてもよい。ソフトウェアで一般的に実行される画像ステッチングのほとんどのアプローチは、シームレスな結果を生成するために、画像間のほぼ正確なオーバーラップおよび同一の露光を必要とする。センサからの画像が、重なり部分において正しく整列されることが重要である。正しく位置合わせされていない場合、オーバーラップに2度現れる同じオブジェクトの一部、または欠けているオブジェクトの一部などのエラーが現れることがある。
【0005】
一般に、アライメント誤差は、例えば、並進アライメント誤差、回転アライメント誤差及びスキューによるアライメント誤差として分類することができる。他のアライメント誤差も存在する。
【0006】
画像間の位置合わせは、センサの取り付け位置を知ることから、またはステッチされる別個の画像を解析して一般的な特徴を見つけ、これらを画像の位置合わせおよび/またはワーピングに使用することから見つけることができる。オリジナル画像を位置合わせする1つの方法は、オリジナル画像内の座標を最終画像内の新しい座標にマッピングする表を作成することである。これらの表は、センサの取り付け位置に関するパラメータなど、カメラの特定のパラメータに依存することがある。パラメータは、工場校正後にカメラにあらかじめインストールされ、後にカメラから供給されてもよい。通常、工場出荷時のキャリブレーションではわずかな位置合わせエラーが発生しますが、現場にカメラを設置した場合でも、元の画像の位置合わせにはまだ何らかの調整が必要になることがあります。例えば、カメラが輸送中に機械的に乱された場合、又は現場環境が工場での試験環境と著しく異なる場合、又は現場で捕捉される物体が工場での位置合わせの較正に使用される物体と同様の距離にない場合には、位置合わせの調整が必要となる場合がある。
【0007】
カメラが現場に設置されたときに再調整が実行されても、このような再調整は、オフラインで、すなわち、カメラのランタイム/ライブビューではないと決定される必要があり、これは、カメラからの画像ストリームがある時間の間使用できないことを意味する。
【0008】
カメラのランタイム中に実行されるアライメント方法の問題は、アライメントの評価のために別個の画像ストリームを必要とし得ることである。例えば、位置合わせされていない画像を評価することができる。このようなアライメント方法は、アライメントが実行されなかった場合と比較して、余分な複雑さおよび処理能力、および場合によっては、このようなデータが送信されるネットワーク上の余分な帯域幅を必要とする。
カメラのランタイム中に実行される他のアライメント方法は、ステッチされた画像の品質に影響する可能性があります。ステッチングされた画像の品質が低下すると、ステッチング後に行われるビデオ処理に悪影響を及ぼすことがあり、最終的には、最終観察者によって低品質画像として知覚されることがある。
カメラのランタイム中に実行される他のアライメント方法は、ステッチされた画像の品質に影響する可能性があります。ステッチングされた画像の品質が低下すると、ステッチング後に行われるビデオ処理に悪影響を及ぼすことがあり、最終的には、最終観察者によって低品質画像として知覚されることがある。
【0009】
従来技術である特許文献１は、ステッチ品質の評価を含む画像をステッチする方法を開示している。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】米国特許8600193号明細書
【発明の概要】
【発明が解決しようとする課題】
【0011】
したがって、本明細書における実施形態の目的は、上述の問題のいくつかを取り除くこと、または少なくともそれらの影響を低減することであり得る。具体的には、目的は、ステッチング操作を実行する画像処理装置の実行時に、ステッチングされた画像の位置合わせを動的に改善すること、すなわち、複数の画像センサによって取り込まれた画像のステッチングを動的に較正することであり得る。画像処理装置は、カメラであってもよい。画像処理装置の実行時に較正を実行することは、画像処理装置が使用されている間に較正を実行することを意味する場合がある。
【課題を解決するための手段】
【0012】
アライメントまたはキャリブレーションの改良の一部として、アライメントの大きさ、および/またはの種類、またはミスアライメント誤差の決定など、アライメントの程度または質の決定を含み得るアライメントの評価が実行されてもよい。アラインメントの程度、アラインメントの質、およびアラインメントの質という表現は、本明細書では互換的に使用され、同じ意味を有する。同様に、アライメント誤差およびミスアライメント誤差という表現も、本明細書では交換可能に使用される。
【0013】
一態様によれば、この目的は、撮像装置などの画像処理装置によって実行される方法によって達成される。本方法は、重なり合う視野を有する2つのイメージセンサからのステッチされたイメージの位置合わせを評価するためのものであってもよく、例えば、第1のイメージセンサからのイメージの第1の流れの位置合わせ、及び第2のイメージセンサからのイメージの第2の流れの位置合わせを評価するためのものであってもよく、第1及び第2のイメージセンサは、重なり合う視野を有する。イメージセンサは、イメージ撮像デバイス内に備えることができる。
【0014】
この方法は、第1の位置合わせに従って、第1の画像センサからの画像の第1のストリームの第1の画像フレームと、第2の画像センサからの画像の第2のストリームのさらなる第1の画像フレームとを位置合わせするステップと、第1の位置合わせに従って、画像の第1のストリームの第2の画像のフレームと、画像の第2のストリームのさらなる第2の画像のフレームとを位置合わせするステップと、を含む。
【0015】
この方法は、第1の混合関数に従って、第1およびさらなる第1の画像フレームの第1の混合領域において、位置合わせされた第1の画像フレームとさらなる第1の画像フレームとを混合することによって、第1のステッチされた画像フレームを取得することと、第1の混合関数とは異なる第2の混合関数に従って、第2およびさらなる第2の画像フレームの第2の混合領域において、位置合わせされた第2の画像フレームとさらなる第2の画像フレームとを混合することによって、第2のステッチされた画像フレームを取得することとをさらに含む。
【0016】
この方法は、第1のステッチされたフレームと第2のステッチされたフレームの画素の値に基づいて計算された差分パターンに基づいて、第1の位置合わせを評価することをさらに含む。ピクセルは、それぞれの第1および第2のステッチされた画像フレーム内の第1および第2の混合領域の少なくとも1つの静的部分内に含まれる。
【0017】
別の態様によれば、上記目的は、上記方法を実行するように構成された画像処理装置によって達成される。
【0018】
さらなる態様によれば、上記目的は、上記態様に対応するコンピュータプログラムおよびコンピュータプログラムキャリアによって達成される。
【0019】
差分パターンは、少なくとも1つの静的部分に基づくので、差分パターンは、互いの後に撮られた異なる画像間のシーンにおける動きに依存しない。その代わりに、差分パターンは、ブレンド関数の変化及びアライメントに依存する。ブレンド関数の変化は、最も位置合わせされた画像の差分パターンに最小の影響を及ぼす。例えば、第1の画像と更なる第1の画像との混合関数の和が第2の画像と更なる第2の画像との混合関数の和に等しい混合関数の場合、異なる混合関数は、完全に位置合わせされた画像に対してゼロ差分パターンをもたらすはずである。ミスアライメントエラーを有する画像については、異なるブレンド関数は、ゼロでない差分パターンを生成する。
【発明の効果】
【0020】
従って、第一のステッチフレームと第二のステッチフレームとは異なるブレンド機能を用いてステッチされており、差分パターンは少なくとも一つのスタティック部分に基づいているので、第一のステッチ画像フレームと第二のステッチ画像フレームとの画素の値に基づいて計算された差分パターンに基づいて第一のアライメントを評価することにより、ステッチされた画像のアライメントを動的に評価し、改善することが可能である。
【0021】
ここでの実施形態のさらなる長所は、画像処理装置の動作を停止することなくアライメントのダイナミックな再較正を実行できるように、画像処理装置の実行時間中にアライメントを評価できることである。特に、十分に良好なアライメントの評価は、結果として得られるビデオストリームにほとんど影響を与えず、したがって、エンドビューアによって気付かれない。
【0022】
さらに、ステッチされた画像ストリームから差分パターンを計算することができるので、位置合わせを評価するための別個の画像ストリームを必要としない。
【0023】
本明細書における実施形態の更なる利点は、ミスアライメントをブレンディング領域に広がる多くの小さな静的部分における並進ミスアライメントとして評価することにより、それらが、ステッチされた元の画像の回転のような、ステッチされた画像における複雑な非線形ミスアライメントエラーの評価を簡単にすることを可能にすることである。
【0024】
図において、いくつかの実施形態に現れる特徴は、破線によって示される。
本明細書に開示される実施形態の様々な態様は、その特定の特徴および利点を含めて、以下の詳細な記載および添付の図面から容易に理解されるであろう:
本明細書に開示される実施形態の様々な態様は、その特定の特徴および利点を含めて、以下の詳細な記載および添付の図面から容易に理解されるであろう:
【図面の簡単な説明】
【0025】
【図1】本発明に係る画像処理装置のような画像処理装置の実施形態を例示する概略図であり、画像処理装置の実施形態を例示する概略図である。
【図2】本発明に係る実施形態を例示する概略図である。
【図3a】本発明に係る実施形態のデジタルビデオカメラの撮像システム300の概略図である。
【図3b】本発明に係る実施形態を例示する概略図である。
【図3c】本発明に係る実施形態を例示する概略図である。
【図3d】本発明に係る実施形態の2つの画像フレームのステッチ実施形態を例示する概略図である。
【図3e】本発明に係る実施形態のブレンド機能の実施形態を例示する図である。
【図3f】本発明に係る実施形態の多重ブレンド機能の実施形態を例示する図である。
【図4】本発明に係る実施形態の画像処理装置におけるメソッドの実施形態を例示するフローチャートである。
【図5】本発明に係る実施形態の位置合わせの関数としての差異の尺度を例示する図である。
【図6】本発明に係る実施形態の画像処理装置のOOBを例示するブロック図である。
【発明を実施するための形態】
【0026】
上述したように、2つまたはそれ以上センサからのステッチ画像の位置合わせを改善することは興味深いであろう。一例として、位置合わせは、例えば、センサの取り付け位置の知識から工場で決定することができる。
ただし、現場にカメラを設置しても、オリジナルの画像の位置合わせにはまだ何らかの調整が必要な場合があります。
ただし、現場にカメラを設置しても、オリジナルの画像の位置合わせにはまだ何らかの調整が必要な場合があります。
【0027】
上述したように、カメラのランタイム中に実行されるアライメント方法の課題は、アライメントを評価するために1つまたはそれ以上の別個のイメージストリームを必要とすることである。
【0028】
本明細書における実施形態では、これらの問題は、重複視野を有するセンサからの画像の2つのストリームの位置合わせを評価する方法によって解決される。より具体的には、これらの問題は、ステッチされた画像ストリーム、すなわちステッチされた画像の画像ストリームにおけるアライメントの分析に使用することができる情報を埋め込むことによって、ステッチされた画像のアライメントを動的に改善することによって解決することができる。
【0029】
埋め込まれた情報は、ステッチされるオリジナル画像のブレンド関数を変化させ、次いで、アライメントを評価することによって、例えば、アライメントの程度または品質を決定することによって、画像センサから発せられる2つの画像をブレンドすることによってそれぞれ形成される2つのステッチされた画像間の差分パターン、すなわち差分画像を計算することによって、得られる。例えば、差分パターンは、2つのステッチされた画像の対応する画素値に基づいて差分を計算することによって計算されてもよい。本明細書のある実施形態では、差分パターンは、2つのステッチされた画像の重み付けされた画素値の間の差を計算することによって計算される。ある実施形態では、重量は、差分パターンが、2つのステッチされた画像の画素値の間の差を計算することによって計算されるように、1に等しい。
【0030】
本明細書のいくつかの実施形態では、差分パターンに基づいてアライメントを評価することは、第1のアライメントのための差分パターンを、第2のアライメントなどの1つまたはそれ以上のさらなるアライメントのための差分パターンと比較することを含む。次に、最小差分パターンをもたらす位置合わせを選択することができる。これらの実施形態について、差分模様は、2つのステッチされた画像の画素値間の差分を計算することによって計算されてもよい。
【0031】
他の実施形態では、単一の差分パターンのような差分パターンが、差分パターンを生成するために使用されたステッチされた画像の1つと共に、神経回路網へのインプットとして使用される。初期トレーニングの後、ニューラルネットワークは、差分パターン及びステッチされた画像に基づいてアライメントを評価することができる。
【0032】
さらに他の実施形態では、差分模様は、静止部分内の元の画像の再構成を計算するために(ステッチされた画像の1つと共に)使用される。次に、アライメントを評価することは、これらの元の画像間の類似性をおよび/またはする差を抽出し、類似性をおよび/またはしてこれらの差を評価するための任意の既知の手法に基づくことができる。そのような特徴マッチング方法は、差分二乗和(SSD)、正規化相互相関(NCC)、またはスケール不変特徴変換(SIFT)を含むことができる。
【0033】
言い換えれば、本明細書の実施形態は、ブレンド機能、すなわち、ステッチされた画像フレームのブレンド係数またはブレンド重量を変更することによって、カメラなどの画像処理装置の実行時におけるステッチされた画像フレームの位置合わせを改善し、元の画像間の重なり合う領域に含まれるブレンド領域の8×8ピクセルの小さなパッチなどの静止部分における差分パターンに対するこの変更の影響を検討する。静的部分は、ブレンド関数が同じである場合、異なる画像フレーム間で不変である部分である。
【0034】
オリジナルの画像がうまく位置合わせされていれば、ブレンディングのばらつきはステッチされた画像に与える影響は最小限であるはずですが、オリジナルの画像がうまく位置合わせされていなければ、ブレンディングのばらつきは、重なり合った画像領域のスタティック部分のピクセル値のばらつきを引き起こします。すなわち、ブレンドの変動は、異なるブレンド関数とブレンドされた異なるステッチ画像を異なるものにする、すなわち、対応する画素位置において異なる画素値を含むことになる。対応する画素位置での画素値に基づく差を監視し、評価することができ、その差の評価に基づいて、アライメントが十分良好であるか否かの判定を行うことができる。
【0035】
ここでの実施形態の長所は、変化が、ステッチされた画像の観察者にとって非常に目立つほど大きくないことである。さらに、本明細書の実施形態は、ブレンド領域上に広がる多数の小さな静的部分における並進的なずれとしてずれを評価することにより、スティッチングされた画像の複雑な非線形ずれ誤差、例えばスティッチングされた元の画像の回転などの評価を簡略化することを可能にする。
【0036】
本明細書の実施形態は、例えばデジタルカメラのような画像キャプチャ装置のような1つまたはそれ以上画像処理装置において実施されてもよい。図1は、様々な例示的な画像キャプチャ装置110を示す。撮像装置110は、例えば、カムコーダ、ビデオレコーダ、監視カメラや監視カメラなどのビデオカメラ120、デジタルカメラ、イメージセンサを含むスマートフォン130、イメージセンサを含む自動車140であってもよい。
【0037】
図2は、本明細書の実施形態が実施され得る例示的なビデオネットワークシステム250を示す。ビデオ・ネットワーク・システム250は、デジタル・ビデオ画像のようなデジタル画像201を捕捉し、それに対して画像処理を実行することができるビデオ・カメラ120、220を含むことができる。図2のビデオサーバ260は、例えば、ネットワーク等を介してビデオカメラ120、220から画像を取得することができる。
【0038】
ビデオサーバーは、ビデオの配信専用のコンピュータベースのデバイスです。ビデオサーバは、多くのアプリケーションで使用され、しばしば特定のアプリケーションのニーズに対応する追加の機能および能力を有する。例えば、セキュリティー、監視及び点検アプリケーションに使用されるビデオサーバは、典型的には、1つまたはそれ以上カメラからビデオをキャプチャし、コンピュータネットワークを介してビデオを配信するように設計される。ビデオ制作および放送アプリケーションでは、ビデオサーバは、録画されたビデオを録画および再生し、多くのビデオストリームを同時に配信する能力を有することができる。図2において、ビデオサーバ260は、ネットワーク250を介して、ビデオカメラ120、220によって例示される画像キャプチャ装置に接続される。ビデオ・サーバ260は、ビデオ・イメージの表示のためにモニタ280におよび/または接続されたビデオ・イメージを記憶するために、ビデオ記憶装置270にさらに接続することができる。
【0039】
本明細書の実施形態は、いくつかの画像処理装置で実施することができる。例えば、本明細書のいくつかの実施形態では、2つの画像ストリームのアライメントを評価する方法は、ビデオカメラ120、220などの画像キャプチャ装置と、ビデオサーバー250などの1つまたはそれ以上のさらなる画像処理装置との両方において分散方式で実行される。1つまたはそれ以上のさらなる画像処理装置は、ビデオマネージメントシステム、またはコンピュータクラウドで構成されてもよい。より具体的には、画像の位置合わせおよびブレンドなどの方法のいくつかの部分は、画像キャプチャデバイスによって実行され得、一方、位置合わせの評価のような他の部分は、１つまたは複数のさらなる画像処理デバイスによって実行され得る。
【0040】
これは、ブレンディングに関連する情報が、画像キャプチャ装置を出る画像ストリームに埋め込まれるので可能である。
【0041】
ここでの実施形態をより良く理解するために、まず、撮像系について説明する。
【0042】
図3aは、ビデオカメラ120、220などの、この場合のデジタルビデオカメラの撮像システム300の概略図である。撮像システムは、1つまたはそれ以上撮像素子上、例えば、第1の撮像素子301a上及び第2の撮像素子301b上に場面を撮像する。第1及び第2のイメージセンサ301a、301bは、異なる画素が既知のパターンで特定の波長領域の放射線を受け取るように、それぞれのBayerフィルタを備えることができる。典型的には、捕捉されたイメージのそれぞれの画素は、ある波長帯内の捕捉された光の強度を表す1つまたはそれ以上値によって表される。これらの値は、通常、カラー成分またはカラーチャネルと呼ばれる。「画像」という用語は、画像をキャプチャした画像センサから生じる情報を含む画像フレームまたはビデオフレームを指すことができる。
【0043】
画像センサ301a、301bの個々のセンサ画素の信号を読み取った後、画像処理パイプライン302によって異なる画像処理動作を実行することができる。典型的には、ビデオ処理のために、画像は、画像のストリームに含まれる。図3aは、第1のイメージセンサ301aからの画像31Oaの第1の流れ、及び第2のイメージセンサ301bからの画像31Obの第2の流れを示す。
【0044】
画像処理は、デモザイク、色補正、雑音フィルタリング(空間および/または時間雑音を除去するための)、歪み補正(例えば、銃身歪みの影響を除去するための)、大域および/または局所トーンマッピング(例えば、広範囲の強度を含むシーンの撮像を可能にするための)、変換(例えば、整流およびローテーション)、フラットフィールド補正(例えば、口径食の影響を除去するための)、オーバーレイの適用(例えば、プライバシマスク、説明文)などを含むことができる。画像処理パイプライン302はまた、物体検出、認識、警報などを実行する分析エンジンに関連付けられてもよい。
【0045】
画像処理パイプライン302は、画像処理部302aとビデオ後処理部302bとを含んでもよい。
【0046】
画像処理部302aは、例えば、画像安定化、雑音フィルタ処理、歪み補正、大域および/または局所階調マッピング、変換、フラットフィールド補正を行うことができる。ビデオ後処理部分302bは、例えば、画像の部分を切り取り、オーバーレイを適用し、分析エンジンを含むことができる。
【0047】
具体的には、本明細書の実施形態では、画像の加工は、第1および第2の画像センサ301a、301bからの2つの画像を一緒にステッチすることも含む。
【0048】
ステッチングは、画像処理パイプライン302において比較的遅く、例えば、ビデオ後処理部302bにおいて実行されてもよい。いくつかの実施形態では、ステッチングが実行される前に、少なくとも雑音フィルタ処理が実行されている。図3aは、第1および第2の画像ストリーム31Oa、31Obがどのように結合されてステッチ画像ストリーム31Ocを形成するかを概略的に示す。
【0049】
図3bは、このような画像ステッチ処理を概略的に示すものであり、このような第1のステッチ処理では、第1の画像フレーム311aと、第1及び第2の画像センサ301a、301bそれぞれに由来する更なる第1の画像フレーム311bとが、ステッチされて、第1のステッチされた画像フレーム321が生成される。このような第2のステッチ処理では、第2の画像フレーム312aと、第1及び第2の画像センサ301a,301bそれぞれを起点とした更なる第2の画像フレーム312bとが、ステッチされて、第2のステッチされた画像フレーム322が生成される。第1の画像フレーム311aおよびさらなる第1の画像フレーム311bは、画像フレームによってキャプチャされたシーン内の物体の動きによる2つの画像フレーム311a、311bの間の可能な限り少ない変動を達成するために、同じまたは類似の時点でキャプチャされていることがある。
【0050】
同様に、第2の画像フレーム312aおよびさらなる第2の画像フレーム312bも、同じまたは同様の時点でキャプチャされていてもよい。
【0051】
3つ以上のフレームを縫い合わせることもできる。
【0052】
ビデオカメラの場合、ビデオカメラからの出力フレームレート、例えば、ディスプレイ上の画像フレームの表示レートに対応するレート、例えば、30 fpsまたは60 fpsは、特にライブビデオストリームが必要とされる場合に、画像処理に費やすことができる倍に制限を設定することができることに留意されたい。ここでの実施形態は、フレームレートを低下させることなく行うことができる。具体的には、合成画像のフレームレートに影響を与えることなく、ブレンド機能の変更を行うことができる。
【0053】
画像処理パイプライン302に続いて、画像はエンコーダ303に転送され、ここで、画像フレーム内の情報は、H.264などの符号化プロトコルに従って符号化され、例えば、ここではモニタ280、ビデオサーバ260、ストレージ270などで例示される受信クライアントに転送される。
【0054】
ここで、例示的なシナリオおよび例示的な実施形態を、図Jcを参照して説明する。図3cは、ビデオカメラ325およびいくつかの物体を含むシーンの形態の例示的な画像処理装置を示す。ビデオカメラ325は、上述した図3aの撮像システム300を含んでもよい。例えば、ビデオカメラ325は、第1のイメージセンサ301a及び第2のイメージセンサ301bを備えることができる。第1及び第2のイメージセンサは、図3cにハッチングされた領域を有するように図示された重複視野328を有する。
【0055】
重なり合う視野328内に静止物体330が配置され、したがって、静止物体330の少なくとも一部が第1のイメージセンサ301a及び第2のイメージセンサ301bの両方に結像される。
【0056】
【0057】
2つの画像フレームをステッチするために、画像フレームが整列される。初期位置合わせは、工場で実行されていてもよい。しかしながら、画像処理装置がフィールドにインストールされ、実行されているときには、時々、再整列が必要となることがある。したがって、以下では、そのような位置合わせの再調整、または位置合わせの再較正のための方法を提示する。アライメントの再較正は、現在のアライメントまたはミスアライメントの評価を含み、これは、ミスアライメント誤差を計算するおよび/またはアライメントの程度を決定することを含むことができる。
【0058】
ここで、重なり合う視野を持つセンサからの画像の二つの流れのアラインメントを評価する手法の実施形態を説明する。最初に、様々な動作がどのように相互作用するかを説明するために、いくつかの具体的な実施形態のあまり詳細でない記述を説明する。
【0059】
この方法は、以下の動作を含むことができる。
【0060】
1. 第1の位置合わせに従って第1およびさらなる第1の画像フレーム311a、311bを配置し、位置合わせされた第1およびさらなる第1の画像フレーム311a、311binを第1のブレンド領域331aとブレンドすることによって第1の位置合わせおよび第1のステッチ画像フレーム321を準備する;位置合わせされた第1およびさらなる第1の画像フレーム311a、311bがブレンドされる第1のブレンド領域331aは、位置合わせされた第1およびさらなる第1の画像フレーム311a、311bの第1のオーバーラップ領域332aに含まれる。第1オーバーラップ領域332aは、次のように定義される。
【0061】
第1およびさらなる第1の画像フレーム311a、311bのそれぞれの領域は、シーンの対応する内容を有するピクセルを含む。
【0062】
2. ステッチされた画像フレーム321、322における第1のブレンディング領域331aの複数のスタティック部品334a、334bを選択し、このようなスタティック部品334a、334bの各々について、位置合わせの品質を判断することによって、位置合わせの品質を判断する
【0063】
a. 第2のステッチされた画像フレーム322については、第2のブレンディング領域331b内の第2の画像321aおよびさらなる第2の画像312bのうちの1つについてのブレンディング重量をある量、たとえば10%だけ増加させ、他の画像フレームの重量を対応する量だけ減少させる。位置合わせされた第1およびさらなる第1の画像フレーム311a、311bが混合される第2の混合領域331binは、位置合わせされた第2およびさらなる第2の画像フレーム311a、311bの第2の重複領域332bに含まれる。
【0064】
b. ブレンド領域331a,331bの静止部334a,334bにおける第二のステッチ画像フレーム322と第一のステッチ画像フレーム321の画素の値に基づいて差分パターンを算出する。例えば、ブレンディング領域331a、331bの静止部334a、334bにおいて第二のステッチ画像フレーム322と第一のステッチ画像フレーム321との差分パターンを算出する。
【0065】
3. 改善されたアライメントに関する仮説を決定するために差分パターンを評価するステップであって、評価は第1のバージョンを含む、ステップ:
【0066】
a. 差分パターンがゼロより大きい場合、アライメントが完全ではない場合、別のアライメントを選択し、再度テストします;
【0067】
b. 差分パターンがゼロに等しい場合、アライメントは精密であり、評価は完了する。
【0068】
c. ここで、前記評価は、第2のバージョンを含む。
i. 予め訓練されたニューラルネットワークを使用して、ブレンド領域331a、331b内の差分パターンおよびステッチされた画像321、322に基づいて改善されたアライメントを決定する。
i. 予め訓練されたニューラルネットワークを使用して、ブレンド領域331a、331b内の差分パターンおよびステッチされた画像321、322に基づいて改善されたアライメントを決定する。
【0069】
以下、各動作についてより詳細に説明する。オーバーラップする視野を有する2つの画像センサからのステッチされた画像の位置合わせを評価するための、言い換えれば、オーバーラップする視野を有する2つの画像センサからの2つの画像ストリームの位置合わせを評価するための、例えば、第1の画像センサ301aからの第1の画像ストリーム310aと第2の画像センサ301bからの第2の画像ストリーム31Obとの位置合わせを評価するための、本明細書の方法は、であってもよい。
【0070】
図2aの画像取り込み装置110のいずれか、特に図3cのビデオカメラ325のような画像処理装置に実装される。イメージセンサ301a、301bは、ビデオカメラ325などのイメージ撮像デバイス110内に備えることができる。
【0071】
上述したように、工場出荷時の較正が行われた可能性があるにもかかわらず、ビデオカメラ325が現場に設置されている場合には、元の画像の位置合わせは依然として何らかの調整を必要とする場合がある。ビデオカメラ325における実施形態の実施は、ビデオカメラ325の実行時に実行されるときに特に関連性がある。なぜなら、それらは、位置合わせの評価のための別個の画像ストリームを提供することなく、また、ステッチされた画像ストリームに対する小さな影響を伴ってビデオカメラ325内で実行することができるからである。したがって、この方法は、画像処理装置の通常の使用に大きな影響を与えることなく実行することができる。
【0072】
図4に示す以下の動作の1つまたはそれ以上は、以下の例示的な順序で実行することができる。他の例では、順序は、以下に記載されるものとは異なってもよい。
動作 401a
動作 401a
【0073】
図3dは、ある程度の位置合わせ誤差を伴う、ある程度の位置合わせに従った、2つのイメージセンサから生じる2つのイメージフレームのオーバレイを概略的に示す。2つの画像フレームは、例えば、第1の画像フレーム311aおよびさらなる第1の画像フレーム311bであってもよい。別の例では、2つの画像フレームは、第2の画像フレーム312aおよびさらなる第2の画像フレーム312bである。
【0074】
上述のように、第1の画像フレーム311aおよびさらなる第1の画像フレーム311bをステッチするために使用されるアラインメントの計算または決定は、アラインメントを評価するための方法が開始する前に、例えば工場で実行されていてもよい。例えば、オリジナル画像311a、311bの座標をステッチ画像321の新しい座標にマッピングする表を使用することができる。他の実施形態では、ステッチ画像321内の座標をマッピングして元の画像311a、311bを座標化する別のテーブルを使用する。これらの表は、センサ301a、301bの取り付け位置に関するパラメータなど、ビデオカメラ325の特定のパラメータに依存することができる。したがって、動作401aおよび次の動作401bは、アライメントの評価および更新なしに、既知のまたは決定されたアライメントに従って2つの画像フレームをアライメントする。言い換えれば、動作401aおよび401bは、既知のまたは決定されたアライメントに従って2つの画像フレームを結合またはオーバーレイする。これは、の一部である。
【0075】
通常のステッチ処理。アライメントの評価は、以下の動作406で実行される。
図3dにおいて、位置合わせ誤差は、垂直ピクセル方向における並進ミスアラインメントで例示される。回転および/またはスキュー不整合のような他の不整合も発生することがあり、本明細書における実施形態の以下の記載は、このような他の不整合誤差にも同様に適用可能である。より詳細に図3dは、第1の位置合わせに応じて、第1の画像センサ301aからの第1の流れの画像310aの第1の画像フレーム311aと、第2の画像センサ301bからの第2の流れの画像31Obの第2の流れの第1の画像フレーム311bとのオーバーレイ又は位置合わせを図示している。第1のアライメントは、第1のアライメント誤差に関連付けられる。
図3dにおいて、位置合わせ誤差は、垂直ピクセル方向における並進ミスアラインメントで例示される。回転および/またはスキュー不整合のような他の不整合も発生することがあり、本明細書における実施形態の以下の記載は、このような他の不整合誤差にも同様に適用可能である。より詳細に図3dは、第1の位置合わせに応じて、第1の画像センサ301aからの第1の流れの画像310aの第1の画像フレーム311aと、第2の画像センサ301bからの第2の流れの画像31Obの第2の流れの第1の画像フレーム311bとのオーバーレイ又は位置合わせを図示している。第1のアライメントは、第1のアライメント誤差に関連付けられる。
【0076】
第1の画像フレーム311aおよびさらなる第1の画像フレーム311bは、2つの画像フレーム311a、311bの間の変動が、例えば、シーン内のオブジェクトの動きによるものであるが、第1の混合領域331a内で可能な限り小さくなるように、同じまたは同様の時点でキャプチャされていてもよい。ここでの実施形態は、ブレンド処理における差異によって引き起こされるステッチ画像におけるそのような変動を利用するか、または別の言い方をするので、場面における物体の動きによる変動をできるだけ少なくすることが望ましい。
【0077】
したがって、第1の画像フレーム311aおよびさらなる第1の画像フレーム311bをステッチするために、それらは、第1の位置合わせに従って位置合わせされる。
動作401b
動作401b
【0078】
画像処理装置の上の動作401aと同様にして、第1の位置合わせに応じて、第1の画像センサ301aからの第1の画像310aの第2の画像フレーム312aと、第2の画像センサ301bからの第2の画像31Obの第2の流れの第2の画像フレーム312bとを位置合わせする。
【0079】
第2の画像フレーム312aおよびさらなる第2の画像フレーム312bは、2つの画像フレーム312a、312bの間の変動が、例えば、シーン内のオブジェクトの動きによるものであるが、第2の混合領域331b内で可能な限り小さくなるように、同じまたは同様の時点でキャプチャされていてもよい。しかし、第1およびさらなる第1の画像フレーム311a、311bに関して、第2の画像フレーム312aおよびさらなる第2の画像フレーム312bは、後の時点など、異なる時点でキャプチャされている可能性がある。
動作402
動作402
【0080】
第1の画像フレーム311aおよびさらなる第1の画像フレーム311bが、例えば、上記の動作401aおよび401bに従って、整列または結合されたとき、画像処理デバイスは、第1のブレンド機能333aに従って、第1およびさらなる第1の画像フレーム311a、311bの第1のブレンド領域331aにおいて、整列された第1の画像フレーム311aおよびさらなる第1の画像フレーム311bをブレンドすることによって、第1のステッチされた画像フレーム321を取得し、その一例が図3eに示されている。
【0081】
ここでの実施形態では、ブレンド関数は、画像のブレンド領域内の画素位置の関数として、さらなる対応する画像フレームとブレンドされた画像フレームのそれぞれのブレンド重量またはブレンド係数を定義することができる。したがって、ブレンド関数は、2つの対応する画像フレームのそれぞれのブレンド重みを定義する複数のそれぞれの関数を含むことができる。特に、第1の混合関数333aは、整列された第1の画像フレーム311aおよびさらなる第1の画像フレーム311bのそれぞれの混合重量を、第1の混合領域331a内のピクセル位置の関数として定義することができる。
【0082】
ブレンド関数は、任意の既知のブレンド関数、例えばアルファブレンド関数とすることができる。
【0083】
アルファブレンディングにはいくつかのバージョンがあるが、一般的な概念は、各ピクセルがブレンディング関数、例えば、線形ブレンディング関数を使用して重み付けされることである。次に、各ピクセルは、各それぞれのブレンド領域331a、331b内のどこに、または各それぞれの静的部分334a、334b内のどこに位置するかに応じて優先順位付けされる。例示的な実施形態は、マスクを使用し、各静的部分334a、334bにマスクまたは1－マスクのいずれかを乗算する。
【0084】
アルファブレンディングは、2つの画像間の遷移をより滑らかにするために使用される。しかしながら、これはまた、不正確なステッチングに存在するエッジ及びアーチファクトも平滑化されることを意味する。これは、それらを検出することを困難にし、さらには、それらのそれぞれの大きさを検出することを困難にし得る。しかし、ここでの実施形態は、ブレンド機能のばらつきによる2つのステッチ画像の画素の値に基づいて算出された差分パタンに基づいてアライメントを評価するので、アルファブレンドについても、これらの誤差を検出することができる。
【0085】
差分パターンに基づいて位置合わせを評価するためにアルファブレンディング関数を使用する利点は、差分パターンが各画素に対して同じ関数で計算されることであり、これは、静的部分334に対する全差分の値が、それぞれの画素の差分の和に基づいていることを意味する。次に、一例を説明すると、この例は、第1のステッチされた画像フレーム321に対する特定のピクセルに対するブレンド重みの合計が、に対するブレンド重みの合計と同じであると仮定する。2番目のステッチされた画像フレーム322に対する同じピクセル合計は、例えば、1%または100%に対応し得る。
【0086】
図3eでは、第1のブレンド関数333aは、図3eの第1のブレンド関数333aの下に示される第1のブレンド領域331a内で線形に変化する関数である。この例では、直線的に変化する関数は、第1のブレンド領域331a内の水平ピクセル位置の関数として、パーセントでの第1およびさらなる第1の画像のそれぞれのブレンド重みの線形変化を含む。図3eにハッチングされた線で示される第1のブレンド重量は、第1の画像フレーム311aに適用されてもよく、図3eに実線で示されるさらなる第1のブレンド重量は、さらなる第1の画像フレーム311bに適用されてもよい。
【0087】
図3eによれば、第1の混合重量は、さらなる第1の画像フレーム311bと重ならない第1の画像フレーム311a内、すなわち図3eの混合領域331aの右側の画素位置に対して100%である。ブレンディング領域331a内の画素位置に対して、第1のブレンディング重量は、第1の画像フレーム311aが終了する画素位置において、さらに第1の画像フレーム311が屈曲する画素位置において100%から0%まで変化する。次いで、第1のブレンディング重量は、第1の画像フレーム311aと重複することなく、さらなる第1の画像フレーム311b内の画素位置について0%である。
【0088】
さらなる第1の画像フレーム311bに対するさらなる第1のブレンディング重量は、上記に対応して定義することができる。
【0089】
さて、第1のステッチング画像フレーム321の静的部分334における特定の画素位置について、第1の画像フレーム311aに適用される第1のブレンディング重みは、30%であってもよい。そして、同じ画素位置に対して、さらなる第1の画像フレーム311bに適用されるさらなる第1のブレンディング重量は、70%であってもよい。対応する第2のステッチされた画像フレーム322および第2のブレンディング関数について、第2の画像フレーム312aに適用される第2のブレンディング重量は、40%であってもよい。次に、同じ画素位置について、さらなる第2の画像フレーム312bに適用されるさらなる第2のブレンディング重量は、60%であってもよい。
【0090】
第1のブレンド機能333aは、複数のブレンド機能、例えば、第1の画像フレームおよびさらなる第1の画像フレームに対応するそれぞれのブレンド機能を備えるものとして説明することもできる。
動作403
動作403
【0091】
上記の動作４０１ａのような対応する方法で、画像処理装置１１０は、第２の画像および第２の画像の第２の混合領域３３１ｂにおいて、位置合わせされた第２の画像フレーム３１２ａおよびさらに第２の画像フレーム３１２ｂを混合することによって、第２のステッチ画像フレーム３２２を取得する。 フレーム３１２ａ、３１２ｂは、第１の混合機能３３３ａとは異なる第２の混合機能３３３ｂによる。図3fは、ハッチングされた線と組み合わせて実線で示される第1の混合関数333aと、ドットハッチングされた線と組み合わせて点線で示される第2の混合関数333bとの両方の例を、画素位置の関数として示す。
【0092】
第1のブレンド関数333aと同様に、第2のブレンド関数333bは、第2のブレンド領域331b内のピクセル位置の関数として、位置合わせされた第2の画像フレーム312aおよびさらなる第2の画像フレーム312bのそれぞれのブレンド重量を定義することができる。
【0093】
本明細書の実施形態では、第1のオーバーラップ領域332aは、第2のオーバーラップ領域332bと同じ画素を覆うことができる。第1および第2の重なり合う領域332a、332bは、画素位置軸の下に破線のない水平線で図3fに示されている。そうであっても、第1のブレンド領域331aは、第2のブレンド領域331bと異なっていてもよい。第2の混合領域331bは、例えば、第1の混合領域331aに対して平行移動されてもよい。本明細書のいくつかの実施形態では、それぞれのブレンド領域331a、331bisは、ブレンド機能のブレンド重みの線形変化に重なる重複領域として定義される。
【0094】
図3fでは、異なる領域は、水平ピクセル位置軸の下に配置される異なるタイプの水平線として示されている。
【0095】
第1のブレンディング領域331aは、太線の下に細い水平線を有する太い水平線で図示され、第2のブレンディング領域331bは、太い水平線の上に細い水平線を有する太い水平線で図示される。しかし、第2ブレンド領域331bは、第1ブレンド領域331aと同じ領域をカバーすることも可能である。例えば、第2の混合領域331は、第1の混合領域331aを、2つの太い実線で示される重複領域332a、332b全体を覆うように画定することができる。
【0096】
いずれの場合も、第1および第2の混合領域331a、331bの直線的に変化する部分をカバーする領域は、2つの太いハッチングされた水平線で示され、例えば、差分パターンを計算するために、アライメントを評価するために使用されてもよい。
【0097】
図3fにおいて点線でハッチングされた線で示される第2のブレンド重量は、第2の画像フレーム311bに適用されてもよく、一方、図3fにおいて点線で示されるさらなる第2のブレンド重量は、さらなる第2の画像フレーム312bに適用されてもよい。
【0098】
図3fに示すように、第2のブレンド機能333bは、第2の画像フレーム312aに適用される第2のブレンド重量がブレンド領域331a内の第1の画像フレーム311aに適用される第1のブレンド重量よりも高く、他方、さらなる第2の画像フレーム312bに適用されるさらなる第2のブレンド重量がブレンド領域331a内のさらなる第1の画像フレーム311bに適用されるさらなる第1のブレンド重量よりも低い点で、第1のブレンド機能と異なってもよい。これは、互いに対して直線的に変化する第1および第2の混合関数333a、333bの部分を平行移動させることによって得ることができる。これは、オーバーラップ領域332a、332bが、ブレンドのためにブスされた第1および第2のブレンド領域331a、331bよりも大きくてもよいことを意味する。次に、静的部分334a、334bは、それらが、直線的に変化する混合関数のみを含むステッチ画像321、322の一部に含まれるように決定されてもよい。すなわち、静的混合関数を含む重複領域の部分は廃棄されてもよい。例えば、第2のブレンド重量は、第2のブレンド領域331b内で10%～100%の間で変化してもよく、一方、第1のブレンド重量は、対応する第1のブレンド領域331a内で0%～100%の間で変化してもよい。同様に、さらなる第2のブレンド重量は、第2のブレンド領域331b内で90%～0%の間で変化してもよく、一方、第1のブレンド重量は、対応する第1のブレンド領域331a内で100%～0%の間で変化してもよい。
【0099】
明細書のいくつかの実施形態によれば、ブレンド重みの変動は、ブレンド領域内の全画素値が第1および第2のステッチされたフレームに対して同じままであるように選択または決定される。例えば、画素位置p1に対するブレンディング重みの合計は、第1のステッチ画像フレーム321と第2のステッチ画像322との間で一定であってもよい。第2のブレンド重量が、画素位置p1に対して0%から10%までの第1のブレンド重量と比較して増加される場合、さらなる第2のブレンド重量は、同じ画素位置p1に対して100%から90%まで減少されてもよい。
【0100】
したがって、第1のステッチ画像フレーム321の結果として生じる画素値は、同じ画素位置についての第2のステッチ画像フレーム322の結果として生じる画素値と同じであっても、ほぼ同じであってもよい。
動作404
動作404
【0101】
場面内の移動物体の動きによる画素変動を排除するために、混合領域331a、331bの少なくとも1つの静止部分334は、および/または選択されて決定されてもよい。静的部分334は、パッチと呼ばれることもある。
【0102】
少なくとも1つの静的部分334は、第2の混合関数333bが第1の混合関数333aと異ならない場合、第2およびさらなる第2の画像フレーム312a、312bの第2の混合領域331bに対して不変である、第1およびさらなる第1の画像フレーム311a、311bの第1の混合領域331aの一部を含むことができる。実施形態に、ここでは、不変量は、全く変化のない場合を含むが、元のイメージフレームの雑音水準より小さいか又は等しい小さな変化のある場合を含むこともできる。
【0103】
差分パターンの計算をより複雑にしないようにするために、静的部分334は、ブレンドされた画像フレームの両方に対して正のブレンド重みが存在するブレンド領域331a、331bの領域から選択されてもよい。
【0104】
上述したように、実施形態は、本明細書では、ミスアライメントをブレンディングエリア331a、331bに広がっている多くの小さな静的部分334における局所的な並進ミスアライメントとして評価することによって、ステッチされたオリジナル画像311a、311b、312a、312bの回転のような、ステッチされた画像フレーム321、322における複雑な非線形ミスアライメントエラーの評価を簡素化することを可能にする。これにより、ミスアライメント誤差の計算の複雑さが低減される。
【0105】
したがって、ある実施形態では、少なくとも1つの静的部分334は、第1の静的部分334a及び第2の静的部分334bのような、多数の静的部分334a、334bを含む。3つ、4つ、またはそれ以上のような、より静的な部分も可能である。各静的部分334a、334bは、8x8または16x16画素のような少数の画素を含み得る。静的部品のサイズは、複数の静的部品であっても単一の静的部品であっても、特定のサイズ限界に制限されてもよい。例えば、複雑なアライメント誤差を線形アライメント誤差に線形化することができるように、静的部品のサイズを制限することができる。
【0106】
また、画像処理装置の処理能力の限界は、静的部分がどれだけ大きいかについての限界を設定することができる。しかし、静的部分のサイズには、いかなるノイズに対しても、誤差をかなり決定できることに関連して、トレードオフがある。静的部分が大きいほど、ノイズを平均化するために使用できる統計的点が多くなります。さらに、静的部分334は、決定されるべき線形アライメント誤差よりも大きいはずである。
【0107】
上述したように、複数の静止部品を有することにより、アライメントの評価が改善される。複数の静的部品334a、334bは、位置ずれが回転又はスキューに起因する場合に、単一の静的部品334と比較して有利であり得る。例えば、アラインメントを評価するために複数の静的部分３３４ａ、３３４ｂを使用することによって、評価は、２方向の線形アラインメントおよび／または回転および／またはスキューなどの複数のアラインメントの自由度に関する情報を含み得る。例えば、それぞれの複数の静的部分334a、334bの評価は、異なるそれぞれの評価結果、例えば、差分パターンの異なるそれぞれの測定、または差分の異なる符号を含むことができる。複数の静止部分334a、334bからの差分パターンを分析することによって、複数の差分パターンの符号のおよび/または異なる尺度に基づいて結論を導き出すことができる。例えば、中心線の異なる側に配置された2つの静的な部分からの差異パターンの異なる符号は、回転がミスアライメントを引き起こしていることを示し得る。したがって、それぞれの複数の静的部分334a、334bの異なるそれぞれの尺度の組み合わせ評価は、単一の静的部分の評価と比較して、位置ずれの評価を改善し得る。上述したように、多数の小さな静的部品334aを有することによって、複雑でない各静的部品334a、334bにおける線形並進ミスアライメントを評価することに基づいて、334bの複雑なミスアライメント誤差を評価することができる。
【0108】
更に、回転ミスアライメントのようないくつかのミスアライメントについては、本明細書の実施形態によって決定することができる最小のミスアライメント誤差の大きさは、評価のために使用される画素間の距離に依存し得る。例えば、決定され得る最小のミスアライメント誤差は、第一の静的部分334aと第二の静的部分334bとの間の距離に依存し得る。シナリオでは、小さな回転、例えば0.1度が仮定される。
【0109】
さらに、複数または単一の静的部品である静的部品のサイズは、例えば、画像処理装置の処理能力の制限のために、あるサイズ限界に制限されると仮定する。例えば、静的部分334a、334bのサイズは、16x16画素に制限され得る。したがって、各静的部分334a、334bは、16x16画素を含み得る。このシナリオでは、単一の静的パーツ334の代わりに、複数の静的パーツ334a、334bを、それらの間にある程度の距離を置いて使用することには大きな利点がある。複数の静的部分334a、334b間の距離は、オリジナル画像フレーム311a、311b、312a、312bのサイズと、使用される複数の静的部分334a、334bの数とに基づいて選択されてもよい。例えば、距離は、複数の静的部分334a、334bが分配される面積が最大になるように選択されてもよい。
【0110】
16×16画素の単一の静的部分との0、1度の回転ミスアライメントを見出すために、本明細書の実施形態は、数百画素(1/100画素のカップル)のオーダーで単一の静的部分334内のミスアライメントを検出することができる必要がある場合がある。代わりに、複数のスタティック間に500 ピクセルの距離がある場合、部分334a、334bは、本明細書の実施形態では、1画素の順に、多数の静止部分334a、334bの間の位置ずれを検出することができる必要がある場合がある。複数の静的部品334a、334b間の位置ずれの検出は、2つの静的部品334a、334b間の絶対的な並進誤差差差の差を比較することによって行うことができる。このような並進誤差をどのように決定するかについては、動作406において以下に簡単に説明する。さらに、複数のスタティックパーツ334a、334bを使用することによって、位置合わせ品質を評価する際に、差異パターンの統計的尺度が使用されてもよく、これは、ノイズからの影響を低減することになる。
動作405
動作405
【0111】
第1のアライメントの評価は、第1のステッチされたフレーム321および第2のステッチされたフレーム322に基づく差分パターンに基づく。画像処理装置110は、第1の位置合わせを評価するために差分パターンを取得してもよい。また、画像処理装置110は、差分パターンを演算して差分パターンを得るようにしてもよい。
【0112】
差分パターンは、第1のステッチ画像フレーム321と第2のステッチ画像フレーム322の対応する画素の値に基づいて計算される。対応する画素は、第1および第2のステッチされた画像フレーム321、322内の同じ画素位置に関連する。 第1のステッチフレーム321および第2のステッチフレーム322の画素は、第1および第2のステッチ画像フレーム321、322のそれぞれの第1および第2のブレンディング領域331a、331binの少なくとも1つの静的部分334内に構成される。したがって、差分パターンは、少なくとも1つの静的部分334に基づいている。
【0113】
ある実施形態では、差分パターンは、第1のステッチフレーム321の対応する画素の値と第2のステッチフレーム322との間の差分に基づいて計算される。
【0114】
他のいくつかの実施形態では、差分パターンは、第1のステッチフレーム321の対応する画素の重み付け値と第2のステッチフレーム322との間の差分に基づいて計算される。
【0115】
差分パターンは、混合領域331a、331bの少なくとも1つの静的部分334の画素差分の尺度を含むことができる。言い換えれば、ピクセル差の尺度は、第1の混合領域331aと第2の混合領域331bとの間の差の尺度であってもよい。
【0116】
いくつかの実施形態では、ピクセル差の測定は、第１のステッチされたフレーム３２１および第２のステッチされたフレーム３２２の対応するピクセルの値に基づく差に基づく。例えば、画素差の測度は、第1のステッチ・フレーム321の対応する画素の値と第2のステッチ・フレーム322の値との間の差に基づいてもよい。第1のステッチフレーム321の対応する画素の値と第2のステッチフレーム322の値との差は、重み付けされた値の間の差であってもよい。換言すれば、画素差の測度は、第1のステッチフレーム321および第2のステッチフレーム322の対応する画素の重み付け値に基づいてもよい。
【0117】
第1の位置合わせの評価が、元の画像フレーム311a、311b、312a、312bの再構成を含むいくつかの他の実施形態では、再構成は、画素差分の測度に基づいてもよい。このような第1の位置合わせの実施形態な評価のために、少なくとも1つの静的部分334内の第1の画像フレーム311aおよびさらなる第1の画像フレーム311bのそれぞれの再構成の対応する画素の値の間の差に基づくさらなる差分パターンにさらに基づいてもよい。
【0118】
上述のように、第1の位置合わせの評価は、元の画像フレームの特徴マッチングにさらに基づいてもよい。いくつかの実施形態では、さらなる差分パターンは、フィーチャマッチングに基づくことができる。例えば、画素差のさらなる測度は、第1の画像フレーム311aおよびさらなる第1の画像フレーム311bのそれぞれの再構成の対応する画素の値の間の差に基づいてもよい。上の画素差を計算する全ての例に対して、画素差の測度は、すなわち、
【0119】
・ 画素差の大きさを記述する値、例えば、元の画像フレーム311a、311b、312a、312bの元の画素値に対して使用される同じ範囲内、例えば、0～255の範囲内。ピクセル差のサイズは、例えば、いくつかのアライメントを評価するとき、言い換えれば、アライメントパラメータのいくつかのセットを評価するときに使用されてもよい。次に、異なる位置合わせのサイズを比較することができ、最小の画素差を選択することができることと、
【0120】
・ ベクトルとは、例えば画素差の大きさや方向を記述するもので、どの方向に画素差の増大があるかなどである。このような実施形態は、動作408において以下に説明される単一の差分パターンから適当なアラインメントパラメータを見つけるために、神経回路網と共に使用されるのによく適していることと、
【0121】
・ 第1および第2のステッチされた画像フレーム321、322の単一画素値の差、例えば画素差の測度は、それぞれの画素に対する画素差のそれぞれの測度を含み得る。例えば、画素差の測度は、第1画素についての3の値と、第2画素についての5の値とを含み得るが、他の画素の画素差の測度は、ゼロ差をもたらすことと、
【0122】
・ 重み付きピクセル値に基づく差と、
【0123】
・ 静的部分334上の第一および第二のステッチされた画像フレーム321、322の画素差の平均のような統計的尺度と、
【0124】
・ 複数の静的部分334a、334bにわたる第一および第二のステッチされた画像フレーム321、322の画素差の平均などの統計的尺度と、
【0125】
・ 上記の例の任意の組み合わせを含む。
【0126】
差分パターンは、以下の動作406において、アライメントがどれほど良好であるかの測定として、すなわち、アライメント誤差の測定として使用される。上述のように、特定の静的部分334a、334bの差分パターンを使用して、局所的なアライメント誤差の尺度を決定することができる。
動作406
動作406
【0127】
画像処理装置110は、再整列が必要であるか否かを判定するために、差分パターンを評価する。
【0128】
いくつかの第1の実施形態では、画像処理装置110は、第1の位置合わせを評価し、それが満足のいくものでない場合、他の位置合わせを評価し続ける。例えば、オリジナル画像をステッチされた画像にマッピングするためのカメラの他のパラメータが選択され、これらの位置合わせのさらなる評価が試行錯誤的に実行される。例えば、第1のアライメントのための差分パターンは、第2のアライメントのような1つまたはそれ以上のさらなるアライメントのための差分パターンと比較されてもよい。次に、最小差分パターンをもたらす位置合わせを選択することができる。これらの実施形態については、差分パターンは、2つのステッチされた画像の画素値の間の差を計算することによって計算され得る。これはまた、動作409において以下に説明される。
【0129】
いくつかの第2の実施形態では、画像処理装置110は、第1の位置合わせを評価し、その結果に基づいて、例えば事前訓練された神経回路網を使用して、改善された、好ましくは最適な位置合わせを決定する。たとえば、単一の差分パターンなどの差分パターンは、差分パターンを生成するために使用されたステッチ画像321、322の1つと一緒にニューラルネットワークへの入力として使用されます。 最初のトレーニングの後、ニューラルネットワークは差分パターンとステッチされた画像321、322に基づいてアライメントを評価することができる。これはまた、動作408において以下に説明される。
【0130】
いくつかの第3の実施形態では、ステッチされた画像321、322のうちの1つと共に、差分模様を使用して、静止部分334内の元の画像311a、311bまたは312a、312bのそれぞれの再構成を計算する。そして、差異パターンに基づく第1の整合を評価するには、差異パターンに基づいて第1画像枠311aと更に第1の画像枠311bのそれぞれの再構成を計算し、さらに、第1の整合枠(321)または第2の整合枠(322)の対応する画素の値のいずれかに基づいて、評価を行う。計算は、少なくとも1つの静的部分334内のピクセルに対して実行される。評価は、それぞれの再構成を互いに比較することをさらに含むことができる。言い換えれば、それぞれの再構成は、第1の混合関数333aおよび第2の混合関数333bにさらに基づいて、混合領域331a、331band内の第1のステッチされたフレーム321および第2のステッチされたフレーム322の対応するピクセル値に基づく。静的部分334は、第1の画像フレーム311aと第2の画像フレーム312aとの間で不変であると仮定されるので、第1の画像ストリーム310aの再構成された第1の画像フレームは、第1の画像ストリーム310aの再構成された第2の画像フレームと同じ画素値を含むべきである。これは、第1の位置合わせの評価が、第2の画像フレーム312aおよびさらなる第2の画像フレーム312bのそれぞれの再構成の対応する画素の値にさらに基づいてもよいことを意味する。
【0131】
作用405において上述したように、元の画像フレームを再構成するために使用される差分パターンは、第1のステッチフレーム321の対応する画素の重み付け値と第2のステッチフレーム322との間の差に基づいて計算されてもよい。
【0132】
再構成された画像フレームのピクセルの値に基づいて第１の位置合わせをさらに評価することの利点は、そのような評価が、これらの元の画像間の差異および／または類似性を抽出し、これらの差異および／または類似性を評価するための任意の既知の方法に基づくことができることである。 例えば、第１の画像３１１ａ、３１１ｂ、または第２の画像および第２の画像３１２ａ、３１２ｂを比較および／または一致させることによって。 上記のように、そのようなマッチング方法には、SSD、NCC、またはSIFTが含まれる場合がある。このようなアルゴリズムはまた、第1のアライメントが十分に良好でない場合にアライメントを調整するために使用されてもよい。
【0133】
以下の実施例は、元の画像311a、311bまたは312a、312bの再構成に基づいて第1の位置合わせを評価する方法の詳細を概説する。R1を第1ブレンディング領域331aの静的部分334における第1画像フレーム311aの右画素の値とする。L1は、第1のブレンド領域331aの静止部334におけるさらに第1の画像フレーム311bの対応する左画素の値である。以下では、上記で説明したように、アルファブレンディングとのブレンディングを仮定する。aは右画素値R1に対するブレンディングウェイトであり、(a-1)は左画素値L1に対するブレンディングウェイトである。C1は、画素値R1およびL1に対応する第1のステッチ画像フレーム321の画素の値である。C2は、画素値R2およびL2に対応する第2のステッチング画像フレーム322の画素の値であり、ここで、R2は、第2のブレンド領域331bおよびL2の静止部334における第2の画像フレーム312aの右画素の値であり、第2のブレンド領域331bの静止部334におけるさらに第2の画像フレーム312bの対応する左画素の値である。さらに、ブレンド重量は、第2の画像フレーム312aに対して、R2に対して+10%～(a+0,1)だけ調整され、ブレンド重量は、それに対応して、L2に対して－10%～(1－a－0,1)だけ、さらなる第2の画像フレーム312bに対して調整されると仮定する。
画素位置は、静的部分334内で構成されるので、R1 == R2、およびL1 == L2であると仮定することができる。これにより、次の線形方程式系になり、
画素位置は、静的部分334内で構成されるので、R1 == R2、およびL1 == L2であると仮定することができる。これにより、次の線形方程式系になり、
【数1】
【0134】
連立方程式を解くことにより、静的部分３３４の各ピクセルについてＲ１およびＬ１を見つけることができる。ブレンド重量aは、画素位置の関数となる。これは、静的部分334内の元のブレンド画像の画素の値を計算または再構成することが可能であることを意味する。R1およびL1の計算は、第1および第2のステッチ画像フレーム321、322の対応する画素値に基づく差分パターンに基づく。差分パターンは、第1のステッチフレーム(321)と第2のステッチフレーム(322)の対応する画素の値の差に基づいて計算されてもよい。例えば、R1およびL1は、差分画像C1-C2 = 0,1*(R1-L1)に基づいて、C1=a*R1+(1-a)*L1によって与えられる第1のステッチ画像フレーム321の画素の値と組み合わせて計算されてもよい。この式から分かるように、差分値C1～C2は、他の全ての画素位置についても同様の式で表される。アルファブレンディングの結果、差分画像C1～C2が得られるので、以下のようになる。R1およびL1に直接依存して、このブレンディング方法を用いて、上記に基づいて、静的部分334内のオリジナル画像を正確に再構成することが可能である。
【0135】
第1および第2の混合領域331a、331bの両方によってカバーされる領域は、元の画像フレームを計算するために使用されてもよい。再構成のために上述の領域を使用する利点は、元の画像フレームがこの領域内で同じ精度で再構成されることである。
【0136】
上述したように、オリジナル画像を再構成することにより、SSDのような特徴識別、記述及びマッチングのための既知のアルゴリズムを使用して、対応するオリジナル画像フレーム内の特徴をマッチングさせ、特に、静的部分334a、334bに対応するオリジナル画像フレームの部分内の特徴をマッチングさせることができる。例えば、第1の画像フレーム311a内の第1の特徴は、さらなる第1の画像フレーム311b内の対応するさらなる第1の特徴に一致させることができる。同様に、第2の画像フレーム311a内の第2の特徴は、さらなる第2の画像フレーム312a内の対応するさらなる第2の特徴に一致させることができる。再構成されたオリジナル画像に基づいて位置合わせを評価するさらなる例では、位置合わせ誤差は、特定の静的部分334aについて、第一の方向において+2画素であり、第二の垂直方向において-3画素であり得る。スタティックパーツ334aにわたる可能な平均化の後、334bは、アライメント誤差の微分または微分の方向に、アライメントの小さな調整を取ることができる。次に、新しいアライメントの評価を古いアライメントと比較することができる。
【0137】
これにより、画像処理装置110の上方の全ての実施形態について、第一のステッチフレーム321及び第二のステッチフレーム322の画素の値に基づいて演算された差分パターンに基づいて第一の位置合わせを評価する。上記のように、動作４０５を説明するとき、差異パターンは、少なくとも１つの静的部分３３４に基づく。すなわち、第1のステッチされたフレーム321および第2のステッチされたフレーム322のピクセルは、それぞれの第1および第2のステッチされた画像フレーム321、322を区分する第1および第2の混合領域331a、331aの少なくとも1つの静的部分334内に含まれる。
【0138】
本明細書のある実施形態では、画像処理装置110は、差分パターンを計算することによって第1の位置合わせを評価する。例えば、画像処理装置110は、差分パターンに基づいて第1のアライメントのアライメントの程度を決定することによって、第1のアライメントを評価することができる。位置合わせの程度は、位置合わせがどれほど良好であるかの尺度である。言い換えれば、位置合わせの程度は、位置合わせ品質の尺度であってもよく、あるいは、位置合わせ不良または位置合わせ不良誤差であってもよい。
【0139】
差異パターンに基づいて第１のアラインメントを評価することは、差異パターンを閾値または所定の差異パターンと比較することをさらに含み得る。例えば、閾値は、静的部分334にわたる第1および第2のステッチングされた画像フレーム321、322の画素差の閾値平均値であってもよい。閾値は、ステッチ画像321、322内のノイズレベルに関連付けられてもよい。すなわち、差分パターンが閾値を超えている場合には、差分パターンが単なるノイズではないと判断してもよい。
【0140】
いくつかの実施形態では、第1のアライメントを評価するステップは、アライメントの程度などのアライメントの質の尺度を計算するステップを含み、アライメントの質の尺度は、差分パタンの低下に伴って増加する。差分パターンの減少は、画素差の絶対値の減少に対応してもよい。
【0141】
アライメントの程度は、差分パターンを閾値と比較することによって決定されてもよい。例えば、差分パターンがゼロを超える場合、位置合わせが完全ではないと判定される。次に、この方法は、例えば、新しい差分パターンに基づいて、新しいアライメントのアライメントの程度を決定することによって、新しいアライメントを選択し、新しいアライメントを評価することを続けることができる。これは、動作407において以下に説明される。
【0142】
ただし、差分パターンがゼロ、またはゼロに近い場合は、アライメントが細かいと判断して評価が終了することがあります。
【0143】
上述したように、画像が良好に位置合わせされている場合、ブレンディングの変動は、結果として得られるステッチ画像の静的部分に最小限の影響しか及ぼさないはずである。したがって、差分パターンは、ステッチされている画像の整列またはずれの程度、整列品質、またはずれの尺度の良好な尺度である。
【0144】
静止部分334内の差分パターンに基づいて位置合わせの程度または質を評価または決定することの長所は、エンドユーザのおよび/またはビデオシステムの残りの部分では、差分パターンが完全に位置合わせされた画像では0であるため、正しく位置合わせされたステッチ画像の評価または決定に気付かないことである。画像が完全に位置合わせされていない場合、ステッチされた画像は、評価によってわずかに影響を受ける。しかしながら、完全に位置合わせされていない画像のステッチングは、いずれにしても、位置合わせ不良に起因するステッチングエラーを有するステッチングされた画像を生成し、再位置合わせの必要性がある。本明細書で実施形態を使用すると、位置合わせ不良の画像に影響を及ぼすことなく、また位置合わせを評価するために別個の映像流を使用することなく、位置合わせ不良の画像を再位置合わせすることができる。
【0145】
本明細書のある実施形態では、ミスアライメント誤差の算出又は判定は、差分パターンに基づいている。動作４０５において上で述べたように、ピクセル差の測定は、例えば、方向情報を含むベクトル値を含み得る。いくつかの実施形態では、算出および/またはの決定は、ニューラルネットワークによって実行されてもよい。例えば、予め訓練されたニューラルネットワークを使用して、ブレンド領域331a内の差分パターンおよびオリジナルのステッチ画像321、322に基づいて、位置合わせ誤差の尺度を決定することができる。例えば、予め訓練されたニューラルネットワークは、2つの入力テンソルを使用することができ、1つはステッチされた画像321、322のためのものであり、1つは差分パターン、言い換えれば差分画像のためのものである。決定されたアライメント誤差に基づいて、改善されたアライメントが、既知の方法に従って決定されてもよい。例えば、ステッチされた画像321、322については、例えば、スキューにおよび/またはする回転誤差におよび/またはする2つの方向における線形アライメント誤差に対応する、様々なアライメント誤差が存在し得る。ミスアライメント誤差の決定は、誤差の大きさと、画像の平面内の方向などの誤差の方向との両方の決定を含み得る。位置合わせ誤差が、像の面内のある軸に沿って直線であると判定される場合には、位置合わせ誤差に基づいた量および方向で、ステッチされる像の直線調整を行うことが可能である。例えば、位置合わせ誤差がある方向に5ピクセルである場合には、位置合わせ誤差の反対方向にピクセル5を再マッピングすることによって、位置合わせ誤差が消滅するように、ステッチされるべき画像を再位置合わせすることができる。
【0146】
ここでの実施形態の長所は、アライメントの評価が、ステッチされたイメージストリーム310cに埋め込まれたインフォメーションに基づいていることである。したがって、評価のために別個の画像ストリームは必要とされない。
【0147】
本明細書における実施形態のさらなる長所は、例えば、ステッチされた画像と元の画像とを比較する代わりに、混合を変化させることによって、例えば、ステッチされた画像からのより少ない画像を使用して、例えば、ミスアライメント誤差を決定することによって、アライメントを評価することができることである。
【0148】
更に別の利点は、複雑なアライメント誤差を、各静的部分334におけるより単純な線形アライメント誤差によってモデル化できることである。
【0149】
実施形態は、各々の静的部分334a、334b内の局所的並進誤差を決定するものとして上述されたが、実施形態は、回転アライメント誤差のような他のアライメント誤差にも適用可能である。例えば、回転誤差は、各静的部分334a、334b内の多くの局所並進誤差に基づいて決定されてもよい。従って、誤差の方向を語ることは、回転方向も含んでいる。
動作407
動作407
【0150】
差分パターンが閾値を上回る場合、本方法は、第2のアライメントを決定または選択するステップをさらに含むことができる。第2のアライメントの決定または選択は、さらなる評価なしに第2のアライメントを使用するために、または第1のアライメントが評価されたときに対応する方法で第2のアライメントを評価するために行われてもよい。次いで、上記の動作401aおよび401bが、第2の位置合わせのために対応して繰り返されてもよい。したがって、画像処理装置110は、第2の位置合わせに従って第1の画像フレーム311aおよびさらなる第1の画像フレーム311bを位置合わせし、第2の位置合わせに従って第2の画像フレーム312aおよびさらなる第2の画像フレーム312bを位置合わせすることができる。位置合わせは、例えば、第2の位置合わせの位置合わせの程度を決定することによって、第2の位置合わせを評価するために行われてもよい。
【0151】
しかしながら、ビデオネットワークシステム250において上記の画像及び画像ストリームを妨害することなく使用できるようにするために、第1の画像フレーム311a及び更なる第1の画像フレーム311bareは、一般に、第1の位置合わせに使用されるものと同じではない。代わりに、新たな画像フレームが、第2の位置合わせの評価のために使用されてもよい。
【0152】
これに対応して、第2の位置合わせの評価に使用される第2の画像フレーム312aおよびさらなる第2の画像フレーム312bは、一般に、第1の位置合わせに使用される対応するフレームと同じではない。
動作408
動作408
【0153】
いくつかの実施形態では、画像処理装置110は、第1のアライメントを評価することに基づいて、例えば、差分模様またはその尺度に基づいて、複数のアライメントの中からアライメントを選択する。
いくつかの他の実施形態では、画像処理装置110は、第1の位置合わせを評価することに基づいて、例えば、差分模様またはその尺度に基づいて、位置合わせを決定する。
いくつかの他の実施形態では、画像処理装置110は、第1の位置合わせを評価することに基づいて、例えば、差分模様またはその尺度に基づいて、位置合わせを決定する。
【0154】
位置合わせを選択することは、センサ301a、301bの取り付け位置に関するパラメータなど、ビデオカメラ325の上述のパラメータを選択することを含むことができる。また、アライメントの選択は、ニューラルネットワーク等によって行ってもよい。このような選択が、差分パタンに基づいてどのように実施されるかは、本明細書の実施形態の範囲を超える。
【0155】
中間動作として、評価は、第1のアライメントの決定されたアライメントの程度に基づくことができ、これは、差分パターンまたはその尺度に基づくことができる。例えば、画像処理装置１１０が、第１の位置合わせの品質または位置合わせの程度が十分に良好であると判断した場合、例えば、 差パターンが閾値未満であると決定することによって、画像処理デバイス１１０は、複数のアラインメントのうちの第１のアラインメントを使用することを決定することができる。他方、画像処理装置110が、例えば、差分パターンが閾値を上回ると判定することによって、第1のアライメントのアライメントの程度が十分に良好でないと判定した場合、画像処理装置110は、複数のアライメントのうちの第1のアライメントとは異なるアライメントを使用することを判定することができる。画像処理装置110は、例えば、代わりに第2の位置合わせを使用することを決定することができる。
動作409
動作409
【0156】
いくつかの実施形態では、画像処理装置110は、最適なアライメントがどれであるかを決定するために、多重アライメントを評価する。次に、動作407に関連して上述したように、上記動作401406を繰り返すことができ、ここで、第2のアライメントが決定または選択された。これに対応して、第3のアライメント等を決定し、評価し、他のアライメントと比較することもできる。
【0157】
例えば、第2の位置合わせが決定又は選択されたとき、画像処理装置110は、第2の位置合わせ及び第2の位置合わせ及び第2のブレンディング機能で得られた、第2の位置合わせ及び第1のブレンディング機能333b及び第2のステッチ画像フレーム322で得られた、第1のステッチ画像フレーム321の画素の値に基づいて計算された第2の差分パターンに基づいて、例えば、第2の位置合わせの程度を決定することによって、第2の位置合わせを評価することができる。第2のアライメントのアライメントの程度の決定は、上記の動作406に従って行われてもよい。さらなるアラインメントは、対応する方法で評価されてもよい。ある実施形態では、画素差異の測度の算出に使用される静的部分は、第1の位置合わせの場合と同様に、第2の位置合わせの場合と同じである。しかし、画素差の測度を計算するために、少なくとも1つの静的部分334とは異なる第二の静的部分のような、新しい静的部分を使用することもできる。
【0158】
ニューラルネットワークを訓練して、混合の効果を評価し、画像の新しいアライメントを反復的に試験し、評価して、最良のアライメント、例えば、最小の変化に関連するアライメント、例えば、差分パターンの最小の尺度をもたらすアライメントを見つけることができる。
動作410
動作410
【0159】
動作409の上記の説明に従って複数のアライメントが評価された場合、複数のアライメントの中から最良のアライメントまたは最適なアライメントを選択するために、アライメントの選択を実行することができる。選択は、それぞれのアライメントに対応する複数の差分パターンのうちの最小の差分パターンに基づいてもよい。すなわち、どの差分パターンが最小であるかに基づいている。
【0160】
例えば、画像処理装置110が第1および第2の位置合わせを評価した場合、画像処理装置110は、第1および第2の差分パターンのうちの最小差分パターンに基づいて、第1の位置合わせと第2の位置合わせとの間の位置合わせを選択することができる。
【0161】
いくつかの実施形態では、第1および第2の差分パターンからの最小差分パターンは、第1の混合領域331aと第2の混合領域331bとの間の最小差分を含む。すなわち、第1及び第2の差分パターンのうちの最小の差分パターンは、第1の混合領域331aの静的部分334と第2の混合領域331bの静的部分334との間の最小の差分を含むことができる。例えば、画素差の合計、および/または平均画素差の合計は、全てのスタティック部分334a、334bについて、位置合わせごとに比較され得る。
【0162】
図5は、アライメントnrと呼ばれる異なるアライメントオプションに対する、Differenceと呼ばれる差分パターンの尺度の例示的なグラフを示す。図からわかるように、アライメントオプション6は、アライメントnr 6の差がゼロであるため、ゼロまたは少なくとも非常に小さいミスアライメントに対応する。他の位置合わせオプションは、それぞれ、異なる位置合わせ不良、例えば、画像フレームの軸に沿った線形位置合わせ不良に対応する。差分パターンの測度の大きさは、ミスアライメントに伴って変化するので、差分パターンに基づいてミスアライメントを予測することが可能であり、場合によっては、ミスアライメントの方向に関する情報にも基づいても予測することが可能である。方向情報は、2つまたはそれ以上アラインメントに基づく差分パターンなどの差分パターンの導関数または差分の算出から得ることができる。
【0163】
図6を参照すると、画像処理装置600の実施形態の概略構成図が示されている。画像処理装置600は、第1の位置合わせ、すなわち、第1の画像センサ301aからの画像31Oaの第1の流れと、第2の画像センサ301bからの画像31Obの第2の流れとの位置合わせを評価するように構成される。上述したように、画像処理装置600は、ビデオカメラ325、監視カメラ、ネットワークビデオレコーダ、または無線通信装置などの画像捕捉装置110を備える。
【0164】
画像処理装置600は、本明細書で説明される方法を実行するための手段などの処理モジュール601を備えることができる。該手段は、ソフトウェアモジュールをおよび/または1つまたはそれ以上する1つまたはそれ以上ハードウェアモジュールの形成で具現化することができる。
【0165】
画像処理装置600は、メモリ602をさらに備えることができる。メモリは、画像処理装置600上で実行されると、画像処理装置600にその方法を実行させるコンピュータ可読コードユニットを含むことができる、例えばコンピュータプログラム603の形態の命令を含むか、または格納することができる。
【0166】
本明細書のいくつかの実施形態によれば、画像処理装置600は、処理モジュール601に、1つまたはそれ以上のプロセッサを含むことができる例示的なハードウェアモジュールとしての処理回路604を備える。したがって、処理モジュール601は、処理回路604の形成、すなわち「によって実現される」形成で実現されてもよい。命令は、処理回路604によって実行可能であってもよく、それによって、画像処理装置600は、図4の方法を実行するように動作可能である。別の例として、命令は、処理回路604をおよび/またはして画像処理装置600によって実行されると、画像処理装置600に図4による方法を実行させてもよい。
【0167】
本発明は、上記事実を考慮して、一例において、第1の位置合わせ、すなわち、第1のイメージセンサ301aからの第1の流れの画像310aの位置合わせと、第2のイメージセンサ301bからの第2の流れの画像310bの位置合わせとを評価するための画像処理装置600が提供される。再び、メモリ602は、前記処理回路604によって実行可能な命令を含み、それによって、画像処理装置600は、図4による方法を実行するように動作可能である:
【0168】
第1の位置合わせに応じて第1の撮像素子301aからの第1の流れの画像31０aの第1の画像フレーム311aと第2の撮像素子301bからの第2の流れの画像31Obの第2の流れの第1の画像フレーム311aとを位置合わせし、第1の位置合わせに応じて第1の流れの画像31Oaの第2の流れの画像フレーム312aと第2の流れの画像31Obの第2の流れの画像フレーム312bとを位置合わせする。
【0169】
第1のブレンド機能に従って、第1およびさらなる第1の画像フレーム311a、311bの第1のブレンド領域331aにおいて、位置合わせされた第1の画像フレーム311aおよびさらなる第1の画像フレーム311bをブレンドすることによって、第1のスティッチングされた画像フレーム321を取得し、第1のブレンド機能とは異なる第2のブレンド機能に従って、第2およびさらなる第2の画像フレーム312a、312bの第2のブレンド領域331bにおいて、位置合わせされた第2の画像フレーム312aおよびさらなる第2の画像フレーム312bをブレンドすることによって、第2のスティッチングされた画像フレーム322を取得する。
【0170】
第一のステッチフレーム321と第二のステッチフレーム322の画素の値に基づいて計算された差分パターンに基づいて第一の位置合わせを評価する。差分パターンは、第1および第2のステッチ画像フレーム321、322のそれぞれにおける第1および第2の混合領域331a、331bの少なくとも1つの静的部分334に基づく。
【0171】
画像処理装置600は、さらに、図4に関連して上述した詳細な実施形態による方法を実行するように動作することができる。
【0172】
図6は、さらに、キャリア605、またはプログラムキャリアを示し、これは、上記に直接記載されるようなコンピュータプログラム603を備える。キャリア605は、電子信号、光信号、無線信号、およびコンピュータ読み取り可能媒体のうちの1つであってもよい。
【0173】
いくつかの実施形態では、処理モジュール601をおよび/またはする画像処理装置600は、例示的なハードウェアモジュールとして、位置合わせモジュール610、取得モジュール620、評価モジュール630、および選択モジュール640の1つまたはそれ以上を備えることができる。他の例では、上述の例示的なハードウェアモジュールの1つまたはそれ以上は、1つまたはそれ以上ソフトウェアモジュールとして実装されてもよい。
【0174】
さらに、処理モジュール601は、入力/出力ユニット606を備えることができる。
一実施形態によれば、入出力部606は、第1の画像フレーム311a及び更なる第1の画像フレーム311bのような上述した画像フレームを捕捉するように構成された第1及び第2の画像センサ301a、301bを備えることができる。
一実施形態によれば、入出力部606は、第1の画像フレーム311a及び更なる第1の画像フレーム311bのような上述した画像フレームを捕捉するように構成された第1及び第2の画像センサ301a、301bを備えることができる。
【0175】
したがって、画像処理装置600は、第1のイメージセンサ301aからの第1の流れの画像310aと、第2のイメージセンサ301bからの第2の流れの画像31Obとの位置合わせを評価するように構成されている。
【0176】
したがって、上述した様々な実施形態によれば、位置合わせモジュール6610をおよび/またはして処理モジュール601をおよび/またはする画像処理装置600は、第1の位置合わせに応じて、第1の画像センサ301aからの画像31Oaの第1の流れの画像フレーム311aと、第2の画像センサ301bからの画像31Obの第2の流れの第2の画像フレーム311bとを位置合わせし、第1の位置合わせに応じて、画像31Obの第1の流れの画像310aの第2の流れの画像フレーム312aと第2の流れの画像31Obの第2の画像フレーム312bとを位置合わせするように構成される。
【0177】
位置合わせモジュール610のおよび/またはで処理モジュール601をおよび/またはする画像処理装置600は、第2の位置合わせに従って第1の画像フレーム311aとさらなる第1の画像フレーム311bとを位置合わせし、第2の位置合わせに従って第2の画像フレーム312aとさらなる第2の画像フレーム312bとを位置合わせして、例えば第2の位置合わせの位置合わせの度合いを決定することによって第2の位置合わせを評価するようにさらに構成されてもよい。
【0178】
取得モジュール620をおよび/またはする処理モジュール601をおよび/またはする画像処理装置600は、第1の混合機能333aに従って、第1およびさらなる第1の画像フレーム311a、311bの第1の混合領域331aを結合することによって、第1のステッチされた画像フレーム321を取得し、第1の混合機能333aとは異なる第2の混合機能333bに従って、第2およびさらなる第2の画像フレーム312a、312bの第2の混合領域331bにおいて、整列された第2の画像フレーム312aおよびさらなる第2の画像フレーム312bを混合することによって、第2のステッチされた画像フレーム322を取得するように構成される。
【0179】
評価モジュール630および/またはの処理モジュール601をおよび/またはする画像処理装置600は、第一のステッチフレーム321及び第二のステッチフレーム322の画素の値に基づいて計算された差分パターンに基づいて、第一の位置合わせを評価するように構成されてもよい。差分パターンは、第1および第2のステッチ画像フレーム321、322のそれぞれにおける第1および第2の混合領域331a、331bの少なくとも1つの静的部分334に基づく。
【0180】
評価は、差分パターンに基づいて第1のアライメントのアライメントの程度を決定することによって実行されてもよい。
【0181】
差分パターンは、第1のステッチフレーム321の対応する画素の値と第2のステッチフレームとの間の差に基づいて計算されてもよい。他のいくつかの実施形態では、第1のステッチフレーム321の対応する画素の重み付け値と第2のステッチフレーム322との間の差異。
【0182】
差分パターンに基づいて第一の位置合わせを評価するいくつかの実施形態では、差分パターンに基づいて、少なくとも1つの静止部分334内で第一の画像フレーム311aおよび更に第一の画像フレーム311bのそれぞれの再構成を計算し、更に、第一のステッチフレーム321または第二のステッチフレーム322の対応する画素の値のいずれかに基づいて、それぞれの再構成を互いに比較することを含む。
【0183】
選択モジュール640のおよび/またはで処理モジュール601をおよび/またはする画像処理装置600は、第1のアライメントを評価することに基づいて、複数のアライメントの中からアライメントを選択するように構成されてもよい。いくつかの実施形態では、選択モジュール640におよび/またはする処理モジュール601をおよび/またはする画像処理装置600は、第1および第2の差分パターンのうちの最小限の差分パターンに基づいて、第1のアライメントおよび第2のアライメントの中からアライメントを選択するように構成される。
【0184】
本明細書で使用されるように、「モジュール」という語は、1つまたはそれ以上の機能モジュールを指すことができ、その各々は、組み合わされたソフトウェア/ハードウェアモジュールをおよび/またはするソフトウェアモジュールをおよび/または1つまたはそれ以上する1つまたはそれ以上のハードウェアモジュールとして実装することができる。いくつかの事例において、モジュールは、ソフトウェアおよび/またはハードウェアとして実現される機能ユニットを表すことができる。
【0185】
本明細書で使用されるように、用語「コンピュータプログラムキャリア」、「プログラムキャリア」、または「キャリア」は、電子信号、光信号、無線信号、およびコンピュータ可読媒体のうちの1つを指すことができる。いくつかの例では、コンピュータプログラムキャリアは、電子的な光学および/または無線信号などの一時的な伝播信号を除外することができる。したがって、これらの例では、コンピュータプログラムキャリアは、非一時的なコンピュータ可読媒体などの非一時的なキャリアとすることができる。
【0186】
本明細書で使用される「プロセッシングモジュール」という語は、1つまたはそれ以上のハードウェアモジュール、1つまたはそれ以上のソフトウェアモジュール、またはそれらの組合せを含むことができる。任意のそのようなモジュールは、ハードウェア、ソフトウェア、または組み合わされたハードウェア－ソフトウェアモジュールであってもよく、開示されるような整列手段、取得手段、評価手段、選択手段などであってもよい。
一例として、「手段」という表現は、図面に関連して上記で列挙したモジュールに対応するモジュールであってもよい。
一例として、「手段」という表現は、図面に関連して上記で列挙したモジュールに対応するモジュールであってもよい。
【0187】
ここで使用される「ソフトウェアモジュール」という用語は、ソフトウェアアプリケーション、ダイナミックリンクライブラリ(DLL)、ソフトウェア成分、ソフトウェアオブジェクト、成分オブジェクトモデル(COM)に従ったオブジェクト、ソフトウェア成分、ソフトウェア機能、ソフトウェアエンジン、実行可能なバイナリソフトウェアファイルなどを指すことがある。
【0188】
「プロセッサモジュール」又は「プロセッサ回路」という用語は、ここでは、例えば1つまたはそれ以上プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ等を含む処理ユニットを包含し得る。プロセッシングサーキット等は、1つまたはそれ以上のプロセッサカーネルを含むことができる。
【0189】
本明細書で使用されるように、「構成される/する」という表現は、プロセッシングサーキットが、ソフトウェア構成および/またはハードウェア構成によって、本明細書で説明される動作の1つまたはそれ以上を実行するように構成され、適合され、または動作することを意味することができる。
【0190】
本明細書で使用される「動作」という用語は、アクション、ステップ、オペレーション、応答、反応、アクティビティなどを指すことができる。本明細書の動作は、適用可能な2つまたはそれ以上のサブ動作に分割され得ることに留意されたい。さらに、適用可能なように、本明細書で説明される2つまたはそれ以上動作は、単一の動作にマージされ得ることに留意されたい。
【0191】
ここで使用される「メモリ」という用語は、ハードディスク、磁気記憶媒体、ポータブルコンピュータディスケットまたはディスク、フラッシュメモリ、ランダムアクセスメモリなどを意味し、さらに「メモリ」という用語は、プロセッサなどの内部レジスタメモリを意味する場合がある。
【0192】
本明細書で使用される用語「コンピュータ可読媒体」は、ユニバーサルシリアルバスメモリ、DVDディスク、Siu-rayディスク、データのストリームとして受信されるソフトウェアモジュール、フラッシュメモリ、ハードドライブ、メモリスティック、マルチメディアカード(MMC)、セキュアデジタル(SD)カードなどのメモリカードであってもよい。コンピュータ可読媒体の前述の1つまたはそれ以上例は、1つまたはそれ以上コンピュータプログラムプロダクトとして提供されてもよい。
【0193】
本明細書で使用されるように、「コンピュータ可読コード単位」という用語は、コンピュータプログラムのテキスト、コンパイルされたフォーマットでコンピュータプログラムを表すバイナリファイルの一部または全体、あるいはその間にあるものであってもよい。
本明細書で使用される「数値」および/または「数値」という用語は、2進数、実数、虚数、または有理数など、任意の種類の数値とすることができる。
本明細書で使用される「数値」および/または「数値」という用語は、2進数、実数、虚数、または有理数など、任意の種類の数値とすることができる。
【0194】
"value" は、文字や文字の文字列などの1つまたはそれ以上文字でもかまいません。"Number"および/または"value" は、bit の文字列、つまりゼロおよび/または1 で表現することもできます。
【0195】
本明細書で使用されるように、「ある実施形態で」という表現は、説明される実施形態の特徴が、本明細書で開示される任意の他の実施形態と組み合わされ得ることを示すために使用されている。
【0196】
様々な態様の実施形態を説明したが、当業者には、その多くの様々な変更、修正などが明らかになるであろう。したがって、記載された実施形態は、本発明の範囲を限定することを意図するものではない。
【図1】
【図2】
【図3a】
【図3b】
【図3c】
【図3d】
【図3e】
【図3f】
【図4】
【図5】
【図6】
【外国語明細書】