6352182 ステレオフィルムのフレームのズーム設定および／または垂直オフセットを補正する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6352182

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】ステレオフィルムのフレームのズーム設定および／または垂直オフセットを補正する方法

(51)【国際特許分類】

   G03B 35/08 20060101AFI20180625BHJP

   H04N 13/246 20180101ALI20180625BHJP

   H04N 5/225 20060101ALI20180625BHJP

【ＦＩ】

   G03B35/08

   H04N13/246

   H04N5/225 900

【請求項の数】20

【全頁数】8

(21)【出願番号】特願2014-523219(P2014-523219)

(86)(22)【出願日】2012年7月27日

(65)【公表番号】特表2014-527196(P2014-527196A)

(43)【公表日】2014年10月9日

(86)【国際出願番号】EP2012003212

(87)【国際公開番号】WO2013017246

(87)【国際公開日】20130207

【審査請求日】2015年7月1日

(31)【優先権主張番号】102011109301.3

(32)【優先日】2011年8月3日

(33)【優先権主張国】DE

【前置審査】

(73)【特許権者】

【識別番号】514014964

【氏名又は名称】トゥルアリティ， エルエルシー

【氏名又は名称原語表記】ＴＲＵＡＬＩＴＹ， ＬＬＣ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】ヴィーラント、クリスティアン

(72)【発明者】

【氏名】レンツ、マチアス

【審査官】 井亀 諭

(56)【参考文献】

【文献】 特開平０８−２５１６２６（ＪＰ，Ａ）

【文献】 特開平０５−１３０６４６（ＪＰ，Ａ）

【文献】 特開２００４−３５４２５７（ＪＰ，Ａ）

【文献】 特開２００８−２４１４９１（ＪＰ，Ａ）

【文献】 特開２０１１−０１３４２５（ＪＰ，Ａ）

【文献】 特開２０１１−０６１７８８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０３Ｂ ３５／０８

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ １３／２４６

(57)【特許請求の範囲】

【請求項1】

ステレオフィルムの２つのサブフレームから組み立てられた画像におけるズーム設定および垂直オフセットを補正する方法であって、
第１のカメラから第１のサブフレームを受け取り、
第２のカメラから第２のサブフレームを受け取り、
前記ステレオフィルムを記録している動作の間に、前記第１のサブフレームと前記第２のサブフレームとの間のズーム差、および、前記第２のサブフレーム内の少なくとも１つの対応する像点に関して前記第１のサブフレーム内に存在する少なくとも１つの像点の垂直オフセットを測定し、
画像処理プロセッサにて、前記ズーム差及び前記垂直オフセットに基づいて補正値を計算し、
前記ズーム差および前記垂直オフセットをディジタル処理で低減し、
時間値および信頼値を前記補正値へ割り当てる、方法。

【請求項2】

前記低減するステップは、前記ズーム差および前記垂直オフセットの１つ以上を除去する、請求項１に記載の方法。

【請求項3】

更に、前記補正値のうち２つの補正値の間の１つ以上の補間された補正値を計算する、請求項１または２に記載の方法。

【請求項4】

前記補正値は、前記第１のカメラのズーム設定、前記第２のカメラのズーム設定、前記第１のカメラのピッチ設定、前記第２のカメラのピッチ設定、の１つ以上を補正するため記録時に使用される、請求項１から３のいずれか一項に記載の方法。

【請求項5】

更に、第１のズーム補正値表または第２のズーム補正値表の１つに、前記ズーム差から計算された前記補正値を記憶し、前記記憶は、前記ズーム差から計算された前記補正値の決定の基礎であるズーム方向に依存している、請求項１から４のいずれか一項に記載の方法。

【請求項6】

更に、前記補正値をグラフへ計算的にリンクする、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記グラフは、前記第１のカメラのズーム設定、前記第２のカメラのズーム設定、前記第１のカメラのピッチ設定、および前記第２のカメラのピッチ設定に対するデフォルト設定として、基本表の１つ以上の値と組み合わせて使用される補正値を有する新たな較正曲線である、請求項６に記載の方法。

【請求項8】

前記１つ以上の補間された補正値の算出は、前記補正値への近接度に依存する、請求項３から７のいずれか一項に記載の方法。

【請求項9】

前記垂直オフセットは、前記第１のカメラのピッチ設定と前記第２のカメラのピッチ設定のうち１つ以上の互いに対する変更によって変更される、請求項１に記載の方法。

【請求項10】

前記ズーム差は、前記第１のカメラのズーム設定と前記第２のカメラのズーム設定のうち１つ以上の互いに対する変化によって変更される、請求項１に記載の方法。

【請求項11】

前記ズーム差および前記垂直オフセットを低減するステップは、前記第１のカメラのズーム設定、前記第２のカメラのズーム設定、前記第１のカメラのピッチ設定、および前記第２のカメラのピッチ設定の１つ以上を変更することを含む、請求項１に記載の方法。

【請求項12】

前記第１のサブフレームは、前記第１のカメラのズーム設定により決定される第１のズーム値と、前記第１のカメラのピッチ設定により決定される少なくとも一つの第１の像点と、を有する、請求項１に記載の方法。

【請求項13】

前記第２のサブフレームは、前記第２のカメラのズーム設定により決定される第２のズーム値と、前記第２のカメラのピッチ設定により決定される少なくとも一つの第２の像点と、を有する、請求項１に記載の方法。

【請求項14】

前記垂直オフセットは、前記第１のサブフレームに含まれる少なくとも１つの第１の像点と、前記少なくとも１つの第１の像点に対応し前記第２のサブフレームに含まれる少なくとも１つの第２の像点との垂直距離である、請求項１に記載の方法。

【請求項15】

前記補間は、前記補正値に割り当てられる時間値及び信頼値のうち１つ以上に依存する、請求項３に記載の方法。

【請求項16】

前記グラフにおいて傾斜／湾曲が予め定められた限界よりも大きい領域における前記補正値は、候補として記憶されるだけで、前記第１のカメラのズーム設定、前記第２のカメラのズーム設定、前記第１のカメラのピッチ設定、前記第２のカメラのピッチ設定、の１つ以上に適用されない、請求項６に記載の方法。

【請求項17】

ステレオフィルムの２つのサブフレームから組み立てられた画像におけるズーム設定および垂直オフセットを補正するように構成されたシステムであって、
第１のカメラから第１のサブフレームを受け取り、
第２のカメラから第２のサブフレームを受け取り、
前記ステレオフィルムを記録している動作の間に、前記第１のサブフレームと前記第２のサブフレームとの間のズーム差、および、前記第２のサブフレーム内の少なくとも１つの対応する像点に関して前記第１のサブフレーム内に存在する少なくとも１つの像点の垂直オフセットを測定し、
前記ズーム差及び前記垂直オフセットに基づいて補正値を計算し、
前記ズーム差および前記垂直オフセットをディジタル処理で低減し、
時間値および信頼値を前記補正値へ割り当てる、
ように構成された画像処理プロセッサを備える、システム。

【請求項18】

前記画像処理プロセッサは、更に、前記補正値のうち２つの補正値の間の１つ以上の補間された補正値を計算するように構成されている、請求項１７に記載のシステム。

【請求項19】

前記画像処理プロセッサは、更に、前記ズーム差から計算された前記補正値を、第１のズーム補正値表または第２のズーム補正値表の１つに記憶するように構成され、前記記憶は、前記ズーム差から計算された前記補正値の決定の基礎であるズーム方向に依存している、請求項１７に記載のシステム。

【請求項20】

前記画像処理プロセッサは、更に、前記補正値をグラフへ計算的にリンクするように構成されている、請求項１７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、１つのフレームがカメラリグの第１のカメラによって提供され、第２のフレームがカメラリグの第２のカメラによって提供され、ピッチ設定の変更を介して垂直オフセットが変更される場合の、ステレオフィルムの２つのフレームから組み立てられた画像におけるズーム設定および／または垂直オフセットを補正する方法に関する。言い換えれば、立体画像対の単一画像間のズーム差および／または垂直オフセットの調整に関する。

【背景技術】

【0002】

ズーム設定は、画像のサイズ、言い換えれば、或る一定数の充填可能ピクセルの上でコンテンツが分散されるように、どれほどの画像が表現されるかに影響する。垂直オフセットは、第１のサブフレームから第２のサブフレームへの２つの対応する像点の間のオフセットを意味するものと理解される。ここで、重ねられた双方のサブフレームは共に共通の画像を形成し、この共通の画像は、スクリーン上に投影され得るか、画像再生デバイス、たとえばテレビ上に表示され得る。そのような画像は、観察者のために３次元効果を引き起こし、ステレオフィルムとしても知られる３Ｄフィルムの一部分である。

【0003】

３次元効果は、観察者の各々の眼が２つのサブフレームの１つの上に固定され、２つのサブフレームの他方における対応する像点に対して像点の水平オフセットが存在するため、空間効果が観察者の脳の中に生じることで達成される。この３Ｄ効果は、深度効果としても知られる。

【0004】

ピッチ設定は、垂直平面で旋回するときのカメラの視線に影響する。

【0005】

ステレオフィルムを記録する動作の前に、ステレオフィルムをキャプチャするために使用されるカメラリグの２つのカメラを較正することは、従来技術から知られている。そのため、ステレオフィルムを記録する前に、複数の焦点距離／ズームレベルが設定され、画像処理プロセッサによって各々の偏差がキャプチャされる。偏差は、いわゆる基本表の中に保存された補正値と比較される。

【0006】

この基本表に従って、各々のズーム設定、すなわち各々の焦点距離について、補正値が使用される。

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、動作中に、多くの外部要因、たとえば、太陽放射またはカメラリグ内に存在して活動するモータからの温度上昇、慣性、バックラッシュ／公差などが補償されなければならない。本発明の目的は、撮影の間、すなわち、ステレオフィルムを記録している間でも、共同して画像を形成するサブフレームの双方が、常に最適に整列し、または、それらのズームオフセットおよび垂直オフセットに対してマッチするように、救済策および改善を提供することである。そのようなズームのミスマッチまたは垂直変位は、長期間の動作中に、および好ましくは即時に、補償されるべきである。

【課題を解決するための手段】

【0008】

この目的は、本発明に従って、ステレオフィルムを記録している動作中に、第２のフレームに対して第１のフレーム内に存在するズーム結果間の差が測定され、および／または、第２のフレーム内の対応する像点に関して第１のフレーム内の像点の垂直オフセットが測定され、この情報に基づいて補正値が計算され、ズーム設定および／またはピッチ設定へ適切に適用されるならば、前記補正値を用いてズーム差および／または垂直オフセットが低減されることで達成される。

【0009】

有利な実施形態は、従属請求項で請求され、下記で詳細に説明される。

【0010】

したがって、補正値に対応して、カメラリグの制御が２つのサブフレーム間のズーム差および／または垂直オフセットを除去することが有利である。さらに、純粋なディジタル画像補正が可能である。

【0011】

各々の補正値へ時間値を割り当てることが、さらに有利である。この時間値はタイムスタンプとして示され、補正値が生成された時点を表す。このようにして、ステレオ撮影中に、いつ補正値が実行／創出されたかを常に追跡し得る。

【0012】

それぞれの補正値は、対応して関連づけられた信頼値を備える。そのような信頼値は、画像処理プロセッサによって遂行された画像解析の品質を表す。この画像解析に基づいて補正値が生成された。このようにして、信頼尺度も各々の補正値にリンクされる。前に行われた補正の間の区間は、横座標の上で既定の最大距離を超過しない限り、補間によって充填され、これらの非訪問区間についても補正値が利用可能にされる。明示的に選好されなかったズーム設定および／またはピッチ設定についても、補間によって、追加の新しい補正値を介する補足が、（対応的に）近接／または隣接した新しい補正値として達成される。補間は、好ましくは、付随する補正値の時間値および／または信頼値に依存して遂行される。

【0013】

補正値は、常にモータにおいて創出または実現され、補正表の中に記録される。ここで、２つの変形が実現可能である。これらの変形は、補正値およびそれらの補間から形成された補正表が、カメラリグのカメラのズーム設定および／またはピッチ設定を補正するため即時に使用され、すなわち撮影中に即時に使用されて、積極的変更が達成されるか、それが時間遅延と共に、言い換えれば、操作者からの明確な承認の後でのみ使用されるかの点で異なる。こうして、前述した２番目の場合、不正確な動作または不正確な計算を防止する手動制御ループが確立され得る。明確にするため、モータの制御は調整システムを現実化することに注意すべきである。各々の補正は、このようにしてモータにおいて即時に実現される。それゆえに、２つの変形は、個々の補正から形成されて補間の助けにより取得された区間も格納する表が、即時に使用されるかどうかで異なる。即時の使用は、焦点距離の新たな訪問が起こるとき、補正を再び行う必要がない利点を有する。なぜなら、前のランで決定されたように、補正表の値が即時に適用されるからである。

【0014】

補正値が計算されたとき有効であったズーム方向に依存して、第１または第２のズーム補正値表の中にズーム補正値を記憶することが有利であることが発見された。こうして、ズーム方向に依存した異なるカメラ行動が考慮される。ゆえに、たとえば、画像の中へズームしている間に、左および右のサブフレーム間にズームのミスマッチが存在することが確立されたとき、まだ十分に遠くまでズームされていない画像が、さらにズームされることが有利である。こうして、現在の終了位置をもたらした原初のズーム方向が、十分にズームされなかった画像の上で継続される。ズーム設定および／または垂直オフセットを補正する方法の品質は、こうして改善される。

【0015】

有利な例示的実施形態は、補正値がグラフへ計算的にリンクされ、勾配／屈曲が既定の限度よりも大きいグラフ領域内の制御値がズーム設定および／またはピッチ設定へ適用されないこと、すなわち、それらの制御値が候補として記録されるだけで、補間値の形成には考慮されないことを特徴とする。明確にするため、各々の新しい補正の後、補間子はテストベースで調整されることに注意すべきである。しかしながら、もし既定値に対して大きすぎる勾配／屈曲を有する区域が存在するならば、最新すなわちトリガ中の補正は、候補状況を受け取り、新しく形成された補間子はまだ採用されない。それゆえに、補正は、隣接格子に関して最大許容勾配または最大許容屈曲を尊重しなければならない。最大許容勾配／最大許容屈曲に違反する補正は、モータで現実化され、適切な反復を待機するため候補として記録される。このようにしてからのみ、最大許容勾配／最大許容屈曲に違反する補正は、補正表およびその補間子の本格的成分となる。

【0016】

或る時点でユーザによって規定されたグラフが新しい較正曲線として規定され、この曲線の補正値が、この時点からズーム設定および／またはピッチ設定に関するデフォルト設定として役立つことが、さらに有利である。こうして、古くてまだ補正されていない値および新しい値から形成された新しい基本較正曲線が規定される。ここで新しい値は、基本表内で前に格納された値を修正し、これによって自己設定補正値、それぞれのズーム設定および／またはピッチ設定が変更される。

【0017】

補間された補正値は、前に発見された補正値への近接度に依存して計算されることが有利である。こうして、発見された補正値と補間される補正値との間で直接リンクが強化される。

【0018】

本発明は、さらに、２つのカメラを有するカメラリグの制御または調整システムに関する。制御または調整システムは、本発明に従った方法ならびに純粋なディジタル画像補正の方法を実行するように設計される。

【発明を実施するための形態】

【0019】

言い換えれば、次のようになる。

【0020】

較正中に創出される基本表は、たとえば、温度、重力、バックラッシュ／公差などを介して老化プロセスへ供されるが、ここで本発明によって救済策が提供される。ズームおよび／または平均垂直オフセットのためのオンライン補正機能が提供され、この補正機能は、対応する画像誤差が固定量を超過してズームされないとき有効になる。全ての遂行された補正は補正表の中に収集され、定期的に規定される選択規準が経験されて、既存の基本表と最終的に組み合わせられ、少数のズーム設定の後、変更された状態に対応するようになる。なぜなら、補間された値が、訪問されていない焦点距離について利用可能になるからである。しかしながら、基本表を更新する意思決定はユーザによって行われる。平均的な垂直オフセットの場合、略対称の傾斜を有する補正表が存在する。しかしながら、ズーム設定のためには２つの補正表が存在する。１つは前方ズームのためであり、１つは後方ズームのためである。

【0021】

遂行される補正は、点へ限定されて一過性であるか、補正表の局所的領域に影響を有するか、のいずれかである。

【0022】

十分な信頼値を有する補正は局所的影響を有する。すなわち、それらの補正は、それらの周囲で補正表と連続的に適合し、同じ位置への新しい訪問の場合、補正されたモータ値は既に受け入れられている。

【0023】

補間子の中で既定の最大勾配／最大屈曲を超過した補正、および低すぎる信頼値を有する補正は、単に局所的／一値用のみであって一過性である。すなわち、それらの補正はモータにおいて現実化され候補として記録されるが、補正表に影響を及ぼさず、いわゆる自動クリアが遂行される。すなわち、同じ位置の新しい訪問のとき、補正が再び行われなければならない。こうして、自動クリアは、導入される補正が、各々の後続するズーム変更と共に、さらに何度も低減されること、すなわち基本表の補正値へ再び戻ることを意味する。

【0024】

もし局所的影響を有する２つの補正が、補正表の横座標への、言い換えれば、焦点距離への既定の最大距離を超過しなければ、２つの補正の間で補間が行われる。しかしながら、もし可能であれば、それは外挿されない。

【0025】

古い補正への小さい距離を有する新しい補正は、古い補正と置き換わる。

【0026】

補正は、補正表の横座標に関して最小距離を超過するとき、相互に置き換わり得る。置換が内部で起こる距離は、置換廊下と呼ばれ、その幅は、置き換えられるべき補正の年齢に依存する。すなわち、補正が古ければ、それだけ廊下は広くなる。

【0027】

古い補正が局所的影響を有する限り、局所的影響を有する新しい補正は、古い補正と置き換わる。もし、古い補正が局所的／一値用のみであって一過性タイプ、言い換えれば、候補であれば、それは置換を経験しない。古い補正は候補として存在し続ける。

【0028】

局所的／一値用のみであって一過性タイプの現在の補正は、古い補正も局所的／一値用のみであって一過性タイプである限り、この古い補正と置き換わる。もし古い補正が局所的影響を有するならば、それは置換を経験しない。より新しい補正は、古い補正に加えて候補となる。

【0029】

補正の置換は記録される。同じ大きさの反復された置換、すなわち補正表の縦座標に関する反復された置換はカウントされる。それぞれのキャプチャされた補正は、そのようなカウンタを有する。その値は反復加重量と呼ばれる。

【0030】

同様の大きさの隣接した補正は、相互を強化する。

【0031】

もし横座標の点、すなわち焦点距離の点が訪問され、この点が、局所的影響を有するより古い補正の置換廊下の中に存在し、再補正が必要でなければ、この古い補正の反復加重量は増加する。

【0032】

補間された位置に基づく小さな補正は、この補間を生じた２つの隣接した補正を確認する。その反復加重量は増加される。そのタイムスタンプは、現在の補正のタイムスタンプへ設定される。

【0033】

規定された反復を有する候補のみが、補正表の構造に影響を及ぼす。候補の加重量および反復、および現存する隣接格子の年齢および加重量に依存して、最大勾配／最大屈曲が最終的に尊重されるように３つまでの補正が修正される。

【0034】

既定値を超過する反復加重量を有する候補は、補間による最大許容勾配／最大許容屈曲への違反がないように減衰されることで補正表へ影響を及ぼす。もし候補が、局所的影響を有する補正の近くに存在するならば、それは候補の反復加重量が他の補正の反復加重量を既定値だけ超過する場合にのみ起こる。候補の２つの隣接格子も、それらの年齢および／または信頼加重量および／または反復加重量に従って一緒に減衰されること、すなわち、それらが或る一定の範囲まで候補に接近し、減衰が分散されることが有利である。

【0035】

現在の形態の補正表は、制御値の数を既定の最大数へ限定するプロセスへ定期的に供され、より若い、および／または、より信頼性のある補正が残るようにされ得る。

【0036】

既定値および／または意思決定パターンは、学習プロセスへ供される。たとえば、その場合、異なるパラメータ集合および／または意思決定パターンに基づいて、複数の可能な補間子が並列に管理され、各々の新しく行われた補正が、これらの補間子の全部の評価をもたらすようにされ得る。動作の過程で、パラメータ集合と規則収集との最良の実用的組み合わせが出現し得る。

【0037】

一般的に、上記で説明された機構は、１次元ルックアップテーブル、たとえば高さオフセットによって表現され得る全ての補正へ適用可能である。