特許 6907308 仮想センサを用いる画像取込み方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6907308

(24)【登録日】2021年7月2日

(45)【発行日】2021年7月21日

(54)【発明の名称】仮想センサを用いる画像取込み方法及びシステム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20210708BHJP

【ＦＩ】

   H04N5/232 300

   H04N5/232 290

   H04N5/232 933

   H04N5/232 380

【請求項の数】12

【全頁数】17

(21)【出願番号】特願2019-518156(P2019-518156)

(86)(22)【出願日】2017年6月16日

(65)【公表番号】特表2019-520013(P2019-520013A)

(43)【公表日】2019年7月11日

(86)【国際出願番号】FR2017051589

(87)【国際公開番号】WO2017216503

(87)【国際公開日】20171221

【審査請求日】2020年4月30日

(31)【優先権主張番号】1655669

(32)【優先日】2016年6月17日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】518445399

【氏名又は名称】クールテ，アレクサンドル

(74)【代理人】

【識別番号】110000176

【氏名又は名称】一色国際特許業務法人

(72)【発明者】

【氏名】クールテ，アレクサンドル

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開平０７−１６２７４４（ＪＰ，Ａ）

【文献】 特開平１１−２６１８６８（ＪＰ，Ａ）

【文献】 特開２００６−３１０９３６（ＪＰ，Ａ）

【文献】 特開２０１４−１２７７３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

シーン（１００）の所定のコースの上を高速で動く競技者又は競技器具（１０５）を追跡するための仮想センサを使用し、画像取込みシステム（１０２）で実施される画像取込み方法であって、
前記画像取込みシステム（１０２）は、それぞれが前記所定のコースに沿った異なる固定位置に配置された、広視野画像用の複数の画像取得デバイス（１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、１９５）を備え、
それにより、ある瞬間に２つの異なる前記画像取得デバイスが取り込んだ画像が、前記所定のコースの上を動く前記競技者又は前記競技器具（１０５）の異なる視点を表すことを特徴とする画像取込み方法であって、
前記所定のコースに実質的に等価な空間の区域を表す画像を、前記複数の画像取得デバイスの各々によって、リアルタイムに取り込むステップ（４１０）と、
複数の連続する瞬間の各瞬間について、ある画像取得デバイスと、前記画像取得デバイスが前記瞬間に取り込んだ部分画像とを選択するステップ（４２０、４３０）と、
前記選択された部分画像から、前記コースに沿って動く前記画像取得デバイスが取り込んだであろうものと同様のビデオシーケンスを再構成するステップ（４４５）と
を含む画像取込み方法。

【請求項2】

請求項１に記載の画像取込み方法であって、
前記ビデオシーケンスの２つの連続する瞬間の間の画像にジャンプカットが生じるのを回避するように、前記選択された部分画像を処理するステップ（４４０）をさらに含む
ことを特徴とする画像取込み方法。

【請求項3】

請求項１又は２に記載の画像取込み方法であって、
前記画像取得デバイスが取り込んだ前記画像の光学的歪みを補正するステップをさらに含む
ことを特徴とする画像取込み方法。

【請求項4】

請求項１〜３に記載の画像取込み方法であって、
前記再構成されたビデオシーケンス中で、前記競技者又は前記競技器具と前記仮想センサとの相対速度が変化する
ことを特徴とする画像取込み方法。

【請求項5】

請求項１〜４に記載の画像取込み方法であって、
前記取り込まれた画像を、所定の期間の間、前記システム（１０２）に格納するステップをさらに含み、
これにより、前記格納された画像から、新たなステップである選択ステップ（４２０，４３０）と再構成ステップ（４４５）を後に実行することが可能になる
ことを特徴とする画像取込み方法。

【請求項6】

請求項１〜５に記載の画像取込み方法であって、
前記画像取込みシステムを設定する準備ステップ（４００）を含み、
前記準備ステップ（４００）は、
前記複数の画像取得デバイスを、前記所定のコースに沿って設置するステップであって、
前記画像取得デバイスがそれぞれ、前記所定のコースに実質的に等価な空間の区域を撮影するようにし、且つ、
ある瞬間に２つの異なる前記画像取得デバイスが取り込んだ前記画像が、前記所定のコースの上を動く前記競技者又は前記競技器具の異なる視点を表すようにするステップと、
前記複数の画像取得デバイスがそれぞれ接続される画像処理デバイスを、前記複数の画像取得デバイスの相対位置のデータを用いてパラメータ化するステップと
を含む
ことを特徴とする画像取込み方法。

【請求項7】

シーン（１００）の所定のコースの上を高速で動く競技者又は競技器具（１０５）を追跡するための仮想センサを使用する画像取込みシステム（１０２）であって、
広視野画像用の複数の画像取得デバイス（１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、１９５）であって、
前記複数の画像取得デバイスはそれぞれ、前記所定のコースに沿った異なる固定位置に配置され、
それにより、ある瞬間に２つの異なる画像取得デバイスが取り込んだ画像が、前記所定のコースの上を動く前記競技者又は前記競技器具（１０５）の異なる視点を表し、
前記複数の画像取得デバイスはそれぞれ、前記所定のコースに実質的に等価な空間の区域を表す画像をリアルタイムに取り込むための手段を備える前記複数の画像取得デバイスと、
画像処理デバイス（５１０）であって、
前記画像取得デバイスによってリアルタイムに取り込まれた画像を得ることと、
複数の連続する瞬間の各瞬間について、ある画像取得デバイスが前記瞬間に取り込んだ部分画像を選択することと、
前記選択された部分画像から、前記コースに沿って動く前記画像取得デバイスが取り込んだであろうものと同様のビデオシーケンスを再構成することとを
行うよう構成された画像処理デバイス（５１０）と
を備える画像取込みシステム（１０２）。

【請求項8】

請求項７に記載の画像取込みシステム（１０２）であって、
前記画像処理デバイス（５１０）は、前記ビデオシーケンスの２つの連続する瞬間の間の画像にジャンプカットが生じるのを回避するために、前記選択された部分画像を処理するようにさらに構成される
ことを特徴とする画像取込みシステム。

【請求項9】

請求項７又は８に記載の画像取込みシステム（１０２）であって、
前記画像処理デバイス（５１０）は、前記画像取得デバイス（１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、１９５）が取り込んだ画像の光学的歪みを補正するようにさらに構成される
ことを特徴とする画像取込みシステム。

【請求項10】

請求項７〜９の何れかに記載の画像取込みシステム（１０２）であって、
前記画像取込みシステムは、マンマシンインターフェース（５４０）をさらに備え、
前記マンマシンインターフェース（５４０）は、前記画像取得デバイス（１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、１９５）の全てを、これらの前記画像取得デバイスが取り込んだ画像と共に表示するように構成された表示手段を備える
ことを特徴とする画像取込みシステム。

【請求項11】

請求項１０に記載の画像取込みシステム（１０２）であって、
前記マンマシンインターフェースは、ある画像取得デバイスから別の画像取得デバイスへ切替えるように構成された切替え手段をさらに備え、
前記切替え手段は、前記画像処理デバイスの処理対象を示す選択コマンドを生成するように、前記切替えを行う
ことを特徴とする画像取込みシステム。

【請求項12】

請求項１１に記載の画像取込みシステム（１０２）であって、
前記切替え手段は、前記マンマシンインターフェース（５４０）を介して選択された部分画像の関数として、ある画像取得デバイスから別の画像取得デバイスへ切替えるように構成され、
前記表示手段は、前記選択された部分画像の範囲を区切る信号伝達要素を表示するようにさらに構成される
ことを特徴とする画像取込みシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば高速スポーツ用のサーキット又はコースに装備可能な画像取込みシステムに関する。

【0002】

本発明は、特に、所定のコースの上を高速で動く競技者又は競技器具を追跡するための仮想センサを用いる画像取込み方法及び画像取込みシステムに関するものであり、これは、ビデオシーケンスを生成することを可能にする。

【背景技術】

【0003】

画像取込みは多大な用途において行われており、ますます特定の制約を満たすことが必要とされている。

【0004】

用途の一例としては、非常に高速で動く物体（又は被写体）のビデオ撮影が挙げられ、典型的な例としては、高速で行われるスポーツの内容、例えば、競技者（スキーヤー等）やボール又は競技用自動車等の競技器具のビデオ撮影がある。このような競技用自動車は、時速３００ｋｍのオーダーの速度で動くこともある。

【0005】

そのような被写体のビデオの撮影を、例えばテレビ放送又は映画等のために行う場合は、通常、ビデオ画像取得デバイスを載せた別の輸送機（ドローン等）を使用して、競技者又は競技用乗物を追跡するように同様の速度で移動させて行われる（「追跡ショット」）。

【0006】

しかし、例えば、車両ならば時速数百ｋｍのオーダーともなる動きの速度を考慮すると、追跡システムを操作するためにある程度の熟練が必要であり、これは、画像取込み（視野角は既定）及び焦点合わせにおいて、操縦に関してわずかな余裕を提供するにすぎない。例えば、焦点の変化は、競技者又は車両に対するズームインによって通常はなされるものであり、これは速度の印象を観客から消してしまうことになる。

【0007】

さらに、競技者の近くで追跡システムが動くことは、安全性の問題を引き起こす可能性がある。実際に、追跡システムは、その誤操作や機械的な問題により、競技者又は競技器具を意図せず妨害したり、競技者又は競技器具に激突したりする可能性がある。さらに、コース（又はサーキット）上を１つ又は複数の追跡システムが動くことにより、競技者がコースを明瞭に視ることを妨害し、それにより事故の危険性が増大する可能性がある。従って、非常に高速で動いている競技者（又は競技者の競技器具／競技車両）を撮影するための既存のビデオ取込みシステムの信頼性、安全性及び柔軟性を改善する必要性がある。

【発明の概要】

【課題を解決するための手段】

【0008】

従って、本発明は、これらの欠陥の少なくとも１つを克服することを目標とする。

【0009】

本明細書において、本発明の第１の点は、シーンの所定のコースの上を高速で動く競技者又は競技器具を追跡するための仮想センサを使用し、画像取込みシステムで実施される画像取込み方法に関する。前記画像取込みシステムは、それぞれが前記所定のコースに沿った異なる固定位置に配置された、広視野画像画像取得デバイスを複数備え、それにより、ある瞬間に２つの異なる前記画像取得デバイスが取り込んだ画像が、前記所定のコースの上を動く前記競技者又は前記競技器具の異なる視点を表す。前記画像取込み方法は、前記所定のコースに実質的に等価な空間の区域を表す画像を、前記複数の画像取得デバイスの各々によって、リアルタイムに取り込むステップと、複数の連続する瞬間の各瞬間について、ある画像取得デバイスと、前記画像取得デバイスが前記瞬間に取り込んだ部分画像とを選択するステップと、前記選択された部分画像から、前記コースに沿って動く前記画像取得デバイスが取り込んだであろうものと同様のビデオシーケンスを再構成するステップとを含む。

【0010】

従って、本方法により、同じ瞬間におけるが異なる視点を有する同じシーンの複数の画像を取り込むことが可能となり、それにより、オペレータがショットを選択する際の選択肢を広げ、さらに、それらが、再構成されたビデオシーケンス内での被写体と仮想センサとの相対速度を変化させることを可能にする。

【0011】

これに関連して、本発明の第２の点は、 シーンの所定のコースの上を高速で動く競技者又は競技器具を追跡するための仮想センサを使用する画像取込みシステムに関する。前記画像取込みシステムは、広視野画像用の画像取得デバイスを複数と、画像処理デバイスを備える。前記複数の画像取得デバイスはそれぞれ、前記所定のコースに沿った異なる固定位置に配置され、それにより、ある瞬間に２つの異なる画像取得デバイスが取り込んだ画像が、前記所定のコースの上を動く前記競技者又は前記競技器具の異なる視点を表す。前記複数の画像取得デバイスはそれぞれ、前記所定のコースに実質的に等価な空間の区域を表す画像をリアルタイムに取り込むための手段を備える。前記画像処理デバイスは、前記画像取得デバイスによってリアルタイムに取り込まれた画像を得ることと、複数の連続する瞬間の各瞬間について、ある画像取得デバイスが前記瞬間に取り込んだ部分画像を選択することと、前記選択された部分画像から、前記コースに沿って動く前記画像取得デバイスが取り込んだであろうものと同様のビデオシーケンスを再構成することとを行うよう構成されている。

【0012】

有利な点としては、本画像取込みシステムは、ビデオシーケンスの再構成において非常に融通がきくようにすることができ、さらに、本画像取得デバイスはコースに沿って固定されており、従来技術におけるように競技者に密接して動くことがないので、安全性及び事故に関する問題が回避される。

【0013】

本発明の実施形態による方法及びシステムの他の特徴は、従属請求項において記載される。

【0014】

特定の実施形態では、前記再構成されたビデオシーケンス中で、前記競技者又は前記競技器具と前記仮想センサとの相対速度が変化する。

【0015】

特定の実施形態では、前記画像取込み方法は、前記画像取込みシステムを設定する準備ステップを含む。前記準備ステップは、前記複数の画像取得デバイスを、前記所定のコースに沿って設置するステップであって、前記画像取得デバイスがそれぞれ、前記所定のコースに実質的に等価な空間の区域を撮影するようにし、且つ、ある瞬間に２つの異なる前記画像取得デバイスが取り込んだ前記画像が、前記所定のコースの上を動く前記競技者又は前記競技器具の異なる視点を表すようにするステップと、前記複数の画像取得デバイスがそれぞれ接続される画像処理デバイスを、前記複数の画像取得デバイスの相対位置のデータを用いてパラメータ化するステップとを含む。

【0016】

特定の実施形態では、前記ビデオシーケンスの２つの連続する瞬間の間の画像にジャンプカットが生じるのを回避するように、前記選択された部分画像を処理するステップをさらに含む

【0017】

このことは、例えばコースのみ（即ち、競技者又は競技器具なしに設定される）の画像に基づいて、画像取込みシステムを設定する時に計算される線形化関数を用いて行うことができる。特定の実施形態においては、この処理はさらに追跡アルゴリズムを使用してもよく、これにより、仮想センサと競技者との間の相対距離、又は、これら２つの要素の間の相対速度を固定することを可能にする。

【0018】

これに関連して、特定の実施形態では、前記画像取込みシステムの前記画像処理デバイスは、前記ビデオシーケンスの２つの連続する瞬間の間の画像にジャンプカットが生じるのを回避するために、前記選択された部分画像を処理するようにさらに構成される。

【0019】

特定の実施形態では、前記画像取込み方法は、前記画像取得デバイスが取り込んだ前記画像の光学的歪みを補正するステップをさらに含む。

【0020】

これに関連して、特定の実施形態では、前記画像処理デバイスは、前記画像取得デバイスが取り込んだ画像の光学的歪みを補正するようにさらに構成される。

【0021】

特定の実施形態では、前記画像取込み方法は、前記取り込まれた画像を、所定の期間の間、前記システムに格納するステップをさらに含み、これにより、前記格納された画像から、新たなステップである選択ステップと再構成ステップを後に適用することが可能になる。

【0022】

このことは、ビデオシーケンスを、例えば、特定のパラメータ（視角、速度、ズーム、フレーミングなど）を用いて過去の事象に戻すように、事後に再構成することを可能にする。

【0023】

特定の実施形態では、前記画像取込みシステムは、マンマシンインターフェースをさらに備える。 前記マンマシンインターフェースは、前記画像取得デバイスの全てを、これらの前記画像取得デバイスが取り込んだ画像と共に表示するように構成された表示手段を備える。

【0024】

特定の実施形態では、前記マンマシンインターフェースは、ある画像取得デバイスから別の画像取得デバイスへ切替えるように構成された切替え手段をさらに備える。前記切替え手段は、前記画像処理デバイスの処理対象を示す選択コマンドを生成するように、前記切替えを行う。

【0025】

特定の実施形態では、前記切替え手段は、前記マンマシンインターフェースを介して選択された部分画像の関数として、ある画像取得デバイスから別の画像取得デバイスへ切替えるように構成される。前記表示手段は、前記選択された部分画像の範囲を区切る信号伝達要素を表示するようにさらに構成される。

【0026】

本画像取込みシステムの利点、目的、特徴については、上記の画像取込み方法と同じである。

【0027】

特定の実施形態では、上記の画像取込み方法の種々のステップは、コンピュータプログラム命令によって決定される。

【0028】

従って、本発明は、データ媒体上のコンピュータプログラムにも関し、このコンピュータプログラムは、マイクロプロセッサで使用することができ、上記の画像取込み方法のステップを実施するために適切な命令を含む。

【0029】

このプログラムは、任意のプログラム言語を使用することができ、ソースコード、オブジェクトコード、又は、部分的にコンパイルされた形態などのソースコードとオブジェクトコードとの間の中間コードの形態、或いは任意の他の所望の形態とすることができる。

【0030】

本発明はさらに、マイクロプロセッサで読出し可能であり、且つ、上記のコンピュータプログラム命令を備える、データ媒体に関する。

【0031】

このデータ媒体は、プログラムを格納可能な任意の実体又はデバイスとすることができる。例えば、データ媒体は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：読み出し専用メモリ）、マイクロ回路ＲＯＭ等の記憶手段や、ハードディスク、フラッシュメモリ等の磁気記録手段を含むことができる。

【0032】

さらに、データ媒体は、無線通信又は他の手段によって電気的又は光学的ケーブルを介して転送可能な、電気的又は光学的信号などの伝送可能なデータ媒体でもよい。本発明によるプログラムは、特に、インターネット型のネットワークの格納プラットフォームからダウンロードしてもよい。

【0033】

さもなければ、データ媒体は、プログラムが組み込まれた集積回路であって、問題の方法を実行するため、又は実行中に用いられるのに適した回路としてもよい。

【0034】

上記のデータ媒体及びコンピュータプログラムは、それらが実施する本画像取込み方法に類似する特徴及び利点を有する。

【0035】

本発明の他の特徴及び利点は、添付の図面によって例証される以下の説明においてより明白となるであろう。また、ここに示す実施形態の例は、いかなる点においても限定するものではない。

【図面の簡単な説明】

【0036】

【図1】本発明のある特定の実施形態を使用可能な状況を、図式的に表現したものである。

【図2】本発明の特定の実施形態による、実時間における取込みのステップから生じる一連の画像の図式的表現である。

【図3】図２における一連の画像に基づいて部分画像を選択するステップの結果の図式的表現である。

【図4】本発明の特定の実施形態による画像取込み方法の一般的ステップを示す。

【図5】本発明の特定の実施形態による画像取込みシステムのための具体的なアーキテクチャの一例を示す。

【発明を実施するための形態】

【0037】

総じて、本発明は、仮想追跡を行うことを可能にし、画像取込みシステムのユーザ（通常はカメラオペレータ）がビデオチャネルにおいて仮想的にナビゲートすること、即ち、リアルタイムで視点を変えたり、例えば仮想センサが動く速度や方向を仮想的に変更したりすることを可能にする。

【0038】

本発明により、被写体（競技者又は競技器具等）を追跡すること（例えば被写体の動きに平行な追跡）によって得られるのと同様の画像を得ることが可能になる。更なる利点として、動く物体に対する仮想センサの相対速度を変えることができる。

【0039】

これにより、１本の同じビデオを撮像する間に、従来技術におけるよりも多数の異なる視点が得られることが期待できる。

【0040】

図１は、本発明の実施形態を実施可能な状況を、図式的に表現したものである。

【0041】

特に、本発明の実施形態に従う画像取込みシステムを設置可能な状況である。この画像取込みシステムは、図５を参照しながら詳しく説明する。

【0042】

この例においては、直線距離Ｄのシーン１００のコース（又はサーキット）を考える。競技者又は競技器具（ここではレーシングカー１０５）がこの所定のコース上を高速度で動く。本発明に従う画像取込みシステム１０２は、このコースに沿って設置される。

【0043】

この画像取込みシステム１０２は、特に、複数の広視野画像取得デバイス１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、１９５を備え、これらはそれぞれ、前記所定のコースに沿った異なる固定位置に配置される。本発明は図に示されるデバイスの数に限定されるものではなく、図中のデバイスは説明のために記載されたものにすぎない。

【0044】

ある特定の実施形態において、画像取得デバイスは、図に示すように、コースに沿って一定の間隔で配置される。しかし、これは必須ではなく、他の実施形態においてはそれらは不規則に配置される。

【0045】

画像取得デバイスの間の距離は、競技者若しくは競技器具の速度、又は、カバーするコースの長さ、又は、その両方、いずれかの関数として選択してもよい。

【0046】

各画像取得デバイスは、相対的に異なる視点でシーン１００を撮影することができる。特に、画像取得デバイスはそれぞれ、コースに近似的に対応する長さＤの区域を撮影する。

【0047】

各々の画像取得デバイスは、所定のコースに実質的に等価な空間の区域を表す画像を、リアルタイムで取込むための手段を有する。このため、画像取得デバイスは連続的に動作し、画像処理モジュール（図示せず）に接続されている。この画像処理モジュールが画像を連続的に格納し処理する。これらについては、後述の図を参照して後ほど説明する。ある特定の実施形態において、画像取得デバイスは、局部的に特定の処理（補正等）を実施し、処理モジュールは、他の処理を集中的に行う。また、必要な計算能力を有するある特定の画像取得デバイスが、例えば、他の画像取得デバイスのために、局部的に処理の一部を行うことも考えることができる。

【0048】

これらの画像取得デバイスは、魚眼レンズを装備したビデオカメラであることが好ましい。そのようなレンズは、焦点距離が比較的短いこと、それにより画角が大きいことという特徴があり、画角の大きさは、対角線で約１８０°まで又は全周画像も可能である。他のレンズとしては、１８０°より大きい画角を有するもので、典型的な例としてはＩＭＡＸ画像形式（ＩＭＡＸは商標）を用いる用途に使用されるものが考えられる。

【0049】

本発明においては、ある瞬間に２つの異なる画像取得デバイスによって取り込まれる画像がコースに沿って動くレーシングカー１０５の異なる視点を示すように、各画像取得デバイスは配置される。

【0050】

この例では、レーシングカー１０５は、コース上において、瞬間ｔ_１にはマーカＴ_１のレベルに、瞬間ｔ_２にはマーカＴ_２のレベルに、瞬間ｔ_３にはマーカＴ_３のレベルに、瞬間ｔ_４にはマーカＴ_４のレベルに、瞬間ｔ_５にはマーカＴ_５のレベルにあると仮定する。

【0051】

従って、図２に示すように、画像取得デバイスＣ_１（１１０）、Ｃ_２（１４０）、Ｃ_３（１７０）及びＣ_４（１９５）は、瞬間ｔ_１において、コースに沿ったレーシングカー１０５の、それぞれ２１０、２１２、２１４、２１６の番号を付した４つの異なる視界を取り込む。

【0052】

画像取得デバイスＣ_１（コースの開始点）、Ｃ_２（コースの第１の半分点）、Ｃ_３（コースの第２の半分点）、Ｃ_４（コースの終了点）の、コース上の各位置により、ある瞬間において、レーシングカー１０５を、画像取得デバイスＣ_１により後方から見られ、画像取得デバイスＣ_２及びＣ_３により側方から見られ、画像取得デバイスＣ_４により前方から見られる。従って、コースが直線的であると仮定すると、画像取得デバイスＣ_１、Ｃ_２、Ｃ_３及びＣ_４は、それぞれ、コースの全体を撮影し、各々はその視界内にコースの開始点、中間点及び終了点を有する。

【0053】

瞬間ｔ_１の後の瞬間ｔ_２において、画像取得デバイスＣ_１（１１０）、Ｃ_２（１４０）、Ｃ_３（１７０）及びＣ_４（１９５）は、コースに沿ったレーシングカー１０５の、それぞれ２２０、２２２、２２４、２２６の番号を付した４つの（他の）異なる視界を取り込む。

【0054】

同様に、瞬間ｔ_２の後の瞬間ｔ_３において、画像取得デバイスＣ_１（１１０）、Ｃ_２（１４０）、Ｃ_３（１７０）及びＣ_４（１９５）は、コースに沿ったレーシングカー１０５の、それぞれ２３０、２３２、２３４、２３６の番号を付した４つの（他の）異なる視界を取り込む。瞬間ｔ_３の後の瞬間ｔ_４において、画像取得デバイスＣ_１（１１０）、Ｃ_２（１４０）、Ｃ_３（１７０）及びＣ_４（１９５）は、コースに沿ったレーシングカー１０５の、それぞれ２４０、２４２、２４４、２４６の番号を付した４つの（他の）異なる視界を取り込む。瞬間ｔ_４の後の瞬間ｔ_５において、画像取得デバイスＣ_１（１１０）、Ｃ_２（１４０）、Ｃ_３（１７０）及びＣ_４（１９５）は、コースに沿ったレーシングカー１０５の、それぞれ２５０、２５２、２５４、２５６の番号を付した４つの（他の）異なる視界を取り込む。

【0055】

従って、本発明による画像取込みシステムによれば、ある瞬間について、同一の物体の視角を幾つか得ることが可能となる。これは、従来技術の追跡システムでは不可能である。

【0056】

図３に示すように、様々な画像取得デバイスから生成される入手可能な画像から、ユーザによって選択される速度及び視角のパラメータに従って、仮想的に前記コースに沿って動くダミーセンサ（仮想センサ）が取り込むビデオシーケンスを再構成するために、本発明による画像取込みシステムによれば、視角及び所望の部分画像をリアルタイムに選択することが可能である。

【0057】

よって、例えば、瞬間ｔ_１においては、画像取得デバイスＣ_１（１１０）が取り込んだ画像２１０の部分画像３１０が選択される。一方、瞬間ｔ_２においては、画像取得デバイスＣ_２（１４０）が取り込んだ画像２２２の部分画像３２２が選択される。これら２つの画像取得デバイスは同じコースの異なる視点を有している。瞬間ｔ_３及びｔ_４においては、画像取得デバイスＣ_３（１７０）が連続して取り込んだ画像２３４及び２４４の部分画像３３４及び３４４が選択される。このように、これらの画像は同じ視点から取得される。瞬間ｔ_５においては、画像取得デバイスＣ_４が取り込んだ画像２５６の部分画像３５６が選択され、視点はまた異なるものとなる。

【0058】

次に、選択された部分画像は、対応する瞬間の関数として順番に並べられ、ビデオシーケンスを形成する。選択された部分画像から再構成されたこのビデオシーケンスは、このように幾つかの視角を組み合わせたものであり、レーシングカー１０５の速度をある程度忠実に表現可能であるため観客に対する視覚効果が従来技術よりもさらに魅力的になっており、同時に、従来の画像取込みシステムに関連する安全性及び信頼性の問題は回避されている。さらに、ある瞬間において表現される視点を事後に選択することができる。

【0059】

図４は、本発明の特定の実施形態による画像取込み方法の一例の一般的ステップを示す。これらのステップは、例えば、図１を参照して説明したように、画像取込みシステム内で通常は実施される。

【0060】

準備ステップ４００において、競技者又はレーシングカー１０５のような競技器具が高速で動くコースに沿って、画像取込みシステム１０２が設置される。

【0061】

実際には、このステップは、コースに沿って画像取得デバイスを設定することを含み、この設定することは、各々の画像取得デバイスが前記コースと実質的に同等の空間の区域を撮影するようになされ、また、２つの異なる画像取得デバイスによってある瞬間に取り込まれる画像が、コースに沿って動く競技者又は競技器具の異なる視点を表すようになされる。このように、画像取得デバイスは、視野の重なりを与えてコースの長さＤが連続的にカバーされるように配置される。

【0062】

次に、画像取得デバイスを画像処理デバイスに接続する。この画像処理デバイスは、設置した画像取得デバイスの構成データを用いて、パラメータ化される。これらの構成データには、例えば、各画像取得デバイスの相対的位置、同期及び校正データ（光度、色温度、フレーミング、歪み等）が含まれる。

【0063】

換言すれば、これらのデータは、取り込まれたコースの画像が「一致する」ように、種々の画像取得デバイスをパラメータ化することを可能にする。これは、車両又は人のような要素の存在のない画像、即ちコースのみの画像を取り込むことによって行うことができる。

【0064】

よって、パラメータ化は、画像取得デバイスの各対に対する一連の基準点（登録マーク）を検知するステップを含んでもよい。これにより、ある画像から別の画像への遷移を滑らかにする操作を容易にするために、且つ、異なるセンサから生成されることもあるビデオシーケンスの連続する画像に、ジャンプカットが生じるのを回避する（後述のステップ４４０を参照）ために、線形化関数を予備計算することを可能にする。換言すれば、アルゴリズムを取り込み済みのコースのみの画像に適用して、種々の画像取得デバイスから生じる画像を補正してそれらの間のコヒーレンス度を確保するようにしてもよい。例えば、コースの水平度が全ての画像取得デバイスに関して同じであることを確保する。実際には、種々の画像取得デバイスが取り込んだコースのみの画像と、コースの中央点に配置された基準画像取得デバイスが取り込んだコースのみの画像とを比較すること等によって、前述の水平度の確保を行ってもよい。ある実施形態では、このパラメータ化は必ずデジタル式である。

【0065】

これらのデータは、種々の画像取得デバイスから生じるビデオストリームを処理するために重要であるが、これについては後述する。

【0066】

その後、各々の画像取得デバイスは、観測中のコースと実質的に等価な上記の区域を表す画像を、リアルタイムに即ち連続的に取り込む。

【0067】

提示した本方法の以降のステップは、各々の瞬間ｔ_ｉにおいて反復的に行われる。

【0068】

ステップ４１０の間、画像処理デバイスは、対象瞬間ｔ_ｉにおいて種々の画像取得デバイスが取り込んだ画像を再生する。

【0069】

例えば、ステップ４１０は、瞬間ｔ_ｉ＝ｔ_１ならば、図２に示す画像２１０、２１２、２１４、２１６を再生するとともに、他の全ての画像取得デバイスが瞬間ｔ_１において取り込んだ画像を再生する。即ち、ここでは、システム１０２の全ての画像取得デバイス１１０〜１９５が取り込んだ画像を再生する。

【0070】

実際には、画像取得デバイスが取り込んだ画像の光学的歪みを補正するステップを行ってもよい。事実、上記のように、画像取得デバイスは魚眼レンズを装備することが好ましく、この魚眼レンズからは円形の画像が得られるため、その平坦化により、特に画像の周辺部において、著しい光学的歪みが発生する。

【0071】

そのような画像にマッピングアルゴリズムを適用してもよい。このアルゴリズムには、例えば、補正対象の画像用の目標フォーマットを定めることと、目標基準内にあるピクセルの座標を、ソース画像（つまり補正対象の画像）内のこれらのピクセルの座標の関数として決定することとが含まれる。このような補正を行うためのアルゴリズムが多数存在する。

【0072】

ステップ４２０において、ある画像取得デバイス（Ｃ_ｉとする）が選択される。例えば、瞬間ｔ_ｉ＝ｔ_１においては、図１に示す画像取得デバイス１１０を選択することができる。

【0073】

この選択は、２つの手法で行うことができる。１つは、準備段階で又は本方法の工程においてオペレータ（例えばカメラオペレータ）が予め決定したパラメータの関数として自動的に行うものである。もう１つは、例えば、システム１０２のマンマシンインターフェース（ペダル、レバー、ボタン、タッチスクリーン等）を介して、オペレータがリアルタイムに行うものである。

【0074】

例えば、オペレータによって予め決められたパラメータは、生成される仮想センサと観測される車両１０５との相対速度としてもよい。こうすると、ある瞬間について画像取得デバイスを選択することは、システムによって自動的に行われ、再構成されるビデオシーケンス中でこの相対速度を考慮するようになされる。

【0075】

特定の一実施形態において、構図を決める文法（「前へ移動」、「後ろへ移動」、「左右に移動」、「ロングショット」、「ミディアムショット」、「クローズアップ」等当業者には周知のもの）を定める所定の選択スクリプトが実施される。これらの実行については、オペレータが、ボタン又はペダルを押す等のマンマシンインターフェースを介して、始動させる。このようなスクリプトは、ビデオシーケンス用に実装してもよく、即ち、幾つか又は全ての考えうる繰り返し用に実装してもよい。これらのスクリプトは、例えば、システム１０２の設定の準備ステップ４００の時に、画像処理デバイス内にロードされる。そして、オペレータは、生成オプションの管理という形式で、自身の創造性を表現する。

【0076】

別の特定の実施形態においては、マンマシンインターフェースが、全ての画像取得デバイスを、それらの画像取得デバイスが取り込んだ画像と共に表示するように構成された表示手段（タッチスクリーン等）を備えている。この場合、選択することは、オペレータが手動で行ってもよい。また、選択することは、切替え手段によってある画像取得デバイスから別の画像取得デバイスへと連続的にナビゲートすることと、及び、最終的に選択された画像取得デバイス上で停止させることより構成されてもよく、切替え手段は、画像処理デバイスの処理対象を示す選択コマンドを生成する。

【0077】

よって、このモードでは、オペレータは、ある画像取得デバイスを、それが取り込んだ画像の外観の関数として、直接に選択する。この画像取込みモードの特別に興味深い点は、その制御の点にあり、且つ、人間のオペレータに与えられる創造的な制御の点にある。特に、オペレータは、ビデオシーケンスについて幾つかの点を制御することができ、特に動く物体（競技者又は競技器具）に対する仮想センサの動きの相対速度のほかに、構図、ズーム、視角、動きの方向を制御することによってこれを行うことができる。

【0078】

ステップ４３０の過程において、選択された画像取得デバイスＣ_ｉが瞬間ｔ_ｉに撮影した部分画像又は画像の一部が選択される。

【0079】

例えば、瞬間ｔ_ｉ＝ｔ_１では、図３に示す部分画像３１０を選択することができる。

【0080】

各実施形態において、オペレータは、マンマシンインターフェースを介して部分画像を選択することができ、前述の切替え手段は、選択された部分画像の関数として切替えを行うよう構成されている。この場合、表示手段は、さらに、選択された部分画像（例えば、図３中の３１０）の範囲を区切る信号伝達要素を表示するように構成される。

【0081】

従って、表示デバイスにより、システム１０２のユーザ（カメラオペレータ等）は、自分でズームイン又はズームアウトしたフレームに定められる部分を選択するために、選択された画像取得デバイスが取り込んだ画像内をナビゲートすることができる。これを行うために、ユーザは、表示手段（スクリーン等）が表示する画像上で、予備のフレームを例えば左から右や頂部から底部へ動かせる可能性を有する。

【0082】

特別な一例では、ある瞬間に撮影された部分画像が、前述の観測される車両１０５と実現された仮想センサとの相対速度の関数として、自動的に選択されてもよい。従って、ある瞬間における部分画像を選択することは、システムによって自動的に行われ、再構成されるビデオシーケンス中でこの相対速度を考慮するようになされる。

【0083】

オプションのステップ４４０中に、ビデオシーケンスの２つの連続する瞬間（例えば、ｔ_ｉ及びｔ_ｉ-１）の間の画像にジャンプカットが生じるのを回避するように、選択された部分画像が処理される。この線形化処理により、ビデオシーケンスの異なる画像の間での滑らかな移行が確実にできる。

【0084】

このために、何種類かの処理を行い、撮影された競技者又は競技器具の速度の印象をよりよくするようにしてもよい。この処理には、例えば、前述の準備ステップにおいて予め計算された線形化関数を用いてもよい。その目的は、２つの選択された部分画像間の移行を滑らかにすることである。一例として、これにより、同じ水平物が全ての画像取得デバイスで共有されることを確実にできる。

【0085】

部分画像間の移行を改善するためには、連続的な繰り返しを何回か行う間にオペレータがマンマシンインターフェースで行う行為から生ずる選択コマンドについて、その記録を使用すること等が可能である。例として、これらのコマンドが溝に沿ったレバーの移動から生じる場合は、選択された部分画像の間の振動又は他の動きを回避するために、例えば、これらのコマンドの単純平均を取ること、又は、これらのコマンド上にローパスフィルターを適用することが可能である。この場合、連続的な繰り返しを何回か行うことで平滑化される。

【0086】

別の例では、競技者又は競技器具の検知及び追跡のために追跡アルゴリズムを使用してもよく、これにより、オペレータが視野内の車両に対して仮想センサを制御することができる。

【0087】

実際には、追跡することにより、競技者（又は競技器具）を追うことができ、これにより、仮想センサと間の相対距離又は相対速度を固定して仮想センサを制御すること（仮想センサを観測対象の被写体に「留めること」という構想）が可能となる。

【0088】

優位性のある点としては、競技者又は競技器具の動きの速度が、画像取得デバイスの間隔の関数として十分な数の画像を取り込むことが可能な速度である場合、即ち、例えば従来の魚眼カメラに対して２５画像／ｓを取り込むことが可能である場合、追跡することにより、時間的なジャンプカットが回避可能となる。

【0089】

そして、次の瞬間（４５０）において、ステップ４１０〜４４０が繰り返され、前記コースに沿って動く画像取得デバイスが取り込んだであろうものと同様のビデオシーケンスを、異なる繰り返しの間に選択される部分画像から段階的に再構成（４４５）することが可能にするようになされる。

【0090】

従って、例えば、上記のステップを何回か繰り返すことから生じるビデオシーケンスが、図３に示す部分画像３１０、３２２、３３４、３４４、３５６により構成されてもよい。

【0091】

部分画像がそこから選択されるコースに沿って各画像取得デバイスが配置されているが、この画像取得デバイス間の距離に応じて、再構成されたビデオシーケンス中で、競技者又は競技器具と仮想センサとの相対速度を、補間を必要としなくても変えることができる。換言すれば、距離が離れている又は近くにある画像取得デバイスが取り込んだ部分画像を選択することにより、ビデオシーケンス内の速度の印象を変えることが可能である。従って、部分画像が選択される画像取得デバイスの間の距離が大きいほど、速度の増加が大きくなる。これに対応して、コース上の画像取得デバイスの数が多いほど、各画像取得デバイスは互いにより近くなり位置することになり、相対速度の印象が強くなる。

【0092】

ある実施形態において、画像取得デバイスが取り込んだ画像を、所定の期間の間、システムのメモリに保持し、これにより、オペレータがビデオシーケンスを事後に再構成することが可能となり、例えば、特定のパラメータ（視角、速度、ズーム、フレーミング等）により過去の行為に戻ることを可能となる。例えば、所定の期間は数分から１０分以上とすることができる。これを行うために使用されるバッファは、この所定の期間の最後に、格納されたデータを置き換えることができる。この所定の期間については、オペレータが選択してもよく、又は、システムの設備により初期設定で与えられてもよい。

【0093】

図５は、本発明の実施形態による画像取込みシステムを構成する単数の要素又は複数の要素に関する具体的なアーキテクチャの一例を示しており、例えば、図１を参照して述べたものである。

【0094】

この例において、アーキテクチャ５００は通信バス５０５を備える。この通信バス５０５に、処理ユニット又はマイクロプロセッサ（ＣＰＵ）５１０と、１つ又は複数の不揮発性メモリ（ＲＯＭ）５２０と、ランダムアクセスメモリ又はキャッシュメモリ又は揮発性メモリ（ＲＡＭ）５３０と、マンマシンインターフェース（ＨＭＩ）５４０と、入力／出力インタフェース（Ｉ／Ｏ）５５０と、通信インタフェース５６０と、が接続される。
処理ユニット等５１０については、指定されたＣＰＵ５１０（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理ユニット）である。不揮発性メモリ５２０は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：読み出し専用メモリ）であって、本発明による画像取込み方法を実施するための命令を含むコンピュータプログラムを備えてもよい。また、この不揮発性メモリは、またＥＥＰＲＯＭメモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：電気的消去可能読み出し専用メモリ）、又は、フラッシュメモリとすることができる。この不揮発性メモリにより、所定の期間の間、画像取込みシステムの画像取得デバイスが取り込んだ画像を一時的に保存することができ、それにより、オペレータがビデオシーケンスを事後に再構成するのが可能になる。ランダムアクセスメモリ等５３０は、例えば、ＲＡＭ５３０（ＲＡＭ：Ｒａｎｄｏｍ-Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ランダムアクセスメモリ）であって、上記のプログラムの実行中に生成され及び修正される変数及びパラメータを記録するのに適したレジスタを備える。本発明を実行する間、不揮発性メモリ（例えば、ＥＥＰＲＯＭ又はフラッシュ）内に保存されたプログラムコード命令が処理ユニット（ＣＰＵ）によって実行されるようにＲＡＭにロードされる。マンマシンインターフェース５４０は、例えば、スクリーン、キーボード、マウス、レバー（例えば、ジョイスティック又はステアリングホイール）、１つ又は複数のペダル、タッチスクリーン、リモコン装置等である。このＩ／Ｏインタフェースにより、ユーザ（例えば、カメラオペレータ）は、グラフィカルインタフェースを介して本画像取込み方法を実行する際に、本画像取込みシステムとやり取りすることができる。入力／出力インタフェース５５０は、本画像取込みシステムの画像取得デバイス（図示せず）及びオプションとして１つ又は複数の周辺機器、例えば投光器を接続するためのものである。通信インタフェース５６０は、例えば、通信ネットワークを介してデータを送信及び受信するのに適したものである。

【0095】

通信バス５０５により、本画像取込みシステムが備える又は本システムに接続される種々の構成要素の間の通信及び相互運用が可能とする。通信バスの例は限定的されておらず、具体的には、処理ユニット５１０がシステムの任意の要素に、直接に又はこの画像取込みシステムの別の要素を介して、命令を伝えることができる。

【0096】

本発明により、画像取込みシステムの処理ユニット５１０は、以下のように構成された画像処理モジュールを備える。入力／出力インタフェースＩ／Ｏ５５０を介して、画像取得デバイス１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、１９５によってリアルタイムに取り込まれた画像を得ることと、複数の連続する瞬間の各瞬間について、ある画像取得デバイスが前記瞬間に取り込んだ部分画像を選択することと、前記選択された部分画像から、コースに沿って動く画像取得デバイスが取り込んだであろうものと同様のビデオシーケンスを再構成することを行うように、前記画像処理モジュールは構成されている。

【0097】

ある実施形態では、画像処理モジュールは、具体的には、ビデオシーケンスの２つの連続する瞬間の間の画像にジャンプカットが生じるのを回避するように、選択された部分画像を処理するように構成される。従って、このモジュールは、さらに、画像取得デバイスが取り込んだ画像の光学的歪みを補正するように構成することができる。

【0098】

ある実施形態では、マンマシンインターフェース５４０は、画像取得デバイス１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、１９５の全てを、これらの画像取得デバイスが取り込んだ画像と共に表示するように構成される表示手段を備える。マンマシンインターフェース５４０は、ある画像取得デバイスから別の画像取得デバイスへ切り替えるために構成された切替え手段をさら備えてもよく、画像処理モジュールの処理対象を示す選択コマンドを生成するように切り替えを行う。

【0099】

これらの切替え手段は、マンマシンインターフェースを介して選択された部分画像の関数として、ある画像取得デバイスから別の画像取得デバイスへ切り替えるように構成することができ、表示手段は、図３の破線で示すように、選択された部分画像の範囲を区切る信号伝達要素を表示することができる。

【0100】

ある実施形態では、マンマシンインターフェースを数人のオペレータが同時に取り扱ってもよく、又は、画像取込みシステムは、マンマシンインターフェースを幾つか備えてもよい。この場合、あるコマンドが他のコマンドよりも優先されるように優先順序を設定してもよい。

【0101】

ある実施形態では、特定のステップを画像取得デバイス内で実行してもよく、これに対し、他のステップをシステム５００で実行してもよい。

【0102】

当然のことであるが、特定の必要性を満たすために、当業者は、上記の説明に変更を加えることができるであろう。

【0103】

上記の例は、本発明の実施形態に過ぎず、本発明はそれらに限定されない。

【図1】

【図2】

【図3】

【図4】

【図5】