特表 2023-528428 ビデオ解析システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-04

(54)【発明の名称】ビデオ解析システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230627BHJP

   G06T 7/20 20170101ALI20230627BHJP

【ＦＩ】

G06T7/00 350B

G06T7/20

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022574282

(86)(22)【出願日】2021-06-01

(85)【翻訳文提出日】2023-01-25

(86)【国際出願番号】 EP2021064685

(87)【国際公開番号】W WO2021245088

(87)【国際公開日】2021-12-09

(31)【優先権主張番号】20382473.5

(32)【優先日】2020-06-02

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】522468560

【氏名又は名称】アワイト アーティフィシャル インテリジェンス，エス．エル．（アワイト）

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】フィゲラス ジュニエント，アンドリュー

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096BA02

5L096BA18

5L096CA02

5L096HA13

5L096JA28

5L096KA04

5L096KA15

(57)【要約】

本発明は、少なくとも１つのセンサによって取り込まれた少なくとも１つのひと続きの画像フレームからの少なくとも１つの画像フレーム（５３１）からデータをサンプリングし、解析するためのコンピュータ実装される方法に関し、前記方法は：少なくとも１つのサンプリング・モデル（５０１）を定義することであって、それにおいて前記サンプリング・モデル（５０１）が仮想３Ｄベクトル空間（５２１）内に定義され、かつ前記仮想３Ｄベクトル空間（５２１）内の１つ以上のあらかじめ決定済みの形状（５０５）に基づくことと、前記少なくとも１つのひと続きの画像フレームからの前記少なくとも１つの画像フレーム（５３１）の少なくとも１つの部分に前記少なくとも１つのサンプリング・モデル（５０１）を適用することであって、それにおいて前記少なくとも１つのサンプリング・モデルを適用することが、データが抽出されることになる前記少なくとも１つの画像フレーム（５３１）の少なくとも１つのエリア（５２９）を定義することと、前記サンプリング・モデル（５０１）によって定義された前記少なくとも１つの画像フレーム（５３１）の前記少なくとも１つのエリア（５２９）からデータを抽出すること（４２３）と、前記抽出したデータを解析することと、を包含する。
【選択図】 図５ａ

【特許請求の範囲】

【請求項1】

少なくとも１つのセンサによって取り込まれた少なくとも１つのひと続きの画像フレームからの少なくとも１つの画像フレーム（５３１）からデータをサンプリングし、解析するためのコンピュータ実装される方法であって、
少なくとも１つのサンプリング・モデル（５０１）を定義することであって、それにおいて前記サンプリング・モデル（５０１）が仮想３Ｄベクトル空間（５２１）内に定義され、かつ前記仮想３Ｄベクトル空間（５２１）内の１つ以上のあらかじめ決定済みの形状（５０５）に基づくことと、
前記少なくとも１つのひと続きの画像フレームからの前記少なくとも１つの画像フレーム（５３１）の少なくとも１つの部分に前記少なくとも１つのサンプリング・モデル（５０１）を適用することであって、それにおいて前記少なくとも１つのサンプリング・モデルを適用することが、データが抽出されることになる前記少なくとも１つの画像フレーム（５３１）の少なくとも１つのエリア（５２９）を定義することと、
前記サンプリング・モデル（５０１）によって定義された前記少なくとも１つの画像フレーム（５３１）の前記少なくとも１つのエリア（５２９）からデータを抽出すること（４２３）と、
前記抽出したデータを解析することと、
を包含する、コンピュータ実装される方法。

【請求項2】

前記仮想３Ｄベクトル空間（５２１，２１２，３１０）内の前記１つ以上のあらかじめ決定済みの形状は、形状：３Ｄ形状（２００，５０５，５０６，５０７）、２Ｄ形状（３０１，３０２，３０３，３０４）、１Ｄ形状、または０Ｄ形状のうちの少なくとも１つから選択される、
請求項１に記載の方法。

【請求項3】

前記３Ｄ形状（２００，５０５，５０６，５０７）が、平行六面体および／または多面体および／または球および／または円筒であるか、かつ／または、前記２Ｄ形状が、平面または湾曲表面および／または平行四辺形（３０１，３０２，３０３，３０４）であるか、かつ／または、前記１Ｄ形状が、線分であるか、かつ／または、前記０Ｄ形状が、点である、請求項１または２に記載の方法。

【請求項4】

前記少なくとも１つのひと続きの画像フレームからの前記少なくとも１つの画像フレーム（５３１）の前記少なくとも１つの部分に前記少なくとも１つのサンプリング・モデル（５０１）を適用することは、前記少なくとも１つのサンプリング・モデル（５０１）と、前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像フレーム（５３１）内の１つ以上の基準点とを相関させることを包含する、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記相関させることは、さらに、前記少なくとも１つのサンプリング・モデル（４１３）の１つ以上の点と、前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像フレーム内の前記１つ以上の基準点との間におけるマッピング変換（４１７）、たとえば平行投影の実行を包含する、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記サンプリング・モデル（２１０）が基づく仮想３Ｄベクトル空間（２１２）内の前記形状（２００）は、前記形状（２００）を構成する１つ以上の要素またはブロック（２０８）に分割され、特に、それにおいて前記サンプリング・モデル（２１０）が基づく前記仮想３Ｄベクトル空間（２１２）内の前記形状（２００）は、それの幾何学的寸法の一部または全部が均等に、または不均等に、前記形状（２００）を構成する１つ以上の要素またはブロック（２０８）に分割される、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記サンプリング・モデル（４１３）が適用された前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像フレームの前記少なくとも１つの部分からデータを抽出すること（４２３）は、前記少なくとも１つの画像の前記少なくとも１つの部分に適用された前記サンプリング・モデルの形状の中に含まれているか、またはそれによってカバーされている画像フレーム・エリア（４２１，４２２）内の画像フレーム・ピクセルからデータを抽出することと、前記抽出したデータを配列、たとえば多次元配列（４２４，４２５）内に保存することと、を包含する、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記少なくとも１つの画像の前記少なくとも１つの部分に適用された前記サンプリング・モデルの形状の要素またはブロック（４２０）の中に含まれているか、またはそれによってカバーされる画像フレーム・エリア（４２１，４２２）内にある画像フレーム・ピクセルからデータを抽出することと、前記抽出したデータを少なくとも１つの配列、たとえば多次元配列（４２４，４２５）内にストアすることと、を包含する、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記同一のサンプリング・モデル（４１３）が、前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像フレームの異なる部分に対して適用されるか、かつ／またはそれにおいて、前記同一のサンプリング・モデルが、前記少なくとも１つのひと続きの画像フレームの複数の画像に対して適用されるか、またはそれにおいて、前記同一のサンプリング・モデルが、前記少なくとも１つのひと続きの画像フレームのすべての前記画像に対して適用される、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記サンプリング・モデルが適用された前記少なくとも１つの画像フレーム（４１２）の前記少なくとも１つの部分からのデータの前記抽出（４２３）は、前記データの変換を包含する、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記サンプリング・モデルが適用される前記少なくとも１つの画像フレーム（４１２）、または前記サンプリング・モデルが適用される前記少なくとも１つの画像フレームの前記少なくとも１つの部分は、前記データの抽出の前に前処理を受ける、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記抽出したデータを解析することは、
前記抽出したデータを解析して所望のパターンを検出することであって、前記パターンが、前記少なくとも１つのセンサによって取り込まれた前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像フレームの前記少なくとも１つの部分内に表現された現実の３Ｄシーン（４１０，５０８，５２７）内の物体および／または対象者のあらかじめ決定済みの状況および／または動きおよび／または挙動および／または活動、たとえば管理ゲートにおける欺瞞的なアクセスを包含することが可能であるとすることと、前記パターンの検出時に通知またはアラームを提供すること、および／または、前記抽出したデータを機械学習システムのための入力として使用し、前記機械学習システムを所望のパターンの前記検出のためにトレーニングすることであって、前記パターンが、前記少なくとも１つのセンサによって取り込まれた前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像フレームの前記少なくとも１つの部分内に表現された現実の３Ｄシーン（４１０，５０８，５２７）内の物体および／または対象者のあらかじめ決定済みの状況および／または動きおよび／または挙動および／または活動、たとえば管理ゲートにおける欺瞞的なアクセスを包含することが可能であるとすること、
および／または、
前記抽出したデータを、所望のパターンを検出するためのトレーニング済み機械学習システムのための入力として使用することであって、前記パターンが、前記少なくとも１つのセンサによって取り込まれた前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像の前記少なくとも１つの部分内に表現された現実の３Ｄシーン（４１０，５０８，５２７）内の物体および／または対象者のあらかじめ決定済みの状況および／または動きおよび／または挙動および／または活動、たとえば管理ゲートにおける欺瞞的なアクセスを包含することが可能であるとすることと、前記パターンの検出時に通知またはアラームを提供すること、を包含する、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記少なくとも１つのひと続きの画像フレームからの前記少なくとも１つの画像フレームの少なくとも１つの部分に前記少なくとも１つのサンプリング・モデルを適用することは、前記少なくとも１つのひと続きの画像フレームから画像フレームを取り込む間における前記少なくとも１つのセンサの動きを考慮に入れるか、かつ／または前記方法が、画像フレームを取り込むための異なる視点を伴う複数のセンサによって撮影された複数の異なるひと続きの画像フレームからの画像フレームからデータをサンプリングし、解析することと、前記複数のセンサによって獲得された画像フレームに対して前記少なくとも１つのサンプリング・モデルを適用するとき、前記複数のセンサの前記異なる視点を考慮に入れることと、を包含する、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに対して先行するいずれかの請求項に記載の方法を実行することを命令するインストラクションがストアされた１つ以上のコンピュータ可読ストレージ媒体。

【請求項15】

画像フレームを取り込むために構成された少なくとも１つのセンサと、
前記少なくとも１つのセンサによって取り込まれた画像フレームからデータをサンプリングし、解析するための、先行するいずれかの方法の請求項に記載される方法を実行するべく構成された１つ以上のプロセッサを包含する少なくとも１つのコンピューティング・システムと、を包含する、ビデオ解析システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特許請求の範囲の請求項１のプリアンブルに指定されているとおりのタイプの方法と、特許請求の範囲の請求項１４のプリアンブルに指定されているとおりのストレージ媒体と、特許請求の範囲の請求項１５のプリアンブルに指定されているとおりのシステムに関する。

【背景技術】

【0002】

画像および／またはビデオ解析システムは、しばしば、挙動の特定の状況、パターン、動き、活動の発生を検出し、注意喚起するために、関心のあるシーン、場所、物体および／または対象者、人々もしくは群衆の調査または監視に使用される。以下においては、挙動の前記特定の、または分類可能な状況、パターン、動き、活動等の検出は画像および／またはビデオ解析システムによって検出されるべき問題、またはとりわけ単純に、検出問題と呼ぶことがある。

【0003】

たとえば、画像および／またはビデオ解析システムは、取り込み済み画像および／またはビデオ・データを、許可を有する者の後ろにぴったりついて管理ゲートまたはドアを通り抜けたり、あるいはその同伴者として通り抜けたりすることといった欺瞞的または不法なアクセス事象を検出するために使用することができ、その種の欺瞞的なアクセスの代表的な例としては、たとえば１人以上の対象者または人が、管理ゲート、たとえば地下鉄の駅の改札機の通過を、直前の対象者または人が有効に通過した後の改札機ドアの安全上の遅延を利用して試みる場合が挙げられ、別の例は、対象者が改札機を飛び越えることである。その種の不法アクセス事象が、ほかのアクセス管理ゲート、たとえば三脚回転式改札口の場合には、より多様なものとなることが可能であり、欺瞞の態様としては、ただ乗りを企む者が回転式改札口を飛び越えること、それの下をくぐりぬけること、別の乗客とともに回転式改札口の同一の回転内で通過すること（一般に２×１と呼ばれる態様）、またはいくつかの回転式改札口にある移動許容量（通常、入口および出口両方の通路のために設計されたものに存在する）を使用して、三脚回転式改札口の上側のアームを順逆に揺すり、料金の検証を伴うことなく有料ゾーンに入ることを挙げることができる。

【0004】

しかしながら、特に、たとえば複数の異なるカメラ（これらのカメラは、固定としてもよく、またはそれら自体が移動してもよい）によって取り込まれた異なるシーン、異なる視点、および異なるパースからより大量の画像およびビデオ・データを処理するときに、信頼性があり、正確、かつ迅速にリアルタイムの自動検出および注意喚起を提供することは、現行のシステムおよびテクニックにとっての取り組むべき問題として残されている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、本発明の目的は、画像および／またはビデオ・データを解析して特定の状況、パターン、動き、関心挙動の実行を検出するためのコンピュータ実装ビデオ解析方法およびビデオ解析システムを改善することとする。たとえば、これは、コンピュータ実装ビデオ解析方法およびビデオ解析システムを改善すること、特に、自動化、速度、効率、信頼性、および簡便性に関して改善することを包含することができる。

【課題を解決するための手段】

【0006】

本発明によれば、この目的は、請求項１に記載の方法と、請求項１４に記載のストレージ媒体と、請求項１５に記載のシステムによって達成される。有利な実施態様およびさらなる発展は、従属請求項の要旨である。

【0007】

画像および／またはビデオ・データ内の所望の特定の、たとえば分類可能なパターンまたは問題を検出するための本発明に従ったコンピュータ実装される例示的なビデオ解析方法は、少なくとも１つのセンサによって取り込まれた少なくとも１つのひと続きの画像フレームからの少なくとも１つの画像フレームからデータをサンプリングし、解析するためのコンピュータ実装される方法を包含することができ、次に挙げるステップのうちの１つまたはいくつかまたは全部を包含することができる：
● 少なくとも１つのサンプリング・モデルを定義するステップであって、それにおいて前記サンプリング・モデルが３Ｄベクトル空間または仮想３Ｄベクトル空間内に定義され、かつ前記３Ｄベクトル空間または仮想３Ｄベクトル空間内の１つ以上のあらかじめ決定済みの形状に基づく、前記定義するステップと、
● 前記少なくとも１つのひと続きの画像フレームからの前記少なくとも１つの画像フレームの少なくとも１つの部分に前記少なくとも１つのサンプリング・モデルを適用するステップであって、それにおいて前記少なくとも１つのサンプリング・モデルを適用することが、データが抽出されることになる前記少なくとも１つの画像フレームの少なくとも１つのエリアを定義する、前記適用するステップと、
● 前記サンプリング・モデルによって定義された前記少なくとも１つの画像フレームの前記少なくとも１つのエリアからデータを抽出するステップと、
● 前記抽出したデータを解析するステップ。

【0008】

換言すれば、上に述べられている、少なくとも１つのセンサによって取り込まれた少なくとも１つのひと続きの画像フレームからの少なくとも１つの画像フレームからデータをサンプリングし、解析するための前記例示的なステップは、コンピュータ実装されるビデオ解析方法またはビデオ解析システム、たとえば問題を検出するために構成されたビデオ解析システムにおいて使用することができる。

【0009】

ひと続きの画像フレームまたは画像フレームのシーケンスは、とりわけ、ビデオ・ストリームとして、またはビデオ・ストリームから抽出されたひと続きの画像フレームまたは画像フレームのシーケンスとして理解することができ、それにおいて前記画像フレームは、センサによって取り込まれる。ここで言うセンサは、とりわけ、画像としての表現に適したデータを生成することが可能なデバイスとして理解されるものとする。カメラという用語は、とりわけ、すべてのその種のデバイスまたはセンサを参照するとして理解されるものとする。

【0010】

さらにまた、理解されるものとするが、画像または画像フレームは、たとえばデジタル・ピクセルの配列といったデジタル・フォーマットであるか／デジタル・フォーマットとすることが可能であるか、またはアナログ・フォーマットからデジタル・フォーマットへ変換済み／変換することが可能である。

【0011】

これにおいて、前記抽出したデータを解析するという表現は、取り込まれた関心のあるシーン、場所、物体および／または対象者、人々もしくは群衆の画像データおよび／またはビデオ・データ、すなわち前記少なくとも１つのセンサ、たとえばカメラによって取り込まれた前記少なくとも１つのひと続きの画像フレームからの前記少なくとも１つの画像フレームから抽出された前記データ内における所望の特定の、たとえばあらかじめ定義済みの、または分類可能な問題または関心状況、たとえば、挙動の特定の状況、パターン、動き、活動等の発生を検出するための前記サンプリング・モデルによって定義される前記少なくとも１つの画像フレームの前記少なくとも１つのエリアからの前記抽出したデータを解析すること、を包含するとして理解することが可能である。

【0012】

換言すれば、前記サンプリング・モデルによって定義された前記少なくとも１つの画像フレームの前記少なくとも１つのエリアからの前記抽出したデータは、前記例示的な関心のある状況または問題の前記解析および検出のための入力データとして役立てることが可能である。

【0013】

前記少なくとも１つのセンサによって取り込まれた前記少なくとも１つのひと続きの画像フレームからの前記少なくとも１つの画像フレームは、現実の物理的な３次元空間または３Ｄ空間において観察されるシーンからの画像データを表しているとして、またはそれを包含しているとして理解することが可能である。

【0014】

前記少なくとも１つの画像フレームの少なくとも１つの部分に前記少なくとも１つのサンプリング・モデルを適用する例示的なステップにおける適用という用語は、とりわけ、前記少なくとも１つの画像フレームの少なくとも１つの部分に対して前記少なくとも１つのサンプリング・モデルをマッピングまたは投影するステップを包含するとして理解することができる。

【0015】

この中で使用されている仮想３Ｄベクトル空間または３Ｄベクトル空間という用語は、とりわけ、前記少なくとも１つのセンサによって取り込まれた前記少なくとも１つの画像フレーム内の、またはそれから抽出されたデータにマッピングすることが可能な抽象的または数値的３次元ベクトル空間（１つ以上）として理解することが可能である。

【0016】

換言すれば、前記仮想３Ｄベクトル空間または３Ｄベクトル空間は、前記少なくとも１つのセンサによって画像フレーム内に取り込まれ、かつ観察される前記物理的な現実の３次元空間または３Ｄ空間の抽象的または数値的表現または近似を参照することが可能である。

【0017】

上に述べられているとおり、前記サンプリング・モデルは、３Ｄベクトル空間または仮想３Ｄベクトル空間内に定義することが可能であり、かつ前記３Ｄベクトル空間または仮想３Ｄベクトル空間内の１つ以上の、たとえばセットのあらかじめ決定済みの形状に基づくことが可能である。

【0018】

前記例示的な仮想３Ｄベクトル空間内のこれらの例示的な１つ以上のあらかじめ決定済みの形状は、３次元形状、すなわち３Ｄ形状、２次元形状、すなわち２Ｄ形状、１次元形状、すなわち１Ｄ形状、または０次元形状、すなわち０Ｄ形状のうちの少なくとも１つから選択することが可能である。

【0019】

これにおいて、３Ｄ形状は、３Ｄベクトル空間内において向き付けされ、かつ位置決めされるボリュームおよび表面を有することが可能であり、２Ｄ形状は、３Ｄベクトル空間内において向き付けされ、かつ位置決めされる表面を有することが可能であり、１Ｄ形状は、３Ｄベクトル空間内において向き付けされ、かつ位置決めされる空間的な延長または長さを有することが可能であり、０Ｄ形状は、３Ｄベクトル空間内において位置決めされる点、または点に類似する物体とすることが可能である。換言すれば、前記形状は、（仮想）３Ｄベクトル空間内において定義される向きおよび／または位置を有することが可能である。

【0020】

特に、たとえば、３Ｄ形状を、たとえば直方体を含む平行六面体、および／または多面体および／または球および／または部分球および／または円筒および／または部分円筒とすることが可能であり、かつ／または２Ｄ形状を、平面または湾曲表面および／または平行四辺形とすることが可能であり、かつ１Ｄ形状を、直線または曲線または真っ直ぐな、または曲った線分とすることが可能である。しかしながら、上に述べられているタイプとは異なるそのほかの３Ｄまたは２Ｄ形状も同様に、サンプリング・モデル内において使用することができることを強調しておく。

【0021】

３Ｄ形状としての平行六面体の、少なくとも１つのサンプリング・モデルの一部としての使用が可能であることは、以下に提供されるさらなる例からも明らかになろうが、とりわけ、最後に挙げられることとしてサンプリング・モデルの一部として前記３Ｄ形状（１つ以上）を使用する画像フレームからデータを抽出する演算の容易性に起因して、また多次元配列、たとえば３Ｄテンソルの形式で平行六面体を包含するサンプリング・モデルを使用する画像フレームから抽出されたデータをストアし、かつ処理する演算の容易性に起因して、解析されるべき前記画像フレームの強化された、より高速な処理を導くことが可能である。

【0022】

さらにまた、平行六面体は、たとえばゲート、ボックス、家屋、車両等の多数ある実生活の物体を、ビデオ解析によって検出されるべき問題／適用の殆どについて充分な精度を伴って近似するために適した多用途性のある形状として考えることが可能である。

【0023】

それに加えて、平行六面体は、むしろ容易に３つの空間ベクトルのセットを用いて定義され、それによって、サンプリング・モデル内において平行六面体が３Ｄ形状として使用されるとき、パラメータ化（すなわち、その種の形状のモデリング）を簡素化し、かつ演算効率を向上させる。

【0024】

３Ｄベクトル空間内において向き付けされ、位置決めされる好都合な２Ｄ形状を、たとえば平行四辺形とすることが可能である。この場合においても、２つの空間ベクトルを使用してその種の２Ｄ形状を定義することが可能な演算の容易性は、その種の２Ｄ形状を包含するサンプリング・モデルのパラメータ化および演算効率にとって有益となり得る。平行六面体について言えば、平行四辺形を使用する別の利点は、多数の実生活の物体、たとえば街路、広場、看板が矩形の物体であるか、または矩形によって妥当に良好に記述され、したがって、サンプリング・モデル内においてその種の２Ｄ形状によって高い精度での表現および近似が可能であることであり得る。

【0025】

３Ｄベクトル空間または仮想３Ｄベクトル空間内に定義され、かつ上に、およびここで述べられているステップに従って使用され、適用されることが可能な前記少なくとも１つのサンプリング・モデルは、（仮想）３Ｄベクトル空間内に定義された、上に識別されている３Ｄおよび／または２Ｄおよび／または１Ｄおよび／または０Ｄ形状のうちのいずれかの任意の組み合わせおよび任意の数のそれに基づくことができる。言い方を変えれば、３Ｄベクトル空間または仮想３Ｄベクトル空間内に定義される前記例示的なサンプリング・モデル（１つ以上）は、サンプリング・モデル空間を形成するとして理解することが可能であり、かつ前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像の前記少なくとも１つの部分に変換されるか、またはマッピングされるか、または適用されるか、または投影されることが可能なあらかじめ決定済みの形状の複数の組み合わせ、および任意の数のそれらから構成することが可能であり、これを画像フレーム空間または投影された３Ｄ空間と呼ぶことが可能である。

【0026】

前記少なくとも１つのサンプリング・モデルを前記少なくとも１つのひと続きの画像フレームからの前記少なくとも１つの画像の前記少なくとも１つの部分に適用するか、またはマッピングするか、または投影するとき、前記少なくとも１つのサンプリング・モデルと前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像フレーム内の１つ以上の基準点とを相関させることが可能である。

【0027】

特に、前記サンプリング・モデルを前記少なくとも１つの画像フレーム内の１つ以上の基準点と相関させることは、前記少なくとも１つのサンプリング・モデルの１つ以上の点と前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像内の前記１つ以上の基準点との間におけるマッピング変換または投影、たとえば平行投影の実行を包含することができる。

【0028】

前記例示的な基準点は、容易に識別可能な特徴、たとえば調度品または設備または物体またはそのほかの構造上の特徴の頂点またはマークとすることができ、その座標は、たとえば、３Ｄの現実の空間と２Ｄ投影の間において相関させることが、特に、それらの現実の（絶対または相対）３Ｄ座標が既知であるか、またはその種の調度品または設備または物体またはそのほかの構造上の特徴の物理的な現実の寸法から演繹することが可能なときには、可能である。

【0029】

それに代えて、現実の３Ｄシーン内に専用の物体または看板を一時的に、または恒久的に配置して、基準点として役立てることもできる。

【0030】

たとえば、調度品または設備またはそのほかの構造上の特徴の頂点またはマークのような要素があるために、現実の３Ｄ空間およびそれの２Ｄ投影された空間（ビデオ・ストリーム）内に基準点がすでに存在し、かつ良好に識別可能であり、それの座標は、たとえば、前記現実の３Ｄ空間と２Ｄ投影の間において相関させることが、特に、それらの現実の（絶対または相対）３Ｄ座標が既知であるか、またはその種の調度品または設備またはそのほかの構造上の特徴の物理的な現実の寸法から演繹することが可能であるときには、可能である。

【0031】

しかしながら、たとえば３Ｄ形状を包含する３Ｄ空間内に定義された前記サンプリング・モデルの前記画像フレーム上への計算による投影またはマッピングは、高度に複雑な数学的投影手順に従った３Ｄから２Ｄへの完全な投影である必要がないことに注意されたい：近似的な投影、たとえば単純な平行投影（たとえば、３Ｄ空間上の平行が２Ｄ投影における平行性を保つ）は、許容可能な結果を獲得するのに充分に良好であり得る。

【0032】

消失点が画像の中心から遠くないというように解析されることになる画像フレームのパースが好ましくない例示的な場合において、または前記画像が何らかの広角レンズに関連付けされる球面収差のような何らかの収差を受けている場合においては、前記画像フレームの全体のシーンに適した変換を解明する代わりに複数の局所的な単純な変換を使用することが可能である。

【0033】

したがって、３Ｄベクトル空間または仮想３Ｄベクトル空間と少なくとも１つの画像フレーム内に取り込まれた、前記現実の物理的な３Ｄ空間の２次元投影を表す、投影された現実の３Ｄ空間の間におけるマッピング変換または変換または投影を確立することが可能である。

【0034】

前記少なくとも１つのサンプリング・モデルが基づくことが可能な（仮想３）Ｄベクトル空間内における上に述べられている例示的なあらかじめ決定済みの形状は、それ自体を、前記形状、特に前記サンプリング・モデルが基づくことが可能な前記仮想３Ｄベクトル空間内の前記形状を構成する１つ以上の要素またはブロックに分割することが可能であり、その幾何学的寸法の一部または全部を均等に、または不均等に、前記あらかじめ決定済みの形状を構成する１つ以上の要素またはブロックまたは部分形状に分割することが可能である。

【0035】

（仮想）３Ｄベクトル空間内における形状を構成することが可能な前記要素またはブロックは、分割不可能な形状の最小単位として定義することも可能であり、また形状のアトムまたはプリミティブまたはボクセルと呼ばれることもある。

【0036】

前記サンプリング・モデルが適用されたか、またはマッピングされたか、または投影された前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像の前記少なくとも１つの部分からデータを抽出することは、前記少なくとも１つの画像の前記少なくとも１つの部分に適用された前記サンプリング・モデルの形状の中に含まれているか、またはそれによってカバーされている画像フレーム・エリア内の画像フレーム・ピクセルからデータを抽出することを包含することができる。

【0037】

換言すれば、前記少なくとも１つのサンプリング・モデルの適用またはマッピングまたは投影は、データが抽出されることになる前記少なくとも１つの画像フレームの少なくとも１つの関心エリアまたは関心領域、たとえば関心エリアまたは関心領域の周囲を定義することが可能である。

【0038】

特に、前記サンプリング・モデルが適用されたか、またはマッピングされたか、または投影された前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像フレームの前記少なくとも１つの部分からのデータの抽出は、前記少なくとも１つの画像の前記少なくとも１つの部分に適用された前記サンプリング・モデルの形状の要素またはブロックに含まれるか、またはそれによってカバーされる画像フレーム・エリア内にある画像フレーム・ピクセルからのデータの抽出を包含することができる。

【0039】

言い方を変えれば、前記少なくとも１つの画像の前記少なくとも１つの部分に適用される前記サンプリング・モデルの形状の各要素またはブロックは、前記少なくとも１つの画像フレームの前記少なくとも１つの部分上の投影されるエリアを定義することが可能である。

【0040】

より具体的に述べれば、たとえば、各分割不可能な形状の最小単位、すなわち各形状のアトムまたはプリミティブまたはボクセルは、前記サンプリング・モデルが適用される少なくとも１つの画像フレームの前記少なくとも１つの部分上の対応する投影されるエリア、すなわち、投影される形状のアトム・エリアまたは投影されるプリミティブ・エリアまたは投影されるボクセル・エリアを定義し、それによって、データを抽出すること、または読み出すことが可能な前記少なくとも１つのセンサによって取り込まれた少なくとも１つのひと続きの画像フレームからの前記画像フレーム上の１つ以上のエリア、たとえばピクセル・エリアを定義することが可能である。

【0041】

上に述べられている例示的な、前記画像フレーム上の投影されたエリア（１つ以上）から、すなわち、前記少なくとも１つのサンプリング・モデルによって定義される前記投影されたエリア（１つ以上）内の画像フレーム・ピクセルから抽出されるか、または読み出される上に述べられている例示的なデータは、その後、１つ以上の配列、たとえば１つ以上の多次元配列、たとえば１つ以上のテンソル内に保存またはストアすることが可能である。

【0042】

注意される必要があるが、異なる形状から、またはサンプリング・モデルの異なる分割不可能な形状の最小単位から、すなわち異なる形状アトムまたは異なるプリミティブまたは異なるボクセルからの投影されるエリアは、オーバーラップすることが可能である。

【0043】

上に示されているとおり、前記サンプリング・モデルが前記画像フレーム上に投影された後は、それの投影された形状の要素または形状のブロックまたは形状アトムまたは形状プリミティブまたは形状ボクセルのそれぞれが、前記画像フレーム上のエリアおよび／または周囲を定義することが可能である。たとえば、サンプリング・モデルの（仮想）１Ｄ形状を投影する場合においては、この投影されたエリアおよび周囲が同一に、すなわち投影されたボクセルが結果として単なる線になるとすることができる。

【0044】

サンプリング・モデルの（仮想）０Ｄ形状を投影する場合においては、投影されたエリアおよび周囲が、解析されることになる前記画像フレーム内の単一の点または単一のピクセルまたはピクセルの断片につぶれるとすることができる。

【0045】

解析されることになる前記画像フレームから情報を抽出すること、すなわち、投影された形状エリアによって定義される画像フレーム内に含まれているデータ、たとえば対応する投影されたボクセル・エリアに含まれているか、またはそれの周囲に含まれているか、またはこれら両方の組み合わせに含まれているデータの抽出は、とりわけ、投影された形状毎の、すなわち投影された形状の要素またはブロック毎の、特に形状アトムまたは形状プリミティブまたは形状ボクセル毎の１つ以上の画像ピクセル・データ値の抽出を包含することができる。

【0046】

特に、前記サンプリング・モデルによって定義される前記少なくとも１つの画像フレームの前記少なくとも１つのエリアからデータを抽出することは、前記サンプリング・モデルによって識別される前記ピクセル、たとえば、投影された形状エリア（１つ以上）内、および／または投影された形状、すなわち前記画像フレーム上に投影された形状の投影された周囲に沿って、もしくはその上にある画像フレーム・ピクセルからの輝度および／または色等、たとえばＲＧＢ色モデル等の色空間モデル内の色といったピクセル値の抽出を包含することが可能である。

【0047】

ここで、画像フレームに適用され／マッピングされ／投影されるサンプリング・モデルの形状またはあらかじめ決定済みの形状によってカバーされる前記画像フレームのエリアまたは領域という用語が、前記画像フレームのピクセルの線または個別のピクセルまたはピクセルの断片だけを参照することも可能であると強調しておく。これは、サンプリング・モデルの１Ｄ形状または０Ｄ形状の投影は、画像フレーム上にエリアまたは複数のエリアを定義し、データが抽出されることになるピクセルのセットまたは１つ以上のピクセルを定義することが可能であると言い換えることもできる。

【0048】

さらにまた、前記サンプリング・モデルが適用された前記少なくとも１つの画像フレームの前記少なくとも１つの部分からのデータの抽出は、前記データの変換を包含することができる。

【0049】

たとえば、前記投影された形状エリア内、たとえば前記投影された形状アトム・エリアまたは投影された形状プリミティブ・エリア内の画像ピクセルの抽出された前記データ、たとえばピクセル・データ、すなわち前記少なくとも１つのサンプリング・モデルによってカバーされるか、または定義される画像ピクセルの前記抽出されたデータは、前記投影された形状エリア（１つ以上）内および／または前記投影された周囲（１つ以上）に沿った前記ピクセル値の最大値または最小値または平均値またはモードを計算することによって変換することができる。

【0050】

抽出されたデータ、すなわち投影された形状エリア内の画像ピクセルの抽出されたデータ、たとえばピクセル・データの別の例示的な変換は、前記抽出されたデータのいくつかまたは全部に対する関数の適用を包含することができる。たとえば、投影された形状エリア（１つ以上）内、たとえば前記投影された形状エリア（１つ以上）の投影されたボクセル・エリア内および／または周囲内もしくは周囲に沿って、またはそれらの部分の画像フレームのピクセルから抽出されたデータ値のいくつかまたは全部の重み付け平均を適用すること。

【0051】

その種のオプションのデータ変換は、前記抽出されたデータのさらなる処理および解析を容易にすることができ、また、たとえば、抽出されたデータを上に述べられている状況および問題の検出のために使用するとき、たとえば前記データの圧縮またはコンパクト化によって演算負荷を軽減することができる。

【0052】

それに代えて、またはそれに加えて、前記サンプリング・モデルが適用され／マッピングされ／投影される前記少なくとも１つの画像フレームの全体の画像フレームまたは少なくとも一部が、前記画像フレームからのデータの抽出の前に、前処理または前加工を受けることが可能であることも企図される。

【0053】

これに関して言えば、前処理または前加工を伴わない画像フレームを、生画像フレームまたは生画像と呼ぶこともできる。

【0054】

たとえば、前記画像フレームの少なくとも一部にデジタル処理を実行し、エッジおよび／または輪郭および／または運動流を決定すること、および／または前記画像フレームの少なくとも一部を不鮮明にすること、および／または生画像のコントラストまたは照明またはそのほかの特徴をデジタル処理することによって修正すること、または生画像またはそれの一部を演算的にセグメント化すること、またはこれらおよび／またはそのほかのデジタル画像処理手順の組み合わせを実行することを可能とし得る。

【0055】

その種のオプションの例示的な前処理または前加工は、その種の前処理または前加工が、検出されることになる状況または問題のために検出されるべきデータ信号の信号対雑音比を増加できることから、とりわけ、画像データの抽出、および検出されることになる所定の状況または問題についての抽出されたデータの解析を容易にすることができる。

【0056】

ここで例示的に述べられているビデオ解析方法およびビデオ解析システムにおいては、とりわけ、前記少なくとも１つのひと続きの画像フレームの前記少なくとも１つの画像の異なる部分に対して同一のサンプリング・モデルを適用することが可能である。

【0057】

それに代えて、またはそれに加えて、同一のサンプリング・モデルを、前記少なくとも１つのひと続きの画像フレームの複数の画像に適用することが可能であるか、またはサンプリング・モデルを前記少なくとも１つのひと続きの画像フレームのすべての画像に適用することが可能である。

【0058】

さらにまた、同一のサンプリング・モデルを、複数の異なるひと続きの画像フレーム、たとえば、解析されることになる同一のシーンまたはシナリオの異なるパースを伴った１つ以上のセンサによって取り込まれた複数の異なるひと続きの画像フレーム等の複数の画像に適用することが可能である。

【0059】

さらに注意される必要があるが、『同一のサンプリング・モデル』という表現は、まったく同じサンプリング・モデルおよび／または同一のトポロジを伴う、たとえば同一のトポロジを伴うあらかじめ決定済みの形状を有するサンプリング・モデルを参照することが可能である。

【0060】

現実の３Ｄ空間内のシーンまたはシナリオから画像を取り込むためのセンサ、たとえばカメラの位置、センサのパースおよび／または視野を変更することも可能であるとき、これが、そのビュー内の異なる要素、物体、または対象者の見掛けのサイズ、形状、および色さえも変化する結果をもたらす可能性がある。

【0061】

同一の場所または異なる場所の異なるセンサ、たとえばカメラは、したがって、検出されることになる問題または状況の異なるパースを有することがあり得る。

【0062】

単一のセンサ、たとえば単一のカメラでさえ、取り込まれるシーンの異なる領域内にある、したがって、センサの、またはカメラの視点から異なる距離および向きにある同一の問題の多様なインスタンスを取り込むことができる。

【0063】

手前に示されているとおり、同一シーンまたは状況の異なるパースを伴う画像データの処理および解析は、現在最先端のビデオ解析システムおよびテクニックにとっての取り組むべき問題として残されている。

【0064】

たとえば、複数の異なる観察パースを有する画像データから検出および解析されることになる問題または状況のための解決モデルのパラメータは、たとえば、異なる視点から１つ以上のセンサによって取り込まれた同一のシーンまたはシナリオ内の異なる要素、物体、または対象者の見掛けのサイズ、形状おける変化、また色における変化さえ考慮に入れることを試みるために、解析されることになる問題、シーン、またはシナリオの単一の異なるインスタンス毎に、たとえば解析されることになる現実の３Ｄ空間内の同一の問題、シーン、またはシナリオの単一の異なる観察パース毎に、別々に調整および微調整を必要とする。

【0065】

特に、たとえば、画像から抽出されたデータを解析して特定の問題または状況を検出するために機械学習アルゴリズムおよびテクニックを使用するときは、検出されることになる問題のそれぞれのインスタンス毎に特定のトレーニングを走らせる必要があり、たとえば前記特定の問題または状況が検出され、解析されることになる現実の３Ｄ空間内のシーンまたはシナリオのそれぞれの単一の異なる観察パース毎に、特定のトレーニングまたは特定のトレーニング・データのセットおよび／または特定の異なるサンプリング・モデルが必要になる。

【0066】

それに代えて、またはそれに加えて、機械学習モデルを適切に学習させるために、たとえば解決モデルのためのさらなるパラメータが、問題のインスタンスの間における異なるパースを適切に解析するべく必要とされることがあり、それに対応してトレーニング・データ、たとえば異なるパースからのトレーニング画像フレームのラベル付けされたサンプルの増加または拡大されたセットが必要とされる。

【0067】

上に、またここで述べられている、少なくとも１つの画像フレームからデータをサンプリングし、解析して、少なくとも１つのセンサによって前記少なくとも１つの画像フレーム内に取り込まれた現実の３Ｄ空間内のシーンまたはシナリオの中の特定の問題または状況を検出するためのビデオ解析システム方法においては、意外なことに、また驚くべきことに、問題の可能性のある異なるインスタンスのすべてまたは大部分のために、すなわち前記少なくとも１つのセンサによって異なる視点を伴って撮影された画像の、可能性のある異なる観察パースのすべてまたは大部分のために、同一のトレーニングまたは同一のトレーニング・データまたは同一のサンプリング・モデルを使用して現実の３Ｄ空間内のシーンまたはシナリオの中の所望の問題または状況を、信頼性をもって検出するべく効果的かつ効率的に機械学習アルゴリズムをトレーニングできることが明らかになった。

【0068】

換言すれば、上に、またここで述べられているとおり、同一のサンプリング・モデル、すなわち仮想３Ｄベクトル空間内に定義され、かつ前記仮想３Ｄベクトル空間内の１つ以上のあらかじめ決定済みの形状に基づく前記サンプリング・モデルを、ビデオ・ストリーム（たとえば、１つのセンサから獲得されたひと続きの画像フレーム）内において検出されることになる同一の問題または状況の１つ以上のインスタンスに適用することが可能であるか、かつ／または現実の３Ｄ空間内の同一のシーンからの、または異なるシーンからの複数の異なるビデオ・ストリーム（たとえば、複数の異なるセンサから獲得されたひと続きの画像フレーム）内において検出されることになる同一の問題または状況のほかの異なるインスタンスに適用することが可能であり、かつ前記問題のインスタンスのすべてまたは大部分、または類似する問題のインスタンスのすべてまたは大部分におけるの所望の問題を、信頼性をもって検出するべく同一の検出および／または解析方法またはアルゴリズム、たとえば同一の機械学習アルゴリズムを使用することが可能である。

【0069】

言い方を変えれば、ここに述べられている例示的なサンプリング・テクニックは、センサまたは複数のセンサによって取り込まれた現実の３Ｄ空間におけるシーン内の所望の問題または状況を検出するためのビデオ・ストリームの解析の複雑性および演算負荷を大きく軽減し、かつ簡素化する。

【0070】

ここに述べられている、現実の３Ｄ空間内のシーンを観察、または監視する少なくとも１つのセンサによって取り込まれた少なくとも１つのひと続きの画像フレームからの画像フレームからデータを抽出し、データを解析するための例示的なサンプリング・テクニック（１つ以上）は、ビデオ・ストリームの画像フレームからデータを抽出し、データを解析するための一般的なサンプリング・テクニック、すなわち、ビデオ・ストリームの画像フレームからデータをサンプリングし、抽出し、解析するときに現実の３Ｄ空間におけるシーンからの画像フレーム内に存在する３次元空間情報を考慮に入れることなく、むしろ平坦な２次元アプローチを使用するだけのテクニックと比較したときに、前記センサによって取り込まれた画像フレーム内に存在する現実の物理的な物体または対象者の、特に現実の３次元物体または対象者の、より正確、かつより効率的、より効果的な（仮想）３Ｄベクトル空間における、ビデオ解析的解析に使用される表現を提供する。

【0071】

手前に述べられているとおり、前記サンプリング・モデルによって定義された前記少なくとも１つの画像フレームの前記少なくとも１つのエリアから抽出されたデータは、特定の問題またはパターンまたは状況の検出に使用することが可能である。

【0072】

たとえば、前記検出されることになる問題（１つ以上）またはパターン（１つ以上）または状況（１つ以上）は、前記少なくとも１つのセンサによって取り込まれた少なくとも１つのひと続きの画像フレームの少なくとも１つの画像の少なくとも１つの部分内に表現されている／存在する現実の３Ｄシーン内の物体および／または対象者のあらかじめ決定済みの状況および／または動きおよび／または挙動および／または活動、たとえば管理ゲートまたは改札機における欺瞞的なアクセスを包含することができる。

【0073】

たとえば、ビデオ解析システムのタスクが、管理ゲートまたは改札機における問題または状況の検出である場合においては、ビデオ解析の検出目的を、通過する乗客の数のカウントおよび／または不正乗車する者の検出およびカウントとすることができる。

【0074】

検出されることになる問題（１つ以上）またはパターン（１つ以上）または状況（１つ以上）のタイプについての別の例は、ドアであり、それにおいてはその目的を、１つの方向またはその逆に通過する人々のカウント、および前記ドアを正しくない方法で、または個人ではなくグループで通過する場合におけるアラームのトリガとすることができる。

【0075】

さらなる例は、エレベータの内側のような小さい空間さえも含めた部屋、または開放空間、または何らかの形で区切られた開放空間内のエリアの監視または調査とすることが可能であり、それにおいては、置き去りにされた物体、またはパニック状況（たとえば、異常な速度で移動する人々）、または闘争、または徘徊、または過大な物体の検出、または速度監視、あるいは空間を侵害するか、または空間内で移動する人々または車両またはそのほかの物体の検出、あるいは占有レベルまたはそのほかの状況の推定または決定が意図される。

【0076】

この中に述べられている画像フレームからデータを抽出し、データを解析するためのサンプリング・テクニックを使用するビデオ解析システムによる前記特定の問題（１つ以上）またはパターン（１つ以上）または状況（１つ以上）の検出時には、通知またはアラームを、たとえばこのビデオ解析システムのユーザ、または別のソフトウエア構成要素に提供することが可能である。

【0077】

機械学習システムを使用して、この中に述べられているサンプリング・テクニックを使用するビデオ解析システムによって特定の問題（１つ以上）またはパターン（１つ以上）または状況（１つ以上）を検出するために抽出されたデータを解析することが可能であり、それにおいては、たとえば前記抽出されたデータを機械学習システムのための入力データとして使用して、前記少なくとも１つのセンサによって取り込まれた少なくとも１つのひと続きの画像フレームの少なくとも１つの画像の少なくとも１つの部分内に表現されている／存在する１つ以上の所望のパターンまたは問題または状況、たとえば現実の３Ｄシーン内の物体および／または対象者のあらかじめ決定済みの状況および／または動きおよび／または挙動および／または活動、たとえば管理ゲートまたは改札機における欺瞞的なアクセス、または任意のそのほかのタイプの検出することが望ましい問題またはパターンまたは状況を包含する、たとえば、上に述べられている例示的なパターンまたは問題または状況のいずれかを検出するために前記機械学習システムをトレーニングすることが可能である。

【0078】

これにおいて、前記少なくとも１つのセンサによって取り込まれた少なくとも１つのひと続きの画像フレームの少なくとも１つの画像の少なくとも１つの部分内に表現されている／存在する前記１つ以上の所望のパターンまたは問題または状況の検出は、とりわけ、前記少なくとも１つの画像の前記少なくとも１つの部分内に存在する／表現されている複数の異なるタイプまたは異なるクラスまたは異なる分類のパターンまたは問題または状況の複数のパターンまたは問題または状況を検出することを包含することが可能である。たとえば、管理ゲートまたは三脚回転式改札口等の改札機における欺瞞的なアクセスの場合においては、抽出されたデータの解析が、同時に、欺瞞的なアクセス、たとえば不正乗車事象が生じたか否かを検出することが可能であるだけでなく、同一の抽出されたデータの前記解析が、どのような種類の／どのようなタイプの欺瞞的アクセスが生じたのか、たとえば、回転式改札口を飛び越える対象者、または回転式改札口の下をくぐり抜ける対象者、または回転式改札口を揺する対象者、または２人が一緒になって通過する対象者を検出／決定／分類することも可能である。

【0079】

可能性のある例示的な機械学習システムが、前記少なくとも１つのセンサによって取り込まれた少なくとも１つのひと続きの画像フレームからの前記少なくとも１つ画像の前記少なくとも１つの部分内に表現されている／存在する前記１つ以上の所望のパターンまたは問題または状況、たとえば、例示的に上に述べられているような現実の３Ｄシーン内の物体および／または対象者の１つ以上のあらかじめ決定済みの状況および／または動きおよび／または挙動および／または活動を検出するためにトレーニングされた後は、データを解析し、信頼性のある精度を伴って１つ以上の所望のパターンまたは問題または状況の存在または非存在を検出するために、前記抽出されたデータを前記トレーニング済みの機械学習システムの入力データとして使用することが可能である。

【0080】

さらに、前記少なくとも１つのひと続きの画像フレームからの前記少なくとも１つの画像フレームの少なくとも１つの部分に前記少なくとも１つのサンプリング・モデルを適用するか、またはマッピングするか、または投影することが、前記少なくとも１つのひと続きの画像フレームからの画像フレームの取り込みの間における前記少なくとも１つのセンサの移動を考慮に入れることを包含してもよい。

【0081】

たとえば、センサが回転される場合、たとえばより広い空間的なエリアを調査するか、または監視するべくカメラが回転される場合には、センサのこの回転移動を考慮に入れることが可能である。たとえば、前記センサの前記例示的な回転移動は、データが抽出されることになる前記画像フレームの前記エリアを定義するときに、前記サンプリング・モデルの適用またはマッピングまたは投影が前記センサの異なる回転位置に対応する数字で表された演算ステップを包含するように、すなわち、前記センサのそれぞれの異なる回転位置が、前記画像フレーム（１つ以上）への前記サンプリング・モデルの異なるマッピングまたは投影と対応するように前記サンプリング・モデルの回転と同期させること／それに適用することが可能である。

【0082】

それに代えて、またはそれに加えて、前記センサの線形移動は、前記画像フレーム（１つ以上）からデータを抽出する前に、各線形空間位置のための前記サンプリング・モデルを適用し、またはマッピングし、または投影することによって考慮に入れることが可能である。そのほかの、センサのより複雑な移動も考慮に入れることができる。

【0083】

それに加えて、またはそれに代えて、上に示されているとおり、さらに、画像フレームを取り込むための視点が異なる複数のセンサによって撮影された複数の異なるひと続きの画像フレームからの画像フレームをサンプリングし、解析することも可能であり、それにおいて前記少なくとも１つのサンプリング・モデルを、前記複数のセンサによって撮影された画像フレームに適用し、またはマッピングし、または投影することは、たとえば異なる視点から撮影された前記画像フレーム内の同一または類似の基準点を使用して、前記複数のセンサの異なる視点を考慮に入れることが可能である。

【0084】

たとえば、同一のシーン、たとえば複数の回転式改札口を伴った改札機の配列のシーンを観察している２つの異なるセンサ、たとえば２つのカメラの場合においては、両方のセンサから同時に前記改札機の配列内の各ゲートの挙動、すなわち各回転式改札口の挙動を監視し、かつサンプリングすることが可能となり、かつ両方のセンサの画像から抽出したデータを合併すること、たとえば異なる（センサ）から抽出したデータを連結して単一の多次元データ配列またはテンソルを形成することが、前記抽出したデータを解析する前に可能となるように、一方のセンサは、前記改札機の配列の左側の位置から観察することができ、他方のセンサは、前記改札機の配列の右側の位置から観察することができる。前記抽出したデータの解析は、その後、２つの異なるパースから同時に観察された問題または状況を検出する単一のデータの解析として実行され、それによって解析の精度を増加することが可能である。

【0085】

上に、およびこの中で述べられている、少なくとも１つのセンサによって取り込まれた少なくとも１つのひと続きの画像フレームからの前記少なくとも１つの画像フレームからデータをサンプリングし、解析するためのステップは、インストラクションとして１つ以上のコンピュータ可読ストレージ媒体上にストアすることが可能であり、それにおいて前記インストラクションは、１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに、この中で述べられている前記少なくとも１つのひと続きの画像フレームからの少なくとも１つの画像フレームからデータをサンプリングし、解析するためのステップのうちのいずれかの実行を命令することが可能である。

【0086】

本発明に従った例示的なビデオ解析システムは、
● 画像フレームを取り込むために構成された少なくとも１つのセンサ、たとえばカメラと、
● 前記少なくとも１つのセンサによって取り込まれた画像フレームからデータをサンプリングし、解析するための方法を、上に、およびこの中で述べられている少なくとも１つの画像フレームからデータをサンプリングし、解析するためのステップのいずれかに従って実行するべく構成された１つ以上のプロセッサを包含する少なくとも１つのコンピューティング・システムと、
を包含することができる。

【0087】

可能性のある例示的なカメラのタイプは、とりわけ、アナログおよびデジタル両方の監視カメラ、インターネット・プロトコル（ＩＰ）カメラ、３Ｄカメラ、たとえばＴｏＦカメラ、またはサーマル・カメラを包含することができる。

【0088】

例示的なビデオ解析システムの例示的なプロセッサは、１つ以上の中央処理ユニット（ＣＰＵ）および／または１つ以上のグラフィカル処理ユニット（ＧＰＵ）を含むことができる。注意される必要があるが、この中で述べられているサンプリング・モデルの使用は、演算効率的であり、かつ必要とされる演算資源の需要は、一般的なパーソナル・コンピュータ（ＰＣ）によって満たすことが可能である。

【0089】

次に挙げる図面は、例示的にそれぞれの内容を図解している。

【図面の簡単な説明】

【0090】

【図1】例示的な画像フレームを示した説明図である。

【図2】例示的な３Ｄ形状を示した説明図である。

【図3】例示的なサンプリング・モデルを示した説明図である。

【図4】空間の間の関係の例示的な概略図である。

【図5a】例示的な（第１の）改札機問題を示した説明図である。

【図5b】例示的な（第２の）改札機問題を示した説明図である。

【発明を実施するための形態】

【0091】

図１は、少なくとも１つの例示的なセンサ（図示せず）によって取り込まれた少なくとも１つの例示的なひと続きの画像フレームからの画像フレーム１００の例を略図的に示しており、それにおいて前記画像フレーム１００は、例示的なデジタル・フォーマットを有し、かつ例示的な複数のピクセル１０３を包含する。

【0092】

図１は、さらに、画像フレーム１００上における例示的なあらかじめ決定済みの形状の例示的な投影１０４を例示的に示しており、それにおいて前記例示的なあらかじめ決定済みの形状は、たとえば、画像フレーム１００上に投影された（仮想）３Ｄベクトル空間内に定義された平行四辺形の形式の２Ｄ形状である。

【0093】

換言すれば、前記２Ｄ形状は、画像フレーム１００からのデータのサンプリングおよび解析のための例示的なサンプリング・モデルを定義することが可能であり、それにおいて前記サンプリング・モデルの適用または投影、すなわち前記２Ｄ形状の、すなわち（仮想）３Ｄベクトル空間内に定義された平行四辺形の投影は、データが抽出されるべき少なくとも１つの画像フレームの例示的なエリア１０７、すなわち例示的な関心領域を定義する。

【0094】

言い方を変えれば、画像フレーム１００からのデータをサンプリングし、解析するために、エリア１０７内にあるか、かつ／またはサンプリング・モデルの投影１０４の周囲１０６、すなわち例示的な平行四辺形の２Ｄ形状の投影１０４の周囲１０６上またはその中にある画像フレーム・ピクセル１０５だけからデータが抽出される。

【0095】

完全を期するために述べれば、参照番号１０１、１０２は、考え得る画像フレームの座標軸、たとえばＸ軸１０１およびＹ軸１０２を例示的に示していることに注意される必要がある。

【0096】

図２は、例示的な直交座標軸Ｘ ２０５、Ｙ ２０６、Ｚ ２０７にわたる例示的な（仮想）３Ｄベクトル空間２１２内に定義された例示的な直方体２１１の形式の考え得る３Ｄ形状２００を包含する、考え得る例示的なサンプリング・モデル２１０の例を略図的に示している。

【0097】

例示的なサンプリング・モデル２１０または例示的な３Ｄ形状２００、すなわち例示的な直方体は、たとえば４つの点、たとえば４つの基準点Ｐ_１ ２０１、Ｐ_２ ２０２、Ｐ_３ ２０３、Ｐ_４ ２０４の例示的なセット２０９によって定義され、それぞれの座標は、Ｐ_１（ｘ_１ ^ｍ，ｙ_１ ^ｍ，ｚ_１ ^ｍ）、Ｐ_２（ｘ_２ ^ｍ，ｙ_２ ^ｍ，ｚ_２ ^ｍ）、Ｐ_３（ｘ_３ ^ｍ，ｙ_３ ^ｍ，ｚ_３ ^ｍ）、Ｐ_４（ｘ_４ ^ｍ，ｙ_４ ^ｍ，ｚ_４ ^ｍ）であり、それにおいて、ｘ、ｙ、ｚは、直交座標軸Ｘ ２０５、Ｙ ２０６、Ｚ ２０７の座標であり、ｍは、例示的なサンプリング・モデル２１０を示す上付きインデクスであり、１、２、３、および４は、基準点の番号を示す下付きのインデクスである。

【0098】

言い方を変えれば、前記例示的な基準点Ｐ_１ ２０１、Ｐ_２ ２０２、Ｐ_３ ２０３、Ｐ_４ ２０４の座標２０９は、例示的な直交座標軸Ｘ ２０５、Ｙ ２０６、Ｚ ２０７にわたる例示的な（仮想）３Ｄベクトル空間内の座標で例示的に提供される。

【0099】

図解されている例示的な場合においては、Ｐ_１（ｘ_１ ^ｍ，ｙ_１ ^ｍ，ｚ_１ ^ｍ）が、例示的な（仮想）３Ｄベクトル空間の原点に位置し、すなわちＰ_１（ｘ_１ ^ｍ，ｙ_１ ^ｍ，ｚ_１ ^ｍ）＝Ｐ_１（０，０，０）であり、そのほかの点が、例示的な座標軸上に位置し、すなわち、Ｐ_２（ｘ_２ ^ｍ，ｙ_２ ^ｍ，ｚ_２ ^ｍ）＝Ｐ_２（ｘ_２ ^ｍ，０，０）であり（ただしｘ_２ ^ｍ≠０とする）、Ｐ_３（ｘ_３ ^ｍ，ｙ_３ ^ｍ，ｚ_３ ^ｍ）＝（０，ｙ_３ ^ｍ，０）であり（ただしｘ_３ ^ｍ≠０とする）、Ｐ_４（ｘ_４ ^ｍ，ｙ_４ ^ｍ，ｚ_４ ^ｍ）＝（０，０，ｚ_４ ^ｍ）である（ただしｘ_４ ^ｍ≠０とする）。

【0100】

例示的なサンプリング・モデル２１０または例示的な３Ｄ形状２００は、たとえば、たとえば管理ゲートまたは改札機または通路等の現実の３Ｄ空間内における物体、または現実の３Ｄ空間内におけるボリュームのモデルを表すことができる。

【0101】

例示的なサンプリング・モデル２１０または例示的な３Ｄ形状２００の寸法は、とりわけ、現実の３Ｄ空間内における、当該サンプリング・モデル２１０または例示的な３Ｄ形状２００が表現することになる物体の異なるインスタンスまたは具現の具体的な寸法および縮尺とのより良好な整合またはそれの近似のために調整することができる。

【0102】

このようにして現実の３Ｄ空間内における類似した物体を、同一のサンプリング・モデル（１つ以上）を用いてサンプリングすることが可能であり、かつ／または同一のモデル（１つ以上）を、現実の３Ｄ空間内における同一の物体の異なる観察パースに、たとえば現実の３Ｄ空間内における物体またはシーンに対して異なる視点を有する異なるセンサからの画像フレーム内に取り込まれたときの観察パースに適用することが可能である。これに関して言えば、『同一のサンプリング・モデル』という語句は、とりわけ、同一のトポロジを有する、すなわち、同一のトポロジを伴うあらかじめ決定済みの形状を包含するサンプリング・モデルとして理解することが可能である。

【0103】

さらにまた、同一のサンプリング・モデル（１つ以上）および／または同一のモデル（１つ以上）は、現実の３Ｄ空間内における、同一または類似した形状またはトポロジを有する異なる物体、たとえば、異なるセンサによって別々のひと続きの画像フレームに取り込まれた異なる物理的な場所、たとえば異なる地下鉄の駅にある改札機の管理ゲートの異なる具現または異なるインスタンスに対して適用することが可能である。

【0104】

上に一般的に述べられているとおり、少なくとも１つのサンプリング・モデルが基礎とすることが可能な（仮想）３Ｄベクトル空間内におけるあらかじめ決定済みの形状自体を、前記形状を構成する１つ以上の要素またはブロックまたは部分形状に分割することが可能である。

【0105】

たとえば、サンプリング・モデルが基礎とすることが可能な３Ｄベクトル空間内における前記形状は、その幾何学的寸法の一部または全部を均等に、または不均等に、前記形状を構成する１つ以上の要素またはブロックに分割することが可能である。

【0106】

（仮想）３Ｄベクトル空間内における形状を構成することが可能な前記要素またはブロックは、分割不可能な形状の最小単位として定義することも可能であり、また形状のアトムまたはプリミティブまたはボクセルと呼ばれることもある。

【0107】

図２に図解されている例示的な場合においては、例示的な３Ｄ形状２００、すなわち例示的な直方体２１１が、例示的な長さ方向、たとえば対象者または乗客の移動を表すことができる方向に沿った、すなわちＸ軸２０５に沿った４つの等しいスライスへの切り分けを使用し、かつ例示的な横方向（すなわち、長さ方向と垂直であり、しかも同一の水平平面内にある）に沿った、すなわちＹ軸２０６に沿った３つの等しいスライスへの切り分けを使用し、かつ例示的な垂直方向に沿った、すなわちＺ軸２０７に沿った２の等しいスライスへの切り分けを使用することによってその種のボクセルに例示的に分割される。

【0108】

例示的な３Ｄ形状２００のこの例示的な分割または例示的なスライス切りは、この場合、４×３×２＝２４のより小さい３Ｄ形状を、すなわちより小さい３Ｄ直方体を、すなわち例示的なボクセル２０８を生成する。

【0109】

前記ボクセル２０８のそれぞれは、たとえばこの場合において、多次元配列、たとえば次元（４，３，２）のテンソル等のデータ構造における要素および／または値と関連付けすることが可能である。

【0110】

ここに、およびこの上に述べられ、例示的に説明されている例示的な３Ｄ形状２００の分割またはスライス切りのスキームは、単なる例に過ぎず、そのほかの分割またはスライス切りもまた、例示的なサンプリング・モデルの例示的な形状の分割またはスライス切りに適用することが可能であり、たとえば、例示的な３Ｄ形状を、多次元配列、たとえばｉ、ｊ、ｋを０より大きい整数とする次元（ｉ，ｊ，ｋ）のテンソル等、データ構造における要素および／または値と関連付けすることが可能なボクセルに分割することができることを強調しておく。

【0111】

同じことが、そのほかの形状、たとえばサンプリング・モデルの２Ｄ形状および／または１Ｄ形状についても適用できる。

【0112】

例示的なサンプリング・モデル２１０、すなわち例示的な３Ｄ形状２１０、すなわち例示的な３Ｄ直方体２１１、およびそれのボクセル２０８を、２次元画像フレーム上に、またはその上に適用するか、またはマッピングするか、または投影するために、例示的な手順は、たとえば、容易に識別可能であり、かつ現実の３Ｄ空間内における異なるシーン内に再現することが可能な画像フレーム（１つ以上）内の４つの画像基準点Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４を識別することと、その後、（仮想）３Ｄベクトル空間から２Ｄ画像フレーム空間への数学的な変換を決定することと、を包含することが可能である。

【0113】

前記例示的な画像フレーム空間は、たとえば、例示的な直交座標軸Ｘ^ｆ、Ｙ^ｆにわたることができ、これにおいて「ｆ」は、フレームを参照する。

【0114】

たとえば、改札機ボックスの頂点に位置する４つの画像基準点（図５ａおよび図５ｂも併せて参照されたい）を用いて単純に平行投影を定義することが可能であり、それにおいては、それらのうちの１つが残り３つによって定義される平面外になる。

【0115】

これらの４つの例示的な画像基準点が識別され、サンプリングおよび解析されることになる２次元画像フレーム上に配置された後は、それらのピクセル座標を取ること、または識別することが可能である。

【0116】

たとえば、前記例示的な画像基準点Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４の座標を、（ｘ_１ ^ｆ，ｙ_１ ^ｆ）、（ｘ_２ ^ｆ，ｙ_２ ^ｆ）、（ｘ_３ ^ｆ，ｙ_３ ^ｆ）、（ｘ_４ ^ｆ，ｙ_４ ^ｆ）として示すが、これにおいても「ｆ」は、フレームを参照し、これらの座標は、画像フレームの例示的な直交座標軸Ｘ^ｆ、Ｙ^ｆに関して提供される。

【0117】

画像フレーム内のこれらの例示的な画像基準点の座標と、例示的なサンプリング・モデル２１０、すなわち例示的な３Ｄ形状２００、すなわち例示的な３Ｄ直方体２１１の対応する基準点の対応する基準点の座標、すなわちＰ_１（ｘ_１ ^ｍ，ｙ_１ ^ｍ，ｚ_１ ^ｍ）、Ｐ_２（ｘ_２ ^ｍ，ｙ_２ ^ｍ，ｚ_２ ^ｍ）、Ｐ_３（ｘ_３ ^ｍ，ｙ_３ ^ｍ，ｚ_３ ^ｍ）、Ｐ_４（ｘ_４ ^ｍ，ｙ_４ ^ｍ，ｚ_４ ^ｍ）を関連付けすると、サンプリング・モデル２１０の（仮想）３Ｄベクトル空間から２次元画像フレームへの平行投影を、たとえば、上に述べられている基準点の４つのペアを使用して次の、マッピングまたは投影変換係数ａ_ｊおよびｂ_ｊの値を決定することを可能にする８つの式の系を定義する線形方程式を解くことによって定義することが可能である。

【0118】

ｘ_ｉ ^ｆ＝ａ_０＋ａ_１ｘ_ｉ ^ｍ＋ａ_２ｙ_ｉ ^ｍ＋ａ_３ｚ_ｉ ^ｍ
ｙ_ｉ ^ｆ＝ｂ_０＋ｂ_１ｘ_ｉ ^ｍ＋ｂ_２ｙ_ｉ ^ｍ＋ｂ_３ｚ_ｉ ^ｍ

【0119】

これにおいて、「ｊ」は０から３までの整数であり、「ｉ」は、１から４までの整数であり、「ｆ」は、これにおいても画像フレームを参照し、「ｍ」は、これにおいてもサンプリング・モデルまたはあらかじめ決定済みの形状を参照する。

【0120】

したがって、サンプリング・モデルの３Ｄベクトル空間および２Ｄ画像フレーム空間内の４つの対応する点のペアによって生成される８つの方程式から８つの変数または未知数が決定されることになる／決定することが可能である。

【0121】

この例において、値ａ_ｉおよびｂ_ｉが決定された後は、サンプリング・モデル２１０、すなわち３Ｄ形状２００、すなわち３Ｄ直方体２１１およびそれのボクセル２０８を所定の画像フレーム上に描き／投影し、それによって、データ／データ値が抽出されることになる画像フレームの少なくとも１つのエリアを定義することが可能となり、かつ、たとえば、多次元配列、たとえばテンソルの対応する要素の値に割り当てることが可能である。

【0122】

特に、あらかじめ決定済みの形状の各ボクセル、たとえば直方体２１１の各ボクセル２０８を、画像フレーム上に投影されたボクセルに関連付けすることが可能であり、かつ画像フレームから／投影されたボクセルによってカバーされる画像フレームのピクセルから抽出された各データ／データ値を、対応する多次元配列の要素の値、すなわち対応するテンソルの要素の値に割り当てることが可能である。

【0123】

換言すれば、ボクセルは、画像フレームから抽出されたデータがストアされ、さらなるデータ解析のためにさらに処理される多次元配列、たとえばテンソルの要素を表すこと、または要素に関連付けされることが可能である。

【0124】

手前に示されているとおり、同一または類似したサンプリング・モデル２１０、すなわち同一または類似した３Ｄ形状２００は、たとえば、同一の現実のシーン（たとえば、同一のセンサ／同一のカメラからのビデオ・ストリーム・フロー）内の、またはそのほかの現実のシーン（ほかのセンサ／ほかのカメラからのビデオ・ストリーム・フロー）からの同一改札機タイプの、または類似したジオメトリのほかの改札機のサンプリングおよび解析に使用することが可能である。

【0125】

前記異なる改札機を伴う画像フレームから抽出されたデータは、その場合、同一の検出問題に直面していると考えることが可能であり、かつ単一のモデル／単一のモデリング・アプローチを用いて（たとえば、機械学習の場合における同一のニューラル・ネットワークを使用して）解決することが可能であり、それによって、同一タイプかつ同一の機能方法を伴う多くの改札機のための汎用解決策が、追加の改札機のための追加の特定の解決策モデルを生成（および、機械学習の場合においては、トレーニング）する必要性を伴うことなくもたらされる。

【0126】

これは、とりわけ、ビデオ解析における、特に上に述べられているような検出問題の解決を大いに迅速化し、かつ容易にすることが可能である。

【0127】

図３は、例示的な（仮想）３Ｄベクトル空間内において向き付けされ、かつ位置決めされた多様な２Ｄ形状、たとえば、第１の２Ｄ形状３０１、第２の２Ｄ形状３０２、第３の２Ｄ形状３０３、および第４の２Ｄ形状３０４のセット３０５を包含する、考え得る例示的なサンプリング・モデル３００のさらなる例を略図的に示している。

【0128】

前記例示的な２Ｄ形状のすべては、例示的な平行四辺形であり、例示的に２Ｄ形状３０１および３０３を矩形とする。

【0129】

しかしながら、前記２Ｄ形状３０１、３０２、３０３、および３０４の数および形は、単なる例示に過ぎない。例示的な（仮想）３Ｄベクトル空間内において向き付け可能かつ位置決め可能なそのほかの任意の数および形の２Ｄ形状も同様に、例示的なサンプリング・モデル３００の定義／構築に使用することが可能である。

【0130】

あらかじめ決定済みの形状３０１、３０２、３０３および３０４が位置決めされる前記例示的な３Ｄベクトル空間は、参照番号３１０を用いて例示的に示される。

【0131】

図３の以前の例と同様に、２Ｄ形状３０１、３０２、３０３および３０４は、前記形状を構成する１つ以上の要素またはブロックまたは部分形状に分けることまたは分割することが可能である。

【0132】

前記要素またはブロックは、分割不可能な形状の最小単位として定義することも可能であり、また形状のアトムまたはプリミティブまたはボクセルと呼ばれることもある。

【0133】

ここに図解されている例においては、各形状３０１、３０２、３０３および３０４が、例示的に均等に、所定の形状について同一サイズのボクセルに分割され、たとえば、２Ｄ形状３０１が２×２のボクセルに、すなわち同一サイズの４つのボクセル３０６に分けられ、２Ｄ形状３０２が４×４のボクセルに、すなわち同一サイズの１６個のボクセル３０７に分けられ、２Ｄ形状３０３が２×４のボクセルに、すなわち同一サイズの８つのボクセル３０８に分けられ、２Ｄ形状３０４が２×４のボクセルに、すなわち同一サイズの８つのボクセル３０８に分けらる。

【0134】

２Ｄ形状に基づく前記例示的なサンプリング・モデル３００は、とりわけ、１つ以上の３Ｄ形状に基づく図２の例示的なサンプリング・モデル２１０に対する代替として使用することが可能である。

【0135】

たとえば、例示的なサンプリング・モデル３００の例示的な２Ｄ形状は、後ろにぴったりついての通り抜け、またはそのほかの不正乗車の実践を検出するために、検出されるべき特定の問題または状況または挙動の検出に適していると見做される表面、たとえば管理ゲートまたは改札機の表面上へ投影することが可能である。

【0136】

これにおいて、また一般的に、サンプリング・モデルが適用されるか／マッピングされるか／投影されるビデオ解析システムのセンサによって観察される現実の物理的なシーン内の表面または物体は、実際の物理的な表面に対応することが必ずしも限定されなくてよいことに注意する必要がある。

【0137】

たとえば、シーン内に、そのシーン内の物理的な表面、物体、またはラインに対する関係に基づいて定義される人工的な表面または物体または線を定義できることが企図可能である。たとえば、例示的な改札機のスライド・ドアが移動する平面と平行な平面、またはそれを包含する平面、あるいは例示的な改札機の三脚回転式改札口の軸と整列するか、またはそれと平行な線。

【0138】

また、サンプリング・モデルまたはサンプリング・モデルのあらかじめ決定済みの形状を、観察されるシーン内の物理的な物体、物体、または線との直接的な関係を有することのないセンサによって取り込まれたシーン上に投影することが可能であることも企図できる。

【0139】

２Ｄ形状の処理が、通常、３Ｄ形状と比較したとき、カバーされる所定のデータ抽出エリア（関心領域）より小さいサイズの多次元配列、たとえばテンソルを生成することから、検出されるべき問題または状況の複雑性または特定のジオメトリによっては、２Ｄ形状に基づく例示的なサンプリング・モデル３００の方が、３Ｄ形状に基づくサンプリング・モデル２１０より好ましいことがある。

【0140】

したがって、ここに述べられているビデオ解析方法ステップおよびシステムという点においては、とりわけ、３Ｄ形状の処理より高速、かつより少ない演算資源を伴って２Ｄ形状の処理を実行することが可能である。

【0141】

図４は、上に述べられ、またここで述べられている異なる空間の間における関係４００のいくつかの態様を例示的に図解している。

【0142】

たとえば、現実の３Ｄ空間４０１内の例示的な現実のシーン４１０は、街路４０５、家屋４０８、車庫４０７、樹木４０９、および車庫４０７までの私設車道４０６といった現実の物体を例示的に包含することができる。

【0143】

センサ、たとえばカメラが、この例示的な現実のシーン４１０を、少なくとも１つのひと続き画像フレームからの少なくとも１つの画像フレーム４１２内に取り込むこと（４１１）が可能である。この例示的な画像フレーム４１２は、２次元投影された空間（投影された３Ｄ空間と呼ぶことも可能である）内の２次元画像フレームであり、投影された現実、たとえば現実のシーン４１０の投影または現実のシーン４１０の少なくとも一部の投影を表す。画像フレーム４１２は、複数の画像ピクセル（図示せず）を包含する例示的なデジタル・フォーマットである。

【0144】

参照番号４１３は、例示的な（仮想）３Ｄベクトル空間４０３内に定義された例示的な３Ｄ形状４１４の形式の例示的なサンプリング・モデル、たとえば３Ｄ直方体４１５を示している。

【0145】

前記例示的な３Ｄ形状４１４、すなわち例示的な３Ｄ直方体４１５は、３Ｄベクトル空間４０３の軸に沿って例示的に、複数のボクセル４１６、たとえば４×２×４＝３２個のボクセル４１６に細分またはスライスまたは区分される。

【0146】

サンプリング・モデル４１３は、例示的に、画像フレーム４１２に適用され／マッピングされ／その上に投影される（４１７）。この投影４１７は、たとえば、上に述べられているステップのいずれかに従って、特に、たとえば、サンプリング・モデル４１３の基準点と整合させるべき画像フレーム内の基準点を識別すること、および線形方程式系を解決して、サンプリング・モデル４１３と画像フレーム４１２の間における変換を確立するための対応する変換係数を決定することに起因して実行することができる。

【0147】

図解された例示的な場合においては、同一のサンプリング・モデル４１３が、２回、すなわち、画像フレーム４１３の２つの異なる部分に対して適用される。この場合においては、サンプリング・モデル４１３と、画像フレーム４１２の２つの異なる部分との間における変換を確立するための対応する変換係数を決定する２つの別々の線形方程式系が計算されることになる。

【0148】

したがって、画像フレーム４１２に適用されるサンプリング・モデル４１３の２つのインスタンスまたは具現４１８、４１９を作成すること、および特定の問題または状況を検出する解析のためにデータが抽出されることになる２つの例示的なエリア４２１、４２２または関心領域を定義すること。

【0149】

図解されている現在の場合においては、サンプリング・モデル４１３あるいはサンプリング・モデル４１３の２つのインスタンスまたは具現４１８、４１９を、街路４０５に沿った２つの例示的な通路または空間的ボリュームまたはセグメント４２６、４２７からのデータのサンプリングおよび抽出に使用することが可能である。

【0150】

抽出されるべきデータは、たとえば、投影されたボクセルまたは投影されたボクセルのエリア４２０毎に抽出されることが可能であり、かつ抽象的または数値データ空間４０４内の１つ以上の多次元配列４２４、４２５、たとえばテンソルに、プロセッサ、たとえばグラフィカル処理ユニット（ＧＰＵ）または中央処理ユニット（ＣＰＵ）によるデジタルまたは演算処理に適したフォーマットで抽出すること（４２５）が可能である。

【0151】

換言すれば、サンプリング・モデル４０３の投影されたボクセル４２０によってカバーされる画像フレーム・ピクセルのデータは、多次元配列４２４、４２５、たとえばテンソルに抽出し（４２４）、かつストアすることが可能である。

【0152】

抽出されたデータは、その後、たとえば上に述べられているとおり、機械学習テクニックを適用することによって解析され、特定の問題または状況または挙動を検出することが可能である。

【0153】

抽出されたデータの解析は、サンプリング・モデル４０３によってカバーされる画像フレーム４１２の異なるエリアまたは領域４２１、４２２毎に、たとえば、サンプリング・モデル４０３のインスタンス４１８、４１９毎に別々に実行することができるか、またはサンプリング・モデル４０３によってカバーされる画像フレーム４１２のすべてのエリアまたは領域４２１、４２２を合同して実行することができる。

【0154】

抽出されたデータは、その後、たとえば、画像フレーム４１２の解析エリア（１つ以上）４２１、４２２内の人々および／または車両の存在または通行、その種の通行の個別の、または群としての方向および／または速度（たとえば、流れ、減速、密集、および混雑の決定）の検出、置き去りにされた物体の検出、パニック状況、混乱、または暴動（異常な速度で、または異常な方向に移動する人々または車両、または異常な量の存在）または闘争の検出、徘徊または過大な物体の検出、または速度監視、または占有レベルまたはそのほかの状況の推定および／または決定のために解析することが可能である。

【0155】

上の全般部分に示されているとおり、抽出されたデータに基づいて検出することが可能な問題または状況または挙動は、多方面にわたることが可能であり、ここに提示した例に限定されない。

【0156】

さらに注意することは、当業者は、ここに述べられているステップおよびテクニックに従って抽出されたデータの観点において、選択された特定の問題または状況または挙動のための適切な検出評価基準を定義することが完全に可能であるということである。

【0157】

抽出されたデータに基づいて検出することが可能な問題または状況または挙動の例は、物理的な現実の３次元性を考慮に入れない、また画像からのデータの単調な抽出の使用に基づいた現実性の表現に制限される現在最先端のテクニックと比較したとき、より正確な物理的な３次元物体の表現を構築するべく、ここに述べられている、少なくとも１つの画像フレームからデータをサンプリングし、かつ解析するためのステップおよびビデオ解析テクニックをどのように使用することが可能であるかの説明に役立てるものに過ぎない。

【0158】

完全を期するために述べるが、たとえば、２つの３Ｄ形状のセット、たとえば２つの３Ｄ直方体のセットを包含する単一のサンプリング・モデルを定義し、その後、画像フレームに対して前記サンプリング・モデルを一度だけ適用し、すなわち単一の線形方程式系だけを確立して、サンプリング・モデル４１３と画像フレーム４１２の間における変換を確立するための対応する変換係数を決定することも可能であることにさらに注意される必要がある。その後、抽出されたデータを単一の多次元配列またはテンソル内にストアすることも企図される。

【0159】

図５ａは、センサ、たとえばカメラによって取り込まれた、ひと続きの画像フレームからの例示的な画像フレーム５２９内の改札機システム５３２、たとえば地下鉄の駅の改札機システムの現実のシーン５０８を例示的かつ略図的に示しており、それにおいて改札機５２４は、たとえば、不正乗車する者または改札機への欺瞞的なアクセスをする者を検出するべくビデオ解析システムによって監視されることになる。

【0160】

画像フレーム５３１上には、例示的なサンプリング・モデル５１０、またはサンプリング・モデルの例示的なインスタンスまたは現実化、または画像フレーム５３１に対して適用されたサンプリング・モデルの適用または投影が重ね合わされている。

【0161】

この例においては、サンプリング・モデル５１０が、例示的な（仮想）３Ｄベクトル空間５２１内に定義された例示的な３Ｄ直方体５０５の形式の例示的な３Ｄ形状に基づく／それによって定義される。

【0162】

手前に一般的に、かつ／または具体的に述べられているとおり、サンプリング・モデル５１０の例示的な基準点Ｐ_４ ５０９、Ｐ_１ ５１０、Ｐ_２ ５１１、Ｐ_３ ５１２が、たとえば、前記サンプリング・モデルの前記基準点と画像フレーム内の基準点の間における線形方程式系を確立し、かつ解決し、対応するマッピングまたは投影変換係数を決定することによって例示的な改札機５２４のジオメトリと例示的に相関されるか、または整合され、画像フレーム５３１上に投影される。画像フレーム５３１内の前記例示的な基準点は、より良好な読み取りのために明示的に示されていないが、たとえば、サンプリング・モデル５１０の前記例示的な基準点Ｐ_４ ５０９、Ｐ_１ ５１０、Ｐ_２ ５１１、Ｐ_３ ５１２によってマークされる位置にあると仮定することが可能である。

【0163】

参照番号５０４は、サンプリング・モデル５１０の例示的な考え得るボクセルまたは投影されたボクセル５０４を示す。サンプリング・モデル５１０のそのほかのボクセルまたはそのほかの投影されたボクセルは、より容易な図３の読み取りのために明示的に図示されていないが、サンプリング・モデル５１０内に、すなわち３Ｄ直方体５０５内に存在すると仮定することが可能である。

【0164】

また、画像フレーム５３１の画像ピクセルも明示的に図示、またはマークされていないが、画像フレーム５３１が複数のピクセルを包含するデジタル・フォーマットであると仮定することも可能である。

【0165】

画像フレーム５３１に適用され／マッピングされ／その上に投影されるサンプリング・モデル５１０は、その後例示的に、データが抽出されることになる画像フレーム５３１のエリア５２９を定義する。

【0166】

また、手前においても一般的に、かつ／または例示的に上に述べられているとおり、その後データを、サンプリング・モデル５１０によってカバーされる、たとえば投影されたボクセル５０４によってカバーされる画像ピクセルから抽出することが可能である。

【0167】

抽出されたデータは、多次元配列、たとえばテンソル内に保存することが可能である。

【0168】

抽出されたデータに基づいて、その後、特定の問題または状況または挙動を検出するために、解析を実行することが可能である。

【0169】

たとえば、改札機５２４における欺瞞的なアクセス、たとえば後ろにぴったりついての通り抜けに起因する不正乗車を検出する解析を実行することが可能である。

【0170】

図５ｂは、改札機システム５３３、たとえば地下鉄の駅の改札機システムの代替の現実のシーン５２７を、例示的な複数の改札機とともに例示的に、かつ略図的に示している。

【0171】

例示的な改札機システム５３３は、図５ａの改札機システムの例示的な画像フレーム５３１を取り込むセンサの視点と比較したときに異なる改札機システムの視点を伴ってセンサ、たとえばカメラによって画像フレーム５３０内に前記例示的な改札機システム５３３が例示的に取り込まれることを除けば、図５ａの例示的な改札機システム５３２と同一または類似とすることが可能である。

【0172】

図５ａと同様に、センサ、たとえばカメラによって取り込まれたひと続きの画像フレーム、たとえばビデオ・ストリームの一部である画像フレーム５３０を解析するビデオ解析システムによって検出されることになる例示的な問題または状況または挙動は、改札機システム５３３、特に、改札機５２５および５２６における不正乗車する者または欺瞞的なアクセスの検出とすることが可能である。

【0173】

参照番号５０２、５０３は、例示的なサンプリング・モデルまたは画像フレーム５３３に対して適用されたサンプリング・モデルのインスタンスまたは現実化または適用または投影を示す。

【0174】

例示的なサンプリング・モデル５０２、５０３は、例示的な３Ｄ直方体５０６、５０７を、例示的な（仮想）３Ｄベクトル空間５２２、５２３内に定義され、例示的に画像フレーム５３０上に重ね合わせて示されている例示的な３Ｄ形状として例示的に包含する。

【0175】

手前に一般的に、かつ／または具体的に述べられているとおり、サンプリング・モデル５０２、５０３の例示的な基準点Ｐ_１ ^１ ５１３、Ｐ_２ ^１ ５１４、Ｐ_３ ^１ ５１５、Ｐ_４ ^１ ５１６、Ｐ_１ ^２ ５１７、Ｐ_２ ^２ ５１８、Ｐ_３ ^２ ５１９、Ｐ_４ ^２ ５２０が、たとえば、前記サンプリング・モデルの前記基準点と画像フレーム内の基準点の間における対応する線形方程式系または対応する複数の線形方程式系を確立し、かつ解決し、対応するマッピングまたは投影変換係数を決定することによって例示的な改札機５２５、５２６のジオメトリと例示的に相関されるか、または整合され、画像フレーム５３０上に投影される。画像フレーム５３０内の前記例示的な基準点は、より良好な読み取りのために明示的に示されていないが、たとえば、サンプリング・モデル５０２、５０３の前記例示的な基準点Ｐ_１ ^１ ５１３、Ｐ_２ ^１ ５１４、Ｐ_３ ^１ ５１５、Ｐ_４ ^１ ５１６、Ｐ_１ ^２ ５１７、Ｐ_２ ^２ ５１８、Ｐ_３ ^２ ５１９、Ｐ_４ ^２ ５２０によってマークされる位置にあると仮定することが可能である。

【0176】

図５ｂのより良好な読み取りのために、例示的なあらかじめ決定済みの３Ｄ形状５０６、５０７を構成することができる要素またはブロックまたはボクセルは、図５ｂ内に示されていない。それにもかかわらず、上に述べられているとおり、前記３Ｄ形状または３Ｄ直方体５０６、５０７を、複数の要素またはブロックまたはボクセルに区分すること、または分割すること、またはスライスすることが可能であると仮定することは可能である。

【0177】

また、画像フレーム５３０の画像ピクセルも明示的に図示、またはマークされていないが、画像フレーム５３０は、複数のピクセルを包含するデジタル・フォーマットであると仮定することが、この場合においても可能である。

【0178】

画像フレーム５３０に適用され／マッピングされ／その上に投影されるサンプリング・モデル５０２、５０３は、その後例示的に、データが抽出されることになる画像フレーム５３０のエリアまたは複数のエリア５２８を定義する。

【0179】

また、手前においても一般的に、かつ／または例示的に上に述べられているとおり、その後データを、サンプリング・モデル５０２、５０３によってカバーされる、たとえば前記サンプリング・モデルの投影された要素またはブロックまたはボクセルによってカバーされる画像ピクセルから抽出することが可能である。

【0180】

抽出されたデータは、多次元配列、たとえばテンソル内に保存することが可能である。

【0181】

抽出されたデータに基づいて、その後、特定の問題または状況または挙動を検出するために、解析を実行することが可能である。

【0182】

たとえば、両方の改札機５２５および５２６における欺瞞的なアクセス、たとえば後ろにぴったりついての通り抜けに起因する不正乗車を検出する解析を実行することが可能である。

【0183】

また、手前にも示されているとおり、別々のサンプリング・モデルとして前記３Ｄ形状５０２、５０３を処理することに代えて、あらかじめ決定済みの形状のセット、たとえば２つのあらかじめ決定済みの３Ｄ形状５０２、５０３に基づいて単一のサンプリング・モデルを定義することもさらに企図されている。

【0184】

さらに再度言及するが、画像フレーム５３１および５３０内に図示されている両方の例示的な現実のシーン５０８および５２７について、同一のサンプリング・モデル（１つ以上）を使用することは可能であり、それにおいて「同一」は、まったく同じであること、および／または同一のトポロジを有することを意味することが可能である。

【0185】

参照番号が次に示す例示的な要素を識別する図１、図２、図３、図４、図５ａ、および図５ｂを包含する５枚の図面を添付する。

【符号の説明】

【0186】

１００ 例示的な画像フレーム
１０１ 例示的な第１の座標軸、たとえば例示的な画像フレーム座標系のＸ軸
１０２ 例示的な第２の座標軸、たとえば例示的な画像フレーム座標系のＹ軸
１０３ 画像フレームの例示的なピクセル
１０４ 画像フレーム上へのあらかじめ決定済みの形状の例示的な投影、画像フレーム上に投影される例示的なサンプリング・モデルの例示的な投影、例示的な関心領域
１０５ あらかじめ決定済みの形状の投影によってカバーされる画像フレームの例示的なピクセル
１０６ 画像フレーム上へのあらかじめ決定済みの形状１０４の投影の例示的な周囲
１０７ データが抽出されることになる画像フレームの例示的なエリア、例示的な関心領域
２００ （仮想）３Ｄベクトル空間内の例示的な３Ｄ形状、例示的な平行六面体、例示的な直方体
２０１ 例示的な基準座標を伴う例示的な（第１の）基準点
２０２ 例示的な基準座標を伴う例示的な（第２の）基準点
２０３ 例示的な基準座標を伴う例示的な（第３の）基準点
２０４ 例示的な基準座標を伴う例示的な（第４の）基準点
２０５ 例示的な（第１の）座標軸、例示的な第１の（仮想）３Ｄベクトル空間の軸
２０６ 例示的な（第２の）座標軸、例示的な第２の（仮想）３Ｄベクトル空間の軸
２０７ 例示的な（第３の）座標軸、例示的な第３の（仮想）３Ｄベクトル空間の軸
２０８ （仮想）３Ｄベクトル空間内における例示的な３Ｄ形状の例示的な要素またはブロックまたはボクセル
２０９ （仮想）３Ｄベクトル空間内における３Ｄ形状の例示的な基準点のセット、例示的な頂点
２１０ 例示的なサンプリング・モデル
２１１ 例示的な直方体、例示的な３Ｄ直方体
２１２ 例示的な（仮想）３Ｄベクトル空間
３００ 例示的な代替サンプリング・モデル
３０１ 例示的な（第１の）２Ｄ形状、例示的な平行四辺形、例示的な矩形
３０２ 例示的な（第２の）２Ｄ形状、例示的な平行四辺形
３０３ 例示的な（第３の）２Ｄ形状、例示的な平行四辺形、例示的な矩形
３０４ 例示的な（第４の）２Ｄ形状、例示的な平行四辺形
３０５ あらかじめ決定済みの形状の例示的なセット、例示的な２Ｄ形状の例示的なセット
３０６ （第１の）２Ｄ形状３０１の例示的なボクセル
３０７ （第２の）２Ｄ形状３０２の例示的なボクセル
３０８ （第３の）２Ｄ形状３０３の例示的なボクセル
３０９ （第４の）２Ｄ形状３０４の例示的なボクセル
３１０ 例示的な（仮想）３Ｄベクトル空間
４００ 空間の間における例示的な略図的関係
４０１ 例示的な現実の３Ｄ空間、例示的な現実の物理的３Ｄ空間、例示的な現実の空間
４０２ 例示的な２次元投影された空間／例示的な投影された３Ｄ空間
４０３ 例示的な仮想３Ｄベクトル空間、例示的な３Ｄベクトル空間
４０４ 例示的な抽象的または数値的多次元データ空間
４０５ 例示的な街路
４０６ 例示的な私設車道
４０７ 例示的な車庫
４０８ 例示的な家屋
４０９ 例示的な樹木
４１０ 例示的な現実のシーン
４１１ センサ、たとえばカメラによる例示的な現実のシーンの取り込みまたは記録の例示的な作用／ステップ
４１２ 例示的な画像フレーム、たとえば複数のピクセルを包含するデジタル・フォーマットの画像フレーム
４１３ 例示的なサンプリング・モデル
４１４ 例示的なあらかじめ決定済みの形状、例示的な３Ｄ形状
４１５ 例示的な３Ｄ直方体、例示的な直方体
４１６ 形状４１４の例示的要素または例示的なブロックまたは例示的なボクセル
４１７ 画像フレームに対する／画像フレーム上への、サンプリング・モデルの適用／マッピング／投影の例示的な作用／ステップ
４１８ 画像フレームに適用される／マッピングされる／画像フレーム上に投影されるサンプリング・モデル４０３の例示的な（第１の）インスタンスまたは現実化
４１９ 画像フレームに適用される／マッピングされる／画像フレーム上に投影されるサンプリング・モデル４０３の例示的な（第２の）インスタンスまたは現実化
４２０ 例示的な投影された要素または投影されたブロックまたは投影されたボクセル、投影された要素または投影されたブロックまたは投影されたボクセルの例示的な投影されたエリア
４２１ 例示的なサンプリング・モデルによってカバーされる画像フレームの例示的な（第１の）エリア
４２２ 例示的なサンプリング・モデルによってカバーされる画像フレームの例示的な（第２の）エリア
４２３ 画像フレームからデータを抽出する例示的な作用／ステップ
４２４ 例示的な（第１の）多次元データ構造、たとえば多次元配列、たとえばテンソル
４２５ 例示的な（第２の）多次元データ構造、たとえば多次元配列、たとえばテンソル
４２６ 街路４０５に沿った例示的な（第１の）通路または空間的ボリュームまたはセグメント
４２７ 街路４０５に沿った例示的な（第２の）通路または空間的ボリュームまたはセグメント
５０１ 例示的なサンプリング・モデル、サンプリング・モデルの例示的なインスタンス
５０２ 例示的なサンプリング・モデル、サンプリング・モデルの第１の例示的なインスタンス
５０３ 例示的なサンプリング・モデル、サンプリング・モデルの第２の例示的なインスタンス
５０４ 例示的なボクセル、例示的な投影されたボクセル
５０５ 例示的な３Ｄ形状、例示的な３Ｄ直方体
５０６ 例示的な（第１の）３Ｄ形状、例示的な３Ｄ直方体
５０７ 例示的な（第２の）３Ｄ形状、例示的な３Ｄ直方体
５０８ 改札機の例示的な現実のシーン、取り込まれた例示的な画像フレーム
５０９ 例示的な基準点Ｐ_４
５１０ 例示的な基準点Ｐ_１
５１１ 例示的な基準点Ｐ_２
５１２ 例示的な基準点Ｐ_３
５１３ 例示的な基準点Ｐ_１ ^１
５１４ 例示的な基準点Ｐ_２ ^１
５１５ 例示的な基準点Ｐ_３ ^１
５１６ 例示的な基準点Ｐ_４ ^１
５１７ 例示的な基準点Ｐ_１ ^２
５１８ 例示的な基準点Ｐ_２ ^２
５１９ 例示的な基準点Ｐ_３ ^２
５２０ 例示的な基準点Ｐ_４ ^２
５２１ 例示的な（仮想）３Ｄベクトル空間
５２２ 例示的な（仮想）３Ｄベクトル空間
５２３ 例示的な（仮想）３Ｄベクトル空間
５２４ 監視されることになる例示的な改札機
５２５ 監視されることになる例示的な改札機
５２６ 監視されることになる例示的な改札機
５２７ 改札機の例示的な現実のシーン、取り込まれた例示的な画像フレーム
５２８ サンプリング・モデル（１つ以上）によって定義される画像フレーム内の例示的なエリアまたは領域
５２９ サンプリング・モデルによって定義される画像フレーム内の例示的なエリアまたは領域
５３０ 例示的な画像フレーム
５３１ 例示的な画像フレーム
５３２ 例示的な複数の改札機を伴う例示的な改札機システム
５３３ 例示的な複数の改札機を伴う例示的な改札機システム

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【国際調査報告】