▶ フジツウ テクノロジー ソリューションズ ゲーエムベーハーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-26
(45)【発行日】2024-08-05
(54)【発明の名称】レーストラックのＡＩベースのモニタリング
(51)【国際特許分類】
G06T 7/00 20170101AFI20240729BHJP
G08G 1/00 20060101ALI20240729BHJP
H04N 7/18 20060101ALI20240729BHJP
【ＦＩ】
G06T7/00 650Z
G08G1/00 D
H04N7/18 D
H04N7/18 K
【請求項の数】
12
(21)【出願番号】P 2023503059
(86)(22)【出願日】2022-06-27
(65)【公表番号】
(43)【公表日】2023-08-29
(86)【国際出願番号】 EP2022067557
(87)【国際公開番号】W WO2023274955
(87)【国際公開日】2023-01-05
【審査請求日】2023-01-16
(31)【優先権主張番号】21183397.5
(32)【優先日】2021-07-02
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】21206396.0
(32)【優先日】2021-11-04
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】522288832
【氏名又は名称】フジツウ テクノロジー ソリューションズ ゲーエムベーハー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】シュテファン・シファー
(72)【発明者】
【氏名】マルセル・ナウジャエック
【審査官】淀川 滉也
(56)【参考文献】
【文献】米国特許出願公開第２０１８／０３４１８１２（ＵＳ，Ａ１）
【文献】国際公開第２０１８／１８０３６５（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０２１／００７３５３９（ＵＳ，Ａ１）
【文献】特開２０１９－１２４９８６（ＪＰ，Ａ）
【文献】特表２０２１－５１１７２９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０８Ｇ １／００
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
レーストラックをモニタリングする方法であって、前記レーストラックの少なくとも１つのセクションをキャプチャするトラック側のカメラから少なくとも１つの画像のシーケンスを取得することと、
前記画像のシーケンスの画像を前記レーストラックと関連付けられる異なるエリアにセグメント化することと、
自動オブジェクト認識を用いて前記画像のシーケンス中の車両を検出することと、
少なくとも１つの車両がひとたび検出されると、以下のステップ、すなわち、
前記少なくとも１つの検出される車両を前記レーストラックと関連付けられる前記異なるエリアのうちの少なくとも１つにマッピングするステップ、
前記少なくとも１つの検出される車両の通過前に撮られる前記少なくとも１つの画像のシーケンスのうちの第１の画像を、前記少なくとも１つの検出される車両の通過後に撮られる前記少なくとも１つの画像のシーケンスのうちの第２の画像と比較して、前記レーストラックに沿う異常を検出するステップ、
自動パターン認識に基づいて任意の検出される異常を分類するステップ、
任意の検出される異常を前記レーストラックと関連付けられる前記異なるエリアのうちの少なくとも１つにマッピングするステップ、および
少なくとも１つのセットのルールに基づいて少なくとも１つの警告デバイスをアクティブ化させるステップであって、前記少なくとも１つのセットのルールは、前記少なくとも１つの検出される車両が前記レーストラックの第１の所定のエリア、特に、ガードレールまたは境界線エリアにマッピングされるならば、第１の警告をトリガする、第１のルールと、前記検出される異常が前記レーストラックの第２の所定のエリアにマッピングされるならば、警告をトリガする、第２のルールとを含む、アクティブ化させるステップ、
を実行することと、を含む、
方法。
【請求項2】
前記レーストラックの前記エリアは、走行面、レーン、トラック境界、ガードレール、逃避エリア、境界外エリア、ピットエリア、眺望エリア、タールマックエリア、砂利エリア、汚物エリア、草地エリア、および植林エリアのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項3】
検出される異常は、それが１つ以上の雨粒、葉、反射、影、および／または光ビームとして分類されるならば、許容できるものとして分類される、並びに／或いは、検出される異常は、それが車両部分、油、および／または砂利として分類されるならば、許容できないものとして分類される、
請求項１に記載の方法。
【請求項4】
少なくとも１つの車両が前記レーストラックまたは前記レーストラックのモニタリングされる部分に入るときに撮られる少なくとも１つの画像に基づいて埋め込みのための少なくとも１つの基準埋め込みベクトルを計算することと、埋め込みを用いて前記少なくとも１つの車両を所定のセットの車両のうちの特定の車両として再識別することと、を更に含む、
請求項１に記載の方法。
【請求項5】
前記少なくとも１つの車両が前記レーストラックに入るときに撮られる前記少なくとも１つの画像から、前記少なくとも１つの車両の少なくとも１つの特徴的な構成、特にナンバープレートまたは他の登録番号を抽出することを更に含み、前記少なくとも１つの特徴的な構成は、前記少なくとも１つの車両を再識別するステップにおいて使用される、請求項４に記載の方法。
【請求項6】
前記再識別される車両を前記レーストラックのデジタル表現における対応するデジタルツインにマッピングすることを更に含む、請求項４に記載の方法。
【請求項7】
前記所定のセットの車両は、前記レーストラックの前記デジタル表現において対応するデジタルツインを有する全ての車両のサブセットに対応し、該サブセットは、前記対応するデジタルツインのデータに基づいて前記レーストラックの前記少なくとも１つのセクションに対応する画像のシーケンス中の所与の車両を再識別する可能性を提供する第３のセットのルールに基づいて選択される、請求項６に記載の方法。
【請求項8】
前記複数の画像のシーケンスのうちの各１つのシーケンスにおける少なくとも１つの特定の車両の再識別に基づいて前記レーストラックの異なるセクションをキャプチャする複数のカメラから複数の画像のシーケンスを選択することと、前記複数のシーケンスをカットして、前記レーストラックに沿って走行する前記少なくとも１つの特定の車両の映像を生成することと、を更に含む、
請求項４に記載の方法。
【請求項9】
マッピング関係に基づいて少なくとも１つの再識別される車両の第１の現実世界位置を決定すること、および／または前記マッピング関係に基づいて検出される少なくとも１つの異常の第２の現実世界位置を決定することを更に含み、
関係をマッピングすることは、前記少なくとも１つの画像のシーケンスの前記画像中の複数の画素エリアを、前記カメラによってキャプチャされる前記レーストラックの対応するセクションの対応する複数の現実世界位置にマッピングする、
請求項４に記載の方法。
【請求項10】
前記再識別される車両を前記レーストラックのデジタル表現における対応するデジタルツインにマッピングすることと、それぞれの車両の軌跡を前記レーストラックのデジタル表現に保存するために、再識別される車両の第１の現実世界位置が決定されるたびに、第１の位置およびタイムスタンプ情報を、前記対応するデジタルツインに追加することと、を更に含む、
請求項９に記載の方法。
【請求項11】
第２の位置およびタイムスタンプ情報を、前記レーストラックに沿って検出される少なくとも１つの許容できない異常の対応するデジタル表現に追加することと、前記少なくとも１つの許容できない異常を引き起こす可能性が高い車両を識別するために、再識別される車両の軌跡を前記画像のシーケンスにおける前記検出される異常の位置および第１の発生と比較することによって、前記第１および第２の位置およびタイムスタンプ情報を相関させることと、を更に含む、
請求項１０に記載の方法。
【請求項12】
レーストラックのためのモニタリングシステムであって、各カメラが前記レーストラックの少なくとも１つのセクションをカバーする視野を有する、１つ以上のトラック側のカメラと、
前記１つ以上のトラック側のカメラのうちの少なくとも１つのトラック側のカメラから少なくとも１つの画像のシーケンスを取得するように構成される画像キャプチャシステムと、
第１の警告および／または第２の警告がトリガされるときにアクティブ化されるように構成される１つ以上の警告デバイスと、
少なくとも１つのプロセッサを含む画像処理システムと、を含み、
前記プロセッサは、
前記画像のシーケンスの画像を前記レーストラックと関連付けられる異なるエリアにセグメント化し、
自動オブジェクト認識を用いて前記画像のシーケンス中の車両を検出し、
任意の検出される車両を前記レーストラックと関連付けられる前記異なるエリアのうちの少なくとも１つのエリアにマッピングし、
少なくとも１つの検出される車両の通過前に撮られる前記少なくとも１つの画像のシーケンスのうちの第１の画像を、前記少なくとも１つの検出される車両の通過後に撮られる前記少なくとも１つの画像のシーケンスのうちの第２の画像と比較して、前記レーストラックに沿う異常を検出し、
自動パターン認識に基づいて任意の検出される異常を分類し、
任意の検出される異常を前記レーストラックと関連付けられる前記異なるエリアのうちの少なくとも１つのエリアにマッピングし、
前記少なくとも１つの検出される車両が前記レーストラックの第１の所定のエリアにマッピングされるならば、第１の警告をトリガし、且つ／或いは、前記検出される異常が前記レーストラックの第２の所定のエリアにマッピングされるならば、第２の警告をトリガする、
ように構成される、
モニタリングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プロおよびアマチュアのカーレースのために使用されるレーストラックのようなレーストラックのための新しいＡＩベースのモニタリング(監視)システムおよび方法に関する。
【背景技術】
【0002】
レーストラック、特にニュルブルクリンクのノースループのようなカーレーストラックは、しばしば、ブラインドコーナー、落下および有意な標高変化を含む、多くの曲がり角を特徴とし、レーストラックを困難にし、よって、高速走行に対して潜在的に危険である。歴史的には、車両がトラック(軌道)を離れることのような事件の事態において、レースマーシャルは、無線通信とトラック上の他のマーシャルとの通信に依存して、そのような情報を１人以上のレース管制官に中継し、トラックの安全性に関する決定を下していた。直接的な視線(line of sight)がない場合には、事件を迅速に評価して対応することは、しばしば困難であった。数百台もの車両が同時にトラック上にあるならば、安全性に関する決定の迅速さおよび正しさは、運転手および見物人を保護するために不可欠である。
【0003】
特許文献１は、トラックモニタリング装置およびシステムを開示している。具体的には、それは、レースに参加している１台以上の参加車両が、所定のルートまたはトラックに乗っているか或いは所定のルートまたはトラックを離れたかを検出するシステムおよび方法に関する。システムは、トラック内または上に設けられる一連の指示手段と、車両に搭載される検出手段とを含む。指示手段が検出手段によって検出されるならば、これは車両がトラックを離れたことの表示として理解され、アラート(警告)またはアラーム(警報)が生成されることができ、ペナルティが特定された車両に対して割り当てられることがある。
【0004】
特許文献２は、別のレースモニタリングシステムを開示している。開示されるオートレースモニタリングシステムは、各レースカーの少なくとも受信機のペアによって受信されるべき信号を送信する少なくとも３つの送信機を含む地上位置決めシステムをレーストラックに提供する。それらの受信機は、その位置を瞬時に決定し、相応して、レーストラック上のレースカーの正確な位置および姿勢を決定する。この情報は、視認者がレース中の任意の特定の時にモニタリングすることを欲する任意の特定のレースカーを選択できるように、車速、エンジン温度、油圧のような、レースカーのパラメータに関するデータとともに、送信機によってメインフレームコンピュータと相互接続された受信機に送信される。
【0005】
特許文献３は、レーストラック上の少なくとも１台の車両の画像データを自動的に追跡して分析するための方法およびシステムを開示しており、レーストラックの周囲に位置付けられる複数のビデオカメラを備えたビデオイベント管理システムが、少なくとも１台の車両の存在を決定し、少なくとも１台の車両および他のオブジェクトについてのダイナミクスに対応する重み付けイベントスコアに基づいてビデオ画像および静止画をキャプチャし、少なくとも１つのサブフレームを生成する。余分なビデオ画像データおよび余分な静止画データは、リンクされたサブフレームのメタデータに基づいて破棄される。
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記モニタリングシステムは、レースモニタリングおよび制御において有益であり得るが、それらは特殊化された機器が車両内に設置されることを必要とし、従って、全てのタイプのレースまたはレース車両に適していない。その上、使用される特殊化された感知技術の故に、それらは、特に大きなレーストラック上で、比較的高価であり、実装が困難である。従って、多くのタイプのレースまたはレース参加者に適し、好ましくは、実装が簡単で費用効果的である、レーストラックのための改良されたモニタリングシステムおよび方法を提供する必要がある。
【課題を解決するための手段】
【0007】
第１の態様によれば、レーストラックをモニタリングする方法は、以下のステップ、すなわち、
－ レーストラックの少なくとも１つのセクションをキャプチャするカメラから少なくとも１つの画像のシーケンスを取得するステップと、
－ 画像のシーケンスの画像をレーストラックと関連付けられる異なるエリアにセグメント化するステップと、
－ 自動パターン認識、特に自動オブジェクト認識を用いて、画像のシーケンス中の少なくとも１つの車両を検出するステップと、
－ 少なくとも１つの検出される車両をレーストラックと関連付けられる異なるエリアのうちの少なくとも１つにマッピングするステップと、
－ 第１のセットのルールに基づいて少なくとも１つの警告デバイスをアクティブ化させることであって、第１のセットのルールは、少なくとも１つの検出される車両が、ガードレールまたは境界線エリアのようなレーストラックの第１の所定のエリアにマッピングされるならば、第１の警告をトリガする、少なくとも１つの第１のルールを含む、アクティブ化させるステップと、を含む。
－ レーストラックの少なくとも１つのセクションをキャプチャするカメラから少なくとも１つの画像のシーケンスを取得するステップと、
－ 画像のシーケンスの画像をレーストラックと関連付けられる異なるエリアにセグメント化するステップと、
－ 自動パターン認識、特に自動オブジェクト認識を用いて、画像のシーケンス中の少なくとも１つの車両を検出するステップと、
－ 少なくとも１つの検出される車両をレーストラックと関連付けられる異なるエリアのうちの少なくとも１つにマッピングするステップと、
－ 第１のセットのルールに基づいて少なくとも１つの警告デバイスをアクティブ化させることであって、第１のセットのルールは、少なくとも１つの検出される車両が、ガードレールまたは境界線エリアのようなレーストラックの第１の所定のエリアにマッピングされるならば、第１の警告をトリガする、少なくとも１つの第１のルールを含む、アクティブ化させるステップと、を含む。
【0008】
とりわけ、本発明者は、画像セグメント化、オブジェクト検出および位置決めのような、人工知能（ＡＩ）ベースの技法技術を使用して、レーストラック上のインシデントの検出を自動化すること、よって、高速化することができることを認識した。その上、検出結果を関連するアクションと関連付けるルールのセットを提供することは、レーストラックモニタリングの柔軟性および有効性を大幅に高めることができる。
【0009】
第２の態様によれば、レーストラックのためのモニタリングシステムは、各カメラがレーストラックの少なくとも１つのセクションをカバーする視野を有する、１つ以上のカメラと、カメラのうちの少なくとも１つのカメラから少なくとも１つの画像のシーケンスを取得するように構成される画像キャプチャシステムと、第１の警告がトリガされるときにアクティブ化されるように構成される１つ以上の警告デバイスと、少なくとも１つのプロセッサを含む画像処理システムと、を含む。プロセッサは、画像のシーケンスの画像をレーストラックと関連付けられる異なるエリアにセグメント化し、自動パターン認識、特に自動オブジェクト認識を用いて、画像のシーケンス中の少なくとも１つの車両を検出し、少なくとも１つの検出される車両をレーストラックと関連付けられる異なるエリアのうちの少なくとも１つのエリアにマッピングし、第１のセットのルールに基づいて、少なくとも１つの検出される車両がレーストラックの第１の所定のエリアにマッピングされるならば、第１の警告をトリガする、ように構成される。
【0010】
開示されるモニタリングシステムおよび方法は、以下を可能にする。
－ レーストラックからの車両の逸脱および／または誘導板との衝突、油の喪失、レーストラック上の人または他のオブジェクトなどを含む、トラックに沿う重大な状況の自動検出、
－ 警告および制御信号をアクティブ化させること、トラックに沿って配置されたパネルへのメッセージの出力、レーストラックの関連するセクションのビデオ映像の選択、出力および／または記録を含む、重大な状況に対する自動反応、
－ ルールベースの定義および自動検出および／または自動反応の関連付け、
－ 走行されるトラックの保管を含むレーストラックに沿う車両のトラッキング、および
－ 検出される重大な状況を、重大な状況に関係する１台以上のトラッキングされる車両に自動的にマッピングすること、および／または
－ トラッキングされる車両についてのビデオ映像の自動生成およびカット。
－ レーストラックからの車両の逸脱および／または誘導板との衝突、油の喪失、レーストラック上の人または他のオブジェクトなどを含む、トラックに沿う重大な状況の自動検出、
－ 警告および制御信号をアクティブ化させること、トラックに沿って配置されたパネルへのメッセージの出力、レーストラックの関連するセクションのビデオ映像の選択、出力および／または記録を含む、重大な状況に対する自動反応、
－ ルールベースの定義および自動検出および／または自動反応の関連付け、
－ 走行されるトラックの保管を含むレーストラックに沿う車両のトラッキング、および
－ 検出される重大な状況を、重大な状況に関係する１台以上のトラッキングされる車両に自動的にマッピングすること、および／または
－ トラッキングされる車両についてのビデオ映像の自動生成およびカット。
【0011】
開示されたシステムは、以下の電子処理技法のうちの１つ以上の技法の組み合わせに基づいて上記構成を実装する。
－ レーストラックの少なくとも部分は、画像のシーケンスを生成するために一連のビデオカメラによってモニタリングされる。
－ 車両、または車両部品、油、および／または砂利のような（許容できない）異常のような、オブジェクトの所定のクラスが、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、特にディープラーニングネットワーク（ＤＬＮ）のようなＡＩベースのオブジェクト識別アルゴリズムを使用して、画像シーケンス内で検出される。
－ 画像のシーケンスは、レーストラックのまたはレーストラックに沿う異なる部分、例えば、走行面、レーン、トラック境界、ガードレール、逃避エリア、境界外エリア、ピットエリア、眺望エリア、タールマック(tarmac)エリア、砂利エリア、汚物エリア、草地エリア、および植林エリアを識別するために、セグメント化を使用して、例えば、セグメント化マスクおよび／またはセグメント化ネットワークを使用して分析される。
－ 検出されたオブジェクトは、レーストラックの異なる部分にマッピングされる。
－ １つ以上のセットのルールに基づいて、レーストラックに沿うフラグまたはライトのような警告デバイスが、ガードレールに衝突するレースカーまたは走行面上の油の流出のような、潜在的に危険な状況を制御するために、レーストラックの職員またはレース管理に警告することによって、完全に自動的にまたは半自動的にアクティブ化される。
－ 検出され且つ任意的に識別される車両および異常の現実世界位置が、キャプチャされた画像内の既知の基準点の三角測量および補間に基づいて計算される。
－ 検出された車両は、訓練データに基づいて、例えば、埋め込みベクトルの計算によって特定される。
－ 車両のデジタルツインが、レーストラック上の各車両の位置または速度のようなデータを含む、レーストラックのデジタルモデルにおいて維持される。
－ 検出された異常は、例えば、各車両の軌道を検出された異常の位置および第１の発生を比較することによって、トラック上の車両に関連付けられる。および／または
－ クラッシュまたは他のインシデントのような選択されたイベントまたは選択された車両に関連する画像シーケンスが自動的に収集されてカットされてよく、或いは要求に応じてレース管理に提供されてよい。
－ レーストラックの少なくとも部分は、画像のシーケンスを生成するために一連のビデオカメラによってモニタリングされる。
－ 車両、または車両部品、油、および／または砂利のような（許容できない）異常のような、オブジェクトの所定のクラスが、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、特にディープラーニングネットワーク（ＤＬＮ）のようなＡＩベースのオブジェクト識別アルゴリズムを使用して、画像シーケンス内で検出される。
－ 画像のシーケンスは、レーストラックのまたはレーストラックに沿う異なる部分、例えば、走行面、レーン、トラック境界、ガードレール、逃避エリア、境界外エリア、ピットエリア、眺望エリア、タールマック(tarmac)エリア、砂利エリア、汚物エリア、草地エリア、および植林エリアを識別するために、セグメント化を使用して、例えば、セグメント化マスクおよび／またはセグメント化ネットワークを使用して分析される。
－ 検出されたオブジェクトは、レーストラックの異なる部分にマッピングされる。
－ １つ以上のセットのルールに基づいて、レーストラックに沿うフラグまたはライトのような警告デバイスが、ガードレールに衝突するレースカーまたは走行面上の油の流出のような、潜在的に危険な状況を制御するために、レーストラックの職員またはレース管理に警告することによって、完全に自動的にまたは半自動的にアクティブ化される。
－ 検出され且つ任意的に識別される車両および異常の現実世界位置が、キャプチャされた画像内の既知の基準点の三角測量および補間に基づいて計算される。
－ 検出された車両は、訓練データに基づいて、例えば、埋め込みベクトルの計算によって特定される。
－ 車両のデジタルツインが、レーストラック上の各車両の位置または速度のようなデータを含む、レーストラックのデジタルモデルにおいて維持される。
－ 検出された異常は、例えば、各車両の軌道を検出された異常の位置および第１の発生を比較することによって、トラック上の車両に関連付けられる。および／または
－ クラッシュまたは他のインシデントのような選択されたイベントまたは選択された車両に関連する画像シーケンスが自動的に収集されてカットされてよく、或いは要求に応じてレース管理に提供されてよい。
【0012】
以下では、開示されるモニタリングシステムおよび方法の具体的な実施形態が、添付の図を参照して記載される。
【図面の簡単な説明】
【0013】
【図1】トラックサイドのカメラによってキャプチャされたレーストラックの画像を概略的な方法で示している。
【図2】レーストラックのモニタリングのための方法のフローチャートを示している。
【図3A】レーストラックのセグメント上の車両を検出前、検出中および検出後に撮られた画像のシーケンスを示している。
【図3B】レーストラックのセグメント上の車両を検出前、検出中および検出後に撮られた画像のシーケンスを示している。
【図5】検出されたオブジェクトをシーン内に位置付けるための三角測量方法を概略的な方法で示している。
【図6A】オブジェクトの再識別のための埋め込みベクトルを使用する訓練および推論を概略的な方法で示している。
【図6B】オブジェクトの再識別のための埋め込みベクトルを使用する訓練および推論を概略的な方法で示している。
【図6C】オブジェクトの再識別のための埋め込みベクトルを使用する訓練および推論を概略的な方法で示している。
【図6D】オブジェクトの再識別のための埋め込みベクトルを使用する訓練および推論を概略的な方法で示している。
【図7】車両の再識別のために使用される埋め込みベクトルのパラメータ空間を概略的な方法で示している。
【図8A】単一のカメラからの画像に基づく推論サーバとデジタルツインサーバとの間のコラボレーションを概略的な方法で示している。
【図8B】単一のカメラからの画像に基づく推論サーバとデジタルツインサーバとの間のコラボレーションを概略的な方法で示している。
【図9A】２台のカメラからの画像に基づく推論サーバとデジタルツインサーバとの間のコラボレーションを概略的な方法で示している。
【図9B】２台のカメラからの画像に基づく推論サーバとデジタルツインサーバとの間のコラボレーションを概略的な方法で示している。
【図10】レーストラックのためのモニタリングシステムのシステムアーキテクチャを概略的な方法で示している。
【発明を実施するための形態】
【0014】
以下では、レーストラックモニタリングシステムのための特定のシステムアーキテクチャおよび動作方法が記載される。
【0015】
記載されるシステムでは、１つ以上のカメラがレーストラック１００の全部または一部のビデオ映像(video footage)を提供する。図１に示されるように、人工知能（ＡＩ）システムは、予め定義されたルールまたは適切な訓練に基づいて、走行表面１０２、草地エリア１０４、砂利エリア１０６または衝突バリア１０８のような、キャプチャされた(取り込まれた)映像の異なるエリアを認識し、映像からの画像を対応するセグメントに分割する。
【0016】
記載される実施形態において、個々のセグメントは、例えば、いわゆるＵ－Ｎｅｔアーキテクチャまたはトラックサイドのカメラによって撮られたレーストラックの画像を使用して事前に訓練された別のタイプの畳み込みニューラルネットワーク（ＣＮＮ）に基づくセグメント化(segmentation)ネットワークを使用して自動的に検出される。カメラ画像の潜在的な静的セグメント化と比較して、これはトラックサイドカメラの動き(movements)、パン(panning)およびズーム(zooming)をカバーすることを可能にする。任意的に、カメラ制御装置からのフィードバック情報を使用して、カメラが移動、パン、ズームなどを行うときにはいつでも、所与のカメラによって撮られた画像ストリームの新しくされたセグメント化をトリガしてよい。セグメント化が行われている間に、それぞれのカメラからの出力は、モニタリングシステムによって使用されないことがある。その上、信頼性を向上させるために、既知のデフォルト位置において、初期的なセグメント化が各カメラについて行われる場合がある。セグメント化段階の出力は、ピクセルマスクである。各ピクセルについて、複数の可能なクラスのセグメントのうちの１つに属する可能性が計算される。ピクセルマスクは、各ピクセルについて、走行表面１０２、草地エリア１０４、砂利エリア１０６およびガードレール１０８(crash barrier)のような、レーストラック１００の最も可能性の高いセグメントを示す。
【0017】
代替的に、特に１つ以上のカメラが固定された位置に固定された視野で取り付けられる場合には、モニタリングシステムが開始される前に、セグメント化が、手動で、すなわち、静的に実行されてもよい。その上、例えば、レーストラック１００の外側に位置するあることが知られている部分のために、キャプチャされた画像の一部分についてのみ手動マスクを提供することも可能である。そのような部分をマスクすることは、後続のセグメント化を早めたり、或いは後続のセグメント化の品質を向させたりすることがある。これは半自動セグメント化とも呼ばれる。
【0018】
レーストラック上の車両１１０は、人工知能に基づいても認識される。例えば、車両１１０を検出するために、公開されている利用可能な訓練データに基づく既知のオブジェクト検出アルゴリズムが使用されてよい。例えば、レーシングトラック１００上の車両、人々、動物、およびその他のオブジェクトを検出するために、ディープラーニングネットワーク（ＤＬＮ）または他のタイプの畳み込みニューラルネットワーク（ＣＮＮ）が使用されてよい。記載されるシステムにおいて、ＹＯＬＯリアルタイムオブジェクト検出システムは、オブジェクト検出に使用される。以前のレースイベントを示す関連するレーストラック上でキャプチャされる追加的な訓練データを使用し、訓練データ中に車両１１０を手動でタグ付けすることによって、検出精度を向上させることができる。
【0019】
上記ステップに基づいて、開示されるシステムは、検出される車両１１０がどのセグメントにあるか分析する。このデータは、ルールベースのシステムに渡され、それは予め定義されたルールに基づいてイベントおよびアラーム(警報)をトリガすることができる。例えば、トラック１００に沿って発せられるＬＥＤパネルおよび警告(warnings)は、ブロックされた車両、レーストラック上の異物、レーストラック上の汚れまたは油が検出されるならば、生成されることができる。
【0020】
好ましくは、システムは、許容できる異常と許容できない異常との間を区別できる。許容できる異常は、例えば、反射、雨、影および／または照明ビームによって引き起こされる、キャプチャされたビデオ映像(video footage)における偏差を含む。許容できない異常は、車両１１０の失われた部分、例えば、隣接エリアからレーストラック上へのオイルおよび他の動作流体または砂利または土壌の広がりに関連する。以下に記載されるように、畳み込みニューラルネットワーク（ＣＮＮ）は、レーストラックの所与のセクション(区画)における、車両１１０のような既知のタイプのオブジェクトの出入りを検出するために使用されることがある。
【0021】
図２は、レーストラック１００をモニタリングする方法１２０のステップをフローチャートの形態で示している。
【0022】
ステップ１２１において、画像の少なくとも１つのシーケンスが、レーストラック１００の少なくとも１つのセクションをキャプチャするカメラから取得される。ステップ１２２において、画像のシーケンスのうちの画像が、レーストラック１００と関連付けられる異なるエリア１０２，１０４，１０６および１０８にセグメント化される。セグメント化は、レースが開始する前に提供される手動のセグメント化マスクに基づいて、或いは初期化中に、カメラの移動後にまたはリアルタイムで計算される自動的にまたは半自動的に生成されるセグメント化マスクに基づいて実行される。ステップ１２３では、少なくとも１つの車両１１０が、自動オブジェクト認識を使用して、画像のシーケンス中に検出される。ステップ１２２および１２３の順序は、逆にされてもよい。すなわち、潜在的に移動するオブジェクトが最初に検出されて、画像セグメント化プロセスを支援するために使用されてもよい。ステップ１２４において、少なくとも１つの検出された車両１１０が、レーストラック１００と関連付けられる異なるエリア１０２，１０４，１０６または１０８のうちの少なくとも１つにマッピングされる。決定ステップ１２５では、ルールのセットからの少なくとも１つのルールがトリガされたかどうかが決定される。ルールのセットは、少なくとも１つの検出された車両１１０がレーストラック１００の第１の予め定義されたエリア、例えば、ガードレール１０８にマッピングされるならば、第１の警告をトリガする少なくとも１つの第１のルールを含む。そうでないならば、方法は、ステップ１２１に進んで、次の画像を取得して処理する。しかしながら、ステップ１２５において、ルールのセットからの少なくとも１つのルールがトリガされるならば、少なくとも１つの警告デバイスが、ルールのセットに基づいてステップ１２６においてアクティブ化される。
【0023】
以下では、開示されるモニタリングシステムおよびモニタリング方法の異なる態様がより詳細に記載される。
【0024】
ルールのセットで開始すると、これは警告を引き起こすための複数の予め定義された個別のルールを含むことがある。各ルールは、ルールがトリガされるときを決定する１つ以上の条件と、ルールがトリガされるときに実行される１つ以上のアクションとを含むことがある。全てのルールがセグメント化に依存するとは限らないことに留意されたい。例えば、動物が画像中のどこかで検出されるならば、その動物が走行面１０２にいるかどうかに関係なく、警告が発せられることがある。具体的な例として、ルールのセットは、以下のルールを含むことがある。
【0025】
図３Ａ、図３Ｂおよび図４に示されるように、異常の検出は、車両１１０がトラック１００のモニタリングされるセクション１３０に入るときにはいつでもトリガされてよい。然る後、車両１１０がトラック１００の関連するセクション１３０を通過する前後のレーストラック１００の差分分析が行われることができる。やはり、この検出は、人工知能および適切な訓練データに基づいてよい。例えば、システムは、以前のレースイベントと履歴的な映像における許容できる偏差および許容できない偏差の手動タグ付けに基づいて、上記許容できる異常および許容できない異常で訓練されてよい。
【0026】
履歴的な映像のタグ付けに加えて、異常は、例えば、レーストラック１００に異物を置き、それを許容できない異常としてマーキングすることによって、人工的に作成されてよい。検出率を向上させるために、許容できる異常および許容できない異常の両方の画像が異なる気象条件において撮られなければならない。
【0027】
図３Ａに示されるように、画像１３２，１３４および１３６のシーケンスが、オブジェクト検出システムによる検出として、車両１１０の通過前、通過中および通過後のレーストラック１００の同じセクション１３０を示している。処理は、カメラによって提供される画像１３４内の自動車または他の車両１１０の成功裡の検出によってトリガされて、フレームグラバ(フレーム掴み)(frame grabber)によってキャプチャされてよい。車両１１０がひとたび検出されると、画像１３２および１３６は、キャプチャされたビデオ素材から選択されてよい。例えば、検出された車両１１０を囲む境界ボックス１３８(bounding box)がセクション１３０に入る前に撮られた画像の時系列における最後の画像は、第１の画像１３２として選択されてよい。同様に、検出された車両１１０を囲む境界ボックス１３８がセクション１３０から出た後に撮られた画像の時系列の第１の画像は、第３の画像１３６として選択されてよい。
【0028】
図３Ｂは、セグメント化後の画像１３２，１３４および１３６の同じシーケンスを示している。図示の例において、使用されたセグメント化アルゴリズムは、レーストラックの走行面１０２に対応する単一のセグメント１４０のみを抽出している。下中央に示されるように、検出された車両１１０は、セグメント１４０内に、すなわち、レーストラック１００上に位置付けられる。よって、アラームは、この段階で引き起こされない。
【0029】
図４に示されるように、検出された車両１１０がセクション１３０からひとたび離れると、関心のあるセグメントの間の比較が行われてよい。特に、第１の画像１３２中のセグメント１４０と第３の画像１３６中の同じセグメント１４０との間のデルタ画像１４２が計算されてよい。デルタ画像１４２は、デルタ画像が少なくとも１つの既知の異常１４４に対応するか或いはそれを含むかどうかを決定するために、ディープラーニング分類器(deep learning classifier)を使用して分類される。
【0030】
提示されたる例では、通過車両１１０が残した油の流出が検出される。従って、対応する警告が、レーストラック１００の全てまたは少なくとも異常１４４を含むセクション１３０についてアクティブ化されることがある。検出される異常の重篤度および／または検出アルゴリズムの関連する不確実性に依存して、警告は、モニタリングシステムによって自動的に、すなわち、人間の介入なしにトリガされるか、或いは、警告を引き起こすか或いは抑制するかの選択を伴って、検証のためにレース進行係または同様の職員に表示されてよい。
【0031】
さらなる特徴として、レーストラック１００上の車両１１０の位置が決定されてよく、任意的に、コースに沿って追跡されてよい。この目的のために、現実世界位置(real-world positions)、例えば、トラック１００のモニタリングされるセクション１３０において見える基準点のＧＰＳ座標が記録されてよい。次に、三角測量および同様の補間技術に基づいて、トラック１００のモニタリングされるセクション１３０に沿う車両１１０および異常１４４のような検出されるオブジェクトが、基準点のうちの以前に記録された位置に関連付けられることができる。すなわち、基準点は、レーストラック１００のデジタル画像の（総称してピクセルエリアと呼ぶ）単一のピクセルまたはピクセルのグループを定義する画像位置を、レーストラック１００上の対応する現実世界位置にマッピングする。
【0032】
これは図５に詳細に示されている。レーストラック１００の別のセクション１３０内には、合計１５の基準点１５０が設けられる。図示の例において、基準点１５０は、３×５の基準点１５０の固定グリッドを形成する。これは、例えば、セクション１３０をキャプチャするカメラの位置、方向および角度が固定される場合に有用なことがある。この場合には、セットアップまたは訓練中に、可視マーカを備えるＧＰＳまたは同様の位置デバイスが各基準点１５０に順番に配置されて、その正確な現実世界位置を決定されてよい。代替的に、基準点１５０は、セクション１３０内の顕著でコントラストの高い特徴(feature)、すなわち、セグメント境界のエッジ(縁)もしくはコーナー(隅)、旗竿のような特殊なオブジェクトまたは同等のものと一致してよい。そのような基準点は、たとえカメラが移動したり、パンしたり、ズームインおよびズームアウトしたりするとしても、セクション１３０のビデオ画像内で容易に識別されることができる。やはり、そのような顕著な特徴の現実世界位置は、セットアップまたは訓練中に測定および保存され、システムの通常の動作中に三角測量のために使用される。
【0033】
図５に図示される状況では、２台の車両１１０ａおよび１１０ｂがセクション１３０において検出されている。それらの位置を決定するために、それらの近傍にある３つ以上の基準点１５０を使用して、それらの現在位置を推定する。図示のように、第１の車両１１０ａの第１の境界ボックス１３８ａの中心に最も近い基準点１５０ｉ、１５０ｊおよび１５０ｏを使用して、三角測量によって第１の車両１１０ａの現在位置を推定する。同様に、第２の車両１１０ｂの第２の境界ボックス１３８ｂの中心に最も近い基準点１５０ｂ、１５０ｆおよび１５０ｇを使用して、第２の車両１１０ｂの現在位置を推定する。
【0034】
従って、検出された車両１１０および異常１４４の位置は、例えば、レース関係者が作業し且つトラック警告およびレースの潜在的な中断について決定する、レース管理(race control)で、レーストラック１００の視覚的表現に表示されることができる。
【0035】
これまでに、オブジェクト、例えば、車両１１０および異常１４４の特定のクラスのオブジェクトの検出および任意的な場所が記載された。上記で詳述されたように、これはモニタリングされるレーストラック１００の安全警告を生成するのに十分である。しかしながら、記載されるＡＩベースのモニタリングシステムは、以下に記載されるいくつかのより高度な構成(features)も可能にする。特に、それはレーストラック上の個々のオブジェクト、例えば、特定の車両１１０の再識別を可能にする。明確性のために、「オブジェクト検出(object detection)」または「オブジェクト認識(object recognition)」という用語は、レーストラック１００のモニタリングされるセクション１３０上の任意のレースカーが存在のような、キャプチャされた画像内の特定のタイプのオブジェクトの単なる検出を記載するために使用される。対照的に、「オブジェクト再識別(object re-identification)」という用語は、トラック上に現在いる個々のレース参加者の事前登録されたレースカーのような、固有のエンティティの識別を記載するために使用される。
【0036】
追加の構成として、レーストラック１００のデジタルモデルがモニタリングシステムによって維持される場合、各車両１１０の位置は、例えば、後述の図８に示されるように、モニタリングされる車両１１０のいわゆるデジタルツインを作成するために、継続的に更新されてよい。記載されるモニタリングシステムにおいて、これは、レーストラック１００上の任意の車両１１０の単なる検出よりもむしろ、個々の車両１１０の再識別に基づく。車両１１０は、形状、色、または車両１１０に印刷されたロゴもしくはシンボルのような他の可視マークのような、抽出可能な特徴に基づいて区別されてよい。自動識別のための適切な訓練データは、レーストラック１００の明確に定義されたポイントでキャプチャされてよい。異なる位置からの、例えば、車両１１０の前方、後方または側方からの個々の車両の画像は、車両１１０が初めてエントランスレーンでレーストラック１００に入るときに取られてよい。レーストラック１００の一部分のみがモニタリングされる場合、訓練画像は、レーストラック１００の第１のセクション１３０をモニタリングする１つ以上のカメラによって撮られてよい。この情報に基づいて、車両１１０がレーストラック１００に沿って検出されるときにはいつでも、検出されるオブジェクトは、例えば埋め込みベクトルの推論および計算によって、以前にキャプチャされた画像データと比較されることができる。登録された車両１１０がレーストラック１００でレースをしている場合には、例えば、登録プレートのＯＣＲの検出率を向上させるために、追加情報が使用されることがある。
【0037】
記載される実施形態において、オブジェクトの再識別は、所与のクラスのオブジェクト、例えば、現在走行しているレースに参加している個々のレーシングカーから特定のインスタンスを識別するためにエンコーダ／デコーダモデルを使用して、オフラインで、すなわち、実際のレースでモニタリングシステムを使用する前に、訓練されたニューラルネットワーク１６０を使用して実装される。異なる訓練セットを使用して、対応するニューラルネットワークの異なるインスタンスを訓練して、異なるクラスのオブジェクト、例えば、フォーミュラ１カー、通常のロードカー、オートバイなどにすることがある。また、例えば、レース競技者についてのルール変更の故に、識別されるべきオブジェクトの特定の特性が変化する場合には、ニューラルネットワーク１６０の訓練が繰り返されることがある。
【0038】
オブジェクト識別のために使用されるニューラルネットワーク１６０の訓練は、図６Ａおよび図６Ｃに概念的に示されている。訓練段階の間に、異なる車両１１０の画像がニューラルネットワーク１６０の入力側１６２またはエンコーダに提供される。所望の精度を達成するために、手動で選択されるか或いは確認されて、実際のレーストラック１００で撮られる、多数の訓練画像が使用される。記載されるモニタリングシステムのために、ニュルブルクリンクでのレースのアーカイブ映像から抽出された約１７．０００台の車両のセットが、人間による資料の考察後にニューラルネットワーク１６０を訓練するために使用された。
【0039】
実際の訓練中に、入力側で受信された情報は、埋め込みベクトル１６６を形成するか或いはエンコード(符号化)するために、ニューラルネットワーク１６０のノード１６４によって単純化される。埋め込みベクトル１６６の情報は、ニューラルネットワーク１６０の出力側１６８またはデコーダで画像を再作成するためにデコード(復号化)される。出力側１６８での画像が入力側１６２に提供された画像と高度に似てくるまで、例えば、間の差が非常に小さくなるか或いは最小になるまで、ニューラルネットワーク１６０の重みおよび他の設定が変化する。その段階で、ニューラルネットワークは、車両１１０またはレーシングカーのような車両１１０の特定のサブクラスの特徴的な構成(characteristic features)を学習している。入力側１６２および出力側１６８の比較は、適切な類似性メトリックを使用して自動的に行われることができる。よって、ニューラルネットワーク１６０の訓練は、教師なしで行われる(performed unsupervised)ことがある。
【0040】
図６Ａの例において、埋め込みベクトル１６６は、単一の次元の情報、例えば、オブジェクトの形状に対応する、単一のノード１６４のみを有する。図６Ｃは、例えば、関心のあるオブジェクトの形状および色に対応する、埋め込みベクトル１６６を形成する２つのノード１６４を持つ、訓練中の別のニューラルネットワーク１６０を示している。
【0041】
実際には、車両１１０のようなオブジェクトを確実に識別するために、さらに多くの次元が使用されることがある。この脈絡において、レースでは、しばしば、比較的多数の非常に類似した自動車、例えば、同じモデルの自動車が互いにレースを行い、それらは、色、広告、スポイラーなどのような補助部品の存在および形状のような、比較的小さな詳細だけで異なることがあるという事実に注意が向けられる。よって、例えば、１６８の独立した次元を有する、多次元の特徴空間１７０(feature space)における多次元埋め込みベクトル１６６が、記載されるシステムにおいて使用される。教師なし訓練中に、埋め込みベクトル１６６の次元を表すノード１６４のそれぞれに対応する特定の車両１１０を再識別するための最も有意な特性は、訓練アルゴリズムによって自動的に決定される。よって、それらは、色または形状のような高レベルの特性に対応しないことがあり、人間が容易に理解できないことがある。
【0042】
ニューラルネットワーク１６０がひとたび訓練されると、それを使用して、以前は知られていなかった車両１１０の特徴的な特性(characteristic properties)を、オンラインで、例えば、レース中にリアルタイムで抽出または推測することができる。このプロセスは、車両１１０の形状、または形状および色を決定するための入力画像の分類を示す、図６Ｂおよび図６Ｄに示されている。この推論は、トラックモニタリング中のオブジェクトの再識別のために使用される。
【0043】
特定の車両１１０の初期登録および後続の識別のプロセスも図７に示されている。車両１１０がレーストラック１００に入る前に、車両１１０の１つ以上の画像が撮られ、事前に訓練されたニューラルネットワーク１６０によって処理されて、１つ以上の対応する埋め込みベクトル１６６が生成される。例えば、多次元特徴空間１７０において、第１の車両１１０ａが第１の埋め込みベクトル１７２に対応し、第２の車両１１０ｂが第２の埋め込みベクトル１７４に対応することがある。記載されるシステムでは、同じ車両１１０の異なる視点からの、例えば、前方、後方および側方からの複数の画像を使用して、後述するように、可能な埋め込みベクトルのアレイを作成する。
【0044】
次に、車両１１０がひとたびトラックに乗ると、検出される車両１１０に対応する画像の部分をニューラルネットワークに送って、新しい埋め込みベクトル１７６を決定することができる。次に、新しい埋め込みベクトル１７６を、以前に登録されたベクトル１７２および１７４と比較してよい。次に、車両は、最も近い以前に知られていた埋め込みベクトルに対応する車両、例えば、第１のベクトル１７２に対応する第１の車両１１０ａとして識別されてよい。具体的には、新しい埋め込みベクトルと全ての予め登録された埋め込みベクトル１７２および１７４との間の角度が計算され、最も小さな角度を持つベクトル、例えば、第１の埋め込みベクトル１７２が、最良マッチングベクトルとして選択される。
【0045】
任意的に、新しい埋め込みベクトル１７６が、第１の予め設定された閾値を超えて、最も近い予め登録されたベクトル１７２または１７４と異なるならば、新しいベクトルは、所与の車両１１０に対応するベクトル１７８のアレイ内のシステム内に格納されてよい。これは、例えば、異なる角度からまたは照明もしくは気象条件のような異なる環境条件の下で撮られた同じ車両１１０の画像に対応する埋め込みベクトル１７６を追加することによって、将来のオブジェクト識別を向上させるために使用されてよい。記載されるシステムでは、各々の登録された車両について最大５００の異なる埋め込みベクトルを格納することができる。一般的に、これは車両検出をより可能性のあるものにし且つより確実にする。
【0046】
代替的にまたは追加的に、新しい埋め込みベクトル１７６が、第２の予めに設定された閾値を超えて、以前に登録されたベクトル１７２および１７４の各々１つと異なるならば、識別は失敗することがあり且つ／或いは新しい埋め込みベクトル１７６はベクトル１３０のアレイに含まれない。これは、不確実なマッチング(一致)を除外するために並びに／或いはベクトル１７８のアレイの劣化を回避したりするために使用されることがある。
【0047】
トラック１００全体がビデオカメラによってカバーされるならば、上記車両検出および識別をさらに向上させることができる。この場合、各々の移動するオブジェクトを継続的にトラッキングすることは、その特徴的な構成の一部または全部が一時的に遮断されるとしても、その検出を可能にする。レーストラック１００の全ての部分がそれぞれのカメラによってカバーされないならば、および／または移動可能なカメラが使用され、関心のある車両１１０を任意の所与の瞬間にカバーしない場合には、レーストラック１００のデジタルモデルに基づいて、車両１１０がレーストラック１００の特定のエリアに現れる可能性についての特定の論理的仮定を使用して、検出精度を向上させてよい。
【0048】
図８は、モニタリングシステム１８０の具体的な設定および動作を示している。システム１８０は、レーストラック１００の対応するセクション１３０をキャプチャするカメラ１８２を含む。システム１８０は、さらに、推論サーバ１８４と、デジタルツインサーバ１８６とを含む。
【0049】
推論サーバ１８４は、カメラ１８２によって提供されるデジタル画像またはビデオフレームをキャプチャし、後に使用するためにそれらを格納する。キャプチャ画像の少なくともサブセットは、ＡＩベースのオブジェクト検出１８８ユニットに給送されて、車両１１０のような所定のタイプのオブジェクトが識別される。図８に示されるように、各々の識別されたオブジェクトは、対応する境界ボックス１３８によって囲まれる。
【0050】
加えて、検出ユニット１８８は、受信されるカメラ画像のセグメント化も行う。例えば、トラックセクション１３０の画像は、走行面１０２、草地エリア１０４、砂利エリア１０６に対応するエリアにそれぞれ細分されてよい。
【0051】
推論サーバ１８４は、さらに、推論ユニット１９０を含む。推論ユニット１９０は、セクション１３０内の既知の基準点１５０を使用してＧＰＳ位置補間に基づいて検出される車両の位置を決定するように設定される。
【0052】
推論ユニット１９０は、ニューラルネットワーク１６０を使用して各々の検出される車両１１０のための埋め込みベクトルを生成するようにさらに設定される。決定される埋め込みベクトルは、検出される車両１１０のレーストラック１００上の現実世界位置および／または画像をキャプチャしたカメラの識別子とともに、識別のためにデジタルツインサーバ１８６に渡される。
【0053】
デジタルツインサーバは、車両１１０ａおよび１１０ｂの各々を識別するために複数の妥当性チェック(plausibility)を使用することがある。一般に、マッチングのために使用される埋め込みベクトルのセットは、トラック１００上にあることが知られている車両１１０に制限されることができる。その上、ステップ１では、カメラの識別子に基づいて、それはそのカメラのビュー内にある可能性が高い車両１１０のサブセットのみを選択することができる。これは、例えば、レーストラック１００のより以前のセクションに配置される別のカメラを既に通過した車両のみを考慮することによって達成されることができる。例えば、識別プロセスにおいて使用される車両のサブセットは、他のカメラによってカバーされるトラックの２つまたは３つのセクションのうちのいずれか１つにおいて成功裡に最後に識別された車両に限定されてよい。１つよりも多くのアップトラック(up-track)カメラを含めることは、幾つかの車両１１０が特定のカメラ設定においてカバーされることがある或いは困難な光条件またはカメラ角度の故に成功裡に識別されないことがあるという事実に対処するものである。
【0054】
代替的にまたは追加的に、ステップ２において、選択は、推論サーバ１８４によって提供される現実世界位置に基づいて精緻化されてよい。例えば、デジタルモデルにおける車両１１０の推定速度に基づいて、画像が撮られたときにキャプチャされた画像内の特定の現実世界位置にもっともらしく到達し得た車両のみが、マッチングのために考慮されることがある。
【0055】
識別中に使用される車両１１０の数を所定のサブセットまで減少させることは、所要の処理能力(processing power)を低下させ、それによって、高速でのレース中に入力画像の比較的高い解像度でのリアルタイム識別を可能にすることがある。より高い解像度および妥当なマッチングの減少は、検出精度も向上させる。例えば、同じモデルおよび色の２つの非常に類似した車両が同じレースに参加しているが、レーストラック１００の異なるセクション１４０に位置している場合、オブジェクト識別は、一般的なリアルタイム識別エンジンと比較して大幅に改良される。
【0056】
ステップ３では、そのようなフィルタリングの後に、デジタルツインサーバは、多次元特徴空間１７０内で、推論サーバ１８４によって提供される新しい埋め込みベクトル１７６（図７を参照）に最も近くなる埋め込みベクトルを選択して、第１の車両１１０ａを所与の識別子、すなわち、ＣａｒＩＤ １１を持つレーシングカーとして識別し、第２の車両１１０ｂを所与の識別子、すなわち、ＣａｒＩＤ ３４を持つ別のレーシングカーとして識別する。
【0057】
図９は、２つの異なるトラックセクション１３０ａおよび１３０ｂに対応する２つのカメラ１８２ａおよび１８２ｂを含む検出システム１８０の別の構成を示している。各場所について、図８に関して上記で詳述したものと本質的に同じステップが行われる。詳細はここでは繰り返されない。
【0058】
加えて、車両１１０の識別に成功した後に、ステップ４において、識別された車両を表すために使用されるベクトル１７８のアレイが、図７を参照して前述されたように更新される。特に、アレイ内の全てのベクトルと有意に異なるならば、新しい埋め込みベクトル１７６がアレイ１７８に追加される。アレイ１７８が最大のサイズに達する場合には、別の埋め込みベクトル、例えば、アレイの別のベクトルに非常に似たベクトル、またはアレイ１７８の他のベクトルによって定義されるベクトル空間内に完全に位置するベクトルが、アレイから削除されてよい。
【0059】
その上、ステップ５において、次に、推論サーバ１８４から渡された情報を使用して、それぞれの車両のデジタルツインを更新する。例えば、その最後に知られている場所、速度、レース順の位置などは、その新しい現在の場所での車両の更新された識別に基づいて更新されてよい。記載されるシステムでは、全ての位置、推定速度、およびその他の関連する情報が、対応するデジタル画像が撮られるときの瞬間に対応するタイムスタンプと共に永続的に保存される。このようにして、車両の推定位置および速度をデジタルモデルにおいてライブで表示することができる。その上、例えば、レース分析、事故の責任を負うドライバーまたはレーストラック１００に沿う異常１４４の特定のために、デジタルモデルを使用してレースを再構築することができる。
【0060】
上記技法は、さらなる機能が実装されることを可能にする。例えば、異常１４４および車両の軌道の両方がシステム１８０によって検出され且つ維持される場合には、レーストラック上で失われた部品または油の流出のような異常１４４の原因となった車両１１０を特定し、車両１１０の運転者または所有者に責任を負わせることが可能である。
【0061】
その上、運転者または他の人が、クラッシュ(衝突)のような特定のイベントのビデオ映像、またはレーストラック１００上の選択された車の全ての利用可能な映像に興味がある場合には、そのようなビデオシーケンスを自動的に選択し且つカット(切断)して、関係者に提供することができる。
【0062】
図１０は、上記機能性を実装するための潜在的なアーキテクチャを示している。しかしながら、上記で詳述されたように、記載される機能の各々は、所望であれば、個別に実装され且つ使用されることができる。
【0063】
図１０のモニタリングシステム１８０は、それぞれ４つのカメラ１８２ａ～１８２ｄの２つのカメラクラスタ２０２ａおよび２０２ｂを含む。各カメラクラスタ２０２のカメラは、１つ以上のフレームグラビングカード２０６(フレーム掴みカード)(frame grabbing cards)を含む、対応するラックワークステーション２０４ａおよび２０４ｂ(rack workstation)に接続されている。とりわけ、ラックワークステーション２０４は、それぞれのカメラクラスタ２０２の本質的に全てのビデオ出力を掴むこと(grabbing)に関与する。記載されるシステムでは、以下に詳述されるように、分析と後処理のために、ビデオ映像が３日間保存される。加えて、ラックワークステーション２０４は、レースが現在行われていないときに、レースモニタリング中および他のときに更なる異なるタスクを行う。
【0064】
レース時に、ラックワークステーション２０４は、上記で詳述されるように、画像セグメント化、デルタ画像計算および異常分類に基づいて、異常検出を行う。その上、上記で詳述されるような車両検出、車両埋め込み、画像セグメント化および場所推定に基づいて、車両トラッキングも行う。
【0065】
他の時に、例えば、夜間に、ビデオ生成のためのバッチ処理、個々の車両または運転者のためのビデオ映像のカット、例えば、データ保護のための、他の車両またはそれらの登録番号の画素化のような、計算コストの高いタスクを行う。
【0066】
デジタルツイン処理ユニット２０８は、ラックワークステーション２０４によって提供される推論およびその他の情報を、レーストラック１００および／または個々の車両１１０の対応するデジタルツインにマッピングする。特に、それは各車両１１０の速度推定および現在位置を追跡する。それは、さらに、検出されたインシデント、特に任意の車両１１０のクラッシュの位置、時間、および対応する画像を記録する。デジタルツイン処理ユニット２０８は、レーストラック１００の状態およびトラック上の車両１１０の位置をさらにモニタリングする。
【0067】
記載される実施形態において、デジタルツイン処理ユニット２０８は、ルールエンジン(rule engine)も実行する。前に説明したように、ルールエンジンは、車両のクラッシュのような検出されたインシデントに対応するアラートを生成し、トラックに沿うフラグ(flags)、表示、およびその他の通知を制御することがある。更なる車両情報が、デジタルツインからルールエンジンに提供されることがある。これはモニタリングされるシステムの動的特性に基づいてルールを策定する(formulate)ことを可能にする。例えば、車両の計算された速度が特定の閾値を下回ったり上回ったりするならば、ルールがトリガされることがある。
【0068】
モニタリングされるトラック状態および自動車位置は、例えばレース進行係の利益のために或いは観客のための情報として、デジタルツイン処理ユニット２０８からトラックおよび自動車モニタリングユニット２１０に提供される。
【0069】
システムモニタリングユニット２１２は、モニタリングシステム１８０自体の動作を制御し且つ考察するために提供される。それはモニタリングシステムのソフトウェアおよびハードウェアコンポーネントの動作状態を示すことがある。
【0070】
最後に、ビデオポストプロダクションユニット２１４が提供され、ビデオポストプロダクションユニット２１４は、全てのカメラ１８２から全てのまたは選択的な映像を収集し、特定の車両１１０または車両グループ、例えば、レースをリードし或いは特定のインシデントに関与する車両のターゲット映像を構築し、ビデオポストプロダクションを制御する、ように構成される。ビデオポストプロダクションユニット２１４は、顧客ＡＰＩまたはウェブインターフェイスを提供して、登録ユーザーが彼らの自身の車両１１０に関連するビデオ素材を要求し且つ回収する(retrieve)ことも可能にする。
【0071】
以前の解決策と比較して、記載されるモニタリングシステムは、より柔軟性がある。何故ならば、訓練データ、ならびに検出、分類およびトリガのために設定されるルールの両方を、継続的に更新できるからである。その上、それは、プロのレースで使用されるようなＲＦＩＤベースのトランスポンダのような特定のハードウェアを、レースに参加する車両上または内に搭載することを必要としない。従って、記載されているモニタリングシステムは、プロのレースよりもむしろ、個人が所有する車両を使用したアマチュアレースに特に有用である。
【先行技術文献】
【特許文献】
【0072】
【文献】国際公開第２０１７／２１２２３２Ａ１号
【文献】米国特許第６，０２０，８５１Ａ号明細書
【文献】米国特許出願公開第２０１８／３４１８１２Ａ１号明細書
【符号の説明】
【0073】
１００ レーストラック
１０２ 走行面
１０４ 草地エリア
１０６ 砂利エリア
１０８ ガードレール
１１０ 車両
１２０ モニタリング方法
１２１～１２６ 方法ステップ
１３０ （レーストラックの）セクション
１３２ 境界ボックス
１３４ 境界ボックス
１３６ 境界ボックス
１４０ （画像の）セグメント
１４２ デルタ画像
１４４ 異常
１５０ 基準点
１６０ ニューラルネットワーク
１６２ 入力側
１６４ ノード
１６６ 埋め込みベクトル
１６８ 出力側
１７０ 多次元特徴空間
１７２ 第１の埋め込みベクトル
１７４ 第２の埋め込みベクトル
１７６ 新しい埋め込みベクトル
１７８ ベクトルのアレイ
１８０ モニタリングシステム
１８２ カメラ
１８４ 推論サーバ
１８６ デジタルツインサーバ
１８８ 検出ユニット
１９０ 推論ユニット
２０２ カメラクラスタ
２０４ ラックワークステーション
２０６ フレームグラビングカード
２０８ デジタルツイン処理ユニット
２１０ トラックおよび自動車モニタリングユニット
２１２ システムモニタリングユニット
２１４ ビデオポストプロダクションユニット
１０２ 走行面
１０４ 草地エリア
１０６ 砂利エリア
１０８ ガードレール
１１０ 車両
１２０ モニタリング方法
１２１～１２６ 方法ステップ
１３０ （レーストラックの）セクション
１３２ 境界ボックス
１３４ 境界ボックス
１３６ 境界ボックス
１４０ （画像の）セグメント
１４２ デルタ画像
１４４ 異常
１５０ 基準点
１６０ ニューラルネットワーク
１６２ 入力側
１６４ ノード
１６６ 埋め込みベクトル
１６８ 出力側
１７０ 多次元特徴空間
１７２ 第１の埋め込みベクトル
１７４ 第２の埋め込みベクトル
１７６ 新しい埋め込みベクトル
１７８ ベクトルのアレイ
１８０ モニタリングシステム
１８２ カメラ
１８４ 推論サーバ
１８６ デジタルツインサーバ
１８８ 検出ユニット
１９０ 推論ユニット
２０２ カメラクラスタ
２０４ ラックワークステーション
２０６ フレームグラビングカード
２０８ デジタルツイン処理ユニット
２１０ トラックおよび自動車モニタリングユニット
２１２ システムモニタリングユニット
２１４ ビデオポストプロダクションユニット
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】