ホーム > 特許ランキング > マイラップス ビーブイ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-16
(54)【発明の名称】視覚に基づくスポーツ計時及び識別システム
(51)【国際特許分類】
G06V 10/74 20220101AFI20241008BHJP
G06T 7/00 20170101ALI20241008BHJP
G06V 20/52 20220101ALI20241008BHJP
【ＦＩ】
G06V10/74
G06T7/00 300F
G06T7/00 660Z
G06V20/52
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024514393
(86)(22)【出願日】2022-09-06
(85)【翻訳文提出日】2024-04-08
(86)【国際出願番号】 NL2022050504
(87)【国際公開番号】W WO2023033653
(87)【国際公開日】2023-03-09
(31)【優先権主張番号】2029136
(32)【優先日】2021-09-06
(33)【優先権主張国・地域又は機関】NL
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
２．ＺＩＧＢＥＥ
３．ＬｏＲａ
４．イーサネット
(71)【出願人】
【識別番号】516107848
【氏名又は名称】マイラップス ビーブイ
(74)【代理人】
【識別番号】100118599
【弁理士】
【氏名又は名称】村上 博司
(74)【代理人】
【識別番号】100160738
【弁理士】
【氏名又は名称】加藤 由加里
(74)【代理人】
【識別番号】100166718
【弁理士】
【氏名又は名称】石渡 保敬
(72)【発明者】
【氏名】フルウールト，アドリアーン クラース
(72)【発明者】
【氏名】ペネ，コズミン オクタヴィアン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096AA09
5L096BA08
5L096CA05
5L096CA18
5L096DA02
5L096FA66
5L096FA69
5L096GA40
5L096HA11
5L096JA03
(57)【要約】
スポーツイベントに参加しているオブジェクトを計時し及び識別する方法が記載されており、ここで、該方法は、スポーツトラックに沿った第1の位置に配置された第1の計時システムの第1のカメラシステムによって撮像された1以上の第1の画像に関連付けられた第1の画像情報を受信すること、ここで、前記1以上の第1の画像は、仮想計時ラインを通過するところの、スポーツイベントに参加している該オブジェクトを含み、前記第1の画像情報は、前記1以上の第1の画像に基づいて通過時刻が決定されるが、前記1以上の第1の画像に基づいて識別されることができないところの少なくとも1つの第1のオブジェクトの視覚情報を含む；前記第1の位置と異なる位置に配置された第2のカメラシステムによって撮像された1以上の第2の画像に関連付けられた第2の画像情報を受信又は取得すること、ここで、前記1以上の第2の画像は、前記スポーツイベントに参加しているオブジェクトを含み、前記第2の画像情報は、前記1以上の第2の画像に基づいて識別されることができる1以上のオブジェクトに関する視覚情報を含む；並びに、前記第1のオブジェクトを識別すること、ここで、前記識別することが、前記第1の画像情報及び前記第2の画像情報を用いて前記第1のオブジェクトにマッチングするところの、前記1以上の第2の画像において第2のオブジェクトを決定することを含む；並びに、前記第2のオブジェクトが決定された場合に、前記第2のオブジェクトの視覚情報に基づいて前記第1のオブジェクトを識別することを含む。
【選択図】図8
【選択図】図8
【特許請求の範囲】
【請求項1】
スポーツイベントに参加しているオブジェクトを計時し及び識別する方法であって、スポーツトラックに沿った第1の位置に配置された第1の計時システムの第1のカメラシステムによって撮像された1以上の第1の画像に関連付けられた第1の画像情報を、サーバシステムによって受信すること、ここで、前記1以上の第1の画像は、視覚識別マーカー又は視覚識別コードに関連付けられたオブジェクトであって、仮想計時ラインを通過するところの、前記スポーツイベントに参加している該オブジェクトを含み、前記第1の画像情報は、前記1以上の第1の画像に基づいて通過時刻が決定されるが、前記1以上の第1の画像に基づいて識別されることができないところの少なくとも1つの第1のオブジェクトの視覚情報を含む；
前記第1の位置と異なる位置に配置された第2のカメラシステムによって撮像された1以上の第2の画像に関連付けられた第2の画像情報を、前記サーバシステムによって受信又は取得すること、ここで、前記1以上の第2の画像は、前記スポーツイベントに参加しているオブジェクトを含み、前記第2の画像情報は、前記1以上の第2の画像に基づいて識別されることができる1以上のオブジェクトに関する視覚情報を含む；並びに、
前記第1のオブジェクトを、前記サーバシステムによって識別すること、ここで、前記識別することが、前記第1の画像情報及び前記第2の画像情報を用いて、前記第1のオブジェクトにマッチングするところの、前記1以上の第2の画像における、視覚識別マーカー又は視覚識別コードに関連付けられた第2のオブジェクトを決定することを含み、該決定することが、前記第1のオブジェクトに関連付けられた第1の非バイオメトリクスオブジェクト特性と、前記第2のオブジェクトに関連付けられた第2の非バイオメトリクスオブジェクト特性とに基づく；並びに、前記第2のオブジェクトが決定された場合に、前記第2のオブジェクトの前記視覚識別マーカー又は視覚識別コードに基づいて前記第1のオブジェクトを識別すること
を含む、前記方法。
【請求項2】
前記第1の画像情報が、前記第1のオブジェクトを含む前記1以上の第1の画像のうちの１つの少なくとも一部、又は前記1以上の第1の画像のうちの１つの第1の関心領域（ROI）の少なくとも１つのピクチャを含み、ここで、前記第1のROIが、前記第1のオブジェクトの少なくとも一部を含む、請求項１に記載の方法。
【請求項3】
前記第1の画像情報が、前記第1のオブジェクトが前記仮想計時ラインを通過する時間インスタンスを示す計時情報、前記第1のカメラシステムと前記第1のオブジェクトとの間の距離を示す深さ情報、及び／又は前記第1のROIに関連付けられた識別子を更に含む、請求項１又は２に記載の方法。
【請求項4】
前記1以上の第2の画像において第2のオブジェクトを決定することが、再識別アルゴリズムに基づき、ここで、該再識別アルゴリズムが、オブジェクト特性に基づいて、前記第1のオブジェクトを前記1以上の第2の画像における前記オブジェクトと比較するように構成されている、請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記1以上の第2の画像において第2のオブジェクトを決定することが、前記第1のオブジェクトに関連付けられた1以上の第1のオブジェクト特性を決定すること；
前記第2の画像におけるオブジェクトに関連付けられた1以上の第2のオブジェクト特性を決定すること；並びに、
前記1以上の第2の画像における前記オブジェクトのうちの1つが前記1以上の第1の画像における前記第1のオブジェクトとマッチングするかを、前記1以上の第1のオブジェクト特性及び前記1以上の第2のオブジェクト特性に基づいて決定すること
を含む、請求項１～４のいずれか１項に記載の方法。
【請求項6】
前記マッチングが、前記第1のオブジェクト特性及び前記第2のオブジェクト特性に基づいて計算されるところの距離尺度に基づき、ここで、該距離尺度は、前記第1のオブジェクトと前記第2の画像におけるオブジェクトとの間の類似性を示す、請求項４又は５に記載の方法。
【請求項7】
前記1以上の第1の画像におけるオブジェクト及び前記1以上の第2の画像におけるオブジェクトが、前記スポーツイベントに参加している人を表し、及びここで、前記第1のオブジェクト特性及び前記第2のオブジェクト特性が、人の特徴、例えば、衣服の色、長袖若しくは半袖若しくはズボン、身長、肌の色、性別、長髪若しくは短髪、靴の色、を定義し；又は、ここで、前記1以上の第1の画像におけるオブジェクト及び前記1以上の第2の画像におけるオブジェクトが、前記スポーツイベントに参加している乗り物を表し、及びここで、前記第1のオブジェクト特性及び前記第2のオブジェクト特性が、乗り物の特徴、例えば、前記乗り物の色、前記乗り物の形状、及び／又は前記乗り物の文字、を定義する、請求項４～６のいずれか１項に記載の方法。
【請求項8】
前記第1のオブジェクトを識別することが、前記第2のオブジェクトの視覚情報に基づいて、視覚識別マーカー又は視覚識別コードを検索すること；並びに、
視覚識別マーカー又は視覚識別コードが見つかった場合に、前記視覚識別マーカー又は前記視覚識別コードを、前記第2のオブジェクトをアイデンティティ、例えば名前、にリンクする為の識別情報に変換すること；並びに、
前記第1のオブジェクトを前記識別情報に関連付けること；並びに、
前記第1のオブジェクトの前記識別情報及び前記計時情報をデータベース内に格納すること
を更に含む、請求項１～７のいずれか１項に記載の方法。
【請求項9】
前記第2の画像情報が、前記第2の画像に関連付けられた識別情報を含み；並びに前記第1のオブジェクトを識別することが、前記第1のオブジェクトを前記識別情報に関連付けること；並びに、
前記第1のオブジェクトの前記識別情報及び前記計時情報をデータベース内に格納すること
を更に含む、請求項１～７のいずれか１項に記載の方法。
【請求項10】
前記1以上の第1の画像に基づいて前記第1の計時システムによって、検出され、計時され、そして識別されたところの、前記1以上の第1の画像におけるオブジェクトに関連付けられた計時情報及び識別情報を受信することを更に含む、請求項１～９のいずれか１項に記載の方法。
【請求項11】
前記第2のカメラシステムが、前記1以上の第2の画像に基づいて識別されることができるところの1以上のオブジェクトに関する視覚情報を決定するように構成されたコンピュータ又はプロセッサを備えている、請求項１～１０のいずれか１項に記載の方法。
【請求項12】
前記第2のカメラシステムが、仮想計時ラインを通過するところの、前記スポーツイベントに参加しているオブジェクトの通過時刻を決定するように構成されている第2の計時システムの一部である、請求項１～１１のいずれか１項に記載の方法。
【請求項13】
前記第1の画像情報が、前記検出された識別されなかったオブジェクトを含む画像フレーム、又は画像フレームから切り出された前記検出された識別されなかったオブジェクトを含むROIピクチャ、及び任意的に、前記検出された識別されなかったオブジェクトの通過時刻を示すタイムスタンプを含む、請求項１～１２のいずれか１項に記載の方法。
【請求項14】
スポーツイベントに参加しているオブジェクトを計時し及び識別するシステムであって、該システムは、レーストラックに沿った第1のロケーションで仮想タイムラインを通過しているところの、スポーツトラック上のオブジェクトを含むシーンの画像を撮像するように構成されたカメラシステム；及び、前記カメラシステムに接続されたコンピュータ
を備えており、ここで、前記コンピュータが、
前記カメラシステムによって撮像された前記画像における視覚識別マーカー又は視覚識別コードに関連付けられたオブジェクトを検出するように；
画像に関連付けられた深さ情報を決定するように、ここで、前記深さ情報が、前記カメラシステムと検出されたオブジェクトとの間の相対的距離を定義する；
検出されたオブジェクトが前記仮想計時ラインを通過する通過時刻を、前記計時情報及び前記深さ情報に基づいて決定するように；
検出されたオブジェクトを前記画像における視覚識別マーカー又は視覚識別コードに基づいて識別するように；及び、オブジェクトが前記画像に基づいて検出されることが出来ない場合に、画像情報を生成するように、ここで、前記画像情報は、識別されることができない前記オブジェクトの視覚情報を含む；並びに、
前記識別されなかったオブジェクトに関連付けられた前記画像情報及び前記通過時刻をサーバシステムに伝送するように、ここで、前記サーバシステムは、前記画像情報に基づいて、及び前記スポーツイベントに参加しているところの、視覚識別マーカー又は視覚識別コードに関連付けられたオブジェクトであって、前記第1の位置と異なる位置に配置された更なるカメラシステムによって撮像された該オブジェクトの1以上の更なる画像に関連付けられた更なる画像情報に基づいて、前記識別されなかったオブジェクトを識別するように
構成されている、前記システム。
【請求項15】
スポーツイベントに参加しているオブジェクトを計時し及び識別する為のシステムであって、第1のコンピュータに接続された又は第1のコンピュータを備えている第1のカメラシステムを備えている第1の計時システムと、ここで、前記第1の計時システムは、前記スポーツトラックに沿った第1の位置に配置された前記第1のカメラシステムによって撮像された1以上の第1の画像に関連付けられた第1の画像情報を生成するように構成されており、前記1以上の第1の画像は、前記仮想計時ラインを通過するところの、視覚識別マーカー又は視覚識別コードに関連付けられたオブジェクトを含み、前記第1の画像情報は、前記1以上の第1の画像に基づいて通過時刻が決定されるが、前記1以上の第1の画像に基づいて識別されることができないところの少なくとも1つの第1のオブジェクトの視覚情報を含む；
1以上の第2のカメラシステム、ここで、各カメラシステムは、第2のコンピュータに接続されており又は第2のコンピュータを備えており、ここで、前記1以上の第2のカメラシステムが、前記第1の位置と異なる位置に配置された前記第2のカメラシステムによって撮像された1以上の第2の画像に関連付けられた第2の画像情報を生成するように構成されており、前記1以上の第2の画像は、前記スポーツイベントに参加しているオブジェクトを備えており、前記第2の画像情報が、前記1以上の第2の画像に基づいて識別されることができるところの1以上のオブジェクトに関する視覚情報を含む；並びに、
前記第1の画像情報及び前記第2の画像情報を受信するように及び前記第1のオブジェクトを識別するように構成されたサーバシステム、ここで、前記識別が、前記第1のオブジェクトとマッチングするところの前記1以上の第2の画像における視覚識別マーカー又は視覚識別コードに関連付けられた第2のオブジェクトを決定する為に前記第1の情報及び前記第2の画像情報を使用することを含み、前記決定することが、前記第1のオブジェクトに関連付けられた第1の非バイオメトリクスオブジェクト特性と前記第2のオブジェクトに関連付けられた第2の非バイオメトリクスオブジェクト特性とに基づく；並びに、前記第2のオブジェクトが決定された場合に、前記第2のオブジェクトの前記視覚識別マーカー又は視覚識別コードに基づいて前記第1のオブジェクトを識別することを含む、
を備えている、前記システム。
【請求項16】
前記第1の計時システム及び前記1以上の第2のカメラシステムが前記サーバシステムに無線通信するように構成されており、好ましくは、前記第1の計時システム及び前記1以上の第2のカメラシステムが通信ネットワークを形成する、請求項１５に記載のシステム。
【請求項17】
少なくとも1つのソフトウェアコード部分を含むところの、1つのコンピュータプログラム若しくは複数のコンピュータプログラムのスイート、又は少なくとも1つのソフトウェアコード部分を格納するコンピュータプログラム製品であって、前記ソフトウェアコード部分が、コンピュータシステム上で実行されるときに、請求項１～１３のいずれか１項に記載の方法の工程を実行するように構成されている、前記1つのコンピュータプログラム若しくは前記複数のコンピュータプログラムのスイート又は前記コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、視覚に基づくスポーツ計時に関し、特には、これらに限定されるものではないが、視覚に基づくスポーツ計時及び識別システムの為の方法及びシステム、並びにコンピュータシステムがそのような方法を実行することを可能にするコンピュータプログラム製品に関する。
【背景技術】
【0002】
スポーツイベント、例えば、カーレース若しくはモーターレース、サイクリング、陸上競技、ドローン及びアイススケート、は典型的には、イベント中のオブジェクト（人又は乗り物）を追跡する為に正確且つ高速な時間登録を必要とする。そのような計時システムは通常、RFIDシステムに基づいており、ここで、イベントにおける各参加者には、RFIDトランスポンダ、例えば、UHF後方散乱タグ又は磁気誘導に基づくLFタグ、が提供され、該RFIDトランスポンダは、該トラックに沿って配置されたRFIDリーダによって読み取られることができる。そのようなリーダは、アンテナマット、サイドアンテナ、及び／又は軌道の上方のフレームに取り付けられたアンテナの形態で実装されうる。各トランスポンダは、或る周波数でパケットを伝送するように、及び検出器がパケットを或る伝送機に関連付けることができるように、該パケット内に一意の識別子を挿入するように構成されている。RFID技術に基づく計時システムに関する欠点は、全ての参加者にUHFタグを提供する必要性があること、環境の影響、例えば湿気及び雨、に対するUHF信号の感度性、UHFタグが人体の近くに配置されたときの離調（detuning）、「硬い」（hard）オブジェクト、例えば路面及び壁等、によるUHF信号の反射、並びにトラックに沿って提供されるRFID検出器、例えばRFIDアンテナマット、を多数の参加者が同時に通過するときのUHF信号の衝突を包含する。
【0003】
国際特許公開第WO2021/048446号パンフレットは、多数の参加者が同時に又はほぼ同時に仮想計時ラインを通過しうる、大規模スポーツイベントの参加者の通過時刻を測定する為の視覚に基づく計時システムの例を記載する。該システムは、該仮想計時ラインを通過している参加者の画像を撮像する1以上のカメラを備えている。該システムは、画像を解析するように、すなわち、該画像中の、スポーツイベントにおけるオブジェクト、例えば参加者、を検出するように、及び仮想計時ラインを通過するところの、検出されたオブジェクトについての通過時刻を決定するように構成されたプロセッサを更に備えていてもよい。更に、該撮像された画像に基づいて、該プロセッサは、識別情報担体、例えば、参加者の衣服に装着される所謂BIB上に印刷された識別番号及び／又はシンボル（例えば、QRコード（登録商標）等）を検出し、該検出された識別情報を参加者の通過時刻に関連付けるように構成される。そのような視覚に基づく計時システムの利点は、上述されたRFIDベースの計時システムの欠点を示さないことである。
【0004】
視覚に基づく計時システムは、該仮想計時ラインを通過している参加者の通過時刻を正確に決定することを可能にするが、正確に計時し、そして仮想計時ラインを通過する全ての参加者を正確に識別する為には、幾つかの課題が依然として存在する。特には、計時ラインに配置されたカメラは該ラインを通過している参加者の画像を正確に撮像することができるにもかかわらず、BIB番号が通過している参加者によって視覚的にブロックされるか又は少なくとも部分的にブロックされる為に、該撮像された画像に基づいて、検出された全ての参加者が識別されることができない可能性がゼロではない。このことにより、計時ライン、例えばスタートライン又はゴールライン、を通過している参加者の正確で且つ信頼性の高い判定及び識別は、特には、例えば99.9％超の検出精度等の高い検出精度が要求されるところの大規模なスポーツイベント（例えば、マラソン等）を扱うときには、特に困難である。加えて、種々のプライバシー規制により、データ、特にはバイオメトリックデータ、は、厳しい条件下でのみ使用されうるという技術的な課題が更に増えている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
従って、上記から、スポーツイベント、特には大規模なスポーツイベント、において、通過時刻の決定及び参加者の識別を非常に正確且つ確実に行うことを可能にするところの、スポーツイベントの視覚に基づく計時を改善する為の必要性が当技術分野において存在することが分かる。
【課題を解決するための手段】
【0006】
当業者には理解されるように、本発明の観点は、システム、方法又はコンピュータプログラム製品として具現化されうる。従って、本発明の観点は、完全にハードウェアの実施態様、完全にソフトウェアの実施態様（ファームウェア、常駐ソフトウェア、マイクロコード等を包含する）、又はソフトウェアの観点とハードウェアの観点とを組み合わせた実施態様の形態をとってもよく、これらは全て、本明細書において一般的に、「回路」、「モジュール」又は「システム」として言及されうる。本開示において記載された機能は、コンピュータのマイクロプロセッサによって実行されるアルゴリズムとして実装されてもよい。その上、本発明の観点は、その上に具現化された、例えば記憶された、コンピュータ可読プログラムコードを有する1以上のコンピュータ可読媒体において具現化されたコンピュータプログラム製品の形態をとってもよい。
【0007】
1以上のコンピュータ可読媒体の任意の組み合わせが利用されてもよい。該コンピュータ可読媒体は、コンピュータ可読信号媒体であってもよく、又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は例えば、電子式、磁気式、光学式、電磁式、赤外線式、又は半導体式の、システム、装置若しくはデバイス、又はこれらの任意の適切な組み合わせであってもよいが、これらに限定されるものでない。該コンピュータ可読記憶媒体のより具体的な例（網羅的でないリスト）は、1以上のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（RAM：random access memory）、リードオンリーメモリ（ROM：read-only memory）、消去可能なプログラム可能なリードオンリーメモリ（EPROM：erasable programmable read-only memory、又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（CD-ROM：compact disc read-only memory）、光学記憶装置、磁気記憶装置、又は前述したものの任意の適切な組み合わせを包含する。本明細書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスによって、又はそれらに関連して使用する為のプログラムを含む又は記憶することができるところの任意の有形媒体であってもよい。
【0008】
コンピュータ可読信号媒体は、例えば、ベースバンドにおいて又は搬送波の一部として、その中にコンピュータ可読プログラムコードが具現化された伝搬データ信号を含んでいてもよい。そのような伝搬信号は、電磁気的、光学的、又はそれらの任意の適切な組み合わせを包含するがそれらに限定されない、様々な形態のいずれかを取ってもよい。コンピュータ可読信号媒体は任意のコンピュータ可読媒体であってもよく、該任意のコンピュータ可読媒体は、コンピュータ可読記憶媒体でなく、及び命令実行システム、装置又はデバイスによって、又はそれらに関連して使用する為のプログラムを、通信、伝播又は伝送することができる。
【0009】
コンピュータ可読媒体上に具現化されたプログラムコードは、無線、有線、光ファイバ、ケーブル、RF等、又は前述の任意の適切な組み合わせを包含するがこれらに限定されない、任意の適切な媒体を使用して伝送されてもよい。本発明の観点の為の動作を実行する為のコンピュータプログラムコードは1以上のプログラミング言語の任意の組み合わせで記述されていてもよく、該プログラミング言語は、関数型又はオブジェクト指向プログラミング言語（例えば、Java（登録商標）、Scala、C＋＋、Python等）、及び慣用的な手続き型プログラミング言語、例えば、「C」プログラミング言語又は類似のプログラミング言語、を包含する。
該プログラムコードは、完全にユーザーのコンピュータ上で実行されてもよく、一部はユーザのコンピュータ上でスタンドアロンソフトウェアパッケージとして実行されてもよく、一部はユーザのコンピュータ上で実行し且つ一部はリモートコンピュータ上で実行されてもよく、又は完全にリモートコンピュータ、サーバー若しくは仮想化されたサーバー上で実行されてもよい。後者のシナリオでは、リモートコンピュータは、任意のタイプのネットワーク、例えば、ローカルエリアネットワーク（LAN：local area network）若しくはワイドエリアネットワーク（WAN：wide area network）を包含する上記の任意のタイプのネットワーク、を通じてユーザのコンピュータに接続されてもよく、又は（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部のコンピュータに接続されてもよい。
該プログラムコードは、完全にユーザーのコンピュータ上で実行されてもよく、一部はユーザのコンピュータ上でスタンドアロンソフトウェアパッケージとして実行されてもよく、一部はユーザのコンピュータ上で実行し且つ一部はリモートコンピュータ上で実行されてもよく、又は完全にリモートコンピュータ、サーバー若しくは仮想化されたサーバー上で実行されてもよい。後者のシナリオでは、リモートコンピュータは、任意のタイプのネットワーク、例えば、ローカルエリアネットワーク（LAN：local area network）若しくはワイドエリアネットワーク（WAN：wide area network）を包含する上記の任意のタイプのネットワーク、を通じてユーザのコンピュータに接続されてもよく、又は（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部のコンピュータに接続されてもよい。
【0010】
本発明の観点が、本発明の実施態様に従う、方法、機器（システム）、及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して以下において説明される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実装されることができることが理解されるであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊用途コンピュータ、又は他のプログラム可能なデータ処理機器のプロセッサ、特にはマイクロプロセッサ又は中央処理装置（CPU：central processing unit）、又はグラフィック処理装置（GPU：graphics processing unit）、に提供されて、該コンピュータ、他のプログラム可能なデータ処理機器、又は他の装置のプロセッサを介して実行される命令がフローチャート図及び／又はブロック図の1つのブロック又は複数のブロックにおいて指定された機能／行為を実装する為の手段を作成するように、機械を生成しうる。
【0011】
これらのコンピュータプログラム命令はまた、コンピュータ可読媒体中に記憶され、該コンピュータ可読媒体中に記憶された命令が、フローチャート図及び／又はブロック図の1つのブロック又は複数のブロックにおいて指定された機能／行為を実装する命令を含む製造品を製造するように、該コンピュータプログラム命令は、該コンピュータ、他のプログラム可能なデータ処理機器、又は他の装置に特定の様式で機能するように指示することができる。
【0012】
該コンピュータプログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、又は他の装置上にロードされて、該コンピュータ、該他のプログラム可能な処理装置、又は該他の装置上で一連の動作工程を実行させ、該コンピュータ又は該他のプログラム可能な処理装置上で実行される命令が、フローチャート図及び／又はブロック図の1つのブロック又は複数のブロックにおいて指定された機能／行為を実装する為のプロセスを提供するように、コンピュータに実装されたプロセスを生成しうる。
【0013】
図中のフローチャート及びブロック図は、本発明の様々な実施態様に従うところの、システム、方法及びコンピュータプログラム製品のありうる実装のアーキテクチャ、機能性及び動作を図示する。これに関して、フローチャート図又はブロック図の各ブロックは、指定された1以上の論理機能を実装する為の1以上の実行可能命令を含む、コードのモジュール、セグメント又は部分を表しうる。幾つかの代替的な実装において、該ブロックにおいて記載された機能は、図において記載された順序から外れて生じうることにまた留意されるべきである。例えば、連続して示されている2つのブロックは、事実、実質的に同時に実行されてもよく、又は該複数のブロックは、関与する機能に依存して、時には逆の順序で実行されてもよい。ブロック図及び／又はフローチャート図の各ブロック、並びにブロック図及び／又はフローチャート図における複数のブロックの組み合わせは、指定された機能又は行為を実行するところの特別な目的のハードウェアベースのシステム、又は特別な目的のハードウェアとコンピュータ命令との組み合わせによって実装されることができることにまた留意されたい。
【0014】
従来技術において知られている欠点のうちの少なくとも1つを低減又は除去することが、本開示における実施態様の目的である。1つの観点において、本発明は、スポーツイベントに参加しているオブジェクトを計時し及び識別する方法に関しうる。1つの実施態様において、該方法は、スポーツトラックに沿った第1の位置に配置された第1の計時システムの第1のカメラシステムによって撮像された1以上の第1の画像に関連付けられた第1の画像情報を受信すること、ここで、該1以上の第1の画像は、仮想計時ラインを通過するところの、スポーツイベントに参加しているオブジェクトを含み、該第1の画像情報は、該1以上の第1の画像に基づいて通過時刻が決定されるが、該1以上の第1の画像に基づいて識別されることができないところの少なくとも1つの第1のオブジェクトに関する視覚情報を含む；該第1の位置と異なる位置に配置された第2のカメラシステムによって撮像された1以上の第2の画像に関連付けられた第2の画像情報を受信又は取得すること、ここで、該1以上の第2の画像は、該スポーツイベントに参加しているオブジェクトを含み、該第2の画像情報は、該1以上の第2の画像に基づいて識別されることができる1以上のオブジェクトに関する視覚情報を含む；並びに、該第1のオブジェクトを識別すること、ここで、該識別することが、該第1の画像情報及び該第2の画像情報を用いて該第1のオブジェクトにマッチングするところの、該1以上の第2の画像において第2のオブジェクトを決定すること；並びに、該第2のオブジェクトが決定された場合に、該第2のオブジェクトの該視覚情報に基づいて該第1のオブジェクトを識別することを含みうる。
【0015】
従って、該方法は、スポーツイベントにおけるオブジェクト、例えば、仮想計時ラインを通過する選手及び乗り物を計時及び識別する為の、正確な視覚ベースの計時及び識別プロセスを提供する。本方法は、複数の計時システム又は1つの計時システムと1以上のカメラシステムの視覚情報を使用して、最先端のRFIDシステムによって提供される精度と同様の精度で、大量イベントを計時し及び識別する。仮想計時ラインは、トラックに沿った複数の場所に簡単に設置されてもよく、検出されたオブジェクトの通過時刻を登録し、そして該スポーツトラックに沿った異なる位置に配置された1以上の更なるカメラから提供される視覚情報を用いて、第1の計時システムによって識別されることができなかった計時されたオブジェクトを再識別する中央サーバシステムに容易に接続されうる。
【0016】
1つの実施態様において、該第1の画像情報が、該第1のオブジェクトを含む該1以上の第1の画像のうちの1つの少なくとも一部、又は該1以上の第1の画像のうちの1つの第1の関心領域（ROI）の少なくとも１つのピクチャを含んでいてもよく、該第1のROIは、該第1のオブジェクトの少なくとも一部を含む。従って、通過時刻が決定されたが、該1以上の第1の画像に基づいて該第1の計時システムによって識別されることができなかった該1以上の画像におけるオブジェクトのピクチャは、該オブジェクトの更なる画像に基づいて該識別されなかったオブジェクトを識別するように構成されたアプリケーションを備えているサーバに送信される。このようにして、該仮想計時ラインを通過するオブジェクトを計時し及び識別する非常に高い成功率を有する視覚的計時システムが実現されることができる。
【0017】
1つの実施態様において、該第1の画像情報が、該第1のオブジェクトが該仮想計時ラインを通過する時間インスタンスを示す計時情報、該第1のカメラシステムと該第1のオブジェクトとの間の距離を示す深さ情報、及び／又は該第1のROIに関連付けられた識別子を更に含んでいてもよい。従って、識別されなかったオブジェクトに関連付けられたメタデータは、サーバアプリケーションによって使用されるサーバに送信されてもよい。
【0018】
1つの実施態様において、該1以上の第2の画像において第2のオブジェクトを決定することが、再識別アルゴリズム（re-identification algorithm）に基づいてもよく、ここで、該再識別アルゴリズムが、オブジェクト特性に基づいて、該第1のオブジェクトを該1以上の第2の画像における該オブジェクトと比較するように構成されている。
【0019】
1つの実施態様において、該オブジェクト特性が、非バイオメトリクスオブジェクト特性、例えば、衣服又は靴の色及び／又はデザイン、である。
【0020】
1つの実施態様において、該1以上の第2の画像において第2のオブジェクトを決定することが、該第1のオブジェクトに関連付けられた1以上の第1のオブジェクト特性を決定すること；該第2の画像におけるオブジェクトに関連付けられた1以上の第2のオブジェクト特性を決定すること；並びに、該1以上の第2の画像における該オブジェクトのうちの1つが該1以上の第1の画像における該第1のオブジェクトにマッチングするかを、該1以上の第1のオブジェクト特性及び該1以上の第2のオブジェクト特性に基づいて決定することを含みうる。
【0021】
1つの実施態様において、該マッチングが、該第1のオブジェクト特性及び該第2のオブジェクト特性に基づいて計算されるところの距離尺度に基づいてもよく、ここで、該距離尺度は、該第1のオブジェクトと該第2の画像におけるオブジェクトとの間の類似性を示す。従って、異なるカメラシステムによって撮像された異なる画像におけるオブジェクトが比較され、そして、オブジェクト特性に基づいてマッチングされる。
【0022】
1つの実施態様において、該1以上の第1の画像及び該1以上の第2の画像におけるオブジェクトが、該スポーツイベントに参加している人を表し、及びここで、該第1のオブジェクト特性及び該第2のオブジェクト特性が、イベントに参加している人の特徴、例えば、非バイオメトリクス特徴（例えば、衣服の色、長袖若しくは半袖若しくはズボン、靴の色）及びバイオメトリクス情報（例えば、身長、肌の色、性別、長髪若しくは短髪）、を包含する上記のイベントに参加している人の特徴、を定義し；又は、ここで、該1以上の第1の画像及び該第2の画像におけるオブジェクトが、スポーツイベントに参加する乗り物を表し、及びここで、該第1のオブジェクト特性及び第2のオブジェクト特性が、イベントに参加している乗り物の特性、例えば、該乗り物の色、該乗り物の形状、該乗り物上の数字及び／又は文字、を定義する。
【0023】
1つの実施態様において、第1のオブジェクトの識別することが、該第2のオブジェクトの視覚情報に基づいて、視覚識別マーカー又は視覚識別コードを検索すること；並びに、視覚識別マーカー又は視覚識別コードが見つかった場合に、該視覚識別マーカー又は該視覚識別コードを、該第2のオブジェクトをアイデンティティ（identity）、例えば名前、にリンクする為の識別情報に変換すること；並びに、該第1のオブジェクトを該識別情報に関連付けること；並びに、該第1のオブジェクトの該識別情報及び該計時情報をデータベース内に格納することを更に含みうる。従って、この実施態様において、該サーバアプリケーションは、識別マーカー又は識別コード、例えばBIB又はQRコード（登録商標）等、に関する視覚情報を受信する為の識別アルゴリズム、例えばファストOCRアルゴリズム（fast OCR algorithm）、を含んでいてもよく、該識別アルゴリズムは、該視覚情報を識別情報、例えばBIB番号又は乗り物番号、に変換する。
【0024】
1つの実施態様において、該第2の画像情報が、該第2の画像に関連付けられた識別情報を含んでいてもよく；並びに、該第1のオブジェクトを該識別することが、該第1のオブジェクトを該識別情報に関連付けること；並びに、該第1のオブジェクトの該識別情報及び該計時情報をデータベース内に格納することを更に含む。従って、この実施態様において、該第2の画像における該オブジェクトは、該1以上の第2の画像における該オブジェクトに関連付けられた識別情報が該サーバシステムに送信されることができるように、該第2のカメラシステムの画像処理モジュールによって識別される。このようにして、該サーバ・システムは、自ら識別プロセスを実行する必要はないが、該第2のカメラシステムによって既に決定された情報に依存することができる。
【0025】
1つの実施態様において、該方法は、該1以上の第1の画像に基づいて該第1の計時システムによって検出され、計時され、そして識別されたところの、該1以上の第1の画像におけるオブジェクトに関連付けられた計時情報及び識別情報を受信することを更に含みうる。この実施態様において、第1の画像における、該計時され且つ識別されたオブジェクトに関する情報が該サーバに送信される。
【0026】
1つの実施態様において、該第2のカメラシステムは、該1以上の第2の画像に基づいて識別されることができるところの1以上のオブジェクトに関する視覚情報を決定するように構成されたコンピュータ又はプロセッサを備えている。
【0027】
1つの実施態様において、該第2のカメラシステムは、仮想計時ラインを通過するところの、該スポーツイベントに参加しているオブジェクトの通過時刻を決定するように構成されている第2の計時システムの一部であってもよい。
【0028】
1つの実施態様において、該第1の画像情報は、該検出された識別されなかったオブジェクトを含む画像フレームを含んでいてもよい。別の実施態様において、該第1の画像情報は、該第1のカメラシステムによって生成された画像フレームから切り出された該検出された識別されなかったオブジェクトを含むROIピクチャを含みうる。
【0029】
こうすることで、関連する情報のみが送信され、それによって、該画像情報をサーバシステムに送信する為に必要な帯域幅が大幅に削減される。更なる実施態様において、該の画像情報は、該検出された識別されなかったオブジェクトの通過時刻を示すタイムスタンプを含む。
【0030】
更なる観点において、本発明は、スポーツイベントに参加しているオブジェクトを計時し及び識別する方法であって、該方法が、スポーツトラックに沿った第1の位置に配置された第1の計時システムの第1のカメラシステムによって撮像された1以上の第1の画像に関連付けられた第1の画像情報を、サーバシステムによって受信すること、ここで、該1以上の第1の画像は、視覚識別マーカー又は視覚識別コードに関連付けられたオブジェクトであって、仮想計時ラインを通過するところの、該スポーツイベントに参加している該オブジェクトを含み、該第1の画像情報は、該1以上の第1の画像に基づいて通過時刻が決定されるが、該1以上の第1の画像における視覚識別マーカー又は視覚識別コードに基づいて識別されることができないところの少なくとも1つの第1のオブジェクトの視覚情報を含む；該第1の位置と異なる位置に配置された第2のカメラシステムによって撮像された1以上の第2の画像に関連付けられた第2の画像情報を、該サーバシステムによって受信又は取得すること、ここで、該1以上の第2の画像は、該スポーツイベントに参加しているオブジェクトを含み、該第2の画像情報は、該1以上の第2の画像における視覚識別マーカー又は視覚識別コードに基づいて識別されることができる1以上のオブジェクトに関する視覚情報を含む；並びに、該第1のオブジェクトを、該サーバシステムによって識別すること、ここで、該識別することが、該第1の画像情報及び該第2の画像情報を用いて、該第1のオブジェクトにマッチングするところの、該1以上の第2の画像における第2のオブジェクトを決定することを含み、該決定することが、該第1のオブジェクトに関連付けられた第1の非バイオメトリクスオブジェクト特性と、該第2のオブジェクトに関連付けられた第2の非バイオメトリクスオブジェクト特性とに基づく；並びに、該第2のオブジェクトが決定された場合に、該第2のオブジェクトの該視覚識別マーカー又は視覚識別コードに基づいて該第1のオブジェクトを識別することを含む上記の方法に関しうる。
【0031】
更なる観点において、本発明は、スポーツイベントに参加しているオブジェクトを計時し及び識別する為の視覚に基づくスポーツ計時システムであって、レーストラックに沿った第1のロケーションで仮想タイムラインを通過しているところの、スポーツトラック上のオブジェクトを含むシーンの画像を撮像するように構成されたカメラシステム；及び該カメラシステムに接続されたコンピュータを備えており、ここで、該コンピュータが、該カメラシステムによって撮像された該画像におけるオブジェクトを検出するように；画像に関連付けられた深さ情報を決定するように、ここで、該深さ情報が、該カメラシステムと検出されたオブジェクトとの間の相対的距離を定義する；検出されたオブジェクトが該仮想計時ラインを通過する通過時刻を、該計時情報及び該深さ情報に基づいて決定するように；及び、オブジェクトが該画像に基づいて検出されることが出来ない場合に、画像情報を生成するように、ここで、該画像情報は、識別されることができない該オブジェクトの視覚情報を含む；並びに、更なる処理の為に、該識別されなかったオブジェクトに関連付けられた該画像情報及び該通過時刻をサーバシステムに伝送するように構成されている上記のスポーツ計時システムに関しうる。
【0032】
1つの実施態様において、該サーバシステムは、画像情報に基づいて、及び第1の位置とは異なる位置に配置された更なるカメラシステムによって撮像されたスポーツイベントに参加しているオブジェクトの1以上の更なる画像に関連付けられた更なる画像情報に基づいて、該識別されなかったオブジェクトを識別するように構成されたサーバアプリケーションを備えていてもよい。
【0033】
1つの実施態様において、オブジェクトは、ディープニューラルネットワークに基づくインスタンスオブジェクトセグメント化アルゴリズム（instance object segmentation algorithm）を使用して該画像内で検出されうる。1つの実施態様において、該インスタンスオブジェクトセグメント化アルゴリズムは、R-CNN、ファスト（fast）R-CNN、ファスター（faster）R-CNN、マスク（mask）R-CCNアルゴリズム、又は関連アルゴリズムに基づいてもよい。そのようなアルゴリズムは、画像内のオブジェクトを（ほぼ）リアルタイムで検出し、そして分類することができる。
【0034】
1つの実施態様において、オブジェクトを識別することは、光学式文字認識（OCR：optical character recognition）アルゴリズムに基づいてもよく、又は光学式コード認識アルゴリズムがROI内の（印刷された）識別マーカーを認識する為に使用されてもよい。1つの実施態様において、該識別マーカーは、印刷された文字を含んでいてもよい。1つの実施態様において、該印刷された文字は、赤外線カメラを使用してのみ視認されてもよい。
【0035】
更なる実施態様において、オブジェクトを識別することは、生体特徴に基づいてオブジェクトを識別するように構成されたアルゴリズム、例えば、顔の特徴に基づいて人物を識別するように構成された顔認識アルゴリズム、に基づいてもよい。
【0036】
1つの実施態様において、該カメラシステムは、3Dカメラ又は2以上のカメラモジュールを備えているステレオカメラとして構成されていてもよい。1つの実施態様において、該カメラシステムは、可視スペクトルにおける画像及び赤外スペクトルにおける画像を撮像するように構成されていてもよい。
【0037】
更なる観点において、スポーツイベントに参加しているオブジェクトを計時し及び識別するシステムであって、該システムは、第1のコンピュータに接続された第1のカメラシステム又は該第1のコンピュータを備えている第1のカメラシステムを備えており、ここで、該第1の計時システムは、該スポーツトラックに沿った第1の位置に配置された該第1のカメラシステムによって撮像された1以上の第1の画像に関連付けられた第1の画像情報を生成するように構成されており、該1以上の第1の画像は、該仮想計時ラインを通過しているオブジェクトを備えており、該第1の画像情報は、該1以上の第1の画像に基づいて通過時刻が決定されるが、該1以上の第1の画像に基づいて識別されることができないところの少なくとも1つの第1のオブジェクトの視覚情報を含む；1以上の第2のカメラシステム、各カメラシステムは、第2のコンピュータに接続されている又は該第2のコンピュータを備えており、ここで、該1以上の第2のカメラシステムは、該第1の位置と異なる位置で配置された該第2のカメラシステムによって撮像された1以上の第2の画像に関連付けられた第2の画像情報を生成するように構成されており、該1以上の第2の画像は、該スポーツイベントに参加しているオブジェクトを備えており、該第2の画像情報は、該1以上の第2の画像に基づいて識別されることができる1以上のオブジェクトに関する視覚情報を含む；並びに、該システムは、該第1の画像情報及び該第2の画像情報を受信するように且つ該第1のオブジェクトを識別するように構成されたサーバシステムを備えており、ここで、該識別することは、該第1の画像情報及び該第2の画像情報を用いて、該第1のオブジェクトにマッチングするところの、該1以上の第2の画像における第2のオブジェクトを決定すること；並びに、該第2のオブジェクトが決定された場合に、該第2のオブジェクトの視覚情報に基づいて該第1のオブジェクトを識別することを含む、上記のシステムに関する。
【0038】
1つの実施態様において、該第1の計時システム及び該1以上の第2のカメラシステムは、該サーバシステムと無線通信するように構成されており、ここで好ましくは、該第1の計時システム及び該1以上の第2のカメラシステムは、通信ネットワークを形成する。
【0039】
1つの実施態様において、該1以上の第2のカメラシステムは、無線ネットワーク、好ましくはメッシュ（mesh）ネットワーク、スター（star）ネットワーク、又はセルラー（cellular）ネットワーク、を形成しうる。別の実施態様において、該計時システムと該サーバシステムとの間の通信は、無線通信規格、例えばZigbee、LoRa、LoRaWAN、5G、に基づいてもよい。
【0040】
1つの実施態様において、該1以上の第2のカメラシステムの各々は、視覚に基づく計時システム、好ましくは、本願における実施態様を参照して説明されているところの視覚に基づく計時システムの一部であってもよい。
【0041】
1つの実施態様において、該システムは、トラックに沿って配置された複数の計時システムを備えていてもよく、ここで、該計時システムは、該サーバシステムに無線接続されている。
【0042】
本発明はまた、少なくとも1つのソフトウェアコード部分を含むところの、1つのコンピュータプログラム若しくは複数のコンピュータプログラムのスイート、又は少なくとも1つのソフトウェアコード部分を格納するコンピュータプログラム製品であって、該ソフトウェアコード部分が、コンピュータシステム上で実行されるときに、該ソフトウェアコード部分が、コンピュータシステム上で実行されると、上述されたいずれかの方法の工程を実行するように構成されている上記の、該１つのコンピュータプログラム若しくは該複数のコンピュータプログラムのスイート又は該コンピュータプログラム製品に関する。
【0043】
本発明は更に、少なくとも1つのソフトウェアコード部分を記憶する非一時的なコンピュータ可読記憶媒体であって、該ソフトウェアコード部分は、コンピュータによって実行又は処理されるときに、上述されたいずれかの方法の工程を実行するように構成されている上記の非一時的なコンピュータ可読記憶媒体に関しうる。
【0044】
本発明は、本発明に従う実施態様を概略的に示す添付図面を参照して更に説明される。本発明は、これらの特定の実施態様に何ら限定されるものでないことが理解されるであろう。
【図面の簡単な説明】
【0045】
【発明を実施するための形態】
【0046】
図1は、本願において記載された実施態様において使用されうる計時システムの一例を図示する。特には、該図は、コンピュータシステム104によって制御されるカメラシステム101を備えている計時システム100を図示する。各カメラシステムは、スポーツトラック106のシーンの画像（ビデオフレーム）を撮像するように、ここで、該シーンは、オブジェクト、例えばスポーツイベントに参加しているところの、人、動物又は乗り物、を含んでいてもよい；及び、該撮像された画像に関連付けられた深さ情報を決定するように構成されていてもよい。例えば、1つの実施態様において、該深さ情報は、該カメラシステムの画像センサによって生成されたビデオフレームに関連付けられた1以上の、所謂、深さマップを含んでいてもよい。ビデオフレーム、例えばRGBビデオフレーム、の該深さマップは、ビデオフレームの各画素についての距離値を表す画素値を含む画素化画像として表されていてもよい。該距離値は、カメラ（の撮像面）と該ビデオフレームにおけるオブジェクトとの間の距離を定義しうる。
【0047】
例えば、ビデオフレームにおけるピクセルグループは、該カメラシステムによって撮像されるところのシーンにおけるオブジェクトの一部であってもよい。その場合、深さマップは、カメラ（視点）と該シーンにおけるオブジェクトの表面との間の相対距離を示しうる。従って、スポーツトラックに沿って移動しているオブジェクト、例えばアスリート又は乗り物、の一連のタイムスタンプ付けされたビデオフレームの撮像の間に、関連する深さマップは、時間の関数として、ビデオフレームにおける移動オブジェクトと（静的な）カメラシステムとの間の距離に関する情報を提供しうる。
【0048】
深さ情報、例えば1以上の画像に関連付けられた深さマップ、を生成することができるカメラシステムが知られている。例えば、カメラシステムは、3Dカメラシステム、例えばステレオカメラシステム、として実装されうる。典型的には、そのようなカメラシステムは2以上のカメラモジュールを有していてもよく、ここで、各カメラモジュールはその独自のレンズシステムを有する。このようにして、該カメラシステムは、異なる視点から同じシーンの複数（すなわち2以上）の画像を同時に撮像するように構成される。1つの実施態様において、該カメラシステムは、例えば図1において図示されているように、2つの別個のカメラモジュールを有しうる。別の実施態様において、該カメラシステムは、2つのカメラモジュールを備えている1つのハウジングを含んでいてもよい。そのようなステレオカメラは、深さマップ及び／又は3Dピクチャを決定する為に使用されうる。3Dカメラシステムは、深さマップを計算する為に複数の画像が使用されることができるように、2以上のカメラモジュールを有しうる。このようにして、該深さ情報の精度が向上されることができる。
【0049】
本願の実施態様において使用されるカメラシステムは、ステレオベースの撮像技術に限定されるものではなく、他の撮像技術が同様に使用されてもよい。例えば、深さマップは、（Kinectによって使用されるような）RGB／赤外線（IR）技法、又は3Dタイム・オブ・フライト（TOF：time-of-flight）技法、LIDAR、又はそれらの組み合わせに基づいて生成されてもよく、ここで、赤外線放射、例えばIRカメラ又はIRレーザ、は、カメラによって撮像されるところのシーンの深さ情報を決定する為に使用されてもよい。幾つかの実施態様において、該カメラシステムは、可視スペクトル（例えばRGB）と赤外線（IR）スペクトルの画像を撮像してオブジェクトの画像を撮像するように構成されたカラー赤外線カメラであってもよい。例えば、気象条件（例えば、霧、雨等）又は薄明時のように光条件が最適でないときに、赤外画像の使用が有利でありうる。
【0050】
該カメラシステムの視野角を広げる為に、幾つかの実施態様において、1以上の広角カメラモジュール、例えば180度カメラ又は360度カメラ、が使用されうる。また、ビデオ、例えば、特別な360カメラシステムを使用して生成される360-ビデオ、すなわち没入型ビデオ（immersive video）、のそのような種類のフォーマットの場合に、深さマップが生成されることができ、ここで、該ビデオは、例えば正距円筒図法（equirectangular projection）を使用して2Dビデオフレーム上に投影される。正確な画像処理を可能にする為に、計時システムにおいて使用されるカメラは、少なくとも30フレーム／秒以上のフレームレートを有する。アプリケーションに依存して、該フレームレートが少なくとも60フレーム／秒以上である場合もある。加えて、該カメラは4K以上の画像解像度を有する高解像度カメラであってもよい。
【0051】
図1において示されているように、該カメラシステムは、該スポーツトラックの1以上の側方に及び／又は上方に配置された複数のカメラモジュール1021,2を備えていてもよい。該カメラモジュールは、各カメラモジュールが、トラックに沿って移動しているオブジェクトを含むスポーツトラックの同じシーン114を撮像するように位置合わせされ及び較正されていてもよい。その為に、該トラックの上方及び／又は該トラックの片側若しくは両側に沿って配置されうるところの1以上の較正マーカー1101,2が使用されうる。1以上の較正マーカーは、仮想計時基準112の座標を決定する為に該計時システムによって使用されうる。該実装に基づいて、該仮想計時基準は、該カメラシステムから距離zで配置された仮想計時ライン又は仮想計時平面を定義しうる。仮想計時ラインは、2つの座標、例えば、位置xでの時間ラインを通過しているオブジェクト、に基づいて、又は3つの座標、例えば、位置x及び高さyでの時間ラインを通過しているオブジェクトの一部、に基づいて通過を決定することに使用されてもよい。例えば、或る使用例の場合に、オブジェクトの特定の部分、例えばBIBを備えているアスリートの胸部が仮想計時平面を通過するときの通過時刻を決定することが望ましい。
【0052】
以下では、仮想計時ラインが言及される場合は常に、他のタイプの仮想計時基準、例えば仮想計時平面、がまた含められるべきである。該計時ラインは、1以上の較正マーカーの位置で該トラックを横切って配置されてもよい。例えば、2つの較正マーカーを使用するときに、該仮想計時ラインは、2つの較正マーカーの間に配置されてもよい。
【0053】
較正マーカー（の使用）の例及び較正プロセスは、国際特許公開第WO2021/048446号パンフレットおいて詳細に記載されており、該文献は参照によって本願の明細書内に取り込まれる。較正後、該カメラシステムと該仮想計時ラインとの間の相対距離は既知であり、従って、カメラがリセットされる必要がある場合又は該カメラが移動される場合等の、再較正の為に使用される必要がない限り、該マーカーは取り外されることができる。このことにより、移動しているオブジェクト、例えば、スポーツイベントにおける参加者、が該仮想計時ラインを通過した時刻を、タイムスタンプ付けされたビデオフレームと、関連付けられた深さマップとに基づいて、該計時システムが決定することを可能にする。このようにして、スポーツイベントにおける参加者の正確な通過時刻が得られうる。
【0054】
該コンピュータシステム104は、カメラシステムを制御して、該仮想計時ラインを通過しているオブジェクトの画像、典型的には複数の画像のセット、を撮像するように構成されていてもよい。幾つかの実施態様において、該コンピュータは、該カメラシステムによって撮像された画像のうちの少なくとも一部を処理及び解析分析するように構成された画像処理モジュール103を備えていてもよい。特には、幾つかの実施態様において、該画像処理モジュールは、画像を解析するように、例えば、該画像におけるオブジェクトを検出するように、そして、該画像におけるオブジェクトを分類し、そして通過時刻、すなわち、検出されたオブジェクトが該仮想計時ラインを通過するところの時間インスタンスを決定するように構成されていてもよい。
【0055】
該画像処理モジュールは更に、該オブジェクトに関連付けられた1以上のオブジェクト特性に基づいてオブジェクトを識別するように構成されていてもよい。ここで、オブジェクト識別とは、これらのオブジェクト特性に基づいて、検出されたオブジェクトにアイデンティティ（identity）、典型的には、個人データ（例えば、データベース内に、イベント前に保存されているところの、人、動物、乗り物又はチームの名前）を割り当てるプロセスを云う。オブジェクト特性の例は、参加者のBIB 109上の番号である。参加者がスポーツイベントに該参加者それ自体を登録するときに、該参加者は識別情報、例えば識別番号（例えば、BIB番号）、を受け取るであろう。該識別情報は、該計時システムによって、データ、例えば通過時刻107に関する情報、を、中央データベース内に格納されている個人データ、例えば登録された参加者の名前、にリンクさせる為に使用されうる。オブジェクトをアイデンティティ（identity）にリンクさせる為に、異なるオブジェクト特性が使用されてもよい。例えば、該オブジェクトが人物を表す場合に、オブジェクト特性は、レースBIB（の一部）、色、バイオメトリクス情報、視覚的識別コード、例えばQRコード（登録商標）、オブジェクトアイテム、例えば、靴、シャツ、ブランドマーク等、を包含しうる（ただし、これらに限定されるものでない）。該オブジェクトが乗り物を表す場合に、オブジェクト特性は、乗り物の特徴、例えば、ナンバー、色、形状、ブランドマーク、ナンバープレート（license plate）又は登録プレート（registration plate）、を包含しうる。該コンピュータは、検出され且つ識別されたオブジェクトの決定された通過時刻を集中的に処理するように構成された更なるコンピュータシステム（図示せず）、例えば遠隔コンピュータシステム、例えばサーバシステム、に、該計時システムを無線で接続する為の無線モジュール105を備えていてもよく、又は該無線モジュール105に接続されていてもよい。
【0056】
図1において描かれている計時システムは、該仮想計時ラインを通過しているオブジェクトの通過時刻を決定するように構成されているが、該仮想計時ラインを通過する実質的に全ての計時されたオブジェクトを正確な検出率、例えば99.9％以上の正解率、で識別することは、特に挑戦的である。なぜならば、このことにより、画像における検出された全てのオブジェクトが該計時システムによって識別されることができるわけでない可能性がかなりあるからである。オブジェクトを検出することの失敗は、オブジェクトに関連づけられたオブジェクト特性、すなわち、検出されたオブジェクトをアイデンティティ（identity）と関連付ける為に使用されるところのオブジェクトの属性、例えばBIB番号、が、該画像における他のオブジェクトによって及び／又は画質の問題によって、視覚的にブロックされてもよいこと又は少なくとも部分的にブロックされてもよいことによって引き起こされうる。従って、該計時システムの画像処理モジュールは、画像における全てのオブジェクトを識別する為に十分なオブジェクト特性を決定することができない場合があり、従って、幾つかのオブジェクトが該計時システムによって識別されることができない。このことにより、高速、正確且つ信頼性の高い視覚に基づく計時と、仮想計時ライン（例えば、スタートライン又はゴールライン）を通過する全ての参加者の視覚に基づく計時システムによる識別とを特に困難にする。
【0057】
本出願における実施態様は、視覚に基づく計時システムの第1のカメラシステムによって撮像された1以上の第1の画像における視覚情報に基づいて且つ該第1のカメラシステムの位置とは異なる位置に配置された1以上の更なるカメラシステムによって撮像された1以上の更なる第2の画像におけるオブジェクトの視覚情報に基づいて、該スポーツトラックを横切る仮想計時ラインを通過しているところの、スポーツイベントに参加するオブジェクトを計時及び識別する為の方法及びシステムに関する。特には、1以上の第1の画像における視覚情報に基づいて識別されることができない第1の画像における計時されたオブジェクトは、1以上の更なる第2の画像におけるオブジェクトの視覚情報に基づいて識別されうる。非オブジェクトの識別は、更なるコンピュータシステム上、例えば中央サーバシステム又はクラウドプラットフォーム上、で実行されるアルゴリズムによって実行されてもよい。その為に、該計時システム及び1以上の更なるカメラシステムは、該更なるコンピュータシステムに接続されてもよい。
【0058】
幾つかの実施態様において、更なるカメラシステムの各々又は少なくとも一部は、該レーストラックの異なる位置で仮想計時ラインを通過しているオブジェクトの通過時刻を決定する為の更なる計時システムの一部であってもよい。このようにして、図2において示されているような計時システムのネットワークが形成されうる。この図は、スポーツトラック200と、該トラックに沿って、異なる位置2041～5に配置された計時システム2061～5を図示する。該ネットワークは、様々なネットワーク構成、例えば、メッシュワーク、スターネットワーク、セルラーネットワークを包含するがこれらに限定されない上記の様々なネットワーク構成、に基づいて実装されうる。更に、該ネットワークを運用する為の任意の適切な通信規格（Zigbee，LoRa，LoRaWAN，5G等）が使用されてもよい。
【0059】
図1を参照して説明されているように、各計時システムは、1以上のカメラモジュールとコンピュータ又はプロセッサとを備えているカメラシステムを備えており、該カメラシステムは、仮想計時ラインを通過しているオブジェクトのタイムスタンプ付けされた画像に基づいて通過時刻を決定するように構成された画像処理モジュールを備えている。該トラックに沿った異なる位置での通過時刻が共通の時間基準を持つように、該計時システムは共通のクロックを共有してもよい。このようにして、計時システムの無線ネットワークが形成されてもよく、ここで、更なるコンピュータシステムは、計時情報、すなわち検出されたオブジェクトの通過時刻、を受信し、そして収集する為に、及び該計時システムによって識別されることができた検出されたオブジェクトと該計時システムによって識別されることができなかったオブジェクトとの画像情報を受信する為に使用されうる。
【0060】
第1の計時システムの第1の画像における全てのオブジェクトが第1の計時システムによって識別されることができない場合、第1の画像における視覚情報に基づいて該計時システムによって識別されることができなかったオブジェクトに関連付けられた第1の画像情報が、該計時システムによって遠隔コンピュータシステムに伝送されうる。該第1の画像情報は例えば、第1の画像における1以上の関心領域（ROIs：region of interests）の1以上のピクチャを含んでいてもよく、ここで、各ROIは、識別されることができなかったオブジェクトの少なくとも一部を含む。そのようなピクチャは、第1の画像から切り取られてもよく又は該第1の画像からコピーされてもよい。該第1の画像情報は、画像における異なるオブジェクトをシステムが区別できるようにする為のピクチャに関する情報、例えばオブジェクト又はROI識別子（ID）、及び該画像が撮像された時刻に関する情報を更に含んでいてもよい。
【0061】
更なるコンピュータシステムは、計時システムから画像情報を受信するように構成されているところ、サーバアプリケーションを含むサーバシステムとして構成されていてもよい。例えば、1以上の第1の画像に関連付けられた第1の画像情報と、イベントに参加し且つ1以上の第2の画像における視覚情報に基づいて識別されることができるところのオブジェクトを含む1以上の更なる第2の画像に関連付けられた第2の画像情報とを受信してもよい。ここで、該第2の画像は、該トラックに沿った別の位置に配置されうる別の計時システムのカメラシステム、又はオブジェクトが該トラックに進入する位置に設置されるカメラシステムによって撮像されてもよい。
【0062】
次に、該サーバアプリケーションは、第1の画像における識別されなかったオブジェクトを1以上の第2の画像におけるオブジェクトと比較して、該第1の画像における識別されなかったオブジェクトが該1以上の第2の画像のうちの１つのオブジェクトとマッチ（すなわち、類似又は同一）するかを判定するように構成されていてもよい。マッチする場合に、該サーバアプリケーションは、第1の画像における識別されなかったオブジェクトとマッチする第2の画像におけるオブジェクトの1以上のオブジェクト特性に基づいて、該第1の画像における識別されなかったオブジェクトを識別しうる。
【0063】
このようにして、特定の仮想計時ライン、例えば、スポーツイベントを開始する為に使用される計時ライン、を通過しているオブジェクトの識別の成功率が大幅に向上されることができる。サーバアプリケーションによって実行される識別プロセスの高レベル概略図が図3において示されており、それは３つの異なる画像を図示し、各画像は、異なるカメラシステムによって撮像される。例えば、第1の画像312は、第1の計時システム、例えばトラックの開始位置（経過1）にある第1の計時システム、の第1のカメラシステムによって撮像され、一方、第2の画像314及び第3の画像316は夫々、トラックに沿った第2の位置（経過2）及び第3の位置（経過3）に配置された第2のカメラシステム及び第3のカメラシステムによって撮像される。該第1のカメラシステム及び該第2のカメラシステムは、該第2の計時システム及び該第3の計時システムの一部であってもよい。
【0064】
該画像処理モジュールは、第1の画像におけるオブジェクト、この例においては仮想計時ラインを通過している6つのオブジェクト3181～3及び3201～3、を検出する為のオブジェクト検出アルゴリズムを含みうる。特には、インスタンスオブジェクトセグメント化アルゴリズムが、該画像におけるオブジェクトを検出し、そして該画像における他のオブジェクトから区切る為に使用されうる。図4において示されているように、インスタンスセグメント化は、同じクラスの複数のオブジェクト4001～6、例えばアスリート又は乗り物、を検出することを可能にし、ここで、検出された各オブジェクトが個別のインスタンスとして扱われうる。該インスタンスセグメント化アルゴリズムは、該検出されたオブジェクトを含むところの、該画像における関心領域ROI 401（図において、わかりやすくする為に、第1のオブジェクトのROIだけが描かれている）を定義するバウンディングボックス（bounding box）を決定しうる。1つの画像における同じクラスの異なる検出オブジェクトを区別する為に、該検出されたオブジェクトを含むROIは、システムによって使用されるオブジェクト識別子ID、例えば、該アルゴリズムによってオブジェクトに割り当てられた一意の番号、でラベル付けされる。
【0065】
このようにして、画像におけるオブジェクト、例えば、アスリート、車、バイク等、が正確且つ効率的に検出され、そして分類され、そして、画像におけるラベル付けされたROIとして表現されうる。1つの実施態様において、ROI及びIDに関する情報は、画像にメタデータとして追加又はリンクされてもよい。ディープラーニングに基づく効率的なインスタンスオブジェクトセグメント化アルゴリズムが使用されてもよく、これには、画像におけるオブジェクトを（ほぼ）リアルタイムで検出し、そして分類することができるアルゴリズム、例えば、R-CNN、ファストR-CNN又はファスターR-CNN又は関連するアルゴリズム、を包含するが、これらに限定されない。最新のインスタンス分割アルゴリズムの概要は、A．Hafiz等による下記の論文：A survey on Instance Segmentation: State of The Art，International Journal of Multimedia Information Retrieval volume 9，pages171～189 (2020)において提供されており、該文献は、参照によって本願の明細書内に取り込まれる。これらのアルゴリズムは、非常に効率的なランタイムパフォーマンスを提供し、従って、例えば該計時システムのコンピュータを使用して、ローカルに実行されることができるようにする。
【0066】
オブジェクト検出及び識別プロセスを高速化する為に、該画像処理モジュールを実行する計時システムのCPUベースのローカルコンピュータは、1以上の特殊用途プロセッサ、例えば、1以上のグラフィカルプロセッシングユニットGPU、テンソルプロセッシングユニットTPU（tensor processing unit）、又はフィールドプログラム可能なゲートアレイFPGA（field programmable gate array）を備えていてもよく、それらは、様々な画像処理アルゴリズムによって実行される計算、特には、ニューラルネットワークに関連付けられた計算、を加速化する為に特に適合されうる。
【0067】
画像において検出されたオブジェクトは、1以上のオブジェクト特性、例えば、オブジェクトを識別する為に特に使用される識別マーカー4041～3（例えば、BIB、QRコード（登録商標）、印刷されたテキスト、記号等）、バイオメトリクス情報4081～6（例えば、顔の特徴、年齢、性別、身長、髪の色等）、及び／又は特定のオブジェクトの為に特有な非バイオメトリクスオブジェクト項目4061～6（例えば、服及び／又は靴の色及び／又はデザイン、又は乗り物の色及び／又は形状）、に基づいて識別されてもよく、すなわちアイデンティティ（identity）と関連付けられてもよい。顔の特徴、年齢、性別、長さ、髪の色等）、及び／又は特定のオブジェクトに特有である非生体測定オブジェクト項目4061～6（服及び／又は靴の色及び／又はデザイン、又は乗り物の色及び／又は形状等）。これらのオブジェクト特性は、仮想計時ラインを通過するオブジェクトを識別する為に該計時システムによって使用されることができる視覚識別情報を定義しうる。
【0068】
ROIは、ROIにおけるオブジェクト特性を検出し、そして、該ROIから識別情報を抽出するように構成されたところの1以上のアルゴリズムによって解析されてもよい。例えば、光学式文字認識（OCR：optical characterrecognition）アルゴリズムは、ROIにおける（印刷された）識別マーカーを認識する為に使用されてもよい。典型的には、OCRアルゴリズムは、テキスト検出アルゴリズム及びテキスト認識アルゴリズムを含んでいてもよい。これらの印刷された識別マーカーは、文字及び／又は記号、例えば、BIB又は乗り物上の例示的な数字及び／又は文字、に基づいてもよい。代替的には及び／又は追加的に、コード検出アルゴリズムが、ROIにおける視覚的コード、典型的には標準化されたコード、を検出し、そして符号化する為に使用されてもよい。例えば、BIB又はアスリートの衣服は、識別情報が（例えば）幾何学的構造として符号化されたQRコード（登録商標）又はその変形を包含しうる。更に、顔検出及び認識アルゴリズムが、顔の特徴に基づいてROIにおける人物を識別する為に使用されてもよい。
【0069】
幾つかの実施態様において、オブジェクトのポーズを識別するように構成されたポーズ推定アルゴリズム（pose estimation algorithm）が使用される。例えば、1つの実施態様において、ポーズ推定アルゴリズムは、オブジェクトのキージョイント（key joints）（肩／腰／膝／頭）を決定してもよく、それは、オブジェクト識別特性（object identification features）、すなわち識別の為に使用されることができるオブジェクト特性、を表しうるROIにおけるありうる位置を識別する為に使用されてもよい。例えば、キージョイントの位置に基づいて、身体の特定の部分、例えば胸、腕、頭、脚又は足が決定されうる。該キージョイントの位置に基づいて、1以上のオブジェクト特性、例えば顔、胸又は足、を備えている高い可能性を有するところのROI内の位置が決定されてもよい。
【0070】
画像内のオブジェクトのオブジェクト特性が決定されることができない場合又は決定されることが十分でない場合に、1以上の第1の画像における情報のみに基づいて識別することは不可能である。例えば、図3における第1の画像に基づいて、3つのオブジェクト3181～3のみが識別されてもよい。なぜならば、これらのオブジェクトの場合に、十分なオブジェクト特性が、（例えば、可視BIBの形態で及びおそらくは他の情報の形態で）決定されることができるからである。一方、他の検出されたオブジェクト3201～3は、識別されることができない。なぜならば、これらのオブジェクトを確実に識別する為に十分なオブジェクト特性が決定されることができないからである。該計時システムが画像における全てのオブジェクトを識別することができない場合に、該計時システムは、該識別されなかったオブジェクトに関連付けられた画像情報がサーバアプリケーションに伝送するであろう。
【0071】
実装及び／又はユースケースに依存して、該画像情報は異なるタイプの情報を含んでいてもよい。例えば、1つの実施態様において、該画像情報は、撮像された画像と、該画像における識別されることができなかったオブジェクト、例えば、識別されなかったオブジェクトを含む画像におけるROIの位置、を識別するメタデータとを含んでいてもよい。更に、1つの実施態様において、該画像情報は、該システムが異なるROIを区別することができるように、該ROIに関連付けられた識別子IDを含んでいてもよい。別の実施態様において、該画像の代わりに、検出された各識別されなかったオブジェクトのピクチャが該画像から切り出されてもよい。このようにすると、関連情報のみが伝送され、それによって、該画像情報をサーバシステムに伝送する為に必要な帯域幅が大幅に削減される。更なる実施態様において、計時情報、例えば、オブジェクトの通過時刻又はピクチャが撮像された時刻を示すタイムスタンプ、がサーバアプリケーションに送信されてもよい。
【0072】
該サーバアプリケーションは、異なる画像ソース、例えばイベントに参加するオブジェクトを含む第2の画像314及び第3の画像316、からの画像情報に基づいて、識別不可能なオブジェクトを識別しようと試みるであろう。これらの画像は、図2を参照して説明されているように、該オブジェクトの画像を撮像する1以上の更なるカメラシステムによって撮像されてもよい。サーバアプリケーションによって実行される識別プロセスは、第2の画像314及び／又は第3の画像316におけるオブジェクトのうち、第1の画像における識別されなかったオブジェクトとマッチする（すなわち、類似又は同一である）オブジェクトを探すように構成された再識別プロセスを含んでいてもよい。例えば、該第1の画像における識別されなかったオブジェクト3201～3と、十分なオブジェクト特性を有する第2の画像及び第3の画像におけるオブジェクトとをマッチングすることにより、サーバアプリケーションが、該第1の計時システムによって計時されるオブジェクトでないオブジェクトを識別することが可能でありうる。異なるカメラシステムによって撮像されたオブジェクトの画像数を増加させることにより、計時システムによる識別の見逃し率を更に低減しうる。
【0073】
図2及び図3における例は、スタート時の計時された参加者の識別率を向上させるように構成されたシステムの例を図示しているが、該スキームはまた、他の通過時刻、例えば、レーストラックに沿って配置された計時システムのネットワークの一部であるところの、トラックに沿った或る位置での或る計時システムに関連する通過時刻、の識別率を向上させる為に使用されうることは明らかである。
【0074】
該サーバシステムによって実行される再識別プロセスは、異なる位置に配置された異なるカメラシステムの重複しない異なる画像において検出されたオブジェクト、典型的にはオブジェクトを含むROIのピクチャ、を比較し、そして、該比較されたオブジェクト間の類似性尺度を決定するように構成されていてもよい。従って、オブジェクトは、異なる条件（光、角度、距離、品質等）の下で、異なるカメラシステムによって撮像されてもよい。該アルゴリズムは、異なるカメラ由来の異なる画像におけるオブジェクトを検出し、そして、検出された各オブジェクトについてのオブジェクト記述子を決定するように構成されていてもよい。ここで、オブジェクト記述子は、オブジェクトの複数の特徴、特にはオブジェクト特性、に基づいて、オブジェクトの高レベルの記述子を提供しうる。オブジェクト記述子は、1組の値の形態を有していてもよく、ここで、各値は、或るオブジェクト特徴、例えば、衣服の或る色、に関する或る信頼値を示してもよい。これらの値は、所定のフォーマット、例えばベクトル等、に配置されていてもよい。
【0075】
異なる画像における2つのオブジェクトを比較する為に、異なるオブジェクトのオブジェクト記述子に基づいて距離又は差分値が決定されることができ、ここで、該計算された距離又は差分値は、2つのオブジェクトの高レベルの類似性に関する類似性尺度を表しうる。そのような比較は、同じアイデンティティ（identity）を有する異なる画像における2つのオブジェクトの特定のオブジェクト特徴間の差が、異なるアイデンティティ（identities）を有する異なる画像内の2つのオブジェクトの特定のオブジェクト特性間の差よりも小さいという考えに基づく。ディープラーニングに基づく再識別アルゴリズムは、局所情報抽出（local information extraction）、距離メトリック学習（distance metric learning）、又はセマンティック属性（semantic attributes）に基づく再識別アルゴリズム包含するが、これらに限定されない。最新の再識別アルゴリズムの概要は、Hongbo Wang等による下記の論文：A comprehensive overview of person re-identification approaches，March 2020，IEEE Access DOI:10.1109/ACCESS.2020.2978344において与えられており、該論文は参照によって本願の明細書内に取り込まれる。
【0076】
例えば、スポーツ選手の場合、該オブジェクト記述子は、人物のオブジェクト特性、例えば、衣服の色、長袖若しくは半袖若しくはズボン、身長、肌の色、長髪若しくは短髪、靴の色等、の観点からスポーツ選手を表してもよい。代替的には、乗り物の場合に、該オブジェクト記述子は、乗り物のオブジェクト特性、例えば、乗り物の色、乗り物の形状、乗り物上の数字及び／又は文字、の観点で乗り物を表現してもよい。次に、2つのオブジェクトのオブジェクト記述子に基づいて距離（例えば差分）を計算することによって、2つのオブジェクトが比較されうる。例えば、所謂、余弦距離（cosine distance）が計算されてもよく、それは0（似ていない）と1（完全に同一）との間の値であってもよい。該距離が大きいほど、該オブジェクトが同一であるという確信が大きい。
【0077】
図5は、オブジェクト記述子、例えば、特定の顔の特徴5021～3及び靴の特定の特徴5041～3に関連するオブジェクト特性を包含する上記のオブジェクト記述子、に基づく再識別プロセスの例を図示する。オブジェクト記述子に基づいて、第1のピクチャにおける第1の識別されなかったオブジェクト5201と第2の画像における第1のオブジェクト5241とを比較する場合に、高い信頼値は、オブジェクトが同一又は類似のオブジェクト特性を有する可能性が高いことを示しうる。同様に、オブジェクト記述子に基づくオブジェクト間の比較は、該第1の画像における第2の識別されなかったオブジェクト5203と該第2の画像における第2のオブジェクト5243との間、及び該第1の画像における第3の識別されなかったオブジェクト5202と該第3の画像における第3のオブジェクト5242との間に高い類似性があることを示しうる。2つのオブジェクトの信頼度の集計値が或る閾値超である場合に、該システムは、異なる画像におけるオブジェクトが同一であると判断しうる。このようにして、異なる画像における同一のオブジェクトがマッチングされうる。
【0078】
再識別プロセスが、該第1の画像における該識別されなかったオブジェクトと該第2の画像における複数のオブジェクトのうちの1つとの間にマッチがあると判定した場合に、すなわち、該第1の画像における識別されなかったオブジェクトが第2の画像（又は第3の画像）におけるオブジェクトと類似（又は同一）である場合に、第2の「一致した」画像におけるオブジェクトが、該識別されなかったオブジェクトを識別する為に使用されうる。1つの実施態様において、該サーバシステムによって実行されるオブジェクト識別アルゴリズムが、図4を参照して説明されたものと同様でありうるオブジェクト識別スキームを使用して、該一致したオブジェクトを識別する為に使用されうる。これらのアルゴリズムは、サーバシステム上で実行されるので、速度及びコンピュータリソース（メモリ使用量及びプロセッサパワー）に関する制限が該サーバシステムにとってそれほど厳しくない故に、該モデルは、該計時システムのコンピュータでローカルに実行されるものよりも広範でありうる。
【0079】
別の実施態様において、サーバアプリケーションが識別アルゴリズムを実行する代わりに、該識別は、第2の画像情報内に含まれ、そして該サーバアプリケーションに送信されうるところの識別情報に基づいていてもよい。従って、この実施態様は、第2のカメラシステム（それは、第2の計時システムであってもよい）が、画像における検出されたオブジェクトを識別することができるという事実を利用する。従って、その場合に、該サーバシステムに送信される第2の画像情報は、オブジェクトのピクチャと、識別されたピクチャの識別情報とを含んでいてもよい。
【0080】
図6A及び図6Bは、1つの実施態様に従う通過時刻モジュールの動作を図示する。図6Aは、本願の該実施態様を参照して説明されているように、計時システムの3D検出ゾーンを通過している移動するオブジェクト（この場合はアスリート）の3つのスナップショットを示す。該3D検出ゾーンは、図1を参照して上述されているような較正方法を使用して設定されうる。図6Bにおいて示されているように、3D検出ゾーン612は、トラックを横切って配置された仮想平面614を含んでいても良く、ここで、該仮想平面の法線はスポーツトラックの方向に実質的に平行である。該仮想平面は、該オブジェクトが該仮想平面に向かって移動し、そして、該仮想平面を横切るところの第1の部分6161と、該移動するオブジェクトが該仮想平面を横切り、そして該仮想平面から遠ざかるところの第2の部分6162とに3D検出ゾーンを分割する。
【0081】
従って、オブジェクトがトラックに沿って移動するときに、3Dカメラシステムは、3D検出ゾーンを含むシーンの画像（ステレオカメラの場合は画像のペア）を撮像するであろう。各画像（ビデオフレーム）の場合に、3D画像システムは深さマップを計算しうる。オブジェクト検出及び追跡アルゴリズムが、後続のビデオフレームにおいて所定のオブジェクト、例えば人間のオブジェクト又はオブジェクトを表すオブジェクト、を検出し且つ追跡する為に使用されうる。
【0082】
該深さマップに基づいて、該コンピュータは、検出されたオブジェクトが3D検出ゾーンの第1の部分に入ったと判断しうる。その場合に、該コンピュータは、該オブジェクトが第2の部分を介して該3D検出ゾーンから出るまで、ビデオフレームと、関連付けられた深さマップとをバッファ内に保存し始めてもよい。別の実施態様において、ビデオフレームの1対のみが保存され、そして、深さマップは後で決定される。これらのビデオフレームと深さマップとは、通過時刻を決定する為に及び通過時刻に関連付けられたオブジェクトを識別する為に、該コンピュータによって使用されうる。
【0083】
図6Aは、アスリートが3D検出ゾーンを通じて移動するときのタイムスタンプ付けされたビデオフレームのシーケンスの3つのサンプル6021～3を図示する。これらのビデオフレームは、カメラシステムによって撮像され、そして、該コンピュータ内に保存されうる。図6Bにおいて示されているように、第1のビデオフレーム6021は、時間インスタンスT1、すなわち、該アスリートの身体のほとんどの部分が3D検出ゾーンの第1の部分6161にまだあった時間、で撮像される。時間インスタンスT2では、第2のビデオフレーム6022が撮像され、ここで、該アスリートは更に移動し、そして、3D検出ゾーンの仮想平面614を通過する。最後に、時間インスタンスT3では、第3のビデオフレーム6023が撮像され、ここで、該アスリートは、3D検出ゾーンの第2の部分6162に移動していた。
【0084】
該計時システムの該コンピュータにおける通過時刻モジュールは、タイムスタンプ付けされたビデオフレームのシーケンスを解析して、アスリートがどの時間インスタンスで仮想平面を通過していたかを決定しうる。その為に、オブジェクト検出及び分類アルゴリズムが各ビデオフレームに適用されてもよい。該アルゴリズムは、例えば、ビデオフレームにおいて、オブジェクトに属する関心領域6081～3（ROIs：region of interests）を決定しうる。更に、これらのROIの各々の場合に、該アルゴリズムは、ピクセルをアスリートに属する又は属しない（背景）として分類してもよい。
【0085】
更に、ビデオフレームの各々に関連付けられた深さマップは、該オブジェクトに属するとして分類された画素に属する距離値を決定する為に使用されてもよい。これらの距離値は、カメラと仮想平面との間の距離と比較されてもよい。このようにして、3Dカメラシステムが仮想平面を横切るオブジェクトを撮像する場合に、各ビデオフレームについて、該仮想平面を横切ったオブジェクトのピクセルの一部が決定されることができる。このことは図6Aのビデオフレームにおいて見られることができ、ここで、灰色の領域は、該仮想平面を横切ったオブジェクト（の一部）のピクセルを定義する。
【0086】
時間インスタンスT1でのビデオフレームの場合に、アスリートの手の一部を表す画素6041と該アスリートの靴を表す画素6061のみが、仮想平面と3Dカメラシステムとの間の距離よりも小さい距離値に関連付けられている。同様に、時間インスタンスT2でのビデオフレームの場合に、上半身の一部を表すピクセル6041と脚の一部を表すピクセル6062が、該仮想平面と該3Dカメラシステムとの間の距離よりも小さい距離値に関連付けられている。最後に、T3でのビデオフレームの場合に、該アスリートを表す全ての画素608は、該仮想平面と該3Dカメラシステムとの間の距離よりも小さい距離値に関連付けられている。この解析に基づいて、該コンピュータは、T2で、アスリートの身体の実質的な一部が該仮想平面を横切っていたと判断しうる。例えば、該コンピュータは、該仮想平面を横切っていたオブジェクトの一部が或る閾値よりも大きい場合において、その場合に、該アスリートが該平面を横切っていたと判断しうる。従って、その場合に、タイムスタンプT2は、通過時刻510、この例においては2時34分、を定義しうる。オブジェクトが該仮想平面を横切ったかを決定する為に、異なるルールが定義されてもよい。
【0087】
図7は、本願において記載されている実施態様によって実行されうるところの、スポーツトラックを横切る仮想計時ラインを通過しているオブジェクトを計時し及び識別する為の方法の一般的なプロセスフローを図示する。該プロセスは、アプリケーション、好ましくはサーバアプリケーション、が、スポーツトラックに沿った第1の位置に配置された第1の計時システムの第1のカメラシステムによって撮像された1以上の第1の画像に関連付けられた第1の画像情報を受信することから開始しうる（工程702）。該第1の画像は、仮想計時ラインを通過しているオブジェクト、例えば人又は乗り物、を含んでいてもよい。更に、該第1の画像情報は、該1以上の第1の画像に基づいて識別されることができない少なくとも1つの第1のオブジェクトに関する視覚情報を含んでいてもよい。
【0088】
同様の方法で、該サーバアプリケーションは、第1の位置とは異なる位置に配置された第2のカメラシステムによって撮像された1以上の第2の画像に関連付けられた第2の画像情報を受信してもよい（工程704）。該1以上の第2の画像は、スポーツイベントに参加しているオブジェクトを含んでいてもよく、及び該第2の画像情報は、1以上の第2の画像に基づいて識別されることができる1以上の第2の画像におけるオブジェクトのうちの少なくとも一部に関する視覚情報を含む。従って、該1以上の第2の画像におけるオブジェクトは、識別マーカー（例えば、印刷されたマーカー）又はバイオメトリックマーカー、例えば人の顔、が見えるところのオブジェクトの画像が撮像されるように、異なるカメラシステムによって撮像され、並びに異なる視野角及び異なる焦点距離から撮られる。このようにして、イベントの間に、該イベントにおける各オブジェクトの異なる画像が撮像されるであろう。
【0089】
該サーバアプリケーションは、該第2のカメラシステムから1以上の第2の画像を受信してもよい。代替的には、該サーバアプリケーションは、該イベントに参加するオブジェクトの画像を格納又はバッファするように構成された記憶媒体、例えば画像データベース、から1以上の第2の画像を取得してもよい。
【0090】
該第1の画像情報及び該第2の画像情報に基づいて、該サーバアプリケーションは、識別されることができなかった第１のオブジェクトを識別しうる。ここで、該第１のオブジェクトを識別することは、1以上の第１の画像における第１のオブジェクトと一致するところの、該1以上の第2の画像における第２のオブジェクトを検索すること；並びに、該第２のオブジェクトの視覚情報に基づいて該第１のオブジェクトを識別することを含みうる。
【0091】
ここで、該第２のオブジェクトを検索することは、該第1の画像及び該第2の画像におけるオブジェクトのオブジェクト特性に渡されてもよい。例えば、該サーバアプリケーションは、該第１のオブジェクトに関連付けられた１以上の第１のオブジェクト特性を決定すること；該第2の画像におけるオブジェクトに関連付けられた1以上の第2のオブジェクト特性を決定すること；並びに、該1以上の第1のオブジェクト特性及び該1以上の第2のオブジェクト特性に基づいて、該１以上の第2の画像におけるオブジェクトのうちの１つが該１以上の第１の画像における第1のオブジェクトと一致するかを決定することを含んでいてもよい。
【0092】
図8は、1つの実施態様に従う、仮想計時ライン通過しているオブジェクトを計時し及び識別する為のシステムを図示する。該システムは、該第1のカメラシステムによって撮像されたタイムスタンプ付けされた第1の画像8041の為の画像処理モジュールを備えているところの、第1のコンピュータ又はプロセッサ8031に接続された第1のカメラシステム8021を備えている視覚に基づく第1の計時システムを備えていてもよい。該第1の計時システムは、図1及び図2を参照して説明されているのと同様の方法で、トラックに沿って配置され、及び更なるコンピュータシステム822に通信可能に接続されていてもよく、例えば無線で接続されていてもよい。該更なるコンピュータシステムは、ネットワークノード、例えばサーバシステム又はクラウドシステム、として構成されていてもよい。該第1のカメラシステムは、仮想計時ラインを通過しているオブジェクトの第1の画像を生成するように構成されていてもよい。更に、該第1のカメラシステムは、該カメラシステムと該仮想計時ラインを通過しているオブジェクトとの間の相対的距離に関する情報を提供するところの、該第1の画像に関連付けられた深さ情報（深さマップ）を生成するように構成されていてもよい。
【0093】
該第1の計時システムのコンピュータによって実行される画像処理モジュールは、該第1の画像におけるオブジェクトを検出する為のオブジェクト検出モジュール8061、検出されたオブジェクトについての通過時刻を決定する為の通過時刻モジュール8081、及び該第1の画像における検出されたオブジェクトを識別する為のオブジェクト識別モジュール8101を備えていてもよい。これらのモジュールによって実行される画像処理スキームの非限定的な例が、図2～図7を参照して詳細に記載されている。他の実施態様において、複数の該モジュールは、各モジュールが機能を実行する為の或るアルゴリズムを含む別個のモジュールとして図示されているが、該複数のモジュールの機能の一部又は全ての機能は、統合又は結合されたモジュールの機能を提供するように構成されたアルゴリズムを含む1つのモジュール内に統合されていてもよく又はそれらが組み合わされていてもよい。
【0094】
該第１の画像における情報に基づいて、該画像処理モジュールは、該画像における仮想計時ラインを通過するオブジェクトの少なくとも一部を検出し、計時し及び識別しうる。これらのオブジェクトの場合に、該第1の計時システムは、通過時間とアイデンティティ（identity）、例えばBIB番号、を、検出されたオブジェクトにローカルに割り当ててもよい。第１の計時情報8161は、該第1の計時システムが監視しているイベントに参加する参加者の該計時情報を収集するデータベース812に第１のコンピュータによって送信されうる。該データベースは、経過時間を、サーバーシステムの更なる登録データベース（図示せず）内に保存されうる個人データ、例えば参加者の名前、にリンクする為に、該受信したアイデンティティ（identity）を使用しうる。
【0095】
該第1の計時システムの識別モジュールが、該画像における該仮想計時ラインを通過する全てのオブジェクトを識別することに成功しない場合に、次に、該第1のコンピュータは、第1の画像8181に関連付けられた第1の画像情報を、更なるコンピュータシステムに送信してもよく、該更なるコンピュータシステムは、該第1の画像情報を（一時的に）記憶する為の記憶媒体820を含んでいてもよい。該記憶媒体は、サーバシステムに接続された異なるカメラシステムによって撮像された画像を記憶する為の画像データベースの一部であってもよい。該第1の画像情報は、識別されることができなかった1以上の計時された時限オブジェクトの少なくとも視覚情報を含みうる。この視覚情報は、少なくとも第1の画像の一部、例えば、識別されることができなかった1以上のオブジェクトの少なくとも一部を含む1以上の第1の画像から切り出された1以上のピクチャ、を含みうる。
【0096】
該第1の画像情報は、該識別されなかったオブジェクトのピクチャに関連付けられたメタデータ、例えば、通過時刻モジュールによって決定された通過時刻に関連する計時情報、識別されなかったオブジェクトと、更なるカメラシステムによって撮像された更なる画像に基づいて該識別されなかったオブジェクトを識別する為にサーバアプリケーションによって使用されることができる他の情報とを区別することを可能にする為の識別子とを更に含みうる。この情報は例えば、ピクチャの解像度及び／又はフォーマットに関する情報を含みうる。
【0097】
幾つかの実施態様において、該画像情報はまた、該第1の計時システムによって識別されたオブジェクトのピクチャを含んでいてもよい。これらのピクチャ及び関連付けられた識別情報、例えばBIB番号又は乗り物番号、がまた、記憶媒体820に送信され、そして、該画像データベース内に入れられてもよい。このようにして、該第1の計時システムは、識別されたオブジェクトと識別されていないオブジェクトとの両方の視覚情報、例えばピクチャ、をサーバシステムに送信しうる。
【0098】
該システムは、画像処理モジュールを備えていてもよい第2のコンピュータ8032に接続された少なくとも1つの更なる第2のカメラシステム8022を備えていてもよい。例えば、1つの実施態様において、該画像処理モジュールは、該第2のカメラシステムによって撮像された画像8042を処理する為の、少なくともオブジェクト検出モジュール8062及びオブジェクト識別モジュール8102を備えていてもよい。その場合、該第2のコンピュータは、該1以上の第2の画像に関連付けられた第2の画像情報を該サーバシステムに送信してもよく、ここで、該第2の画像情報は、検出されたオブジェクトのピクチャ及び検出されたオブジェクトの識別情報を含んでいてもよい。
【0099】
更なる実施態様において、該第2のカメラシステムは、該第1の計時システムの位置とは異なるトラックに沿って第2の位置に配置された第2の計時ラインを通過しているオブジェクトを計時し、そして識別するように構成された第2の計時システムの一部であってもよい。その場合、該第2のコンピュータはまた、通過時刻モジュール8082を備えていてもよく、従って、該第2の計時システムは、第2の画像情報と計時情報の両方を該サーバシステムに送信してもよい。このようにして、識別されたオブジェクト及び識別されていないオブジェクトに関する画像情報が、該サーバシステムの記憶媒体820内に記憶されうる。
【0100】
次に、サーバアプリケーションは、1以上の第2の画像に基づいて、1以上の第1の画像上で識別されることができなかった識別されなかったオブジェクトを識別する為のオブジェクト識別モジュール814を備えていてもよい。この識別プロセスは、第1のカメラシステムで撮像された1つの画像における識別されなかったオブジェクトと、別の第2のカメラシステムで撮像された別の画像における識別されたオブジェクトとをマッチングさせる為に画像再識別を使用しうる。更に、第2の画像における第2のオブジェクトが第1の画像における識別されなかった第1のオブジェクトと一致することが一旦みつけられると、次に、該第2のオブジェクトは、更なる第2のカメラシステムによって該サーバアプリケーションに提供された識別情報に基づいて識別されてもよく、又は該サーバアプリケーションによって実行されるオブジェクト識別アルゴリズムに基づいて識別されてもよい。
【0101】
図8において図示されているシステムは、画像の処理の一部が、トラックに沿って配置された計時システムのコンピュータによってローカルに行われるところのアーキテクチャの非限定的な例を示す。よりコンピュータ・ソース集約的な画像処理、例えばオブジェクトの再識別、を典型的に必要とするところの、識別不可能なオブジェクトの処理のみが、サーバ上で実行される。他のアーキテクチャがまた可能であることに留意されたい。例えば、1つの実施態様において、該計時システムは、計時ラインを通過しているオブジェクトの画像及び深さ情報を生成する為のカメラシステムのみを備えている。この情報は、該計時システムのコンピュータによって図8において実行される画像処理モジュールを備えているサーバシステムに送信され、例えばストリームで送信される。
【0102】
更なる実施態様において、図8に図示されているサーバ機能の少なくとも一部は、複数の該計時システムのうちの1つに関連付けられたサーバ又複数の該計時システムのうちの1つ内に統合されたサーバ上に実装されてもよい。例えば、計時システムのコンピュータは、サーバアプリケーションを実行するサーバシステムを包含しうる。サーバ機能を備えている計時システムは、マスター計時システムを定義しうる。トラックに沿った他の全ての計時システムは、本願の実施態様を参照して記載されているようなオブジェクト識別プロセスを実行する為に、マスター計時システムに接続されてもよい。そのようなアーキテクチャは、計時システムのネットワークがメッシュネットワークを形成しうるときに特に好適であり得、ここで、或る範囲内の計時システムが、該マスター計時システムに向けてオブジェクト識別の為の計時情報及び画像を中継するように構成されてもよい。
【0103】
図9は、本願において記載されいる方法及びソフトウェア製品を実行する為に使用されうる例示的なデータ処理システムを示すブロック図である。データ処理システム900は、システムバス906を通じてメモリ要素904に接続された少なくとも1つのプロセッサ902を備えていてもよい。このように、該データ処理システムは、メモリ要素904内にプログラムコードを格納してもよい。更に、プロセッサ902は、システムバス906を介してメモリ要素904からアクセスされるプログラムコードを実行してもよい。1つの観点において、データ処理システムは、プログラムコードを格納及び／又は実行する為に適したコンピュータとして実装されてもよい。しかしながら、データ処理システム900は、本明細書内で記載された機能を実行することができるプロセッサ及びメモリを備えている任意のシステムの形態で実装されてもよいことが理解されるべきである。
【0104】
メモリ要素904は、1以上の物理メモリデバイス、例えば、ローカルメモリ908及び1以上のバルクストレージデバイス910等、を包含しうる。ローカルメモリは、プログラムコードの実際の実行の間に一般的に使用されるランダムアクセスメモリ又は他の1以上の非永続的メモリデバイスを言及しうる。バルクストレージデバイスは、ハードドライブ又は他の永続的データ記憶デバイスとして実装されうる。処理システム900はまた、実行の間にプログラムコードをバルクストレージデバイス910から取り出す回数を減らす為に、少なくとも一部のプログラムコードの一時的な記憶を提供する1以上のキャッシュメモリ（図示せず）を備えていてもよい。
【0105】
入力デバイス912及び出力デバイス914として図示されている入出力（I／O）デバイスは任意的に、データ処理システムに接続されることができる。入力デバイスの例は、例えば、キーボード、ポインティングデバイス（例えば、マウス）等を包含しうるが、これらに限定されない。出力デバイスの例は、例えば、モニタ又はディスプレイ、スピーカ等を包含しうるが、これらに限定されない。入力デバイス及び／又は出力デバイスは、直接又は介在するI／Oコントローラを介してデータ処理システムに接続されてもよい。ネットワークアダプタ916はまた、介在するプライベートネットワーク又はパブリックネットワークを通じて、他のシステム、コンピュータシステム、リモートネットワークデバイス及び／又はリモートストレージデバイスに接続されることを可能にする為に、データ処理システムに接続されてもよい。該ネットワークアダプタは、該システム、デバイス及び／又はネットワークによって該データに伝送されるデータを受信する為のデータ受信機と、該システム、デバイス及び／又はネットワークにデータを伝送する為のデータ伝送機とを備えていてもよい。モデム、ケーブルモデム及びイーサネットカードが、データ処理システム900と共に使用されてもよい異なるタイプのネットワークアダプタの例である。
【0106】
図9に描かれているように、メモリ要素904はアプリケーション918を格納しうる。データ処理システム900は、アプリケーションの実行を容易にすることができるオペレーティングシステム（図示せず）を更に実行しうることが理解されるべきである。実行可能なプログラムコードの形態で実装されるアプリケーションは、データ処理システム900、例えばプロセッサ902、によって実行されることができる。アプリケーションの実行に応答して、データ処理システムは、本明細書において更に詳細に記載される1以上の動作を実行するように構成されてもよい。
【0107】
1つの観点において、例えば、データ処理システム900は、クライアントデータ処理システムを表しうる。その場合、アプリケーション918は、実行されるときに、「クライアント」を参照して本明細書において記載されている様々な機能を実行するようにデータ処理システム900を構成するところのクライアントアプリケーションを表しうる。クライアントの例は、パーソナルコンピュータ、ポータブルコンピュータ、携帯電話等を包含しうるが、これらに限定されるものでない。
【0108】
別の観点において、データ処理システムはサーバを表してもよい。例えば、データ処理システムは（HTTP）サーバを表してもよく、その場合には、アプリケーション918は、実行されるときに、（HTTP）サーバオペレーションを実行するようにデータ処理システムを構成してもよい。別の観点において、データ処理システムは、本明細書において言及されるような、モジュール、ユニット又は機能を表しうる。
【0109】
本明細書において使用される用語は、特定の実施態様を説明する目的だけのものであり、本発明を限定することを意図するものではない。本明細書において使用される場合に、単数形「1つ」（a，an）及び「該」（the）は、文脈上明らかにそうでないことが示されない限り、複数形をも含むことが意図される。更に、本明細書において使用される場合に、語「を含む」（comprises）及び／又は「を含んでいる」（comprising）は、記載された特徴、整数、工程、操作、要素及び／又は構成要素の存在を特定するが、1以上の他の特徴、整数、工程、操作、要素、構成要素及び／又はそれらのグループの存在又は追加を排除するものではないことが更に理解されるであろう。
【0110】
添付の特許請求の範囲における全ての手段又は工程プラス機能要素の対応する構造、材料、行為及び等価物は、具体的に特許請求されるように、他の特許請求されている要素と組み合わせて機能を実行する為の任意の構造、材料又は行為を含むことが意図されている。本発明の説明は、例示及び説明の目的の為に提示されているものであるが、網羅的であること又は開示された形態における本発明に限定されることが意図されるものでない。本発明の範囲及び精神から逸脱すること無しに、多くの修正及び変形が当業者には明らかであろう。該実施態様は、本発明の原理及び実際の適用を最もよく説明する為に、及び当業者が、企図される特定の用途に適した様々な変更を伴う様々な実施態様について本発明を理解することを可能にするように選択され且つ説明されたものである。
【0111】
本明細書において使用される用語は、特定の実施態様を説明する目的だけのものであり、本発明を限定することを意図するものではない。本明細書において使用される場合に、単数形「1つ」（a，an）及び「該」（the）は、文脈上明らかにそうでないことが示されない限り、複数形をも含むことが意図される。更に、本明細書において使用される場合に、語「を含む」（comprises）及び／又は「を含んでいる」（comprising）は、記載された特徴、整数、工程、操作、要素及び／又は構成要素の存在を特定するが、1以上の他の特徴、整数、工程、操作、要素、構成要素及び／又はそれらのグループの存在又は追加を排除するものではないことが更に理解されるであろう。
【0112】
添付の特許請求の範囲における全ての手段又は工程プラス機能要素の対応する構造、材料、行為及び等価物は、具体的に特許請求されるように、他の特許請求されている要素と組み合わせて機能を実行する為の任意の構造、材料又は行為を含むことが意図されている。本発明の説明は、例示及び説明の目的の為に提示されているものであるが、網羅的であること又は開示された形態における本発明に限定されることが意図されるものでない。本発明の範囲及び精神から逸脱すること無しに、多くの修正及び変形が当業者には明らかであろう。該実施態様は、本発明の原理及び実際の適用を最もよく説明する為に、及び当業者が、企図される特定の用途に適した様々な変更を伴う様々な実施態様について本発明を理解することを可能にするように選択され且つ説明されたものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【国際調査報告】