特許 6902492 オブジェクト同定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6902492

(24)【登録日】2021年6月23日

(45)【発行日】2021年7月14日

(54)【発明の名称】オブジェクト同定装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210701BHJP

   G06T 7/70 20170101ALI20210701BHJP

   G06T 7/246 20170101ALI20210701BHJP

【ＦＩ】

   G06T7/00 350C

   G06T7/70 A

   G06T7/246

【請求項の数】22

【全頁数】25

(21)【出願番号】特願2018-61567(P2018-61567)

(22)【出願日】2018年3月28日

(65)【公開番号】特開2019-175063(P2019-175063A)

(43)【公開日】2019年10月10日

【審査請求日】2020年2月5日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(72)【発明者】

【氏名】渡邊 良亮

(72)【発明者】

【氏名】野中 敬介

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１３−１９２８７１（ＪＰ，Ａ）

【文献】 特開２０１１−１１３３６０（ＪＰ，Ａ）

【文献】 特開平９−２９８７４０（ＪＰ，Ａ）

【文献】 国際公開第２００７／０３７３５０（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２４６

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

対象オブジェクトの同定に用いる部位を画像から抽出するオブジェクト部位抽出部と、
対象オブジェクトの位置を推定するオブジェクト位置推定部と、
対象オブジェクトについて各同定要素ごとに同定を行い、対象オブジェクトの各同定要素ごとの同定結果を集計することで最終的にオブジェクトの同定を行うオブジェクト同定部と、
前記オブジェクト部位抽出部及び前記オブジェクト同定部が使用する各候補オブジェクトの部位の特徴を事前に学習するオブジェクト特徴学習部と、
前記オブジェクト同定部が対象オブジェクトの各同定要素ごとの同定結果を集計する際の重みを動的に決定する同定パラメータ決定部と、
前記オブジェクト同定部の最終的なオブジェクトの同定結果の表示を行う結果表示部と、
を有することを特徴としたオブジェクト同定装置。

【請求項2】

前記同定パラメータ決定部が、抽出に成功した同定要素の中で、候補オブジェクト同士の同定を行いやすい同定要素に大きく重み付けをすること
を特徴とした請求項１に記載のオブジェクト同定装置。

【請求項3】

前記同定パラメータ決定部が、候補オブジェクト同士の同定を行いやすい要素に大きく重み付けをするために、
全ての候補オブジェクトの同定要素の特徴をクラスタリングした際のクラスタ数と、
各クラスタの代表値の分散と、
抽出要素の要素信頼度と、
の三つのパラメータを組み合わせることで、候補オブジェクト同士の同定を行いやすい同定要素に大きく重み付けをすること
を特徴とした請求項２に記載のオブジェクト同定装置。

【請求項4】

前記オブジェクト同定部が最終同定スコアを算出する際に、一定の条件を満たすスコアを示した候補オブジェクトを次の候補オブジェクトとして定め、前記同定パラメータ決定部にて繰り返し重み付けを変更しながら候補オブジェクトを絞り込んでいくこと
を特徴とした請求項１から３のいずれかに記載のオブジェクト同定装置。

【請求項5】

同定パラメータ決定部が、オブジェクト同定のための重みを設定する際に、候補オブジェクトの数が多い場合には、各重み間の差が小さくなるような調整を加えること
を特徴とした請求項１から４のいずれかに記載のオブジェクト同定装置。

【請求項6】

前記オブジェクト部位抽出部が、同定のために複数の部位を抽出し、
前記オブジェクト同定部が、抽出に成功した部位の数の多い対象オブジェクトから順にオブジェクトの同定を行うことで、同定を行いやすい対象オブジェクトから順に候補オブジェクトの数を減らして行き、同定精度を高めることを特徴とする請求項１から５のいずれかに記載のオブジェクト同定装置。

【請求項7】

前記オブジェクト位置推定部での位置推定の際に、対象オブジェクト同士が近傍に存在しており、奥の対象オブジェクトが手前の対象オブジェクトにより一部覆い隠されている場合に、覆い隠されていない部位を検出し、当該部位が複数検出されたことを基に対象オブジェクトの数と位置を推定することで、重なりがある場合にも位置推定を正確に行うこと
を特徴とした請求項１から６のいずれかに記載のオブジェクト同定装置。

【請求項8】

レースに出場しているオブジェクトを同定するオブジェクト同定装置であって、
前記同定パラメータ決定部が重みを決定するために参照する事前情報データベースを備ており、
前記オブジェクト特徴学習部は、レース前に前記事前情報データベースに登録されている静的な情報だけでなく、レース前の対象オブジェクトの様子を映像として捉え、その映像に対しオブジェクトの部位を抽出し、レース直前のリアルタイムな特徴情報を学習すること
を特徴とする請求項１から７のいずれかに記載のオブジェクト同定装置。

【請求項9】

前記オブジェクト特徴学習部が学習するレース直前のリアルタイムな特徴情報として、レース直前の映像から候補オブジェクトの部位の抽出を行い、当該部位に対して色範囲を動的に変化させたときに抽出される当該部位の領域の外接矩形サイズが、レース前に設定された当該部位の大きさに近づくように色閾値を調整すること
を特徴とする請求項８に記載のオブジェクト同定装置。

【請求項10】

前記オブジェクト特徴学習部が、レース直前の映像から対象オブジェクトの部位の抽出を行い、学習するレース直前のリアルタイムな特徴情報として、当該部位のカラーヒストグラムを予め計算しておく機構を備え、
かつ前記オブジェクト同定部が、このカラーヒストグラムとの類似度を調べることによってオブジェクト同定のスコアを算出すること
を特徴とする請求項８に記載のオブジェクト同定装置。

【請求項11】

レースに出場しているオブジェクトを同定するオブジェクト同定装置であって、
前記オブジェクト同定部で同定を行う同定要素の一つとして、競走中の対象オブジェクトの相対位置を用い、過去のフレームで同定された複数の候補オブジェクトの中で、現フレームでの対象オブジェクトの相対位置との距離が近い相対位置を有する候補オブジェクトに、大きな同定スコアを付与すること
を特徴とする請求項１から１０のいずれかに記載のオブジェクト同定装置。

【請求項12】

競走中の対象オブジェクトの相対位置は、競走中の先頭と最後方に存在する対象オブジェクトの間と、最内と最外に存在する対象オブジェクトの間の空間にて正規化された量として計算され、コース形状に沿うように座標軸を取ること
を特徴とする請求項１１に記載のオブジェクト同定装置。

【請求項13】

前記オブジェクト同定部において特定部位に対し番号認識を用いてスコアを算出する際に、認識結果として完全に一致している番号のみにスコア付けをするのではなく、事前に判明している条件や傾向に基づいて、特定の桁のみが一致している場合にも一定のスコアを与えることで、番号の誤認識に基づいたスコアを算出する可能性を減少させること
を特徴とする請求項１から１２のいずれかに記載のオブジェクト同定装置。

【請求項14】

前記オブジェクト同定部において特定部位に対し番号認識を用いてスコアを算出する際に、撮影に用いるカメラと番号認識を行う部分の間の距離を算出し、距離が遠い場合の同定スコアが低くなるように重みを付けて同定スコアを算出すること
を特徴とする請求項１から１３のいずれかに記載のオブジェクト同定装置。

【請求項15】

前記オブジェクト同定部において特定部位に対し文字認識を用いてスコアを算出する際に、文字そのものの認識が難しい場合には、文字部分の形状や色情報を基に文字部分の文字数を読み取り、文字部分の文字数に基づく対象オブジェクトの同定の際のスコア付けを行うこと
を特徴とする請求項１から１４のいずれかに記載のオブジェクト同定装置。

【請求項16】

レースに出場しているオブジェクトを同定するオブジェクト同定装置であって、
前記オブジェクト位置推定部が、対象オブジェクトによって作り出される影、足跡、又は波に代表される対象オブジェクトの痕跡を利用して複数の対象オブジェクトの存在を検知し、対象オブジェクトの位置を推定すること
を特徴とする請求項１から１５のいずれかに記載のオブジェクト同定装置。

【請求項17】

レースに出場しているオブジェクトを同定するオブジェクト同定装置であって、
前記オブジェクト部位抽出部が、背景差分法に基づいて背景と前景領域を分離する機能を有し、レース前に決定されている出走時刻を基に、レース直前の画面内に対象オブジェクトが全く存在しないことを感知して、レース開始直前の背景の特徴を学習することにより、照明条件や天候の変化にも対応して前景抽出を実現すること
を特徴とする請求項１から１６のいずれかに記載のオブジェクト同定装置。

【請求項18】

レースに出場しているオブジェクトを同定するオブジェクト同定装置であって、
オブジェクトの追跡を行うことが可能なオブジェクト追跡部をさらに有し、
前記オブジェクト追跡部は追跡が成功した際に、追跡先の位置に同定結果と過去の同定スコアを引き継ぐことを可能とし、追跡中にも一定の頻度で再度オブジェクト同定を行い、追跡開始フレームから現フレームまでの同定スコアを加算した中で最大となる番号を同定結果として出力すること
を特徴とした請求項１から１７のいずれかに記載のオブジェクト同定装置。

【請求項19】

競走馬の同定を行うオブジェクト同定装置であって、前記事前に判明している条件や傾向として、騎手の足によって競走馬のゼッケンの一部が隠されることがあるという傾向を利用し、カメラの位置と向きから見えづらい桁を考慮して、特定の桁のみが一致している場合にも一定のスコアを与えることで、番号の誤認識に基づいたスコアを算出する可能性を減少させること
を特徴とする請求項１３に記載のオブジェクト同定装置。

【請求項20】

競走馬の同定を行うオブジェクト同定装置であって、前記オブジェクト部位抽出部にて抽出を行う部位を
（１)競走馬のゼッケン (２)騎手の服 (３)騎手の帽子 (４)馬の顔部分(馬が被るメンコやブリンカー、シャドーロールを含む) (５)バンデージ (６)馬体
の以上６項目とし、
前記オブジェクト同定部で、（７）競走馬の相対位置を加えた計７要素について、
（１）は番号認識と文字認識、（２）〜（６）は色情報の類似度、（７）は距離を基に同定スコアを算出し、前記同定パラメータ決定部で得られる重みに基づいてオブジェクト同定を行うこと
を特徴とした請求項１から１９のいずれかに記載のオブジェクト同定装置。

【請求項21】

競走馬の同定を行うオブジェクト同定装置であって、前記オブジェクト特徴学習部がレース前に判明している競走馬のゼッケンの色情報から、当該ゼッケンを抽出できる色範囲を設定し、前記オブジェクト部位抽出部は、その色範囲を基に抽出して得られた全ての領域に対し外接矩形を計算し、外接矩形の大きさがゼッケンのサイズと類似していることを基にゼッケン部分の抽出を行い、抽出されたゼッケン部分の位置を基準として、画像中での各部位の位置関係に基づいて各部位を抽出すること
を特徴とした請求項１から２０のいずれかに記載のオブジェクト同定装置。

【請求項22】

競走馬の同定を行うオブジェクト同定装置であって、前記オブジェクト特徴学習部で用いるレース前の対象オブジェクトの映像とは、レース前に入手できるパドックの映像と、レーススタート前にスタート地点まで走っていく際の馬の映像と、スタート直前にゲートに収まっている馬の映像であること
を特徴とした請求項８に記載のオブジェクト同定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動いている対象物を含む画像をカメラによって撮影し、撮影された画像に基づいて画像中の対象物を同定するオブジェクト同定装置に関する。

【背景技術】

【0002】

従来より、センサーを用いず、カメラからの映像だけを基に、レース競技において競走対象の位置を推定し、同定を行う競走馬位置情報解析装置が提案されてきた（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２００７／０３７３５０号パンフレット

【0004】

このような装置を用いて対象の位置を特定し、特定した結果をマップ上などにプロットし、スマートフォンなどの端末に配信することで、ユーザはレースにおける各競走対象の位置を知ることができる。また、競馬や競輪等に代表される賭博要素を持つ競技では、過去のレースにおける展開や競走対象の動きを分析したいというユーザが多く、解析して表示した結果はレースの展開などの分析の用途にも役立てることが可能である。そのような技術の中でも、特にカメラのみを用いた位置推定と対象の同定を行う技術は、競走対象へのセンサーの取り付けや通信環境の整備等が不要であり、レース場への導入や運用が簡単であることから、カメラのみを用いた位置推定や対象の同定を行うことのメリットは大きい。

【0005】

特許文献１は、レース場の周囲に設けられたカメラからの映像を解析し競走馬を追尾することで、特定の競走馬のレースにおける位置や移動軌跡を解析・表示する発明に関するものである。位置推定と同定の実現のために、各競走馬のサイズに合わせた６角形状のテンプレートを用いて、前フレームの対象物体との類似度を測定することで各馬の動きを追尾する。この類似度の測定に関しては、前記テンプレート部分の色の分析を行うことで類似度を判定するが、色に基づく類似度の判定を行う際に、比較的特徴が表れやすい騎手部分や、馬体部分の色分析をした結果に対し大きく重み付けすることで、競走馬の同定を行うことを特徴としている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１のように位置の推定を行う上でテンプレートを用いて追尾を行うことは、対象が他の対象と離れて移動しているときには大きな効果を発揮するが、レース競技では常に競走対象が分離してカメラに映し出されるわけではなく、並走や追い抜きなどが発生する場面では対象同士が重なって映ることが多い。このように対象同士が重なるような場面では、対象の一部が見えなくなることが原因で類似度の測定精度が低下するため、追跡にミスが生じやすくなる。

【0007】

特許文献１の手法は追尾を行うことで競走馬の同定（出走馬の番号を明らかにすること）を行うため、当然その時点での同定精度も低下してしまうという課題があった。さらに、競馬では騎手の服は馬主ごとに定められており、同一レースに同一馬主の馬が走る可能性があることに加え、馬主が違っていても似たような配色の服も多い。また、帽子の色についても枠順に基づき決定されるものであり、１レースの頭数が多い場合には同一色の馬が２〜３頭走るケースも発生する。

【0008】

馬体に関しても白毛や芦毛などの一部目立つ色はあるものの、類似した色の競走馬が走ることも多く、色の類似度に基づいて同定すると、たとえ対象物体が完全に見える状況においても誤認識が発生することが避けられない場合がある。また、特に色情報に基づく分析には、当日の天候の違いによる色の見え方の違いなどの環境の違いにも影響されがちであるという課題も存在していた。

【0009】

本発明は、動いている対象物を同定するために、複数の同定要素の結果を組み合わせて同定結果を確定させる際に、候補となるオブジェクトの特徴に基づき、同定要素ごとの重み付けを、複数の候補オブジェクトごとに動的に変更することにより、高精度な対象同定を実現することを目的とする。

【課題を解決するための手段】

【0010】

（１） 本発明に係るオブジェクト同定装置は、対象オブジェクトの同定に用いる部位を画像から抽出するオブジェクト部位抽出部と、対象オブジェクトの位置を推定するオブジェクト位置推定部と、対象オブジェクトについて各同定要素ごとに同定を行い、対象オブジェクトの各同定要素ごとの同定結果を集計することで最終的にオブジェクトの同定を行うオブジェクト同定部と、前記オブジェクト部位抽出部及び前記オブジェクト同定部が使用する各候補オブジェクトの部位の特徴を事前に学習するオブジェクト特徴学習部と、前記オブジェクト同定部が対象オブジェクトの各同定要素ごとの同定結果を集計する際の重みを動的に決定する同定パラメータ決定部と、前記オブジェクト同定部の最終的なオブジェクトの同定結果の表示を行う結果表示部と、を有する。

【0011】

（２） （１）に記載のオブジェクト同定装置において、前記同定パラメータ決定部が、抽出に成功した同定要素の中で、候補オブジェクト同士の同定を行いやすい同定要素に大きく重み付けをしてもよい。

【0012】

（３） （１）又は（２）に記載のオブジェクト同定装置において、前記同定パラメータ決定部が、候補オブジェクト同士の同定を行いやすい要素に大きく重み付けをするために、全ての候補オブジェクトの同定要素の特徴をクラスタリングした際のクラスタ数と、各クラスタの代表値の分散と、抽出要素の要素信頼度と、の三つのパラメータを組み合わせることで、候補オブジェクト同士の同定を行いやすい同定要素に大きく重み付けをしてもよい。

【0013】

（４） （１）から（３）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト同定部が最終同定スコアを算出する際に、一定の条件を満たすスコアを示した候補オブジェクトを次の候補オブジェクトとして定め、前記同定パラメータ決定部にて繰り返し重み付けを変更しながら候補オブジェクトを絞り込んでいってもよい。

【0014】

（５） （１）から（４）のいずれか１項に記載のオブジェクト同定装置において、同定パラメータ決定部が、オブジェクト同定のための重みを設定する際に、候補オブジェクトの数が多い場合には、各重み間の差が小さくなるような調整を加えてもよい。

【0015】

（６） （１）から（５）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト部位抽出部が、同定のために複数の部位を抽出し、前記オブジェクト同定部が、抽出に成功した部位の数の多い対象オブジェクトから順にオブジェクトの同定を行うことで、同定を行いやすい対象オブジェクトから順に候補オブジェクトの数を減らして行き、同定精度を高めてもよい。

【0016】

（７） （１）から（６）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト位置推定部での位置推定の際に、対象オブジェクト同士が近傍に存在しており、奥の対象オブジェクトが手前の対象オブジェクトにより一部覆い隠されている場合に、覆い隠されていない部位を検出し、当該部位が複数検出されたことを基に対象オブジェクトの数と位置を推定することで、重なりがある場合にも位置推定を正確に行ってもよい。

【0017】

（８） （１）から（７）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト同定装置が、レースに出場しているオブジェクトを同定するオブジェクト同定装置であって、前記同定パラメータ決定部が重みを決定するために参照する事前情報データベースを備ており、前記オブジェクト特徴学習部は、レース前に前記事前情報データベースに登録されている静的な情報だけでなく、レース前の対象オブジェクトの様子を映像として捉え、その映像に対しオブジェクトの部位を抽出し、レース直前のリアルタイムな特徴情報を学習してもよい。

【0018】

（９） （８）に記載のオブジェクト同定装置において、前記オブジェクト特徴学習部が学習するレース直前のリアルタイムな特徴情報として、レース直前の映像から候補オブジェクトの部位の抽出を行い、当該部位に対して色範囲を動的に変化させたときに抽出される当該部位の領域の外接矩形サイズが、レース前に設定された当該部位の大きさに近づくように色閾値を調整してもよい。

【0019】

（１０） （８）に記載のオブジェクト同定装置において、前記オブジェクト特徴学習部が、レース直前の映像から対象オブジェクトの部位の抽出を行い、学習するレース直前のリアルタイムな特徴情報として、当該部位のカラーヒストグラムを予め計算しておく機構を備え、かつ前記オブジェクト同定部が、このカラーヒストグラムとの類似度を調べることによってオブジェクト同定のスコアを算出してもよい。

【0020】

（１１） （１）から（１０）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト同定装置が、レースに出場しているオブジェクトを同定するオブジェクト同定装置であって、前記オブジェクト同定部で同定を行う同定要素の一つとして、競走中の対象オブジェクトの相対位置を用い、過去のフレームで同定された複数の候補オブジェクトの中で、現フレームでの対象オブジェクトの相対位置との距離が近い相対位置を有する候補オブジェクトに、大きな同定スコアを付与してもよい。

【0021】

（１２） （１１）に記載のオブジェクト同定装置において、競走中の対象オブジェクトの相対位置は、競走中の先頭と最後方に存在する対象オブジェクトの間と、最内と最外に存在する対象オブジェクトの間の空間にて正規化された量として計算され、コース形状に沿うように座標軸を取ってもよい。

【0022】

（１３） （１）から（１２）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト同定部において特定部位に対し番号認識を用いてスコアを算出する際に、認識結果として完全に一致している番号のみにスコア付けをするのではなく、事前に判明している条件や傾向に基づいて、特定の桁のみが一致している場合にも一定のスコアを与えることで、番号の誤認識に基づいたスコアを算出する可能性を減少させてもよい。

【0023】

（１４） （１）から（１３）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト同定部において特定部位に対し番号認識を用いてスコアを算出する際に、撮影に用いるカメラと番号認識を行う部分の間の距離を算出し、距離が遠い場合の同定スコアが低くなるように重みを付けて同定スコアを算出してもよい。

【0024】

（１５） （１）から（１４）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト同定部において特定部位に対し文字認識を用いてスコアを算出する際に、文字そのものの認識が難しい場合には、文字部分の形状や色情報を基に文字部分の文字数を読み取り、文字部分の文字数に基づく対象オブジェクトの同定の際のスコア付けを行ってもよい。

【0025】

（１６） （１）から（１５）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト同定装置が、レースに出場しているオブジェクトを同定するオブジェクト同定装置であって、前記オブジェクト位置推定部が、対象オブジェクトによって作り出される影、足跡、又は波に代表される対象オブジェクトの痕跡を利用して複数の対象オブジェクトの存在を検知し、対象オブジェクトの位置を推定してもよい。

【0026】

（１７） （１）から（１６）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト同定装置が、レースに出場しているオブジェクトを同定するオブジェクト同定装置であって、前記オブジェクト部位抽出部が、背景差分法に基づいて背景と前景領域を分離する機能を有し、レース前に決定されている出走時刻を基に、レース直前の画面内に対象オブジェクトが全く存在しないことを感知して、レース開始直前の背景の特徴を学習することにより、照明条件や天候の変化にも対応して前景抽出を実現してもよい。

【0027】

（１８） （１）から（１７）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト同定装置が、レースに出場しているオブジェクトを同定するオブジェクト同定装置であって、オブジェクトの追跡を行うことが可能なオブジェクト追跡部をさらに有し、前記オブジェクト追跡部は追跡が成功した際に、追跡先の位置に同定結果と過去の同定スコアを引き継ぐことを可能とし、追跡中にも一定の頻度で再度オブジェクト同定を行い、追跡開始フレームから現フレームまでの同定スコアを加算した中で最大となる番号を同定結果として出力してもよい。

【0028】

（１９） （１３）に記載のオブジェクト同定装置において、前記オブジェクト同定装置が、競走馬の同定を行うオブジェクト同定装置であって、前記事前に判明している条件や傾向として、騎手の足によって競走馬のゼッケンの一部が隠されることがあるという傾向を利用し、カメラの位置と向きから見えづらい桁を考慮して、特定の桁のみが一致している場合にも一定のスコアを与えることで、番号の誤認識に基づいたスコアを算出する可能性を減少させてもよい。

【0029】

（２０） （１）から（１９）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト同定装置が、競走馬の同定を行うオブジェクト同定装置であって、前記オブジェクト部位抽出部にて抽出を行う部位を
（１)競走馬のゼッケン (２)騎手の服 (３)騎手の帽子 (４)馬の顔部分(馬が被るメンコやブリンカー、シャドーロールを含む) (５)バンデージ (６)馬体
の以上６項目とし、
前記オブジェクト同定部で、（７）競走馬の相対位置を加えた計７要素について、
（１）は番号認識と文字認識、（２）〜（６）は色情報の類似度、（７）は距離を基に同定スコアを算出し、前記同定パラメータ決定部で得られる重みに基づいてオブジェクト同定を行ってもよい。

【0030】

（２１） （１）から（２０）のいずれか１項に記載のオブジェクト同定装置において、前記オブジェクト同定装置が、競走馬の同定を行うオブジェクト同定装置であって、前記オブジェクト特徴学習部がレース前に判明している競走馬のゼッケンの色情報から、当該ゼッケンを抽出できる色範囲を設定し、前記オブジェクト部位抽出部は、その色範囲を基に抽出して得られた全ての領域に対し外接矩形を計算し、外接矩形の大きさがゼッケンのサイズと類似していることを基にゼッケン部分の抽出を行い、抽出されたゼッケン部分の位置を基準として、画像中での各部位の位置関係に基づいて各部位を抽出してもよい。

【0031】

（２２） （８）に記載のオブジェクト同定装置において、前記オブジェクト同定装置が、競走馬の同定を行うオブジェクト同定装置であって、前記オブジェクト特徴学習部で用いるレース前の対象オブジェクトの映像とは、レース前に入手できるパドックの映像と、レーススタート前にスタート地点まで走っていく際の馬の映像と、スタート直前にゲートに収まっている馬の映像であってもよい。

【発明の効果】

【0032】

本発明によれば、対象オブジェクトの同定に際し、候補オブジェクトごとに、複数の同定要素から算出される同定スコアを統合することで最終同定スコアの算出を行う。その際、複数の候補オブジェクトごとに重視する同定要素を動的に変更することにより、精度の高い対象同定を実現することができる。

【図面の簡単な説明】

【0033】

【図1】実施形態に係るオブジェクト同定装置の機能構成を示す図である。

【図2】実施形態に係るオブジェクト同定装置の機能構成を示す図である。

【図3】背景領域と前景領域の分離の例を示す図である。

【図4】実施形態における抽出部位の位置関係を示す図である。

【図5】色範囲と外接矩形に基づくゼッケン領域の抽出例を示す図である。

【図6】オブジェクト特徴学習部における色範囲の調整を示す図である。

【図7】対象オブジェクトの画像位置の特定を示す図である。

【図8】帽子を基に対象オブジェクトの重なりを推定できる例を示す図である。

【図9】番号（１３番）が騎手の足部分に隠される例を示す図である。

【図10】文字の数を認識する例を示す図である。

【図11】直線上の相対位置の算出例を示す図である。

【図12】カーブでの相対位置の算出例を示す図である。

【図13】オブジェクト同定部の処理フローを示す図である。

【図14】同定スコアの算出例を示す図である。

【図15】動的重み算出に基づく同定スコアの算出例を示す図である。

【図16】結果表示の例を示す図である。

【発明を実施するための形態】

【0034】

以後は、動いている対象物を競馬の馬に具体化して、本発明のオブジェクト同定装置の一実施形態について説明する。

【0035】

「対象オブジェクト」とは、これから同定しようとする対象物のことである。
「候補オブジェクト」とは、対象オブジェクトを同定する際の候補となるオブジェクトのことである。一般に、対象オブジェクトの同定を行う際には、候補オブジェクトは複数である。
「同定要素」とは、馬体の色、騎手の帽子の色、ゼッケンの番号、及びゼッケンに記載された馬の名前など、オブジェクトの特徴的な部分であり、オブジェクトを特定するために有効な材料となり得る部分である。対象オブジェクトの同定要素とよく似た同定要素を有する候補オブジェクトには、同定要素ごとに高いスコアが付与される。

【0036】

競走中の対象オブジェクトの同定を行うに際し、特許文献１の方法では対象オブジェクト同士に重なりが生じた場合や、似たような色情報を持つ対象オブジェクトが存在している場合に同定精度が低下すると述べた。この課題に対し、本発明では対象オブジェクトの候補を選定し、複数の候補オブジェクトごとに同定に用いる同定要素から算出される同定スコアの重み付けを動的に変更することで、高精度な対象同定を実現する。

【0037】

本手法ではレース中のある特定のフレームにおいて、画像中の対象オブジェクトの部位を抽出する。ここで示す部位とは、例えば競走馬であれば騎手の帽子や騎手の服、競走馬のゼッケンなどのオブジェクトの同定を行うに際し、利用しやすい部位を示している。どの部位を抽出対象とするかについては、競馬や競艇、競輪、カーレースなどのように競技ごとに事前に決定しておくものとする。

【0038】

こうして抽出された部位の位置を基に、オブジェクトの位置の推定を行う。その後、位置推定が成された各対象オブジェクトに対し、各対象オブジェクトの部位や、そのときの走行位置に基づいて同定結果をスコア付けし、統合することで最終的な同定スコアを算出する。通常、レース競技は会場の観客が遠くから対象を同定できるように、番号や色に代表される同定可能な情報を複数持つ場合が多く、その特性を利用している。この際に、本発明では、特許文献１と違って、色情報だけでなく、ゼッケンに代表される番号認識や文字認識の結果も組み合わせることで同定精度を高める。

【0039】

このときに、似たような色情報を持つ対象オブジェクトが存在している場合に同定精度が下がるという特許文献１の課題を解決するために、どの同定要素から得られる同定スコアに重きを置くかという重み付けを、事前に入手可能な出場する対象オブジェクトに関する特徴に基づいて、その時の複数の候補オブジェクトごとに動的に変更することにより精度の高い対象同定を実現する。

【0040】

また、ここで挙げる「事前情報」とは、事前に判明している「帽子の色は赤、馬体は栗毛」のような文字情報に留まらず、競走馬であればパドックの映像や、レース直前にスタート地点まで走っていく際の競走馬の映像、ゲートに収まっている際の馬の映像などを分析することで得られる情報も「事前情報」に含むこととする。また、色情報に基づく分析は当日の天候の違いなどによる色の見え具合の違いなどの環境の違いにも影響されがちであるという課題についても述べたが、本課題を解決するために、前述の映像により得られる事前情報を基に、特定部位の抽出を行う際の抽出色の範囲を動的に変更し、抽出を行いやすくする機構を備えてもよい。

【0041】

本発明は、例えば競馬場やサーキットに代表される会場に設置された、動画又は静止画を撮影するカメラから撮影した画像に基づいて対象の同定を行い、表示することを可能とするオブジェクト同定装置である。静止画を撮影するカメラの場合、複数の静止画を連写するカメラであってもよい。カメラの設置場所としては、コースから少し離れた競馬場のスタンドやパトロールタワーなどに設置することを想定している。１台のカメラが映し出す領域は広くないので、コースの全域にて対象の同定を実現するという用途を考えるならば、数百メートルおきにカメラを配置するなど、複数台のカメラを利用する必要がある。しかし、複数台のカメラにより撮影した結果を繋ぎ合わせることは技術的に難しくないことと、各カメラから得られる映像に対して行う処理は独立していることから、ここではカメラ１台に限定して説明を行うものとする。以下では、本装置の機能構成について説明した後に、実際に競馬場に設置されたカメラから対象オブジェクト（競走馬）の同定を行う実施例の中で、各部の機能の詳細について説明を行うものとする。

【0042】

以下、本発明の実施形態の一例について説明する。
図１は、本実施形態のオブジェクト同定装置１の機能構成を示す図である。
本実施形態は、動画又は静止画を撮影する設置されたカメラの情報のみから対象の位置を推定し、対象の同定を行う装置である。動画の場合に、所定の単位時間（例えば、１秒間、１分間等）に何枚の画像を撮影するか（フレームレート）は、どのような速度で動く対象物を撮影するかに応じて決定すればよい。まず、カメラから得られた映像２０について、オブジェクト部位抽出部１２０にて対象部位を抽出する。この際に特定の特徴を参照することで部位の抽出を行う場合があるが、この抽出に用いる特徴については、レース前の映像情報１０等を基にオブジェクト特徴学習部１１０にて決定され、事前情報データベース５０に格納される。この事前情報データベース５０には、レース前の映像情報１０等から解析されるリアルタイムな特徴だけではなく、事前に登録されている情報や、ネットワークを介して入手可能な部位の色などに代表される特徴も登録されているものとする。

【0043】

次に、抽出した部位の情報を基にオブジェクト位置推定部１３０にて、抽出した対象部位を基に、対象オブジェクトの重なりを考慮したオブジェクト位置を確定させる。こうして位置推定がされたオブジェクトに対し、オブジェクト同定部１４０にて、番号認識や色、馬の相対位置の分析に基づく各オブジェクトの同定を行う。このオブジェクト同定に際し、事前情報データベース５０に記された情報を基に、複数の候補オブジェクトごとに重視する要素を動的に変更、決定するのが同定パラメータ決定部１５０である。また、オブジェクト同定部１４０は、オブジェクト同定した結果と、その同定対象の位置を分析結果データベース６０へと保存する。そして、最後に同定された結果を表示するのが結果表示部１６０である。

【0044】

ここまでの処理を各フレームに対して毎回実行してもよいが、毎回オブジェクトの重複分析や同定を行うことは計算コストの面で無駄が大きいことから、オブジェクトの追跡を行うことが望ましい。オブジェクト追跡部１７０を含む場合の機能構成を図２に示す。追跡を行うための過去の馬位置や同定結果、追跡に必要となる画像中の矩形領域などの情報は分析結果データベース６０に格納されるものとする。追跡が成功している場合には、追跡成功位置に過去の同定結果を引き継ぐ処理を行う。
以下では、競馬場にて競走馬の位置推定と同定を行う場合を例に、実施例の中で各部の詳細について説明を行う。

【0045】

[オブジェクト部位抽出部]
オブジェクト部位抽出部１２０では、カメラで撮影された画像から対象オブジェクト（競走馬）の部位を抽出する。本実施形態で対象とする部位としては「＜１＞競走馬のゼッケン ＜２＞騎手の服 ＜３＞騎手の帽子 ＜４＞馬の顔(馬が被るメンコやブリンカー、シャドーロールを含む) ＜５＞脚に巻くバンデージ ＜６＞馬体の色」の計６項目を抽出対象とした。一般にレース競技では、遠くから観戦する観客が対象を同定できるように、複数の同定に役立つ部位が存在していることが多い。抽出部位がどこであるかは計算時間と精度を鑑み、事前に手動で設定されているものとする。

【0046】

本実施形態では、部位を抽出するにあたり、誤抽出を避けることと計算領域を制限することを目的として、図３のように背景領域と競走馬が存在する前景領域を事前に分割し、背景領域については計算を行わないこととした。背景の分離手法としては背景差分法に代表される既存の背景分離手法を用いることができる。このとき、カメラから得られる背景の色は刻一刻と変化することから、極力、レース直前に競走馬が走っていない場面で背景の特徴を学習しておくことが望ましい。

【0047】

これは事前に分かる出走時間に基づき直前に学習を行ってもよいし、その際に馬が走っていないことを確認して、再度背景を学習し直すような機構を備えてもよい。また、実際にはカメラから撮影される画像にはノイズが生じることや、風によるコース上の芝の揺らぎ、雨天時の雨粒の影響などから、完璧な背景領域の分離を行うことは難しい。よって、背景分離後の画像に対し、小さな塊などのノイズの除去をする機能を備えてもよい。細かなノイズの除去を行う処理としては、背景差分法で得られた領域に対して、モルフォロジ処理を行うことで、輪郭を削る方法などがある。

【0048】

また、背景領域の分離に際しては、対象オブジェクトが通過する際に生じる影の影響は無視できず、影も前景領域として判定されてしまうという課題が存在している。よって、インターネット等から得られるレース直前の気象条件に基づき、対象物体のどちら側に影が生じるかを推定することに加え、前レースやレース直前に対象オブジェクトがカメラの前を通過したときに予め影の色を学習しておき、影の色情報と生じる位置を基に影領域を分離することにしてもよい。

【0049】

この背景領域を分離した画像に対し、前景部分のみを対象に部位抽出を行う。部位抽出を行う方法として最もシンプルなものは、前景領域として切り離された部分の相対位置関係から、対象部位を抽出する方法である。本実施形態では、競走馬の各部が対象オブジェクトの全体形状のどのあたりに現れるかということは既知である。例えばコースに対して真横にカメラが設置されているとすれば、図４のように、騎手の帽子や服は対象オブジェクトの上方に、ゼッケンは中央付近に、足に付けるバンデージは下部に現れる。

【0050】

しかし、対象オブジェクト同士に重なりなどが生じているケースでは、画像中の位置だけで上手く部分抽出ができないことも多い。そういった状況を補う方法としては、事前に各部位の画像を基に学習を行い、深層学習を用いた物体抽出アルゴリズムなどを適用して部位抽出を行うことなどが考えられる。しかし、深層学習を用いる場合、計算時間が大きくなりがちであることから、本実施形態では重なりが生じていそうなサイズの大きい前景領域に対しては、色情報を主体に部位抽出を行うこととした。

【0051】

例えば競走馬のゼッケンの抽出においては、ゼッケンの色はレースの等級によって決まり、事前に既知のものである。よってＲＧＢやＨＳＶなどの色空間にて事前にゼッケンの色を示す色の範囲を与えておき、前景領域に対して色の範囲を抜き出し、抜き出した領域に対して外接矩形を計算した際に、ゼッケンのサイズに近いものを抽出することで、図５のようにゼッケンの抽出を行うことが可能である。

【0052】

このときに、コーナー抽出などを行うことでゼッケン領域の推定精度を高めてもよい。また、その他の抽出法としては、事前に各形状のテンプレートを用意しておき、テンプレートマッチングにて対象領域を抽出するという手段が考えられる。テンプレートマッチングは比較的計算量が増大しやすい手法であるため、前述の色情報で求められたゼッケン領域からの画像上の位置の相対関係を基に、部位が存在する可能性の高い領域を絞り、その領域に対しテンプレートマッチングを用いてもよい。

【0053】

また、騎手の部分を抽出する手段としては、人物抽出に有効とされるＨＯＧ特徴量などの代表的な特徴量に基づいて騎手部分を抽出してもよい。また、オブジェクト部位抽出部１２０では必ずしも全ての指定された部位を抽出する必要はなく、例えば前述の色情報で抽出した外接矩形の大きさや、テンプレートマッチングのマッチング率、あるいは深層学習で導き出される尤度が目標とする値の範囲外の場合には、結果を部位抽出失敗としてもよい。

【0054】

また、本実施形態では、競馬場に設置されたカメラから得られる映像を対象とすることを想定している。通常、カメラを用いて撮影された画像はカメラのレンズにより歪みが生じるなど、現実空間の位置を正確に映し出しているとは限らないため、キャリブレーションを行うことが望ましい。よって、事前に既知のカメラキャリブレーション技術や、使用するカメラの情報に基づいてキャリブレーションパラメータを測定しておき、オブジェクト部位抽出処理を行う前にキャリブレーションを行ってもよい。このカメラキャリブレーションに関しては、歪みの影響が少なければ必ずしも実施する必要はないが、実施することによって歪みが少なくなるため、位置推定の精度が高まることが考えられる。

【0055】

[オブジェクト特徴学習部]
オブジェクト部位抽出部１２０において、色を用いて部位を抽出するのは有効な手段であると述べた。このような競走馬のゼッケンや騎手の帽子の色については、事前に「白地に黒の文字」「黄色の帽子」などのように、静的な情報としての色は想定できるものの、実際のレースにおいてはその日の天候や、時間帯によって移り変わる太陽の傾きなどに代表される環境の変化により、抽出すべき色の輝度値にも変化が及んでしまう。よって、事前に抽出する色の範囲は、そのレースの条件に合わせて微調整が行われる方が望ましい。部位を抽出する（あるいは後述するオブジェクト同定に用いる）ための色情報等に代表されるオブジェクトの特徴を、レース直前の対象オブジェクトの映像から学習するのが、オブジェクト特徴学習部１１０である。

【0056】

具体的な手段としては、レース直前の対象オブジェクトの映像を利用する。競馬の場合、レースの前にはパドックが行われ、スタート直前にはスタート地点まで走っていく馬の映像や、あるいはスタート直前のゲートに収まっている馬の映像を得ることが可能である。これは、例えばパドックなどであれば別のカメラが必要となるが、スタート直前にスタート地点まで走っていく馬の映像であれば、同じカメラで実現することが可能である。

【0057】

このときに、オブジェクト部位抽出部１２０で述べたような部位抽出手法を用いて部位の抽出を実施する。ただしオブジェクト特徴学習部１１０では、レース中と異なりリアルタイムで処理の実行を目指す必要はないことから、対象オブジェクトが映った１フレームに対して、深層学習に代表されるような、精度は高いが計算コストの大きい抽出アルゴリズムを用いて部位抽出を行うことを特徴としてもよい。こうして抽出された部位から、オブジェクト同定を行う際の比較対象として用いる特徴を事前に計算し、事前情報データベース５０に登録しておく。

【0058】

例えば、オブジェクト部位抽出部１２０やオブジェクト同定部１４０でヒストグラムの類似度を用いて解析を行う場合には、オブジェクト特徴学習部１１０にてレース直前の映像から対象部位を抽出し、その部位のヒストグラムを用意しておく。そして、実際にレースが始まった際には、この用意したヒストグラムを、オブジェクト部位抽出部１２０で作成した対象オブジェクトのヒストグラムと比較することで、オブジェクトの同定を行う。

【0059】

また、色の範囲を用いて対象部位を切り取る場合には、図６のようにゼッケンを抽出できたときに、領域に対し、抽出色範囲を動的に変化させ、抽出できる領域のサイズを確認する。その際に、外接矩形サイズが想定されるゼッケンサイズに最も近づくときの色の範囲を、抽出に用いる色範囲として決定することで、そのレースの環境に応じた抽出に用いる色範囲を動的に決定することが可能となる。

【0060】

同様に、オブジェクト同定部１４０で騎手の服の模様等の類似度を測るために形状に基づく特徴量を用いることが想定されているのであれば、オブジェクト特徴学習部１１０にて対象オブジェクトの騎手の服部分の特徴量を事前に取得しておき、同定の際の比較に用いることとする。
なお、色範囲を規定する際の色の境界の値を、「色閾値」という。

【0061】

[オブジェクト位置推定部]
オブジェクト部位抽出部１２０で得た前景領域と、抽出された部位情報を基に各対象オブジェクトの位置を推定する。
まず、図７のように切り離された前景領域(太い点線の範囲)ごとに頭数を判断する。このときに、前景領域の大きさと、特定の抽出部位の数を基に重なりを抽出する。例えば、図８のように馬同士が重なっている場面においても、特定の部位（例えば、騎手の帽子）に関しては見えていることが多い。よって、特定の部位が複数あることを理由に、競走馬が２頭いるということを検出する。この際に、抽出された部位の位置情報を基にオブジェクトの位置を確定させる。この際に確定させる位置として、例えば競走馬の鼻先などの代表点を事前に決定しておき、その位置を競走馬位置とする。オブジェクト位置推定部１３０では、オブジェクトの位置と共に、その位置のオブジェクトに抽出部位が紐づく形で登録され、後段のオブジェクト同定部１４０へと渡される。

【0062】

また、オブジェクト部位抽出部１２０の背景の分離にて、影領域を分離することに関して述べたが、逆に競走馬が作る影を基に馬の重なりの判定精度を高めてもよい。ただし、この手法は天候が晴れの場合かつ、影を見た方が分離しやすいという条件下においてのみ精度向上に寄与する。また、その他の情報を使う例としては、ダートコースでの馬の足跡を基に位置推定を行うことが考えられる。この考え方は、例えば競艇において、船の作り出す波の形状を参考に位置を特定するなどの他競技への応用も考えられる。

【0063】

[オブジェクト同定部]
オブジェクト同定部１４０は、部位抽出を完了した対象のオブジェクトの同定を行う部分である。同定とは、各対象オブジェクトに対して、競馬で１番〜１８番までの馬番号の馬が出走しているレースであれば、その対象オブジェクトが１〜１８番の中の何番に該当するのかを明らかにすることを示す。そのために、複数の同定要素に対して、要素同定スコアの算出を行い、この要素同定スコアそれぞれに重み付けをした値を加算することで、最終同定スコアの算出を行う。

【0064】

この要素同定スコアを算出する要素としては、[1]競走馬のゼッケンに記載される番号 [2]馬名を示す文字 [3]騎手の帽子の色 [4]騎手の服の色 [5]馬体の色 [6]競走馬の被るメンコやブリンカーの色 [7]競走馬が足に巻くバンデージの色 [8]過去の相対位置情報、を対象とした。その際に[1]であれば番号認識、[2]であれば文字認識、[3]〜[7]であれば色の分析、[8]であれば距離に基づく分析を行うなど、分析方法は部位ごとに事前に決定されているものとする。なお、競走馬の同定の場合にはゼッケンがあるので番号認識や文字認識を行うが、例えば表面に番号や文字がないような対象オブジェクトを同定する際には、必ずしも番号認識や文字認識を組み入れる必要はない。

【0065】

また、オブジェクト部位抽出部１２０において、部位抽出が不可能だった部分について同定スコアを算出する必要はなく、分析を行うことが可能だった部分に関してのみ、同定スコアの算出を行う。また後述するオブジェクト追跡部１７０でオブジェクトの追跡が成功しており、その追跡オブジェクトが既に過去に同定された結果を保持している場合には、再度同定を行う必要はない。あるいは追跡結果と、新たにオブジェクト同定部１４０で得た結果の同定スコアを比較し、優先する同定結果を決める機構を持ち合わせてもよい。

【0066】

オブジェクト位置推定部１３０でオブジェクトの位置を推定すると、一般に複数の対象オブジェクトの位置が推定できる。これら複数の対象オブジェクトについては、部位抽出が可能だった部分の数に差があるのが一般的である。部位抽出が可能だった部分の数が多い対象オブジェクトの方が、部位抽出が可能だった部分の数が少ない対象オブジェクトよりもより正確に同定できると考えられる。例えば、図８では、手前の対象オブジェクトの方が、奥の対象オブジェクトよりもより正確に同定できると考えられる。したがって、オブジェクト同定部１４０では、部位抽出が可能だった部分の数が多い対象オブジェクトの順に同定することが好ましい。一つの対象オブジェクトの同定が完了すれば、候補オブジェクトの数が一つ減ることは明らかである。

【0067】

ここでは、初めに各要素同定スコアの算出方法について説明する。その後に、各要素同定スコアから最終同定スコアを計算し、結果を一つに確定させるまでの手順を示すこととする。

【0068】

（１） 各要素同定スコアの算出方法
（Ａ） 番号認識に基づく同定
オブジェクト部位抽出部１２０で得られた番号の記載された部位に対して番号認識を行う。本実施形態では畳み込みニューラルネットワークに代表される深層学習手法をベースとして、事前に番号の振られた画像を基に、番号の分類が可能なモデルを事前に作成し、そのモデルに対してゼッケン部分の画像を認識させることで番号認識を行う。競走馬の出走頭数は中央競馬では最大１８頭のため、１〜１８の数字の分類が可能なモデルを作成し、そのレースの出走頭数以上の数字が認識された場合には認識失敗とすることにした。実際には頭数ごとにモデルを作成し、レースの出走頭数を基に使用するモデルを変更してもよい。

【0069】

番号認識の同定スコア付けの方法としては、自動化することを考えるのであれば、例えば出力される確率を用いる方法がある。畳み込みニューラルネットワークの出力関数にsoftmax関数等を用いた場合、そのゼッケンがどの番号らしいかという値を確率として算出することが可能である。このことから、例えばあるゼッケン画像を通した際に３が６９％、１３が３１％と認識された場合に、３に６９点、１３に３１点のように、自動で点数付けを行うことが可能である。

【0070】

また、このスコア付けは、事前に判明している前提条件から手動で決定されていてもよい。例えば、出願前に実験を行ったところ、競走馬のゼッケンの番号認識においては、例えば「１３」番の馬がいたときに、図９のように十の位の「１」が騎手の足によって見えづらくなるケースがあり「１３」番を「３」番と誤認識してしまう、あるいは「３」番を「１３」番と誤認識してしまうようなケースが多いことが判明した。この事実から、例えば「３」と認識された場合に「３」番と「１３」番のどちらかである可能性が高いと判断し、「３」に１００点、「１３」に７０点、他の数字は０点といったように、既に判明している誤認識の傾向に基づいて傾斜をつけて、下１桁の認識結果を重視してスコア付けをしてもよい。

【0071】

また、番号認識の結果は、番号がより鮮明に映っている場合の方が、認識精度が高くなりやすい傾向にある。このことから、番号認識において抽出したゼッケン位置とカメラの間の距離を基に、距離が遠いものの同定スコアが低くなるように重み付けをするような機構を備えていてもよい。また、番号認識の手法としては、深層学習を用いずに、テンプレートマッチング等に代表されるマッチング手法を用いて番号を認識してもよい。

【0072】

（Ｂ） 文字認識に基づく同定
競馬のゼッケンには番号だけでなく馬名も記されることから、ゼッケンの文字認識に基づき、当該馬を判定することも可能である。文字認識の手法としては、番号認識と同様に、各文字に対して機械学習等に代表される分類手法で文字を判定することが可能である。ところが、前述した通り、本実施形態では離れた位置からカメラで撮影することを想定しているため、遠距離から撮影したカメラでは、その文字を正確に読み取ることは困難である。

【0073】

しかしながら、馬名が何文字であるのかについては図１０のようにゼッケンの馬名部分の色情報などを基に大まかな文字数を測定することが可能であった。日本では競走馬の名前は２文字以上、９文字以内と定められているが、おおよその文字数を判定し、近い文字数の競走馬に一定の同定スコアを割り付けることで、同定の精度を高めるような機構を備えていてもよい。

【0074】

（Ｃ） 色情報に基づく同定
各部位の色情報を分析し何番の競走馬に近いのかを判定することも有益な手段である。例えば騎手の帽子であれば、１８頭のレースでは１番と２番の馬が白の帽子を付けると決まっている。また、騎手の服の色に関しても馬主によって決定される既知の情報であり、馬体の色情報についても突然競走馬の馬体の色が大幅に変化することは考えづらく、事前に入手することが可能な既知の情報である。

【0075】

よって、例えば帽子部分が抽出できているのであれば、事前に用意しておいた各色の帽子画像（あるいは想定される帽子の色の輝度値）とのヒストグラム類似度を計算し、最も類似度が近いものを同定結果とすることで、色の判定が可能である。今回はＲＧＢで得た画像をＨＳＶに変換し、ＨＳＶ色空間にてヒストグラムの類似度の計算を行った。類似度としては、相関係数を用いた手法を利用した。相関係数を求める式を以下に示す。

【数1】

【数2】

【0076】

上記のＮはヒストグラムのビンの総数を表し、Ｈ_rは比較する参照画像のヒストグラムを、Ｈ_ｔは対象画像のヒストグラムを表している。競走馬の同定では帽子の色は８種類であるためＨ_rを８種類用意し、抽出部位の対象画像Ｈ_ｔとの相関を求め、最も相関が大きいものを認識結果とした。また、この参照画像としては、オブジェクト特徴学習部１１０にて事前の映像を基に帽子の部位を抽出し、その抽出した画像を参照画像として用いることが望ましい。

【0077】

また、ヒストグラムの類似度以外にも色の分析をする方法としては、候補オブジェクトの各帽子の色を示す輝度値の範囲を登録しておき、その範囲内に含まれる画素の数を基に、最も近い帽子の色を判定する方法や、対象領域の画像の輝度値の平均などを基に同定をおこなってもよい。また、騎手の服の色の判定などの際に、服の模様などの考慮をするために、ＨＯＧ（Histograms of Oriented Gradients）やＥＯＨ（Edge of Orientation Histograms）などに代表される形状特徴量の一致度などを基に分類を行ってもよい。

【0078】

（Ｄ） 過去の相対位置情報に基づく同定
一般にレース競技が行われる場合、大幅な対象オブジェクトの競走位置の変動が、急に起こることは考えづらい。例えば、最後方を走っていた競走馬が、急に先頭に躍り出たり、外側を走っていた馬が、急にコースの内側を走り出したりすることは頻繁に発生することではない。競馬においては、形成された馬群を保ったまま、レースが進んでいくことが多い。よって、複数の対象オブジェクトが形成する集団の中で、当該対象オブジェクトが現在どの位置に存在しているかという情報は、過去の位置情報と照らし合わせて、同定の際の有益な情報になり得る。この観点から、レースにおける対象オブジェクトの相対位置を同定の際の要素の一つとした。

【0079】

相対位置の算出方法は図１１のように、コース形状に対して水平、垂直な座標軸を定義することで実現する。このとき、前後を表す軸をｐ軸とし、先頭をｐ＝０、最後方をｐ＝１で正規化する。同様に内外を表す軸をｖ軸とし、内側をｖ＝０、外側をｖ＝１で正規化した。直線の場合は図１１のようになるが、コース形状が曲線でも図１２のように、コース形状に沿うように軸を配置し、相対位置を算出する。

【0080】

オブジェクト同定部１４０は、オブジェクトの同定が完了した際に、対象オブジェクトの位置と同定最終結果を基に、オブジェクトの相対位置を分析結果データベース６０に記録する。この記録が過去のフレームにて行われているとすると、同定したい対象オブジェクトが現在ｐ＝０．５、ｖ＝０．５という位置にいる場合には、過去にｐ＝０．５、ｖ＝０．５に近い位置にいた番号の同定スコアを高める形で同定スコアを算出する。式としては、同定したい対象オブジェクトの位置が（Ｔ_ｐ，Ｔ_ｖ）であり、スコアを算出したい候補オブジェクトの過去フレームでの相対位置が（Ｃ_ｐ，Ｃ_ｖ）で示されるとき、対象オブジェクトの位置（Ｔ_ｐ，Ｔ_ｖ）と、候補オブジェクトの過去フレームでの相対位置（Ｃ_ｐ，Ｃ_ｖ）との間の距離ｄは次のように計算される。

ｄ＝ｋ_１｜Ｔ_ｐ−Ｃ_ｐ｜＋ｋ_２｜Ｔ_ｖ−Ｃ_ｖ｜

【0081】

ただし、ｋ_１とｋ_２は前後と内外のどちらの結果を重視するかを決める係数であり、手動で定めてもよいが、ｐ＝０からｐ＝１までの実距離と、ｖ＝０からｖ＝１までの実距離に比例する形で定めてもよい(ただしｋ_１＋ｋ_２＝１とする)。このとき距離ｄは、相対位置が近ければ近いほど０に近づき、相対位置が遠ければ遠いほど大きくなることから、全ての対象番号に関する距離ｄを計算し、距離ｄが最小となるもののスコアを１００、距離ｄが最大となるもののスコアを０となるように、正規化してスコア付けすることとした。

【0082】

（２） 同定結果の決定方法
ここでは、各要素同定スコアから最終的な同定結果を確定させる場合の処理を示す。本発明では、候補オブジェクトによって動的に重みを変更し、対象オブジェクトの同定を行うことを特徴としている。
本手法での最終同定スコアの算出方法は、ある要素同定スコア（要素番号ｊ）のある番号ｉの候補オブジェクトに対する得点がｐ_ｉｊで示されるとき、

【数3】

上記のように計算される。

【0083】

ただしｓ_ｉは番号ｉの候補オブジェクトの最終同定スコアを示し、Ｊは要素同定スコアが算出できた要素数（部位抽出に失敗した部位などは含まれない）を、ｊは要素同定スコアの算出に成功した部位の番号を示しており、例えばゼッケン部分はｊ＝０、騎手の帽子の色はｊ＝１などの形で振られる番号である。また、ｗ_ｊは部位ごとに決定される重みを示している。ｗ_ｊの算出方法については、同定パラメータ決定部１５０で動的な重み決定を行うことから、ここでは説明を省略する。

【0084】

ここで示されたｓ_ｉの算出については、一度の実施で候補オブジェクトを一つに絞り込めなかった場合には、複数回実施して候補オブジェクトの数を少なくしていくことが望ましい。このときの処理フローを図１３に示す。

【0085】

複数回実施する上で、候補オブジェクトごとの最終同定スコアを算出した際に、全てのｓ_ｉの中の最大値をｓ_ｍａｘとする。このｓ_ｍａｘに対し、一定の割合以上のスコアを記録したものを新しい候補オブジェクトとして設定し、候補オブジェクトが最終的に一つになるか、候補オブジェクトの数が変化しなくなるまで繰り返す。この間、候補オブジェクトが絞られていくにつれて、その絞られた候補オブジェクト同士を同定するにあたり最適なパラメータが同定パラメータ決定部１５０より出力される。

【0086】

重みｗ_ｊが算出されたという前提で、最終同定スコアの算出を行う場合の計算を図１４に示す。ただし簡単のため、要素同定スコアはゼッケンの番号と騎手の帽子、馬体の色、相対位置の４項目とした。このケースではｓ_ｍａｘが１６１となり、ｓ_ｍａｘの５０％以上の値のスコアのものを次の候補オブジェクトとすることに定めた。よって馬番号ｊ＝３、４、５、６、８が次の候補オブジェクトとなり、再度重みｗ_ｊの計算が行われ、重みｗ_ｊを基にしたスコア算出が行われる。以後これを繰り返すことで、最終的な候補を一つに定める。

【0087】

[同定パラメータ決定部]
この同定パラメータ決定部１５０は、オブジェクト同定部１４０において同定スコアの計算を行う際の重みｗ_ｊを候補オブジェクトごとに決定するための、重みの算出を行う機構を有する。
一般に、複数の要素同定スコアを足し合わせて最終同定スコアを算出することは信頼度の高いオブジェクト同定を行う上で有益である。しかしながら候補オブジェクトが絞れる場合に、毎回同じ重み付けを利用することは不適切であり、候補オブジェクト同士の間で同定しやすいパラメータを用いることが望ましい。

【0088】

例えば、候補となる馬が３頭おり、そのような条件下で候補の１頭は馬体が白であり、他の２頭は馬体が黒である場合、馬体の情報はこれらの候補の中で同定を行う上で有益な情報になり得る。しかしながら、候補３頭について全て馬体が黒に近い色である場合には、他の部位の情報を参照し、馬体の情報についてはなるべく見ないことが望ましい。よって、オブジェクト同定部１４０から得られる候補オブジェクトに合わせ、動的に変化させた重みを提供するのが同定パラメータ決定部１５０である。

【0089】

ある同定要素（番号j）について、その同定要素の重みｗ_ｊを算出する手法として、本実施例ではクラスタ数Ｃ_ｊと、各クラスタの代表値の分散Ｖ_ｊと、要素から得られる同定スコアにどの程度の信頼がおけるかを示す要素信頼度Ｒ_ｊを以下のように乗算して算出することとした。

ｗ_ｊ＝（Ｃ_ｊ／Ｎ）×Ｖ_ｊ×Ｒ_ｊ

【0090】

ここでＮは今回扱う候補オブジェクトの数を表している。
ここでは、それぞれのパラメータについて例を踏まえながら説明を行う。例えば、ここで与えられている候補オブジェクトが６番、１６番と１７番の３頭であり、要素同定スコアの計算に成功している要素がゼッケン番号(ｊ＝０)、騎手の帽子部分(ｊ＝１)、馬体の色(ｊ＝２)、過去の相対位置(ｊ＝３)であるとする。図１５にこの例の各部位の情報と同定スコアについて示す。この同定スコアに説明を加えると、ゼッケンは６と１６の数字の形状が似通っているため、高いスコア（１００と５０）で同定された。また、１８頭の出走頭数のレースでは帽子は６番(赤)、１６番(桃)、１７番(桃)で、比較的色の情報が似ていることから全て高いスコアとなった。馬体に関しては６番の馬が白い馬であり、他の馬は黒に近い色であった。また、相対位置に関しては６番、１６番、１７番共に比較的近い位置を過去に走っていたため、全てが高いスコアを示した。

【0091】

このときクラスタ数Ｃ_ｊは、ある特徴についてクラスタリングを行った際のクラスタ数である。一般にある部位を見たときに、一度に候補を絞れる部位の方が、同定に際し優れた部位であると言うことができる。例えば図１５のケースでは、ゼッケン番号はそれだけで３頭を分類することができるため、Ｃ_ｊ＝３と示される。同様に、帽子は６番(赤)、１６番(桃)、１７番(桃)と２種類から構成されるためＣ_ｊ＝２である。このように事前に何種類に分かれるかが明確なものについては、ネットワーク等を介して事前情報として入手できるそのレースの出走頭数等の情報を基に定めてしまうこととした。

【0092】

同様に騎手の服も馬主に紐づくものであるから、馬主名を基にクラスタリングを行ってもよいが、他のアイディアとしては、例えば騎手の服の画像を事前に用意し、それらのヒストグラムの類似度を計算し、類似度の高いものから順に同一のクラスタとしていくことを、類似度が一定の閾値を下回るまで繰り返した際にできるクラスタ数をＣ_ｊと定めてもよい。

【0093】

また、過去の相対位置についても、距離の近いものから順に同一クラスタと見なしていく中で、それらの距離が一定の閾値を下回るまで繰り返した際にできるクラスタ数をＣ_ｊと定める。ただし、Ｃ_ｊ＝１の場合には同定に向かないパラメータということなので、重みは０とする。図１５の例では、馬の相対位置は全て似通っているため、Ｃ_３＝１となり重み計算は行っていない。

【0094】

次に、各クラスタの代表値の分散Ｖ_ｊを算出する。これは、例えクラスタ数Ｃ_ｊが大きかったとしても、それぞれのクラスタの特徴が大きく違っていない場合には誤認識が発生する可能性があり、同定に際して優れた部位とは言えないことに基づいている。ここでは、事前に算出された要素同定スコアｐ_ｉｊについて、各クラスタの平均値を算出し、その平均値に関しての分散を算出することとした。こうして求められた同定要素ごとの分散Ｖ_ｊについて、最大を１で正規化することとした。

【0095】

この算出を図１５の帽子部分を基に説明すると、帽子部分は６番（クラスタ１）と、１６番と１７番（クラスタ２）に分けられる。クラスタ１の帽子部分のスコア平均は１００、クラスタ２の帽子部分のスコア平均は６０であるため、１００と６０の分散を計算することとなる。

【0096】

図１５の馬体部分について説明すると、馬体部分は６番（クラスタ１）と、１６番と１７番（クラスタ２）に分けられる。クラスタ１の馬体部分のスコア平均は１０、クラスタ２の馬体部分のスコア平均は９５であるため、１０と９５の分散を計算することとなる。

【0097】

要素信頼度Ｒ_ｊは、その要素から得られる同定スコアにどの程度の信頼がおけるかを示すスコアであり、信頼性が高いほど大きい値が入る。当然ながら一般に部位の抽出や認識を行うにあたり、抽出が成功しやすい部位や、同定スコアに信頼性がおける部位かどうかには差が存在している。このＲ_ｊは部位の抽出しやすさや信頼性に基づくものであるため、事前に設定される静的なものでもよい。

【0098】

帽子は画像の中でも非常に小さく、抽出に失敗するケースがあるため、図１５ではＲ_ｊの値を小さくしている。一方、Ｒ_ｊを自動化するアイディアとしては、部位の抽出であれば抽出完了した部位に対して、事前に用意したテンプレートとのテンプレートマッチングを行い、一致率を求めその値をＲ_ｊとすることや、要素として対象の相対位置を用いる場合であれば、当該フレームよりも過去のフレームであればあるほど状況に変化が生じていると考えられるため、相対位置を比較したフレームとの時間差に基づき減少していくようなＲ_ｊを設定することが考えられる。

【0099】

こうしてｗ_ｊは複数の候補オブジェクトごとに動的に計算されるが、この動的な重み付けは候補オブジェクト数が多い場合には、特定の重みが大きくなりすぎてしまい上手く働かない可能性がある。例えば１８頭の候補オブジェクトを扱う場合、ゼッケン番号についてはＣ_ｊ＝１８となるが、特徴的な毛色の馬が１頭だけおり、他は似たような毛色の馬の場合には馬体に関してはＣ_ｊ＝２となってしまい、馬体部分の重みが非常に小さくなってしまう。よって、候補オブジェクトが多いケースでは、ゼッケン番号のような決まった要素の重み付けが毎回大きくなりすぎてしまい、ゼッケン番号部分で誤認識が発生すると、他の要素のスコアに関わらず誤った結果が選ばれやすくなる。本実施形態では候補オブジェクトを少しずつ絞り込んでいくことができるので、最初から一つの重みに大きく依存するような同定を行うことは望ましくない。

【0100】

よって、この動的な重み付けに関しては、候補オブジェクトの数が多い内は、各重み間の差が小さくなるような調整を加えることが望ましい。これを自動で実現するために、以下のように候補オブジェクト数が大きいほど、重みの平均値の周りに調整後の各重みが集まるような調整を行うことにした。

ｗ_ｊ′＝ｗ_ａｖｅ＋（ｗ_ｊ−ｗ_ａｖｅ）／（Ｎ−１）

【0101】

ただし、ｗ_ａｖｅは全ての重みの平均値を示しており、Ｎは候補オブジェクト数である。この調整を行った場合には、ｗ_ｊ′を最終的な重みとしてオブジェクト同定部１４０でのオブジェクト同定に用いる。
ｗ_ｊとは異なる部位の重みをｗ_ｋとし、ｗ_ｋの調整後の重みをｗ_ｋ′とすると、上式より、

ｗ_ｊ′−ｗ_ｋ′＝（ｗ_ｊ−ｗ_ｋ）／（Ｎ−１）

となるので、各重み間の差が、１／（Ｎ−１）に縮んでいる。

【0102】

この計算により図１５のように最終的な重みが決定される。図１５の例では、重みを全て１として加算をした場合、最終同定スコアは、馬番号６が３１０、馬番号１６が３００、馬番号１７が２６０となるため馬番号６が選ばれることとなる。しかし、本発明にて算出した重み付けでは、馬体部分に大きく重み付けをすることで６番の馬体の色が対象オブジェクトと大きく違っているということが重要視され、最終同定スコアとしては１６番が選択されている。

【0103】

［結果表示部]
結果表示部１６０では、ここまでの位置推定と同定の結果を表示する。ここでは図１６のようにコースの形状を模した平面マップ上に結果表示を行うこととする。この際に位置だけではなく、追跡結果を基に競走馬の軌跡を表示してもよいし、各馬を示すマーカーは枠の色で表示される形としてもよい。画像上の位置から、コースを上から俯瞰した平面マップに位置を得る手段としては、画像中のある画素位置が、平面マップ上のどの位置に対応するのかという対応情報や変換式を予め用意しておけばよい。

【0104】

この対応情報は手動で用意してもよいし、直線形状であればコース形状を示す四辺形と、平面マップ上の位置を示す四辺形の間のホモグラフィ行列を推定し、位置を決定する変換式を得る例もある。平面マップ上の位置と対応させる競走馬の位置については、競走馬の頭の部分としても良いし、足元部分としてもよいが、どの部分を用いるかについては事前に決定されているものとする。

【0105】

[オブジェクト追跡部]
本発明の装置は、オブジェクトの追跡アルゴリズムを組み込んだ方が高速かつ高精度の認識が行える可能性が高い。
オブジェクト追跡部１７０では、過去のフレームの情報を基に現フレームのオブジェクトへの追跡を行う。追跡の手法としては前フレームからの移動距離を求め、近い候補オブジェクトを同一オブジェクトとする方法もあるが、それ以外にもオブジェクト位置推定部１３０で推定された画像中の対象オブジェクト全体、あるいは一部を含む矩形領域を設定し、その矩形領域の特徴を基に追跡することが考えられる。

【0106】

後者の手法としては、例えばＭｅｄｉａｎＦｌｏｗやＫＣＦなどの既存追跡手法を適用することが考えられる。このときに、例えば競走馬であればレース中は直線的に前方に進んでいくことが多く、大きく方向転換することは少ないことから、追跡した結果が大きく方向転換するなど疑わしい場合には、追跡失敗としてオブジェクト位置推定部１３０に結果を渡してもよい。

【0107】

また、追跡成功時にはオブジェクト同定部１４０で決定された同定番号を引き継ぐことで、追跡成功中は再度候補オブジェクトの同定を行わないようにしてもよい。あるいは、追跡中も数フレームに一度は再度、オブジェクトの同定を行い、その際に再度同定スコアを計算するような実装も考えられる。特に、後者の追跡中にも数フレームに一度、オブジェクト同定を行うケースでは、追跡中にも同定スコアを随時加算して、追跡開始フレームから現在までの同定スコアを加算した中で最大となる番号を同定結果として出力する機構を備えていてもよい。

【0108】

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

【0109】

本実施形態では、競馬を一例として取り上げたが、本発明は、競輪、競艇、カーレースなどの他のレースにも適用可能である。また、レースに限らず、任意の動いている対象物（例えば、運動会で遊戯をしている生徒、サッカー等の競技においてプレーしている選手など）をカメラで撮影して同定する分野に適用することができる。

【0110】

本発明のオブジェクト同定装置における各処理は、ソフトウェアにより実現される。ソフトウェアにより実現される場合には、このソフトウェアを構成するプログラムが、情報処理装置（コンピュータ）にインストールされる。また、これらのプログラムは、ＣＤ−ＲＯＭのようなリムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。さらに、これらのプログラムは、ダウンロードされることなく、ネットワークを介したＷｅｂサービスとして、ユーザのコンピュータに提供されてもよい。

【符号の説明】

【0111】

１ オブジェクト同定装置
２ オブジェクト同定装置
１０ カメラ映像
２０ カメラ映像
５０ 事前情報データベース
６０ 分析結果データベース
１１０ オブジェクト特徴学習部
１２０ オブジェクト部位抽出部
１３０ オブジェクト位置推定部
１４０ オブジェクト同定部
１５０ 同定パラメータ決定部
１６０ 結果表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】