特開 2024-162177 画像認識システム及び画像認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162177

(43)【公開日】2024-11-21

(54)【発明の名称】画像認識システム及び画像認識方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241114BHJP

【ＦＩ】

G06T7/70 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023077479

(22)【出願日】2023-05-09

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】永吉 洋登

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096EA43

5L096FA32

5L096FA66

5L096FA69

5L096GA38

5L096GA40

5L096HA05

5L096MA07

(57)【要約】

【課題】対象物を特定してその位置を追跡することができる技術を提供する。
【解決手段】
マーカ２００は、常時点灯する第１の発光部２１０と、マーカ２００の各々に設定された点灯と消灯の時系列パタンで点滅する第２の発光部２１１とを備え、画像認識装置１００は、第１の発光部２１０及び第２の発光部２１１を含む画像を撮像するカメラ１１０と、撮像された画像に含まれる光の位置をマーカ検知位置として検知するプロセッサ１０１と、一次記憶装置１０２とを備え、プロセッサ１０１は、検知されたマーカ検知位置を、それぞれの位置に基づいて、一つあるいは二つの検知されたマーカ検知位置からなるマーカ検知グループとしてグルーピングし、マーカ検知位置グループに属するマーカ検知位置の位置に基づいて、一次記憶装置１０２に格納されているマーカ検知位置グループの情報と紐づけて、マーカ検知位置グループの情報を一次記憶装置１０２に格納する。
【選択図】図２

【特許請求の範囲】

【請求項1】

少なくとも一つの対象物に各々設置された少なくとも一つのマーカと、前記マーカの位置を検知する画像認識装置とを備える画像認識システムにおいて、
前記マーカは、
常時点灯する第１の発光部と、
前記マーカの各々に設定された点灯と消灯の時系列パタンで点滅する第２の発光部と、を備え、
前記画像認識装置は、
前記第１の発光部及び前記第２の発光部を含む画像を撮像するカメラと、
前記撮像された画像に含まれる光の位置をマーカ検知位置として検知するプロセッサと、
記憶装置と、を備え、
前記プロセッサは、
前記検知されたマーカ検知位置を、それぞれの位置に基づいて、一つあるいは二つの前記検知されたマーカ検知位置からなるマーカ検知グループとしてグルーピングし、
前記マーカ検知位置グループに属するマーカ検知位置の位置に基づいて、前記記憶装置に格納されているマーカ検知位置グループの情報と紐づけて、前記マーカ検知位置グループの情報を前記記憶装置に格納する画像認識システム。

【請求項2】

請求項１記載の画像認識システムにおいて、
前記プロセッサは、
前記マーカ検知位置グループに属するマーカ検知位置が一つのときは、前記第２の発光部の消灯を示す情報を前記記憶装置に格納し、
前記マーカ検知位置グループに属するマーカ検知位置が二つのときは、前記第２の発光部の点灯を示す情報を前記記憶装置に格納する画像認識システム。

【請求項3】

請求項２記載の画像認識システムにおいて、
前記プロセッサは、
前記記憶装置に格納された、前記第２の発光部の点灯を示す情報及び前記第２の発光部の消灯を示す情報の時系列パタンに基づいて、前記マーカを特定するＩＤを算出する画像認識システム。

【請求項4】

請求項３記載の画像認識システムにおいて、
前記第１の発光部及び前記第２の発光部は、異なる色彩で発光する画像認識システム。

【請求項5】

請求項４記載の画像認識システムにおいて、
前記第２の発光部は、不可視光を発光する画像認識システム。

【請求項6】

少なくとも一つの対象物に各々設置された少なくとも一つのマーカと、前記マーカの位置を検知する画像認識装置とを備える画像認識システムの画像認識方法において、
前記マーカは、
常時点灯する第１の発光部と、
前記マーカの各々に設定された点灯と消灯の時系列パタンで点滅する第２の発光部と、を備え、
前記画像認識装置は、
前記第１の発光部及び前記第２の発光部を含む画像を撮像するカメラと、
前記撮像された画像に含まれる光の位置をマーカ検知位置として検知するプロセッサと、
記憶装置と、を備え、
前記プロセッサは、
前記検知されたマーカ検知位置を、それぞれの位置に基づいて、一つあるいは二つの前記検知されたマーカ検知位置からなるマーカ検知グループとしてグルーピングし、
前記マーカ検知位置グループに属するマーカ検知位置の位置に基づいて、前記記憶装置に格納されているマーカ検知位置グループの情報と紐づけて、前記マーカ検知位置グループの情報を前記記憶装置に格納する画像認識方法。

【請求項7】

請求項６記載の画像認識方法において、
前記プロセッサは、
前記マーカ検知位置グループに属するマーカ検知位置が一つのときは、前記第２の発光部の消灯を示す情報を前記記憶装置に格納し、
前記マーカ検知位置グループに属するマーカ検知位置が二つのときは、前記第２の発光部の点灯を示す情報を前記記憶装置に格納する画像認識方法。

【請求項8】

請求項７記載の画像認識方法において、
前記プロセッサは、
前記記憶装置に格納された、前記第２の発光部の点灯を示す情報及び前記第２の発光部の消灯を示す情報の時系列パタンに基づいて、前記マーカを特定するＩＤを算出する画像認識方法。

【請求項9】

請求項８記載の画像認識方法において、
前記第１の発光部及び前記第２の発光部は、異なる色彩で発光する画像認識方法。

【請求項10】

請求項９記載の画像認識方法において、
前記第２の発光部は、不可視光を発光する画像認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像認識システム及び画像認識方法に関する。

【背景技術】

【0002】

工場や発電所など人や物が移動する現場において、人物や物体などの対象物の位置を追跡するために、対象物を特定するためのＩＤ情報を点滅パタンによって表す発光マーカが提案されている。人物の頭上や物体の上に発光マーカを設置し、天井に設置されたカメラで発光マーカを含む画像を撮影して発光マーカの点滅パタンとその位置を検知することにより、対象物を特定してその位置を追跡することができる。

【0003】

発光マーカの点滅パタンを検知するためには、発光マーカを一定時間追跡して、点灯と消灯の時系列パタンを検知する必要がある。しかし、消灯時には発光マーカを検知することができず、発光マーカの追跡を誤る可能性がある。

【0004】

そこで、光の点滅ではなく色の変化でＩＤ情報を表す技術として、特許文献１がある。特許文献１には、少なくとも３種の色彩を発光する発光体を有し、発光体が発光する色彩を周期的に変化させ、周期的な色彩変化を所定のＩＤに基づいて切り替え、この周期的な色彩変化の切替によって、発光装置のＩＤ又はその発光装置が取り付けられている対象物のＩＤを表すことが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０－５０７２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１の技術では、発光装置に少なくとも３種の色彩を発光する発光体を備える必要があり、コストがかかるという問題がある。また、特許文献１では、３種の色彩としてＲＧＢ（赤、緑、青）を使用しているが、ＲＧＢのうちＢ（青）は暗いため検知が困難であり、マーカには適さない。

【0007】

本発明は、対象物を特定してその位置を追跡することができる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、代表的な本発明の画像認識システムの一つは、少なくとも一つの対象物に各々設置された少なくとも一つのマーカと、マーカの位置を検知する画像認識装置とを備える画像認識システムにおいて、マーカは、常時点灯する第１の発光部と、マーカの各々に設定された点灯と消灯の時系列パタンで点滅する第２の発光部とを備え、画像認識装置は、第１の発光部及び第２の発光部を含む画像を撮像するカメラと、撮像された画像に含まれる光の位置をマーカ検知位置として検知するプロセッサと、記憶装置とを備え、プロセッサは、検知されたマーカ検知位置を、それぞれの位置に基づいて、一つあるいは二つの検知されたマーカ検知位置からなるマーカ検知グループとしてグルーピングし、マーカ検知位置グループに属するマーカ検知位置の位置に基づいて、記憶装置に格納されているマーカ検知位置グループの情報と紐づけて、マーカ検知位置グループの情報を記憶装置に格納する。

【発明の効果】

【0009】

本発明によれば、対象物を特定してその位置を追跡することができる。

【0010】

上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】実施例１の画像認識システムの構成の一例を示す図である。

【図2】実施例１の画像認識装置のハードウェア構成の一例を示すブロック図である。

【図3】実施例１のマーカのハードウェア構成の一例を示すブロック図である。

【図4】実施例１の画像認識装置の動作の一例を示すフローチャートである。

【図5】一次記憶装置に格納されるマーカ追跡リストの一例を示す図である。

【図6】合致マーカ検知位置グループを抽出する処理を説明する図である。

【図7】一次記憶装置に格納されるマーカＩＤリストの一例を示す図である。

【図8】ディスプレイに表示される画面の一例を示す図である。

【図9】実施例２の画像認識装置の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、実施例を図面を用いて説明する。

【0013】

なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。また、発明の構成に必須だが周知である構成については、図示及び説明を省略する場合がある。

【実施例0014】

図１は、実施例１の画像認識システムの構成の一例を示す図である。

【0015】

図１において、画像認識システムは、画像認識装置１００と、マーカ２００とを有する。

【0016】

マーカ２００は、上面に第１の発光部２１０及び第２の発光部２１１を備える。マーカ２００は、例えば、人物１の頭上や、物体２の上部に、第１の発光部２１０及び第２の発光部２１１が天井の方向を向くように設置される。

【0017】

画像認識装置１００は、カメラ１１０と、情報処理装置１３０と、ディスプレイ１２０とを有する。

【0018】

カメラ１１０は、部屋３の天井に床を撮像するように設置され、部屋３の床上に存在するマーカ２００の上面に設けられた第１の発光部２１０及び第２の発光部２１１を含む画像を撮像する。

【0019】

情報処理装置１３０は、カメラ１１０に接続され、カメラ１１０が撮像した画像を取得し、後述する処理を実行して、マーカ２００の位置及びマーカ２００を特定するマーカＩＤを検知する。ディスプレイ１２０は、情報処理装置１３０に接続され、情報処理装置１３０が出力した情報を表示する。

【0020】

図２は、実施例１の画像認識装置１００のハードウェア構成の一例を示すブロック図である。

【0021】

画像認識装置１００は、情報処理装置１３０の内部に、プロセッサ１０１と、一次記憶装置１０２と、二次記憶装置１０３とを備える。

【0022】

プロセッサ１０１は、二次記憶装置１０３に保持しているプログラムを実行することで、後述する処理を実現する。

【0023】

一次記憶装置１０２は、プロセッサ１０１が処理を実行する際に利用する主記憶装置であり、ＲＡＭ（Random Access Memory）等の揮発性記憶素子で構成される。

【0024】

二次記憶装置１０３は、プロセッサ１０１に提供する入力データや、プロセッサ１０１から出力される出力データを保管するための補助記憶装置であり、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の不揮発性記憶素子で構成される。

【0025】

プロセッサ１０１が動作するためのプログラムや設定情報は二次記憶装置１０３に記憶させておくが、実行時には一次記憶装置１０２に読みだされて、プロセッサ１０１から参照される。

【0026】

図３は、実施例１のマーカ２００のハードウェア構成の一例を示すブロック図である。

【0027】

マーカ２００は、プロセッサ２０１と、一次記憶装置２０２と、二次記憶装置２０３と、第１の発光部２１０と、第２の発光部２１１とを備える。

【0028】

プロセッサ２０１は、二次記憶装置２０３に保持しているプログラムを実行することで処理を実現する。

【0029】

一次記憶装置２０２は、プロセッサ２０１が処理を実行する際に利用する主記憶装置であり、ＲＡＭ（Random Access Memory）等の揮発性記憶素子で構成される。

【0030】

二次記憶装置２０３は、プロセッサ２０１に提供する入力データや、プロセッサ２０１から出力される出力データを保管するための補助記憶装置であり、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の不揮発性記憶素子で構成される。

【0031】

プロセッサ２０１が動作するためのプログラムや設定情報は二次記憶装置２０３に記憶させておくが、実行時には一次記憶装置２０２に読みだされて、プロセッサ２０１から参照される。

【0032】

第１の発光部２１０および第２の発光部２１１は、例えばＬＥＤ（Light Emitting Diode）で構成される。

【0033】

ここで、第１の発光部２１０は電源が入っているときは常時点灯状態で、第２の発光部２１１はプロセッサ２０１の制御に従い、所定の点滅パタンで点滅する。第１の発光部が常時点灯しているので、画像認識装置１００のカメラ１１０が３０Ｈｚ程度のフレームレートのカメラであっても、その位置を容易に追跡することができる。

【0034】

第２の発光部２１１の点滅パタンは、それぞれのマーカ２００によって異なる。例えば、人物１の頭上に設置されたマーカ２００と、物体２の上部に設置されたマーカ２００とでは、第２の発光部２１１の点滅パタンが異なる。画像認識装置１００は、この点滅パタンを読み取ることにより、どのマーカ２００であるかを特定して、位置を追跡している対象である人物や物体を特定することができる。

【0035】

また、実施例１では、第１の発光部２１０と第２の発光部２１１は、同一の色彩である。画像認識装置１００が検知しやすいように、第１の発光部２１０と第２の発光部２１１の色彩には、青以外の明るい色彩、例えば緑色や赤色を採用することが好ましい。

【0036】

また、カメラ１１０はRGBカメラに限定されるものではなく、第１の発光部２１０と第２の発光部２１１の色にカメラ１１０に適した色彩を選択すればよい。

【0037】

第１の発光部２１０と第２の発光部２１１は、画像認識装置１００のカメラ１１０が撮影した画像上で区別できるだけの所定の間隔をあけておく。この所定の間隔は、画像認識装置１００のカメラ１１０の画素数や画角と、マーカ２００との最大距離が与えられれば、一般的な三次元幾何学をもちいて定めることができる。

【0038】

図４は、実施例１の画像認識装置１００の動作の一例を示すフローチャートである。

【0039】

図４は、画像認識装置１００のプロセッサ１０１が、第１の発光部２１０及び第２の発光部２１１の点灯位置を捉えて、マーカ２００の位置を追跡する処理である。この処理は画像認識装置１００のプロセッサ１０１が、一次記憶装置１０２や二次記憶装置１０３を利用しながら実施する。

【0040】

ステップＳ３００で、プロセッサ１０１は、カメラ１１０が取得した入力フレームに対して二値化処理を実施する。

【0041】

このとき、第１の発光部２１０及び第２の発光部の色彩に合わせた二値化処理を実施することが望ましい。例えば、第１の発光部２１０及び第２の発光部の色彩が白色であれば、ＲＧＢのノルムを用いて二値化処理を実施する。また、第１の発光部２１０及び第２の発光部の色彩がＲＧＢにおけるＧであれば、入力フレームのＲＧＢにおけるＧチャンネルのみを抜き出して二値化処理を実施するとよい。

【0042】

二値化処理によって、入力フレームにおいて、第１の発光部２１０および第２の発光部２１１のうち点灯しているものが映った部位が抽出される。プロセッサ１０１は、抽出された部位をマーカ検知位置として抽出する。

【0043】

ステップＳ３０１で、プロセッサ１０１は、ステップＳ３００で抽出したマーカ検知位置から、同じマーカ２００に属する第１の発光部２１０と第２の発光部２１１のマーカ検知位置をグルーピングする。

【0044】

ステップＳ３００で抽出したマーカ検知位置から第１のグルーピング用所定範囲に別のマーカ検知位置がある場合には、それらのマーカ検知位置をグルーピングしてマーカ検知位置グループとする。一方、ステップＳ３００で抽出したマーカ検知位置から第１のグルーピング用所定範囲に別のマーカ検知位置がない場合は、そのマーカ検知位置のみをマーカ検知位置グループとする。

【0045】

点滅している第２の発光部２１１が点灯状態のときに撮像された入力フレームでは、マーカ検知位置グループに二つのマーカ検知位置が含まれる。一方、第２の発光部が消灯状態のときに撮像された入力フレームでは、マーカ検知位置グループに一つのマーカ検知位置が含まれる。

【0046】

ここで第１のグルーピング用所定範囲は、同じマーカ２００に属する第１の発光部及び第２の発光部のマーカ検知位置をグルーピングするために設定された範囲である。二つのマーカ検知位置が第１のグルーピング用所定範囲内にあれば、この二つのマーカ検知位置は一つのマーカ２００に属する第１の発光部及び第２の発光部のマーカ検知位置であると判別される。

【0047】

第１のグルーピング用所定範囲は、同じマーカ２００に属する第１の発光部２１０と第２の発光部２１１との画面上での最大の距離と、同じ値に設定するとよい。この値は、カメラ１１０の画角と、第１の発光部２１０と第２の発光部２１１の、画像認識装置１００のカメラ１１０からの距離の最小値が定まれば、一般的な三次元幾何学をもちいて算出できる。

【0048】

ここで注意すべき点は、カメラ１１０からマーカ２００までの距離の最小値及び最大値である。

【0049】

例えば、カメラ１１０が部屋３の壁の上部に斜め下方向を撮像するように取り付けられている場合、カメラ１１０に近いマーカ２００は入力フレームにおいて大きく撮像され、カメラ１１０から遠いマーカ２００は入力フレームにおいて小さく撮像される。

【0050】

マーカ２００とカメラ１１０が非常に近い場合、上述したように、同じマーカ２００に属する第１の発光部２１０と第２の発光部２１１との画面上での最大の距離を第１のグルーピング用所定範囲とすると、第１のグルーピング用所定範囲が非常に大きくなり、第１のグルーピング用所定範囲が入力フレームの大部分を含むことになる。

【0051】

そのため、近接する複数のマーカ２００のマーカ検知位置が第１のグルーピング用所定範囲内に入ってしまい、同じマーカ２００に属する第１の発光部２１０と第２の発光部２１１をグルーピングするという目的を達成することができない。

【0052】

また、マーカ２００とカメラ１１０が非常に遠い場合も、近接する複数のマーカ２００のマーカ検知位置が第１のグルーピング用所定範囲内に入ってしまい、同じマーカ２００に属する第１の発光部２１０と第２の発光部２１１をグルーピングするという目的を達成することができない。

【0053】

そのため、カメラ１１０からマーカ２００までの距離の最小値が小さくなりすぎず、最大値が大きくなりすぎないように、カメラ１１０の設置位置を工夫する必要がある。

【0054】

例えば、俯角を床方向に向けてカメラ１１０を天井に設置し、床上を歩く人物１や床上に近いところを移動する物体２にマーカ２００を設置すれば、カメラ１１０からマーカ２００までの距離の最小値及び最大値を、適切な値に設定することができる。また、カメラ１１０の近くに壁がある場合には、壁がある方向に対しては、カメラ１１０の俯角を大きく壁の方向に向ける必要はない。

【0055】

これにより、ステップＳ３０１において、同じマーカ２００に属する第１の発光部２１０と第２の発光部２１１をグルーピングするという目的を達成することが可能となる。

【0056】

ステップＳ３０１でグルーピングされたマーカ検知位置グループや、第２の発光部の点灯または消灯を示す情報は、図５に示すマーカ追跡リスト４００として一次記憶装置１０２に格納される。

【0057】

図５は、一次記憶装置１０２に格納されるマーカ追跡リストの一例を示す図である。

【0058】

マーカ追跡リスト４００は、インデックス４０１によって区別された複数のマーカ追跡レコード４１０を有する。各マーカ追跡レコード４１０は、マーカＩＤ４０２と、マーカ検知位置グループ履歴４２０と、マーカ点滅履歴４３０とを有する。

【0059】

マーカ検知位置グループ履歴４２０には、各入力フレームにおける各マーカ検知位置グループに含まれるマーカ検知位置の位置情報が、それぞれ異なるカラムに保存される。

【0060】

例えば、カメラ１１０が取得した入力フレームのフレーム番号をｔとし、フレームｔのｎフレーム前の入力フレームのフレーム番号をｔ－ｎとすると、フレームｔ、インデックス０のマーカ検知位置グループ履歴４２０には、一つのマーカ検知位置の位置情報（３０，１３０）が保存されている。これは、フレームｔにおいて、第２の発光部２１１が消灯状態であったため、図４のステップ３０１で一つのマーカ位置情報がマーカ検知位置グループとしてグルーピングされたことを示している。

【0061】

また、フレームｔ－２、インデックス０のマーカ検知位置グループ履歴４２０には、二つのマーカ検知位置の位置情報（１０，１１０）及び（１０，１１１）が保存されている。これは、フレームｔ－２において、第２の発光部２１１が点灯状態であったため、図４のステップ３０１で二つのマーカ検知位置がマーカ検知位置グループとしてグルーピングされたことを示している。

【0062】

マーカ点滅履歴４３０には、各入力フレームにおける各マーカ検知位置グループに属する第２の発光部２１１の点灯または消灯を示す情報が、それぞれ異なるカラムに保存される。例えば、フレームｔ、インデックス０のマーカ点滅履歴４３０には、「消灯」が記載され、フレームｔ－２、インデックス０のマーカ点滅履歴４３０には、「点灯」が記載されている。

【0063】

マーカＩＤ４０２は、後述する処理で、マーカ点滅履歴４３０の点灯と消灯の時系列パタン（点滅パタン）に基づいて決定される。

【0064】

図４に戻り、ステップＳ３０２で、各マーカ追跡レコード４１０における最新フレームのマーカ検知位置グループ履歴４２０それぞれに対して、そこから追跡用の所定範囲に位置するマーカ検知位置グループを合致マーカ検知位置グループとして抽出し、両者を紐づける。また、合致マーカ検知位置グループ以外のマーカ検知位置グループを、非合致マーカ検知位置グループとする。

【0065】

追跡用の所定範囲は、同一のマーカ２００の位置を追跡するために、入力フレームのマーカ検知位置グループを、マーカ追跡レコード４１０の同一のマーカ２００のマーカ検知位置グループ履歴４２０と紐づけるために設定される。追跡用の所定範囲は、入力フレーム内で１フレームの間に人物１や物体２が移動すると想定される距離に基づいて設定される。

【0066】

図６は、ステップＳ３０２の合致マーカ検知位置グループを抽出する処理を説明する図である。

【0067】

図６の画像５００において、各マーカ追跡レコード４１０の最新フレームのマーカ検知位置グループ履歴４２０の位置が５０３である。また、最新フレームのマーカ検知位置グループ履歴４２０の位置５０３から追跡用の所定範囲に位置するマーカ検知位置グループが、合致マーカ検知位置グループ５０１である。また、合致マーカ検知位置グループ５０１以外のマーカ検知位置グループが非合致マーカ検知位置グループ５０２である。

【0068】

マーカ検知位置グループおよび最新フレームのマーカ検知位置グループ履歴は、それぞれ、第１の発光部２１０及び第２の発光部２１１に対応する二つのマーカ検知位置を含む場合がある。その場合は、追跡用の所定範囲と比較するマーカ検知位置グループと最新フレームのマーカ検知位置グループ履歴の距離を算出するために、二つのマーカ検知位置のいずれを用いて算出するかによって複数の値が得られる。マーカ検知位置グループと最新フレームのマーカ検知位置グループ履歴の距離は、複数の値が得られた場合には、それらの値の最小値、最大値、または平均値のいずれを採用してもよい。また、追跡用の所定範囲は、採用する値に応じて、適切な値に設定する。

【0069】

図４に戻り、ステップＳ３０３で、合致マーカ検知位置グループの情報を、それに紐づいた最新フレームのマーカ検知位置グループ履歴４２０が属するマーカ追跡レコード４１０に対して書き込む。

【0070】

具体的には、合致マーカ検知位置グループに紐づいた最新フレームのマーカ検知位置グループ履歴４２０が属するマーカ追跡レコード４１０の、フレームｔのマーカ検知位置グループ履歴４２０に、合致マーカ検知位置グループに含まれるマーカ検知位置を書き込む。また、マーカ検知位置が二つの場合はフレームｔのマーカ点滅履歴４３０に「点灯」を書き込み、マーカ検知位置が一つの場合はフレームｔのマーカ点滅履歴４３０に「消灯」を書き込む。

【0071】

ステップＳ３０４では、新たなマーカ追跡レコード４１０をマーカ追跡リスト４００に追加し、非合致マーカ検知位置グループの情報を、追加したマーカ追跡レコード４１０に対して書き込む。

【0072】

具体的には、追加したマーカ追跡レコード４１０に対して、フレームｔのマーカ検知位置グループ履歴４２０に、非合致マーカ検知位置グループに含まれるマーカ検知位置を書き込む。また、マーカ検知位置が二つの場合はフレームｔのマーカ点滅履歴４３０に「点灯」を書き込み、マーカ検知位置が一つの場合はフレームｔのマーカ点滅履歴４３０に「消灯」を書き込む。

【0073】

ステップＳ３０５では、マーカ追跡レコード４１０のうち、マーカＩＤ４０２が未決定のものがあれば、それに対応したマーカ点滅履歴４３０を参照して、点灯と消灯の時系列パタン（点滅パタン）に基づいてマーカＩＤ候補を算出する。

【0074】

点灯と消灯の時系列パタン（点滅パタン）からＩＤを算出するには、例えば、松下らの方法 (松下 伸行, 日原 大輔, 後 輝行, 吉村 真一, 暦本 純一, “ID Cam: シーンとIDを同時に取得可能なスマートカメラ,” 情報処理学会論文誌, vol. 43, no. 12, pp. 3664-3674, 2002.) を利用することができる。松下らの方法は、フレームレートが200Hzのカメラを用いていたが、本発明の想定するフレームレート30Hzでも適用できる。

【0075】

続いて、全てのマーカＩＤ候補に対して処理が終了するまで、ステップＳ３５０からステップＳ３５１までの処理を繰り返す。

【0076】

ステップＳ３０６では、マーカＩＤ候補と同一のマーカＩＤ４０２を持つ、マーカＩＤ候補を算出したマーカ追跡レコード（以下、「元のマーカ追跡レコード」という）とは別のマーカ追跡レコード（以下、「同一マーカＩＤを持つマーカ追跡レコード」という）の有無を判定する。元のマーカ追跡レコードと、同一マーカＩＤを持つマーカ追跡レコードは、同じマーカ２００を追跡していたことになる。

【0077】

ステップＳ３０６で同一マーカＩＤを持つマーカ追跡レコードがある場合は、ステップＳ３０７に進む。

【0078】

ステップＳ３０７では、元のマーカ追跡レコードを、同一マーカＩＤを持つマーカ追跡レコードに統合する。統合とは、元のマーカ追跡レコードに記載されたマーカ検知位置グループ履歴４２０やマーカ点滅履歴４３０を、同一マーカＩＤを持つマーカ追跡レコードのマーカ検知位置グループ履歴４２０やマーカ点滅履歴４３０に追記することである。

【0079】

例えば、元のマーカ追跡レコードのマーカ検知位置グループ履歴４２０やマーカ点滅履歴４３０が、フレームｔからフレームｔ－ｎまで記載されていた場合、同一マーカＩＤを持つマーカ追跡レコードのマーカ検知位置グループ履歴４２０やマーカ点滅履歴４３０においては、フレームｔからフレームｔ－ｎは空白であるから、そこに追記する。

【0080】

一方、ステップＳ３０６で同一マーカＩＤを持つマーカ追跡レコードがない場合は、ステップＳ３０８に進む。ステップＳ３０８では、算出したマーカＩＤ候補が、一次記憶装置１０２に格納されたマーカＩＤリスト６００の割り当てＩＤ６０２のいずれかに合致するかを判定する。

【0081】

図７は、一次記憶装置１０２に格納されるマーカＩＤリストの一例を示す図である。

【0082】

マーカＩＤリスト６００は、各マーカ２００に割り当てたＩＤを割り当てＩＤ６０２として登録したリストである。また、各割り当てＩＤ６０２は、インデックス６０１によって区別されている。さらに、各割り当てＩＤ６０２は、第２の発光部２１１の固有の点滅パタンと紐づけられている。

【0083】

割り当てＩＤ６０２をマーカ２００の二次記憶装置２０３に設定情報として書き込むことで、マーカ２００のプロセッサ２０１は第２の発光部２１１を制御し、割り当てＩＤ６０２に紐づいた点滅パタンで第２の発光部２１１を発光させる。

【0084】

ステップＳ３０８で、算出したマーカＩＤ候補がマーカＩＤリスト６００の割り当てＩＤ６０２のいずれかに合致する場合は、ステップＳ３０９に進む。ステップＳ３０９では、元のマーカ追跡レコードのマーカＩＤ４０２として、そのマーカＩＤ候補の値を書き込む。

【0085】

一方、ステップＳ３０８で、算出したマーカＩＤ候補がマーカＩＤリスト６００の割り当てＩＤ６０２のいずれにも合致しない場合は、ステップＳ３１０に進む。ステップＳ３１０では、元のマーカ追跡レコードの作成において、何らかのエラーが起こっていたことになるから、元のマーカ追跡レコードを消去する。また、画像認識装置１００のディスプレイ１２０に、エラーメッセージを表示する。

【0086】

全てのマーカＩＤ候補に対してステップＳ３５０からステップＳ３５１までの処理を終了した場合は、ステップＳ３５２に進む。

【0087】

ステップＳ３５２では、画像認識装置１００のプロセッサ１０１は、一次記憶装置１０２に格納されたマーカ追跡リスト４００に基づいて、画像認識装置１００が検知したマーカ２００の位置及びそのマーカＩＤ４０２をディスプレイ１２０に表示し、本処理を終了する。

【0088】

図８は、ディスプレイ１２０に表示される画面の一例を示す図である。

【0089】

図８では、ディスプレイ１２０に表示される画面８００の一例として、マーカＩＤ４０２が５のマーカ２００の位置８０１と、マーカＩＤ４０２が８のマーカ２００の位置８０２が表示されている例を示している。

【0090】

プロセッサ１０１は、マーカ追跡リスト４００の最新フレームのマーカ検知位置グループ履歴４２０と、そのマーカＩＤ４０２に基づいて、カメラ１１０が取得した入力フレームにおけるマーカ２００の位置と、そのマーカ２００のマーカＩＤ４０２を画面８００に表示する。

【0091】

マーカ２００を設置する人物１の名前（例えば「Ａ」）や物体２の名称（例えば「ドリル５」）をマーカＩＤ４０２と紐づけて一次記憶装置１０２に予め登録しておくことにより、画面８００に位置を検知した人物１の名前や物体２の名称を表示するようにしてもよい。

【0092】

実施例１によれば、マーカ２００は、常時点灯する第１の発光部２１０と所定の点滅パタンで点滅する第２の発光部２１１とを備え、画像認識装置１００は、第１の発光部２１０及び第２の発光部２１１のマーカ検知位置を抽出し、第２の発光部２１１の点滅パタンに基づいてマーカＩＤ候補を算出する。これにより、対象物を特定してその位置を追跡することができる。また、第１の発光部が常時点灯しているので、その位置を容易に追跡することができる。

【0093】

また、第１の発光部２１０及び第２の発光部２１１は、同一の色彩で発光するので、コストを抑えることができる。さらに、第１の発光部２１０及び第２の発光部２１１の色彩に、明るい色彩を採用することにより、マーカ２００の検知を容易に行うことができる。

【実施例0094】

実施例２は、マーカ２００の第１の発光部２１０と第２の発光部２１１が異なる色彩で発光する点で実施例１と異なる。そのため、実施例２では、第１の発光部２１０と第２の発光部２１１をマーカ２００の上部に近接させて設置しても、画像認識装置１００は、第１の発光部２１０と第２の発光部２１１の光を異なる光として検知することができる。第１の発光部２１０と第２の発光部２１１は、例えば、二色の色彩を備えた一つの素子で実装してもよい。

【0095】

画像認識装置１００が検知しやすいように、第１の発光部２１０と第２の発光部２１１の色彩には、青以外の明るい色彩、例えば緑色や赤色を採用することが好ましい。

【0096】

また、カメラ１１０はRGBカメラに限定されるものではなく、第１の発光部２１０と第２の発光部２１１の色にカメラ１１０に適した色彩を選択すればよい。

【0097】

また、点滅する第２の発光部２１１が発光する光には、不可視光を採用してもよい。これにより、光の点滅による不快感を低減することができる。

【0098】

図９は、実施例２の画像認識装置１００の動作の一例を示すフローチャートである。

【0099】

図９において、ステップＳ７００～ステップＳ７０２の処理が図４と異なる。図４と同一のステップには同一の符号を付し、その説明を省略する。

【0100】

ステップＳ７００で、プロセッサ１０１は、カメラ１１０が取得した入力フレームに対して、第１の発光部２１０の位置を抽出するため、第１の発光部２１０の色彩に応じた二値化処理を実施する。

【0101】

例えば、第１の発光部２１０の色彩がＲＧＢにおけるＧであれば、入力フレームのＲＧＢにおけるＧチャンネルのみを抜き出して二値化処理を実施する。また、第１の発光部２１０の色彩がＲＧＢにおけるＧＢが合成された色彩であれば、入力フレームのＧＢチャンネルのノルムを用いて二値化処理を実施する。

【0102】

二値化処理によって、入力フレームにおいて、第１の発光部２１０が映った部位が抽出される。プロセッサ１０１は、抽出された部位を第１の発光部に基づくマーカ検知位置として抽出する。

【0103】

同様にステップＳ７０１で、プロセッサ１０１は、カメラ１１０が取得した入力フレームに対して、第２の発光部２１１の位置を抽出するため、第２の発光部２１１の色彩に応じた二値化処理を実施する。

【0104】

二値化処理によって、入力フレームにおいて、第２の発光部２１１のうち点灯しているものが映った部位が抽出される。プロセッサ１０１は、抽出された部位を第２の発光部に基づくマーカ検知位置として抽出する。

【0105】

ステップＳ７０２で、プロセッサ１０１は、ステップＳ３００で抽出したマーカ検知位置から、同じマーカ２００に属する第１の発光部２１０と第２の発光部２１１のマーカ検知位置をグルーピングする。

【0106】

ステップＳ７００で抽出した第１の発光部２１０に基づくマーカ検知位置から第２のグルーピング用所定範囲に、ステップＳ７０１で抽出した第２の発光部２１１に基づくマーカ検知位置がある場合には、それらのマーカ検知位置をグルーピングしてマーカ検知位置グループとする。一方、ステップＳ７００で抽出した第１の発光部２１０に基づくマーカ検知位置から第２のグルーピング用所定範囲に、ステップＳ７０１で抽出した第２の発光部２１１に基づくマーカ検知位置がない場合は、そのマーカ検知位置のみをマーカ検知位置グループとする。

【0107】

点滅している第２の発光部２１１が点灯状態のときに撮像された入力フレームでは、マーカ検知位置グループに二つのマーカ検知位置が含まれる。一方、第２の発光部が消灯状態のときに撮像された入力フレームでは、マーカ検知位置グループに一つのマーカ検知位置が含まれる。

【0108】

ここで第２のグルーピング用所定範囲は、同じマーカ２００に属する第１の発光部及び第２の発光部のマーカ検知位置をグルーピングするために設定された範囲である。二つのマーカ検知位置が第２のグルーピング用所定範囲内にあれば、この二つのマーカ検知位置は一つのマーカ２００に属する第１の発光部及び第２の発光部のマーカ検知位置であると判別される。

【0109】

第２のグルーピング用所定範囲は、同じマーカ２００に属する第１の発光部２１０と第２の発光部２１１との画面上での最大の距離と、同じ値に設定するとよい。この値は、カメラ１１０の画角と、第１の発光部２１０と第２の発光部２１１の、画像認識装置１００のカメラ１１０からの距離の最小値が定まれば、一般的な三次元幾何学をもちいて算出できる。

【0110】

ここで、実施例２では、第１の発光部２１０と第２の発光部２１１は異なる色彩で発光するので、第１の発光部２１０と第２の発光部２１１をマーカ２００の上部に近接させて設置しても、画像認識装置１００は、第１の発光部２１０と第２の発光部２１１の光を異なる光として検知することができる。そのため、実施例１における第１のグルーピング用所定範囲と比較して、第２のグルーピング用所定範囲は非常に小さく設定することが可能となる。

【0111】

このことから、実施例２は、実施例１と比べて、下記のような利点がある。すなわち、実施例１では、画像認識装置１００からマーカ２００までの距離が小さくなるような場合、第１のグルーピング用所定範囲が入力フレームの大部分を占めてしまった。

【0112】

実施例２では第２のグルーピング用所定範囲がより小さいため、そのようなことが起こりづらい。つまりは、実施例２では、実施例１と比較して、画像認識装置１００からマーカ２００までの距離をより近くすることができ、カメラ１１０の設置位置の自由度を向上させることができる。

【0113】

なお、第１の発光部２１０と第２の発光部２１１を、二色の色彩を備えた一つの素子で実装した場合には、第１の発光部２１０と第２の発光部２１１は同じ位置になるので、ステップＳ７０２のグルーピングの処理は必要ない。

【0114】

ステップＳ７０２の処理のあとは、図４におけるステップＳ３０２以降の処理を実行する。

【0115】

実施例２によれば、マーカ２００は、常時点灯する第１の発光部２１０と所定の点滅パタンで点滅する第２の発光部２１１とを備え、画像認識装置１００は、第１の発光部２１０及び第２の発光部２１１のマーカ検知位置を抽出し、第２の発光部２１１の点滅パタンに基づいてマーカＩＤ候補を算出する。これにより、対象物を特定してその位置を追跡することができる。また、第１の発光部が常時点灯しているので、その位置を容易に追跡することができる。

【0116】

また、第１の発光部２１０と第２の発光部２１１は異なる色彩で発光するので、画像認識装置１００からマーカ２００までの距離をより近くすることができ、カメラ１１０の設置位置の自由度を向上させることができる。

【0117】

さらに、第１の発光部２１０及び第２の発光部２１１の色彩に、明るい色彩を採用することにより、マーカ２００の検知を容易に行うことができる。さらに、第２の発光部２１１が発光する光に、不可視光を採用することより、光の点滅による不快感を低減することができる。

【0118】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。