特許 7567876 情報管理装置、情報管理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】情報管理装置、情報管理方法及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241008BHJP

   H04N 5/92 20060101ALI20241008BHJP

   H04N 5/77 20060101ALI20241008BHJP

   G06T 7/70 20170101ALI20241008BHJP

【ＦＩ】

H04N23/60 500

H04N5/92 010

H04N5/77

G06T7/70 A

【請求項の数】 4

(21)【出願番号】P 2022134782

(22)【出願日】2022-08-26

(62)【分割の表示】P 2020019569の分割

【原出願日】2020-02-07

(65)【公開番号】P2022176190

(43)【公開日】2022-11-25

【審査請求日】2023-02-07

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】飯塚 宣男

【審査官】越河 勉

(56)【参考文献】

【文献】国際公開第２０１７／１５０２９３（ＷＯ，Ａ１）

【文献】特開２０１１－２１６０１４（ＪＰ，Ａ）

【文献】特表２０１８－５３２２１６（ＪＰ，Ａ）

【文献】特開２０００－２１４９４５（ＪＰ，Ａ）

【文献】特開２０１７－１６９２０３（ＪＰ，Ａ）

【文献】特開２０１４－１８６５５９（ＪＰ，Ａ）

【文献】特開２０１４－０４５２６０（ＪＰ，Ａ）

【文献】特開２０１３－１１８８７６（ＪＰ，Ａ）

【文献】特開平０３－２２４５８０（ＪＰ，Ａ）

【文献】特表２０１６－５０３２２０（ＪＰ，Ａ）

【文献】国際公開第２０１８／２１１７６７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ５／９２

Ｈ０４Ｎ ５／７７

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

所定の所作を行う第１物体に取り付けられた第１光源であって当該第１光源の識別情報を光学的に発信する第１光源を連続撮像することにより取得した時系列的な複数のフレームに基づいて前記第１光源の位置の変化を検出することにより、前記第１物体が行った所作の種類を特定するとともに前記所作の開始タイミングに対応する特定フレームを前記複数のフレームの中から特定する特定手段と、
前記所作の種類が指定されることで前記時系列的な複数のフレームを時系列的に再生する場合に前記特定フレームからの再生を開始させることが可能なように、特定された前記所作の種類を識別するための情報と特定された前記特定フレームを識別するための情報とを互いに対応付けて記憶部に記憶させる制御手段と、
を備え、
前記特定手段は、前記第１物体により取り扱われる第２物体に取り付けられた第２光源であって当該第２光源の識別情報を光学的に発信する第２光源を前記第１光源とともに連続撮像することにより取得した時系列的な前記複数のフレームに基づいて前記第２光源に対する前記第１光源の位置の変化を検出することにより、前記第１物体が行った所作の種類を特定するとともに前記所作の開始タイミングに対応する特定フレームを前記複数のフレームの中から特定する、
ことを特徴とする情報管理装置。

【請求項2】

前記制御手段は、前記所作の種類が指定されるときに再生表示される光源が識別可能なように前記第１光源の識別情報を前記所作の種類を識別するための情報または前記特定フレームを識別するための情報に対応付けて前記記憶部に記憶させる、
ことを特徴とする請求項１に記載の情報管理装置。

【請求項3】

情報管理装置が実行する情報管理方法であって、
所定の所作を行う第１物体に取り付けられた第１光源であって当該第１光源の識別情報を光学的に発信する第１光源を連続撮像することにより取得した時系列的な複数のフレームに基づいて前記第１光源の位置の変化を検出することにより、前記第１物体が行った所作の種類を特定するとともに前記所作の開始タイミングに対応する特定フレームを前記複数のフレームの中から特定する特定ステップと、
前記所作の種類が指定されることで前記時系列的な複数のフレームを時系列的に再生する場合に前記特定フレームからの再生を開始させることが可能なように、特定された前記所作の種類を識別するための情報と特定された前記特定フレームを識別するための情報とを互いに対応付けて記憶部に記憶させる制御ステップと、
を含み、
前記特定ステップは、前記第１物体により取り扱われる第２物体に取り付けられた第２光源であって当該第２光源の識別情報を光学的に発信する第２光源を前記第１光源とともに連続撮像することにより取得した時系列的な前記複数のフレームに基づいて前記第２光源に対する前記第１光源の位置の変化を検出することにより、前記第１物体が行った所作の種類を特定するとともに前記所作の開始タイミングに対応する特定フレームを前記複数のフレームの中から特定する、
ことを特徴とする情報管理方法。

【請求項4】

コンピュータを、
所定の所作を行う第１物体に取り付けられた第１光源であって当該第１光源の識別情報を光学的に発信する第１光源を連続撮像することにより取得した時系列的な複数のフレームに基づいて前記第１光源の位置の変化を検出することにより、前記第１物体が行った所作の種類を特定するとともに前記所作の開始タイミングに対応する特定フレームを前記複数のフレームの中から特定する特定手段、
前記所作の種類が指定されることで前記時系列的な複数のフレームを時系列的に再生する場合に前記特定フレームからの再生を開始させることが可能なように、特定された前記所作の種類を識別するための情報と特定された前記特定フレームを識別するための情報とを互いに対応付けて記憶部に記憶させる制御手段、
として機能させ、
前記特定手段は、前記第１物体により取り扱われる第２物体に取り付けられた第２光源であって当該第２光源の識別情報を光学的に発信する第２光源を前記第１光源とともに連続撮像することにより取得した時系列的な前記複数のフレームに基づいて前記第２光源に対する前記第１光源の位置の変化を検出することにより、前記第１物体が行った所作の種類を特定するとともに前記所作の開始タイミングに対応する特定フレームを前記複数のフレームの中から特定する、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報管理装置、情報管理方法及びプログラムに関する。

【背景技術】

【0002】

近年、管理目的で、工場や倉庫等における作業現場の動画像を記録し、人や物の動きを追跡・検証することでその作業の生産性の向上や管理を行うシステムが考えられている。

【0003】

例えば、撮影された作業者の身体部位の位置情報を画像解析により取得し、ある作業における作業者の各部位の動きを追尾することで、その作業において逸脱した動きがあるかどうかを映像でチェックする技術が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１５２８０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら上記の技術の場合、撮影環境によって各部位の位置検出精度に差が生じる可能性がある。また、一つの工程に複数種の作業が含まれる場合、各作業における作業者の各部位の動きを管理することが困難である。

【0006】

本願発明は、上記問題点に鑑みてなされたもので、撮影された画像に含まれる移動対象が発信する情報と移動対象の移動状況との把握を容易にすることを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明に係る情報管理装置は、所定の所作を行う第１物体に取り付けられた第１光源であって当該第１光源の識別情報を光学的に発信する第１光源を連続撮像することにより取得した時系列的な複数のフレームに基づいて前記第１光源の位置の変化を検出することにより、前記第１物体が行った所作の種類を特定するとともに前記所作の開始タイミングに対応する特定フレームを前記複数のフレームの中から特定する特定手段と、前記所作の種類が指定されることで前記時系列的な複数のフレームを時系列的に再生する場合に前記特定フレームからの再生を開始させることが可能なように、特定された前記所作の種類を識別するための情報と特定された前記特定フレームを識別するための情報とを互いに対応付けて記憶部に記憶させる制御手段と、を備え、前記特定手段は、前記第１物体により取り扱われる第２物体に取り付けられた第２光源であって当該第２光源の識別情報を光学的に発信する第２光源を前記第１光源とともに連続撮像することにより取得した時系列的な前記複数のフレームに基づいて前記第２光源に対する前記第１光源の位置の変化を検出することにより、前記第１物体が行った所作の種類を特定するとともに前記所作の開始タイミングに対応する特定フレームを前記複数のフレームの中から特定する、ことを特徴とする。

【0008】

上記目的を達成するため、本発明に係る情報管理方法は、情報管理装置が実行する情報管理方法であって、所定の所作を行う第１物体に取り付けられた第１光源であって当該第１光源の識別情報を光学的に発信する第１光源を連続撮像することにより取得した時系列的な複数のフレームに基づいて前記第１光源の位置の変化を検出することにより、前記第１物体が行った所作の種類を特定するとともに前記所作の開始タイミングに対応する特定フレームを前記複数のフレームの中から特定する特定ステップと、前記所作の種類が指定されることで前記時系列的な複数のフレームを時系列的に再生する場合に前記特定フレームからの再生を開始させることが可能なように、特定された前記所作の種類を識別するための情報と特定された前記特定フレームを識別するための情報とを互いに対応付けて記憶部に記憶させる制御ステップと、を含み、前記特定ステップは、前記第１物体により取り扱われる第２物体に取り付けられた第２光源であって当該第２光源の識別情報を光学的に発信する第２光源を前記第１光源とともに連続撮像することにより取得した時系列的な前記複数のフレームに基づいて前記第２光源に対する前記第１光源の位置の変化を検出することにより、前記第１物体が行った所作の種類を特定するとともに前記所作の開始タイミングに対応する特定フレームを前記複数のフレームの中から特定する、ことを特徴とする。

【0009】

上記目的を達成するため、本発明に係るプログラムは、コンピュータを、所定の所作を行う第１物体に取り付けられた第１光源であって当該第１光源の識別情報を光学的に発信する第１光源を連続撮像することにより取得した時系列的な複数のフレームに基づいて前記第１光源の位置の変化を検出することにより、前記第１物体が行った所作の種類を特定するとともに前記所作の開始タイミングに対応する特定フレームを前記複数のフレームの中から特定する特定手段、前記所作の種類が指定されることで前記時系列的な複数のフレームを時系列的に再生する場合に前記特定フレームからの再生を開始させることが可能なように、特定された前記所作の種類を識別するための情報と特定された前記特定フレームを識別するための情報とを互いに対応付けて記憶部に記憶させる制御手段、として機能させ、前記特定手段は、前記第１物体により取り扱われる第２物体に取り付けられた第２光源であって当該第２光源の識別情報を光学的に発信する第２光源を前記第１光源とともに連続撮像することにより取得した時系列的な前記複数のフレームに基づいて前記第２光源に対する前記第１光源の位置の変化を検出することにより、前記第１物体が行った所作の種類を特定するとともに前記所作の開始タイミングに対応する特定フレームを前記複数のフレームの中から特定する、ことを特徴とする。

【発明の効果】

【0010】

本発明によれば、撮影された画像に含まれる移動対象が発信する情報と移動対象の移動状況との把握を容易にすることができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態に係る可視光通信システムの一例を示す図である。

【図2】同実施形態に係るカメラ、サーバ及びデータベースの構成の一例を示す図である。

【図3】（ａ）は同実施形態に係る作業者の動きの一例を示す図であり、（ｂ）は同実施形態に係る基本インデックステーブルの一例を示す図である。

【図4】同実施形態に係るカメラ及びサーバの動作の一例を示すフローチャートである。

【図5】同実施形態に係るサーバによる基本インデックステーブル生成の動作の一例を示すフローチャートである。

【図6】同実施形態に係る要素定義テーブルの一例を示す図である。

【図7】同実施形態に係る関係定義テーブルの一例を示す図である。

【図8】同実施形態に係る動き系列テーブルの一例を示す図である。

【図9】本発明の他の実施形態に係る発信装置の一例を示す図であり、（ａ）は回路構成図、（ｂ）は外観図である。

【図10】本発明の他の実施形態に係る発信装置の他の一例を示す図であり、（ａ）は回路構成図、（ｂ）は外観図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本発明の実施形態に係る情報管理システムとしての可視光通信システムを説明する。

【0013】

図１は、可視光通信システムの構成の一例を示す図である。図１に示す可視光通信システム６００は、作業者１５０の動きに対応する情報を生成するものであり、マーカー１、２、１０、１１、１０１（以下、これらマーカー１、２、１０、１１、１０１を総称して適宜「マーカー１等」と称する）と、カメラ２００と、サーバ３００、データベース４００とを含んで構成される。

【0014】

本実施形態において、マーカー１等はそれぞれ発光装置としてのＬＥＤ（Light Emitting Diode）（図示せず）を含んで構成されている。サーバ３００は、カメラ２００を接続する。

【0015】

マーカー１は、作業者１５０の右手１５１に装着され、マーカー２は、作業者１５０の左手１５２に装着されている。マーカー１０は、作業者１５０が使用する工具１６１に取り付けられ、マーカー１１は、作業者１５０が使用する工具１６２に取り付けられている。マーカー１０１は、部品（図示せず）を載せたトレイ１７１に取り付けられている。

【0016】

マーカー１等内のＬＥＤは、自身を内蔵するマーカー１等を一意に特定する情報であるＩＤ（Identification）を色相の時間方向の変化で変調した光を発することにより情報を送信する。本実施形態では、マーカー１のＩＤは１、マーカー２のＩＤは２、マーカー１０のＩＤは１０、マーカー１１のＩＤは１１、マーカー１０１のＩＤは１０１である。

【0017】

一方、カメラ２００は、マーカー１等を含む空間の撮影を行う。サーバ３００は、カメラ２００の撮影により得られた光の画像からマーカー１等のＩＤ等の情報を取得する。

【0018】

図２は、カメラ２００、サーバ３００及びデータベース４００の構成の一例を示す図である。カメラ２００とサーバ３００とによって情報管理装置が構成される。図２に示すように、カメラ２００は、撮影部２０２及びレンズ２０３を含む。サーバ３００は、制御部３０２、画像処理部３０４、メモリ３０５、操作部３０６、表示部３０７及び通信部３０８を含む。

【0019】

カメラ２００内のレンズ２０３は、ズームレンズ等により構成される。レンズ２０３は、サーバ３００内の操作部３０６からのズーム制御操作、及び、制御部３０２による合焦制御により移動する。レンズ２０３の移動によって撮影部２０２が撮影する撮影画角や光学像が制御される。

【0020】

撮影部２０２は、規則的に二次元配列された複数の受光素子により、撮像面を含む受光面が構成される。受光素子は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮影デバイスである。撮影部２０２は、レンズ２０３を介して入光された光学像を、サーバ３００内の制御部３０２からの制御信号に基づいて所定範囲の撮影画角で連続的に撮影（受光）し、その撮影画角内の画像信号をデジタルデータに変換してフレーム（撮影画像）を生成する。また、撮影部２０２は、撮影とフレームの生成とを時間的に連続して行い、連続するフレームを画像処理部３０４に出力する。

【0021】

画像処理部３０４は、制御部３０２からの制御信号に基づいて、撮影部２０２から出力されたフレームのデジタルデータを制御部３０２へ出力する。

【0022】

制御部３０２は、例えばＣＰＵ（Central Processing Unit）によって構成される。制御部３０２は、メモリ３０５に記憶されたプログラムに従ってソフトウェア処理を実行することにより、後述する動作を行う等、サーバ３００が具備する各種機能を制御する。

【0023】

メモリ３０５は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）である。メモリ３０５は、サーバ３００における制御等に用いられる各種情報（プログラム等）、画像処理部３０４から制御部３０２へ出力されたフレームのデジタルデータ等を記憶する。

【0024】

操作部３０６は、テンキーやファンクションキー等によって構成され、ユーザの操作内容を入力するために用いられるインタフェースである。表示部３０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electro Luminescence）ディスプレイ等によって構成される。表示部３０７は、制御部３０２から出力された画像信号に従って画像を表示する。通信部３０８は、例えばＬＡＮ（Local Area Network）カードである。通信部３０８は、外部の通信装置との間で通信を行う。

【0025】

制御部３０２には、位置取得部３３４、記憶制御部３３６、再生制御部３３８が構成される。

【0026】

位置取得部３３４は、画像取得部３０４が時系列的に連続して出力する複数の画像（以降、フレームという）のそれぞれについて、フレーム内のマーカー１等に対応する位置を取得する。例えば、位置取得部３３４は、フレームにおいて輝度値が所定値以上である位置をフレーム内のマーカー１等に対応する位置であると判断する。

【0027】

記憶制御部３３６は、フレーム内のマーカー１等が存在する位置の発光のパターン（輝度や色の変化）に対応するＩＤを検出するとともに、マーカー１等に対応する位置の時間的な変化を示す移動ベクトルを算出する。

【0028】

具体的には、記憶制御部３３６は、画像取得部３０４が時系列的に連続して出力する複数のフレームのうち、現在のフレームと１つ前のフレームとに夫々含まれる同一のＩＤに対応するマーカーの位置を特定する。更に、記憶制御部３３６は、同一のＩＤに対応するマーカーの位置の変化を示すものとして、現在のフレーム内のマーカーの位置を終点とし、１つ前のフレーム内のマーカーの位置を始点とする移動ベクトルの長さと角度とを算出する。なお、現在のフレームと一つ前のフレームとにおいて、同一のＩＤに対応するマーカーが同じ位置に存在する場合には、移動ベクトルは０と算出される。このようにして、画像処理部３０４から制御部３０２へ新たなフレームが出力される毎に、フレーム内に含まれるマーカーについて移動ベクトルの長さと角度とが算出される。

【0029】

次に、記憶制御部３３６は、同一のマーカーに対応する移動ベクトルについて、最新の移動ベクトルと１つ前の移動ベクトルとを比較し、長さ及び角度の少なくとも何れかの変化が予め設定された閾値を超えるか否かを判定する。長さ及び角度の少なくとも何れかの変化が予め設定された閾値を超えると判定された場合には、記憶制御部３３６は、マーカーの移動を示す情報としての基本インデックス情報を生成する。

【0030】

以下、基本インデックス情報の生成の一例について説明する。図３（ａ）はある作業者１５１が行う作業工程の一例を示す図であり、（ｂ）は後述のデータベース４００に格納される、作業者の動きに対応する基本インデックス情報の集合である基本インデックステーブル４０１の一例を示す図である。

【0031】

図３（ａ）に示すように、作業者１５０が行う作業工程は、作業者１５０が
（１）右手１５１が部品をトレイ１７１に取りに行く動作
（２）右手１５１が部品をつかんでくる動作
（３）左手１５２が工具１６１を取りに行く動作
（４）左手１５２が工具１６１をつかんでくる動作
（５）工具１６１で部品を加工する動作
で構成される。

【0032】

図３（ａ）における「（１）右手１５１が部品をトレイ１７１に取りに行く動作」は、右手１５１に装着されたマーカー１が発光・送信するＩＤ＝１の位置が、静止状態から移動を開始する状態として定義される。この状態は、図３（ｂ）に示す基本インデックステーブル４０１ではインデックス番号１として管理する。このインデックス番号１には、ＩＤ＝１の移動ベクトルであって、その長さ及び角度の少なくとも何れかの変化が第１の閾値を超えた時点を意味するフレーム番号「３０」と、「ＩＤ＝１（すなわち右手１５１）が移動を開始」というメタ情報が対応付けられる。尚、第１の閾値とは、具体的には移動ベクトルの長さが所定の長さ以上（つまりフレーム間における移動速度が所定値以上）または、移動ベクトルの角度が反転する（具体的にはほぼ１５０度以上）の少なくとも一方を含む場合を想定している。

【0033】

図３（ａ）における「（２）右手１５１が部品をつかんでくる動作」は、ＩＤ＝１の移動ベクトルの角度が変化する（具体的には移動方向がほぼ反転する）状態として定義される。この状態は、図３（ｂ）に示す基本インデックステーブル４０１ではインデックス番号２として管理する。このインデックス番号２には、ＩＤ＝１の移動ベクトルであって、その角度の変化から移動方向が反転し、第１の閾値を越えた時点を意味するフレーム番号「４５」と、「ＩＤ＝１（すなわち右手１５１）の移動ベクトルが変化」というメタ情報が対応付けられる。

【0034】

図３（ａ）における「（３）左手１５２が工具１６１を取りに行く動作」は、ＩＤ＝１の位置が静止状態であり、左手１５２に装着されたマーカー２が発光・送信するＩＤ＝２の位置が、静止状態から移動を開始し、次いで、ＩＤ＝２の位置と工具１６１に装着されたマーカー１０が発光・送信するＩＤ＝１０の位置とが所定範囲内に存在する状態として定義される。この状態は、図３（ｂ）に示す基本インデックステーブル４０１ではインデックス番号３として管理する。このインデックス番号３には、ＩＤ＝１の位置は変わらず、ＩＤ＝２の移動ベクトルであって、その長さ及び角度の少なくとも何れかの変化が第１の閾値を超え、その後ＩＤ＝２の位置とＩＤ＝１０の位置が所定の範囲内に入った時点を意味するフレーム番号「２２４」と、「ＩＤ＝１（すなわち右手１５１）が静止、ＩＤ＝２が移動を開始」というメタ情報が対応付けられる。

【0035】

図３（ａ）における「（４）左手１５２が工具１６１をつかんでくる動作」は、ＩＤ＝２の移動ベクトルの角度が変化し（具体的には移動方向が反転し）、その変化のタイミングでＩＤ＝１０の位置が、静止状態からＩＤ＝２と共に移動を開始する状態として定義される。この状態は、図３（ｂ）に示す基本インデックステーブル４０１ではインデックス番号４として管理する。このインデックス番号４には、ＩＤ＝２の移動ベクトルであって、その角度の変化から移動方向が反転し、且つ、ＩＤ＝１０と共に移動を開始した時点を意味するフレーム番号「２３９」と、「ＩＤ＝２（すなわち左手１５２）の移動が変化、ＩＤ＝１０（すなわち工具１６１）が移動開始」というメタ情報が対応付けられる。

【0036】

図３（ａ）における「（５）工具１６１で部品を加工する動作」は、ＩＤ＝１、２、１０の各位置が所定の範囲内で移動している状態として定義される。この状態は、図３（ｂ）に示す基本インデックステーブル４０１ではインデックス番号５として管理する。このインデックス番号５には、ＩＤ＝１、２、１０の各位置が所定の範囲内に存在し、各移動ベクトルの変化（長さや角度）において予め定められた第２の閾値内に収まっている時点を意味するフレーム番号「４１０」と、「ＩＤ＝１（すなわち右手１５１）、２（すなわち左手１５２）、及び、１０（すなわち工具１６１）が所定の範囲で移動」というメタ情報が対応付けられる。尚、第２の閾値とは、具体的には第１の閾値で定義された所定の長さよりも短い場合（つまり、フレーム間における移動速度が第２の閾値で定義される所定値以下）を含むことを想定している。

【0037】

図３（ａ）における「（６）作業終了」は、撮影範囲内にある全てのＩＤが静止している状態として定義される。この状態は、図３（ｂ）に示す基本インデックステーブル４０１ではインデックス番号６として管理する。このインデックス番号６には、ＩＤ＝１、２、１０、１１、１０１の各位置に変化が見られなくなった時点を意味するフレーム番号「５２４」と、「全てのＩＤが静止」というメタ情報が対応付けられる。

【0038】

次に、基本インデックステーブル４０１の生成の動作を説明する。図４は、カメラ２００及びサーバ３００で実行される全体動作を示すフローチャートであり、図５は上記全体動作におけるサーバ３００の動作を示すフローチャートである。

【0039】

まず、カメラ２００内の撮影部２０２は、連続的な撮影を行い、フレームを順次生成する（ステップＳ１０１）。
次いで、サーバ３００の制御部３０２は、フレーム内の各マーカーの動きとマーカーのＩＤとに基づいて、基本インデックステーブル４０１を生成する（ステップＳ１０２）。

【0040】

上記ステップＳ１０２について詳細に説明すると、図５に示すように、サーバ３００の制御部３０２内の位置取得部３３４は、最新のフレームである現フレーム内の各マーカーの位置を取得する（ステップＳ２０１）。

【0041】

次に、制御部３０２内の記憶制御部３３６は、フレーム内の各マーカーの位置の発光のパターンに対応するＩＤを検出する（ステップＳ２０２）。

【0042】

次に、記憶制御部３３２は、現フレーム内と１つ前のフレーム内（前フレーム）との検出された同一のＩＤに対応するマーカーの位置の変化に基づく移動ベクトルを夫々算出する（ステップＳ２０３）。

【0043】

次に、記憶制御部３３２は、同一のＩＤに対応する最新の移動ベクトルと１つ前の移動ベクトルとを比較し、長さ及び角度の少なくとも何れかの変化が第１の閾値以上の移動ベクトルがあるか否かを判定する（ステップＳ２０４）。

【0044】

全ての移動ベクトルの長さ及び角度の少なくとも何れかの変化が第１の閾値以上でないと判定した場合は（ステップＳ２０４；ＮＯ）、更に、同一のＩＤに対応する最新の移動ベクトルと１つ前の移動ベクトルとを比較し、長さの変化が第２の閾値未満の移動ベクトルがあるか否かを判定する（ステップＳ２０５）。そして、長さの変化が第２の閾値未満である移動ベクトルがあると判定した場合は（ステップＳ２０５；ＹＥＳ）、その移動ベクトルの個数が予め設定された数を満たすか否かを判定する（ステップＳ２０６）。この後、上記ステップＳ２０４、Ｓ２０６の条件を満たした移動ベクトルについて、そのＩＤに対応する基本インデックス情報を生成して基本インデックステーブル４０１に追加する（ステップＳ２０７）。一方、上記ステップＳ２０４～Ｓ２０６のいずれかの条件を満たさない場合は、ステップＳ２０１の処理にリターンする。尚、上記移動ベクトルの長さ及び角度の基本インデックステーブル４０１への追加の条件はこれに限定されない。例えば、一定時間、全て、長さが０の移動ベクトルが存在する場合は「作業終了」に対応するものとして基本インデックステーブル４０１に追加される場合も含まれるし、複数のＩＤが所定の範囲内に集まるケースや逆に離れていくケース等、様々なＩＤの移動状況が含まれる。

【0045】

再び、図４に戻って説明する。記憶制御部３０２は、連続的に撮像されたフレームを含む動画像データを生成しファイル化してデータベース４００の動画像データ格納部４０５に格納するとともに、生成した基本インデックステーブル４０１をデータベース４００に記憶する（ステップＳ１０３）。この時、動画像データと基本インデックステーブル４０１とは対応付けて記憶される。

【0046】

再び、図２に戻って説明する。上述した処理によって基本インデックステーブル４０１が生成、記憶された後、以下の処理が行われる。制御部３０２内の再生制御部３３８は、基本インデックステーブル４０１の情報を表示部３０７に表示する制御を行う。

【0047】

操作者は、表示部３０７に表示された基本インデックステーブル４０１の内容を見ながら、対応する動画像データにおける再生を希望するフレーム番号を指定する。

【0048】

再生を希望するフレーム番号が指定された場合、再生制御部３３８は、動画像データ格納部４０５に格納された動画像データを読み出し、その中から指定されたフレーム番号に対応するフレームを読み出し、それらのフレームを表示部３０７に再生表示する制御を行う。これにより、操作者は、動画像データにおける、指定したフレーム以降のフレームからなる動画像を再生することができる。

【0049】

また、操作者は、基本インデックステーブル４０１及び動画像データを参考にして要素定義テーブル４０２を生成する操作を行う。要素定義テーブル４０２は、ＩＤに対応するマーカー１等が取り付けられた物体（要素）のフレーム内における存在領域を指定するものである。

【0050】

図６は、要素定義テーブル４０２の一例を示す図である。図６に示すように要素定義テーブル４０２は、ＩＤ毎に生成され、要素番号と、ＩＤと、ＩＤに対応するマーカー１等が取り付けられた物体（要素）の名称と、フレーム内におけるその要素の存在領域（矩形の四隅の座標）とで構成される。本実施形態では、トレイ１７１にのみ存在領域が設定される。トレイ１７１に存在領域が設定されると、例えば、マーカー１がその存在領域内に移動することが、要素名「右手１５１」が要素名「部品をトレイ１７１」に取りに行ったことを表す。また、その存在領域内に存在したマーカー１が、存在領域外へ移動することが、要素名「右手１５１」が要素名「部品をトレイ１７１」からトレイ１７１内にある部品をつかんで出したことを表す。このように生成された要素定義テーブル４０２はデータベース４００に記憶される。

【0051】

また、操作者は、基本インデックステーブル４０１及び動画像データを参考にして関係定義テーブル４０３を生成する操作を行う。関係定義テーブル４０３は、ＩＤに対応するマーカー１等が取り付けられた複数の物体（要素）の位置関係を示すものである。

【0052】

図７は、関係定義テーブル４０３の一例を示す図である。図７に示すように関係定義テーブル４０３は、各マーカーのＩＤで特定される夫々の「要素」（ここでは要素１及び要素２）と、要素とその要素間の位置関係を条件で示す「位置関係式」と、「作業名称」と、「作業種別」とを含んで構成される。図７において「要素１ into 要素２」は「要素１」の位置が「要素２の位置を中心とした所定の範囲内」に重なったことを示し、この場合の「要素１」と「要素２」とは定義“into”で結ばれる。また、「要素１ out from 要素２」は「要素２を中心とした所定の範囲内」に存在していた「要素１」がその所定の範囲から「離れた」ことを示す。尚、この場合の「要素１」と「要素２」とは定義“out from” で結ばれ、定義“into”と“out from”は、要素１と要素２のいずれかが、図６に示す存在領域を備えている場合に用いられる。「要素１ hidden 要素２」は「要素１」の位置が「要素２」を中心とした所定の範囲内の影に隠れたことを示す。具体的には「要素２」に対応するＩＤの位置の近くまで「要素１」に対応するＩＤが移動し、その後、「要素１」に対応するＩＤの位置が、「要素２」の影に隠れて特定できなくなることを示す。「要素１ with 要素２」は「要素１」の位置と「要素２」の位置とが所定の範囲内に存在し、且つ、移動ベクトルの長さと角度の変化がほぼ一致する、つまり、「要素１」と「要素２」とが同じ動きをしていることを示す。また、図７には含まれていないが「要素１ uncover 要素２」は「要素２」によって隠れていた「要素１」が再び現れたことを示す。作業種別は、作業工程全体におけるその作業が「準備動作」か「実動作」かを区別するための情報である。「実動作」は作業工程全体において主にチェック対象となる動作を示し、「準備動作」は「実動作」を行うための準備段階にある動作を示す。このように生成された関係定義テーブル４０３はデータベース４００に記憶される。

【0053】

また、操作者は、基本インデックステーブル４０１及び動画像データを参考にして動き系列テーブル４０４を生成する操作を行う。動き系列テーブル４０４は、動画像データに記録される作業者１５０が行った作業工程の各作業名称を、その動画像データのフレーム番号に対応付けたものである。

【0054】

図８は、動き系列テーブル４０４の一例を示す図である。図８に示すように動き系列テーブル４０４は、作業名称毎に設定されるインデックスと、動画像データにおける作業名称に対応する作業を記録した部分に対応するフレームの番号と、一致不一致を判定する作業名称とを含んで構成される。生成された動き系列テーブル４０４はデータベース４００に記憶される。

【0055】

上述した各種テーブル（基本インデックステーブル４０１、要素定義テーブル４０２、関係定義テーブル４０３、及び、動き系列テーブル４０４）が生成され、データベース４００に記憶された後、右手１５１にＩＤ＝１を発光するマーカー１と左手１５２にＩＤ＝２を発光するマーカー２とを付けた他の作業者が、上記作業工程の作業を行う様子を、各種テーブルの作成時に対応付けた動画像データの収録の時と同じアングルで撮影する。そして、逐次撮影され出力される各フレームにおける各種マーカー（マーカー１、２、１０、１１、１０１）の位置から移動ベクトルの長さ及び方向の変化を取得し、上記各種テーブルと照合することで各テーブルの内容に沿った作業工程で作業をしているか否かを判定する。具体的には、制御部３０２は、判定の対象となる作業工程に対応する各種テーブル４０１～４０４をデータベース４００から読み出す。そして、読み出されたこれらのテーブルを参照し、逐次撮影され出力される各フレームにおける各種マーカーの移動ベクトルの長さ及び方向の変化から、見本となる作業工程の動作と同じ動作をしているか否か、各作業名称に対応する開始フレームが同じもしくは予め設定された許容範囲であるか否かを判定する。そして、制御部３０２は、上記判定において同一かもしくは許容範囲内であると判定した場合には、今回の他の作業者による作業工程の各動作は問題なしと判定し、作業工程のいずれかの動作で同一ではないか、もしくは許容範囲外であると判定した場合は、その時点で見本に沿った動作でない等の表示出力や報知を行う。

【0056】

なお、本発明は、上記実施形態の説明及び図面によって限定されるものではなく、上記実施形態及び図面に適宜変更等を加えることは可能である。

【0057】

例えば、上述した実施形態では、マーカー１等はＩＤのみを発信するがマーカー１等が発信する情報はこれに限定されない。

【0058】

図９（ａ）は、他の発信装置５００の回路構成図であり、図９（ｂ）は他の発信装置５００の外観図である。図９（ａ）に示す発信装置５００は、マーカー５０２、制御部５０３、メモリ５０４、センサ５０６ａ～５０６ｅ、通信部５０８、駆動部５１２、及び、電池５５０を含む。図９（ｂ）は発信装置５００の外観図であり、グローブ（手袋）の形状を模し、五指の位置に相当する箇所には伸縮を検出するセンサ５０６ａ～５０６ｅが備えられている。また甲に相当する箇所にはマーカー５０２が備えられている。このマーカー５０２は主に動作を行う作業者の手に装着される。

【0059】

図９（ａ）の説明に戻り、制御部５０３は、例えばＣＰＵによって構成される。制御部５０３は、メモリ５０４に記憶されたプログラムに従ってソフトウェア処理を実行することにより、発信装置５００が具備する各種機能を制御する。

【0060】

メモリ５０４は、例えばＲＡＭやＲＯＭである。メモリ５０４は、発信装置５００における制御等に用いられる各種情報（プログラム等）を記憶する。センサ５０６ａ～５００ｅは、作業者の指の動きを検出する。通信部５０８は、無線通信部であり、例えばサーバ３００等、他の通信装置との間で通信を行う。電池５５０は、発信装置５００の作動に必要な電力を各部に供給する。

【0061】

制御部５０３には、発光制御部５２４が構成される。発光制御部５２４は、発信装置５００のＩＤとセンサ５０６ａ～５０６ｅが検出した作業者の指の動きの情報とに応じて、マーカー５０２が発する光の発光パターンを決定する。

【0062】

更に、発光制御部５２４は、ＩＤ及び指の動きに対応する発光パターンの情報を駆動部５１２へ出力する。駆動部５１２は、発光制御部５２４からの発光パターンの情報に応じて、マーカー５０２が発する光を時間的に変化させるための駆動信号を生成する。マーカー５０２は、駆動部４１２から出力される駆動信号に応じて、光を発する。

【0063】

このような発光装置５００を用いることにより、サーバ３００において作業者の指の動きをも考慮した、より詳細な基本インデックステーブル４０１の生成が可能となる。

【0064】

また、図１０（ａ）は、他の発信装置５０１の回路構成図であり、図１０（ｂ）は他の発信装置５０１の外観図である。図１０（ａ）、（ｂ）に示す発信装置５０１は、図９に示す発信装置５００のセンサ４０６に代えてカメラ４０７が備えられたケースを示す。

【0065】

図１０（ｂ）に示すように、発信装置５０１は例えばフォークリフト等の移動体である。フォークリフトは操作部５０９等を操作されることで移動制御部５１０が制御されて移動する他、荷物５１１の運搬を行う。荷物５１１には当該荷物の種別を識別可能なバーコード５１２が貼付されている。カメラ５０７は、バーコード５１２を撮影する。

【0066】

図１０（ａ）に戻り、制御部５０３内の発光制御部５２４は、発信装置５００のＩＤとカメラ５０７によって撮影されたバーコード５１２が示す荷物５１１の種別の情報とに応じて、マーカー４０２が発する光の発光パターンを決定する。

【0067】

更に、発光制御部５２４は、ＩＤ及び荷物５１１の種別の情報に対応する発光パターンの情報を駆動部５１２へ出力する。駆動部５１２は、発光制御部５２４からの発光パターンの情報に応じて、マーカー５０２が発する光を時間的に変化させるための駆動信号を生成する。マーカー５０２は、駆動部５１２から出力される駆動信号に応じて、光を発する。

【0068】

このような発光装置５０１を用いることにより、サーバ３００において運搬される荷物５１１の種別をも考慮した、より詳細な基本インデックステーブル４０１の生成が可能となる。

【0069】

また、上述した実施形態では、可視光について限定していないが、赤、緑、青の光を通信に用いる場合や、他の色の可視光を用いてもよい。また、情報が輝度の時間方向の変化のみによって変調される可視光通信においても本発明を適用することができる。

【0070】

また、マーカー１等が発信する情報は、上述したＩＤ、指の動き、荷物の種別に限定されず、例えばマーカー１等が取り付けられた装置の障害等の情報であってもよい。

【0071】

また、マーカー１等の内部の光源はＬＥＤに限定されない。例えば、表示装置を構成するＬＣＤ、ＰＤＰ、ＥＬディスプレイ等の一部に光源が構成されていてもよい。

【0072】

また、サーバ３００は、カメラ２００が内装されたものであってもよい。

【0073】

また、上記実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read - Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto - Optical disc）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。

【0074】

また、プログラムをインターネット等のネットワーク上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

【0075】

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

【0076】

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

【0077】

（付記１）
連続して撮像されたフレームを取得する取得手段と、
前記取得手段によって取得されるフレームに含まれる、光により情報を発信する光源像の撮影範囲内の位置の移動状況を取得する移動状況取得手段と、
前記光源像が発信した情報と前記移動状況取得手段によって取得された光源像の移動状況とを対応付けて記憶部に記憶させる制御手段と、
を備えることを特徴とする情報管理装置。

【0078】

（付記２）
前記取得手段によって取得される連続的に撮像された複数のフレームに夫々含まれる前記光源像の前記複数のフレームにおける前記撮影範囲内の位置の変化に基づいて、前記光源像の移動に関する情報を取得する移動情報取得手段と、
前記複数のフレームから光源像の位置の変化の開始時点のフレームを特定する特定手段と、
を更に備え、
前記移動状況とは、前記移動情報取得手段によって取得された情報と前記特定手段によって特定されたフレームとを対応付けたものであることを特徴とする付記１に記載の情報管理装置。

【0079】

（付記３）
前記移動情報取得手段は、前記連続的に撮像された複数のフレームに夫々含まれる前記光源像の前記撮影範囲内の位置の変化を移動ベクトルの長さ又は角度の少なくとも何れかの変化を含む情報として取得する付記２に記載の情報管理装置。

【0080】

（付記４）
前記光源像が発信する情報には、前記光源像に対応する発光装置を備える物体のステータス情報が含まれることを特徴とする付記１乃至３の何れか１つに記載の情報管理装置。

【0081】

（付記５）
前記物体の動きを検出する検出手段を備え、
前記ステータス情報には、前記検出手段によって検出された前記物体の動きに関する情報が含まれることを特徴とする付記４に記載の情報管理装置。

【0082】

（付記６）
前記物体は作業者であるとともに、前記発光装置は前記作業者に取り付けられ、
前記記憶部に記憶される情報とは、前記作業者が実行する作業工程を示す情報であることを特徴とする付記４に記載の情報管理装置。

【0083】

（付記７）
前記物体は荷物を運搬する移動体であるとともに、
前記ステータス情報は、前記移動体の荷物の有無、又は、前記荷物の種類を示す情報が含まれることを特徴とする付記４に記載の情報管理装置。

【0084】

（付記８）
前記取得手段によって取得されたフレームからなる動画像データを生成する生成手段を更に備えることを特徴とする付記１乃至７の何れか１つに記載の情報管理装置。

【0085】

（付記９）
撮像部が連続して撮像したフレームを取得する取得ステップと、
前記取得ステップにて取得されるフレームに含まれる、光により情報を発信する光源像の撮影範囲内の位置の移動状況を取得する移動状況取得ステップと、
前記光源像が発信した情報と前記移動状況取得ステップにて取得された光源像の移動状況とを対応付けて記憶部に記憶させる制御ステップと、
を含むことを特徴とする情報管理方法。

【0086】

（付記１０）
コンピュータを、
撮像部が連続して撮像したフレームを取得する取得手段、
前記取得手段によって取得されるフレームに含まれる、光により情報を発信する光源像の撮影範囲内の位置の移動状況を取得する移動状況取得手段、
前記光源像が発信した情報と前記移動状況取得手段によって取得された光源像の移動状況とを対応付けて記憶部に記憶させる制御手段、
として機能させることを特徴とするプログラム。

【符号の説明】

【0087】

１、２、１０、１１、１０１、５０２…マーカー、１５０…作業者、１５１…右手、１５２…左手、１６１、１６２…工具、１７１…トレイ、２００、５０７…カメラ、２０２…撮影部、２０３…レンズ、３００…サーバ、３０２、５０３…制御部、３０４…画像処理部、３０５、５０４…メモリ、３０６、５０９…操作部、３０７…表示部、３０８、５０８…通信部、３３４…位置取得部、３３６…記憶制御部、３３８…再生制御部、４００…データベース、４０１…基本インデックステーブル、４０２…要素定義テーブル、４０３…関係定義テーブル、４０４…動き系列テーブル、４０５…動画像データ格納部、５００、５０１…発信装置、５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ、５００ｅ…センサ、５１０…移動制御部、５１１…荷物、５１２…駆動部、５２４…発光制御部、５５０…電池、６００…可視光通信システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】