特許 6972362 情報処理装置、情報処理システム、及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6972362

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】情報処理装置、情報処理システム、及び情報処理方法

(51)【国際特許分類】

   G05B 19/418 20060101AFI20211111BHJP

   G06Q 50/04 20120101ALI20211111BHJP

   G01S 5/02 20100101ALI20211111BHJP

【ＦＩ】

   G05B19/418 Z

   G06Q50/04

   G01S5/02 A

【請求項の数】11

【全頁数】20

(21)【出願番号】特願2020-540117(P2020-540117)

(86)(22)【出願日】2019年7月9日

(86)【国際出願番号】JP2019027077

(87)【国際公開番号】WO2020044797

(87)【国際公開日】20200305

【審査請求日】2020年12月7日

(31)【優先権主張番号】特願2018-158449(P2018-158449)

(32)【優先日】2018年8月27日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】細川 義浩

(72)【発明者】

【氏名】草野 文彦

(72)【発明者】

【氏名】橋詰 健一

【審査官】 黒田 暁子

(56)【参考文献】

【文献】 国際公開第２０１７／０１３８９９（ＷＯ，Ａ１）

【文献】 特開２００９−２９４７３２（ＪＰ，Ａ）

【文献】 特開２００２−０７３７４９（ＪＰ，Ａ）

【文献】 国際公開第２００３／０９２２９１（ＷＯ，Ａ１）

【文献】 国際公開第２０１７／０３３３９４（ＷＯ，Ａ１）

【文献】 星 尚志 ほか，BLEとセンサを用いたカメラに映る人物の同定手法の提案，マルチメディア，分散，協調とモバイル (DICOMO2018) シンポジウム論文集, 情報処理学会シンポジウムシリー，一般社団法人情報処理学会，2018年06月27日，p. 554-561

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０５Ｂ １９／４１８

Ｇ０６Ｑ ５０／０４

Ｇ０１Ｓ ５／０２

(57)【特許請求の範囲】

【請求項1】

監視対象に付帯する送信機から送信される識別情報及び受信機で受信された電波が受信電波強度として入力されるとともに、カメラの画像の画像座標及び画像取得時刻が入力されるデータ入力部と、
作業毎の参照受信電波強度が格納された基準データベースから前記画像座標に基づく推定電波強度を検索し、前記受信電波強度が前記推定電波強度の許容範囲に含まれているか否かを判断する判断部と、
前記許容範囲に前記受信電波強度が含まれていると判断された場合、前記受信電波強度、前記識別情報、前記画像座標、及び前記画像取得時刻を記録するデータ記録部と、
前記データ記録部のデータを蓄積するデータ蓄積部と、
前記データ蓄積部に蓄積された前記受信電波強度、前記識別情報、前記画像座標、及び前記画像取得時刻を用いて前記監視対象の動きを解析する解析部と、
を備えた情報処理装置。

【請求項2】

前記データ入力部に入力された前記識別情報が複数存在する場合、前記識別情報毎に分離して、前記受信電波強度、前記識別情報、前記画像座標、及び前記画像取得時刻を記録する、請求項１に記載の情報処理装置。

【請求項3】

記録数が最も多い識別情報とこれに付随する受信電波強度、画像座標、及び画像取得時刻のみを記録する、請求項２に記載の情報処理装置。

【請求項4】

前記解析部において解析された結果を表示する表示部をさらに備える、請求項１に記載の情報処理装置。

【請求項5】

前記データ記録部で記録された前記受信電波強度、前記識別情報、前記画像座標、及び前記画像取得時刻のデータ数が閾値以下の場合、前記推定電波強度の許容範囲を広げる、請求項１に記載の情報処理装置。

【請求項6】

前記送信機から送信された特定の電波が前記受信機で受信され、前記データ入力部に入力された場合、処理を終了する、請求項１に記載の情報処理装置。

【請求項7】

電波が受信続行時間以内に前記受信機に受信されない場合、前記受信機の受信感度を上げる、又は前記送信機の送信電波強度を上げる、請求項１に記載の情報処理装置。

【請求項8】

電波を前記受信機が受信する頻度が高い場合、前記受信機の受信感度を下げる、又は前記送信機の送信電波強度を下げる、請求項１に記載の情報処理装置。

【請求項9】

前記基準データベースには、前記参照受信電波強度に加えて、前記参照受信電波強度と作業者の位置と作業者の向きとの対応関係を示す情報が格納されており、
前記データ記録部は、前記許容範囲に前記受信電波強度が含まれていると判断された場合、前記基準データベースを参照して前記受信電波強度と前記カメラの画像から特定される作業者の位置とに対応する作業者の向きを特定し、特定された作業者の向きを、前記受信電波強度、前記識別情報、前記画像座標、及び前記画像取得時刻とともに記録する、請求項１に記載の情報処理装置。

【請求項10】

監視対象に付帯する送信機と、
前記送信機から送信された識別情報及び電波を受信する受信機と、
前記送信機から送信される前記識別情報及び前記受信機で受信された電波が受信電波強度として入力されるとともに、カメラの画像の画像座標及び画像取得時刻が入力されるデータ入力部と、
作業毎の参照受信電波強度が格納された基準データベースから前記画像座標に基づく推定電波強度を検索し、前記受信電波強度が前記推定電波強度の許容範囲に含まれているか否かを判断する判断部と、
前記許容範囲に前記受信電波強度が含まれていると判断された場合、前記受信電波強度、前記識別情報、前記画像座標、及び前記画像取得時刻を記録するデータ記録部と、
前記データ記録部のデータを蓄積するデータ蓄積部と、
前記データ蓄積部に蓄積された前記受信電波強度、前記識別情報、前記画像座標、及び前記画像取得時刻を用いて前記監視対象の動きを解析する解析部と、
前記解析部により解析された結果を表示する表示部と、
を備えた情報処理システム。

【請求項11】

作業毎の参照受信電波強度を参照画像座標とともに取得し基準データベースを作成する工程と、
監視対象に付帯する送信機から送信された識別情報及び受信電波強度、並びにカメラから取得された画像の画像座標及び画像取得時刻を記録する工程と、
前記画像座標に基づき前記基準データベースから検索された推定電波強度と前記受信電波強度とを比較し、前記受信電波強度が前記推定電波強度の許容範囲に含まれているか否かを判断する工程と、
前記許容範囲に前記受信電波強度が含まれていると判断された場合、前記受信電波強度、前記識別情報、前記画像座標、及び前記画像取得時刻をデータとして記録する工程と、
記録された前記データを蓄積データとして保存する工程と、
前記蓄積データを用いて前記監視対象の動きを解析する工程と、
を備えた情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、送受信機を用いて作業者等の動きを把握する情報処理装置、情報処理システム、及び情報処理方法に関するものである。

【背景技術】

【0002】

設備、人、モノ（製品、ツール等）の動きを把握するために周期的に送信機から送信された電波を受信機で受信する情報処理システムが開発されている。

【0003】

特に、生産管理において、識別情報が付与された送信機を携帯した作業者から送信された電波を作業エリアに設置された受信機によって受信し、その識別情報から作業者を特定して受信電波強度から作業内容を把握するシステムが用いられている。例えば受信電波強度により、送信機から受信機までの距離を把握することができ、作業者の移動履歴がわかる。

【0004】

例えば特許文献１において、作業者にセンサを携帯させ、作業者の位置情報を自動的に収集することにより、作業に要した時間、作業の切れ目を記録させる技術が開示されている。

【0005】

また、作業エリアのカメラ画像を確認して作業時間、作業内容を把握するシステムもある。例えば作業者の識別情報、位置情報を予め作業者が入力し、カメラ画像により作業者を監視する技術がある。さらに、作業者の顔をカメラに認識させ、予め位置情報を入力するとともに、識別情報が付与された送信機を用いて作業内容を把握する技術も開示されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００９−２９４７３２号公報

【特許文献2】ＷＯ２０１７／０１３８９９号公報

【発明の概要】

【0007】

本開示は、送受信機を用いて作業者等の動きを把握する情報処理装置、情報処理システム、及び情報処理方法に関するものである。

【発明が解決しようとする課題】

【0008】

しかしながら、上述の情報処理システムでは、送信機から送信された電波が、受信機で受信されたときに減衰された受信電波強度によって作業者の距離を把握するため、精度よく作業者の位置情報を把握することが困難であった。また、複数の受信機が存在する場合、受信機は送信機から送信される電波を複数受信するため、作業者の正確な位置を把握することが困難な場合もあった。

【0009】

また、カメラの画像から顔認識して作業者を識別することも可能であるが、解像度の高いカメラが必要となる。また、たとえ解像度の高いカメラを用いても作業者が下を向いたり後ろを向いたりする場合作業者を識別することができず、画像で顔認識するためには予め作業者の顔を登録する必要もあった。

【0010】

本開示はこのような課題を解決するためになされたもので、精度よく監視対象の識別情報及び監視対象の動きが把握できる情報処理装置、情報処理システム、及び情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

本開示にかかる情報処理装置は、監視対象に付帯する送信機から送信される識別情報及び受信機で受信された電波が受信電波強度として入力されるとともに、カメラの画像の画像座標及び画像取得時刻が入力されるデータ入力部と、作業毎の参照受信電波強度が格納された基準データベースから画像座標に基づく推定電波強度を検索し、受信電波強度が推定電波強度の許容範囲に含まれているか否かを判断する判断部と、許容範囲に受信電波強度が含まれていると判断された場合、受信電波強度、識別情報、画像座標、及び画像取得時刻を記録するデータ記録部と、データ記録部のデータを蓄積するデータ蓄積部と、データ蓄積部に蓄積された受信電波強度、識別情報、画像座標、及び画像取得時刻を用いて監視対象の動きを解析する解析部とを備えたものである。

【0012】

また、本開示にかかる情報処理システムは、監視対象に付帯する送信機と、送信機から送信された識別情報及び電波を受信する受信機と、監視対象に付帯する送信機から送信される識別情報及び受信機で受信された電波が受信電波強度として入力されるとともに、カメラの画像の画像座標及び画像取得時刻が入力されるデータ入力部と、作業毎の参照受信電波強度が格納された基準データベースから画像座標に基づく推定電波強度を検索し、受信電波強度が推定電波強度の許容範囲に含まれているか否かを判断する判断部と、許容範囲に受信電波強度が含まれていると判断された場合、受信電波強度、識別情報、画像座標、及び画像取得時刻を記録するデータ記録部と、データ記録部のデータを蓄積するデータ蓄積部と、データ蓄積部に蓄積された受信電波強度、識別情報、画像座標、及び画像取得時刻を用いて監視対象の動きを解析する解析部と、解析部により解析された結果を表示する表示部とを備えたものである。

【0013】

また、本開示にかかる情報処理方法は、作業毎の参照受信電波強度を参照画像座標とともに取得し基準データベースを作成する工程と、監視対象に付帯する送信機から送信された識別情報及び受信電波強度、並びにカメラから取得された画像の画像座標及び画像取得時刻を記録する工程と、画像座標に基づき基準データベースから検索された推定電波強度と受信電波強度とを比較し、受信電波強度が推定電波強度の許容範囲に含まれているか否かを判断する工程と、許容範囲に含まれていると判断された場合、受信電波強度、識別情報、画像座標、及び画像取得時刻をデータとして記録する工程と、記録されたデータを蓄積データとして保存する工程と、蓄積データを用いて監視対象の動きを解析する工程とを備えたものである。

【発明の効果】

【0014】

本開示によれば、受信機で受信された受信電波強度が、カメラの画像の画像座標に基づき、参照データとして作成された基準データベースから推定される推定電波強度の許容範囲に該当すれば、この受信電波強度と関連する画像座標、画像取得時刻、及び識別情報を蓄積し、蓄積されたこれらのデータを用いることにより、カメラの解像度、送信機を携帯した人又はモノの状態によらず精度よく監視対象の動きを把握できる。

【図面の簡単な説明】

【0015】

【図1】本開示の実施の形態１にかかる情報処理システムを示す概略構成図である。

【図2】本開示の実施の形態１にかかる情報処理装置を示す概略構成図である。

【図3】本開示の実施の形態１にかかる処理手順の概略を示すフローチャートである。

【図4】本開示の実施の形態２にかかる情報処理システムを示す概略構成図である。

【図5】本開示の実施の形態３にかかる情報処理システムの表示例の概略図である。

【図6】本開示の実施の形態４にかかる情報処理工程を示すフローチャートである。

【図7】本開示の実施の形態４にかかる送受信機間の距離と受信電波強度との関係を説明する図である。

【図8】本開示の実施の形態４にかかる情報処理工程を示すフローチャートである。

【図9】本開示の実施の形態４にかかる基準データベースの作成工程を示すフローチャートである。

【図10】本開示の実施の形態４にかかる情報処理工程を示すフローチャートである。

【図11】本開示の実施の形態５にかかる情報処理工程を示すフローチャートである。

【図12】本開示の実施の形態５にかかる他の情報処理工程を示すフローチャートである。

【図13】本開示の実施の形態５にかかる他の情報処理工程を示すフローチャートである。

【図14】本開示の実施の形態５にかかる他の情報処理工程を示すフローチャートである。

【図15】本開示の実施の形態５にかかる他の情報処理工程を示すフローチャートである。

【図16】作業者が受信機およびカメラとは反対の方向を向いた状態の生産現場を鉛直上方から見た図である。

【図17】作業者が受信機およびカメラの方向を向いた状態の生産現場を鉛直上方から見た図である。

【図18】本開示の実施の形態６にかかる処理手順の概略を示すフローチャートである。

【図19】情報処理装置の一部の機能を実行するハードウエア構成の例を表わす図である。

【発明を実施するための形態】

【0016】

実施の形態１．
図を用いて、本開示の人、モノ等の監視対象を監視する情報処理システムについて説明する。図１は、本開示の実施の形態１にかかる情報処理システムを示す概略構成図であり、この情報処理システムを用いた作業者の作業内容を監視する例を示す。状況に応じ、作業者のみでなく、製品、移動台車の動き、又はこれらの一部を把握することも可能である。

【0017】

図１に示す情報処理システムには、生産現場を俯瞰するカメラ１が設置され、カメラ１により画像及び画像取得時刻が取得され、画像の画像座標は位置情報となる。

【0018】

また、情報処理システムには、受信機１０、１１が設置されており、これらは監視対象である作業者Ａ、Ｂ、Ｃが携帯、すなわち付帯している送信機１０１〜１０３から送信される電波を受信電波強度として受信する。この受信電波強度も、作業者Ａ〜Ｃの位置情報となる。送信機１０１〜１０３は、電波を送信するとともに、各々に割り振られた識別情報も送信する。

【0019】

そして、カメラ１の画像における複数の監視枠２０１、２０２、２０３から１つを選択し、例えば選択された監視枠２０１の中の監視対象の画像座標を位置情報とする。そして、この位置情報に関連する受信電波強度を見つけ出し、位置情報を確定させるとともに、電波を送信した送信機１０１の識別情報から作業者Ａを確定させる。

【0020】

図２に情報処理装置を示す概略構成図を、図３に処理手順の概略を示すフローチャートを示す。

【0021】

情報処理装置３には基準データベース２２２０が設けられる。例えば作業者Ｒが作業者Ａ〜Ｃの行う作業について参照のためそれぞれ一通り実施し、作業者Ｒが携帯する送信機１０６の電波を参照受信電波強度として受信機１０、１１が受信して、これらとカメラ１で取得した画像の参照画像座標を関連付けた基準データが基準データベース２２２０に格納される。基準データベース２２２０には、予め取得された作業に関するカメラの参照画像座標、参照電波受信時刻が記録され、参照受信電波強度が保存される。

【0022】

例えば、監視対象である作業者Ａが作業を開始すると、作業者Ａが携帯する送信機１０１から識別情報及び送信される電波を受信電波強度として受信機１０、１１が受信する（ＳＴ１００１）。そして、受信機１０、１１が受信した電波を受信電波強度として電波強度データベース２２１０に記録する（ＳＴ１００２）。電波は作業者Ａが携帯する送信機１０１から送信されるため、受信機１０、１１で受信された識別情報により、作業者はＡと判断される。

【0023】

一方、選択された監視枠２０１には作業者Ａが映し出され、カメラから画像を取得し（ＳＴ１００３）、画像の画像座標及び画像取得時刻を画像時刻データベース２２００に記録する（ＳＴ１００４）。

【0024】

上述の通り、作業毎の参照受信電波強度を格納した基準データベースが作成されている（ＳＴ１００５）ので、作業者Ａのカメラの画像の画像座標に基づき基準データベース２２２０に格納された参照受信電波強度から推定電波強度を検索する（ＳＴ１００６）。

【0025】

作業者Ａの受信電波強度が推定電波強度の許容範囲内か否か順次判断され、許容範囲内であれば作業者Ａのカメラ１で取得された画像座標と画像取得時刻が付与されて、監視対象である作業者Ａの動き、すなわち作業内容とされ、データ群記録データベース２２３０に記録する（ＳＴ１００７）。データ群記録データベース２２３０はバッファとして都度書き換えられる。そして、この動作を繰り返し、データ群記録データベース２２３０に記録されたデータは、蓄積データとしてデータ蓄積データベース２２４０に蓄積される。作業者Ｂ、Ｃについても同様に作業内容をデータとして保存できる。

【0026】

これらの動作は、図２に示す情報処理装置３のデータ入力部３１、判断部３２、データ記録部３３、データ蓄積部３４、基準データ作成部３５、解析部３６で実施される。

【0027】

すなわち、情報処理装置３は、監視対象に付帯する送信機１０１〜１０３から送信される識別情報及び受信機１０、１１で受信された電波が受信電波強度として入力されるとともに、カメラ１の画像の画像座標及び画像取得時刻が入力されるデータ入力部３１と、作業毎の参照受信電波強度が格納された基準データベース２２２０から画像座標に基づく推定電波強度を検索し、受信電波強度が推定電波強度の許容範囲に含まれているか否かを判断する判断部３２と、許容範囲に受信電波強度が含まれていると判断された場合、受信電波強度、識別情報、画像座標、及び画像取得時刻を記録するデータ記録部３３と、データ記録部３３のデータを蓄積するデータ蓄積部３４と、データ蓄積部３４に蓄積された受信電波強度、識別情報、画像座標、及び画像取得時刻を用いて監視対象の動きを解析する解析部３６を備える。さらに、基準データベース２２２０を作成する基準データ作成部３５を備える。

【0028】

解析部３６で解析された結果は表示部３７に表示され、監視対象の動きを把握できる。
また、生産現場で用いる移動台車１０４に送信機を装着、すなわち付帯させれば同様に移動履歴を作業内容として把握できる。さらに、生産される製品１０５についても同様に移動履歴を作業内容として把握できる。

【0029】

１つの監視枠から複数の識別情報が取得された場合は、識別情報毎に分離して、受信電波強度、識別情報、画像座標、及び画像取得時刻を記録すれば、複数の監視対象の動きが把握できる。また、登場回数が最も多い、すなわち記録数の最も多い識別情報を監視対象と判断し、その識別情報とこれに付随する受信電波強度、画像座標、及び画像取得時刻のみを記録してもよい。順位をつけて上位のみを記録してもよい。監視対象を絞ることにより、データ容量を小さくできる。

【0030】

選択された監視対象のデータは監視対象データベース（図示せず）に記録する。
このように、本実施の形態によれば、受信機で受信された受信電波強度が、カメラの画像の画像座標に基づき、参照データとして作成された基準データベースから推定される推定電波強度の許容範囲に該当すれば、この受信電波強度と関連する画像座標、画像取得時刻、及び識別情報を蓄積し、蓄積されたこれらのデータを用いることにより、カメラの解像度、送信機を携帯した人又はモノの状態によらず精度よく監視対象の動きを把握できる。

【0031】

実施の形態２．
カメラ１の画像において作業者の位置情報を特定する具体的な処理例を、図を用いて説明する。図４は、本開示の実施の形態２にかかる情報処理システムを示す概略構成図であり、作業エリア６内におけるカメラ１の画像を示す。

【0032】

カメラ１により取得された作業エリア６の画像７において、送信機を携帯する複数の作業者が作業を行っている場合（図４（ａ））、画像７から監視対象である作業者が特定される（図４（ｂ））。

【0033】

特定された作業者のうち、監視対象として選択された作業者が、送信機を携帯する場合、送信機から送信され受信機により受信された識別情報から例えば作業者はＡと判断できる。受信機１０、１１は選択された作業者が携帯する送信機から送信された電波を受信電波強度として受信し、時刻を付与して電波強度データとする。また、選択された監視対象がどの送信機を携帯しているかを、送信機から送信される識別情報で判別する。識別情報が付与された電波強度データは電波強度データベース２２１０に格納される。

【0034】

選択された作業者の受信電波強度と基準データベース２２２０から得られた推定電波強度とが比較され、受信電波強度が推定電波強度の許容範囲に含まれている場合、受信電波強度はデータ群記録データベース２２３０に記録される。

【0035】

作業者が誰であるかは、識別情報で識別でき、位置情報はカメラ１の画像７の画像座標及び画像取得時刻により把握できる。

【0036】

また、画像７において特定された他の作業者についても、同様に選択して処理を行うことができる。監視対象が混在する場合は、各々の識別情報で分離され、登場回数が多い作業者を監視対象と判断し、監視対象データベース（図示せず）に記録する。

【0037】

データ群記録データベース２２３０には選択された作業者の受信電波強度が格納されているため、受信電波強度を位置情報としてもよい。

【0038】

また、画像７に選択された作業者が、送信機を携帯しない場合は、受信機がデータを取得できないことで、不携帯と判別できる。

【0039】

また、図４において、移動台車１０４と製品１０５の動きも同様に把握できる。
このように、本実施の形態によれば、参照データとして作成した基準データベースからカメラの画像の画像座標に推定される推定電波強度と、受信機で受信された受信電波強度とを比較して許容範囲に該当する受信電波強度から関連する画像座標、画像取得時刻、及び識別情報を蓄積することにより、これらのデータを用いて、カメラの解像度、送信機を携帯した人又はモノの状態によらず精度よく監視対象の動きを把握できる。

【0040】

実施の形態３．
情報処理装置３で取得されたデータを解析して表示する例を示す。図５は、本開示の実施の形態３にかかる情報処理システムの表示例の概略図である。

【0041】

例えば、図５（ａ）は、データ蓄積データベース２２４０に格納されたデータを用いて特定の作業において作業日と作業時間を作業者毎に表示したものであり、作業者毎の作業時間が把握できる。また図５（ｂ）は、作業１〜３の平均作業時間を表示したものである。作業に要する時間を知ることができ、作業改善に役立てることができる。

【0042】

また、監視対象の移動履歴から作業内容の詳細を解析することもできる。例えば、溶接作業において、溶接装置の電源のＯＮ、ＯＦＦを行う動作を把握できる。

【0043】

実施の形態４．
次に、本開示の実施の形態１〜３を具体的に実施する工程について説明する。

【0044】

図６は、本開示の実施の形態４にかかる情報処理工程を示すフローチャートである。受信機１０、１１が送信機１０１〜１０３から送信される電波を受信電波強度として受信し、送信機１０１〜１０３の識別情報及び画像取得時刻を記録し、電波強度データベース２２１０とする工程を示したものである。

【0045】

図７を用いて受信機１０、１１と送信機１０１、１０３の間の距離と受信電波強度との関係を説明する。

【0046】

例えば図７（ａ）に示すように作業者Ａから近い受信機１０で受信する送信機１０１からの受信電波強度（グラフ中の電波強度）は、作業者から遠い受信機１１で受信する受信電波強度よりも大きい（図７（ｂ））。

【0047】

また、図７（ｂ）における受信電波強度は、受信機１０、１１と送信機１０１、１０３の間隔が短い程大きくなり、間隔が長い程小さくなるため、受信電波強度は送信機１０１、１０３から受信機１０、１１の距離に相当する。

【0048】

図８は、本開示の実施の形態４にかかる情報処理工程を示すフローチャートである。ＳＴ１２０１では、カメラ１により取得され、格納された画像時刻データベース２２００から、画像データ、すなわちカメラの画像の画像座標、及び時刻データ、すなわち画像取得時刻を取得する。そして、ＳＴ１２０２にて画像データから対象物を特定する。

【0049】

ＳＴ１２０３では、画像データから特定された対象物から、監視対象物（監視対象）を選択する。そして、ＳＴ１２０４では、画像データにおける監視対象物の位置情報と基準データベース２２２０から、推定電波強度を求める。

【0050】

ここで、基準データベース２２２０の作成方法について図９を用いて説明する。
例えば作業者Ｒが作業者Ａ〜Ｃの行う作業についてそれぞれ一通り実施し、作業者Ｒが携帯する送信機１０６から送信された識別情報、参照受信電波強度が受信機１０、１１により受信されて、これらと画像及び時刻を関連付けた基準データが基準データベース２２２０に格納される。

【0051】

ＳＴ２２０１ではカメラ１から取得された画像時刻データベース２２００から画像データと時刻データとを取得する。そして、ＳＴ２２０２にて画像データから作業者Ｒを特定し、ＳＴ２２０３では作業者Ｒの位置情報である座標を画像データから取得する。

【0052】

ＳＴ２２０４では電波強度データベース２２１０から時刻データ付近でかつ予め設定した送信機番号（ここでは作業者Ｒの携帯する送信機１０６の送信機番号）と一致する送信機から送信されたデータ群を取得する。そして、ＳＴ２２０５ではデータ群から代表データを取得する。

【0053】

ＳＴ２２０６では座標と代表データを基準データベース２２２０へ記録する。そして、ＳＴ２２０７では画像時刻データベース２２００はすべて処理したかどうかを確認し、「いいえ」の場合は、ＳＴ２２０１へ戻る。ＳＴ２２０７が「はい」の場合は、処理を終了する。

【0054】

このように、作成した基準データベース２２２０には、作業の基準となる受信電波強度、画像の座標、及び時刻が関連付けられて格納される。

【0055】

次に、図８のＳＴ１２０５では、電波強度データベース２２１０から時刻データ付近のデータ群を取得し、ＳＴ１２０７でデータ群からデータを一つ選択する。２回目以降の情報処理が行われる場合、データ群記録データベース２２３０には、他のデータが残されているため、ＳＴ１２０５の後、ＳＴ１２０６でデータ群記録データベース２２３０のデータをすべて消去する。

【0056】

ＳＴ１２０８で、データの受信電波強度が、予め定めた「推定電波強度−α」と「推定電波強度＋β」の間（許容範囲）に入っているか否かを判定する。ここで、αとβは予め定めた閾値である。

【0057】

ＳＴ１２０８が「はい」の場合、ＳＴ１２０９でデータの識別情報をデータ群記録データベース２２３０に記録する。ＳＴ１２０９の処理が終わった後、ＳＴ１２１０でデータ群のデータをすべて処理したかを判定する。また、ＳＴ１２０８が「いいえ」の場合、ＳＴ１２０９の処理をスキップして、ＳＴ１２１０でデータ群のデータをすべて処理したかを判定する。

【0058】

ＳＴ１２１０が「いいえ」の場合、ＳＴ１２０７へ戻り、処理を繰り返す。ＳＴ１２１０が「はい」の場合、ＳＴ１２１１で、データ群記録データベース２２３０に記録されたデータ数が閾値γ以上かを判定する。ここで、γは予め定めた閾値である。

【0059】

ＳＴ１２１１が「いいえ」の場合、ＳＴ１２１５で閾値αと閾値βを大きくし、「推定電波強度−α」と「推定電波強度＋β」の間に入るデータの数を多くして、ＳＴ１２０６へ戻り再度処理を実施する。ＳＴ１２１１が「はい」の場合、ＳＴ１２１２で、データ群記録データベース２２３０に記録された識別情報のうち最も登場回数の多い、すなわち記録された回数の多い識別情報を選択し、監視対象物として決定する。監視対象物データベースには、時刻データ、監視対象物、及び送信機識別情報を記録する。この操作によって、監視対象物ではない、偶然通り過ぎた作業者等を除外することができる。

【0060】

ＳＴ１２１３で、画像データ内の情報処理を行わなければならない対象物はすべて処理したかを判定する。ＳＴ１２１３が「はい」の場合、処理を終了する。ＳＴ１２１３が「いいえ」の場合、ＳＴ１２０３に戻り、再度処理を行う。

【0061】

ここで、図８で示した処理は、ある特定の時刻における処理を示しており、他の時刻においても同様の処理を実施する。また、図８で示した処理では、エラー発生時の処理を省略している。実際には、発生しうるエラー、例えば、データベースが書き込めない場合、閾値αとβを大きくしても、データ数が閾値γを超えない場合等に対して、エラー処理を行う必要がある。

【0062】

図１０は、本開示の実施の形態４にかかる情報処理工程を示すフローチャートである。図１０において、図８と同じ符号を付けたものは、同一または対応する構成を示しており、その説明を省略する。

【0063】

図８とは、ＳＴ１２１１で「いいえ」と判断した場合の構成が相違している。
ＳＴ１２１１で「いいえ」と判断した場合、ＳＴ１２１６で閾値α、βは、閾値αｍａｘ、βｍａｘ以下か、すなわち推定電波強度の許容範囲が最大値か否かを判断する。ここで、αｍａｘ及びβｍａｘは予め定めた閾値である。ＳＴ１２１６が「はい」の場合は、実施の形態１と同じく、ＳＴ１２１５で閾値αと閾値βを大きくし、処理を続行する。ＳＴ１２１６が「いいえ」の場合、すなわち推定電波強度の許容範囲が最大値に達した場合は、ＳＴ１２１７で監視対象物データベースに時刻データと監視対象物とともに「電波送信識別情報なし」を記録し、監視対象が存在しないと判断する。

【0064】

次に、ＳＴ１２１３で画像７の情報処理を行わなければならない対象物はすべて処理したかを判定し、実施の形態１と同様に処理を実施する。

【0065】

上述の処理により、受信機で受信された受信電波強度が、カメラの画像の画像座標に基づき、参照データとして作成された基準データベースから推定される推定電波強度の許容範囲に該当すれば、この受信電波強度と関連する画像座標、画像取得時刻、及び識別情報を蓄積し、蓄積されたこれらのデータを用いることにより、カメラの解像度、送信機を携帯した人又はモノの状態によらず精度よく監視対象の動きを把握できる。

【0066】

また、ＳＴ１２０２にて特定した作業者やモノのうち、送信機を保持しない、もしくは近くに存在しない作業者やモノを判別することが可能となる。その結果、例えば不審者を判別して警告を表示する防犯機能、作業エリアにいることが想定されていない人を判別して定常外作業が発生していることを判断し表示する機能を持たせることができる。

【0067】

実施の形態５．
本開示の情報処理システムにかかるその他の処理工程を説明する。

【0068】

図１１は、本開示の実施の形態５にかかる情報処理工程を示すフローチャートである。図１１に示す工程において、受信機１０、１１が送信機１０１〜１０３の電波を受信電波強度として受信した後、ＳＴ１１０６で電波強度（受信電波強度）の平均値、識別情報、及び時刻を記録し、電波強度データベース２２１０とする。図１１において、図６と同じ符号を付けたものは、同一または対応する構成を示しており、その説明を省略する。

【0069】

ここで、すべての電波強度データを記録するのではなく、電波強度の平均値、標準偏差値、分散値等を記録してもよい。これにより、電波強度データベース２２１０の容量を小さくできる。

【0070】

図１２は、本開示の実施の形態５にかかる他の情報処理工程を示すフローチャートである。図１２において、受信機１０、１１に送信機１０１〜１０３の電波が受信電波強度として受信され、電波強度（受信電波強度）の平均値、識別情報、及び時刻が記録されて電波強度データベース２２１０とされた後、ＳＴ１１０７で受信機１０、１１に特定の電波が受信されたか否かを判断する。図１２において、図６と同じ符号を付けたものは、同一または対応する構成を示しており、その説明を省略する。図６とは、特定の送信機を利用する構成が相違している。

【0071】

ＳＴ１１０７で特定の電波が受信されたかどうかを判断する。ＳＴ１１０７が「いいえ」の場合はＳＴ１１０１へ戻り、再び送信機１０１〜１０３からの電波を待機し、「はい」の場合は処理を終了する。ＳＴ１１０７は、システム終了かどうかを判断するＳＴ１１０４と併用してもよい。

【0072】

これにより、送信機から特定の電波が送信された場合、例えば処理終了と判断され、データ収集を終了させることが可能となる。

【0073】

図１３は、本開示の実施の形態５にかかる他の情報処理工程を示すフローチャートである。図１３において、受信機１０、１１に送信機１０１〜１０３の電波を受信電波強度として受信されるが、一定時間電波を受信しない場合、すなわち受信続行時間以内に電波が受信されなかった場合は受信感度を上げ、受信間隔が短すぎるため受信機１０、１１が電波を受信する頻度が高い場合は受信感度を下げる。図１３において、図６と同じ符号を付けたものは、同一または対応する構成を示しており、その説明を省略する。

【0074】

ＳＴ１１０８が「いいえ」の場合、ＳＴ１１０９でδ時間、送信機１０１〜１０３から電波の受信がないかどうかを判断する。ここで、δは予め定めた閾値である。ＳＴ１１０８が「はい」の場合、ＳＴ１１１１へ進む。

【0075】

ＳＴ１１０９が「はい」の場合は、ＳＴ１１１０で受信機１０、１１の受信感度を上げ、ＳＴ１１０１へ戻る。ＳＴ１１０９が「いいえ」の場合、ＳＴ１１０８へ戻る。

【0076】

ＳＴ１１１１では、前回の受信との間隔がδ２以下か判断される。ここで、δ２は事前に設定した閾値である。ＳＴ１１１１が「はい」の場合、ＳＴ１１１２で受信機の受信感度を下げ、ＳＴ１１０３へ進む。ＳＴ１１１１が「いいえ」の場合、ＳＴ１１０３へ進む。また、電波強度データベース２２１０には、受信感度を補正した受信電波強度を記録する。

【0077】

これにより、受信機１０、１１の受信電波強度を必要に応じて自動的に変動させることが可能となり、受信機の省電力化とデータ収集成功率を向上できる。

【0078】

図１４は、本開示の実施の形態５にかかる他の情報処理工程を示すフローチャートである。図１４において、送信機１０１〜１０３の送信電波強度を変化させる。

【0079】

図１４において、図６と同じ符号を付けたものは、同一または対応する構成を示しており、その説明を省略する。

【0080】

受信機１０、１１に一定の時間電波が受信されなかった場合は送信電波強度を上げ、受信間隔が短い場合は送信電波強度を下げ、受信電波強度を調整してもよい。

【0081】

ＳＴ１１０９が「はい」の場合は、ＳＴ１１１３で受信機１０、１１の送信機１０１〜１０３の送信電波強度を上げ、ＳＴ１１０１へ戻る。ＳＴ１１０９が「いいえ」の場合、ＳＴ１１０８へ戻る。

【0082】

ＳＴ１１１１では、前回の受信との間隔がδ２以下か判断される。ＳＴ１１１１が「はい」の場合、ＳＴ１１１４で送信機１０１〜１０３の送信電波強度を下げ、ＳＴ１１０３へ進む。ＳＴ１１１１が「いいえ」の場合、ＳＴ１１０３へ進む。また、電波強度データベース２２１０には、送信電波強度の変化を補正した受信電波強度を記録する。

【0083】

これにより、送信機１０１〜１０３の送信電波強度を必要に応じて自動的に変動させることが可能となり、送信機１０１〜１０３の省電力化とデータ収集成功率を向上できる。

【0084】

図１５は、本開示の実施の形態５にかかる他の情報処理工程を示すフローチャートである。図１５において、図８と同じ符号を付けたものは、同一または対応する構成を示しており、その説明を省略する。図８とは、ＳＴ１２１３にて「はい」と判断した後、基準データベース２２２０のデータを補正する（ＳＴ１２２１）構成が相違している。

【0085】

ＳＴ１２１３までの処理において判断された送信機１０１〜１０３の位置情報に基づき、基準データベース２２２０の内容を修正する。例えば、データ群記録データベース２２３０に保存されたデータのうち、ＳＴ１２１２で選択したデータの、例えば平均値を画像内の位置における送信機１０１〜１０３の推定電波強度であるとし、基準データベース２２２０を修正する。

【0086】

これにより、電波環境が変化するような環境においても、精度よく作業内容を把握できる。

【0087】

なお、実施の形態１〜５では、生産現場に設置したカメラ１、受信機１０、１１それぞれから時刻データを取得した例を示したが、カメラ１と受信機１０、１１に時刻を同期させる機能を持たせてもよい。時刻を同期させる機能は、インターネットを経由して実施する他、例えば、情報処理装置３等情報通信ネットワークに接続されている場所に時刻同期サーバを用意し、時刻の同期を行ってもよい。

【0088】

この構成にすることで、受信機１０、１１とカメラ１の時刻がずれることがなくなり、精度よく作業内容を把握できる。

【0089】

また、送信機１０１〜１０３のかわりに例えば永久磁石若しくは電磁石等の磁石、受信機１０、１１のかわりに例えばホールセンサ等の磁気検出器を利用してもよい。この場合の送信機の役割は磁石が、受信機の役割は磁気検出器が果たす。

【0090】

例えば、既に磁石が装備されている例えばリニアモータにおける監視対象の位置情報を把握できる。

【0091】

また、カメラ１から取得される画像７は、時刻を付与された複数の静止画像で処理できるが、連続の動画を用いてもよい。動画にすることで、ＳＴ１２０２において対象物を特定する際に、前後の差分から動きのある監視対象を抽出することが可能となる。さらに、ＳＴ１２０２において、直前の動画フレームの対象物が認識されていたかどうか、次のフレームの対象物が認識されているかどうかに基づき、現在のフレームの認識情報を修正することができる。

【0092】

すなわち、直前のフレームで監視対象が認識されていれば、現在のフレームにも存在する可能性が高く、この情報に基づいて検出感度閾値を変更する等の処理が可能となる。画像が時系列データとして保存されていれば、前後の差分から動きのある監視対象を抽出することができる。

【0093】

これにより、ＳＴ１２０２における識別精度を向上することが可能となる。
また、ＳＴ１２０４において基準データベース２２２０から推定電波強度を利用する例を示したが、受信電波強度の分散、平均値、一定時間あたりのデータ数等、データに対して数式処理を実施した結果をデータとして用意し、ＳＴ１２０４でこれらのデータを利用してもよい。

【0094】

例えば、受信機１０、１１と送信機１０１〜１０３との間の電波環境に、電波受信強度が変化する特定の場所がある場合は、受信電波強度の分散を利用するのが好ましい。

【0095】

また、受信電波強度が小さくなると一定時間あたりのデータ数が減る傾向もある。これらの傾向をＳＴ１２０４で総合的に判断し判定してもよい。判断の方法として、閾値を設定する方法、事前に現場での試験や数値演算により類似する傾向を学習済みデータベースとして蓄積し、これを利用する方法等がある。

【0096】

これにより、電波環境が不安定な環境においても、精度よく作業内容を把握できる。
また、カメラ１は、例えば壁、天井、柱に設置すればよい。監視対象とする作業エリアを撮影できれば、作業エリア外でもよい。

【0097】

また、図１及び図４（ｂ）では、説明の便宜上、特定した作業者を枠で囲って表示したが、実際に枠で囲う必要はなく、情報処理装置３の中で、どのエリアに特定した作業者が存在するのかをデータとして保持すればよい。

【0098】

また、各種データベースは、情報処理装置３に直接接続され配置されてもよく、情報通信ネットワークを介して接続させ、他の場所にあってもよい。

【0099】

また、移動台車１０４、製品１０５は例として表示しているものであり、本開示における監視対象を例えば、クレーン、フォークリフト、自動搬送車としてもよい。

【0100】

また、情報処理装置３は作業エリア外に設置してもよい。
また、図５に監視対象の動きを解析した結果を表示機４に表示する例を示したが、表示機４はディスプレイでもよく、プリンタやプロジェクタ等でもよい。表示機４は複数存在してもよい。

【0101】

また、情報処理装置３は、カメラ１及び受信機１０、１１を作業エリア６に設置し、情報処理装置３にデータベースを有する例を示したが、ネットワークを介して外部のサーバとデータのやり取りを行ってもよい。カメラ１に情報処理装置３の機能の全部もしくは一部をもたせてもよい。

【0102】

また、本開示の情報処理装置、情報処理システムを生産現場で用いる例を示したが、生産現場に限らず、オフィス、ビル、学校、公園等、他の場所（作業エリア）、状況で用いてもよい。

【0103】

実施の形態６．
本開示の情報処理システムにおいて、作業者の向きを把握することも可能である。

【0104】

図１６は、作業者Ａが受信機１０およびカメラ１とは反対の方向を向いた状態の生産現場を鉛直上方から見た図である。図１７は、作業者Ａが受信機１０およびカメラ１の方向を向いた状態の生産現場を鉛直上方から見た図である。

【0105】

図１６および図１７には、作業者Ａの左胸あたりに送信機１０１が付帯されている。図１６に示す状態では受信機１０と送信機１０１の間に作業者Ａが介在しているが、図１７に示す状態では受信機１０と送信機１０１の間に作業者Ａが介在していない。

【0106】

一般に、人は電波を通しにくい性質があるため、図１７に示すように受信機１０と送信機１０１の間に作業者Ａが介在していない場合には、図１６に示すように受信機１０と送信機１０１の間に作業者Ａが介在している場合に比べて、受信機１０で受信する電波強度が強くなる。この特性を利用することで、カメラ１により作業者Ａの位置を特定し、その位置における電波強度から作業者の向きを特定することが可能となる。

【0107】

図１８は、本開示の実施の形態６にかかる処理手順の概略を示すフローチャートである。図１８のフローチャートは、上述の図３のＳＴ１００５およびＳＴ１００７の処理を、それぞれＳＴ２００５およびＳＴ２００７に変更したものである。その他の処理（上述の図３に示した処理と同じ番号を付している処理）については、既に説明したため詳細な説明はここでは省略する。

【0108】

情報処理装置３（基準データ作成部３５）は、作業毎の参照電波強度とその時の作業者の向き情報とを格納した基準データベースを作成する（ＳＴ２００５）。なお、作業毎の参照電波強度には、作業者の作業場所（位置）が対応付けられる。したがって、基準データベースは、参照受信電波強度と作業者の位置と作業者の向きとの対応関係を含む情報である。

【0109】

さらに、情報処理装置３（データ記録部３３）は、電波強度データベースの受信電波強度が推定電波強度の許容範囲内か否かを判断し、許容範囲内であれば、受信電波強度、識別状況、画像座標、画像取得時刻及び作業者の向き情報をデータ群記録データベース２２３０に記録する（ＳＴ２００７）。

【0110】

この際、情報処理装置３（データ記録部３３）は、たとえば作業者の向き情報を以下のように特定する。データ記録部３３は、受信電波強度が許容範囲に含まれていると判断された場合、まず、カメラ１の画像座標から作業者の位置が特定する。そして、データ記録部３３は、基準データベースを参照して、受信電波強度と特定される作業者の位置とに対応する作業者の向きを特定する。そして、データ記録部３３は、特定された作業者の向きを示す情報を、受信電波強度、識別情報、画像座標、及び画像取得時刻とともにデータ群記録データベース２２３０に記録する。

【0111】

これにより、作業者の向きがカメラ１によって特定が困難な場合でも、受信電波強度から作業者の向きを特定することが可能となる。

【0112】

（ハードウエア構成）
図１９は、上述の実施の形態１〜６に係る情報処理装置３の一部の機能を実行するハードウエア構成の例を表わす図である。図１９に示すように、情報処理装置３は、プロセッサ１１００と、プロセッサ１１００とバス１３００で接続されたメモリ１２００とを備える。

【0113】

情報処理装置３の構成要素のうちの一部の構成要素（たとえば、データ入力部３１、判断部３２、データ記録部３３、データ蓄積部３４、基準データ作成部３５、解析部３６）の機能が、ＣＰＵなどのプロセッサ１１１０がメモリ１２００に記憶されたプログラムを実行することにより、実現される。また、複数のプロセッサおよび複数のメモリが連携して上記構成要素の機能を実行するものとしてもよい。また、システムＬＳＩ等の処理回路により、上記構成要素の機能が実現されるものとしてもよい。また、複数の処理回路が連携して上記構成要素の機能を実行するものとしてもよい。

【0114】

なお、本開示は、開示の範囲内において、各実施の形態を自由に組み合わせることや、各実施の形態を適宜、変形、省略することが可能である。

【0115】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0116】

１ カメラ、３ 情報処理装置、４ 表示機、６ 作業エリア、７ 画像、１０、１１ 受信機、３１ データ入力部、３２ 判断部、３３ データ記録部、３４ データ蓄積部、３５ 基準データ作成部、３６ 解析部、３７ 表示部、１０１、１０２、１０３、１０６ 送信機、１０４ 移動台車、１０５ 製品、２０１、２０２、２０３ 監視枠、２２００ 画像時刻データベース、２２１０ 電波強度データベース、２２２０ 基準データベース、２２３０ データ群記録データベース、２２４０ データ蓄積データベース。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】