IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社テクノアの特許一覧

<>
  • 特許-情報処理装置 図1
  • 特許-情報処理装置 図2
  • 特許-情報処理装置 図3
  • 特許-情報処理装置 図4
  • 特許-情報処理装置 図5
  • 特許-情報処理装置 図6
  • 特許-情報処理装置 図7
  • 特許-情報処理装置 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-07
(45)【発行日】2024-02-16
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20240208BHJP
   H04N 23/60 20230101ALI20240208BHJP
   H04N 23/63 20230101ALI20240208BHJP
   G06T 7/00 20170101ALI20240208BHJP
   G08B 25/00 20060101ALI20240208BHJP
【FI】
H04N7/18 D
H04N23/60
H04N23/63
G06T7/00 350B
G08B25/00 510M
【請求項の数】 2
(21)【出願番号】P 2019230559
(22)【出願日】2019-12-20
(65)【公開番号】P2021100171
(43)【公開日】2021-07-01
【審査請求日】2022-10-05
(73)【特許権者】
【識別番号】304027464
【氏名又は名称】株式会社テクノア
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】西村 恭範
(72)【発明者】
【氏名】澤田 茂久
【審査官】長谷川 素直
(56)【参考文献】
【文献】国際公開第2012/039277(WO,A1)
【文献】特開2008-167423(JP,A)
【文献】特開2018-032338(JP,A)
【文献】特開2017-126283(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
H04N 23/60
G06T 7/00
G08B 25/00
(57)【特許請求の範囲】
【請求項1】
所定の監視領域の状態を監視する情報処理装置において、
前記所定の監視領域の少なくとも一部を撮像する複数の撮像装置の夫々から出力された撮像画像のデータの夫々を取得する画像取得手段と、
前記画像取得手段によりデータとして取得された前記撮像画像に含まれ得る複数の被写体の相互の関係性に基づいて、前記所定の監視領域の状態を判別する状態判別手段と、
前記画像取得手段により取得された前記撮像画像のデータを記憶する制御を実行する記憶制御手段と、
前記記憶制御手段の制御により記憶された前記撮像画像のデータに基づいて、前記所定の監視領域の状態を学習する学習手段と、
前記学習手段による学習の結果に基づいて、前記所定の監視領域の状態のパターンを示すモデルを生成するモデル生成手段と、
を備え、
前記状態判別手段は、さらに、前記モデル生成手段により生成された前記モデルに基づいて、前記所定の監視領域の状態を判別する、
報処理装置。
【請求項2】
前記状態判別手段により、前記所定の監視領域の状態が異常であると判別された場合に、その旨を報知する制御を実行する報知制御手段
をさらに備える、
請求項1に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置に関する。
【背景技術】
【0002】
従来より、監視対象を監視するために、監視カメラ等の撮像装置を用いて監視対象を撮像する手法が採用されている(例えば特許文献1及び特許文献2参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第6597609号公報
【文献】特許第5387595号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1及び特許文献2に記載された技術を含む従来の技術では、監視領域の少なくとも一部を撮像した撮像画像に被写体として含まれない監視対象の状態を、当該撮像画像を用いて監視することはできなかった。
【0005】
本発明は、このような状況に鑑みてなされたものであり、監視領域の少なくとも一部を撮像した撮像画像に被写体として含まれない監視対象の状態を、当該撮像画像を用いて容易に監視することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理装置は、
所定の監視領域の状態を監視する情報処理装置において、
前記所定の監視領域の少なくとも一部を撮像する複数の撮像装置の夫々から出力された撮像画像のデータの夫々を取得する画像取得手段と、
前記画像取得手段によりデータとして取得された前記撮像画像に含まれ得る複数の被写体の相互の関係性に基づいて、前記所定の監視領域の状態を判別する状態判別手段と、
を備える。
【発明の効果】
【0007】
本発明によれば、監視領域の少なくとも一部を撮像した撮像画像に被写体として含まれない監視対象の状態を、当該撮像画像を用いて容易に監視する手法を提供することができる。
【図面の簡単な説明】
【0008】
図1】本発明の情報処理装置の一実施形態に係る状態判別サーバ及びモデル提供サーバが適用される情報処理システムの適用対象となる本サービスの概要を示す図である。
図2】本発明の情報処理装置の一実施形態に係る状態判別サーバ及びモデル提供サーバが適用される情報処理システムの構成の一例を示す図である。
図3図1の状態判別サーバのハードウェア構成を示すブロック図である。
図4】状態判別サーバ及びモデル提供サーバが適用される情報処理システムにより実行される各種処理に必要となる機能的構成の一例を示す機能ブロック図である。
図5図2の情報処理システムにより実行される状態判別処理とモデル提供処理との夫々の流れを示すフローチャートである。
図6図2のカメラと被写体との距離と、状態判別処理の精度との関係を示すグラフである。
図7】カメラの配置例を示す図である。
図8】本サービスの活用例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を用いて説明する。
【0010】
まず、図1を参照して、本発明の情報処理装置の一実施形態に係るサーバが適用される情報処理システム(後述する図2参照)の適用対象となるサービス(以下、「本サービス」と呼ぶ)の概要について説明する。
【0011】
図1は、本発明の情報処理装置の一実施形態に係る状態判別サーバ及びモデル提供サーバが適用される情報処理システムの適用対象となる本サービスの概要を示す図である。
【0012】
本サービスは、所定の監視領域の状態を監視するサービスである。本サービスでは、所定の監視領域の少なくとも一部を撮像した撮像画像に含まれ得る複数の被写体の相互の関係性に基づいて、監視領域の状態の監視が行われる。
「監視領域の状態」には、監視領域に存在するものの、撮像画像の被写体ではない監視対象についての状態が含まれる。即ち、撮像装置による従来の監視は、監視対象を撮像領域に含むことが前提となる。しかしながら、監視対象の撮像画像のみからでは状態の判別が困難な場合がある。本発明は、撮像領域に含まれない監視対象を、撮像領域に含まれ得る複数の被写体の相互の関係性に基づいて監視することを実現可能とする。これにより、監視対象の撮像画像のみからでは判別が困難な監視を容易化させることができる。
【0013】
ここで、被写体が「含まれ得る」と表現した理由は、以下のとおりである。即ち、撮像画像には、複数の被写体のうち少なくとも1の被写体が「含まれる」場合と「含まれない」場合との両方のケースが存在する。そして、撮像画像に被写体が「含まれる」場合と「含まれない」場合との違いが、まさに複数の被写体の相互の関係性を示すものとなる。また、複数の被写体の相互の関係性が、監視領域の状態を判別する際の根拠になる。このような理由から、撮像画像に被写体が「含まれ得る」と敢えて表現したものである。
【0014】
図1には、監視領域Aの状態の判別が行われる際に用いられるモデルM1乃至M4の夫々が、撮像画像P1乃至P4の夫々とともに示されている。モデルM1乃至M4は、監視領域Aに存在するパトランプLが点灯しているか否かという基準(横軸)と、監視領域Aに人物Hが存在するか否かという基準(縦軸)とによって分類されている。
【0015】
撮像画像P1乃至P4の夫々は、図示せぬ同一のカメラCにより同一の角度から複数のタイミングで撮像された、監視領域Aの様子を示す撮像画像である。具体的には、監視領域Aの状態を示すモデルM1乃至M4の夫々に適合する撮像画像Pの典型例が、図1に示す撮像画像P1乃至P4の夫々である。
【0016】
パトランプLは、所定の工場に設置された図示せぬ加工機械の稼働状態を、ランプの点灯の有無により表示可能とする表示機器である。例えば図1の破線内に示すランプが点灯している場合、図示せぬ加工機械は稼働中となり、当該ランプが消灯している場合、図示せぬ加工機械は停止中となる。
人物Hは、図示せぬ加工機械の段取りや稼働状態のチェック等を行う者である。ただし、本実施形態において、撮像画像Pに含まれ得る人物Hが実際に図示せぬ加工機械の段取りや稼働状態のチェック等を行う者であるか否かは特に問題とならない。これは、本実施形態において、監視上重要となるのは、人間(例えば人物H)が撮像画像Pに被写体として含まれるのか否かであり、その人間(例えば人物H)の背景は特に問題とされないからである。また、人間(例えば人物H)が撮像画像Pに含まれるのか否かと、パトランプが点灯しているのか否かとの組合せのみによって、監視領域Aの状態を容易に判別できるようにすることが本発明の目的だからである。
以下、モデルM1乃至M4について詳しく説明する。
【0017】
モデルM1は、パトランプLが「消灯している」という状態と、人物Hが「存在する」という状態との相互の関係性から、監視領域Aの状態が「段取中」であると判別するためのモデルである。モデルM1に適合する撮像画像Pの典型例である撮像画像P1には、消灯している状態のパトランプLと、人物Hとが被写体として含まれている。この場合、図示せぬ加工機械が「停止中」であり、人物Hが「監視領域A内で作業中」であると判別される。その結果、監視領域Aの状態は「段取中」と判別される。
【0018】
モデルM2は、パトランプLが「点灯している」という状態と、人物Hが「存在する」という状態との相互の関係性から、監視領域Aの状態が「加工チェック中」であると判別するためのモデルである。モデルM2に適合する撮像画像Pの典型例である撮像画像P2には、点灯している状態のパトランプLと、人物Hとが被写体として含まれている。この場合、図示せぬ加工機械が「稼働中」であり、人物が「監視領域A内で自動加工のチェックを行っている」と判別される。その結果、監視領域Aの状態は「加工チェック中」と判別される。
【0019】
モデルM3は、パトランプLが「点灯している」という状態と、人物Hが「存在しない」という状態との相互の関係性から、監視領域Aの状態が「自動加工中」であると判別するためのモデルである。モデルM3に適合する撮像画像Pの典型例である撮像画像P3には、点灯している状態のパトランプLが被写体として含まれているが、人物Hは被写体として含まれていない。この場合、図示せぬ加工機械が「稼働中」であり、人物が「監視領域A内に不在」であると判別される。その結果、監視領域Aの状態は「自動加工中」と判別される。
【0020】
モデルM4は、パトランプLが「消灯している」という状態と、人物Hが「存在しない」という状態との相互の関係性から、監視領域Aの状態が「加工終了」であると判別するためのモデルである。モデルM4に適合する撮像画像Pの典型例である撮像画像P4には、消灯している状態のパトランプLが被写体として含まれているが、人物Hは被写体として含まれていない。この場合、図示せぬ加工機械が「停止中」であり、人物が「監視領域A内に不在」であると判別される。その結果、監視領域Aの状態は「加工終了」と判別される。
【0021】
次に、モデルM1乃至M4がどのように生成されるのかについて説明する。
本サービスでは、カメラCにより撮像された監視領域Aの撮像画像Pを学習データとして、監視領域Aの状態についての学習が行われる。
即ち、本サービスでは、撮像画像Pに被写体として含まれ得るパトランプLと人物Hとの夫々の状態、及びパトランプLと人物Hとの相互の関係性を学習データとする学習が行われる。学習が行われた結果、例えば「パトランプLは加工機械の稼働中に点灯する」、「人物Hが監視領域Aに存在する場合は何らかの作業を行っている」、「人物HはパトランプLが消灯しているときに段取り作業を行う」、「人物HはパトランプLが点灯しているときに加工チェックを行う」、「人物Hは加工機械による自動加工が行われている間は監視領域Aに存在しない」、「人物Hは加工機械による自動加工の終了後は監視領域Aに存在しない」といった情報が生成されるとともに、例えば図1に示すモデルM1乃至M4のようなモデルが生成される。
【0022】
図2は、本発明の情報処理装置の一実施形態に係る状態判別サーバ及びモデル提供サーバが適用される情報処理システムの構成の一例を示す図である。
【0023】
図2に示す情報処理システム(以下、「本システム」と呼ぶ)は、状態判別サーバ1と、モデル提供サーバ2と、ユーザ端末3と、カメラC1乃至Cn(nは1以上の整数値)とがインターネット等の所定のネットワークNを介して相互に接続されることで構成される。
【0024】
状態判別サーバ1は、サービス提供者(図示せず)により管理される情報処理装置である。状態判別サーバ1は、モデル提供サーバ2、ユーザ端末3、及びカメラC1乃至Cnの夫々と適宜通信をしながら、本サービスを実現するための各種処理を実行する。
【0025】
モデル提供サーバ2は、サービス提供者(図示せず)により管理される情報処理装置である。モデル提供サーバ2は、状態判別サーバ1、及びユーザ端末3と適宜通信をしながら、本サービスを実現するための各種処理を実行する。
【0026】
ユーザ端末3は、ユーザUにより操作される情報処理装置であって、例えばパーソナルコンピュータ、スマートフォン、タブレット等で構成される。
【0027】
カメラC1乃至Cnの夫々は、監視領域Aの少なくとも一部を撮像可能な位置に設置されるカメラである。
具体的には、カメラC1乃至Cnは、監視領域Aの状態をサーバ1に認識させるべく、監視領域Aの少なくとも一部に存在し得る複数の被写体(図1の例ではパトランプLと人物H)を様々な角度から撮像する。カメラC1乃至Cnの夫々により撮像された監視領域Aの撮像画像のデータは、状態判別サーバ1を介してモデル提供サーバ2により取得されて管理される。以下、カメラC1乃至Cnを個々に区別する必要がない場合、これらをまとめて、「カメラC」と呼ぶ。
このように、状態判別サーバ1やモデル提供サーバ2などの情報処理装置における処理対象は、正確にはカメラCにより撮像された監視領域Aの撮像画像のデータP1乃至Pm(mは1以上の整数値)の夫々であるが、本明細書等では「撮像画像P1乃至Pm」と略記する。また、本明細書等では、撮像画像P1乃至Pmを個々に区別する必要がない場合、これらをまとめて、「撮像画像P」と呼ぶ。
【0028】
次に、本システムにおける各種処理を実行する状態判別サーバ1のハードウェア構成について説明する。
図3は、図1の状態判別サーバのハードウェア構成を示すブロック図である。
【0029】
状態判別サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20とを備えている。
【0030】
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0031】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19及びドライブ20が接続されている。
【0032】
出力部16は、各種液晶ディスプレイ等で構成され、各種情報を出力する。
入力部17は、各種ハードウェアボタン等で構成され、各種情報を入力する。
記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNを介して他の装置(例えば図2のモデル提供サーバ2、ユーザ端末3、及びカメラC1乃至Cn)との間で行う通信を制御する。
【0033】
ドライブ20は、必要に応じて設けられる。ドライブ20には磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア40が適宜装着される。ドライブ20によってリムーバブルメディア40から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。またリムーバブルメディア40は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
【0034】
なお、図示はしないが、図2のモデル提供サーバ2、及びユーザ端末3も、図2に示すハードウェア構成と基本的に同様の構成を有することができる。例えば、図示はしないが、モデル提供サーバ2は、図2に示すCPU11乃至ドライブ20と同様のハードウェア構成として、CPU21乃至ドライブ30を備える。従って、モデル提供サーバ2、及びユーザ端末3のハードウェア構成の説明については省略する。
【0035】
次に、図3のハードウェア構成を有する状態判別サーバ1及びモデル提供サーバ2の機能的構成について説明する。
図4は、状態判別サーバ1及びモデル提供サーバ2が適用される情報処理システムにより実行される各種処理に必要となる機能的構成の一例を示す機能ブロック図である。
【0036】
図3に示すように、図2の情報処理システムにより状態判別処理が実行される場合には、状態判別サーバ1のCPU11において、画像取得部101と、モデル要求部102と、状態判別部103とが機能する。
図2の情報処理システムによりモデル提供処理が実行される場合には、状態判別サーバ1のCPU11において、学習データ提供部104が機能し、モデル提供サーバ2のCPU21において、記憶制御部201と、学習部202と、モデル生成部203と、モデル提供部204とが機能する。
図2の情報処理システムにより報知処理が実行される場合には、状態判別サーバ1のCPU11において報知制御部105が機能する。
【0037】
「状態判別処理」とは、カメラC1乃至Cnの夫々によりデータとして出力された撮像画像P1乃至Pmの夫々に含まれ得る複数の被写体の相互の関係性に基づいて、監視領域Aの状態を判別する処理のことをいう。
ここで、状態判別処理は、カメラC1乃至Cnの夫々の撮像画像P1乃至Pmの夫々について個別的に実行することもできるし、撮像画像P1乃至Pmについて総合的に実行することもできる。
【0038】
「モデル提供処理」とは、カメラCによりデータとして出力された撮像画像Pを学習データとして解析して学習することで、監視領域Aの状態の判別に用いられるモデルMを生成又は更新して提供する処理のことをいう。
上述の状態判別処理では、モデル提供処理により生成又は更新されたモデルMが参照される。モデル提供処理の結果、モデルMのパターンが次第に充実していくので、状態判別処理のパターンも次第に充実していく。また、状態判別処理の結果と実際の状態との差異が次第に縮まっていくため、状態判別処理の結果の精度も次第に向上していく。
【0039】
「報知制御処理」とは、上述の状態判別処理の結果として、監視領域Aの状態が異常であるという判別がなされた場合に、その旨をユーザUに報知する制御を実行する処理のことをいう。
【0040】
状態判別サーバ1の記憶部18の一領域には、モデルDB181が設けられている。
モデル提供サーバ2の記憶部28の一領域には、学習DB281と、モデルDB282とが設けられている。
【0041】
画像取得部101は、監視領域Aの少なくとも一部を撮像するカメラC1乃至Cnにより撮像され出力された撮像画像P1乃至Pmの夫々のデータを取得する。
画像取得部101により取得された撮像画像P1乃至Pmの夫々のデータは、学習データとして学習DB281に記憶されて管理される。
【0042】
モデル要求部102は、モデル提供サーバ2に対して、後述する状態判別部103による判別が行われる際に参照されるモデルMの提供を要求する。
モデル要求部102によるモデルMの提供の要求の結果、モデル提供サーバ2からモデルMが提供されると、モデル要求部102は、提供されたモデルMを取得してモデルDB181に記憶させる。
【0043】
状態判別部103は、画像取得部101によりデータとして取得された撮像画像Pに含まれ得るパトランプLと人物Hとの相互の関係性に基づいて、監視領域Aの状態を判別する。
具体的には、状態判別部103は、取得された撮像画像Pに適合するモデルMにより示される監視領域Aの状態に基づいて、監視領域Aの状態を判別する。
【0044】
学習データ提供部104は、画像取得部101により取得された撮像画像P1乃至Pmの夫々のデータを、モデル提供処理で用いられる学習データとしてモデル提供サーバ2に提供する。学習データ提供部104により提供された学習データ(撮像画像P1乃至Pmの夫々のデータ)は、学習DB281に記憶されて管理される。
【0045】
報知制御部105は、状態判別部103により、監視領域Aの状態が異常であると判別された場合に、その旨を報知する制御を実行する。なお、ここでいう「異常状態」には、例えば図示せぬ加工機械のトラブルのみならず、材料の供給切れなど、自動加工が行われている平常状態以外のあらゆる状態が含まれる。
また、報知制御部105による報知の手法は特に限定されない。具体的には例えば、報知制御部105は、ユーザ端末3に監視領域Aの状態が異常である旨を示すアラートを表示させる制御を実行することができる。また、報知制御部105は、所定の警告ランプ(図示せず)を点灯させたり、所定のスピーカから警告音を出力させたりするなど、ユーザUの視覚や聴覚を通じて異常状態を報知することもできる。
【0046】
記憶制御部201は、状態判別サーバ1から提供された撮像画像P1乃至Pmの夫々のデータを記憶させる制御を実行する。
具体的には、記憶制御部201は、撮像画像P1乃至Pmの夫々のデータを、学習データとして記憶部28の学習DB281に記憶させる制御を実行する。
【0047】
学習部202は、記憶制御部201の制御により記憶された撮像画像P1乃至Pmの夫々のデータに基づいて、監視領域Aの状態を学習する。
即ち、学習DB281には、カメラC1乃至Cnの夫々により撮像された撮像画像P1乃至Pmの夫々のデータが多数記憶されて管理されている。学習部202は、学習DB281から多数の学習データを取得して解析を行う。
【0048】
モデル生成部203は、状態判別サーバ1のモデル要求部102からの要求に基づいて、監視領域Aの状態のパターンを示す1以上のモデルMを生成する。
また、モデル生成部203は、学習部202による学習の結果に基づいて、監視領域Aの状態のパターンを示す1以上のモデルMを生成する。
また、モデル生成部203は、自身が生成したモデルMを含む、モデルDB282に記憶されている既存のモデルMを組合せることで、監視領域Aの状態のパターンを示す1以上のモデルMをさらに生成することもできる。これにより、ユーザUは、自社専用のモデルを容易に入手することができる。
【0049】
モデル提供部204は、モデル生成部203により生成された1以上のモデルMを、状態判別サーバ1に提供する。上述したように、モデル提供サーバ2から状態判別サーバ1にモデルMが提供されると、提供されたモデルMは、モデルDB181に記憶されて管理される。
【0050】
図5は、図2の情報処理システムにより実行される状態判別処理とモデル提供処理との夫々の流れを示すフローチャートである。
【0051】
図5(A)には、図2の情報処理システムにより実行される状態判別処理の流れがフローチャートで示されている。
【0052】
即ち、図2の情報処理システムにより状態判別処理が実行される場合、ステップSS101において、状態判別サーバ1は、監視領域Aの少なくとも一部を撮像するカメラCにより撮像され出力された撮像画像Pのデータを取得する。画像取得部101により取得された撮像画像Pのデータは、学習データとして学習DB281に記憶されて管理される。
【0053】
ステップSS102において、状態判別サーバ1は、監視領域Aの状態の判別を行う際に参照するモデルMの提供をモデル提供サーバ2に要求する。
【0054】
ステップSS103において、状態判別サーバ1は、モデル提供サーバ2からモデルMが提供されたか否かを判定する。モデル提供サーバ2からモデルMが提供されない場合には、ステップSS103において「NO」と判定される。そして、モデル提供サーバ2からモデルMが提供されるまで、ステップSS103の処理が繰り返し実行される。これに対して、モデル提供サーバ2からモデルMが提供された場合には、ステップSS103において「YES」と判定されて、処理はステップSS104に進む。
【0055】
ステップSS104において、状態判別サーバ1は、撮像画像Pに含まれ得るパトランプLと人物Hとの相互の関係性に基づいて、監視領域Aの状態を判別する。具体的には、状態判別サーバ1は、モデルDB181に記憶されている1以上のモデルMに基づいて、監視領域Aの状態を判別する。これにより状態判別処理は完了する。
【0056】
図5(B)には、図2の情報処理システムにより実行されるモデル提供処理の流れがフローチャートで示されている。
【0057】
即ち、図2の情報処理システムによりモデル提供処理が実行される場合、ステップSS201において、モデル提供サーバ2は、提供された撮像画像Pのデータを、学習データとして学習DB281に記憶させる制御を実行する。
【0058】
ステップSS202において、モデル提供サーバ2は、記憶した撮像画像P1乃至Pmの夫々のデータに基づいて、監視領域Aの状態を学習する。
【0059】
ステップSS203において、モデル提供サーバ2は、ステップSS202の学習の結果に基づいて、監視領域Aの状態のパターンを示す1以上のモデルMを生成する。
【0060】
ステップSS204において、モデル提供サーバ2は、状態判別サーバ1からモデルMの提供の要求があったか否かを判定する。状態判別サーバ1からモデルMの提供の要求がない場合には、ステップSS204において「NO」と判定されて、状態判別サーバ1からモデルMの提供の要求があるまで、ステップSS204の処理が繰り返し実行される。これに対して、状態判別サーバ1からモデルMの提供の要求があった場合には、ステップSS204において「YES」と判定されて、処理はステップSS205に進む。
【0061】
ステップSS205において、モデル提供サーバ2は、ステップSS203で生成された1以上のモデルMを状態判別サーバ1に提供する。これによりモデル提供処理は完了する。
【0062】
図6は、図2のカメラと被写体との距離と、状態判別処理の精度との関係を示すグラフである。
【0063】
図6に示すグラフの横軸は、上述した図2のカメラCと、カメラCを用いて撮像される監視領域Aに存在し得るパトランプL又は人物Hとの距離dを示している。図6に示すグラフの縦軸は、図2の情報処理システムにより実行される状態判別処理の精度qを示している。図6に示すグラフの曲線Wは、距離dと精度qとの関係を示している。
図6に示すように、距離dが長い場合よりも短い場合の方が精度qを向上させることができる。ここで、状態判別処理の結果が好適なものとなる最低限の精度qをQとした場合、対応する距離dは5m(メートル)乃至8m(メートル)となる。つまり、状態判別処理の結果が好適なものとなる最低限の精度qを確保するためには、距離dが8m(メートル)を超えないようにカメラCを設置する必要がある。
【0064】
図7は、カメラの配置例を示す図である。
【0065】
図7には、工場Fの監視領域Aに配置された5台のパトランプL1乃至L5と、工場Fの四隅に設置されたカメラC1乃至C4とが描画されている。
【0066】
カメラC1は、被写体としてのパトランプL1乃至L3及び人物H(図示せず)が存在し得る監視領域Aの少なくとも一部を撮像する。カメラC2は、被写体としてのパトランプL1、L2、L4及び人物H(図示せず)が存在し得る監視領域Aの少なくとも一部を撮像する。カメラC3は、被写体としてのパトランプL3乃至L5及び人物H(図示せず)が存在し得る監視領域Aの少なくとも一部を撮像する。カメラC4は、被写体としてのパトランプL3乃至L5及び人物H(図示せず)が存在し得る監視領域Aの少なくとも一部を撮像する。
このように、複数のカメラCが1台のパトランプL及び人物H(図示せず)を撮像可能とすることにより、パトランプL1及びL2は、いずれもカメラC1及びC2により同じタイミングで撮像されることが可能となる。また、パトランプL3は、カメラC1、C3、C4により同じタイミングで撮像されることが可能となる。また、パトランプL4は、カメラC2、C3、C4により同じタイミングで撮像されることが可能となる。また、パトランプL5は、カメラC3及びC4により同じタイミングで撮像されることが可能となる。
その結果、複数台(図6の例では2又は3台)のカメラで同一のパトランプLを異なる角度から撮像することが可能となるので、状態判別処理の精度qを向上させることができる。
【0067】
具体的には例えば、パトランプL1乃至L5を撮像すると、工場F内の照明の光や、窓の外から差し込む日光等が、監視領域Aの状況の判別に影響を与える場合がある。
そこで、図7に示すように、異なる場所に配置された2又は3台のカメラCの夫々が、同じタイミングで1台のパトランプLを撮像するようにする。
これにより、1台のパトランプLを異なる角度から同じタイミングで撮像することになるので、一方のカメラCの撮像画像と、他方のカメラCの撮像画像との夫々が相互に精度を担保し合う関係が成立する。
その結果、照明の光や日光等の影響で正確な判別が棄損されるリスクを低減化させることができる。
【0068】
図8は、本サービスの活用例を示す図である。
【0069】
図8には、学習データを作るユーザU1と、モデルMを作って公開するユーザU2と、モデルMを使うユーザU3とが描画されている。
【0070】
ユーザU1は、新規のモデルMを取得するために、学習データを新たに作成して、本サービスにより提供される専用のクラウド(図示せず)にアップロードする。これにより、ユーザU1は、自社専用のAI(人工知能)を自ら作成することができる。
具体的には例えば、上述の図7の例におけるカメラC1乃至C4の撮像画像のデータは、「新たに作成」された「学習データ」に該当する。
【0071】
ユーザU2は、ユーザU1により専用のクラウドにアップロードされた学習データに基づいて、新規のモデルMを作成する。これにより、ユーザU2は、複数種類のモデルMを幅広く保有することができる。
また、ユーザU2は、作成したモデルMを、専用のクラウドを介して他のユーザUに公開する。これにより、ユーザU2以外のユーザUは、ユーザU2により公開された複数種類のモデルを有償又は無償で使用することができる。
【0072】
ユーザU3は、ユーザU2により作成され公開された複数種類のモデルMを組合せることで、自社専用のモデルMを作成する。即ち、ユーザU3は、自ら学習データを作成することなく、公開されているモデルMを入手するだけで、自社専用のモデルMを容易に作成することができる。
【0073】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0074】
例えば、上述の実施形態では、撮像装置として、監視領域を撮像する機能と、撮像した画像を送信する機能とを有する一般的なカメラが採用されている。ただし、これは例示に過ぎない。一般的なカメラ以外にも、例えば物体から放射される赤外線を可視化する赤外線カメラ等、監視に用いられ得る各種機能を有するカメラを採用することもできる。
【0075】
また例えば、上述の実施形態では、撮像装置により撮像される撮像画像は静止画像であるが、特に静止画像に限定されず、動画像であってもよい。
【0076】
また例えば、図1に示すモデルM1乃至M4は例示に過ぎず、特に図1に示す内容に限定されない。
【0077】
また例えば、図1の例では、4種類のモデルM1乃至M4が示されているが、特に4種類に限定されない。また、図1の例では、モデルM1乃至M4を分類するために2つの基準(パトランプLの点灯の有無、及び人物Hの存在の有無)が採用されているが、これらの基準に限定されない。
【0078】
また、図2に示す情報処理システムの構成や、図3に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【0079】
また、図4に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図4の例に限定されない。
【0080】
また、機能ブロックの存在場所も、図4に限定されず、任意でよい。
例えば、図4の例で、状態判別処理の実行に必要となる機能ブロックは、主に状態判別サーバ1が備える構成となっているが、これは例示に過ぎない。これらの機能ブロックの少なくとも一部を、モデル提供サーバ2側が備える構成としてもよい。また例えば、モデル提供処理の実行に必要となる機能ブロックは、主にモデル提供サーバ2が備える構成となっているが、これは例示に過ぎない。これらの機能ブロックの少なくとも一部を、状態判別サーバ1側が備える構成としてもよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0081】
各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0082】
このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成される。
【0083】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【0084】
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものである。
【0085】
以上まとめると、本発明が適用される情報処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理装置(例えば図4の状態判別サーバ1及びモデル提供サーバ2)は、
所定の監視領域(例えば図1の監視領域A)の状態を監視する情報処理装置において、
前記所定の監視領域の少なくとも一部を撮像する複数の撮像装置(例えば図2のカメラC1乃至Cn)の夫々から出力された撮像画像(例えば撮像画像P)のデータの夫々を取得する画像取得手段(例えば図4の画像取得部101)と、
前記画像取得手段によりデータとして取得された前記撮像画像に含まれ得る複数の被写体(例えば図1のパトランプL及び人物H)の相互の関係性に基づいて、前記所定の監視領域の状態(例えば図1のモデルM1乃至M4の夫々に対応する監視領域Aの状態)を判別する状態判別手段(例えば図4の状態判別部103)と、
を備える。
【0086】
これにより、所定の監視領域の撮像画像が取得されて、当該撮像画像に含まれ得る複数の被写体の相互の関係性に基づいて、当該所定の監視領域の状態が判別される。その結果、当該撮像画像に被写体として含まれない監視対象の状態を容易に監視することが可能となる。
【0087】
また、前記画像取得手段により取得された前記撮像画像のデータを記憶する制御を実行する記憶制御手段(例えば図4の記憶制御部201)と、
前記記憶制御手段の制御により記憶された前記撮像画像のデータに基づいて、前記所定の監視領域の状態を学習する学習手段(例えば図4の学習部202)と、
前記学習手段による学習の結果に基づいて、前記所定の監視領域の状態のパターンを示すモデル(例えば図1のモデルM1乃至M4)を生成するモデル生成手段(例えば図4のモデル生成部203)と、
をさらに備え、
前記状態判別手段は、さらに、前記モデル生成手段により生成された前記モデルに基づいて、前記所定の監視領域の状態を判別することができる。
【0088】
これにより、所定の監視領域の撮像画像に基づいて、当該所定の監視領域の状態の学習が行われて、その学習の結果に基づいてモデルが生成等される。その結果、ユーザは、生成されたモデルに基づく容易な判別が可能となる。
【0089】
また、前記状態判別手段により、前記所定の監視領域の状態が異常であると判別された場合に、その旨を報知する制御を実行する報知制御手段(例えば図4の報知制御部106)をさらに備えることができる。
【0090】
これにより、監視領域の状態が判別されるだけではなく、監視領域が異常状態にあると判別された場合にその旨が報知される。その結果、所定の監視領域の異常を迅速に知ることができる。
【符号の説明】
【0091】
1:状態判別サーバ、2:モデル提供サーバ、3:ユーザ端末、11:CPU、12:ROM、13:RAM、14:バス、15:入出力インターフェース、16:出力部、17:入力部、18:記憶部、19:通信部、20:ドライブ、40:リムーバブルメディア、101:画像取得部、102:モデル要求部、103:状態判別部、104:学習データ提供部、105:報知制御部、201:記憶制御部、202:学習部、203:モデル生成部、204:モデル提供部、181:モデルDB、281:学習DB、282:モデルDB、N:ネットワーク、A:監視領域、C,C1乃至Cn:カメラ、M,M1乃至M4:モデル、P,P1乃至Pm:撮像画像、F:工場、L,L1乃至L5:パトランプ、H:人物、SS:サーバによる処理を示す各種ステップ、U,U1乃至U3:ユーザ、W:曲線、q,Q:精度、d:距離
図1
図2
図3
図4
図5
図6
図7
図8