(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023130655
(43)【公開日】2023-09-21
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06Q 50/04 20120101AFI20230913BHJP
【FI】
G06Q50/04
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022035071
(22)【出願日】2022-03-08
(71)【出願人】
【識別番号】000191076
【氏名又は名称】日鉄ソリューションズ株式会社
(71)【出願人】
【識別番号】000006655
【氏名又は名称】日本製鉄株式会社
(74)【代理人】
【識別番号】100117857
【弁理士】
【氏名又は名称】南林 薫
(72)【発明者】
【氏名】兵頭 雅士
(72)【発明者】
【氏名】出石 琢夫
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC04
(57)【要約】 (修正有)
【課題】作業の実施状況の分析に係るユーザへの負担をより軽減する情報処理装置、方法及びプログラムを提供する。
【解決手段】サーバ装置と、複数の端末装置と、撮像装置とが、ネットワークを介して互いに情報を送受信可能に接続されている情報処理システムにおいて、情報処理装置の一種であるサーバ装置100は、管理対象の作業の実施に係る複数の主体の指定と、当該複数の主体に割り当てる作業の指定とを受け付ける入出力制御部101と、指定された作業の実施期間に関する情報を取得し、指定された複数の主体それぞれに対して、前記指定された作業と、情報が取得された当該作業の実施期間と、を共通の情報として関連付けることで、当該複数の主体それぞれの作業の管理に係るレコードを記録する管理部106と、を有する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
管理対象の作業の実施に係る複数の主体の指定と、当該複数の主体に割り当てる作業の指定と、を受け付ける受け付け手段と、
指定された作業の実施期間に関する情報を取得する取得手段と、
指定された複数の主体それぞれに対して、前記指定された作業と、情報が取得された当該作業の実施期間と、を共通の情報として関連付けることで、当該複数の主体それぞれの作業の管理に係るレコードを記録する記録手段と、
を備える、情報処理装置。
【請求項2】
前記受け付け手段は、前記複数の主体のうち少なくともいずれかとして、指定を受け付ける作業の割り当て対象となる作業者の指定を受け付ける、
請求項1に記載の情報処理装置。
【請求項3】
前記受け付け手段は、前記複数の主体として、指定を受け付ける作業の割り当て対象となる作業者と、当該作業者が使用する設備と、の指定を受け付ける、
請求項2に記載の情報処理装置。
【請求項4】
前記受け付け手段は、前記作業者と、当該作業者に割り当てる作業と、当該作業者が当該作業において使用する前記設備と、の指定を受け付け、
前記記録手段は、
前記指定された作業者と、前記指定された作業と、情報が取得された当該作業の実施期間と、を関連付けることで、当該作業者に対応する第1のレコードを記録し、
前記作業者が使用する対象として指定された前記設備に対して、当該作業者に対応する前記第1のレコードに記録した前記作業と前記実施期間とを関連付けることで、当該設備に対応する第2のレコードを記録する、
請求項3に記載の情報処理装置。
【請求項5】
前記取得手段は、前記実施期間に関する情報を、ユーザからの指定に基づき取得する、
請求項1~4のいずれか1項に記載の情報処理装置。
【請求項6】
前記取得手段は、前記実施期間に関する情報を、前記指定された作業が実施されている作業環境の撮像結果に応じた動画像の再生結果に基づき取得する、
請求項1~4のいずれか1項に記載の情報処理装置。
【請求項7】
前記取得手段は、前記動画像からの前記複数の主体のうちの少なくともいずれかの検出結果に基づき、前記実施期間に関する情報を取得する、
請求項6に記載の情報処理装置。
【請求項8】
前記取得手段は、前記動画像からの前記指定された複数の主体のうちの少なくともいずれかの検出結果に基づき、前記実施期間に含まれる少なくとも一部のタイミングを特定する、
請求項7に記載の情報処理装置。
【請求項9】
前記受け付け手段は、複数の主体それぞれの指定を、対象となる主体の種別ごとにあらかじめリストとして登録された候補の中から受け付ける、
請求項1~8のいずれか1項に記載の情報処理装置。
【請求項10】
前記記録手段は、
登録対象となる第1のレコードに関連付けられた実施期間の少なくとも一部が、既に記録されている第2のレコードに関連付けられた実施期間の少なくとも一部と重複し、
かつ前記第1のレコードに関連付けられた主体と、前記第2のレコードに関連付けられた主体とが重複する場合に、
前記第1のレコードの記録を制限する、
請求項1~9のいずれか1項に記載の情報処理装置。
【請求項11】
情報処理装置が実行する情報処理方法であって、
管理対象の作業の実施に係る複数の主体の指定と、当該複数の主体に割り当てる作業の指定と、を受け付ける受け付けステップと、
指定された作業の実施期間に関する情報を取得する取得ステップと、
指定された複数の主体それぞれに対して、前記指定された作業と、情報が取得された当該作業の実施期間と、を共通の情報として関連付けることで、当該複数の主体それぞれの作業の管理に係るレコードを記録する記録ステップと、
を含む、情報処理方法。
【請求項12】
コンピュータに、
管理対象の作業の実施に係る複数の主体の指定と、当該複数の主体に割り当てる作業の指定と、を受け付ける受け付けステップと、
指定された作業の実施期間に関する情報を取得する取得ステップと、
指定された複数の主体それぞれに対して、前記指定された作業と、情報が取得された当該作業の実施期間と、を共通の情報として関連付けることで、当該複数の主体それぞれの作業の管理に係るレコードを記録する記録ステップと、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
製造業を含め各種作業の作業現場においては、生産性の向上、製品の品質向上、サービスの質の向上等を目的として、問題点の洗い出しや当該問題点の解決策が求められている。このような背景から、管理者による作業の実施状況の分析を支援するための技術が各種検討されている。例えば、特許文献1には、作業現場の撮像結果に応じた動画像のデータを利用することで、管理者による作業の実施状況の分析を支援する技術の一例が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方で、作業状況の分析を支援するためのツールが利用される状況下においても、例えば、分析対象となる情報の登録といった分析のための事前準備に手間がかかる等、依然として、作業の実施状況の分析に係る負荷が高い傾向にある。特に、分析対象がより増加すると、当該分析対象について情報を登録する手間が比例して増加し、複数の分析対象間において登録される情報の整合性を確保するための手間がさらに増加する傾向にある。このような背景から、作業の実施状況の分析に係るユーザ(例えば、管理者)への負担をより軽減する仕組みの導入が求められている。
【0005】
本発明は上記の問題を鑑み、作業の実施状況の分析に係るユーザへの負担をより軽減することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る情報処理装置は、管理対象の作業の実施に係る複数の主体の指定と、当該複数の主体に割り当てる作業の指定と、を受け付ける受け付け手段と、指定された作業の実施期間に関する情報を取得する取得手段と、指定された複数の主体それぞれに対して、前記指定された作業と、情報が取得された当該作業の実施期間と、を共通の情報として関連付けることで、当該複数の主体それぞれの作業の管理に係るレコードを記録する記録手段と、を備える。
【発明の効果】
【0007】
本発明によれば、作業の実施状況の分析に係るユーザへの負担をより軽減することが可能となる。
【図面の簡単な説明】
【0008】
【
図1】情報処理システムのシステム構成の一例を示した図である。
【
図2】情報処理装置のハードウェア構成の一例を示した図である。
【
図3】情報処理システムの機能構成の一例を示した機能ブロック図である。
【
図4】作業の実施状況の管理に係る画面の一例を示した図である。
【
図5】作業の実施状況の管理に係る機能について説明するための図である。
【
図6】管理画面中の管理インタフェースの一例を示した図である。
【
図7】作業の実施状況の登録に係る画面の一例を示した図である。
【
図8】動画像の再生に係る機能について説明するための図である。
【
図9】登録された情報の出力に係る機能について説明するための図である。
【
図10】画像の解析に係る機能を利用するための画面の一例を示した図である。
【
図11】画像の解析に係る設定の追加や更新のための画面の一例を示した図である。
【
図12】解析処理の設定情報を指定するための画面の一例を示した図である。
【
図13】画像に対する解析処理の適用状態の一例を示した図である。
【
図14】実施例1について説明するための図である。
【
図15】実施例2について説明するための図である。
【発明を実施するための形態】
【0009】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0010】
<システム構成>
図1を参照して、本開示の一実施形態に係る情報処理システムのシステム構成の一例について説明する。本実施形態に係る情報処理システム1は、サーバ装置100と、1以上の端末装置200とを含む。なお、
図1に示す端末装置200a及び200bは、それぞれが端末装置200の一例を示している。以降の説明では、端末装置200a及び200bのそれぞれを特に区別しない場合には、単に端末装置200と称するものとする。また、情報処理システム1は、1以上の撮像装置300を含んでもよい。なお、
図1に示す撮像装置300a及び300bは、それぞれが撮像装置300の一例を示している。以降の説明では、撮像装置300a及び300bのそれぞれを特に区別しない場合には、単に撮像装置300と称するものとする。
【0011】
サーバ装置100と、各端末装置200と、撮像装置300とは、ネットワークN1を介して互いに情報を送受信可能に接続されている。
なお、ネットワークN1の種別は特に限定はされない。具体的な一例として、ネットワークN1は、インターネット、専用線、LAN(Local Area Network)、または、WAN(Wide Area Network)等により構成されていてもよい。また、ネットワークN1は、有線のネットワークにより構成されていてもよいし、5G、LTE(Long Term Evolution)、及びWi-Fi(登録商標)等の通信規格に基づくネットワークのような無線のネットワークにより構成されていてもよい。また、ネットワークN1は、複数のネットワークを含んでもよく、一部のネットワークとして、他のネットワークと異なる種別のネットワークが適用されてもよい。また、上述した各種情報処理装置間の通信が論理的に確立されていればよく、物理的には各種情報処理装置間の通信が他の通信装置等により中継されてもよい。
【0012】
端末装置200は、ユーザからの入力(例えば、各種指示)の受け付けや、ユーザへの各種情報(例えば、フィードバック等)の提示に係るインタフェースとしての役割を担う。具体的な一例として、端末装置200は、ネットワークを介して後述するサーバ装置100からデータを受信し、当該データに基づく情報を、所定の出力装置(例えば、ディスプレイ等)を介してユーザに提示してもよい。また、端末装置200は、所定の入力装置(例えば、タッチパネル等)を介してユーザから受け付けた操作に基づき、当該ユーザからの指示を認識し、ネットワークを介して当該指示に応じた情報をサーバ装置100に送信してもよい。これにより、サーバ装置100は、ユーザからの指示を認識し、当該指示に応じた処理を実行することが可能となる。また、上記フィードバックの一例については、
図5~
図7に示す例の説明と合わせて詳細を別途後述する。
端末装置200は、例えば、所謂スマートフォン、タブレット端末、及びPC(Personal Computer)等のような通信機能を有する情報処理装置により実現され得る。
【0013】
撮像装置300は、撮像範囲内(換言すると、画角内)を撮像し、当該撮像結果に応じた静止画像や動画像のデータを、ネットワークN1を介して所定の送信先(例えば、サーバ装置100)に送信する。なお、以降の説明では、便宜上、静止画像と動画像とを特に区別しない場合には単に画像とも称し、当該画像のデータを画像データとも称する。具体的な一例として、作業者が各種作業を実施する作業環境を撮像し、当該撮像の結果に応じた画像データをサーバ装置100に送信してもよい。
【0014】
サーバ装置100は、管理者となるユーザ(以下、単に管理者とも称する)が、管理対象となる作業者による作業の実施状況の管理や、当該作業の実施状況の分析を行うために、当該管理や当該分析を支援するための各種機能を提供する。具体的な一例として、サーバ装置100は、管理対象となる複数の作業者それぞれによる作業の実施状況の管理や、各作業者による作業の実施に際して使用した各種設備の利用状況の管理を、より簡便な操作により実現するためのUI(User Interface)を提供する。また、他の一例として、サーバ装置100は、撮像装置300による作業者が各種作業を実施する作業環境の撮像結果に応じた画像(例えば、動画像)を管理者が分析する際の、当該分析を支援するための機能を提供してもよい。また、サーバ装置100は、当該画像を解析して、当該解析の結果を、管理者が作業者による作業の実施状況の管理や分析を行う際における、当該管理や当該分析の支援に利用してもよい。上述したサーバ装置100の各種機能については詳細を別途後述する。
【0015】
なお、
図1に示す構成はあくまで一例であり、必ずしも本実施形態に係る情報処理システム1のシステム構成を限定するものではない。具体的な一例として、サーバ装置100がスタンドアロンの装置として実現されてもよい。この場合には、サーバ装置100が、ユーザから各種情報の入力の受け付けてもよく、ユーザに対して各種情報の提示を行ってもよい。また、サーバ装置100に相当する構成要素が、複数の装置が協働することで実現されてもよい。具体的な一例として、サーバ装置100に相当する構成要素が、所謂クラウドサービスとして実現されてもよい。この場合には、当該クラウドサービスが、複数のサーバ装置が協働することにより実現されてもよい。
また、サーバ装置100が、撮像装置300による撮像結果に応じた画像の画像データを取得することが可能であれば、その方法については、必ずしもネットワークを介して取得する方法には限定されない。具体的な一例として、サーバ装置100と撮像装置300とをケーブル等の伝送経路を介して接続することで、撮像装置300による撮像結果に応じた画像の画像データが、当該伝送経路を介してサーバ装置100に転送されてもよい。また、サーバ装置100や撮像装置300に着脱可能な記録媒体を利用することで、撮像装置300による撮像結果に応じた画像の画像データをサーバ装置100に読み込ませてもよい。
【0016】
以上、
図1を参照して、本開示の一実施形態に係る情報処理システムのシステム構成の一例について説明した。
【0017】
<ハードウェア構成>
図2を参照して、
図1に示した本実施形態に係る情報処理システム1を構成する各種情報処理装置(例えば、サーバ装置100や端末装置200等)として適用可能な情報処理装置900のハードウェア構成の一例について説明する。情報処理装置900は、CPU(Central Processing Unit)910と、ROM(Read Only Memory)920と、RAM(Random Access Memory)930と、補助記憶装置940と、ネットワークI/F970とを含む。また、情報処理装置900は、出力装置950と、入力装置960とのうち少なくともいずれかを含んでもよい。CPU910と、ROM920と、RAM930と、補助記憶装置940と、出力装置950と、入力装置960と、ネットワークI/F970とは、バス980を介して相互に接続されている。
【0018】
CPU910は、情報処理装置900の各種動作を制御する中央演算装置である。例えば、CPU910は、情報処理装置900全体の動作を制御してもよい。ROM920は、CPU910で実行可能な制御プログラムやブートプログラムなどを記憶する。RAM930は、CPU910の主記憶メモリであり、ワークエリア又は各種プログラムを展開するための一時記憶領域として用いられる。
【0019】
補助記憶装置940は、各種データや各種プログラムを記憶する。補助記憶装置940は、HDD(Hard Disk Drive)や、SSD(Solid State Drive)に代表される不揮発性メモリ等のような、各種データを一時的または持続的に記憶可能な記憶デバイスにより実現される。
【0020】
出力装置950は、各種情報を出力する装置であり、ユーザに対する各種情報の提示に利用される。本実施形態では、出力装置950は、ディスプレイ等の表示デバイスにより実現される。出力装置950は、各種表示情報を表示させることで、ユーザに対して情報を提示する。ただし、他の例として、出力装置950は、音声や電子音等の音を出力する音響出力デバイスにより実現されてもよい。この場合には、出力装置950は、音声や電信等の音を出力することで、ユーザに対して情報を提示する。また、出力装置950として適用されるデバイスは、ユーザに対して情報を提示するために利用する媒体に応じて適宜変更されてもよい。なお、出力装置950が、各種情報の提示に利用される「出力部」の一例に相当する。
【0021】
入力装置960は、ユーザからの各種指示の受け付けに利用される。本実施形態では、入力装置960は、マウス、キーボード、タッチパネル等の入力デバイスを含む。ただし、他の例として、入力装置960は、マイクロフォン等の集音デバイスを含み、ユーザが発話した音声を集音してもよい。この場合には、集音された音声に対して音響解析や自然言語処理等の各種解析処理が施されることで、この音声が示す内容がユーザからの指示として認識される。また、入力装置960として適用されるデバイスは、ユーザからの指示を認識する方法に応じて適宜変更されてもよい。また、入力装置960として複数種類のデバイスが適用されてもよい。
【0022】
ネットワークI/F970は、外部の装置とのネットワークを介した通信に利用される。なお、ネットワークI/F970として適用されるデバイスは、通信経路の種別や適用される通信方式に応じて適宜変更されてもよい。
【0023】
情報処理装置900のプログラムは、例えば、CD-ROM等の記録媒体によって情報処理装置900に提供されるか、またはネットワーク等を介してダウンロードされてもよい。記録媒体によって情報処理装置900のプログラムが提供される場合には、記録媒体が所定のドライブ装置にセットされることで、当該記録媒体に記録されたプログラムが補助記憶装置940にインストールされる。
【0024】
また、
図2に示す構成はあくまで一例であり、必ずしも本実施形態に係る情報処理システム1を構成する情報処理装置のハードウェア構成を限定するものではない。具体的な一例として、入力装置960や出力装置950等のような一部の構成が含まれていなくてもよい。また、他の一例として、情報処理装置900が実現する機能に応じた構成が適宜追加されてもよい。
【0025】
以上、
図2を参照して、
図1に示した本実施形態に係る情報処理システム1を構成する各種情報処理装置として適用可能な情報処理装置900のハードウェア構成の一例について説明した。
【0026】
<機能構成>
図3を参照して、本実施形態に係る情報処理システム1の機能構成の一例について、特にサーバ装置100の構成に着目して説明する。サーバ装置100は、通信部101と、入出力制御部102と、入力解析部103と、再生制御部104と、画像解析部105と、管理部106と、記憶部107とを含む。
【0027】
通信部101は、サーバ装置100の各構成要素が、他の装置(例えば、端末装置200)とネットワークN1を介して情報を送受信するための通信インタフェースである。通信部101は、例えば、ネットワークI/F970により実現され得る。なお、以降の説明では、サーバ装置100の各構成要素が他の装置との間で情報の送受信を行う場合には、特に説明がない限りは、通信部101を介して当該情報の送受信が行われるものとする。
【0028】
記憶部107は、各種データや各種プログラム等を記憶するための記憶領域を模式的に示している。例えば、記憶部107は、サーバ装置100の各構成要素が処理を実行するためのデータやプログラムを記憶してもよい。
また、記憶部107は、後述する再生制御部104が再生処理の対象とする画像データ、後述する画像解析部105が解析の対象とする画像データ、及び後述する管理部106が管理対象とする各種情報等を記憶してもよい。
【0029】
入出力制御部102は、ユーザに対する各種情報の提示や、ユーザからの情報の入力(例えば、指示等)の受け付けに係る各種処理を実行する。具体的な一例として、入出力制御部102は、
図4~
図13を参照して後述するUIの提示や、当該UIを介した入力の受け付けに係る各種処理を実行する。なお、当該UIの一例については、当該UIを介した入出力に伴い実行される処理の一例と合わせて詳細を別途後述する。なお、入出力制御部102のうち、特にユーザからの情報の入力の受け付けに係る部分が、「受け付け手段」の一例に相当する。
【0030】
入力解析部103は、入出力制御部102により入力が受け付けられた情報に基づき、ユーザからの指示を認識し、当該認識の結果に応じた情報を所定の出力先(例えば、後述する再生制御部104、画像解析部105、及び管理部106等)に出力する。例えば、入力解析部103は、ユーザに提示されたUIを介して当該ユーザから入力が受け付けられた場合に、受け付けられた当該入力に基づき当該ユーザからの指示を認識してもよい。具体的な一例として、入力解析部103は、UIに提示されたボタン等の入力インタフェースがユーザから操作を受け付けた場合に、当該入力インタフェースに対応付けられた指示を認識し、当該指示を所定の出力先に出力してもよい。また、他の一例として、入力解析部103は、UIに提示された入力領域に対してユーザにより入力された情報(例えば、パラメータ等)を、当該情報を処理に利用する所定の出力先に出力してもよい。
【0031】
再生制御部104は、所望の画像データに対応する画像の再生に係る処理を実行する。例えば、再生制御部104は、記憶部107に記憶された画像データを抽出し、当該画像データに基づき画像(例えば、動画像)の再生に係る処理を実行してもよい。また、他の一例として、再生制御部104は、所定の撮像装置(例えば、撮像装置300)から撮像結果に応じた画像データを受信し、当該画像データに基づき画像の再生に係る処理を実行してもよい。
また、再生制御部104は、複数の画像データを対象として、これらの画像データの再生に係る処理を制御してもよい。具体的な一例として、再生制御部104は、同一の撮像装置による、互いに異なる時間における撮像結果に応じた複数の画像を、これらの画像に対応する画像データに関連付けられた撮像時間を示す情報(例えば、タイムスタンプ)に基づき連結して再生してもよい。また、他の一例として、再生制御部104は、互いに異なる複数の撮像装置それぞれによる撮像結果に応じた複数の画像を、これらの画像に対応する画像データに関連付けられた撮像時間を示す情報に基づき同期させて再生してもよい。
また、再生制御部104は、入力解析部103から出力されるユーザからの指示に応じた情報に基づき、画像の再生に係る処理を制御してもよい。具体的な一例として、再生制御部104は、動画像の再生を行う際に、ユーザから指示された時間から再生を開始してもよい。
以上のようにして、再生制御部104は、所望の画像データに対応する画像の再生に係る処理を実行し、当該処理の実行結果を入出力制御部102に出力してもよい。これにより、入出力制御部102は、再生された画像を、所定の出力先(例えば、UI中の所定の表示領域)に表示させることで、ユーザに当該画像を提示することが可能となる。
【0032】
画像解析部105は、所望の画像データが示す画像(例えば、当該画像データに基づき再生される画像)に対して各種の解析を施し、当該解析の結果を所定の出力先(例えば、後述する管理部106)に出力する。例えば、画像解析部105は、記憶部107に記憶された画像データを抽出し、当該画像データが示す画像に対して所定の解析を施してもよい。また、他の一例として、画像解析部105は、所定の撮像装置(例えば、撮像装置300)から撮像結果に応じた画像データを受信し、当該画像データが示す画像に対して所定の解析を施してもよい。
【0033】
画像解析部105が画像に対して施す解析は、当該解析の目的に応じて適宜変更されてもよい。具体的な一例として、画像解析部105は、対象となる画像データが示す画像中の変化を検出することで、撮像対象となる環境における状況の変化を検出してもよい。また、他の一例として、画像解析部105は、対象となる画像データが示す画像に対して画像解析を施すことで、当該画像に撮像された被写体を認識してもよい。また、他の一例として、画像解析部105は、対象となる画像データが示す動画像に対して画像解析を施すことで、当該動画像に撮像された被写体の動作を認識してもよい。例えば、画像解析部105は、上記画像解析の結果に基づき、動画像に撮像された解析対象となる動作の主体(例えば、人物や設備等)となる被写体が当該動作を開始したタイミングや、当該被写体が当該動作を終了したタイミングを検出してもよい。
【0034】
また、画像解析部105が画像の解析に適用する手法については特に限定はされない。例えば、画像解析部105は、対象となる画像データが示す画像中の画素の変化(例えば、輝度値の変化等)に基づき、撮像対象となる環境における状況の変化を検出してもよい。また、他の一例として、画像解析部105は、対象となる画像データが示す画像中から被写体の形状や色の特徴に関する特徴量を抽出し、当該特徴量を利用することで、当該画像中に撮像された被写体を認識してもよい。また、他の一例として、画像解析部105は、画像の解析に対して、所謂機械学習に基づき構築された認識器や識別器を利用してもよい。具体的な一例として、画像と、当該画像中に撮像された被写体に関する情報と、の組を教師データとして認識器が構築されてもよい。このような認識器を利用することで、入力された画像中に撮像された被写体を認識することが可能となる。
【0035】
管理部106は、管理対象となる作業者による作業の実施状況の管理に係る各種処理を実行する。また、管理部106は、作業者による作業の実施に際した各種設備の利用状況の管理(換言すると、各種設備による作業の実施状況の管理)に係る処理を実行してもよい。管理部106は、例えば、入出力制御部102により提示されるUIを介した管理者からの指示に応じて、管理対象となる作業者と、当該作業者が実施している作業と、当該作業の実施期間と、のそれぞれを示す情報を関連付けて管理する。また、管理部106は、作業の実施に際して使用されている設備(例えば、クレーン、リフター等)と、当該作業と、当該作業の実施期間と、のそれぞれを示す情報を関連付けて管理してもよい。管理部106は、このような作業者による作業の実施状況の管理に係る情報や、作業者による作業の実施に際した各種設備の利用状況の管理に係る情報を、所定の記憶領域(例えば、記憶部107等)に記憶させることで保持する。このように、管理部106は、作業者や当該作業者が使用する設備等のような作業の主体による、当該作業の実施状況の管理に係る各種処理を実行する。なお、管理対象となる作業者による作業の実施状況の管理に係る処理や、作業者による作業の実施に際した各種設備の利用状況の管理に係る処理の一例については、当該管理に利用されるUIの説明と合わせて詳細を別途後述する。
また、管理部106のうち、上記作業の実施期間に関する情報の取得に係る部分が「取得手段」の一例に相当し、上記各種管理に係る情報を所定の記憶領域に記憶させる部分が「記録手段」の一例に相当する。
【0036】
なお、上述した構成はあくまで一例であり、サーバ装置100の機能構成を必ずしも
図3に示す例には限定されない。例えば、サーバ装置100の一連の構成要素が、複数の装置が協働することで実現されてもよい。具体的な一例として、サーバ装置100の一連の構成要素のうち、一部の構成要素が当該サーバ装置100に対して外付けされていてもよい。また、他の一例として、サーバ装置100の一連の構成要素のうち、少なくとも一部の構成要素の処理に係る負荷が、複数の装置に分散されてもよい。
【0037】
以上、
図3を参照して、本実施形態に係る情報処理システム1の機能構成の一例について、特にサーバ装置100の構成に着目して説明した。
【0038】
<UI及び処理>
図4~
図14を参照して、本実施形態に係る情報処理システムが提供するUIと、当該UIを介したユーザ(管理者)からの指示に基づき実行される処理とについて一例を以下に説明する。なお、以降の説明では、便宜上、サーバ装置100が、管理者へのUIの提示、当該UIを介した管理者からの指示の受け付け、及び当該指示に応じた処理の実行を行うものとして各種説明を行う。
【0039】
まず、
図4に示すUIについて説明する。
図4に示す管理画面V100は、本実施形態に係る情報処理システムが、管理者への各種機能の提供に際して、当該管理者への情報の提示や、当該管理者からの指示の受け付けを行うためのUIの役割を担う管理画面の一例を示している。例えば、管理画面V100は、作業者が各種作業を実施する作業環境の撮像結果に応じた画像(例えば、動画像)の分析を支援するための機能を、管理者が利用する際のインタフェースの役割を担う。また、他の一例として、管理画面V100は、管理者が作業者や当該作業者が使用する設備等のような作業の主体による各種作業の実施状況の管理を行う際における、当該管理を支援するための機能を利用する際のインタフェースの役割を担う。
【0040】
ここで、管理画面V100の画面構成についてより詳しく説明する。管理画面V100は、表示領域V101、V103、及びV104と、管理インタフェースV102と、操作インタフェースV105とを含む。
【0041】
表示領域V104は、作業者や設備等の主体による作業の実施状況の分析に利用される画像(例えば、作業環境の撮像結果に応じた動画像)が表示される表示領域である。
また、表示領域V103は、表示領域V104に表示される画像の再生元となる画像データに関する情報が表示される表示領域である。具体的な一例として、表示領域V104に動画像の再生結果が表示される場合には、表示領域V103に対して、総フレーム数、フレーム番号、及びファイル名等のような、対象となる動画像に関連する管理情報や、当該動画像のデータに関する情報等が表示される。
なお、表示領域V103及びV104については、表示対象となる画像(換言すると、再生処理の対象となる画像データ)ごとに個別に領域が設けられていてもよい。例えば、
図4に示す例では、2つの動画像が表示の対象となっており、当該2つの動画像それぞれについて、表示領域V103(すなわち、表示領域V103a及びV103b)と、表示領域V104(すなわち、表示領域V104a及びV104b)とが設けられている。
また、複数の画像が表示対象となっている場合には、当該複数の画像の表示に際して同期が行われてもよい。これにより、例えば、所望の日時に互いに異なる複数の撮像装置それぞれにより撮像された画像を、表示領域V104a及びV104bそれぞれに個別に表示させることも可能となる。
【0042】
表示領域V101は、表示領域V104への画像の表示に係る各種管理情報が表示される。例えば、表示領域V101には、表示領域V104に表示されている画像(例えば、動画像)が撮像された日時に関する情報が表示されてもよい。具体的な一例として、表示領域V104a及びV104bに対して、同期が行われた複数の動画像が表示されている場合に、表示領域V104a及びV104bそれぞれに表示されているフレームに対応する日時が、表示領域V101に表示されてもよい。
【0043】
操作インタフェースV105は、表示領域V104(例えば、表示領域V104a及びV104b)への画像の表示に係る各種指示を管理者から受け付けるための入力インタフェースである。具体的な一例として、操作インタフェースV105は、表示領域V104への表示対象が動画像の場合には、当該動画像の再生及び停止、所定のタイミングに対応するフレームへのジャンプ、再生速度の調整等の指示を管理者から受け付けるための入力インタフェースを含んでもよい。また、操作インタフェースV105は、動画像中の所望のフレームに対するインデックスの付与や、当該インデックスが付与されたフレームへのジャンプに係る指示を管理者から受け付けるための入力インタフェースを含んでもよい。
【0044】
管理インタフェースV102は、管理対象として登録された、作業者や設備等の作業の主体による各種作業の実施状況の管理に係る情報の提示や、当該管理に係る管理者からの指示の受け付けを行うための入出力インタフェースである。例えば、管理インタフェースV102には、管理対象となる各主体(すなわち、作業者や設備)に対して割り当てられた作業に関する情報や、当該作業の実施期間に関する情報(例えば、開始日時、終了日時、実施期間の長さ等に関する情報)が表示される。また、管理インタフェースV102には、対象となる主体に割り当てられた作業に関する情報が表示されてもよい。例えば、
図4に示す例では、各主体に対して割り当てられた作業に関する情報として、作業内容を示す情報が提示されている。
【0045】
また、
図4に示す管理画面V100は、補足的な状況を表示するための表示領域V106が設けられていてもよい。例えば、
図4に示す例では、表示領域V106に、作業者が各種作業を実施する作業環境のレイアウトを示す画像が表示されている。また、表示領域V106に表示される情報については、ユーザからの指示やその時々の情報に応じて適宜切り替えられてもよい。
【0046】
ここで、管理画面V100を介して利用可能な機能について個別に説明する。
【0047】
(情報の登録及び管理)
まず、
図5~
図7を参照して、作業者や設備等の作業の主体による各種作業の実施状況の管理に係る情報の登録と、登録状況に応じたフィードバックとの一例について、操作方法や当該操作に応じて実行される処理とあわせて説明する。
【0048】
図5は、サーバ装置100による、各主体による作業の実施状況の管理に係る機能について概要を説明するための図であり、作業者や設備等のような管理対象となる複数の主体それぞれによる作業の実施状況を模式的に示している。なお、
図5において、横方向は時間軸を示しており、左方向が過去側を示し、右方向が未来側を示しているものとする。
本実施形態に係る情報処理システムでは、管理者が、作業環境の撮像結果に応じた動画像を確認しながら、作業者や設備等の作業の主体が実施する作業と、当該作業が実施されている期間との情報の登録を、作業環境の画像を確認しながら行う。サーバ装置100は、この管理者による各主体の作業の実施状況の管理に利用される情報の登録に際して、矛盾なくより効率的に当該登録を可能とするためのUIを提供する。
【0049】
具体的には、管理者は、提示されるUIに対して、情報登録の対象となる主体、当該主体に割り当てる作業、及び当該作業の実施期間を指定することで、各主体の作業の管理に係るデータ(以降では、個々のデータをレコードとも称する)の登録を行う。
具体的な一例として、
図5に示す例では、作業の主体である「作業者B」については、作業として「玉掛作業」を実施しており、当該玉掛作業の実施後に他の作業として「クレーン作業」を実施している。すなわち、「作業者B」については、「玉掛作業」の管理に係るレコードと、「クレーン作業」の管理に係るレコードとが、ユーザからの情報登録に係る指示に応じて記録されることとなる。
【0050】
また、作業の内容によっては、複数の主体が共通の作業を実施するような状況も想定され得る。具体的な一例として、作業者がクレーン等の設備を使用して作業を行うような状況下では、作業の主体となる当該作業者と当該設備とには、共通の作業が割り当てられることとなる。
具体的な一例として、
図5に示す例では、「作業者A」は、「クレーン作業」の実施に際して「クレーン」を使用している。そのため、作業の主体となる「作業者A」と「クレーン」とについては、同様の期間が指定された「クレーン作業」の管理に係るレコードが共通で記録されることとなる。
同様に、「作業者C」は、「リフター作業」の実施に際して「リフター」を使用している。そのため、作業の主体となる「作業者C」と「リフター」とについては、同様の期間が指定された「リフター作業」の管理に係るレコードが共通で記録されることとなる。
また、「作業者B」は、「玉掛作業」の後に実施している「クレーン作業」において「クレーン」を使用している。そのため、作業の主体となる「作業者B」と「クレーン」とについては、同様の期間が指定された「クレーン作業」の管理に係るレコードが共通で記録されることとなる。
このような状況を鑑み、サーバ装置100は、複数の主体が共通の作業を実施するような状況下において、当該複数の主体それぞれによる当該作業の実施状況の管理に係るレコードをより効率的に登録可能となるように、管理者による当該登録に係る操作を支援する。
【0051】
ここで、
図6及び
図7を参照して、「作業者C」による「リフター」を使用した「リフター作業」の実施に関して、情報の登録に係る操作と、当該操作を受けたサーバ装置100の処理とについて説明する。
【0052】
例えば、
図6(a)は、
図4を参照して説明した管理画面V100中の管理インタフェースV102の状態の一例を示した図であり、管理対象としてあらかじめ登録された主体ごとに、当該主体による作業の実施状況に関する情報の登録状況が示されている。
具体的には、管理インタフェースV102には、管理対象としてあらかじめリストに登録された一連の主体について情報が提示される。また、管理対象となる主体については、主体の種別ごとに個別に管理されていてもよい。この場合には、例えば、主体の種別ごとに個別にリストが生成されていてもよい。具体的な一例として、作業者のリストと、当該作業者が作業に利用する設備のリストとが個別に生成されていてもよい。このような仕組みを利用することで、管理インタフェースV102に対して、主体の種別ごとに、当該主体による作業の実施状況に関する情報の登録状況を提示することも可能となる。
【0053】
管理者は、管理インタフェースV102に提示された一連の主体の中から、所望の主体を選択することで、当該主体による作業の実施に関する情報を登録するための登録画面を呼び出すことが可能である。
具体的な一例として、
図6(a)に示す例は、「作業者C」による「リフター」を使用した「リフター作業」の実施に関して情報の登録が行われる前の状態を示しており、「作業者C」及び「リフター」には情報の登録が行われていない。この状態で、「作業者C」の項目がクリック操作等により選択されると、「作業者C」に対する作業の割り当てに係る画面(換言すると、作業の実施状況に関する情報の登録に係る画面)が表示される。
【0054】
図7に示す登録画面V200は、対象となる主体に対する作業の割り当てに係る指示(換言すると、当該主体による作業の実施状況の登録に係る指示)を管理者から受け付けるための画面の一例である。
図7に示す例では、「作業者C」が情報登録の対象となっており、「作業者」の欄に作業者Cを示す情報が表示されている。登録画面V200では、対象となる主体(例えば、作業者C)に対して割り当てる作業に関する情報や当該作業の実施期間に関する情報の入力を管理者から受け付けるための入力インタフェースが提示されている。
具体的な一例として、
図7に示す例では、対象となる主体に割り当てる作業に関する情報として、作業の内容を示す「作業内容」の指定を受け付けることが可能となっている。また、
図7に示す例では、作業の実施期間に関する情報として、対象となる作業の開始タイミングを示す「開始日時」と、当該作業の終了タイミングを示す「終了日時」との指定を受け付けることが可能となっている。
【0055】
また、登録画面V200では、同期対象とする他の主体の指定を受け付けるための入力領域V201が設けられている。入力領域V201に対して、登録画面V200において情報登録の対象としている主体以外の他の主体が指定されている場合には、当該登録画面V200を介して指定された情報が、登録対象となる主体に加えて当該他の主体に対しても登録される。
なお、入力領域V201への入力対象となる主体については、前述したように、管理対象となる主体としてあらかじめリストに登録されていてもよく、主体の種別ごとに当該リストが生成されていてもよい。また、この場合には、管理者は、当該リストに登録された主体の候補の中から、入力領域V201に入力する候補を選択すればよい。
例えば、
図7に示す例では、「作業者C」を情報登録の対象として、「リフター作業」の実施に関する情報が入力されており、入力領域V201に対して「リフター」が指定されている。この場合には、サーバ装置100は、登録画面V200を介して入力された情報に基づき、「作業者C」による「リフター作業」の実施に関する情報を登録するとともに、「リフター」に対しても同様の内容で「リフター作業」の実施に関する情報を登録する。
【0056】
また、
図6(b)は、
図4を参照して説明した管理画面V100中の管理インタフェースV102の状態の他の一例を示した図であり、「作業者C」による「リフター」を使用した「リフター作業」の実施に関して情報の登録が行われた後の状態を示している。
図6(b)と
図6(a)とを比較するとわかるように、
図6(b)では、「作業者C」による「リフター作業」の実施に関するレコードV1024と、「リフター」のよる「リフター作業」の実施に関するレコードV1023とが記録されている。また、レコードV1024及びV1023のそれぞれには、実施対象となる作業(すなわち、「リフター作業」)に関する情報と、作業期間に関する情報とについて共通の情報が登録されている。
【0057】
また、サーバ装置100は、情報の登録に際して、登録対象となる情報と、登録済みの他の情報との間の整合性を確認し、当該整合性が確保されていない場合には、情報の登録を制限してもよい。
具体的な一例として、
図5に示す例では、「作業者A」の作業として「クレーン作業」の後に「リフター」を使用した「リフター作業」の登録が指示されている。一方で、登録対象となる「作業者A」による「リフター」を使用した「リフター作業」については、実施期間の一部が、「作業者C」による当該「リフター」を使用した「リフター作業」の実施期間の一部と重複している。この重複する期間においては、「作業者C」が「リフター作業」の実施に際して「リフター」を使用しているにも関わらず、「作業者A」が別途「リフター作業」実施するために使用中の当該「リフター」を使用することとなり、整合性が確保されていない。
そのため、サーバ装置100は、上記に例示したような状況においては、登録対象となる「作業者A」による当該「リフター」を使用した「リフター作業」のレコードの記録を制限する。具体的には、サーバ装置100は、登録対象となるレコードと、既に登録されているレコードとの間で、作業の実施期間の少なくとも一部が重複し、かつ作業の主体が重複する場合には、登録対象となるレコードの記録を制限する。これにより、登録対象となる情報と、登録済みの他の情報との間における整合性が確保される。
なお、
図6に示す例において、対象となる主体として指定された「作業者C」に対応するレコードV1024が、「第1のレコード」の一例に相当する。また、レコードV1024とあわせて登録される、「リフター」に対応するレコードV1023が、「第2のレコード」の一例に相当する。
【0058】
以上のような仕組みにより、例えば、作業者がリフター等の設備を使用して作業を実施するような状況下においても、当該作業者及び当該設備のうちのいずれかの主体について指定した当該作業の実施に関する情報を、他の主体についても登録することが可能となる。すなわち、本実施形態に係る情報処理システムに依れば、複数の主体それぞれに対して作業の実施状況の管理に係る情報(例えば、作業の割り当てや当該作業の期間等)を個別に登録する必要がなくなるため、当該登録に係るユーザへの負担を軽減することが可能となる。また、このような特性から、本来同様の情報が登録されるべき複数の主体について、誤って異なる情報が登録される事態の発生を防止することも可能となる。すなわち、関連性のある複数のレコード間の整合性を担保することが可能となり、当該複数のレコード間の整合性の確認に係るユーザへの負担を軽減する効果を期待することも可能となる。加えて、上述の通り、新たに情報(レコード)が登録される場合に、既に登録済みの情報(レコード)との間で整合性が確保されていない場合には、新たな情報の登録が制限される。これらの特性により、ユーザは、誤って情報が登録されていないかをその都度確認する必要がなくなり、当該ユーザへの負担をさらに軽減する効果が期待できる。
【0059】
(動画像の再生)
次いで、
図8を参照して、動画像の再生に係る機能について説明する。
特定の撮像装置の動作に着目した場合に、当該撮像装置による撮像結果が必ずしも1つの画像データとして出力されているとは限らず、また、当該撮像装置が休みなく常に撮像を行っているとも限らない。このような状況を鑑み、サーバ装置100は、共通の撮像装置による撮像結果に応じた複数の画像データそれぞれに対応する動画像を、撮像が行われた日時(タイムスタンプ)に応じて連続して再生してもよい。
具体的には、サーバ装置100は、画像データのタイムスタンプや、当該画像データに対応する動画像の再生時間等の情報から、当該動画像の各シーンが撮像された日時を特定する。そのうえで、サーバ装置100は、共通の撮像装置による撮像結果に応じた複数の画像データそれぞれに対応する動画像を、当該動画像の各シーンが撮像された日時に応じて時系列に沿って連続して再生してもよい。
【0060】
例えば、
図8に示す例では、2台の撮像装置それぞれによる撮像結果に応じた画像データが、撮像装置ごとに「動画グループA」と「動画グループB」とにグループ分けされている。そのうえで、サーバ装置100は、グループごとに当該グループに属する複数の画像データそれぞれに対応する動画像を、当該動画像の各シーンが撮像された日時に応じて時系列に沿って連続して再生する。具体的には、サーバ装置100は、動画グループAに属するファイルA1~ファイルA4それぞれに対応する動画像を連続して再生してもよい。同様に、サーバ装置100は、動画グループBに属するファイルB1~ファイルB7それぞれに対応する動画像を連続して再生してもよい。
【0061】
また、サーバ装置100は、互いに異なる複数の撮像装置それぞれによる撮像結果に応じた動画像を、各動画像の各シーンが撮像された日時を同期させたうえで、並行して再生してもよい。なお、各動画像の各シーンが撮像された日時については、前述したように、各動画像に対応する画像データのタイムスタンプや、当該動画像の再生時間等の情報から特定すればよい。これにより、例えば、
図4に例示した管理画面V100の表示領域V104a及びV104bに対して、互いに異なる2つの動画像それぞれの再生結果を同期させた状態で表示させることも可能となる。
また、この場合には、各撮像装置の撮影時間外においては、画像データが存在しない場合がある。サーバ装置100は、このような撮像装置ごとの撮影時間外の日時を考慮して、各撮像装置による撮像結果に応じた動画像を、当該動画像の各シーンが撮像された同期させたうえで、並行して再生してもよい。
【0062】
以上のような制御が適用されることで、管理者は、撮像装置ごとに画像データを連結して一連の動画像を再生したり、複数の撮像装置それぞれによる撮像結果に応じた動画像を同期させたりといった煩雑な作業を行う必要がなくなる。
【0063】
また、上述したように、画像データのタイムスタンプや、当該画像データに対応する動画像の再生時間等の情報から、当該動画像の各シーンが撮像された日時を特定することが可能である。そのため、この動画像の各シーンが撮像された日時を示す情報を、
図7を参照して説明した作業の実施期間に関する情報(例えば、作業の開始日時や終了日時)の登録に利用することも可能である。
具体的な一例として、
図4に示す管理画面V100において、表示領域V104a及びV104bに動画像の再生結果が表示されている状態で、管理インタフェースV102を介して所望の主体(例えば、作業者)による作業の実施状況の管理に係る情報の登録または更新に係る指示が行われたものとする。この際に、サーバ装置100は、表示領域V104a及びV104bに表示されたシーンが撮像された日時を示す情報に応じて、登録または更新の対象となる作業の実施期間に関する情報(例えば、作業の開始日時または終了日時)を自動で入力してもよい。
このような制御が適用されることで、管理者が、作業者や設備等の各主体による作業の実施状況の管理に係る情報の登録を行う際における、当該登録に係る手間を軽減することが可能となる。
【0064】
(情報の出力)
次いで、
図9を参照して、登録された情報の出力に係る機能について説明する。
図5~
図7を参照して説明したように、本実施形態に係る情報処理システムでは、作業者や設備等の各主体による作業の管理に係るレコードとしてが、作業の主体(例えば、作業者、設備等)と、当該主体が実施した作業と、当該作業の実施期間とを少なくとも含むデータが登録される。そのため、サーバ装置100は、以上のようにして登録された一連のレコードを、一覧として出力する機能を備えていてもよい。
例えば、
図9は、登録されたレコードの一覧を画面上に表示した場合の一例を示している。このように、登録されたレコードの一覧が提示されることで、管理者であるユーザに対して、管理や分析の対象として登録済みの作業の一覧を提示することが可能となる。
【0065】
また、サーバ装置100は、登録されたレコードの一覧の提示に際し、各レコードに含まれる情報の集計や統計の結果に応じた情報を提示してもよい。例えば、
図9に示す例の場合には、サーバ装置100は、各レコードに登録された作業の実施期間に関する情報に基づき、各主体による作業の実施期間を集計したうえで、当該集計の結果を提示してもよい。
【0066】
また、画面上への出力のみに限らず、他の出力手段により登録された情報を出力する機能が設けられていてもよい。具体的な一例として、登録された一連のレコードと、当該レコードに記録された各情報との一覧を、CSV(Comma Separated Values)等の所定のフォーマットのデータとして出力する機能が設けられていてもよい。このような機能が設けられることで、例えば、管理や分析の対象として登録済みの作業の一覧をデータとして出力し、当該データを他の分析装置への入力データとして利用するといった運用も可能となる。
【0067】
(画像解析)
次いで、
図10~
図15を参照して、画像(例えば、動画像)の解析結果を利用することで、管理者による各主体の作業の実施状況の管理や分析に係る負担をより軽減する仕組みの一例について以下に説明する。
作業者や設備等の作業の主体による各種作業の実施状況の管理に係る情報の入力が、作業環境の撮像結果に応じた動画像を確認しながら行われる状況下においては、管理や分析の対象となる期間が長くなるほど、動画像の確認に係る負担がより増大する。具体的には、管理や分析の対象となる期間が長くなると、当該期間の長さに比例して動画像の録画時間もより長くなり、動画像中の一連のシーンの確認のために管理者が拘束される期間もより長くなる。
【0068】
このような状況を鑑み、本実施形態に係る情報処理システムは、例えば、作業環境の撮像結果に応じた画像を解析することで、当該画像中に撮像された主体や当該主体が実施している作業を認識や判定を行い、その結果を利用することで管理者への負担を軽減する。
画像(例えば、動画像)の解析については、例えば、機械学習(ML:Machine Learning)、深層学習(DL:Deep Learning)、コンピュータビジョン(CV:Computer Vision)等の公知の技術を利用可能である。なお、以降の説明では、便宜上、画像の解析にCVが利用されるものとする。
CVを利用した画像中の所望の対象の認識や判定には多様な手法を採用することが可能である。当該手法の具体的な一例として、色彩検出、オプティカルフロー、及び特徴量マッチング等の手法や、これらを組み合わせた手法等が挙げられる。
【0069】
ここで、
図10~
図12を参照して、画像(例えば、動画像)の解析に係る設定情報の指定を行うための画面と、当該画面の操作とについて一例を説明する。なお、
図10~
図12に示す例では、便宜上、解析の対象となる画像が動画像であるものとする。
まず、
図10について説明する。
図10は、画像の解析に係る各種機能を利用するための起点となる画面V400の一例を示した図である。画面V400には、解析の対象となる画像の再生結果を表示するための表示領域V403や、当該画像の再生に係る指示を管理者から受け付けるための操作インタフェースV404が提示されている。また、画面V400には、画像の解析に係る各種機能それぞれの呼び出しに係る指示をユーザから受け付けるためのメニュー領域V401が設けられている。なお、画面V400については、
図4に示した管理画面V100の一態様として実現されてもよいし、当該管理画面V100から読み出される他の画面として実現されてもよい。
例えば、
図10に示す例では、メニュー領域V401には、「プレビュー」、「CV制御」、及び「CVバッチ実行」それぞれの機能を呼び出すためのボタンが表示されている。「プレビュー」機能は、対象となる画像(例えば、動画像)に対して設定された解析処理の実行状況をプレビューとして管理者に提示するための機能である。「CV制御」機能は、画像の解析に係る各種設定の指定を行うための機能である。「CVバッチ実行」機能は、対象となる画像に設定された1以上の解析処理を一連のバッチ処理として実行する機能である。
なお、以降では、「CV制御」機能についてより詳しく説明するものとする。「CV制御」機能に対応付けられたボタン402が押下されると、
図11に示す画面が表示される。
【0070】
図11は、対象となる画像に対して解析に係る設定の追加や更新に係る指示を管理者から受け付けるための画面V410の一例を示している。画面V410には、対象となる画像に対して設定された解析処理の一覧が、当該解析処理に関する設定情報(例えば、解析処理が設定された動画像中の期間や、解析対象となる領域の位置や大きさ等)が提示される。また、画面V410には、画像の解析処理に係る設定情報の追加に係る指示を受け付けるためのボタンV411や、既に追加されている設定情報の更新に係る指示を受け付けるためのボタンV412が提示されている。ボタンV411またはV412が押下されると、
図12に示す設定画面が表示される。
【0071】
図12は、対象となる画像に対して施される解析処理の設定情報の指定を管理者から受け付けるための設定画面V420の一例を示している。設定画面V420は、入力領域V421~V425と、ボタンV426と、表示領域V427とを含む。
【0072】
表示領域V427は、解析の対象となる動画像の再生結果がプレビューとして表示される領域である。例えば、表示領域V427には、解析の対象となる動画像のうちの、入力領域V421を介して指定された期間に対応するシーンの再生結果がプレビューとして表示されてもよい。また、表示領域V427には、解析の対象となる領域の設定結果がプレビューとして画像中に重畳表示されてもよい。具体的な一例として、表示領域V427においてプレビューとして表示された動画像に対して、後述する入力領域V422を介して指定された情報に応じて、解析の対象となる領域を示す情報が重畳表示されてもよい。
【0073】
入力領域V421は、動画像中における解析の対象となる期間の指定を管理者から受け付けるための入力領域である。
図12に示す例では、入力領域V421を介して、解析処理の開始タイミングと、当該解析処理の終了タイミングとを、動画像が撮像された日時により指定可能となっている。なお、入力領域V421により指定された日時に対応するシーンの再生結果が、プレビューとして表示領域V427に表示されてもよい。
【0074】
入力領域V422は、画像(動画像の各フレーム)中における解析の対象となる領域の位置及び大きさの指定を管理者から受け付けるための入力領域である。
図12に示す例では、入力領域V422は、解析の対象となる領域の左上の座標及び右上の座標を指定可能となっており、これらの座標により特定される矩形状の領域が解析の対象となる領域として画像中に設定される。なお、
図12に示す例はあくまで一例であり、解析の対象となる領域の位置及び大きさを指定することが可能であれば、指定方法については特に限定はされない。また、指定可能な領域は矩形状の領域に限定されず、他の形状の領域が指定可能であってもよい。なお、指定される領域の形状に応じて、当該領域の位置及び大きさの指定方法が適宜変更されてもよい。
【0075】
入力領域V423は、画像解析の手法や、当該画像解析の結果に応じた判定方法の指定を管理者から受け付けるための入力領域である。画像解析の手法としては、前述したように、色彩検出、オプティカルフロー、及び特徴量マッチング等の手法や、これらを組み合わせた手法等を指定することが可能である。また、画像解析の手法ごとに、当該画像解析の結果に応じた判定方法として複数の候補が設けられている場合には、当該判定方法の候補を指定することが可能となっている。例えば、
図12に示す例では、画像解析の手法としてオプティカルフローが指定されており、判定方法として絶対値を使用した判定方法が指定されている。
入力領域V424は、画像解析の結果を利用した判定に適用される閾値と、当該閾値により区別される状態ごとに割り当てられる値との指定を管理者から受け付けるための入力領域である。具体的な一例として、画像解析の手法としてオプティカルフローが指定されている場合には、閾値としては、フレーム間の差分の値の判定に使用される閾値が設定され得る。また、この場合には、フレーム間の差分が閾値未満の場合の値として、動きの判定の対象となる物体が停止していることを示す値が設定され、当該差分が閾値以上の場合の値として、当該物体が稼働していることを示す値が設定され得る。
入力領域V425は、入力領域V423における指定に応じた画像解析や当該画像解析の結果に応じた判定に適用されるパラメータの指定を管理者から受け付けるための入力領域である。
【0076】
ボタンV426は、入力領域V421~V425に入力された情報の反映に係る指示を管理者から受け付けるための入力インタフェースである。ボタンV426が押下されると、入力領域V421~V425それぞれに指定された情報に応じた解析処理が設定される。
【0077】
図13は、対象となる画像に対する解析処理の適用状態の一例を示した図であり、対象となる画像に対して、画像解析の適用対象となる領域を示す情報と当該画像解析の結果を利用した判定の結果に応じた情報とが重畳された状態を示している。具体的には、
図13に示す例では、画像解析の手法としてオプティカルフローが指定されており、当該画像解析の対象となる領域を示す表示情報V431が画像V430に重畳されている。また、表示情報V431は、画像解析の結果に応じて、表示態様(例えば、輝度や色の変化等)が制御されてもよい。具体的な一例として、
図13に示す例では、物体の動きが検出された領域(換言すると、フレーム間の差分が検出された領域)が強調されるように表示情報V431の表示態様が制御されている。
図13に示す画像V430は、例えば、
図12に示す画面V410の表示領域V427や、
図10に示す画面V400の表示領域V403に表示される。
【0078】
以上のようにして、サーバ装置100は、対象となる画像に対して解析を施し、当該解析の結果を利用して各種の判定を行うことで、当該画像中における被写体の状態の認識や判定を行うことが可能である。サーバ装置100は、このような特性を利用し、作業環境の撮像結果に応じた画像を解析することで、当該画像中に撮像された主体や当該主体が実施している作業を認識や判定を行い、その結果を、管理者による各主体の作業の実施状況の管理や分析に係る作業の支援に利用してもよい。
具体的な一例として、サーバ装置100は、画像中に撮像された作業者や設備等の主体の所定の動作を検出することで、当該動作の検出結果に基づき、当該主体による所定の作業の開始タイミングを特定してもよい。また、他の一例として、サーバ装置100は、画像中に撮像された所定のインジケータの状態(例えば、色)の変化を検出することで、当該状態の変化の検出結果に基づき、当該インジケータに関連する作業の状態を認識してもよい。
【0079】
ここで、実施例として、
図14及び
図15を参照して、画像の解析結果に基づく各種の判定の結果を利用して、管理者による各主体の作業の実施状況の管理や分析に係る作業を支援する機能の一例について説明する。
【0080】
まず、実施例1として、
図14に示す例について説明する。
図14は、マシンスカーフ作業のモニタリング環境の撮像結果に応じた画像に対する画像解析の結果を利用することで、当該マシンスカーフ作業の実施状況を自動で認識する場合の一例について示している。
マシンスカーフ作業は、鋼材の高い品質を維持するために、鋼片の表面に生じた傷や不純物を燃料ガスと酸素で熱化学的に溶削する作業であり、主な作業工程として、「予熱」、「溶削」、及び「消火」の工程を含む。
本実施例では、サーバ装置100は、マシンスカーフ作業の実施環境を異なる視点から撮像した画像それぞれに対して解析を施し、当該解析の結果を利用して当該マシンスカーフ作業の状態を判定することで、その時々で実施されているマシンスカーフ作業の工程を認識する。
【0081】
図14に示す例では、マシンスカーフ作業のモニタリング環境の撮像結果に応じた動画像を利用して、当該マシンスカーフ作業の一連の工程のうちどの工程が実施されているかを判定している。具体的には、画面中には2つのモニタが撮像されており、各モニタにはマシンスカーフ作業の実施環境を互いに異なる視点から撮像した結果が動画像として表示されている。
図14に示す2つのモニタのうち、左側のモニタには、スカーフィングマシンが鋼片の表面を熱化学的に溶削する状況を、当該スカーフィングマシンの下側から暗く投影した状態で撮像した結果が表示されている。この左側のモニタに表示される画像には、画面の上部側の領域に、画像解析の対象とする領域が設定されている。また、右側のモニタには、上記スカーフィングマシンを通路越しに比較的近い位置から撮像した結果が表示されている。この右側のモニタに表示される画像には、通路の奥側に相当する領域(すなわち、スカーフィングマシンが撮像されている領域)に、画像解析の対象とする領域が設定されている。
【0082】
画面V441、V443、及びV445は、マシンスカーフ作業における「予熱」、「溶削」、及び「消火」の工程が実施されている状況下における、当該マシンスカーフ作業のモニタリング環境の撮像結果に応じた画像を模式的に示している。また、表示情報V442、V444、及びV446は、マシンスカーフ作業における「予熱」、「溶削」、及び「消火」の工程が実施されている状況下における、画像解析を利用した各種判定の結果に応じて画面上に表示される情報の一例を模式的に示している。
【0083】
まず、画面V441及び表示情報V442を参照して、「予熱」工程の認識に係る処理について説明する。スカーフィングマシンが予熱を開始すると、右側のモニタに表示された画像は、通路の奥に位置する当該スカーフィングマシンによる予熱に伴い発せられる閃光により、画像解析の対象となる領域内を含め画面全体が真っ白に光った状態となっている。また、この際に左側のモニタに表示された画像は、中央付近に白い炎の映像が確認できるが、画像解析の対象となる領域内には炎は確認できていない。
サーバ装置100は、画面V441中における、2つのモニタに表示された画像それぞれに対して設定された領域を対象とした画像解析の結果の組み合わせに基づき、実施中の工程が「予熱」工程であることを認識する。具体的な一例として、サーバ装置100は、左側のモニタに表示された画像に設定された領域の輝度が60未満であり、かつ右側のモニタに表示された画像に設定された領域の輝度が200以上である場合に、実施中の工程が「予熱」工程であると認識する。
そのうえで、サーバ装置100は、左右のモニタに表示された画像それぞれに設定された領域を対象とした画像解析の結果に基づく状態の判定結果と、これらの状態の判定結果の組み合わせに基づく実施中の工程の判定結果とを、表示情報V442として表示している。具体的には、右側のモニタに表示された画像に設定された領域の解析結果に基づく状態の判定結果は「着火」状態となっている。これに対して、左側のモニタに表示された画像に設定された領域の解析結果に基づく状態の判定結果は「停止」状態となっている。また、サーバ装置100は、上述したように、これらの状態の組み合わせに基づき、実施中の工程が「予熱」工程であると認識しており、当該認識の結果を表示情報V442として表示している。
【0084】
次いで、画面V443及び表示情報V444を参照して、「溶削」工程の認識に係る処理について説明する。スカーフィングマシンによる溶削の開始時には、右側のモニタに表示された画像は、予熱の開始時から引き続き、当該スカーフィングマシンによる予熱に伴い発せられる閃光により、画像解析の対象となる領域内を含め画面全体が真っ白に光った状態となっている。また、この際に左側のモニタに表示された画像では、画像解析の対象となる領域内に瞬間的に炎の閃光が映り込み、当該領域内全体が真っ白に光った状態となる。
サーバ装置100は、画面V443中における、2つのモニタに表示された画像それぞれに対して設定された領域を対象とした画像解析の結果の組み合わせに基づき、実施中の工程が「溶削」工程であることを認識する。具体的な一例として、サーバ装置100は、左側のモニタに表示された画像に設定された領域の輝度が60以上であり、かつ右側のモニタに表示された画像に設定された領域の輝度が200以上である場合に、実施中の工程が「溶削」工程であると認識する。
そのうえで、サーバ装置100は、左右のモニタに表示された画像それぞれに設定された領域を対象とした画像解析の結果に基づく状態の判定結果と、これらの状態の判定結果の組み合わせに基づく実施中の工程の判定結果とを、表示情報V444として表示している。具体的には、右側のモニタに表示された画像に設定された領域の解析結果に基づく状態の判定結果は「着火」状態となっている。また、左側のモニタに表示された画像に設定された領域の解析結果に基づく状態の判定結果についても「着火」状態となっている。また、サーバ装置100は、上述したように、これらの状態の組み合わせに基づき、実施中の工程が「溶削」工程であると認識しており、当該認識の結果を表示情報V444として表示している。
【0085】
次いで、画面V445及び表示情報V446を参照して、「消火」工程の認識に係る処理について説明する。スカーフィングマシンによる消火の開始時には、右側のモニタ及び左側のモニタに表示された各画像において、当該画像に設定された領域内が暗い状態(輝度が低い状態)となる。
サーバ装置100は、画面V445中における、2つのモニタに表示された画像それぞれに対して設定された領域を対象とした画像解析の結果の組み合わせに基づき、実施中の工程が「消火」工程であることを認識する。具体的な一例として、サーバ装置100は、左側のモニタに表示された画像に設定された領域の輝度が60未満であり、かつ右側のモニタに表示された画像に設定された領域の輝度が150未満である場合に、実施中の工程が「消火」工程であると認識する。
そのうえで、サーバ装置100は、左右のモニタに表示された画像それぞれに設定された領域を対象とした画像解析の結果に基づく状態の判定結果と、これらの状態の判定結果の組み合わせに基づく実施中の工程の判定結果とを、表示情報V446として表示している。具体的には、右側のモニタに表示された画像に設定された領域の解析結果に基づく状態の判定結果は「着火」状態となっている。また、左側のモニタに表示された画像に設定された領域の解析結果に基づく状態の判定結果についても「停止」状態となっている。また、サーバ装置100は、上述したように、これらの状態の組み合わせに基づき、実施中の工程が「消火」工程であると認識しており、当該認識の結果を表示情報V446として表示している。
【0086】
以上ようにして、サーバ装置100は、マシンスカーフ作業の各工程を、当該マシンスカーフ作業の実施環境の撮像結果に応じた画像に対する画像解析の結果を利用することで認識することが可能となる。これにより、例えば、サーバ装置100は、マシンスカーフ作業の各工程の認識結果を利用して、当該工程の実施状況に関する各種情報を自動で入力することで、管理者による当該情報の入力に係る負担を軽減することが可能となる。
【0087】
続いて、実施例2として、
図15に示す例について説明する。
図15は、自動研磨機作業の作業環境の撮像結果に応じた画像に対する画像解析の結果を利用することで、当該自動研磨機作業の実施状況を自動で認識する場合の一例について示している。
図15に示す例では、「シグナルランプ」、「天井クレーン」、及び「作業台」の撮像結果に応じた画像に対する画像解析の結果を利用することで、自動研磨機作業の実施状況の認識が行われる。
【0088】
例えば、表示領域V501aには、シグナルランプの撮像結果に応じた画像が表示されており、当該画像中の青色のシグナルランプに相当する領域に対して画像解析の対象とする領域が設定されている。設備可動領域に作業員が入る際には、安全処置を行ったうえで当該設備可動領域に進入することとなり、この際に青色のシグナルランプが鳴動する。そのため、例えば、シグナルランプの撮像結果に応じた画像に対する画像解析の結果を利用して、青色のシグナルランプが点灯するタイミングを検出することで、作業員が設備可動領域に進入している時間帯を検出することが可能となる。
【0089】
また、表示領域V501bには、天井クレーンにより研磨対象となる金属のロールが研磨機に載置される状況の撮像結果に応じた画像が表示されており、当該ロールの載置に際して当該天井クレーンが進入する領域に対して画像解析の対象とする領域が設定されている。すなわち、金属のロールが研磨機に載置される際には、画像解析の対象とする領域に天井クレーンが進入し、研磨が終了した後に当該天井クレーンが当該領域から離脱することとなる。そのため、例えば、画像解析の対象となる領域内に進入した天井クレーンが当該領域内において停止している期間を検出することで、当該期間を研磨時間として検出することが可能となる。
【0090】
また、表示領域V501cには、作業台が設置された作業環境の撮像結果に応じた画像が表示されており、当該作業台に対応する領域に対して画像解析の対象とする領域が設定されている。作業台が設置された領域には、当該作業台を使用した作業が実施される際に作業員が進入する。そのため、例えば、作業台が設置された領域に対する作業員の進入を検知することで、当該作業台を使用した作業の期間を検出することが可能となる。
【0091】
また、シグナルランプ、天井クレーン、及び作業台の撮像結果に応じた画像に対する画像解析の結果それぞれに基づく各種状態の判定結果を組み合わせることで、自動研磨機作業の実施状況をより詳細に識別することも可能である。
【0092】
以上ようにして、サーバ装置100は、自動研磨機作業の実施環境の撮像結果に応じた画像に対する画像解析の結果を利用することで、当該作業の実施状況を認識することが可能となる。これにより、例えば、サーバ装置100は、自動研磨機作業の実施状況の認識結果を利用して、当該実施状況に関する各種情報を自動で入力することで、管理者による当該情報の入力に係る負担を軽減することが可能となる。
【0093】
なお、画像(例えば、動画像)の解析結果に応じた各種状態の判定結果については、各主体による作業の実施状況の管理以外にも応用することが可能である。例えば、作業環境の撮像結果に応じた画像の解析結果に基づき、作業の実施に係る各種状態を判定することで、当該判定の結果が当該作業の実施状況の監視に利用されてもよい。具体的な一例として、進入に際して安全処置の実施が求められる領域に対して、作業者が安全処置を行わずに進入した場合に、この当該領域への当該作業者の進入を検知し、アラートを発する等の処理を実行させることも可能である。
【0094】
<むすび>
以上説明したように、本実施形態に係る情報処理装置は、管理対象の作業の実施に係る複数の主体の指定と、当該複数の主体に割り当てる作業の指定と、を受け付け、指定された作業の実施期間に関する情報を取得する。そのうえで、情報処理装置は、指定された複数の主体それぞれに対して、上記指定された作業と、情報が取得された当該作業の実施期間と、を共通の情報として関連付けることで、当該複数の主体それぞれの作業の管理に係るレコードを記録する。
【0095】
このような構成により、複数の主体それぞれに対して作業の実施状況の管理に係るレコードを個別に登録する必要がなくなるため、当該登録に係るユーザへの負担を軽減することが可能となる。また、このような特性から、本来同様の情報が登録されるべき複数の主体について、誤って異なる情報が登録される事態の発生を防止することも可能となる。すなわち、関連性のある複数のレコード間の整合性を担保することが可能となり、当該複数のレコード間の整合性の確認に係るユーザへの負担を軽減する効果を期待することも可能となる。
【0096】
なお、上述した実施形態はあくまで一例であり、必ずしも本発明の構成や処理を限定するものではなく、本発明の技術思想を逸脱しない範囲で種々の変形や変更が加えられてもよい。
また、本発明には、上述した実施形態の機能を実現するプログラム、および、該プログラムを格納したコンピュータが読み取り可能な記録媒体が含まれる。
【符号の説明】
【0097】
1 情報処理システム
100 サーバ装置
101 通信部
102 入出力制御部
103 入力解析部
104 再生制御部
105 画像解析部
106 管理部
107 記憶部
200 端末装置
300 撮像装置