ホーム > 特許ランキング > 株式会社Ｌｉｇｈｔｂｌｕｅ
▶ 株式会社Ｌｉｇｈｔｂｌｕｅ Ｔｅｃｈｎｏｌｏｇｙの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024081133
(43)【公開日】2024-06-17
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20240610BHJP
G06T 7/00 20170101ALI20240610BHJP
G06V 10/82 20220101ALI20240610BHJP
H04N 23/60 20230101ALI20240610BHJP
H04N 7/18 20060101ALI20240610BHJP
【ＦＩ】
G06T7/20 300
G06T7/00 350C
G06T7/00 660Z
G06V10/82
H04N23/60 500
H04N7/18 D
H04N7/18 K
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023200991
(22)【出願日】2023-11-28
(31)【優先権主張番号】P 2022194469
(32)【優先日】2022-12-05
(33)【優先権主張国・地域又は機関】JP
【新規性喪失の例外の表示】新規性喪失の例外適用申請有り
(71)【出願人】
【識別番号】519137888
【氏名又は名称】株式会社Ｌｉｇｈｔｂｌｕｅ
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】園田 亜斗夢
(72)【発明者】
【氏名】川崎 雄太
【テーマコード（参考）】
5C054
5C122
5L096
【Ｆターム（参考）】
5C054EA01
5C054EA05
5C054EA07
5C054FC01
5C054FC07
5C054FC12
5C054FE12
5C054FE18
5C054GB01
5C054GB05
5C122DA03
5C122EA42
5C122FH11
5C122FK23
5C122FK37
5C122FK41
5C122HA13
5C122HA35
5C122HA48
5C122HB01
5C122HB05
5L096BA02
5L096CA02
5L096DA02
5L096HA11
5L096KA04
(57)【要約】
【課題】画像データ内において撮像される作業について、要素の組合せを予め選択することで、複雑な作業であっても特定することができる技術を提供する。
【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行させるプログラムを実行可能なプロセッサを備える。取得ステップでは、作業が行われている態様が撮像された画像データを取得する。推定ステップでは、画像データと、学習済みモデルとに基づいて、画像データに含まれる、複数の、物体及び動作からなる群より選ばれる要素を推定する。学習済みモデルは、教師用画像データに含まれる物体及び動作を予め機械学習させたモデルである。特定ステップでは、推定された要素と、少なくとも１つの、要素の組合せを規定したルールとに基づいて、画像データに含まれる作業を特定する。
【選択図】図１
【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行させるプログラムを実行可能なプロセッサを備える。取得ステップでは、作業が行われている態様が撮像された画像データを取得する。推定ステップでは、画像データと、学習済みモデルとに基づいて、画像データに含まれる、複数の、物体及び動作からなる群より選ばれる要素を推定する。学習済みモデルは、教師用画像データに含まれる物体及び動作を予め機械学習させたモデルである。特定ステップでは、推定された要素と、少なくとも１つの、要素の組合せを規定したルールとに基づいて、画像データに含まれる作業を特定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
情報処理システムであって、
次の各ステップを実行させるプログラムを実行可能なプロセッサを備え、
取得ステップでは、作業が行われている態様が撮像された画像データを取得し、
推定ステップでは、前記画像データと、学習済みモデルとに基づいて、前記画像データに含まれる、複数の、物体及び動作からなる群より選ばれる要素を推定し、ここで前記学習済みモデルは、教師用画像データに含まれる物体及び動作を予め機械学習させたモデルであり、
特定ステップでは、推定された前記要素と、少なくとも１つの、前記要素の組合せを規定したルールとに基づいて、前記画像データに含まれる作業を特定する、システム。
次の各ステップを実行させるプログラムを実行可能なプロセッサを備え、
取得ステップでは、作業が行われている態様が撮像された画像データを取得し、
推定ステップでは、前記画像データと、学習済みモデルとに基づいて、前記画像データに含まれる、複数の、物体及び動作からなる群より選ばれる要素を推定し、ここで前記学習済みモデルは、教師用画像データに含まれる物体及び動作を予め機械学習させたモデルであり、
特定ステップでは、推定された前記要素と、少なくとも１つの、前記要素の組合せを規定したルールとに基づいて、前記画像データに含まれる作業を特定する、システム。
【請求項2】
請求項１に記載の情報処理システムにおいて、
前記画像データは、動画データであり、
前記特定ステップでは、前記動画データに含まれる、少なくとも１つの前記作業を時系列に特定する、システム。
前記画像データは、動画データであり、
前記特定ステップでは、前記動画データに含まれる、少なくとも１つの前記作業を時系列に特定する、システム。
【請求項3】
請求項１に記載の情報処理システムにおいて、
前記ルールに含まれる、前記要素の組合せそれぞれには、異なる優先度が設定され、
前記特定ステップでは、前記画像データに対して、複数の前記要素の組合せが該当する場合、前記優先度に応じて、前記作業を特定する、システム。
前記ルールに含まれる、前記要素の組合せそれぞれには、異なる優先度が設定され、
前記特定ステップでは、前記画像データに対して、複数の前記要素の組合せが該当する場合、前記優先度に応じて、前記作業を特定する、システム。
【請求項4】
請求項３に記載の情報処理システムにおいて、
前記特定ステップでは、前記画像データに対して、複数の前記要素の組合せが該当する場合、前記優先度が最も高い組合せに基づいて、前記作業を特定する、システム。
前記特定ステップでは、前記画像データに対して、複数の前記要素の組合せが該当する場合、前記優先度が最も高い組合せに基づいて、前記作業を特定する、システム。
【請求項5】
請求項１に記載の情報処理システムにおいて、
さらに、管理ステップでは、
予め設定された、複数の前記要素と、前記ルールとを管理し、
ユーザに選択された前記要素の組合せを新たな前記作業として前記ルールに追加することで、前記ルールを更新する、システム。
さらに、管理ステップでは、
予め設定された、複数の前記要素と、前記ルールとを管理し、
ユーザに選択された前記要素の組合せを新たな前記作業として前記ルールに追加することで、前記ルールを更新する、システム。
【請求項6】
請求項５に記載の情報処理システムにおいて、
さらに、第１の表示制御ステップでは、前記画像データに対し、前記ユーザの入力に応じたバウンディングボックスを重畳して表示させ、
前記要素が、前記バウンディングボックスに関連付けられ、
前記バウンディングボックスを用いて前記ユーザが前記要素の組合せを選択可能とする、システム。
さらに、第１の表示制御ステップでは、前記画像データに対し、前記ユーザの入力に応じたバウンディングボックスを重畳して表示させ、
前記要素が、前記バウンディングボックスに関連付けられ、
前記バウンディングボックスを用いて前記ユーザが前記要素の組合せを選択可能とする、システム。
【請求項7】
請求項１に記載の情報処理システムにおいて、
さらに、第２の表示制御ステップでは、特定された前記作業を一覧可能な視覚情報を表示させる、システム。
さらに、第２の表示制御ステップでは、特定された前記作業を一覧可能な視覚情報を表示させる、システム。
【請求項8】
請求項７に記載の情報処理システムにおいて、
前記視覚情報は、前記画像データに含まれる、すべての前記作業に対する、特定された前記作業それぞれが占める割合を示す情報である、システム。
前記視覚情報は、前記画像データに含まれる、すべての前記作業に対する、特定された前記作業それぞれが占める割合を示す情報である、システム。
【請求項9】
請求項８に記載の情報処理システムにおいて、
前記視覚情報は、特定された前記作業それぞれを異なる色で識別可能に示す情報である、システム。
前記視覚情報は、特定された前記作業それぞれを異なる色で識別可能に示す情報である、システム。
【請求項10】
情報処理方法であって、
請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを備える、方法。
請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを備える、方法。
【請求項11】
プログラムであって、
コンピュータに、請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを実行させる、プログラム。
コンピュータに、請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
工場の現場等において、人工知能を用いた作業の評価等が利用されつつある。例えば特許文献１には、各作業箇所に対する作業者の特定、作業工程に対する作業状態を管理することで、プラント設備に対する締結処理の信頼性を確保する締結管理の方法、システム及びそのプログラムを提供することが開示されている。
【0003】
このシステムは、次のような処理を実行する。締結管理システムにおいて、管理サーバは、送信機から発せられた信号を受信し、作業者の位置情報及び移動情報を取得する。そして、プラント設備の作業箇所に対する作業者の割当て情報及び作業工程を含む工程情報を作業状況データベース、工程情報データベースから読み出し、端末装置へプラント設備に対する締結情報を含む指示情報を通知する。その後、端末装置から作業者の識別情報を取得し、割当て情報を利用して作業者の認証処理を行い、作業報告情報を取得する。そして、取得した作業報告情報と工程情報を対比して作業状態を評価し、作業状態の評価結果をデータベースに登録する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－０４５１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術では、画像データ内において撮像されている作業が複雑な作業である場合に、その作業を特定できないという問題があった。
【0006】
本発明では上記事情に鑑み、画像データ内において撮像される作業について、要素の組合せを予め選択することで、複雑な作業であっても特定することができる技術を提供することとした。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行させるプログラムを実行可能なプロセッサを備える。取得ステップでは、作業が行われている態様が撮像された画像データを取得する。推定ステップでは、画像データと、学習済みモデルとに基づいて、画像データに含まれる、複数の、物体及び動作からなる群より選ばれる要素を推定する。学習済みモデルは、教師用画像データに含まれる物体及び動作を予め機械学習させたモデルである。特定ステップでは、推定された要素と、少なくとも１つの、要素の組合せを規定したルールとに基づいて、画像データに含まれる作業を特定する。
【0008】
本開示によれば、画像データ内において撮像される作業について、要素の組合せを予め選択することで、複雑な作業であっても特定することができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係る情報処理システム１を表す構成図である。
【図2】情報処理装置３のハードウェア構成を示すブロック図である。
【図3】端末４のハードウェア構成を示すブロック図である。
【図4】本実施形態に係る情報処理システム１の機能を示す機能ブロック図である。
【図5】情報処理システム１により実行される処理の流れの一例を示すアクティビティ図である。
【図6】設定入力画面５の一例である設定画面５ａ、５ｂを示す概要図である。
【図7】設定入力画面５の一例である設定画面５ｃ、５ｄを示す概要図である。
【図8】ルール作成画面６の一例を示す概要図である。
【図9】結果表示画面７の一例を示す概要図である。
【発明を実施するための形態】
【0010】
以下、図面を用いて本開示の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0011】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
【0012】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
【0013】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0014】
１．ハードウェア構成
本節では、ハードウェア構成について説明する。
本節では、ハードウェア構成について説明する。
【0015】
１．１ 情報処理システム１
図１は、本実施形態に係る情報処理システム１を表す構成図である。情報処理システム１は、撮像装置２と、情報処理装置３、端末４とを備え、これらが汎用又は専用の通信ネットワーク１１を通じて接続されている。ここで、情報処理システム１に例示されるシステムとは、１つ又はそれ以上の装置又は構成要素からなる。したがって、情報処理装置３や端末４単体であっても情報処理システム１に例示されるシステムに含まれる。以下、情報処理システム１に含まれる各構成要素についてさらに説明する。
図１は、本実施形態に係る情報処理システム１を表す構成図である。情報処理システム１は、撮像装置２と、情報処理装置３、端末４とを備え、これらが汎用又は専用の通信ネットワーク１１を通じて接続されている。ここで、情報処理システム１に例示されるシステムとは、１つ又はそれ以上の装置又は構成要素からなる。したがって、情報処理装置３や端末４単体であっても情報処理システム１に例示されるシステムに含まれる。以下、情報処理システム１に含まれる各構成要素についてさらに説明する。
【0016】
１．２ 撮像装置２
撮像装置２は、所定の作業が行われる現場等に設置され、静止画又は動画を撮像するための光学機器である。撮像装置２は、例えば、撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅ Ｄｅｖｉｃｅｓ）イメージセンサー又はＣＭＯＳ（Ｃｏｍｐｌｅｔｅｌｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーを備えるカメラであってよい。係る撮像素子は、撮像装置２の有するレンズから入射された光を電気信号に変換する電子部品である。撮像装置２の撮像素子の数、大きさ等の技術仕様は、限定されない。撮像された画像は、通信ネットワーク１１を介して、情報処理装置３又は端末４に送信されるとよい。
撮像装置２は、所定の作業が行われる現場等に設置され、静止画又は動画を撮像するための光学機器である。撮像装置２は、例えば、撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅ Ｄｅｖｉｃｅｓ）イメージセンサー又はＣＭＯＳ（Ｃｏｍｐｌｅｔｅｌｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーを備えるカメラであってよい。係る撮像素子は、撮像装置２の有するレンズから入射された光を電気信号に変換する電子部品である。撮像装置２の撮像素子の数、大きさ等の技術仕様は、限定されない。撮像された画像は、通信ネットワーク１１を介して、情報処理装置３又は端末４に送信されるとよい。
【0017】
１．３ 情報処理装置３
図２は、情報処理装置３のハードウェア構成を示すブロック図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して電気的に接続されている。各構成要素についてさらに説明する。
図２は、情報処理装置３のハードウェア構成を示すブロック図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して電気的に接続されている。各構成要素についてさらに説明する。
【0018】
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置３は、通信部３１及び通信ネットワーク１１を介して、外部から種々の情報を通信してもよい。
【0019】
記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部３３によって実行される情報処理装置３に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部３２は、制御部３３によって実行される情報処理装置３に係る種々のプログラムや変数等を記憶している。
【0020】
制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。すなわち、記憶部３２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部３３は単一であることに限定されず、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。換言すると、情報処理システム１は、次の各ステップを実行させるプログラムを実行可能なプロセッサを備える。
【0021】
１．４ 端末４
図３は、端末４のハードウェア構成を示すブロック図である。端末４は、各店舗や各工場の管理者（例えば、店長や工場長）が操作するものであり、各店舗や各工場に設けられていることが好ましい。端末４は、スマートフォン、タブレット端末、コンピュータ、その他電気通信回線を通じて情報処理装置３にアクセス可能なものであれば、その形態は問わない。具体的には、端末４は、通信部４１と、記憶部４２と、制御部４３と、表示部４４と、入力部４５とを備え、これらの構成要素が端末４の内部において通信バス４０を介して電気的に接続されている。通信部４１、記憶部４２及び制御部４３の説明は、情報処理装置３における各部の説明と同様のため省略する。
図３は、端末４のハードウェア構成を示すブロック図である。端末４は、各店舗や各工場の管理者（例えば、店長や工場長）が操作するものであり、各店舗や各工場に設けられていることが好ましい。端末４は、スマートフォン、タブレット端末、コンピュータ、その他電気通信回線を通じて情報処理装置３にアクセス可能なものであれば、その形態は問わない。具体的には、端末４は、通信部４１と、記憶部４２と、制御部４３と、表示部４４と、入力部４５とを備え、これらの構成要素が端末４の内部において通信バス４０を介して電気的に接続されている。通信部４１、記憶部４２及び制御部４３の説明は、情報処理装置３における各部の説明と同様のため省略する。
【0022】
表示部４４は、例えば、端末４の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部４４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、端末４の種類に応じて使い分けて実施することが好ましい。
【0023】
入力部４５は、端末４の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部４５は、表示部４４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部４５がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス４０を介して制御部４３に転送され、制御部４３が必要に応じて所定の制御や演算を実行しうる。
【0024】
２．機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、記憶部３２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部が実行されうる。
本節では、本実施形態の機能構成について説明する。前述の通り、記憶部３２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部が実行されうる。
【0025】
図４は、本実施形態に係る情報処理システム１の機能を示す機能ブロック図である。具体的には、情報処理システム１の一例である情報処理装置３は、取得部３３２と、表示制御部３３３と、推定部３３４と、特定部３３６と、管理部３３８とを備える。
【0026】
取得部３３２は、取得ステップとして、種々の情報を取得するように構成される。例えば、取得部３３２は、ユーザのアカウント情報、データ（一例として、画像データ）、ユーザからの入力等を、記憶部３２、又は通信ネットワーク１１を介して入力部４５若しくは他の外部装置から取得する。本実施形態では、取得部３３２が受け付けた種々の情報は、記憶部３２に記憶されるものとして説明する。
【0027】
表示制御部３３３は、表示制御ステップとして、種々の表示処理を実行するように構成される。例えば、表示制御部３３３は、画面、静止画又は動画を含む画像、アイコン、メッセージ等の視覚で認識可能な情報を、端末４の表示部４４に表示させるように制御する。表示制御部３３３は、視覚で認識可能な情報を端末４の表示部４４に表示させるためのレンダリング情報だけを生成してもよい。詳細については、後述する。
【0028】
推定部３３４は、種々の情報から、所定の情報を推定するように構成される。例えば、画像データから、任意の要素を推定する。詳細については、後述する。
【0029】
特定部３３６は、種々の情報から作業を特定するように構成される。例えば、画像データから推定された要素に基づいて、任意の作業を特定する。詳細については、後述する。
【0030】
管理部３３８は、種々の情報を管理するように構成される。例えば、管理部３３８は、要素とルールとを管理するように構成されるとよい。詳細については、後述する。
【0031】
３．情報処理方法
本節では、前述した情報処理システム１の情報処理方法について説明する。
本節では、前述した情報処理システム１の情報処理方法について説明する。
【0032】
３．１ 情報処理の概要
図５は、情報処理システム１により実行される処理の流れの一例を示すアクティビティ図である。以下、このアクティビティ図に沿って、情報処理の流れを概説する。以下では、作業動画（画像データの一例）内において撮像される作業を特定する一例として、作業者が部品交換作業を実施する場面を取り上げて説明する。なお、この作業動画では、作業場所を撮像可能な位置に固定されたカメラによって、部品交換作業を実施している様子が撮像されている。
図５は、情報処理システム１により実行される処理の流れの一例を示すアクティビティ図である。以下、このアクティビティ図に沿って、情報処理の流れを概説する。以下では、作業動画（画像データの一例）内において撮像される作業を特定する一例として、作業者が部品交換作業を実施する場面を取り上げて説明する。なお、この作業動画では、作業場所を撮像可能な位置に固定されたカメラによって、部品交換作業を実施している様子が撮像されている。
【0033】
【0034】
次に、ユーザは、設定入力画面５を介した入力（例えば、クリック操作、タップ操作、スワイプ操作、選択操作等）によって、任意の作業動画のデータを選択する。任意の作業動画のデータが選択された場合には、取得部３３２は、選択された作業動画のデータを画像データとして取得する（アクティビティＡ１０１）。すなわち、取得部３３２は、作業が行われている態様が撮像された画像データを取得する。上記の通り当該作業動画には、作業者によって部品交換作業が実施されている態様が撮像されている。
【0035】
続けて、ユーザは、設定入力画面５を介した入力によって、任意の学習済みモデルを選択する。任意の学習済みモデルが選択された場合には、取得部３３２は、選択された任意の学習済みモデルを取得する（アクティビティＡ１０２）。学習済みモデルは、教師用画像データに含まれる物体及び動作を予め機械学習させたモデルであるとよく、例えば、物体検出モデル、動作分類モデル等であるとよい。この場合における物体検出モデルは、画像データから、所定の物体について推定可能な学習済みモデルであるとよく、例えば、作業動画から、部品交換作業で使用する「工具」、「製品」、「部品」等の物体について推定可能な学習済みモデルであるとよい。また、動作分類モデルは、画像データから、人物の所定の動作について推定可能な学習済みモデルであるとよく、例えば、「待機している」、「物を移動している」、「作業している」等の動作について推定可能な学習済みモデルであるとよい。以下では、学習済みモデルとして、物体検出モデル及び動作分類モデルが選択されたとして説明する。また、物体検出モデル及び動作分類モデルが選択されることで、これらの学習済みモデルで推定可能な「工具」、「製品」及び「部品」という物体の名称並びに「待機している」、「物を移動している」及び「作業している」という動作の名称が取得されたとして説明する。
【0036】
さらに、ユーザは、設定入力画面５を介した入力によって、所定の設定を入力する。所定の設定が入力された場合には、取得部３３２は、入力された所定の設定を取得する（アクティビティＡ１０３）。所定の設定は、作業動画に含まれている作業を特定するための設定であり、例えば、エリア設定、ルール設定等である。エリア設定は、設定入力画面５を介した入力によって、作業動画のフレーム上において、任意のエリアを指定することで設定する。例えば、作業動画に作業台等の作業スペースが含まれて撮像されている場合に、エリア設定は、作業スペースが撮像されているエリアを指定することで設定する。指定したエリアには、ユーザが識別可能なエリアの名称が付けられるとよく、例えば、「作業スペース」というエリアの名称が付けられるとよい。また、エリアの指定は、例えば、ユーザの入力に応じて、領域オブジェクト（一例として、バウンディングボックス）を作業動画のフレームに重畳して描画することで指定されるとよい。換言すると、表示制御部３３３は、作業動画（画像データの一例）に対し、ユーザの入力に応じたバウンディングボックスを重畳して表示させる。
【0037】
また、ルール設定は、作業動画に含まれている作業を特定するためのルールの設定であり、任意の要素の組合せを規定することで設定される。つまり、ルールは、要素の組合せを規定したものを含む。ルール設定の処理は、以下の通りである。まず、表示制御部３３３は、ユーザの操作に基づいて、設定入力画面５からルール作成画面６（図８参照）に画面を遷移させる。ルール作成画面６において、ユーザは、任意の要素の組合せを規定する。具体的には例えば、ユーザは、特定する作業に合わせて、学習済みモデルによって推定可能な物体及び動作、エリア設定で設定したエリア等を要素として、要素の組合せを規定する。この場合において、学習済みモデルによって推定可能な物体及び動作の選択には、アクティビティＡ１０２にて取得されている物体の名称及び動作の名称が用いられる。また、エリア設定の選択には、エリア設定の際に付けられたエリアの名称が用いられる。さらに詳細には例えば、「作業スペースで作業している」という作業を特定する場合には、ユーザは、「作業している」という動作の要素と、「作業スペース」というエリアの要素とを選択し組み合わせることで、要素の組合せを規定する。さらに、ユーザは、規定した要素の組合せに「作業スペースで作業している」という名称を付ける。
【0038】
また、ユーザは、特定する作業の数に合わせて、要素の組合せを複数規定する。具体的には例えば、ユーザは、名称を「作業スペースで作業している」とする要素の組合せを規定し、その後さらに名称を「部品を移動している」とする要素の組合せを規定する。ユーザは、特定する作業の数に応じて、このように要素の組合せを規定することを繰り返す。この場合における特定する作業の数、すなわち規定する要素の組合せの数は、例えば２～３０個であり、好ましくは３～１５個であり、さらに好ましくは５～１０個であり、具体的には例えば、２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５，１６，１７，１８，１９，２０，２１，２２，２３，２４，２５，２６，２７，２８，２９，３０個であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。以下では、「作業スペースで作業している」及び「部品を移動している」の２個の要素の組合せが規定された場合について説明する。なお、要素の組合せを規定した後に、表示制御部３３３は、ユーザの操作に基づいて、ルール作成画面６から設定入力画面５に画面を遷移させる。
【0039】
次に、ユーザは、特定する作業に対し、特定する順番、すなわち優先度を設定する。具体的には例えば、「作業スペースで作業している」の作業を「部品を移動している」の作業よりも優先して特定する場合には、ユーザは、「作業スペースで作業している」とする要素の組合せを、「部品を移動している」とする要素の組合せよりも優先して特定するように、ルールを設定する。すなわち、ルールに含まれる、要素の組合せそれぞれには、異なる優先度が設定されるとよい。このような態様によれば、画像データ内において特定される作業に複数の候補がある場合、優先度に応じて、作業の特定をすることができる。
【0040】
また、管理部３３８は、上記の処理により取得された所定の設定を管理する。すなわち、管理部３３８は、予め設定された、複数の要素と、ルールとを管理する。
【0041】
設定入力画面５及びルール作成画面６を介した入力が完了すると、ユーザは、作業動画に含まれている作業を特定するために、推論の処理を実行する。
【0042】
推論の処理ではまず、作業動画に含まれる物体及び動作が要素として推定される。具体的には例えば、推定部３３４は、物体検出モデル及び動作分類モデルに作業動画のデータが入力されることで、作業動画に含まれる、作業に使用している物体及び作業者の動作を要素として推定する。すなわち、推定部３３４は、作業動画（画像データの一例）と、物体検出モデル及び動作分類モデル（学習済みモデルの一例）とに基づいて、作業動画に含まれる、複数の、物体及び動作からなる群より選ばれる要素を推定する。詳細には例えば、推定部３３４は、作業動画に含まれる、「工具」、「製品」及び「部品」という物体並びに「待機している」、「物を移動している」及び「作業している」という動作からなる群より、要素として「部品」、「物を移動している」及び「作業している」を推定する。
【0043】
推論の処理では次に、推定された要素と、ルール設定で規定されている要素の組合せとに基づいて、作業動画に含まれる作業が特定される。すなわち、特定部３３６は、推定された要素と、少なくとも１つの、要素の組合せを規定したルールとに基づいて、作業動画（画像データの一例）に含まれる作業を特定する（アクティビティＡ１０４）。具体的には例えば、特定部３３６は、「作業している」と推定された要素と、要素の組合せを規定したルールとに基づいて、作業動画に含まれる作業として「作業スペースで作業している」の作業を特定する。さらに同様にして、特定部３３６は、「部品」及び「物を移動している」と推定された要素と、要素の組合せを規定したルールとに基づいて、作業動画に含まれる作業として「部品を移動している」の作業を特定する。特定された作業それぞれには、作業動画の撮像時間に対応する時系列の情報が紐づけられる。例えば、作業動画が１０分の撮像時間である場合に、「作業スペースで作業している」の作業に「１分３０秒から６分３０秒まで」の情報が紐づけられ、「部品を移動している」の作業に「０分２０秒から１分２７秒まで」及び「８分１０秒から９分３秒まで」の情報が紐づけられる。換言すると、画像データは、動画データであり、この場合において特定部３３６は、動画データに含まれる、少なくとも１つの作業を時系列に特定する。このような態様によれば、作業の移り変わりを時系列として把握することができる。なお、この場合において、「作業スペースで作業している」の作業は、合計で５分間の作業であり、すなわち、作業動画の撮像時間１０分に対して５０％の割合を占める。また、「部品を移動している」の作業は、合計で２分間の作業であり、すなわち、作業動画の撮像時間１０分に対して２０％の割合を占める。
【0044】
そして、推論の処理によって結果が得られた場合には、表示制御部３３３は、端末４の表示部４４に結果表示画面７（図９参照）を表示させる（アクティビティＡ１０５）。結果表示画面７には、推論の処理で得られた結果に関する情報が示されている。具体的には例えば、結果表示画面７には、一覧可能な視覚情報として、特定された作業の名称、作業それぞれの時間情報及びその割合等が描画されるとよい。
【0045】
以上をまとめると、情報処理システム１によって実行される情報処理方法は、次の各ステップを備える。取得ステップでは、作業が行われている態様が撮像された画像データを取得する。推定ステップでは、画像データと、学習済みモデルとに基づいて、画像データに含まれる、複数の、物体及び動作からなる群より選ばれる要素を推定する。学習済みモデルは、教師用画像データに含まれる物体及び動作を予め機械学習させたモデルである。特定ステップでは、推定された要素と、少なくとも１つの、要素の組合せを規定したルールとに基づいて、画像データに含まれる作業を特定する。また、一実施形態に係るプログラムは、少なくとも１つのコンピュータに、上記情報処理システム１の各ステップを実行させる。このような態様によれば、画像データ内において撮像される作業について、要素の組合せを予め選択することで、複雑な作業であっても特定することができる。
【0046】
３．２ 情報処理の詳細
本節では、前節にて概説された情報処理方法の詳細部分を、図を用いて説明する。
本節では、前節にて概説された情報処理方法の詳細部分を、図を用いて説明する。
【0047】
図６は、設定入力画面５の一例である設定画面５ａ、５ｂを示す概要図である。図７は、設定入力画面５の一例である設定画面５ｃ、５ｄを示す概要図である。以下、設定入力画面５を介して行う入力の一例について、図６及び図７を用いて説明する。
【0048】
図６に示されている設定画面５ａ、５ｂは、動画表示領域５０１を有し、動画表示領域５０１には、ユーザに選択された作業動画（画像データの一例）が描画される。ユーザは、データ指定表示５０３の選択ボタン５０６を押下することで、任意の作業動画の選択又は変更をすることができる。具体的には、動画表示領域５０１には、部品交換作業を実施している作業者を撮像した作業動画が描画されている。動画表示領域５０１に描画されている作業動画は、作業動画の任意のフレームが静止された状態で描画される。動画表示領域５０１の下には、タイムシークバー表示５０２が表示され、タイムシークバーと、タイムシークバーの近傍に、作業動画の撮像時間と、静止しているフレームの再生時間とが示される。具体的には、タイムシークバー表示５０２には、作業動画の撮像時間である「０：３０：１５」と、静止しているフレームの再生時間である「１１：２１」とが示されている。ユーザは、任意の再生時間に合わせるようにタイムシークバー表示５０２を操作することで、作業動画のフレームを任意のフレームに変更することができる。また、設定画面５ａ、５ｂにおけるデータ指定表示５０３では、ユーザに選択された作業動画に対応して、作業動画のデータ名称が示される。具体的には、設定画面５ａ、５ｂにおけるデータ指定表示５０３には、作業動画のデータ名称である「作業＿０１．ｍｐ４」が示されている。
【0049】
図６に示されている、設定画面５ａ、５ｂは、さらにモデル指定表示５０４、５０５を有し、モデル指定表示５０４、５０５には、ユーザに選択された学習済みモデルが示される。ユーザは、モデル指定表示５０４又はモデル指定表示５０５の選択ボタン５０６を押下することで、任意の学習済みモデルの選択又は変更をすることができる。具体的には、設定画面５ａ、５ｂに描画されているモデル指定表示５０４には、ユーザに選択された物体検出モデルに対応して、モデルの名称である「Ｏｂｊｅｃｔ＿０１」が示され、モデル指定表示５０５には、ユーザに選択された動作分類モデルに対応して、モデルの名称である「Ａｃｔｉｏｎ＿０１」が示されている。
【0050】
図６に示されている設定画面５ａ、５ｂは、さらに設定表示領域５０７、５１２を有し、設定表示領域５０７、５１２には、作業動画に含まれている作業を特定するための所定の設定に関する情報が示される。以下では、まず設定表示領域５０７の説明をする。
【0051】
設定表示領域５０７には、「エリア設定」という名称が示され、「エリア設定」の名称の下に、所定の設定に関する情報のうち、エリア設定に関する情報が描画される。具体的には、設定画面５ａの設定表示領域５０７には、エリア設定に関する情報として、「作業スペース」というエリアの名称が示されたエリア設定表示５０８ａ、「製品置き場」というエリアの名称が示されたエリア設定表示５０９ａ及び「部品置き場」というエリアの名称が示されたエリア設定表示５１０ａが描画されている。また、ユーザは、追加ボタン５０７ａを押下する入力によって、新たなエリアの指定をエリア設定に追加することができる。具体的には、設定画面５ｂの設定表示領域５０７では、ユーザによって追加ボタン５０７ａを押下する入力がされることで、「道具置き場」というエリアの名称が示されたエリア設定表示５１１ａが追加されて描画されている。なお、エリア設定には、視覚情報が含まれる。具体的には、指定されているエリアそれぞれに、指定されている他のエリアと区別可能な視覚情報が対応付けられている。この場合における視覚情報は、指定されている他のエリアと区別可能な視覚情報であればよく、例えば、枠線の色及び種類、文字の色及び種類、塗りつぶしの有無及び色、装飾の有無、種類及び色等である。なお、視覚情報は、ユーザによって選択可能にしてもよく、好ましくは、予め決められた視覚情報がエリアを指定する順に順次対応づけられてもよい。
【0052】
また、ユーザは、エリア設定表示５０８ａ、５０９ａ、５１０ａ、５１１ａを押下する入力によって、エリアの指定それぞれについて個別の設定をすることができる。個別の設定では、エリアの名称の入力及び変更、作業動画のフレーム上における任意のエリアを指定及び再指定等が可能である。エリアの指定は、作業動画の任意のフレームが描画されている動画表示領域５０１に、領域オブジェクトを重畳して描画することで行う。具体的には例えば、「作業スペース」のエリアを指定する場合には、まず、ユーザは、名称を「作業スペース」とするエリア設定表示５０８ａを押下する入力を行う。ユーザによってエリア設定表示５０８ａを押下する入力がされると、エリア設定表示５０８ａのエリアの指定に対応するエリア表示５０８ｂが、動画表示領域５０１に描画可能となる。続けて、ユーザは、動画表示領域５０１に描画されている作業動画のフレームから作業者が作業を行う作業スペースを把握する。そして、ユーザは、把握した作業スペースのエリアに重畳させるように、バウンディングボックスをエリア表示５０８ｂとして入力する。同様にして、ユーザは、「製品置き場」、「部品置き場」及び「道具置き場」のエリアについて、動画表示領域５０１に描画されている作業動画のフレームから各エリアに相当するエリアを把握する。ユーザは、把握した各エリアに重畳させるようにバウンディングボックスをエリア表示５０９ｂ、５１０ｂ、５１１ｂとしてそれぞれ入力する。すなわち、このような入力によって、エリアの要素が、バウンディングボックスに関連付けられる。また、ユーザは、このような入力によってエリアの要素を予め準備することができる。ユーザは、エリア設定によってエリアの要素を予め準備することで、ルール設定において、エリアの要素を、要素の組合せに用いることができる。換言すると、バウンディングボックスを用いてユーザが要素の組合せを選択可能となる。このような態様によれば、画像データ内における物体及び動作以外の要素を用いて作業を特定することができ、作業を特定する精度の向上を図ることができる。
【0053】
次に、設定表示領域５１２の説明をする。
【0054】
設定表示領域５１２には、「作業名（優先順位）」という名称が示され、「作業名（優先順位）」の名称の下に、所定の設定に関する情報のうち、ルール設定に関する情報が描画される。具体的には、設定画面５ａ、５ｂの設定表示領域５１２におけるルール設定に関する情報は、ルールの設定がされてない状態であるため、空欄となっている。ユーザは、追加ボタン５１２ａを押下する入力によって、新たなルールを追加することができる。設定画面５ｃ、５ｄの設定表示領域５１２におけるルール設定に関する情報では、ユーザによって追加ボタン５１２ａを押下する入力がされたことで、新たなルールが追加された状態を示している。新たなルールは、作業設定表示５１３～５１５として描画されている。作業設定表示５１３～５１５には、ユーザが特定したい作業に対応するように、「作業している［製品Ｘ］」、「道具入れ替え」及び「待機している」という名称がそれぞれ示されている。なお、作業設定表示５１３～５１５のそれぞれにおけるルールの詳細な設定の説明については、図８の説明において詳述する。
【0055】
また、設定表示領域５１２では、特定する作業における、特定する順番、すなわち優先度が示される。特定する作業の優先度は、設定表示領域５１２に示されるルール設定に関する情報の並べ方により示され、上に描画されるほど優先度が高いことを示している。すなわち、ユーザは、ルール設定に関する情報を並べ替えることで特定する作業の優先度を変更することができる。設定画面５ｃの設定表示領域５１２では、上から、「作業している［製品Ｘ］」に対応する作業設定表示５１３、「道具入れ替え」に対応する作業設定表示５１４、「待機している」に対応する作業設定表示５１５の順でルール設定に関する情報が示されている。そして、設定画面５ｄの設定表示領域５１２では、「作業している［製品Ｘ］」に対応する作業設定表示５１３と、「道具入れ替え」に対応する作業設定表示５１４とが入れ替わり、「道具入れ替え」に対応する作業設定表示５１４が上に示されている。この場合では、「作業している［製品Ｘ］」の作業よりも「道具入れ替え」の作業が優先して特定される。つまり、「作業している［製品Ｘ］」の作業を特定する要素の組合せと、「道具入れ替え」の作業を特定する要素の組合せとの両方が該当する場合には、ユーザが予め定めた優先度に応じで、作業が特定される。換言すると、特定部３３６は、作業動画（画像データの一例）に対して、複数の要素の組合せが該当する場合、優先度に応じて、作業を特定する。このような態様によれば、画像データ内において特定される作業に複数の候補がある場合、優先度に応じて、作業の特定をすることができる。さらに、特定部３３６は、作業動画に対して、複数の要素の組合せが該当する場合、優先度が最も高い組合せに基づいて、作業を特定する。このような態様によれば、画像データ内において特定される作業に複数の候補がある場合、最優度が最も高い候補を作業として特定することができる。
【0056】
以上のような処理により、設定入力画面５を介して行う入力がされ、入力された情報は、記憶部３２に記憶される。また、ルール設定は、ユーザによって更新可能となっている。換言すると、管理部３３８は、ユーザに選択された要素の組合せを新たな作業としてルールに追加することで、ルールを更新する。このような態様によれば、新たに特定したい作業に対応したルールを追加できるので、ユーザの意向を適宜に反映することができる。
【0057】
入力が完了した場合には、ユーザは、完了ボタン５１６を押下することで、設定入力画面５を介した入力を完了させることができる。
【0058】
【0059】
図８に示されているルール作成画面６は、要素の組合せを規定することでルールを作成する画面である。ルール作成画面６は、作業名表示６０１と、ルール設定領域６０２、６０６と、条件選択ボタン６０５とを有している。作業名表示６０１は、作業の名称が記入可能に構成されている。ユーザは、特定する作業に対応させた、他の作業と区別可能な作業の名称を記入する。具体的には、作業名表示６０１には、作成したルールに基づき特定される作業の名称として、「作業名：作業している［製品Ｘ］」が示されている。
【0060】
また、ルール設定領域６０２及びルール設定領域６０６は、物体又は動作の要素及びエリアの要素を選択可能に構成されている。この場合において選択可能な物体及び動作の要素は、学習済みモデルによって推定可能な物体及び動作と対応している。選択可能なエリアの要素は、ユーザによって予め設定されているエリア設定と対応している。
【0061】
ルール設定領域６０２は、ラベル選択領域６０３と、エリア選択領域６０４とを有している。ラベル選択領域６０３には、「ルール作成に使うラベルを選択」と示され、その下に、ラベル選択ボタン６０３ａ～６０３ｃと、選択ウインド６０３ｄとが描画されている。ラベル選択ボタン６０３ａ～６０３ｃは、「物体」、「動作」及び「手首」とそれぞれ描画され、何れか１つを選択可能に構成されている。ラベル選択ボタン６０３ａ～６０３ｃの何れか１つが選択されることで、選択ウインド６０３ｄは、ラベル選択ボタン６０３ａ～６０３ｃの選択に対応した要素を選択可能に構成されている。具体的には例えば、ラベル選択ボタン６０３ａの「物体」が選択された場合には、選択ウインド６０３ｄでは、学習済みモデルによって推定可能な物体である「工具」、「製品」、「部品」等の物体の要素が選択可能となる。また、ラベル選択ボタン６０３ｂの「動作」が選択された場合には、選択ウインド６０３ｄでは、学習済みモデルによって推定可能な動作である「待機している」、「物を移動している」、「作業している」等の動作の要素が選択可能となる。さらに、ラベル選択ボタン６０３ｃの「手首」が選択された場合には、選択ウインド６０３ｄでは、「右手首」及び「左手首」の何れか１つが選択可能となる。図８に示されているラベル選択領域６０３では、ラベル選択ボタン６０３ｂの「動作」が選択され、選択ウインド６０３ｄで「作業している」という動作の要素が選択されている。
【0062】
エリア選択領域６０４には、「エリアを選択」と示され、その下に、選択ウインド６０４ａが描画されている。選択ウインド６０４ａは、ユーザによって予め設定されているエリア設定から、何れか１つのエリアの要素を選択可能に構成されている。図８に示されている選択ウインド６０４ａでは、「作業スペース」というエリアの要素が選択されている。
【0063】
また、ルール設定領域６０２には、ラベル選択領域６０３の下に「が」と、エリア選択領域６０４の下に「の内部にある」とが示されている。これにより、ユーザは、ルール設定領域６０２において、動作の要素である「作業している」「が」、エリアの要素である「作業スペース」「の内部にある」という要素の組合せが規定されていることを把握することができる。
【0064】
ルール設定領域６０６は、ラベル選択領域６０７と、エリア選択領域６０８とを有している。ラベル選択領域６０７には、「ルール作成に使うラベルを選択」と示され、その下に、ラベル選択ボタン６０７ａ～６０７ｃと、選択ウインド６０７ｄとが描画されている。エリア選択領域６０８には、「エリアを選択」と示され、その下に、選択ウインド６０８ａが描画されている。つまり、ラベル選択領域６０７は、ラベル選択領域６０３と略同様に構成され、エリア選択領域６０８は、エリア選択領域６０４と略同様に構成されている。当該略同様の構成については、説明を省略する。
【0065】
図８に示されているルール設定領域６０６では、ラベル選択ボタン６０７ａの「物体」が選択され、選択ウインド６０７ｄで「製品Ｘ」という物体の要素が選択されている。図８に示されている選択ウインド６０８ａでは、「製品置き場」というエリアの要素が選択されている。すなわち、ユーザは、ルール設定領域６０６において、物体の要素である「製品Ｘ」「が」、エリアの要素である「製品置き場」「の内部にある」という要素の組合せが規定されていることを把握することができる。
【0066】
条件選択ボタン６０５は、「ａｎｄ」と示された条件選択ボタン６０５ａと、「ｏｒ」と示された条件選択ボタン６０５ｂとを有し、何れか１つをユーザが選択可能に構成されている。条件選択ボタン６０５は、ルール設定領域６０２とルール設定領域６０６との間の位置に描画され、ルール設定領域６０２とルール設定領域６０６との関係性を選択可能に構成されている。この場合における関係性は、「ａｎｄ」条件及び「ｏｒ」条件の何れか一方である。条件選択ボタン６０５ａが選択されている場合、すなわち「ａｎｄ」条件の場合では、ルール設定領域６０２における要素の組合せと、ルール設定領域６０６における要素の組合せとの両方が該当することが要件となる。また、条件選択ボタン６０５ｂが選択されている場合、すなわち「ｏｒ」条件の場合では、ルール設定領域６０２における要素の組合せ、及びルール設定領域６０６における要素の組合せの何れか一方が該当することが要件となる。図８に示されている条件選択ボタン６０５では、条件選択ボタン６０５ａの「ａｎｄ」が選択されている。すなわち、ユーザは、ルール設定領域６０２における要素の組合せと、ルール設定領域６０６における要素の組合せとが「ａｎｄ」条件であることを把握することができる。
【0067】
図８に示されているルール設定をまとめると次の通りである。作業名を「作業している［製品Ｘ］」とする作業が特定されるのは、以下の場合である。ルール設定領域６０２における要素の組合せの規定に基づき、「作業スペース」のエリアの要素の内部において、「作業している」の動作の要素が推定された場合である。また、ルール設定領域６０６における要素の組合せの規定に基づき、「製品置き場」のエリアの要素の内部において、「製品Ｘ」の物体の要素が推定された場合である。そして、これら２つの場合を「ａｎｄ」条件として、すなわち同時に該当する場合において、作業名を「作業している［製品Ｘ］」とする作業が特定される。
【0068】
ユーザは、ルール作成画面６を介したこのような入力によって、「道具入れ替え」、「待機している」等の他の特定したい作業についても要素の組合せを規定する。
【0069】
【0070】
図９に示されている結果表示画面７は、動画表示領域７０１と、設定表示領域７０２、７０７と、情報表示領域７０８と、作業割合表示７０９と、作業詳細表示７１０とを有している。動画表示領域７０１は、作業動画を描画する領域であり、結果表示画面７の中央の上部に描画されている。設定表示領域７０２、７０７は、推論の処理における設定に関する情報を示している領域であり、結果表示画面７の左側に描画されている。情報表示領域７０８は、推論の処理に関する種々の情報を示す領域であり、結果表示画面７の中央の下部に描画されている。作業割合表示７０９と、作業詳細表示７１０とは、推論の処理の結果に関する情報を示す領域であり、結果表示画面７の右側に描画されている。以下、それぞれについての詳細を説明する。
【0071】
動画表示領域７０１には、作業動画が描画され、さらにバウンディングボックスによってエリア表示７０３ｂ～７０６ｂが描画されている。つまり、バウンディングボックスは、作業動画に重畳して描画されている。エリア表示７０３ｂ～７０６ｂは、設定表示領域７０２でエリア設定として示されているエリア設定表示７０３ａ～７０６ａに対応している。
【0072】
設定表示領域７０２には、「エリア設定」と示され、その下には、エリア設定としてエリア設定表示７０３ａ～７０６ａが描画されている。エリア設定表示７０３ａ～７０６ａには、「作業スペース」、「製品置き場」、「部品置き場」及び「道具置き場」というエリアの名称がそれぞれ示され、さらに、他のエリアと区別可能な視覚情報が対応付けられている。なお、この場合における視覚情報には、設定入力画面５においてエリア設定で設定した視覚情報が用いられるとよい。
【0073】
エリア設定表示７０３ａ～７０６ａ及びエリア表示７０３ｂ～７０６ｂは、設定入力画面５において設定したエリア設定であるエリア設定表示５０８ａ～５１１ａ及びエリア表示５０８ｂ～５１１ｂに対応している。具体的には、設定入力画面５において設定された「作業スペース」、「製品置き場」、「部品置き場」及び「道具置き場」のエリアの設定が、エリア設定表示７０３ａ～７０６ａ及びエリア表示７０３ｂ～７０６ｂとして描画されている。これにより、ユーザは、設定入力画面５において設定したエリア設定を、結果表示画面７において把握することができる。
【0074】
設定表示領域７０７には、「作業名」と示され、その下には、作業設定表示７０７ａ～７０７ｅが描画されている。作業設定表示７０７ａ～７０７ｅには、「道具入れ替え」、「作業している［製品Ｘ］」、「作業している［製品Ｙ］」、「待機している」及び「物を移動している」というルールの名称がそれぞれ示され、さらに、他のルールと区別可能な視覚情報が対応付けられている。この場合における視覚情報は、他のルールと区別可能な視覚情報であればよく、例えば、枠線の色及び種類、文字の色及び種類、塗りつぶしの有無及び色、装飾の有無、種類及び色等である。なお、視覚情報は、ユーザによって任意に選択されてもよく、好ましくは、予め決められた視覚情報がルールの設定の表示順に順次対応づけられてもよい。
【0075】
作業設定表示７０７ａ～７０７ｅは、設定入力画面５における設定表示領域５１２において設定したルール設定に対応している。具体的には、設定入力画面５において設定された「道具入れ替え」、「作業している［製品Ｘ］」、「待機している」等のルールの名称が、作業設定表示７０７ａ～７０７ｅにも描画されている。これにより、ユーザは、設定入力画面５において設定したルール設定を、結果表示画面７においても把握することができる。
【0076】
情報表示領域７０８は、作業名表示７０８ａと、タイムシークバー表示７０８ｂ、７０８ｃと、動画操作ボタン７０８ｄと、指定表示７０８ｅとを有する。作業名表示７０８ａには、作業の名称が描画されている。描画される作業の名称は、動画表示領域７０１に描画されている作業動画のフレームにおいて特定された作業に対応している。具体的には、作業名表示７０８ａには、「作業している［製品Ｘ］」が示されている。タイムシークバー表示７０８ｂは、作業動画の再生時間に対応するタイムシークバーであり、タイムシークバーを区切るように描画された視覚情報が含まれている。タイムシークバー表示７０８ｂにおける視覚情報は、作業設定表示７０７ａ～７０７ｅにおける視覚情報に対応している。つまり、タイムシークバー表示７０８ｂでは、タイムシークバーを区切るように視覚情報が描画されることで、作業動画に含まれる作業を視覚的にユーザが把握することができる。タイムシークバー表示７０８ｃは、タイムシークバー表示７０８ｂと同様に作業動画の再生時間に対応するタイムシークバーであり、タイムシークバー表示７０８ｂの下に並行して描画されている。また、タイムシークバー表示７０８ｃには、作業動画の撮像時間である「０：３０：１５」と、静止しているフレームの再生時間である「１１：２１」とが示されている。これにより、ユーザは、動画表示領域７０１にて描画されている、作業動画の撮像時間及び作業動画のフレームの再生時間を把握することができる。動画操作ボタン７０８ｄは、ユーザからの入力に基づいて、動画表示領域７０１に描画されている作業動画の再生、コマ送り及びコマ戻しの操作をすることができる。指定表示７０８ｅには、設定入力画面５において選択され推論の処理に用いた、画像データ及び学習済みモデルが示されている。具体的には、指定表示７０８ｅには、画像データとして「動画データ：作業＿０１．ｍｐ４」と、学習済みモデルとして「物体検出モデル：Ｏｂｊｅｃｔ＿０１」及び「動作分類モデル：Ａｃｔｉｏｎ＿０１」とが示されている。
【0077】
作業割合表示７０９には、「作業の割合」と示され、その下には、円グラフ表示７０９ａと、凡例表示７０９ｂ～７０９ｆとが描画されている。円グラフ表示７０９ａには、推論の処理によって特定された作業の種類及び時間に基づいて、円グラフが描画される。円グラフには、作業動画の撮像時間に対する作業の時間が割合として示される。凡例表示７０９ｂ～７０９ｆは、円グラフ表示７０９ａの近傍に示され、円グラフに用いられているデータの凡例を示す。凡例表示７０９ｂ～７０９ｆでは、設定表示領域７０７に描画されている作業設定表示７０７ａ～７０７ｅに対応付けるように、凡例が描画される。さらに、円グラフ表示７０９ａ及び凡例表示７０９ｂ～７０９ｆでは、特定された作業の時間の割合が多い順に、データ及び凡例が描画される。
【0078】
具体的には、図９に示されている円グラフ表示７０９ａでは、作業の時間の割合が多い順に、凡例表示７０９ｂにおける視覚情報と「３７％」とが示され、凡例表示７０９ｃにおける視覚情報と「２７％」とが示され、凡例表示７０９ｄにおける視覚情報と「１７％」とが示され、凡例表示７０９ｅにおける視覚情報と「１３％」とが示され、凡例表示７０９ｆにおける視覚情報と「６％」とが示されている。また、凡例表示７０９ｂでは、作業設定表示７０７ｃに対応付けるように、視覚情報と「作業している［製品Ｙ］」の記載とが描画されている。凡例表示７０９ｃでは、作業設定表示７０７ｂに対応付けるように、視覚情報と「作業している［製品Ｘ］」の記載とが描画されている。凡例表示７０９ｄでは、作業設定表示７０７ｅに対応付けるように、視覚情報と「物を移動している」の記載とが描画されている。凡例表示７０９ｅでは、作業設定表示７０７ａに対応付けるように、視覚情報と「道具入れ替え」の記載とが描画されている。凡例表示７０９ｆでは、作業設定表示７０７ｄに対応付けるように、視覚情報と「待機している」の記載とが描画されている。この場合における視覚情報は、特定された作業それぞれを区別可能な視覚情報であればよく、例えば、枠線の色及び種類、塗りつぶしの有無及び色、装飾の有無、種類及び色等である。なお、視覚情報は、推論の処理を実行に伴って決められてもよく、好ましくは、ルール設定において特定する作業それぞれに決められた視覚情報が用いられるとよい。換言すると、視覚情報は、特定された作業それぞれを異なる色で識別可能に示す情報であるとよい。このような態様によれば、複数の特定された作業それぞれについて、色によって識別することができる。なお、図８に示されている特定された作業では、作業設定表示７０７ａ～７０７ｅにおいて示されている作業が全て網羅されている。作業設定表示７０７ａ～７０７ｅにおいて示されている作業の何れかが、作業動画に含まれない作業の場合には、作業割合表示７０９において描画されない又は作業の割合を「０％」として描画されるとよい。また、作業設定表示７０７ａ～７０７ｅにおいて示されている作業の何れにも該当しない場合には、その作業は、「その他」等の名称の作業として特定されるとよい。
【0079】
作業詳細表示７１０には、「作業の詳細」と示され、データダウンロードボタン７１０ａと、作業時間表示７１０ｂとを有する。データダウンロードボタン７１０ａは、ユーザからの入力に基づいて、推論の処理で得られた結果のデータをダウンロードすることができる。ダウンロードされるデータには、特定された作業の種類、作業それぞれの時間に関する情報、作業の時間の割合等が含まれる。作業時間表示７１０ｂでは、作業動画の時系列に対応するように、特定された作業が列記される。具体的には、作業時間表示７１０ｂでは、作業動画の時間と作業の名称とが、作業が特定された順に並べて示される。図９に示されている作業時間表示７１０ｂでは、上から順に、「０：００～０：５２ 待機している」、「０：５３～１：５５ 物を移動している」、「１：５６～２：２４ 作業している［製品Ｘ］」、「２：２５～２：３３ 道具入れ替え」、「２：３４～３：０１ 作業している［製品Ｘ］」、「３：０２～３：０８ 道具入れ替え」等が示されている。
【0080】
以上のように結果表示画面７には、一覧可能に、特定された作業の名称、作業それぞれの時間情報及びその割合等が描画されている。すなわち、表示制御部３３３は、特定された作業を一覧可能な視覚情報を表示させる。このような態様によれば、画像データ内において特定された作業について、ひと目で確認することができる。また、視覚情報は、作業動画（画像データの一例）に含まれる、すべての作業に対する、特定された作業それぞれが占める割合を示す情報であるとよい。このような態様によれば、画像データ内において特定されたすべての作業に対する、作業それぞれが占める割合を把握することができる。
【0081】
［その他］
前述の実施形態に係る情報処理システム１に関して、以下のような態様を採用してもよい。
前述の実施形態に係る情報処理システム１に関して、以下のような態様を採用してもよい。
【0082】
上記の実施形態では、画像データとして、作業者による部品交換作業が撮像されている作業動画を用いて説明したが、これに限られず画像データには、いかなる作業が撮像された画像データが選択されてもよく、例えば、工場における仕分け作業、店舗における接客作業、オフィスにおける事務作業等が撮像された画像データが選択されていてもよい。また、上記の実施形態では、画像データとして、１つの作業動画が選択される場合について説明したが、これに限られず複数のデータが画像データとして選択されてもよい。具体的には例えば、複数のデータの数は、２，３，４，５，６，７，８，９，１０であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。詳細には例えば、店舗における接客作業が１日ごとに１週間分のデータ、すなわち７つのデータが画像データとして選択されてもよい。この場合には、複数のデータに対してまとめて推論の処理が実行されることで、ユーザは、複数のデータに含まれる作業について１つの結果を効率的に得ることができる。
【0083】
上記の実施形態では、画像データとして、作業場所及び作業者等を固定されたカメラによって撮像されている作業動画が選択される場合について説明したが、これに限られない。例えば、移動するカメラによって撮像された画像データが選択されてもよく、作業者を追従して撮像されている画像データが選択されてもよい。この場合におけるエリア設定では、カメラの移動にかかわらず固定された位置にエリアが指定されてもよく、撮像のフレーム毎にエリアを自動的に追従するようにエリアが指定されてもよい。
【0084】
上記の実施形態では、任意の学習済みモデルとして、物体検出モデル及び動作分類モデルが選択される場合について説明したが、これに限られず例えば、１つの学習済みモデルが選択されてもよく、物体検出モデル及び動作分類モデルそれぞれが複数選択されてもよい。具体的には例えば、「待機している」、「物を移動している」、「作業している」の動作について推定可能な動作分類モデルのみが選択されてもよい。また、「工具」、「製品」、「部品」の物体について推定可能な物体検出モデルと、「台車」、「梱包用テープ」、「ダンボール箱」の物体について推定可能な物体検出モデルと、「待機している」、「物を移動している」、「作業している」の動作について推定可能な動作分類モデルとが選択されてもよい。このような態様によれば、より詳細な要素の組合せを用いた推論の処理を実行することができる。
【0085】
上記の実施形態では図８に例示されたように、「作業している［製品Ｘ］」の作業を特定するルールでは、エリアの要素を含んで要素の組合せが規定されていたが、これに限られず例えば、エリアの要素が選択されず、エリアの要素を含まずに要素の組合せが規定されてもよい。具体的には例えば、「待機している」のルール設定において、エリアの要素が選択されず、「待機している」という動作の要素のみで、要素の組合せが規定されてもよい。なお、エリアの要素が選択されないことが、画像データに撮像されているフレームの全ての範囲が選択されていることと同一であるとして処理を実行してもよい。
【0086】
上記の実施形態では図８に例示されたように、ルール作成画面６では、ルール設定領域６０２とルール設定領域６０６の２つの領域を用いて要素の組合せが規定されていたが、これに限られず例えば、ルール設定領域６０２の１つの領域のみを用いて要素の組合せが規定されてもよい。具体的には例えば、「待機している」の作業を特定するルールの設定をする場合には、ルール設定領域６０２のみを用いて、「待機している」の動作の要素と、「作業スペース」のエリアの要素とを組合せて規定するとよい。なお、この場合には、条件選択ボタン６０５とルール設定領域６０６とが使用されない。
【0087】
上記の実施形態では図９に例示されたように、結果表示画面７における円グラフ表示７０９ａ及び凡例表示７０９ｂ～７０９ｆでは、特定された作業の時間の割合が多い順に、データ及び凡例が描画される場合を説明したが、これに限られない。例えば、円グラフ表示７０９ａ及び凡例表示７０９ｂ～７０９ｆでは、ルール設定において定めた特定する作業の優先順位の順に、データ及び凡例が描画されてもよく、ユーザが所望する表示順にデータ及び凡例が描画されてもよい。
【0088】
次に記載の各態様で提供されてもよい。
【0089】
（１）情報処理システムであって、次の各ステップを実行させるプログラムを実行可能なプロセッサを備え、表示制御ステップでは、所定の動画データにアノテーションを行うための画面を表示させ、受付ステップでは、前記画面を介して、前記動画データに含まれる少なくとも１つのフレームに対して、物体を指定する第１の入力を前記アノテーションとして受け付けるとともに、前記動画データを時系列で区切った部分に対して、動作を指定する第２の入力を前記アノテーションとして受け付け、学習ステップでは、前記アノテーションに基づいて、前記物体と前記動作とを推定可能な学習済みモデルを生成する、システム。
【0090】
このような態様によれば、工場の現場等において、作業の評価等を行うための学習済みモデルを、容易に作成することができる。
【0091】
（２）上記（１）に記載の情報処理システムにおいて、前記表示制御ステップでは、ユーザの入力に応じた領域オブジェクトを前記画面に表示させ、前記受付ステップでは、前記画面内での前記領域オブジェクトの位置に基づいて、前記第１の入力を前記アノテーションとして受け付ける、システム。
【0092】
このような態様によれば、フレームに対する領域オブジェクトの位置に基づいて物体を指定できるので、容易にアノテーションをすることができる。
【0093】
（３）上記（２）に記載の情報処理システムにおいて、前記表示制御ステップでは、前記ユーザの入力が前記動画データの１つのフレームに対して行われた場合に、前記領域オブジェクトを前記画面に表示させるとともに、前記フレーム以降の後続フレームにおいても、前記領域オブジェクトを前記フレームに設定された位置に表示させる、システム。
【0094】
このような態様によれば、後続フレームにおいて領域オブジェクトが予め表示されるので、アノテーションを効率的に進めることができる。
【0095】
（４）上記（２）に記載の情報処理システムにおいて、前記表示制御ステップでは、前記ユーザの入力が前記動画データの１つのフレームに対して行われた場合に、前記領域オブジェクトを前記画面に表示させ、前記フレーム以降の後続フレームにおいては、前記領域オブジェクトを前記領域オブジェクトに含まれる物体の位置に応じた位置に表示させる、システム。
【0096】
このような態様によれば、後続フレームにおいて領域オブジェクトが物体の移動に追従して予め表示されるので、アノテーションをさらに効率的に進めることができる。
【0097】
（５）上記（１）～（４）の何れか１つに記載の情報処理システムにおいて、さらに、物体認識ステップでは、前記動画データと、予め設定された参照情報とに基づいて、前記動画データに含まれる少なくとも１つの物体である既知物体を認識し、前記受付ステップでは、前記画面を介して、前記既知物体以外の物体を指定する第１の入力を前記アノテーションとして受け付ける、システム。
【0098】
このような態様によれば、既知物体のアノテーションを機械的に行うことができるので、ユーザの入力する量を減らすことができる。
【0099】
（６）上記（１）～（５）の何れか１つに記載の情報処理システムにおいて、前記表示制御ステップでは、前記動画データの時系列に対応するシークバーを前記画面に表示させ、ここで前記シークバーは、時系列で区切られ、これにより、前記動画データが時系列で区切られる、システム。
【0100】
このような態様によれば、動画データが時系列で区切られていることを、視覚的に把握することができ、ユーザフレンドリーな入力する画面を提供することができる。
【0101】
（７）情報処理システムであって、次の各ステップを実行させるプログラムを実行可能なプロセッサを備え、取得ステップでは、作業が行われている態様が撮像された画像データを取得し、推定ステップでは、前記画像データと、学習済みモデルとに基づいて、前記画像データに含まれる、複数の、物体及び動作からなる群より選ばれる要素を推定し、ここで前記学習済みモデルは、教師用画像データに含まれる物体及び動作を予め機械学習させたモデルであり、特定ステップでは、推定された前記要素と、少なくとも１つの、前記要素の組合せを規定したルールとに基づいて、前記画像データに含まれる作業を特定する、システム。
【0102】
このような態様によれば、画像データ内において特定される作業について、要素の組合せを予め選択することで、複雑な作業であっても特定することができる。
【0103】
（８）上記（７）に記載の情報処理システムにおいて、前記画像データは、動画データであり、前記特定ステップでは、前記動画データに含まれる、少なくとも１つの前記作業を時系列に特定する、システム。
【0104】
このような態様によれば、作業の移り変わりを時系列として把握することができる。
【0105】
（９）上記（７）～（８）の何れか１つに記載の情報処理システムにおいて、前記ルールに含まれる、前記要素の組合せそれぞれには、異なる優先度が設定され、前記特定ステップでは、前記画像データに対して、複数の前記要素の組合せが該当する場合、前記優先度に応じて、前記作業を特定する、システム。
【0106】
このような態様によれば、画像データ内において特定される作業に複数の候補がある場合、優先度に応じて、作業の特定をすることができる。
【0107】
（１０）上記（９）に記載の情報処理システムにおいて、前記特定ステップでは、前記画像データに対して、複数の前記要素の組合せが該当する場合、前記優先度が最も高い組合せに基づいて、前記作業を特定する、システム。
【0108】
このような態様によれば、画像データ内において特定される作業に複数の候補がある場合、最優度が最も高い候補を作業として特定することができる。
【0109】
（１１）上記（７）～（１０）の何れか１つに記載の情報処理システムにおいて、さらに、管理ステップでは、予め設定された、複数の前記要素と、前記ルールとを管理し、ユーザに選択された前記要素の組合せを新たな前記作業として前記ルールに追加することで、前記ルールを更新する、システム。
【0110】
このような態様によれば、新たに特定したい作業に対応したルールを追加できるので、ユーザの意向を適宜に反映することができる。
【0111】
（１２）上記（１１）に記載の情報処理システムにおいて、さらに、第１の表示制御ステップでは、前記画像データに対し、前記ユーザの入力に応じたバウンディングボックスを重畳して表示させ、前記要素が、前記バウンディングボックスに関連付けられ、前記バウンディングボックスを用いて前記ユーザが前記要素の組合せを選択可能とする、システム。
【0112】
このような態様によれば、画像データ内における物体及び動作以外の要素を用いて作業を特定することができ、作業を特定する精度の向上を図ることができる。
【0113】
（１３）上記（７）～（１２）の何れか１つに記載の情報処理システムにおいて、さらに、第２の表示制御ステップでは、特定された前記作業を一覧可能な視覚情報を表示させる、システム。
【0114】
このような態様によれば、画像データ内において特定された作業について、ひと目で確認することができる。
【0115】
（１４）上記（１３）に記載の情報処理システムにおいて、前記視覚情報は、前記画像データに含まれる、すべての前記作業に対する、特定された前記作業それぞれが占める割合を示す情報である、システム。
【0116】
このような態様によれば、画像データ内において特定されたすべての作業に対する、作業それぞれが占める割合を把握することができる。
【0117】
（１５）上記（１４）に記載の情報処理システムにおいて、前記視覚情報は、特定された前記作業それぞれを異なる色で識別可能に示す情報である、システム。
【0118】
このような態様によれば、複数の特定された作業それぞれについて、色によって識別することができる。
【0119】
（１６）情報処理方法であって、上記（１）～（１５）の何れか１つに記載の情報処理システムの各ステップを備える、方法。
【0120】
このような態様によれば、工場の現場等において、作業の評価等を行うための学習済みモデルを、容易に作成することができる。
【0121】
（１７）プログラムであって、コンピュータに、上記（１）～（１５）の何れか１つに記載の情報処理システムの各ステップを実行させる、プログラム。
【0122】
このような態様によれば、工場の現場等において、作業の評価等を行うための学習済みモデルを、容易に作成することができる。
もちろん、この限りではない。
もちろん、この限りではない。
【0123】
最後に、本開示に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0124】
１ ：情報処理システム
１１ ：通信ネットワーク
２ ：撮像装置
３ ：情報処理装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３２ ：取得部
３３３ ：表示制御部
３３４ ：推定部
３３６ ：特定部
３３８ ：管理部
４ ：端末
４０ ：通信バス
４１ ：通信部
４２ ：記憶部
４３ ：制御部
４４ ：表示部
４５ ：入力部
５ ：設定入力画面
５ａ ：設定画面
５ｂ ：設定画面
５ｃ ：設定画面
５ｄ ：設定画面
５０１ ：動画表示領域
５０２ ：タイムシークバー表示
５０３ ：データ指定表示
５０４ ：モデル指定表示
５０５ ：モデル指定表示
５０６ ：選択ボタン
５０７ ：設定表示領域
５０７ａ ：追加ボタン
５０８ａ ：エリア設定表示
５０８ｂ ：エリア表示
５０９ａ ：エリア設定表示
５０９ｂ ：エリア表示
５１０ａ ：エリア設定表示
５１０ｂ ：エリア表示
５１１ａ ：エリア設定表示
５１１ｂ ：エリア表示
５１２ ：設定表示領域
５１２ａ ：追加ボタン
５１３ ：作業設定表示
５１４ ：作業設定表示
５１５ ：作業設定表示
５１６ ：完了ボタン
６ ：ルール作成画面
６０１ ：作業名表示
６０２ ：ルール設定領域
６０３ ：ラベル選択領域
６０３ａ ：ラベル選択ボタン
６０３ｂ ：ラベル選択ボタン
６０３ｃ ：ラベル選択ボタン
６０３ｄ ：選択ウインド
６０４ ：エリア選択領域
６０４ａ ：選択ウインド
６０５ ：条件選択ボタン
６０５ａ ：条件選択ボタン
６０５ｂ ：条件選択ボタン
６０６ ：ルール設定領域
６０７ ：ラベル選択領域
６０７ａ ：ラベル選択ボタン
６０７ｂ ：ラベル選択ボタン
６０７ｃ ：ラベル選択ボタン
６０７ｄ ：選択ウインド
６０８ ：エリア選択領域
６０８ａ ：選択ウインド
７ ：結果表示画面
７０１ ：動画表示領域
７０２ ：設定表示領域
７０３ａ ：エリア設定表示
７０３ｂ ：エリア表示
７０４ａ ：エリア設定表示
７０４ｂ ：エリア表示
７０５ａ ：エリア設定表示
７０５ｂ ：エリア表示
７０６ａ ：エリア設定表示
７０６ｂ ：エリア表示
７０７ ：設定表示領域
７０７ａ ：作業設定表示
７０７ｂ ：作業設定表示
７０７ｃ ：作業設定表示
７０７ｄ ：作業設定表示
７０７ｅ ：作業設定表示
７０８ ：情報表示領域
７０８ａ ：作業名表示
７０８ｂ ：タイムシークバー表示
７０８ｃ ：タイムシークバー表示
７０８ｄ ：動画操作ボタン
７０８ｅ ：指定表示
７０９ ：作業割合表示
７０９ａ ：円グラフ表示
７０９ｂ ：凡例表示
７０９ｃ ：凡例表示
７０９ｄ ：凡例表示
７０９ｅ ：凡例表示
７０９ｆ ：凡例表示
７１０ ：作業詳細表示
７１０ａ ：データダウンロードボタン
７１０ｂ ：作業時間表示
１１ ：通信ネットワーク
２ ：撮像装置
３ ：情報処理装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３２ ：取得部
３３３ ：表示制御部
３３４ ：推定部
３３６ ：特定部
３３８ ：管理部
４ ：端末
４０ ：通信バス
４１ ：通信部
４２ ：記憶部
４３ ：制御部
４４ ：表示部
４５ ：入力部
５ ：設定入力画面
５ａ ：設定画面
５ｂ ：設定画面
５ｃ ：設定画面
５ｄ ：設定画面
５０１ ：動画表示領域
５０２ ：タイムシークバー表示
５０３ ：データ指定表示
５０４ ：モデル指定表示
５０５ ：モデル指定表示
５０６ ：選択ボタン
５０７ ：設定表示領域
５０７ａ ：追加ボタン
５０８ａ ：エリア設定表示
５０８ｂ ：エリア表示
５０９ａ ：エリア設定表示
５０９ｂ ：エリア表示
５１０ａ ：エリア設定表示
５１０ｂ ：エリア表示
５１１ａ ：エリア設定表示
５１１ｂ ：エリア表示
５１２ ：設定表示領域
５１２ａ ：追加ボタン
５１３ ：作業設定表示
５１４ ：作業設定表示
５１５ ：作業設定表示
５１６ ：完了ボタン
６ ：ルール作成画面
６０１ ：作業名表示
６０２ ：ルール設定領域
６０３ ：ラベル選択領域
６０３ａ ：ラベル選択ボタン
６０３ｂ ：ラベル選択ボタン
６０３ｃ ：ラベル選択ボタン
６０３ｄ ：選択ウインド
６０４ ：エリア選択領域
６０４ａ ：選択ウインド
６０５ ：条件選択ボタン
６０５ａ ：条件選択ボタン
６０５ｂ ：条件選択ボタン
６０６ ：ルール設定領域
６０７ ：ラベル選択領域
６０７ａ ：ラベル選択ボタン
６０７ｂ ：ラベル選択ボタン
６０７ｃ ：ラベル選択ボタン
６０７ｄ ：選択ウインド
６０８ ：エリア選択領域
６０８ａ ：選択ウインド
７ ：結果表示画面
７０１ ：動画表示領域
７０２ ：設定表示領域
７０３ａ ：エリア設定表示
７０３ｂ ：エリア表示
７０４ａ ：エリア設定表示
７０４ｂ ：エリア表示
７０５ａ ：エリア設定表示
７０５ｂ ：エリア表示
７０６ａ ：エリア設定表示
７０６ｂ ：エリア表示
７０７ ：設定表示領域
７０７ａ ：作業設定表示
７０７ｂ ：作業設定表示
７０７ｃ ：作業設定表示
７０７ｄ ：作業設定表示
７０７ｅ ：作業設定表示
７０８ ：情報表示領域
７０８ａ ：作業名表示
７０８ｂ ：タイムシークバー表示
７０８ｃ ：タイムシークバー表示
７０８ｄ ：動画操作ボタン
７０８ｅ ：指定表示
７０９ ：作業割合表示
７０９ａ ：円グラフ表示
７０９ｂ ：凡例表示
７０９ｃ ：凡例表示
７０９ｄ ：凡例表示
７０９ｅ ：凡例表示
７０９ｆ ：凡例表示
７１０ ：作業詳細表示
７１０ａ ：データダウンロードボタン
７１０ｂ ：作業時間表示
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
