(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024043979
(43)【公開日】2024-04-02
(54)【発明の名称】プログラム及び情報処理方法
(51)【国際特許分類】
G06Q 10/00 20230101AFI20240326BHJP
G06V 40/20 20220101ALI20240326BHJP
G06V 10/70 20220101ALI20240326BHJP
【ＦＩ】
G06Q10/00
G06V40/20
G06V10/70
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022149254
(22)【出願日】2022-09-20
(71)【出願人】
【識別番号】521046284
【氏名又は名称】株式会社Ｏｌｌｏ
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】川合 健斗
(72)【発明者】
【氏名】堀 賢人
(72)【発明者】
【氏名】侯 明程
(72)【発明者】
【氏名】穂屋下 巧輝
(72)【発明者】
【氏名】開 航平
【テーマコード（参考）】
5L049
5L096
【Ｆターム（参考）】
5L049AA20
5L096HA02
5L096HA08
5L096KA04
(57)【要約】
【課題】工程を構成する各作業（作業に含まれる各動作）の内容を規定する工程情報の作成作業を支援して作業負荷を軽減することが可能なプログラム等を提供する。
【解決手段】コンピュータは、作業を行う対象を撮影した動画の選択を受け付ける。コンピュータは、選択された動画を、動画中の対象が行う作業に含まれる動作毎に区分した区分位置を出力する。そして、コンピュータは、動画の各区分位置に対応する動作に対する説明情報を受け付ける。
【選択図】図２
【解決手段】コンピュータは、作業を行う対象を撮影した動画の選択を受け付ける。コンピュータは、選択された動画を、動画中の対象が行う作業に含まれる動作毎に区分した区分位置を出力する。そして、コンピュータは、動画の各区分位置に対応する動作に対する説明情報を受け付ける。
【選択図】図２
【特許請求の範囲】
【請求項1】
作業を行う対象を撮影した動画の選択を受け付け、
選択された動画を前記作業に含まれる動作毎に区分した区分位置を出力し、
各区分位置に対応する動作に対する説明情報を受け付ける
処理をコンピュータに実行させるプログラム。
選択された動画を前記作業に含まれる動作毎に区分した区分位置を出力し、
各区分位置に対応する動作に対する説明情報を受け付ける
処理をコンピュータに実行させるプログラム。
【請求項2】
前記作業は、前記作業に対して有効な動作及び無効な動作を含み、
前記有効な動作及び無効な動作のそれぞれに対する説明情報を受け付ける
処理を前記コンピュータに実行させる請求項１に記載のプログラム。
前記有効な動作及び無効な動作のそれぞれに対する説明情報を受け付ける
処理を前記コンピュータに実行させる請求項１に記載のプログラム。
【請求項3】
各区分位置に対応する動作の説明情報を特定するための複数の要素のそれぞれについて選択候補を出力し、
前記複数の要素のそれぞれに対して前記選択候補のいずれかの選択を受け付ける
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
前記複数の要素のそれぞれに対して前記選択候補のいずれかの選択を受け付ける
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項4】
予め登録された複数の説明情報を出力し、
前記複数の説明情報から、前記区分位置に対応する動作に対する説明情報の選択を受け付ける
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
前記複数の説明情報から、前記区分位置に対応する動作に対する説明情報の選択を受け付ける
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項5】
各区分位置に対して、採用又は不採用の選択を受け付け、
採用が選択された区分位置に対応する前記説明情報を受け付ける
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
採用が選択された区分位置に対応する前記説明情報を受け付ける
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項6】
前記動画の任意の再生位置に対して、区分位置の設定を受け付け、
設定された区分位置に対応する前記説明情報を受け付ける
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
設定された区分位置に対応する前記説明情報を受け付ける
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項7】
時系列に前後する複数の動作を含むグループの作成指示を受け付け、
作成指示されたグループに対する説明情報を受け付け、
前記グループに対する説明情報と、前記グループに含まれる前記複数の動作に対する説明情報とを対応付けて出力する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
作成指示されたグループに対する説明情報を受け付け、
前記グループに対する説明情報と、前記グループに含まれる前記複数の動作に対する説明情報とを対応付けて出力する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項8】
前記無効な動作の動作時間を計数し、
前記無効な動作を削減した場合の動作時間の削減量を出力する
処理を前記コンピュータに実行させる請求項２に記載のプログラム。
前記無効な動作を削減した場合の動作時間の削減量を出力する
処理を前記コンピュータに実行させる請求項２に記載のプログラム。
【請求項9】
時系列に出現する前記有効な動作の間に前記無効な動作が含まれる場合、時系列に前に出現する前記有効な動作に対する説明情報と、前記無効な動作の種類に応じたマークとを対応付けて出力する
処理を前記コンピュータに実行させる請求項２に記載のプログラム。
処理を前記コンピュータに実行させる請求項２に記載のプログラム。
【請求項10】
複数の動画の選択を受け付け、
選択された複数の動画のそれぞれに対して受け付けた、前記動画を区分した各区分位置に対応する説明情報を並べて出力する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
選択された複数の動画のそれぞれに対して受け付けた、前記動画を区分した各区分位置に対応する説明情報を並べて出力する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項11】
作業を行う対象を撮影した動画の選択を受け付け、
選択された動画を前記作業に含まれる動作毎に区分した区分位置を出力し、
各区分位置に対応する動作に対する説明情報を受け付ける
処理をコンピュータが実行する情報処理方法。
選択された動画を前記作業に含まれる動作毎に区分した区分位置を出力し、
各区分位置に対応する動作に対する説明情報を受け付ける
処理をコンピュータが実行する情報処理方法。
【請求項12】
作業を行う対象を撮影した動画を取得し、
動画を入力した場合に前記動画中の対象が行う作業に含まれる、前記作業に対して有効な動作及び無効な動作に関する情報を出力するように学習してある学習モデルに、取得した前記動画を入力して、前記動画中の対象が行う動作に関する情報を出力し、
出力した前記動作に関する情報に基づいて、前記動画を前記動作毎に区分する
処理をコンピュータが実行する情報処理方法。
動画を入力した場合に前記動画中の対象が行う作業に含まれる、前記作業に対して有効な動作及び無効な動作に関する情報を出力するように学習してある学習モデルに、取得した前記動画を入力して、前記動画中の対象が行う動作に関する情報を出力し、
出力した前記動作に関する情報に基づいて、前記動画を前記動作毎に区分する
処理をコンピュータが実行する情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム及び情報処理方法に関する。
【背景技術】
【0002】
特許文献１では、予め順序が定められた複数の作業から成る工程に対して、対象物の行動が、各作業の順序に従っているか否かを検知する技術が開示されている。特許文献１に開示の技術では、工程を構成する各作業について、作業名、作業順序、標準作業時間等が規定された工程情報に従って、対象物が規定通りの作業を行っているか否かが判定される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－８２１３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示された技術では、各作業の順序及び標準作業時間等を規定した工程情報が予め用意される。このような工程情報は、例えば、標準的な作業を行う作業者を撮影した動画を確認しながら、担当者が手動で作成することが多く、工程情報の作成作業における負荷を軽減することは難しい。
【0005】
本開示は、工程を構成する各作業（作業に含まれる各動作）の内容を規定する工程情報の作成作業を支援して作業負荷を軽減することが可能なプログラム等を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係るプログラムは、作業を行う対象を撮影した動画の選択を受け付け、選択された動画を前記作業に含まれる動作毎に区分した区分位置を出力し、各区分位置に対応する動作に対する説明情報を受け付ける処理をコンピュータに実行させる。
【発明の効果】
【0007】
本開示の一態様にあっては、作業に含まれる各動作の内容を規定する工程情報（標準作業組合せ票）の作成作業を支援して作業負荷を軽減することができる。
【図面の簡単な説明】
【0008】
【図1】情報処理システムの説明図である。
【図2】サーバ及びユーザ端末の構成例を示すブロック図である。
【図3】学習モデルの構成例を示す説明図である。
【図4】標準作業組合せ票の作成処理手順の一例を示すフローチャートである。
【図5】標準作業組合せ票の作成処理手順の一例を示すフローチャートである。
【図6】標準作業組合せ票の作成処理手順の一例を示すフローチャートである。
【図7】ユーザ端末の画面例を示す説明図である。
【図8】ユーザ端末の画面例を示す説明図である。
【図9】ユーザ端末の画面例を示す説明図である。
【図10】ユーザ端末の画面例を示す説明図である。
【図11】ユーザ端末の画面例を示す説明図である。
【図12】ユーザ端末の画面例を示す説明図である。
【図13】作業要素一覧画面の編集処理手順の一例を示すフローチャートである。
【図14】作業要素一覧画面の編集処理手順の一例を示すフローチャートである。
【図15】ユーザ端末の画面例を示す説明図である。
【図16】ユーザ端末の画面例を示す説明図である。
【図17】ユーザ端末の画面例を示す説明図である。
【図18】ユーザ端末の画面例を示す説明図である。
【図19】名前データベースの構成例を示す説明図である。
【図20】名前データベースの生成処理の説明図である。
【図21】ユーザ端末の画面例を示す説明図である。
【図22】２つの作業要素一覧画面の表示例を示す説明図である。
【図23】実施形態４の標準作業組合せ票の作成処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下に、本開示のプログラム及び情報処理方法について、その実施形態を示す図面に基づいて詳述する。
【0010】
（実施形態１）
作業を行う作業者（対象）を撮影した動画に基づいて、当該作業者が行う作業に含まれる各動作を説明する標準作業組合せ票を作成する情報処理システムについて説明する。本実施形態における作業者は、例えば製品の組み立て工場で組み立て作業を行う作業者であるが、所定の作業を行うように構成されたロボットであってもよい。図１は情報処理システムの説明図であり、図１Ａは情報処理システムの構成例を示し、図１Ｂは処理対象の動画の例を示す。本実施形態の情報処理システムは、サーバ１０、ユーザ端末２０及びカメラ３０を含み、サーバ１０及びユーザ端末２０はネットワークＮを介して通信接続されている。ネットワークＮは、インターネット又は公衆通信回線であってもよく、情報処理システムが設けられている施設内に構築されたＬＡＮ（Local Area Network）であってもよい。ユーザ端末２０及びカメラ３０は、ケーブルを介した有線通信又は無線通信によって直接情報の送受信を行うように構成されていてもよく、ネットワークＮ経由で情報の送受信を行う構成でもよい。
作業を行う作業者（対象）を撮影した動画に基づいて、当該作業者が行う作業に含まれる各動作を説明する標準作業組合せ票を作成する情報処理システムについて説明する。本実施形態における作業者は、例えば製品の組み立て工場で組み立て作業を行う作業者であるが、所定の作業を行うように構成されたロボットであってもよい。図１は情報処理システムの説明図であり、図１Ａは情報処理システムの構成例を示し、図１Ｂは処理対象の動画の例を示す。本実施形態の情報処理システムは、サーバ１０、ユーザ端末２０及びカメラ３０を含み、サーバ１０及びユーザ端末２０はネットワークＮを介して通信接続されている。ネットワークＮは、インターネット又は公衆通信回線であってもよく、情報処理システムが設けられている施設内に構築されたＬＡＮ（Local Area Network）であってもよい。ユーザ端末２０及びカメラ３０は、ケーブルを介した有線通信又は無線通信によって直接情報の送受信を行うように構成されていてもよく、ネットワークＮ経由で情報の送受信を行う構成でもよい。
【0011】
カメラ３０は、レンズ及び撮像素子等を有する撮像部、ユーザ端末２０との間で通信するための通信部、撮影タイミングを指示するための撮影ボタン等を備える撮像装置である。カメラ３０は、例えば１秒間に３０枚又は１５枚の画像データ（動画）を取得する撮影処理を行うように構成されており、撮影ボタンに対する操作に従って撮影処理を実行し、動画データを取得する。カメラ３０によって撮影された動画データは、通信部によってユーザ端末２０へ送信され、ユーザ端末２０経由でサーバ１０へ送信される。本実施形態では、カメラ３０を用いて、例えば図１Ｂに示すように、作業者の上方から作業者が作業を行う様子を撮影する。なお、カメラ３０が撮影によって取得する動画データを、以下では単に動画と称する。また、カメラ３０は、カメラを有するスマートフォン、タブレット端末等であってもよい。
【0012】
サーバ１０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等で構成される。サーバ１０は、カメラ３０で撮影された動画をユーザ端末２０から取得し、取得した動画に対して所定の画像処理を行う。ユーザ端末２０は、サーバ１０を利用して動画から標準作業組合せ票を作成するユーザが使用する端末であり、パーソナルコンピュータ、タブレット端末、スマートフォン等の汎用の情報処理装置である。
【0013】
図２は、サーバ１０及びユーザ端末２０の構成例を示すブロック図である。サーバ１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、又はＡＩチップ（ＡＩ用半導体）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してあるプログラム１２Ｐを適宜実行することにより、サーバ１０が行うべき情報処理及び制御処理を実行する。
【0014】
記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行するプログラム１２Ｐ（プログラム製品）及び各種のデータを記憶している。また記憶部１２は、制御部１１がプログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。プログラム１２Ｐ及び各種のデータは、サーバ１０の製造段階において記憶部１２に書き込まれてもよく、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。また記憶部１２は、機械学習によって訓練データを学習済みの学習モデル１２Ｍを記憶している。学習モデル１２Ｍは、図３に示すように、作業者を撮影した動画が入力された場合に、作業者の動作（作業要素）に関する情報を出力するように学習された学習済みモデルである。学習モデル１２Ｍは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデル１２Ｍは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２には、この演算を規定する関数の係数や閾値等のデータが学習モデル１２Ｍとして記憶される。
【0015】
通信部１３は、有線通信又は無線通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して他の装置との間で情報の送受信を行う。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４の一部及び表示部１５は一体として構成されたタッチパネルであってもよい。
【0016】
読み取り部１６は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１０ａに記憶された情報を読み取る。記憶部１２に記憶されるプログラム１２Ｐ及び各種のデータは、制御部１１が読み取り部１６を介して可搬型記憶媒体１０ａから読み取って記憶部１２に記憶してもよい。
【0017】
サーバ１０は、複数のコンピュータを含んで構成されるマルチコンピュータであってもよく、１台の装置内にソフトウェアによって仮想的に構築された仮想マシンであってもよく、クラウドサーバであってもよい。また、プログラム１２Ｐは単一のコンピュータ上で実行されてもよく、ネットワークＮを介して相互に接続された複数のコンピュータ上で実行されてもよい。更に、サーバ１０は、入力部１４及び表示部１５は必須ではなく、接続されたコンピュータを通じて操作を受け付ける構成でもよく、表示すべき情報を外部の表示装置へ出力する構成でもよい。
【0018】
ユーザ端末２０は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５等を含み、これらの各部はバスを介して相互に接続されている。ユーザ端末２０の制御部２１、記憶部２２、通信部２３、入力部２４、及び表示部２５は、サーバ１０の制御部１１、記憶部１２、通信部１３、入力部１４、及び表示部１５と同様の構成を有するので、構成についての詳細な説明は省略する。なお、ユーザ端末２０の記憶部２２は、プログラム２２Ｐに加えて、サーバ１０を利用して動画から標準作業組合せ票を作成するためのアプリケーションプログラム（以下では標準作業組合せ票作成アプリ２２ＡＰという）を記憶する。プログラム２２Ｐ、標準作業組合せ票作成アプリ２２ＡＰ、及び各種のデータは、制御部２１が通信部２３を介して他の装置からダウンロードして記憶部２２に記憶してもよい。また、記憶部２２は、カメラ３０から取得した動画ファイル２２ａを記憶している。
【0019】
本実施形態の情報処理システムでは、ユーザ端末２０は、カメラ３０から取得した動画をサーバ１０へ送信する処理を実行する。サーバ１０は、ユーザ端末２０から取得した動画に対して、作業者が行う作業に含まれる動作（以下では作業要素という）毎に区切る処理を実行する。ユーザ端末２０は、サーバ１０によって作業要素毎に区切られた動画を取得し、取得した動画を表示しつつ、各作業要素に対する説明情報を受け付ける処理を実行する。これにより、ユーザ端末２０は、動画を、作業者が行う作業要素毎に区分し、各作業要素に説明情報が付加された標準作業組合せ票を作成することができる。なお、本実施形態において、サーバ１０は、動画を作業要素毎に区切る際に学習モデル１２Ｍを用いる。
【0020】
図３は学習モデル１２Ｍの構成例を示す説明図である。学習モデル１２Ｍは、例えば図１Ｂに示すように作業中の作業者の全身を撮影した動画を入力とし、入力された動画に基づいて、作業者が実行中の動作（作業要素）の種類を判別する演算を行い、演算した結果を出力するように学習した学習済みモデルである。学習モデル１２Ｍは、例えばＲＮＮ（Recurrent Neural Network）又はＬＳＴＭ（Long Short-Term Memory）を用いて構成される。なお、学習モデル１２Ｍは、ＣＮＮ（Convolution Neural Network）、Transformer等の他のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。また、学習モデル１２Ｍは、作業者の全身を撮影した動画が入力される構成に限定されず、例えば作業者の上半身又は手元を撮影した動画のように、作業者が実行中の動作の様子が撮影された動画が入力される構成でもよい。
【0021】
学習モデル１２Ｍは、動画が入力される入力層と、入力された動画から特徴量を抽出する中間層と、中間層の演算結果を基に動画中の作業者の動作（作業要素）を示す情報を出力する出力層とを有する。入力層は、動画（時系列の画像）が順次入力される入力ノードを有する。中間層は、各種の関数及び閾値等を用いて、入力層を介して入力された動画に基づいて出力値を算出する。出力層は、予め設定された作業要素のそれぞれに対応付けられた複数の出力ノードを有しており、各出力ノードから、作業者の動作が、それぞれ対応する作業要素であると判別すべき確率（確信度）を出力する。出力層の各出力ノードからの出力値は、例えば０～１の値であり、各出力ノードから出力された確率の合計が１．０（１００％）となる。各出力ノードに対応付けられる作業要素は、図３に示すように、実作業の作業要素と非作業の作業要素とを含み、実作業の作業要素は、作業者が実行中の作業に対して有効な動作を意味し、非作業の作業要素は、作業者が実行中の作業に対して有効でない動作（無効な動作）を意味する。図３に示す例では、実作業の作業要素は、左手でつかむ、右手でつかむ、左手で置く、右手で置く等を含み、非作業の作業要素は、手待ち、歩行、しゃがむ等を含むが、これらに限定されない。
【0022】
上述した構成により、本実施形態の学習モデル１２Ｍは、動画が入力された場合に、動画中の作業者の動作（作業要素）を示す出力値（確信度）を各出力ノードから出力する。サーバ１０は、上述した学習モデル１２Ｍにおいて、各出力ノードからの出力値のうちで最大の出力値（確信度）を出力した出力ノードを特定し、特定した出力ノードに対応付けられている作業要素を、動画中の作業者の動作に特定する。なお、学習モデル１２Ｍの出力層は、各作業要素に対する確信度を出力する複数の出力ノードを有する代わりに、確信度が最大の作業要素を示す情報を出力する１つの出力ノードを有する構成でもよい。
【0023】
学習モデル１２Ｍは、訓練用の動画と、この動画中の作業者が行っている作業要素を示す情報（正解ラベル）とを含む訓練データを用いて機械学習することにより生成できる。学習モデル１２Ｍは、訓練データに含まれる動画が入力された場合に、訓練データに含まれる正解ラベルが示す作業要素に対応する出力ノードからの出力値が１に近づき、他の出力ノードからの出力値が０．０に近づくように学習する。学習処理において学習モデル１２Ｍは、入力された動画に基づいて中間層及び出力層での演算を行い、各出力ノードからの出力値を算出する。学習モデル１２Ｍは、算出した各出力ノードの出力値と正解ラベルに応じた値（正解ラベルに対応する出力ノードに対しては１、他の出力ノードに対しては０）とを比較し、両者が近似するように、中間層及び出力層での演算処理に用いるパラメータを最適化する。当該パラメータは、中間層及び出力層におけるノード間の重み（結合係数）、関数の係数、閾値等である。パラメータの最適化の方法は特に限定されないが、誤差逆伝播法、最急降下法等を用いることができる。これにより、動画が入力された場合に、動画中の作業者が実行中の作業要素の種類を予測し、予測結果を出力する学習モデル１２Ｍが得られる。
【0024】
学習モデル１２Ｍの学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデル１２Ｍは、例えばネットワークＮ経由又は可搬型記憶媒体１０ａ経由で学習装置からサーバ１０にダウンロードされて記憶部１２に記憶される。本実施形態では、図３に示す学習モデル１２Ｍを用いて、動画中の作業者の動作が、実作業の作業要素及び非作業の作業要素のいずれであるかを判別する構成とするが、この構成に限定されない。例えば、実作業の作業要素のいずれであるかを判別する実作業用の学習モデルと、非作業の作業要素のいずれであるかを判別する非作業用の学習モデルとが各別に設けられていてもよい。
【0025】
本実施形態のサーバ１０は、上述した学習モデル１２Ｍを用いて、カメラ３０で撮影した動画中の作業者が行う動作（作業要素）を判別する。具体的には、サーバ１０の制御部１１は、学習モデル１２Ｍからの出力値に基づいて作業者の動作が実作業の作業要素であると判別した場合、このとき学習モデル１２Ｍに入力された画像（フレーム）を、当該実作業の作業要素が行われたタイミングの画像に特定し、この画像の再生時間を、当該実作業の作業要素の実行タイミグに特定する。またサーバ１０の制御部１１は、学習モデル１２Ｍからの出力値に基づいて作業者の動作が非作業の作業要素であると判別した場合、学習モデル１２Ｍに入力された画像の再生時間及び判別結果に基づいて、当該非作業の作業要素の開始タイミング及び終了タイミングを特定する。即ち、本実施形態では、サーバ１０は、実作業の作業要素の実行タイミングと、非作業の作業要素の実行開始タイミング及び実行終了タイミングとを特定する。なお、サーバ１０は、実作業の作業要素についても、学習モデル１２Ｍに入力した画像の再生開始時間及び再生終了時間に基づいて、当該実作業の作業要素の実行開始タイミング及び実行終了タイミングを特定してもよい。また、サーバ１０は、非作業の作業要素についても、学習モデル１２Ｍに入力された画像（フレーム）の再生時間を、当該非作業の作業要素の実行タイミグに特定してもよい。
【0026】
なお、サーバ１０は、動画に基づいて作業者の動作を判別する構成に限定されない。例えば、サーバ１０は、動画に含まれる各フレーム（各画像）に基づいて、作業者の骨格推定を行って骨格データを生成し、時系列の骨格データから、作業者の動作（作業要素）を判別してもよい。この場合、サーバ１０の制御部１１は、例えばＯｐｅｎＰｏｓｅのように画像中の人の関節位置を抽出する技術を用いて、各フレーム中の作業者の骨格推定を行い、作業者の関節位置を抽出する。制御部１１は、動画に含まれる各フレームに対して、関節位置を抽出する処理を行うことにより、時系列の骨格データを取得する。そして、制御部１１は、時系列の骨格データを入力とし、骨格データに基づいて作業者が実行中の動作（作業要素）の種類を判別する演算を行った結果を出力する学習モデルを用いて、作業者の動作（作業要素）を判別する。なお、制御部１１は、時系列の骨格データの動作パターンから、パターンマッチングによって作業者の動作（作業要素）を判別してもよい。
【0027】
以下に、本実施形態の情報処理システムにおいて、作業を行う作業者を撮影した動画に基づいて標準作業組合せ票を作成する処理について説明する。図４～図６は、標準作業組合せ票の作成処理手順の一例を示すフローチャート、図７～図１２は、ユーザ端末２０の画面例を示す説明図である。以下の処理は、ユーザ端末２０の制御部２１が、記憶部２２に記憶してあるプログラム２２Ｐ及び標準作業組合せ票作成アプリ２２ＡＰに従って実行すると共に、サーバ１０の制御部１１が、記憶部１２に記憶してあるプログラム１２Ｐに従って実行する。
【0028】
本実施形態の情報処理システムにおいて、標準作業組合せ票を作成したいユーザは、ユーザ端末２０に標準作業組合せ票作成アプリ２２ＡＰを起動させ、標準作業組合せ票を作成したい動画をサーバ１０にアップロードする。ユーザ端末２０の制御部２１は、標準作業組合せ票作成アプリ２２ＡＰを起動した場合、図７Ａに示すような動画選択画面を表示部２５に表示する（Ｓ１１）。動画選択画面は、記憶部２２に記憶してある動画ファイル２２ａのファイル名一覧を表示しており、動画ファイル２２ａを選択するためのチェックボックス（ラジオボタン）と、選択された動画ファイル２２ａをサーバ１０にアップロードする指示を行うためのアップロードボタンとを有する。なお、標準作業組合せ票を作成するための動画ファイル２２ａは、予めカメラ３０から取得して記憶部２２に記憶してあるものとする。
【0029】
制御部２１は、動画選択画面において、入力部２４を介してユーザから動画ファイル２２ａの選択を受け付け（Ｓ１２）、アップロードボタンが操作されたか否かを判断する（Ｓ１３）。アップロードボタンが操作されていないと判断した場合（Ｓ１３：ＮＯ）、制御部２１は、動画ファイル２２ａの選択受付を継続し、アップロードボタンが操作されたと判断した場合（Ｓ１３：ＹＥＳ）、選択された動画ファイル２２ａをサーバ１０へ送信（アップロード）する（Ｓ１４）。
【0030】
サーバ１０の制御部１１は、ユーザ端末２０からアップロードされた動画ファイルを取得し、記憶部１２に記憶する。制御部１１は、動画ファイルに対して、動画中の作業者が行う作業に含まれる動作（作業要素）毎に動画を区分する処理を行い、動画の切れ目候補を抽出する（Ｓ１５）。具体的には、制御部１１は、動画ファイルに含まれる各フレームを順次学習モデル１２Ｍに入力し、学習モデル１２Ｍからの出力情報に基づいて、入力されたフレーム中の作業者が実行中の作業要素を特定（予測）する。例えば制御部１１は、学習モデル１２Ｍからの最大の出力値（確信度）が所定値以上（例えば０．８以上）となった場合に、最大出力値を出力した出力ノードに対応する作業要素が実作業の作業要素であれば、ここでの作業要素を、フレーム中の作業者が実行した実作業の作業要素に特定し、ここでのフレームの再生時間を、特定した実作業の作業要素の実行タイミングに特定する。また、制御部１１は、最大出力値を出力した出力ノードに対応する作業要素が非作業の作業要素であれば、ここでの作業要素を、フレーム中の作業者が実行した非作業の作業要素に特定し、非作業の作業要素が特定された最初のフレームの再生時間を、特定した非作業の作業要素の開始タイミングに特定し、最後のフレームの再生時間を、特定した非作業の作業要素の終了タイミングに特定する。制御部１１は、上述した処理を繰り返すことにより、動画中の作業者が行った作業要素として、実作業の作業要素の実行タイミングと、非作業の作業要素の実行開始タイミング及び実行終了タイミングとを特定する。なお、制御部１１は、実作業の作業要素及び非作業の作業要素について、実行タイミングを特定する構成でもよく、実行開始タイミング及び実行終了タイミングを特定する構成でもよい。よって、制御部１１は、学習モデル１２Ｍで判別可能な作業要素によって動画を区分することができ、動画に対して、実作業の作業要素の実行タイミングによる切れ目候補と、非作業の作業要素の実行開始タイミングによる切れ目候補とを抽出する。制御部１１は、動画中の作業者が行う実作業の作業要素の実行タイミングと、非作業の作業要素の実行開始タイミングとを動画の切れ目候補として抽出した処理済みの動画ファイルをユーザ端末２０へ送信する（Ｓ１６）。例えば制御部１１は、実作業の作業要素による切れ目候補の再生時間（実作業の作業要素に特定されたフレームの再生時間）と、非作業の作業要素の実行開始タイミング及び実施終了タイミングを示す再生時間（非作業の作業要素に特定された最初のフレーム及び最後のフレームの再生時間）とを記憶したデータベースを動画ファイルに対応付けて処理済みの動画ファイルとしてユーザ端末２０へ送信する。
【0031】
ユーザ端末２０の制御部２１は、サーバ１０から送信された処理済みの動画ファイルを取得し、記憶部２２に記憶する（Ｓ１７）。そして制御部２１は、図７Ｂに示すように動画選択画面を更新する（Ｓ１８）。図７Ｂに示す例では、処理済みの動画ファイルのファイル名の横に、ステータス情報として、処理済みであることを示す「analysis_done」が表示されている。標準作業組合せ票の作成処理は、処理済みの動画ファイルに基づいて実行可能であり、ユーザは、動画選択画面において、いずれかの処理済みの動画ファイルに対して所定の操作（例えばマウスのダブルクリック）を行うことにより、処理済みの動画ファイルを選択して標準作業組合せ票の作成指示を行う。
【0032】
制御部２１は、動画選択画面において、処理済みの動画ファイルが選択されたか否かを判断しており（Ｓ１９）、選択されていないと判断する場合（Ｓ１９：ＮＯ）、選択されるまで待機する。処理済みの動画ファイルが選択されたと判断した場合（Ｓ１９：ＹＥＳ）、制御部２１は、選択された処理済みの動画ファイルに基づいて、図７Ｃに示すような実作業振り分け画面を表示部２５に表示する（Ｓ２０）。実作業振り分け画面は、ステップＳ１５の処理でサーバ１０が抽出した動画の切れ目候補のうちで、実作業の作業要素の実行タイミングによる切れ目候補に対して、切れ目として採用するか否かの指定と、採用する場合に切れ目に対する名前（当該実作業の作業要素の動作を説明する説明情報）の入力とを受け付けるための画面である。これにより、制御部２１は、サーバ１０が動画を作業要素（動作）毎に区分した区分位置（切れ目）を出力してユーザに提示できる。
【0033】
図７Ｃに示す実作業振り分け画面は、選択された動画が表示される動画領域Ａ１を有し、動画領域Ａ１の下側に、当該動画の録画時間（図７Ｃでは５６秒）と、表示中のフレームの再生位置を示す時間（図７Ｃでは１秒）とが表示されており、表示中の動画の再生及び停止を指示するための再生停止ボタンＢ１が設けられている。また、動画領域Ａ１の上側には、表示中のフレームが何番目の切れ目候補であるかを示す切れ目番号（図７Ｃでは１番目）と、実作業の作業要素による全ての切れ目候補の数（図７Ｃでは２５）に対する表示中のフレームの切れ目番号（図７Ｃでは１）を示すインジケータＡ２が設けられており、インジケータＡ２には、表示中のフレームから、前後の切れ目候補のフレームへの切替を指示するための切替ボタンＢ２が設けられている。また、動画領域Ａ１の下側には、各切れ目候補のフレーム（サムネイル）を順次切り替えて表示するサムネイル領域Ａ３が設けられており、サムネイル領域Ａ３には、動画の再生開始からの時間に対応付けて、表示中のフレームの切れ目番号とサムネイルとが表示されている。また、サムネイル領域Ａ３には、表示中のサムネイルから、前後の切れ目候補のサムネイルへの切替を指示するための切替ボタンＢ３が設けられている。また、動画領域Ａ１の右側には、表示中のフレームによる切れ目候補に対して、切れ目として採用するか不採用とするかの仕分けを行うための仕分け領域Ａ４が設けられている。仕分け領域Ａ４には、表示中のフレームにおける作業者の動作が「置く」動作であり、当該切れ目候補を置く動作の切れ目として採用する指示を行うための「置くとして採用」ボタンと、表示中のフレームにおける作業者の動作が「取る」動作であり、当該切れ目候補を取る動作の切れ目として採用する指示を行うための「取るとして採用」ボタンと、当該切れ目候補を採用しない指示を行うための不採用ボタンとが設けられている。なお、切れ目として採用する指示を行うためのボタンは、「置くとして採用」ボタン及び「取るとして採用」ボタンに限定されず、他の動作の切れ目として採用する指示を行うためのボタンが設けられていてもよい。また、任意の動作の切れ目として採用する指示を行うためのボタンを、ユーザ端末２０又はサーバ１０を介したユーザからの指示に従って追加できるように構成されていてもよい。また、仕分け領域Ａ４には、表示中のフレームを切れ目として採用する場合に、当該切れ目に目印をつけることを指示するためのチェックボックスが設けられている。更に、実作業振り分け画面の右下には、非作業振り分け画面への切替を指示するための「非作業振り分けへ」ボタンが設けられている。非作業振り分け画面は、ステップＳ１５の処理でサーバ１０が抽出した動画の切れ目候補のうちで、非作業の作業要素の実行開始タイミングによる切れ目候補に対して、切れ目として採用するか否かの指定と、採用する場合に切れ目に対する名前（当該非作業の作業要素の動作を説明する説明情報）の入力とを受け付けるための画面である。非作業振り分け画面は例えば図１１Ａに示す画面である。
【0034】
ユーザ端末２０の制御部２１は、実作業振り分け画面において、不採用ボタンが操作されたか否かを判断しており（Ｓ２１）、不採用ボタンが操作されたと判断した場合（Ｓ２１：ＹＥＳ）、表示中のフレームを切れ目の採用対象から除外する（Ｓ２２）。このとき、制御部２１は、表示中のフレームの切れ目番号に対応付けて、不採用を示す情報を記憶部２２に記憶する。また、制御部２１は、不採用ボタンが操作された場合、図８Ａに示すように、動画領域Ａ１の左上とサムネイル領域Ａ３とに表示されている切れ目番号に対応付けて、不採用を示す情報を表示する。なお、制御部２１は、表示中のフレームを切れ目の採用対象から除外した場合、残りの切れ目候補に対して切れ目番号の振り直しを行ってもよい。
【0035】
制御部２１は、不採用ボタンが操作されていないと判断した場合（Ｓ２１：ＮＯ）、ステップＳ２２の処理をスキップし、採用ボタンが操作されたか否かを判断する（Ｓ２３）。図７Ｃに示す例では、制御部２１は、「置くとして採用」ボタン又は「取るとして採用」ボタンのいずれかが操作されたか否かを判断する。採用ボタンが操作されたと判断した場合（Ｓ２３：ＹＥＳ）、制御部２１は、表示中のフレームを切れ目として採用し、当該切れ目に付ける名前の入力を受け付けるための名前入力欄を、表示中の実作業振り分け画面に表示する（Ｓ２４）。図８Ｂに示す例では、切れ目番号が２番の切れ目候補のフレームに対して、「取るとして採用」ボタンが操作された状態を示しており、この場合、制御部２１は、図９Ａに示すように、仕分け領域Ａ４の代わりに名前入力欄Ａ５を表示する。名前入力欄Ａ５は、表示中のフレームによる切れ目に対する名前として、フレーム中の作業者が実行中の作業要素の内容を説明する説明情報を特定する複数の要素を入力するための入力欄を有する。図９Ａに示す例では、作業要素の説明情報として、何で何をどこから取る動作であるかを入力する入力欄を有する。各入力欄は任意の情報（文字）を入力できる構成であり、また、各入力欄が選択された場合、制御部２１は、選択された入力欄に対する入力候補（選択候補）を表示するように構成されている。よって、ユーザは、表示された入力候補を選択することによって各入力欄に情報を入力してもよい。図９Ａに示す例では、「何で」の入力欄が選択された場合に、右手、左手、両手が入力候補として表示され、図９Ｂに示す例では、「どこから」の入力欄が選択された場合に、仮置台、作業台等が入力候補として表示される。なお、各部材の名称、仮置台及び作業台等の名称は予め設定され、各入力欄に対応する入力候補は予め記憶部２２に登録されている。よって、制御部２１は、選択された入力欄に対応する入力候補を記憶部２２から読み出すことにより、入力候補をユーザに提示することができる。なお、名前入力欄Ａ５に設けられる各入力欄の構成、及び、各入力欄が選択された場合に表示される入力候補（選択候補）は、図９Ａ及び図９Ｂに示す例に限定されず、また、ユーザ端末２０又はサーバ１０を介したユーザからの指示に従って追加できるように構成されていてもよい。
【0036】
図９Ａ及び図９Ｂに示す名前入力欄Ａ５には、通常ボタンと名前データベースボタンとが設けられており、通常ボタンが選択された場合に、図９Ａ及び図９Ｂに示すように各入力欄に対応する入力候補が表示され、各入力欄に対する入力が行われる。なお、名前入力欄Ａ５において名前データベースボタンが選択された場合、切れ目の名前候補が予め登録してある名前データベースから名前候補が読み出されて表示され、いずれかの名前候補が選択されることにより、名前の入力が行われる。名前データベースを使用する処理については、後述の実施形態２で説明する。
【0037】
制御部２１は、図９Ａ及び図９Ｂに示す名前入力欄Ａ５を介して、表示中のフレームによる切れ目に対する名前の入力を受け付け、受け付けた名前を各入力欄に表示する（Ｓ２５）。図９Ｂに示す例では、「右手で部材Ａを仮置台から取る」という名前が入力された状態を示しており、制御部２１は、動画領域Ａ１の左上とサムネイル領域Ａ３とに表示されている切れ目番号に対応付けて、入力された名前と採用を示す情報とを表示する。制御部２１は、名前入力欄Ａ５中の決定ボタンが操作されたか否かを判断しており（Ｓ２６）、操作されていないと判断する場合（Ｓ２６：ＮＯ）、ステップＳ２５の処理に戻り、切れ目に対する名前の入力受付を継続する。決定ボタンが操作されたと判断した場合（Ｓ２６：ＹＥＳ）、制御部２１は、動画領域Ａ１に表示中のフレームの切れ目番号又は再生時間に対応付けて、入力された切れ目の名前を記憶部２２に記憶する（Ｓ２７）。
【0038】
採用ボタンが操作されていないと判断した場合（Ｓ２３：ＮＯ）、制御部２１は、ステップＳ２４～Ｓ２７の処理をスキップする。そして、制御部２１は、実作業の作業要素による切れ目候補のうちで、上述した処理が行われていない未処理の切れ目候補があるか否かを判断する（Ｓ２８）。未処理の切れ目候補があると判断した場合（Ｓ２８：ＹＥＳ）、制御部２１は、実作業振り分け画面の内容を、次の切れ目候補の内容に更新する（Ｓ２９）。例えば制御部２１は、図９Ｂに示す画面において決定ボタンが操作されて、表示中の切れ目に対する名前を記憶した場合、図１０Ａに示すように、切れ目番号が３の切れ目候補の情報を表示させる。また、制御部２１は、実作業振り分け画面中の切替ボタンＢ２又はＢ３（図７Ｃ参照）が操作された場合に、表示中の切れ目候補の前又は後の切れ目候補の情報を実作業振り分け画面に表示させる。その後、制御部２１は、ステップＳ２１の処理に戻り、実作業振り分け画面に表示された未処理の切れ目候補に対してステップＳ２１～Ｓ２７の処理を実行する。なお、ユーザは、実作業振り分け画面に表示された次の切れ目候補に対して、切れ目として採用するか否かの指定を行い、採用する場合に切れ目に対する名前の入力を行う。図１０Ａに示す例では、切れ目番号が３の切れ目候補に対して、「置くとして採用」ボタンが選択されており、制御部２１は、３番目の切れ目候補に対して、図９Ａ及び図９Ｂに示すような名前入力欄Ａ５を表示し、切れ目の名前を受け付ける。
【0039】
制御部２１は、実作業の作業要素による切れ目候補のうちで、未処理の切れ目候補がないと判断した場合（Ｓ２８：ＮＯ）、任意の再生時間（再生位置）に対して、新規の切れ目を設定する指示を受け付けたか否かを判断する（Ｓ３０）。例えば、全ての切れ目候補に対する採用又は不採用の指定、並びに、採用された切れ目に対する名前の付与が行われた場合、制御部２１は、図１０Ｂに示すような実作業振り分け画面を表示する。図１０Ｂに示す画面は、動画領域Ａ１及びサムネイル領域Ａ３を含み、サムネイル領域Ａ３は、表示されている再生時間の任意の位置（時間）に対して、新たな切れ目が設定できるように構成されている。例えば制御部２１は、サムネイル領域Ａ３に表示されている任意の再生時間に対する所定の操作（例えばマウスの右クリック）を受け付けた場合、図１０Ｂに示すように、選択された再生時間に対して、切れ目の設定を指示するための仕分けメニューを表示する。図１０Ｂに示す仕分けメニューは、「置くとして採用」及び「取るとして採用」の項目が表示されている。仕分けメニュー中のいずれかの項目が選択された場合、制御部２１は、選択された項目で切れ目を設定する指示を受け付け（Ｓ３０：ＹＥＳ）、選択された再生時間に対して設定する切れ目の名前入力欄Ａ５を表示する（Ｓ３１）。具体的には、制御部２１は、「取るとして採用」の項目が操作された場合、「取る」動作としての切れ目を設定する指示を受け付け、図９Ａに示すような名前入力欄Ａ５を表示し、「置くとして採用」の項目が操作された場合、「置く」動作としての切れ目を設定する指示を受け付け、切れ目に対する名前入力欄Ａ５を表示する。
【0040】
そして、制御部２１は、名前入力欄Ａ５を介して、任意に選択された再生位置による切れ目に対する名前の入力を受け付け、受け付けた名前を表示する（Ｓ３２）。制御部２１は、名前入力欄Ａ５中の決定ボタンが操作されたか否かを判断し（Ｓ３３）、操作されていないと判断する場合（Ｓ３３：ＮＯ）、ステップＳ３２の処理に戻り、決定ボタンが操作されたと判断した場合（Ｓ３３：ＹＥＳ）、選択された再生位置（再生時間）に対応つけて、入力された切れ目の名前を記憶部２２に記憶する（Ｓ３４）。なお、新規の切れ目の設定指示を受け付けていないと判断した場合（Ｓ３０：ＮＯ）、制御部２１は、ステップＳ３１～Ｓ３４の処理をスキップする。
【0041】
次に、制御部２１は、非作業振り分け画面への切替が指示されたか否かを判断する（Ｓ３５）。例えばユーザは、図７Ｃ～図８Ｂ、図１０Ａ又は図１０Ｂに示す画面中の「非作業振り分けへ」ボタンを操作することにより、非作業振り分け画面への切替を指示し、制御部２１は、「非作業振り分けへ」ボタンが操作された場合、非作業振り分け画面への切替指示を受け付ける。制御部２１は、非作業振り分け画面への切替が指示されていないと判断する場合（Ｓ３５：ＮＯ）、ステップＳ２１の処理に戻る。一方、制御部２１は、非作業振り分け画面への切替が指示されたと判断した場合（Ｓ３５：ＹＥＳ）、図１１Ａに示すような非作業振り分け画面を表示部２５に表示する（Ｓ３６）。制御部２１は、非作業振り分け画面を介して、実作業振り分け画面を介して行ったステップＳ２１～Ｓ３４と同様の処理を行う（Ｓ３７～Ｓ５０）。これにより、非作業振り分け画面においても、ステップＳ１５の処理でサーバ１０が抽出した非作業の作業要素の実行開始タイミングによる切れ目候補に対して、切れ目として採用するか否かが指定され、採用する場合に切れ目に対する名前が入力される。図１１Ａ及び図１１Ｂに示す例では、非作業の作業要素のうちの切れ目番号が１の切れ目候補に対して、「待機場所から仮置台に歩行」という名前が入力されている。また、非作業振り分け画面においても、任意に選択された再生位置に対して、非作業の作業要素による切れ目を設定することができる。
【0042】
次に、制御部２１は、実作業振り分け画面への切替が指示されたか否かを判断する（Ｓ５１）。非作業振り分け画面は、実作業振り分け画面と同様の構成を有しており、更に図１１Ａに示すように、画面の右下に、実作業振り分け画面への切替を指示するための「実作業振り分けへ」ボタンと、切れ目に採用された実作業及び非作業の各作業要素の一覧表示を指示するための「作業一覧へ」ボタンとが設けられている。制御部２１は、「実作業振り分けへ」ボタンが操作された場合、実作業振り分け画面への切替指示を受け付け、「作業一覧へ」ボタンが操作された場合、作業要素の一覧画面への切替指示を受け付ける。
【0043】
制御部２１は、実作業振り分け画面への切替が指示されたと判断した場合（Ｓ５１：ＹＥＳ）、ステップＳ２０の処理へ移行し、図８Ａに示すような実作業振り分け画面を表示する（Ｓ２０）。ここでの実作業振り分け画面は、上述した処理によって実作業の作業要素による各切れ目に付与された名前が名前入力欄Ａ５に表示されている。制御部２１は、実作業振り分け画面への切替が指示されていないと判断した場合（Ｓ５１：ＮＯ）、作業要素の一覧画面（作業一覧画面）への切替が指示されたか否かを判断する（Ｓ５２）。制御部２１は、作業要素の一覧画面への切替が指示されていないと判断した場合（Ｓ５２：ＮＯ）、ステップＳ３７の処理に戻り、非作業振り分け画面に表示された未処理の切れ目候補に対してステップＳ３７～Ｓ４３の処理を実行し、更にステップＳ４６～Ｓ５０を実行して任意の再生位置に対して切れ目を設定する。
【0044】
作業要素の一覧画面への切替が指示されたと判断した場合（Ｓ５２：ＹＥＳ）、制御部２１は、図１２Ａに示すような作業要素一覧画面を生成し（Ｓ５３）、生成した作業要素一覧画面を表示部２５に表示する（Ｓ５４）。作業要素一覧画面は、上述した振り分け画面を介して設定された動画の切れ目に関する情報を表示する。図１２Ａに示す作業要素一覧画面は、処理対象の動画が表示される動画領域Ａ１と、切れ目として採用された実作業の各作業要素の実行タイミングを示すガントチャートが表示されるガントチャート領域Ａ６と、実作業の作業要素の情報と非作業の作業要素の情報とが切り替えられて表示される一覧領域Ａ７とを有する。一覧領域Ａ７は、実作業タブ及び非作業タブを有しており、タブの選択が切り替えられることにより、選択されたタブに応じて実作業の作業要素の一覧又は非作業の作業要素の一覧が表示される。図１２Ａに示す一覧領域Ａ７では、実作業の作業要素の一覧が表示されており、各作業要素について、名前、作業要素の種類（取る動作又は置く動作）を示すマーク、各作業要素の実行タイミングから次の作業要素の実行タイミングまでの時間帯（全体時間）に出現する非作業の作業要素の時間（非作業時間）、全体時間、全体時間に対する非作業時間の割合、各作業要素の実行タイミングを示す再生時間が表示されている。なお、各作業要素の実行タイミングを示す再生時間は、当該動画の再生開始からの時間を示す。また、各作業要素の全体時間に非作業時間が含まれる場合に、各作業要素に対応付けて、非作業時間の内容を示すマークＭ１，Ｍ２が表示されている。例えばマークＭ１は、非作業の作業要素である歩行状態を示しており、マークＭ２は、手待ち状態を示している。これにより、実作業の各作業要素における全体時間に非作業の作業要素が含まれるか否か、及び、非作業の作業要素の種類を容易に把握できる。
【0045】
一覧領域Ａ７は、表示されている実作業の作業要素のうちで、時系列に前後に並ぶ複数の作業要素（複数の動作）を１つのグループとして扱うことができるように構成されており、グループの作成を指示するためのグループ作成ボタンが設けられている。グループ作成ボタンが操作された場合に行われるグループ作成処理の詳細については後述する。また一覧領域Ａ７は、表示されている実作業の各作業要素に対して、各作業要素の全体時間に含まれる非作業時間を改善（削減）した場合の各時間をシミュレーションできるように構成されており、いずれかの作業要素が選択された場合に、選択された作業要素の全体時間に含まれる非作業時間を改善（削減）する指示を行うための－ボタンＢ４（図１６Ａ参照）が表示される。図１６Ａに示す例では、５番目の作業要素が選択された状態を示しており、５番目の作業要素に対応付けて－ボタンＢ４が表示されている。－ボタンＢ４が操作された場合に行われる改善シミュレーション処理の詳細については後述する。一覧領域Ａ７の下側には、動画に含まれる非作業の作業要素に関する情報とシミュレーションされた改善後の情報とが表示されている。具体的には、シミュレーション結果（改善結果）として、改善（削減）された非作業の作業要素の数（改善数）と、動画に含まれる非作業時間の合計と、動画の録画時間に対する非作業時間の割合（非作業割合）と、動画の録画時間とが表示されている。非作業時間、非作業割合、及び録画時間はそれぞれ、改善前の値（矢符の左側の値）と改善後の値（矢符の右側の値）と改善による変化量とを表示している。図１２Ａに示す例では、改善数が０であるので、非作業時間、非作業割合、録画時間のそれぞれの変化量は０が表示されている。また、図１２Ａに示す画面には、全ての非作業時間の改善（削減）を指示するための「すべて改善」ボタンが設けられており、「すべて改善」ボタンが操作された場合、動画に含まれる全ての非作業時間が改善（削減）されたシミュレーション結果が表示される。
【0046】
なお、一覧領域Ａ７において非作業タブが選択された場合、例えば図１２Ｂに示すように、非作業の作業要素の一覧が一覧領域Ａ７に表示される。非作業の作業要素の一覧では、各作業要素について、名前、作業要素の種類（歩行、手待ち等）を示すマーク、各作業要素が継続した時間、開始時間が表示される。非作業タブが選択された場合の一覧領域Ａ７にはグループ作成ボタンは設けられない。非作業の作業要素が表示された一覧領域Ａ７においても、各作業要素の作業時間（非作業時間）を改善（削減）した場合の各時間をシミュレーションできるように構成されており、図１７Ａに示すように、いずれかの作業要素が選択された場合、選択された作業要素の作業時間を改善（削減）する指示を行うための－ボタンＢ４が表示される。ここでの改善シミュレーション処理についても後述する。
【0047】
ガントチャート領域Ａ６は、切れ目に設定された実作業の作業要素の一覧が表示されており、各作業要素について、名前、種類を示すマーク、全体時間内に出現する非作業時間、全体時間、全体時間に対する非作業時間の割合が表示されている。また、ガントチャート領域Ａ６には、動画の再生開始からの時間を示す横軸に対して、各作業要素（動作）の実行タイミングから、次の作業要素の実行タイミングまでの時間帯を横棒で表現したガントチャートが表示されている。なお、ガントチャート中の各横棒は、実作業の作業要素の実行時間と、非作業の作業要素の実行時間とが異なるハッチングで示されており、実作業の作業要素の実行時間に対して非作業時間の開始及び終了、並びに割合の程度を容易に把握できる。図１２Ａ，Ｂに示す例では、黒色の横棒が実作業の作業時間を示し、白色の横棒が非作業の作業時間を示す。このようなガントチャートは、一連の作業に含まれる各作業要素の順序及び標準作業時間等を規定する工程表（標準作業組合せ票）として利用される。
【0048】
上述したような作業要素一覧画面を生成した場合、制御部２１は、処理対象の動画に対して設定された切れ目に関する情報として、実作業の作業要素の発生時間及び名前を対応付け、また、非作業の作業要素の開始時間、終了時間及び名前を対応付けてデータベースに記憶し、当該データベースを処理対象の動画に対応付けて記憶部２２に記憶する。これにより、後日、動画及びデータベースを読み出して、作業要素一覧画面を表示させることが可能となる。
【0049】
上述した処理により、作業を行う作業者を撮影した動画に対して、サーバ１０が切れ目候補を自動で設定する。ユーザは、各切れ目候補に対して、切れ目に採用するか否かを指定し、切れ目に採用する場合に当該切れ目に対して任意の名前を付けることによって、各切れ目によって区分される複数の作業要素の内容を規定する標準作業組合せ票を容易に作成することができる。サーバ１０は、動画中の作業者が行う動作（作業要素）として、作業に対して有効である作業要素（実作業の作業要素）と、有効でない作業要素（非作業の作業要素）とを予測して切れ目候補を抽出するので、ユーザは、それぞれの作業要素に対して、切れ目に採用するか否かを指定できる。また、ユーザは、サーバ１０が抽出した切れ目候補とは異なる任意の再生位置（フレーム）に対して切れ目を設定することができる。従って、本実施形態の情報処理システムでは、一連の作業に含まれる各作業要素の内容を示す標準作業組合せ票の作成業務を支援することができ、業務負担を軽減することができる。
【0050】
上述した処理によって生成された作業要素一覧画面は、各種の編集処理が可能に構成されており、以下では、編集処理について説明する。図１３及び図１４は、作業要素一覧画面の編集処理手順の一例を示すフローチャート、図１５～図１８は、ユーザ端末２０の画面例を示す説明図である。以下の処理は、ユーザ端末２０の制御部２１が、記憶部２２に記憶してあるプログラム２２Ｐ及び標準作業組合せ票作成アプリ２２ＡＰに従って実行する。
【0051】
ユーザ端末２０の制御部２１は、図４～図６の処理によって作業要素一覧画面を表示部２５に表示した場合（Ｓ６１）、画面（一覧領域Ａ７）中のグループ作成ボタンが操作されたか否かを判断する（Ｓ６２）。グループ作成ボタンが操作されていないと判断する場合（Ｓ６２：ＮＯ）、制御部２１は、ステップＳ７０の処理に移行する。グループ作成ボタンが操作されたと判断した場合（Ｓ６２：ＹＥＳ）、制御部２１は、グループの作成指示を受け付け、図１５Ａに示すように一覧領域Ａ７を更新する（Ｓ６３）。図１５Ａに示す例では、一覧領域Ａ７は、実作業の作業要素を一覧表示し、各作業要素に対応付けて、作成するグループに含める作業要素を選択するためのチェックボックスを有する。また、選択された作業要素を含むグループの作成を指示するための「グループを作る」ボタンが設けられている。制御部２１は、チェックボックスに対する操作によって、複数の作業要素の選択を受け付ける（Ｓ６４）。なお、選択される作業要素は、時系列に前後に並ぶ複数の作業要素とする。図１５Ａに示す例では、１番～３番の作業要素が選択されている。
【0052】
制御部２１は、複数の作業要素の選択を受け付けた後、「グループを作る」ボタンが操作されたか否かを判断し（Ｓ６５）、操作されていないと判断する場合（Ｓ６５：ＮＯ）、ステップＳ６４の処理に戻り、作業要素の選択受付を継続する。「グループを作る」ボタンが操作されたと判断した場合（Ｓ６５：ＹＥＳ）、制御部２１は、図１５Ｂに示すように、グループの名前（グループ名、グループに対する説明情報）の入力欄を作業要素一覧画面上に表示する（Ｓ６６）。グループ名の入力欄は、任意の情報（文字）を入力できる構成であり、グループの作成処理の中断を指示するためのキャンセルボタンと、グループの作成処理の実行を指示するための決定ボタンとを有する。
【0053】
制御部２１は、グループ名の入力欄に対する入力を受け付け（Ｓ６７）、決定ボタンが操作されたか否かを判断する（Ｓ６８）。決定ボタンが操作されたと判断した場合（Ｓ６８：ＹＥＳ）、制御部２１は、入力された名前のグループを作成する（Ｓ６９）。具体的には、制御部２１は、入力されたグループ名と、選択された作業要素（例えば作業要素の切れ目番号）とを対応付けて記憶部２２に記憶する。グループを作成した場合、制御部２１は、図１６Ａに示すように、入力されたグループ名を、当該グループに含まれる作業要素に対応付けて表示する。図１６Ａに示す例では、「部材Ｘ組立作業」のグループ名に対応付けて、このグループに１番～３番の作業要素が含まれることを各番号の左側の縦棒によって表示している。また、制御部２１は、作成したグループに含まれる各非作業の作業要素の合計時間の割合と、当該グループに含まれる各作業要素の合計時間とを一覧領域Ａ７に表示する。なお、非作業の作業要素の合計時間の割合は、マークＭ１によって歩行の作業要素の割合を示し、マークＭ２によって手待ちの作業要素の割合を示す。
【0054】
制御部２１は、決定ボタンが操作されていないと判断した場合（Ｓ６８：ＮＯ）、即ちキャンセルボタンが操作された場合、ステップＳ６１の処理に戻り、図１２Ａに示すような作業要素一覧画面の表示に戻る。次に制御部２１は、一覧領域Ａ７に表示された作業要素のいずれかに対応する－ボタンＢ４が操作されたか否かを判断する（Ｓ７０）。制御部２１は、一覧領域Ａ７に表示されている作業要素のいずれかに対する所定の操作（例えばマウスの左クリック）を受け付けた場合、操作された作業要素に対応付けて－ボタンＢ４を表示する。図１６Ａに示す例では、５番目の作業要素が操作されており、５番目の作業要素に対応付けて－ボタンＢ４が表示されている。そして、制御部２１は、表示した－ボタンＢ４に対して所定の操作（例えばマウスの左クリック）を受け付けたか否かを判断する。なお、図１６Ａは、実作業の５番目の作業要素に対応する－ボタンＢ４が操作される状態を示しており、図１７Ａは、非作業の２番目の作業要素に対応する－ボタンＢ４が操作される状態を示している。
【0055】
－ボタンＢ４が操作されたと判断した場合（Ｓ７０：ＹＥＳ）、制御部２１は、操作された－ボタンＢ４に対応する非作業時間を改善した場合のシミュレーション結果の各数値（改善結果）を算出し（Ｓ７１）、算出した改善結果を作業要素一覧画面に表示する（Ｓ７２）。例えば制御部２１は、図１６Ａに示す画面中の－ボタンＢ４が操作された場合、対応する実作業の作業要素に含まれる非作業時間（無効な動作の動作時間）が改善された後の各数値を算出し、図１６Ｂに示すように表示する。よって、制御部２１は、改善が指定された非作業時間を計数することにより、改善した場合の動作時間の削減量を表示することができる。また、制御部２１は、図１７Ａに示す画面中の－ボタンＢ４が操作された場合、対応する非作業の作業要素の時間が改善された後の各数値を算出し、図１７Ｂに示すように表示する。なお、－ボタンＢ４が操作された場合、図１６Ｂ及び図１７Ｂに示すように、操作された作業要素に対応付けて、削減した非作業時間を元に戻す指示を行うための＋ボタンＢ５が表示される。
【0056】
制御部２１は、－ボタンＢ４が操作されていないと判断した場合（Ｓ７０：ＮＯ）、ステップＳ７１～Ｓ７２の処理をスキップし、一覧領域Ａ７に表示されている作業要素のいずれかに対応する＋ボタンＢ５が操作されたか否かを判断する（Ｓ７３）。＋ボタンＢ５が操作されたと判断した場合（Ｓ７３：ＹＥＳ）、制御部２１は、操作された＋ボタンＢ５に対応する非作業時間を元に戻して改善前の各数値を算出し（Ｓ７４）、算出した改善前の各数値を作業要素一覧画面に表示する（Ｓ７５）。制御部２１は、例えば図１６Ｂに示す画面中の＋ボタンＢ５が操作された場合、図１６Ａに示す表示状態に戻し、図１７Ｂに示す画面中の＋ボタンＢ５が操作された場合、図１７Ａに示す表示状態に戻す。制御部２１は、＋ボタンＢ５が操作されていないと判断した場合（Ｓ７３：ＮＯ）、ステップＳ７４～Ｓ７５の処理をスキップする。
【0057】
制御部２１は、作業要素一覧画面中の「すべて改善」ボタンが操作されたか否かを判断し（Ｓ７６）、操作されたと判断した場合（Ｓ７６：ＹＥＳ）、全ての非作業時間を改善した場合のシミュレーション結果の各数値（改善結果）を算出し（Ｓ７７）、算出した改善結果を作業要素一覧画面に表示する（Ｓ７８）。図１６Ａに示す画面中の「すべて改善」ボタンが操作された場合、制御部２１は、図１８に示すように、全ての非作業時間が改善（削除）された後の各数値を算出して表示する。「すべて改善」ボタンが操作された場合、図１８に示すように、削減した全ての非作業の時間を元に戻す指示を行うための「元に戻す」ボタンが作業要素一覧画面に表示される。
【0058】
制御部２１は、「すべて改善」ボタンが操作されていないと判断した場合（Ｓ７６：ＮＯ）、ステップＳ７７～Ｓ７８の処理をスキップする。「すべて改善」ボタンが操作されている状態で、制御部２１は、「元に戻す」ボタンが操作されたか否かを判断する（Ｓ７９）。「元に戻す」ボタンが操作されたと判断した場合（Ｓ７９：ＹＥＳ）、制御部２１は、削除していた全ての非作業時間を元に戻して改善前の各数値を算出し（Ｓ８０）、算出した改善前の各数値を作業要素一覧画面に表示する（Ｓ８１）。制御部２１は、例えば図１８に示す画面中の「元に戻す」ボタンが操作された場合、図１６Ａに示す表示状態に戻す。制御部２１は、「元に戻す」ボタンが操作されていないと判断した場合（Ｓ７９：ＮＯ）、ステップＳ８０～Ｓ８１の処理をスキップする。
【0059】
制御部２１は、上述した処理を終了するか否かを判断する（Ｓ８２）。例えば制御部２１は、入力部２４を介したユーザの操作によって、上述した処理の終了指示を受け付けた場合、処理を終了すると判断する。制御部２１は、上述した処理を終了しないと判断した場合（Ｓ８２：ＮＯ）、ステップＳ６２の処理に戻る。この場合、制御部２１は、作業要素一覧画面を介したユーザの操作に従って、グループを作成する処理、非作業時間を削減する改善シミュレーション処理等を実行する。制御部２１は、上述した処理を終了すると判断した場合（Ｓ８２：ＹＥＳ）、上述した編集処理が行われた編集情報を記憶部２２に記憶し（Ｓ８３）、一連の処理を終了する。具体的には、制御部２１は、処理対象の動画に対して設定された切れ目に関する情報として、実作業の作業要素の発生時間及び名前と、非作業の作業要素の開始時間、終了時間及び名前とをデータベースに記憶し、当該データベースと、作成されたグループの情報及び改善シミュレーション処理の結果を含む編集情報とを処理対象の動画に対応付けて記憶部２２に記憶する。これにより、動画、データベース及び編集情報に基づいて、作業要素一覧画面を後日表示して確認することができる。
【0060】
上述した処理により、作業要素一覧画面において、実作業の各作業要素及び非作業の各作業要素の出現状況を把握できる。また、作業要素一覧画面上で、不要な非作業を削減（改善）するシミュレーションを行うことができ、不要な非作業を削減した標準作業組合せ票の作成が可能となる。
【0061】
本実施形態では、作業を行う作業者を撮影した動画に基づいて、作業者が行う各動作に基づく切れ目候補が自動で設定されるので、ユーザは、切れ目候補に対して採用又は不採用を設定することによって、動画に対する切れ目を設定することができる。また、ユーザは、動画中の任意の箇所（再生時間）に対して切れ目を設定することができる。また、各切れ目（各動作）に名前を付ける際に、入力候補を提示することができるので、名前を付ける作業を支援することができる。よって、動画と連動して標準作業組合せ票の作成が可能となり、その際の作業負荷を軽減することができる。また、切れ目毎に各動作の名前を付けることができるので、各切れ目におけるユーザの動作内容を容易に把握できる標準作業組合せ票を作成できる。
【0062】
本実施形態において、サーバ１０が行う処理をユーザ端末２０がローカルで行う構成とすることもできる。例えばユーザ端末２０の記憶部２２に学習モデル１２Ｍをダウンロードすることにより、図４中のステップＳ１５の処理をユーザ端末２０で実行する構成でもよい。この場合、ユーザ端末２０の制御部２１が、カメラ３０で撮影した動画に基づいて、動画を動作（作業要素）毎に区切る処理を実行し、処理済みの動画に基づいて振り分け画面を表示する。この場合でも、上述した本実施形態と同様に、各作業要素の切れ目の設定及び名前の付与が可能であり、同様の効果が得られる。また、本実施形態では、作業を行う作業者を撮影した動画に基づいて、標準作業組合せ票を作成する構成であるが、標準作業組合せ票を作成する動画は、作業者を撮影した動画に限定されない。例えば、所定の作業を行うように構成されたロボットを撮影した動画に基づいて標準作業組合せ票を作成する構成であってもよい。
【0063】
（実施形態２）
動画に設定する切れ目の名前を、予め登録してある名前候補から選択して付与する情報処理システムについて説明する。本実施形態の情報処理システムは、図２に示す実施形態１の情報処理システムと同様の装置を用いて実現されるので、構成についての詳細な説明は省略する。なお、本実施形態では、ユーザ端末２０は、図２に示す構成に加えて、記憶部２２に名前データベースを記憶している。
動画に設定する切れ目の名前を、予め登録してある名前候補から選択して付与する情報処理システムについて説明する。本実施形態の情報処理システムは、図２に示す実施形態１の情報処理システムと同様の装置を用いて実現されるので、構成についての詳細な説明は省略する。なお、本実施形態では、ユーザ端末２０は、図２に示す構成に加えて、記憶部２２に名前データベースを記憶している。
【0064】
図１９は名前データベースの構成例を示す説明図である。名前データベースは、動画に設定される切れ目に付ける名前の候補を記憶する。名前データベースは、例えば図７Ｂに示す動画選択画面を介して生成可能である。図２０は名前データベースの生成処理の説明図である。動画選択画面において、いずれかの動画ファイルに対して所定の操作（例えばマウスの右クリック）が行われた場合、ユーザ端末２０の制御部２１は、図２０Ａに示すように、選択された動画ファイルに対して、名前データベースの生成を指示するための項目「名前データベース」を含む操作メニューを表示する。操作メニュー中の「名前データベース」の項目が操作された場合、制御部２１は、図２０Ｂに示すように切れ目の名前候補の入力欄を表示する。そして、制御部２１は、名前候補の入力欄を介して名前候補を受け付け、保存ボタンが操作された場合、入力された名前候補を名前データベースに記憶する。なお、制御部２１は、選択された動画ファイルに対応付けて名前データベースを記憶部２２に記憶してもよい。
【0065】
上述したように名前データベースに名前候補を登録しておくことにより、図９Ａ，図９Ｂ，図１１Ｂに示す画面中の名前入力欄Ａ５を介して切れ目の名前を入力する際に、名前データベースに登録してある名前候補を用いることができる。図２１はユーザ端末２０の画面例を示す説明図である。図５中のステップＳ２５において、ユーザ端末２０の制御部２１は、図９Ａに示す画面中の名前入力欄Ａ５に設けられた名前データベースボタンが操作された場合、記憶部２２に記憶してある名前データベースから名前候補を読み出し、図２１に示すように名前入力欄Ａ５に表示する。これにより、名前データベースに予め登録した名前候補（複数の説明情報）をユーザに提示することができ、ユーザは、提示された名前候補から所望のものを選択することにより、各切れ目に名前を付けることができる。制御部２１は、名前入力欄Ａ５に表示した名前候補のいずれかに対する選択を受け付け、更に決定ボタンが操作された場合（Ｓ２６：ＹＥＳ）、選択された名前候補を、動画領域Ａ１に表示中のフレームによる切れ目の名前として記憶部２２に記憶する（Ｓ２７）。
【0066】
同様に、図６中のステップＳ４１において、ユーザ端末２０の制御部２１は、図１１Ｂに示す画面中の名前入力欄Ａ５に設けられた名前データベースボタンが操作された場合、名前データベースから名前候補を読み出し、図２１と同様に名前入力欄Ａ５に表示する。よって、非作業振り分け画面においても、非作業の各作業要素に対する名前候補をユーザに提示することができ、ユーザは、提示された名前候補から所望のものを選択することにより、非作業の各作業要素に名前を付けることができる。図５中のステップＳ３２及び図６中のステップＳ４８においても同様の処理が可能である。
【0067】
本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、動画の切れ目（各作業要素）に付ける可能性のある名前候補を予め名前データベースに登録しておくことにより、動画の切れ目に名前を付ける際に名前候補から選択すればよく、ユーザの操作負担を軽減できる。また、本実施形態においても、上述した実施形態１で適宜説明した変形例の適用が可能である。
【0068】
（実施形態３）
複数の動画のそれぞれから生成された作業要素一覧画面（標準作業組合せ票）を並べて表示する情報処理システムについて説明する。本実施形態の情報処理システムは、図２に示す実施形態１の情報処理システムと同様の装置を用いて実現されるので、構成についての詳細な説明は省略する。以下では、２つの動画から生成された２つの作業要素一覧画面が並べて表示される構成を例に説明するが、３つ以上の作業要素一覧画面が並べて表示される構成でもよい。
複数の動画のそれぞれから生成された作業要素一覧画面（標準作業組合せ票）を並べて表示する情報処理システムについて説明する。本実施形態の情報処理システムは、図２に示す実施形態１の情報処理システムと同様の装置を用いて実現されるので、構成についての詳細な説明は省略する。以下では、２つの動画から生成された２つの作業要素一覧画面が並べて表示される構成を例に説明するが、３つ以上の作業要素一覧画面が並べて表示される構成でもよい。
【0069】
図２２は、２つの作業要素一覧画面の表示例を示す説明図である。ユーザ端末２０の制御部２１は、例えば図７Ｂに示すような動画選択画面を介して、作業要素一覧画面が生成済みの２つの動画ファイルの選択を受け付けた場合、選択された動画ファイルの作業要素一覧画面を並べて表示部２５に表示する。図２２に示す例では、画面の上側及び下側にそれぞれ作業要素一覧画面が表示されている。それぞれの作業要素一覧画面は、図１２Ａ及び図１２Ｂと同様の構成を有する。これにより、制御部２１は、２つの動画のそれぞれに基づいて生成された標準作業組合せ票を表示することができ、各動画を区分した各切れ目の名前（各区分位置に対する説明情報）を並べて表示することができる。図２２に示す画面は、それぞれの動画領域Ａ１に表示される動画の再生及び停止を同期（連動）させることができ、一方の再生停止ボタンＢ１が操作された場合、制御部２１は、両方の動画領域Ａ１に表示される動画を再生又は停止させるように構成されている。
【0070】
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、異なる動画から生成された作業要素一覧画面を並べて表示することができる。よって、例えば異なる作業者が同じ品種の製品の組み立て作業を行った場合に撮影された動画を同期させて表示した場合に、２人の作業者の作業状態を比較することができる。例えば、評価基準となる作業者の動画及び作業要素一覧画面と、評価対象の作業者の動画及び作業要素一覧画面とを並べて表示することにより、評価基準となる作業者の動作と比較して、評価対象の作業者の動作を評価することが可能となる。本実施形態の構成は、上述した実施形態１～２の情報処理システムに適用でき、実施形態１～２の情報処理システムに適用した場合であっても同様の効果が得られる。
【0071】
（実施形態４）
サーバ１０が動画に対して自動で設定した切れ目に対してユーザが任意に設定した切れ目に基づいて、動画の切れ目を予測する学習モデル１２Ｍの学習又は再学習に用いる訓練データを収集する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態１の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。
サーバ１０が動画に対して自動で設定した切れ目に対してユーザが任意に設定した切れ目に基づいて、動画の切れ目を予測する学習モデル１２Ｍの学習又は再学習に用いる訓練データを収集する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態１の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。
【0072】
図２３は実施形態４の標準作業組合せ票の作成処理手順の一例を示すフローチャートである。図２３に示す処理は、図４～図６に示す処理においてステップＳ３４，Ｓ３５の間にステップＳ９１を追加し、ステップＳ５０，Ｓ５１の間にステップＳ９２を追加したものである。図４～図６と同じステップについては説明を省略する。また図２３では、図４～図６中のステップＳ３０～Ｓ３４及びステップＳ４６～Ｓ５０以外のステップの図示を省略している。
【0073】
本実施形態のユーザ端末２０の制御部２１は、実作業振り分け画面において任意の再生位置に対する切れ目の設定を行った場合（Ｓ３０～Ｓ３４）、設定された切れ目に基づいて、学習モデル１２Ｍの学習に用いる訓練データを取得する（Ｓ９１）。例えば制御部２１は、切れ目が設定されたフレームの前後所定時間に含まれるフレームを抽出し、抽出したフレームに、切れ目に設定されたことを示す情報を対応付けて訓練データを生成する。このとき制御部２１は、抽出したフレーム中の作業者の動作に関する情報を、例えば切れ目に設定された名前から抽出し、又は入力部２４を介して取得し、得られた動作に関する情報を、抽出したフレームに対応付けて訓練データを生成してもよい。
【0074】
同様に、制御部２１は、非作業振り分け画面において任意の再生位置に対して、非作業の作業要素による切れ目の設定を行った場合（Ｓ４６～Ｓ５０）、設定された切れ目に基づいて、学習モデル１２Ｍの学習に用いる訓練データを取得する（Ｓ９２）。ここでも制御部２１は、切れ目が設定されたフレームの前後所定時間に含まれるフレームを抽出し、抽出したフレームに、切れ目に設定されたことを示す情報を対応付けて訓練データを生成する。また制御部２１は、抽出したフレーム中の作業者の動作に関する情報を取得し、得られた動作に関する情報を、抽出したフレームに対応付けて訓練データを生成してもよい。
【0075】
上述した処理によって取得した訓練データは、学習モデル１２Ｍの学習及び再学習に用いることができる。よって、ユーザ端末２０の制御部２１は、訓練データを取得した場合、又は所定量の訓練データを収集した場合に、得られた訓練データをサーバ１０へ送信する。サーバ１０の制御部１１は、ユーザ端末２０から取得した訓練データを蓄積しておき、所定のタイミングで、蓄積した訓練データを用いて学習モデル１２Ｍを再学習させる。これにより、動画中の作業者が実行中の作業要素の種類を予測する際の精度が維持及び向上された学習モデル１２Ｍを得ることができる。
【0076】
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザが動画中の任意の再生位置に対して設定した切れ目に基づいて、学習モデル１２Ｍの学習用の訓練データを取得することができる。よって、学習モデル１２Ｍによる予測精度を維持及び向上させることが可能となる。本実施形態の構成は、上述した実施形態１～３の情報処理システムに適用でき、実施形態１～３の情報処理システムに適用した場合であっても同様の効果が得られる。
【0077】
上述した各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。
【0078】
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0079】
１０ サーバ
１１ 制御部
１２ 記憶部
１３ 通信部
２０ ユーザ端末
２１ 制御部
２２ 記憶部
２３ 通信部
２５ 表示部
１２Ｍ 学習モデル
１１ 制御部
１２ 記憶部
１３ 通信部
２０ ユーザ端末
２１ 制御部
２２ 記憶部
２３ 通信部
２５ 表示部
１２Ｍ 学習モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】