特許 7570151 プログラム、情報処理方法、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-10

(45)【発行日】2024-10-21

(54)【発明の名称】プログラム、情報処理方法、及び情報処理装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241011BHJP

   G06T 7/00 20170101ALI20241011BHJP

   G06V 40/20 20220101ALI20241011BHJP

   G06Q 10/0633 20230101ALI20241011BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/00 350B

G06V40/20

G06Q10/0633

【請求項の数】 22

(21)【出願番号】P 2023572659

(86)(22)【出願日】2023-08-30

(86)【国際出願番号】 JP2023031608

(87)【国際公開番号】W WO2024062882

(87)【国際公開日】2024-03-28

【審査請求日】2023-11-22

(31)【優先権主張番号】P 2022149255

(32)【優先日】2022-09-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】521046284

【氏名又は名称】株式会社Ｏｌｌｏ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】川合 健斗

(72)【発明者】

【氏名】侯 明程

(72)【発明者】

【氏名】穂屋下 巧輝

(72)【発明者】

【氏名】開 航平

(72)【発明者】

【氏名】早稲田 風太

(72)【発明者】

【氏名】茶田 和樹

(72)【発明者】

【氏名】相原 稔樹

(72)【発明者】

【氏名】戎 堅士朗

【審査官】橘 高志

(56)【参考文献】

【文献】特開２０２１－０７１７７３（ＪＰ，Ａ）

【文献】国際公開第２０１７／１５０２１１（ＷＯ，Ａ１）

【文献】特開２００６－２０９６５７（ＪＰ，Ａ）

【文献】特開２０１４－０６４１１０（ＪＰ，Ａ）

【文献】特開２０２０－０８７４３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ４０／２０

Ｇ０６Ｑ １０／０６３３

(57)【特許請求の範囲】

【請求項1】

作業を行う対象を撮影した動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、各動作が標準動作であるか否かを判定し、
各動作に対する判定結果に基づいて、前記作業が標準作業であるか否かを分析する処理であって、
前記動画を、複数の動作を含む作業要素毎に区分し、
それぞれ区分した作業要素動画を、前記動作毎に区分し、
前記作業要素動画を入力した場合に前記作業要素動画中の対象が行う作業要素が標準作業ではない要因に関する情報を出力するように学習してある学習モデルに、複数の前記作業要素動画をそれぞれ入力して前記要因に関する情報を出力し、
出力した前記要因に関する情報に基づいて、前記複数の作業要素動画を前記要因毎にグループ分けする
処理をコンピュータに実行させるプログラム。

【請求項2】

作業を行う対象を撮影した動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、各動作が標準動作であるか否かを判定し、
各動作に対する判定結果に基づいて、前記作業が標準作業であるか否かを分析し、
複数の動画のそれぞれを前記動作毎に区分した各区分動画に基づいて、各動画における各動作の動作時間を計測し、
計測した各動画における各動作の動作時間のばらつきを示す図表を生成する処理であって、
前記図表は、各動画における各動作の動作時間を、各動作に対応付けてプロットした図表であり、
前記図表中にプロットされた点の選択を受け付けた場合、選択された点に対応する動画中の対応する動作の区分動画を出力する
処理をコンピュータに実行させるプログラム。

【請求項3】

対象を撮影した動画を入力した場合に前記対象が行う動作に関する情報を出力するように学習してある学習モデルに、前記動画を入力して、前記動画に含まれる前記区分動画中の対象が行う動作に関する情報を出力し、
出力した動作に関する情報に基づいて、前記区分動画における動作が標準動作であるか否かを判定する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項4】

各区分動画における各動作の動作時間が標準動作時間であるか否かに応じて、各動作が標準動作であるか否かを判定する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項5】

前記動画に基づいて、前記動画中の対象が行う作業の作業対象の品種を判定し、
判定した品種に応じた前記学習モデルを選択し、
選択した学習モデルに、前記動画を入力して、前記動画に含まれる前記区分動画中の対象が行う動作に関する情報を出力する
処理を前記コンピュータに実行させる請求項３に記載のプログラム。

【請求項6】

作業を行う対象を撮影した動画を入力した場合に前記作業に含まれる動作に関する情報を出力するように学習してある学習モデルに、前記動画を入力して前記動画中の対象が行う動作に関する情報を出力し、
出力した動作に関する情報に基づいて、前記動画を前記動作毎に区分する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項7】

前記動画を前記動作毎に区分した区分位置を出力し、
各区分位置に対する変更を受け付ける
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項8】

前記動画の任意の再生位置に対して、前記動作毎に区分する区分位置の設定を受け付ける
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項9】

前記要因毎に、前記作業要素動画を含む動画を出力する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。

【請求項10】

複数の動画のそれぞれを前記動作毎に区分した区分動画に基づいて、前記複数の動画中の各動作の区分動画を同期させて出力する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項11】

前記動画を区分した前記作業要素動画に基づいて、前記作業要素毎に作業開始タイミング及び作業終了タイミングを示す図表を生成する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。

【請求項12】

作業を行う対象を撮影した動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、各動作が標準動作であるか否かを判定し、
各動作に対する判定結果に基づいて、前記作業が標準作業であるか否かを分析し、
複数の前記動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、前記複数の動画中の各動作の区分動画を同期させて出力する処理であって、
前記複数の動画の中から、他の動画と比較する基準動画を選択し、
選択した基準動画と、前記基準動画以外の他の動画とにおける各動作の区分動画を同期させて出力し、
前記基準動画及び前記他の動画におけるいずれかの動作の区分動画の出力中に、前記他の動画の変更指示を受け付けた場合、前記基準動画及び変更指示された他の動画を、出力中の前記動作の区分動画から同期させて出力する
処理をコンピュータに実行させるプログラム。

【請求項13】

作業を行う対象を撮影した動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、各動作が標準動作であるか否かを判定し、
各動作に対する判定結果に基づいて、前記作業が標準作業であるか否かを分析し、
複数の前記動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、前記複数の動画中の各動作の区分動画を同期させて出力する処理であって、
前記複数の動画の中から、他の動画と比較する基準動画を選択し、
選択した基準動画と、前記基準動画以外の他の動画とにおける各動作の区分動画を同期させて出力し、
複数の前記他の動画のそれぞれの区分動画の中から、前記基準動画中の各区分動画と、前記他の動画中の各区分動画とにおける類似度が低い区分動画を抽出する
処理をコンピュータに実行させるプログラム。

【請求項14】

作業を行う対象を撮影した動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、各動作が標準動作であるか否かを判定し、
各動作に対する判定結果に基づいて、前記作業が標準作業であるか否かを分析し、
複数の前記動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、前記複数の動画中の各動作の区分動画を同期させて出力する処理であって、
前記複数の動画の中から、他の動画と比較する基準動画を選択し、
選択した基準動画と、前記基準動画以外の他の動画とにおける各動作の区分動画を同期させて出力し、
複数の前記他の動画のそれぞれの区分動画の中から、前記区分動画に係る動作の所要時間が長い区分動画を抽出する
処理をコンピュータに実行させるプログラム。

【請求項15】

作業を行う対象を撮影した動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、各動作が標準動作であるか否かを判定し、
各動作に対する判定結果に基づいて、前記作業が標準作業であるか否かを分析し、
複数の前記動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、前記複数の動画中の各動作の区分動画を同期させて出力し、
前記複数の動画の中から、他の動画と比較する基準動画を選択し、
選択した基準動画と、前記基準動画以外の他の動画とにおける各動作の区分動画を同期させて出力する処理であって、
前記複数の動画中の各区分動画から、各動作について基準動画に含めるべき区分動画を抽出し、
各動作について抽出した区分動画をつなぎ合わせて前記基準動画を生成する
処理をコンピュータに実行させるプログラム。

【請求項16】

前記動画は、前記対象が一連の前記作業を行う時間を１サイクル動画とし、複数のサイクル動画を含んでおり、
前記動画中の１つのサイクル動画の指定を受け付け、
前記動画から、指定されたサイクル動画に類似するサイクル動画を抽出し、
抽出した各サイクル動画を前記動作毎に区分する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項17】

１又は複数の前記対象を撮影した複数の前記動画が記憶部に記憶してあり、
前記記憶部に記憶してある前記複数の動画から、前記指定されたサイクル動画に類似するサイクル動画を抽出し、
抽出した各サイクル動画を前記動作毎に区分する
処理を前記コンピュータに実行させる請求項１６に記載のプログラム。

【請求項18】

前記動画中に複数の対象が含まれる場合、いずれかの対象に対する選択を受け付け、
選択された対象が行う動作毎に前記動画を区分する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項19】

作業を行う対象を撮影した動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、各動作が標準動作であるか否かを判定し、
各動作に対する判定結果に基づいて、前記作業が標準作業であるか否かを分析する処理であって、
前記動画を、複数の動作を含む作業要素毎に区分し、
それぞれ区分した作業要素動画を、前記動作毎に区分し、
前記作業要素動画を入力した場合に前記作業要素動画中の対象が行う作業要素が標準作業ではない要因に関する情報を出力するように学習してある学習モデルに、複数の前記作業要素動画をそれぞれ入力して前記要因に関する情報を出力し、
出力した前記要因に関する情報に基づいて、前記複数の作業要素動画を前記要因毎にグループ分けする
処理をコンピュータが実行する情報処理方法。

【請求項20】

制御部を有する情報処理装置において、
前記制御部が、
作業を行う対象を撮影した動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、各動作が標準動作であるか否かを判定し、
各動作に対する判定結果に基づいて、前記作業が標準作業であるか否かを分析し、
前記動画を、複数の動作を含む作業要素毎に区分し、
それぞれ区分した作業要素動画を、前記動作毎に区分し、
前記作業要素動画を入力した場合に前記作業要素動画中の対象が行う作業要素が標準作業ではない要因に関する情報を出力するように学習してある学習モデルに、複数の前記作業要素動画をそれぞれ入力して前記要因に関する情報を出力し、
出力した前記要因に関する情報に基づいて、前記複数の作業要素動画を前記要因毎にグループ分けする
情報処理装置。

【請求項21】

作業を行う対象を撮影した動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、各動作が標準動作であるか否かを判定し、
各動作に対する判定結果に基づいて、前記作業が標準作業であるか否かを分析し、
複数の前記動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、前記複数の動画中の各動作の区分動画を同期させて出力する処理であって、
前記複数の動画の中から、他の動画と比較する基準動画を選択し、
選択した基準動画と、前記基準動画以外の他の動画とにおける各動作の区分動画を同期させて出力し、
前記基準動画及び前記他の動画におけるいずれかの動作の区分動画の出力中に、前記他の動画の変更指示を受け付けた場合、前記基準動画及び変更指示された他の動画を、出力中の前記動作の区分動画から同期させて出力する
処理をコンピュータが実行する情報処理方法。

【請求項22】

制御部を有する情報処理装置において、
前記制御部が、
作業を行う対象を撮影した動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、各動作が標準動作であるか否かを判定し、
各動作に対する判定結果に基づいて、前記作業が標準作業であるか否かを分析し、
複数の前記動画を、前記作業に含まれる動作毎に区分し、
それぞれ区分した区分動画に基づいて、前記複数の動画中の各動作の区分動画を同期させて出力し、
前記複数の動画の中から、他の動画と比較する基準動画を選択し、
選択した基準動画と、前記基準動画以外の他の動画とにおける各動作の区分動画を同期させて出力し、
前記基準動画及び前記他の動画におけるいずれかの動作の区分動画の出力中に、前記他の動画の変更指示を受け付けた場合、前記基準動画及び変更指示された他の動画を、出力中の前記動作の区分動画から同期させて出力する
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、情報処理方法、及び情報処理装置に関する。

【背景技術】

【0002】

特許文献１では、予め順序が定められた複数の作業から成る工程に対して、対象物の行動が、各作業の順序に従っているか否かを検知する技術が開示されている。特許文献１に開示の技術では、工程を構成する各作業について、作業名、作業順序、標準作業時間等が規定された工程情報に従って、対象物が規定通りの作業を行っているか否かが判定される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－８２１３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された技術では、各作業が標準作業時間で行われているか否かに応じて、規定通りの作業が行われているか否かが判定される。しかし、標準作業時間で行われた作業であっても、規定通りの作業内容（動作内容）であるとは限らない。従って、作業時間が標準作業時間であるか否かの判定だけで、規定通りの作業内容が行われたか否かを正確に判定することは難しい。

【0005】

本開示は、作業を行う対象が規定通りの作業を行っているか否かを正確に判定することが可能なプログラム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様に係るプログラムは、作業を行う対象を撮影した動画を、前記作業に含まれる動作毎に区分し、それぞれ区分した区分動画に基づいて、各動作が標準動作であるか否かを判定し、各動作に対する判定結果に基づいて、前記作業が標準作業であるか否かを分析する処理をコンピュータに実行させる。

【発明の効果】

【0007】

本開示の一態様にあっては、作業を行う対象が規定通りの作業を行っているか否かを正確に判定することができる。

【図面の簡単な説明】

【0008】

【図1A】処理対象の動画例を示す説明図である。

【図1B】処理対象の動画例を示す説明図である。

【図2】情報処理装置の構成例を示すブロック図である。

【図3】学習モデルの構成例を示す説明図である。

【図4】学習モデルの構成例を示す説明図である。

【図5】動作分析モデルの生成処理手順の一例を示すフローチャートである。

【図6A】画面例を示す説明図である。

【図6B】画面例を示す説明図である。

【図6C】画面例を示す説明図である。

【図7】作業の分析処理手順の一例を示すフローチャートである。

【図8】画面例を示す説明図である。

【図9】各作業要素に対する要因の分析処理手順の一例を示すフローチャートである。

【図10A】画面例を示す説明図である。

【図10B】画面例を示す説明図である。

【図11】各動作の動作時間の分析処理手順の一例を示すフローチャートである。

【図12】画面例を示す説明図である。

【図13】ガントチャートの作成処理手順の一例を示すフローチャートである。

【図14】ガントチャートの画面例を示す説明図である。

【図15】２つの分析結果画面の表示例を示す説明図である。

【図16】サイクル動画抽出モデルの構成例を示す説明図である。

【図17】サイクル動画の比較処理手順の一例を示すフローチャートである。

【図18A】画面例を示す説明図である。

【図18B】画面例を示す説明図である。

【図18C】画面例を示す説明図である。

【図18D】画面例を示す説明図である。

【図19A】画面例を示す説明図である。

【図19B】画面例を示す説明図である。

【図19C】画面例を示す説明図である。

【図20A】画面例を示す説明図である。

【図20B】画面例を示す説明図である。

【図20C】画面例を示す説明図である。

【図20D】画面例を示す説明図である。

【図21A】画面例を示す説明図である。

【図21B】画面例を示す説明図である。

【図22】実施形態３のサイクル動画の比較処理手順の一例を示すフローチャートである。

【図23】画面例を示す説明図である。

【図24】実施形態４のサイクル動画の比較処理手順の一例を示すフローチャートである。

【図25】基準サイクル動画の例を示す説明図である。

【図26】実施形態５のサイクル動画の比較処理手順の一例を示すフローチャートである。

【図27A】画面例を示す説明図である。

【図27B】画面例を示す説明図である。

【発明を実施するための形態】

【0009】

以下に、本開示のプログラム、情報処理方法、及び情報処理装置について、その実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
作業を行う作業者（対象）を撮影した動画に基づいて、当該作業者が行う作業が、予め設定された標準作業であるか否かを分析する情報処理装置について説明する。図１Ａ及び図１Ｂは処理対象の動画例を示す説明図である。本実施形態の処理対象の動画は、例えば１秒間に３０枚又は１５枚等、複数の画像（静止画）を含む動画データであり、例えば図１Ａに示すように、作業者の上方から作業者が作業を行う様子を撮影した撮影画像である。また、図１Ｂに示すように、処理対象の動画は、例えば１つの製品を組み立てる作業の開始から終了までを撮影した画像であり、組み立て作業に含まれる複数の作業要素毎に区分された動画（作業要素動画、以下ではサイクル動画という）を含む。また、サイクル動画は、各作業要素に含まれる複数の動作毎に区分された動画（区分動画、以下では動作動画という）を含む。図１Ｂに示す例では、品種Ａの製品の組み立て作業を行う作業者を撮影した動画が、「ケースＡの組立」、「部品Ａの組立」等の作業要素を行う作業者を撮影したサイクル動画毎に区分可能であり、「ケースＡの組立」の作業要素のサイクル動画が、「ケース取り出し」、「歩行」、「スペーサを取り付ける」、「ケースを被せる」等の動作を行う作業者を撮影した動作動画毎に区分可能である。

【0011】

図２は情報処理装置の構成例を示すブロック図である。情報処理装置１０は、種々の情報処理及び情報の送受信が可能な装置であり、例えばサーバコンピュータ、パーソナルコンピュータ、ワークステーション等で構成される。情報処理装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、又はＡＩチップ（ＡＩ用半導体）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してあるプログラム１２Ｐを適宜実行することにより、情報処理装置１０が行うべき情報処理及び制御処理を実行する。

【0012】

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行するプログラム１２Ｐ（プログラム製品）及び各種のデータを記憶している。また記憶部１２は、制御部１１がプログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。プログラム１２Ｐ及び各種のデータは、情報処理装置１０の製造段階において記憶部１２に書き込まれてもよく、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。また記憶部１２は、機械学習によって訓練データを学習済みの品種予測モデルＭ１、サイクル予測モデルＭ２、切れ目予測モデルＭ３、動作分析モデルＭ４、要因分類モデルＭ５等の学習モデルを記憶している。学習モデルＭ１～Ｍ５は、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデルＭ１～Ｍ５は、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２には、学習モデルＭ１～Ｍ５を定義する情報として、学習モデルＭ１～Ｍ５が備える層の情報、各層を構成するノードの情報、ノード間の重み（結合係数）等の情報が記憶される。なお、サイクル予測モデルＭ２、切れ目予測モデルＭ３、及び動作分析モデルＭ４のそれぞれは、作業者が組み立て作業を行う製品の品種毎に複数用意されている。更に記憶部１２は、処理対象の動画ファイル１２ａを複数記憶している。

【0013】

通信部１３は、有線通信又は無線通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して他の装置との間で情報の送受信を行う。ネットワークＮは、インターネット又は公衆通信回線であってもよく、情報処理装置１０が設置されている施設内に構築されたＬＡＮ（Local Area Network）であってもよい。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４の一部及び表示部１５は一体として構成されたタッチパネルであってもよい。

【0014】

読み取り部１６は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１０ａに記憶された情報を読み取る。記憶部１２に記憶されるプログラム１２Ｐ及び各種のデータは、制御部１１が読み取り部１６を介して可搬型記憶媒体１０ａから読み取って記憶部１２に記憶してもよい。

【0015】

情報処理装置１０は、複数のコンピュータを含んで構成されるマルチコンピュータであってもよく、１台の装置内にソフトウェアによって仮想的に構築された仮想マシンであってもよい。情報処理装置１０をサーバコンピュータで構成する場合、情報処理装置１０は、ローカルサーバであってもよく、インターネット等のネットワークを介して通信接続されたクラウドサーバであってもよい。また、プログラム１２Ｐは単一のコンピュータ上で実行されてもよく、ネットワークＮを介して相互に接続された複数のコンピュータ上で実行されてもよい。更に、情報処理装置１０は、入力部１４及び表示部１５は必須ではなく、接続されたコンピュータを通じて操作を受け付ける構成でもよく、表示すべき情報を外部の表示装置へ出力する構成でもよい。

【0016】

図３及び図４は学習モデルＭ１～Ｍ５の構成例を示す説明図である。学習モデルＭ１～Ｍ５は、例えばＲＮＮ（Recurrent Neural Network）又はＬＳＴＭ（Long Short-Term Memory）を用いて構成される。なお、学習モデルＭ１～Ｍ５は、ＲＮＮ、ＬＳＴＭのほかに、ＣＮＮ（Convolution Neural Network）、Transformer等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。

【0017】

品種予測モデルＭ１は、作業中の作業者の全身を撮影した動画を入力とし、入力された動画に基づいて、撮影されている作業者が組み立て作業を行っている製品の品種を判別する演算を行い、演算した結果を出力するように学習した学習済みモデルである。なお、品種予測モデルＭ１は、作業者の全身を撮影した動画が入力される構成に限定されず、例えば作業者の上半身又は手元を撮影した動画のように、作業者が実行中の組み立て作業の様子が撮影された動画が入力される構成でもよい。品種予測モデルＭ１は、動画が入力される入力層と、入力された動画から特徴量を抽出する中間層と、中間層の演算結果を基に動画中の作業者が組み立て作業を行っている製品の品種を示す情報を出力する出力層とを有する。入力層は、動画に含まれる時系列の画像（フレーム）が順次入力される入力ノードを有する。中間層は、各種の関数及び閾値等を用いて、入力層を介して入力された動画に基づいて出力値を算出する。出力層は、予め設定された品種のそれぞれに対応付けられた複数の出力ノードを有しており、各出力ノードから、各品種が、作業者が組み立て作業を行っている製品の品種であると判別すべき確率（確信度）を出力する。出力層の各出力ノードからの出力値は、例えば０～１の値であり、各出力ノードから出力された確率の合計が１．０（１００％）となる。情報処理装置１０は、例えば、品種予測モデルＭ１に動画を入力した場合に、各出力ノードからの出力値（確信度）のうちで最大の出力値を出力した出力ノードを特定し、特定した出力ノードに対応付けられている品種を、動画中の作業者が組み立て作業を行っている製品の品種に特定する。なお、品種予測モデルＭ１の出力層は、各品種に対する確信度を出力する複数の出力ノードを有する代わりに、確信度が最大の品種を示す情報を出力する１つの出力ノードを有する構成でもよい。

【0018】

品種予測モデルＭ１は、訓練用の動画と、この動画中の作業者が組み立て作業を行っている製品の品種を示す情報（正解ラベル）とを含む訓練データを用いて機械学習することにより生成できる。品種予測モデルＭ１は、訓練データに含まれる動画が入力された場合に、訓練データに含まれる正解ラベルが示す品種に対応する出力ノードからの出力値が１に近づき、他の出力ノードからの出力値が０に近づくように学習する。学習処理において品種予測モデルＭ１は、入力された動画に基づいて中間層及び出力層での演算を行い、各出力ノードからの出力値を算出し、算出した各出力ノードの出力値と正解ラベルに応じた値（正解ラベルに対応する出力ノードに対しては１、他の出力ノードに対しては０）とを比較し、両者が近似するように、中間層及び出力層での演算処理に用いるパラメータを最適化する。当該パラメータは、中間層及び出力層におけるノード間の重み（結合係数）、関数の係数、閾値等である。パラメータの最適化の方法は特に限定されないが、誤差逆伝播法、最急降下法等を用いることができる。これにより、動画が入力された場合に、動画中の作業者が組み立て作業を行っている製品の品種を予測し、予測結果を出力する品種予測モデルＭ１が得られる。

【0019】

サイクル予測モデルＭ２は、作業中の作業者の全身を撮影した動画を入力とし、入力された動画に基づいて動画をサイクル動画に区分する演算を行い、演算した結果を出力するように学習した学習済みモデルである。サイクル予測モデルＭ２も、作業者の全身を撮影した動画が入力される構成に限定されず、例えば作業者の上半身又は手元を撮影した動画のように、作業者が実行中の組み立て作業の様子が撮影された動画が入力される構成でもよい。サイクル予測モデルＭ２は、動画が入力される入力層と、入力された動画から特徴量を抽出する中間層と、中間層の演算結果を基に動画を区分した各サイクル動画の開始時間及び終了時間を出力する出力層とを有する。サイクル予測モデルＭ２の中間層は、入力層を介して入力された動画に基づいて出力値を算出し、出力層は、動画を区分した各サイクル動画の開始時間及び終了時間を出力する出力ノードを有する。なお、サイクル動画の開始時間及び終了時間は、当該動画の再生開始からの経過時間を示す。情報処理装置１０は、サイクル予測モデルＭ２に動画を入力した場合に、出力ノードからの出力値（サイクル動画の開始時間及び終了時間）に基づいて、動画をサイクル動画毎に区分する。

【0020】

サイクル予測モデルＭ２は、動画中の各サイクル動画（各作業要素）の切れ目を設定するための設定用動画を用いて生成される。設定用動画は、各動作に対する標準動作の実行が可能な作業者が作業を行う様子を撮影した動画を用いる。具体的には、サイクル予測モデルＭ２に設定用動画が入力された場合、サイクル予測モデルＭ２は、入力された動画に基づいて中間層及び出力層での演算を行って出力ノードからの出力値を算出し、設定用動画を各サイクル動画に区分した切れ目の時間（サイクル動画の開始時間及び終了時間）を出力する。ユーザは、サイクル予測モデルＭ２が出力した各サイクルの切れ目の時間に対して修正を行うことが可能であり、サイクル予測モデルＭ２は、修正後の各切れ目の時間に基づいて中間層及び出力層での演算処理に用いるパラメータを最適化する。これにより、動画が入力された場合に、動画中の各サイクル動画の開始時間及び終了時間を予測し、予測結果を出力するサイクル予測モデルＭ２が得られる。

【0021】

切れ目予測モデルＭ３は、サイクル動画に区分済みの動画を入力とし、入力された動画に基づいて各サイクル動画を動作動画に区分する演算と、区分した動作動画の切れ目以外に切れ目を設定できる時間帯を予測する演算とを行い、演算した結果を出力するように学習した学習済みモデルである。切れ目予測モデルＭ３は、動画が入力される入力層と、入力された動画から特徴量を抽出する中間層と、中間層の演算結果を基に各サイクル動画を区分した動作動画の開始時間及び終了時間、並びに動作動画の切れ目を設定できる時間帯を出力する出力層とを有する。切れ目予測モデルＭ３の中間層は、入力層を介して入力された動画に基づいて出力値を算出し、出力層は、動画中の各サイクル動画を区分した各動作動画の開始時間及び終了時間と、動作動画の切れ目の設定可能時間帯とを出力する出力ノードをそれぞれ有する。情報処理装置１０は、切れ目予測モデルＭ３に動画を入力した場合に、出力ノードからの出力値（動作動画の開始時間及び終了時間）に基づいて、動画中のサイクル動画を動作動画毎に区分する。

【0022】

切れ目予測モデルＭ３は、各動作動画（各動作）の切れ目を設定するための設定用動画を用いて生成される。切れ目予測モデルＭ３の生成に用いる動画は、サイクル予測モデルＭ２の生成に用いた動画であり、サイクル予測モデルＭ２によって各サイクル動画に区分された動画である。切れ目予測モデルＭ３に設定用動画が入力された場合、切れ目予測モデルＭ３は、入力された動画に基づいて中間層及び出力層での演算を行って出力ノードからの出力値を算出し、設定用動画を各動作動画に区分した切れ目の時間（動作動画の開始時間及び終了時間）と、動作動画の切れ目の設定可能時間帯とを出力する。ユーザは、切れ目予測モデルＭ３が出力した各動作の切れ目の時間に対して修正を行うことが可能であり、また、切れ目予測モデルＭ３が出力した切れ目の設定可能時間帯に対して修正を行うことが可能であり、切れ目予測モデルＭ３は、修正後の各切れ目の時間及び設定可能時間帯に基づいて中間層及び出力層での演算処理に用いるパラメータを最適化する。これにより、動画が入力された場合に、動画中の各動作動画の開始時間及び終了時間と、各動作動画の切れ目の設定可能時間帯とを予測し、予測結果を出力する切れ目予測モデルＭ３が得られる。

【0023】

動作分析モデルＭ４は、動作動画に区分済みの動画、即ち、動作動画間の切れ目が設定済みの動画を入力とし、入力された動画に基づいて動画中のサイクル動画に含まれる各動作動画に区分する演算と、区分した動作動画における作業者の動作が標準動作であるか否かを判定する演算とを行い、演算した結果を出力するように学習した学習済みモデルである。動作分析モデルＭ４は、動画が入力される入力層と、入力された動画から特徴量を抽出する中間層と、中間層の演算結果を基に動画中の各サイクル動画に含まれる動作動画の開始時間及び終了時間、並びに各動作動画中の作業者の動作が標準動作であるか否かを示す分析結果（作業者が行う動作に関する情報）を出力する出力層とを有する。動作分析モデルＭ４の中間層は、入力層を介して入力された動画に基づいて出力値を算出し、出力層は、動画中の各動作動画の開始時間及び終了時間と、各動作動画に対する分析結果とを出力する出力ノードをそれぞれ有する。情報処理装置１０は、動作分析モデルＭ４に動画を入力した場合に、出力ノードからの出力値（動作動画の開始時間及び終了時間、分析結果）に基づいて、動画中のサイクル動画を動作動画に区分し、各動作動画における作業者の動作が標準動作であるか否かを特定する。

【0024】

動作分析モデルＭ４は、各動作に対する標準動作を実行する作業者を撮影した動画を設定用動画として用いて生成される。動作分析モデルＭ４の生成に用いる動画は、切れ目予測モデルＭ３の生成に用いた動画であり、切れ目予測モデルＭ３によって各動作動画に区分された動画である。動作分析モデルＭ４に設定用動画が入力された場合、動作分析モデルＭ４は、入力された動画に基づいて中間層及び出力層での演算を行って出力ノードからの出力値を算出し、設定用動画を各動作動画に区分した切れ目の時間（動作動画の開始時間及び終了時間）と、各動作動画の動作が標準動作であるか否かを示す分析結果とを出力する。ユーザは、動作分析モデルＭ４が出力した各動作の切れ目の時間に対して修正を行うことが可能であり、動作分析モデルＭ４は、修正後の各切れ目の時間に基づいて中間層及び出力層での演算処理に用いるパラメータを最適化する。なお、ここでの分析結果は、各動作が標準動作であることを示す情報であるので、動作分析モデルＭ４は、出力した分析結果が標準動作でないことを示す情報である場合、当該分析結果に対して修正を行い、修正後の分析結果に基づいてパラメータを最適化する。これにより、動画が入力された場合に、動画中の各動作動画の開始時間及び終了時間と、各動作動画の動作に対する分析結果とを予測し、予測結果を出力する動作分析モデルＭ４が得られる。このような動作分析モデルＭ４を用いることにより、標準動作との比較結果として、分析対象の動画に撮影された作業者の動作の適否が判定される。なお、動作分析モデルＭ４は、各動作動画における作業者の動作が標準動作であるか否かを示す分析結果に加えて、作業者の動作が標準動作でない場合には標準動作でないとされる要因を示す情報を出力する構成でもよい。標準動作でないとされる要因は、例えば動作時間が標準動作時間よりも所定時間以上長い又は短いことが挙げられる。

【0025】

要因分類モデルＭ５は、動画から区分されたサイクル動画を入力とし、入力されたサイクル動画に基づいて、サイクル動画中の作業者が行う作業要素が標準作業ではないとする要因を判別する演算を行い、演算した結果を出力するように学習した学習済みモデルである。要因分類モデルＭ５は、サイクル動画が入力される入力層と、入力されたサイクル動画から特徴量を抽出する中間層と、中間層の演算結果を基にサイクル動画中の作業者の作業要素が標準作業ではない要因を示す情報（要因に関する情報）を出力する出力層とを有する。要因分類モデルＭ５の中間層は、入力層を介して入力されたサイクル動画に基づいて出力値を算出し、出力層は、予め設定された要因のそれぞれに対応付けられた複数の出力ノードを有しており、各出力ノードから、各要因が、作業者が行う作業要素が標準作業ではない要因であると判別すべき確率（確信度）を出力する。出力層の各出力ノードからの出力値は、例えば０～１の値であり、各出力ノードから出力された確率の合計が１．０（１００％）となる。作業者の作業要素が標準作業ではないとする要因は、例えば作業要素に含まれる動作の欠如、作業要素に含まれる動作の実行順序の変更、作業要素に含まれる動作の動きが標準動作と異なること、作業要素に含まれる動作の動作時間が標準動作時間よりも所定時間以上長い又は短いこと等が挙げられる。情報処理装置１０は、例えば、要因分類モデルＭ５にサイクル動画を入力した場合に、各出力ノードからの出力値（確信度）のうちで最大の出力値を出力した出力ノードを特定し、特定した出力ノードに対応付けられている要因を、サイクル動画中の作業者の作業要素が標準作業ではないとする要因に特定する。なお、要因分類モデルＭ５の出力層は、各要因に対する確信度を出力する複数の出力ノードを有する代わりに、確信度が最大の要因を示す情報を出力する１つの出力ノードを有する構成でもよい。

【0026】

要因分類モデルＭ５は、訓練用のサイクル動画と、このサイクル動画中の作業者の作業要素が標準作業ではないとする要因を示す情報（正解ラベル）とを含む訓練データを用いて機械学習することにより生成できる。要因分類モデルＭ５は、訓練データに含まれるサイクル動画が入力された場合に、訓練データに含まれる正解ラベルが示す要因に対応する出力ノードからの出力値が１に近づき、他の出力ノードからの出力値が０に近づくように学習する。学習処理において要因分類モデルＭ５は、入力された動画に基づいて中間層及び出力層での演算を行い、各出力ノードからの出力値を算出し、算出した各出力ノードの出力値と正解ラベルに応じた値（正解ラベルに対応する出力ノードに対しては１、他の出力ノードに対しては０）とを比較し、両者が近似するように、中間層及び出力層での演算処理に用いるパラメータを最適化する。ここでも、最適化するパラメータは、中間層及び出力層におけるノード間の重み（結合係数）、関数の係数、閾値等であり、パラメータの最適化の方法は誤差逆伝播法、最急降下法等を用いることができる。これにより、サイクル動画が入力された場合に、サイクル動画中の作業者の作業要素が標準作業ではない要因を予測し、予測結果を出力する要因分類モデルＭ５が得られる。

【0027】

学習モデルＭ１～Ｍ５の学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデルＭ１～Ｍ５は、例えばネットワークＮ経由又は可搬型記憶媒体１０ａ経由で学習装置から情報処理装置１０にダウンロードされて記憶部１２に記憶される。本実施形態では、サイクル予測モデルＭ２、切れ目予測モデルＭ３、及び動作分析モデルＭ４は、１セットの訓練データ（設定用動画）、又は少ない数の訓練データを用いて学習を行うワンショット学習によって生成されるが、多数の訓練データを用いた学習によって生成されてもよい。また、学習モデルＭ１～Ｍ５は、作業者を撮影した動画又は動画から区分されたサイクル動画が入力される構成に限定されない。例えば、情報処理装置１０が、動画に含まれる各フレーム（各画像）に基づいて、作業者の骨格推定を行って骨格データを生成し、時系列の骨格データを学習モデルＭ１～Ｍ５に入力する構成としてもよい。この場合、情報処理装置１０の制御部１１は、例えばＯｐｅｎＰｏｓｅのように画像中の人の関節位置を抽出する技術を用いて、各フレーム中の作業者の骨格推定を行い、作業者の関節位置を抽出する。制御部１１は、動画に含まれる各フレームに対して、関節位置を抽出する処理を行うことにより、時系列の骨格データを取得し、得られた時系列の骨格データを学習モデルＭ１～Ｍ５の入力としてもよい。

【0028】

以下に、本実施形態の情報処理装置１０において、動作分析モデルＭ４の生成処理について説明する。図５は動作分析モデルＭ４の生成処理手順の一例を示すフローチャート、図６Ａ～図６Ｃは画面例を示す説明図である。以下の処理は、情報処理装置１０の制御部１１が、記憶部１２に記憶してあるプログラム１２Ｐに従って実行する。

【0029】

各品種用の動作分析モデルＭ４を生成する場合、ユーザは、動作分析モデルＭ４の設定用動画を選択する。動作分析モデルＭ４の設定用動画は、サイクル予測モデルＭ２及び切れ目予測モデルＭ３を用いて各サイクル（各作業要素）に含まれる各動作に区分済みの動画である。情報処理装置１０の制御部１１は、入力部１４を介した操作によって、動作分析モデルＭ４の設定用動画の選択を受け付ける（Ｓ１１）。制御部１１は、選択された動画を動作分析モデルＭ４に入力し、動作分析モデルＭ４からの出力情報に基づいて、処理対象の動画を動作動画に区分し、各動作の切れ目候補を抽出する（Ｓ１２）。具体的には、制御部１１は、動画ファイル１２ａに含まれる各フレームを順次動作分析モデルＭ４に入力し、動作分析モデルＭ４から出力される各動作動画の開始時間及び終了時間に基づいて、各動作の切れ目候補の時間を特定する。

【0030】

制御部１１は、処理対象の動画中の各動作動画の切れ目候補を抽出した場合、図６Ａに示すような切れ目編集画面を表示部１５に表示する（Ｓ１３）。切れ目編集画面は、動作分析モデルＭ４から出力された各動作動画の開始時間及び終了時間に基づく各動作の切れ目候補の時間を変更するための画面である。図６Ａに示す画面は、処理対象の動画が表示される動画領域Ａ１と、当該動画から抽出された切れ目候補の時間が表示される編集領域Ａ２とを有する。編集領域Ａ２には、動画から区分された各動作動画の開始時間が、各動作動画と直前の動作動画との切れ目候補の時間として表示されており、各切れ目候補に対して削除を指示するための削除ボタンＢ１（×ボタン）と、各切れ目候補間に新たな切れ目の作成を指示するための追加ボタンＢ２（＋ボタン）とが設けられている。なお、各動作の切れ目に対して名前を付与できるように構成されていてもよく、この場合、編集領域Ａ２に、各切れ目候補の時間と共に、各切れ目に付与された名前が表示されてもよい。

【0031】

制御部１１は、編集領域Ａ２において削除ボタンＢ１が操作されることにより、いずれかの切れ目候補に対する削除指示を受け付けたか否かを判断し（Ｓ１４）、削除指示を受け付けたと判断した場合（Ｓ１４：ＹＥＳ）、削除指示された切れ目候補を削除する（Ｓ１５）。切れ目候補を削除した場合、制御部１１は、編集領域Ａ２に表示されている切れ目候補から、削除指示された切れ目候補を削除し、削除した切れ目候補よりも後の切れ目候補を順次繰り上げて表示する。削除指示を受け付けていないと判断した場合（Ｓ１４：ＮＯ）、制御部１１は、ステップＳ１５をスキップし、編集領域Ａ２において追加ボタンＢ２が操作されることにより、新たな切れ目の追加指示を受け付けたか否かを判断する（Ｓ１６）。

【0032】

新たな切れ目の追加指示を受け付けたと判断した場合（Ｓ１６：ＹＥＳ）、制御部１１は、図６Ｂに示すような切れ目追加画面を表示部１５に表示する（Ｓ１７）。図６Ａに示す画面では、２番目と３番目の切れ目候補の間の追加ボタンＢ２が操作されており、この場合、図６Ｂに示すように、２番目と３番目の切れ目候補間の時間帯における任意の再生時間に新たな切れ目を追加するための切れ目追加画面が表示される。なお、動作分析モデルＭ４の設定用動画を生成する際に、切れ目予測モデルＭ３から出力された切れ目の設定可能時間帯を取得していた場合、制御部１１は、設定可能時間帯を切れ目追加画面に表示してもよい。この場合、ユーザは、設定可能時間帯を考慮して、新たな切れ目の時間を指定できる。

【0033】

ユーザは、切れ目に設定したい時間を切れ目追加画面に入力し、制御部１１は、切れ目追加画面を介して、新たな切れ目の時間を受け付ける（Ｓ１８）。制御部１１は、図６Ｂに示す画面において追加ボタンが操作された場合、受け付けた時間に切れ目を追加する（Ｓ１９）。新たな切れ目を追加した場合、制御部１１は、図６Ｃに示すように、２番目と３番目の切れ目候補の間に新たな切れ目を追加し、追加された切れ目の後の切れ目候補を順次繰り下げて表示する。新たな切れ目の追加指示を受け付けていないと判断した場合（Ｓ１６：ＮＯ）、制御部１１は、ステップＳ１７～Ｓ１９をスキップする。

【0034】

制御部１１は、図６Ａ，Ｃに示す画面において保存ボタンが操作されたか否かを判断し（Ｓ２０）、保存ボタンが操作されていないと判断した場合（Ｓ２０：ＮＯ）、ステップＳ１４に戻り、ステップＳ１４～Ｓ１９の処理を繰り返す。なお、制御部１１は、図６Ａ，Ｃに示す画面において「次へ」ボタンが操作された場合、編集領域Ａ２の表示内容を、最下段に表示中の切れ目候補の後の切れ目候補に変更する。また、制御部１１は、図６Ａ，Ｃに示す画面においてキャンセルボタンが操作された場合、切れ目候補の編集処理を中断して終了する。

【0035】

保存ボタンが操作されたと判断した場合（Ｓ２０：ＹＥＳ）、制御部１１は、編集領域Ａ２を介して編集（削除及び追加）された切れ目候補を切れ目に決定し、各切れ目の時間を記憶部１２に記憶する（Ｓ２１）。具体的には、制御部１１は、各切れ目の出現順序を示す切れ目番号と、各切れ目の時間とを対応付けて、例えば記憶部１２に設けられたＤＢに記憶する。なお、各切れ目に名前が付与されている場合、各切れ目の名前も記憶してもよい。そして、制御部１１は、各切れ目の時間に基づいて、動作分析モデルＭ４の中間層及び出力層での演算処理に用いるパラメータを設定（最適化）する（Ｓ２２）。ここでは、制御部１１は、動作分析モデルＭ４に入力した設定用動画を、ステップＳ２１で記憶した各切れ目の時間毎に区分できるように、動作分析モデルＭ４のパラメータを設定する。また制御部１１は、設定用動画を入力した場合に動作分析モデルＭ４が出力した分析結果に基づいて、各動作動画に対して、標準動作であることを示す分析結果を出力するように動作分析モデルＭ４のパラメータを設定する。これにより、動画が入力された場合に、動画を動作動画に区分し、区分した各動作動画の動作が標準動作であるか否かの分析結果を出力する動作分析モデルＭ４を生成できる。

【0036】

上述した処理では、動作分析モデルＭ４を用いて抽出された動作動画間の切れ目に対する削除と、新たな切れ目の追加とを行うことにより、各動作動画間の切れ目が編集される構成である。このような構成により、編集後の各動作動画間の切れ目に基づいて動作分析モデルＭ４のパラメータを精度よく設定することができる。また、各切れ目の編集方法は上述した処理に限定されず、例えば編集領域Ａ２が、各切れ目候補の時間を直接変更できるように構成されていてもよい。

【0037】

図５には、動作分析モデルＭ４のパラメータを設定する際の処理を示したが、サイクル予測モデルＭ２及び切れ目予測モデルＭ３についても同様の処理によってパラメータの設定が可能である。例えば、サイクル予測モデルＭ２のパラメータを設定する場合、制御部１１は、処理対象の動画をサイクル予測モデルＭ２に入力し、サイクル予測モデルＭ２からの出力情報に基づいて、処理対象の動画をサイクル動画に区分し、各サイクルの切れ目候補を抽出する。そして、制御部１１は、各サイクル動画の切れ目候補に対するユーザの編集を受け付け、編集後の各サイクル動画の切れ目の時間に基づいて、サイクル予測モデルＭ２のパラメータの設定が可能である。また、切れ目予測モデルＭ３のパラメータを設定する場合、制御部１１は、処理対象の動画を切れ目予測モデルＭ３に入力し、切れ目予測モデルＭ３からの出力情報に基づいて、処理対象の動画を動作動画に区分し、各動作の切れ目候補を抽出する。そして、制御部１１は、各動作の切れ目候補に対するユーザの編集を受け付け、編集後の各動作の切れ目の時間に基づいて、切れ目予測モデルＭ３のパラメータの設定が可能である。

【0038】

次に、本実施形態の情報処理装置１０において、作業を行う作業者を撮影した動画に基づいて当該作業者が標準作業を行っているか否かを分析する処理について説明する。図７は作業の分析処理手順の一例を示すフローチャート、図８は画面例を示す説明図である。以下の処理は、情報処理装置１０の制御部１１が、記憶部１２に記憶してあるプログラム１２Ｐに従って実行する。

【0039】

作業者の作業が標準作業であるか否かを分析する場合、ユーザは、分析対象の作業者を撮影した動画を選択する。情報処理装置１０の制御部１１は、入力部１４を介した操作によって、分析対象の動画の選択を受け付ける（Ｓ３１）。制御部１１は、選択された動画（動画ファイル１２ａ）を品種予測モデルＭ１に入力し、品種予測モデルＭ１からの出力情報に基づいて、分析対象の動画に撮影されている作業者が組み立て作業を行っている製品（作業対象）の品種を特定する（Ｓ３２）。具体的には、制御部１１は、動画ファイル１２ａに含まれる各フレームを順次品種予測モデルＭ１に入力し、品種予測モデルＭ１からの最大の出力値（確信度）が所定値以上（例えば０．７以上）となった場合に、最大出力値を出力した出力ノードに対応する品種を、動画中の作業者が組み立て中の製品の品種に特定する。なお、制御部１１は、品種予測モデルＭ１を用いずに作業対象の品種を特定してもよい。例えば、品種毎に異なる物品が作業対象に含まれる場合、制御部１１は、動画中に含まれる物品を検出し、検出した物品に応じて品種を特定することができる。

【0040】

制御部１１は、作業者が組み立て中の品種を特定した場合、特定した品種に応じたサイクル予測モデルＭ２、切れ目予測モデルＭ３、及び動作分析モデルＭ４を選択する（Ｓ３３）。なお、サイクル予測モデルＭ２、切れ目予測モデルＭ３、及び動作分析モデルＭ４はそれぞれ品種毎に複数用意されている。制御部１１は、選択したサイクル予測モデルＭ２を用いて、分析対象の動画をサイクル動画に区分し、各サイクルの切れ目を抽出する（Ｓ３４）。ここでは、制御部１１は、動画ファイル１２ａに含まれる各フレームを順次サイクル予測モデルＭ２に入力し、サイクル予測モデルＭ２からの出力情報に基づいて、動画に含まれる各サイクル動画の開始時間及び終了時間を特定（予測）する。なお、ステップＳ３４の処理後、制御部１１は、動画から抽出された各サイクルの切れ目に対して変更処理（削除及び新規追加等）を行うための編集画面（図６Ａ～図６Ｃ参照）を表示部１５に表示し、編集画面を介して各サイクルの切れ目の時間の変更指示を受け付けて変更するように構成されていてもよい。

【0041】

次に制御部１１（区分部）は、ステップＳ３３で選択した切れ目予測モデルＭ３を用いて、各サイクルの切れ目が抽出された動画を、作業者が行う動作が撮影された動作動画に区分し、各動作の切れ目を抽出する（Ｓ３５）。ここでは、制御部１１は、サイクル動画に区分済みの動画に含まれる各フレームを順次切れ目予測モデルＭ３に入力し、切れ目予測モデルＭ３からの出力情報に基づいて、各サイクル動画に含まれる各動作動画の開始時間及び終了時間を特定（予測）する。なお、ステップＳ３５の処理後、制御部１１は、動画から抽出された各動作の切れ目（区分位置）に対して変更処理（削除及び新規追加等）を行うための編集画面（図６Ａ～図６Ｃ参照）を表示部１５に表示し、編集画面を介して各動作の切れ目の時間の変更指示を受け付けて変更するように構成されていてもよい。

【0042】

次に制御部１１は、ステップＳ３３で選択した動作分析モデルＭ４を用いて、各動作の切れ目が抽出された動画に基づいて、動画に含まれる各動作動画に撮影された作業者の動作が標準動作であるか否かを分析する（Ｓ３６）。ここでは、制御部１１は、動画に含まれる各フレームを順次動作分析モデルＭ４に入力し、動作分析モデルＭ４からの出力情報に基づいて、動画に含まれる各動作動画の開始時間及び終了時間と、各動作動画中の作業者の動作が標準動作であるか否かを示す分析結果とを特定（予測）する。制御部１１（判定部）は、分析結果に基づいて、作業者が行う動作が標準動作であるか否かを判定できる。

【0043】

制御部１１（分析部）は、動画中の各サイクル動画について、サイクル動画に含まれる動作動画に対する分析結果に基づいて、サイクル動画に撮影されている作業者が行う作業要素が標準作業であるか否かを分析する（Ｓ３７）。ここでは、制御部１１は、サイクル動画に含まれるいずれかの動作動画に対して、標準動作ではないとの分析結果が得られた場合、当該サイクル動画における作業者の作業要素は標準作業ではないと判定する。例えば、１つの作業要素が撮影されたサイクル動画に含まれる動作動画のいずれかが欠損している場合、制御部１１は、動作抜けとして、当該サイクル動画における作業者の作業要素は標準作業ではないと判定する。また、サイクル動画に含まれる動作動画のいずれかの出現順序が異なっている場合、制御部１１は、順番入れ替えとして、当該サイクル動画における作業者の作業要素は標準作業ではないと判定する。また、サイクル動画に含まれる動作動画のいずれかにおける作業者の動作が標準動作と異なる動作である場合、制御部１１は、異常な動きとして、当該サイクル動画における作業者の作業要素は標準作業ではないと判定する。また、制御部１１は、サイクル動画に含まれる動作動画のいずれかにおける時間（作業者による動作時間）が、予め設定されている標準動作時間よりも所定時間以上長い場合、動作時間が長いとして、当該サイクル動画における作業者の作業要素は標準作業ではないと判定し、所定時間以上短い場合、動作時間が短いとして、当該サイクル動画における作業者の作業要素は標準作業ではないと判定する。このような分析処理は、要因分類モデルＭ５を用いて行われてもよい。この場合、制御部１１は、サイクル動画を要因分類モデルＭ５に入力し、要因分類モデルＭ５からの出力情報に基づいて、作業要素が標準作業であるか否かを分析する。なお、標準作業ではないとする動作内容は、上述した例に限定されない。制御部１１は、サイクル動画に含まれる全ての動作動画に対して、標準動作であるとの分析結果が得られた場合、当該サイクル動画における作業者の作業要素は標準作業であると判定する。

【0044】

制御部１１は、各サイクル動画に対する分析結果を表示部１５に表示する（Ｓ３８）。例えば制御部１１は、図８に示すような分析結果画面を生成して表示部１５に表示する。図８に示す分析結果画面は、分析対象の動画が表示される動画領域Ａ３と、当該動画中の作業者が行う作業要素に含まれる動作に対する分析結果が表示される結果領域Ａ４とを有する。結果領域Ａ４には、動画から区分された各動作動画中の作業者が行う動作について、出現順序を示す動作番号、各動作に付与された名前及び分析結果が表示される。分析結果は、各動作の実行に要した動作時間と、各動作が標準動作であるか否かを示すマーク（〇又は×）とを含む。なお、動画領域Ａ３には、表示中の動画の再生及び停止を指示するための再生停止ボタンＢ３が設けられており、再生停止ボタンＢ３を介して再生指示された場合、制御部１１は、分析対象の動画を動画領域Ａ３に再生させると共に、再生された動画に基づいて分析された各動作動画に対する分析結果を結果領域Ａ４に表示する。これにより、再生された動画によって作業者の動作を確認しつつ、分析結果を把握できる。

【0045】

上述した処理により、情報処理装置１０は、作業者を撮影した動画に基づいて、作業者が行う作業要素及び各作業要素に含まれる各動作を認識し、動作毎に標準動作であるか否かを分析し、各動作の分析結果に基づいて各作業要素が標準作業であるか否かを分析する。このように、作業者が行う作業を動作単位に区分して動作毎に適否（具体的には、標準動作であるか否か）が判定され、その結果を用いることにより、作業者の作業要素（１サイクルの作業）に対する適否をより精度よく判定することができる。また、各動作の適否は動作分析モデルＭ４を用いて判定されるので、各動作の動作時間だけでなく動作内容（作業者の動き）も考慮して標準動作が行われたか否かが判定される。よって、作業者が、予め動作分析モデルＭ４に対して設定された標準動作（規定通りの作業）を行っているかを精度よく分析できる。また、動作毎に適否が判定された結果に基づいて、適切でない動作及び適切でない動作を含む作業要素を提示することができるので、作業者に対する改善指導が容易となる。

【0046】

制御部１１は、分析対象の動画に含まれる全てのフレームに対して、上述した処理を終了したか否かを判断しており（Ｓ３９）、終了していないと判断した場合（Ｓ３９：ＮＯ）、ステップＳ３４の処理に戻り、ステップＳ３４～Ｓ３８の処理を繰り返す。これにより、分析対象の動画に含まれる各サイクル動画に基づいて、作業者が行う各作業要素が適切であるか否かを分析することができ、得られた分析結果をユーザに提示することができる。

【0047】

制御部１１は、分析対象の動画に対して上述した処理を終了したと判断した場合（Ｓ３９：ＹＥＳ）、分析対象の動画に対応付けて分析結果を記憶部１２に記憶する（Ｓ４０）。例えば制御部１１は、分析対象の動画から抽出した各サイクル動画について、識別情報（例えば出現順序を示すサイクル番号）、各サイクルの切れ目の時間及び作業要素（サイクル）に対する分析結果と、各サイクル動画中の各動作動画について、識別情報（例えば出現順序を示す動作番号）、各動作の切れ目の時間及び動作に対する分析結果とを、記憶部１２に用意されたＤＢに記憶する。上述した処理により、作業を行う作業者を撮影した動画に基づいて、作業者が、予め動作分析モデルＭ４に設定された標準動作を行っているか否かが分析され、分析結果が表示されてユーザに提示される。

【0048】

上述した処理では、分析対象の動画に基づいて、作業者が作業中の品種を特定し、品種毎に用意された動作分析モデルＭ４を用いた分析処理が実行される。従って、例えば同一の作業現場において異なる複数種類の品種の組み立て作業が行われている場合であっても、品種毎の分析処理が可能であり、分析処理を行うユーザは、各動画における品種を意識することなく、各動画に対する分析処理を精度よく行うことができる。

【0049】

上述した分析処理による各動画に対する分析結果は、作業者が行う作業内容の傾向を把握して、組み立て作業に対する改善策の検討に利用できる。例えば、各動画に含まれる各サイクル動画に対する分析結果から、各サイクル動画における作業要素が標準作業ではない場合の各要因の傾向を分析して対策を講じることが可能となる。図９は各作業要素に対する要因の分析処理手順の一例を示すフローチャート、図１０Ａ及び図１０Ｂは画面例を示す説明図である。以下の処理は、情報処理装置１０の制御部１１が、記憶部１２に記憶してあるプログラム１２Ｐに従って実行する。

【0050】

作業者が行う各作業要素について、標準作業ではない場合の要因の発生状況を分析する場合、ユーザは、分析対象の作業者を撮影した動画であって、図７の処理によって各作業要素の分析処理が実行された後の動画を選択する。ここでの処理対象の動画は、１つの品種の製品の組み立て作業を行う作業者を撮影した動画である。なお、以下の処理は、１人の作業者が行った複数回の作業に基づいて当該作業者の作業内容を分析するために実行してもよく、複数の作業者が行った作業に基づいて、複数の作業者の作業内容を分析するために実行してもよい。

【0051】

制御部１１は、処理対象の動画からサイクル動画を抽出し（Ｓ５１）、抽出したサイクル動画に基づいて、サイクル動画中の作業者が行う作業要素が標準作業ではないとする要因を判別する（Ｓ５２）。ここでは、制御部１１は、サイクル動画に含まれる各フレームを順次要因分類モデルＭ５に入力し、要因分類モデルＭ５からの出力情報に基づいて、サイクル動画中の作業者の作業が標準作業ではない要因を判別する。なお、制御部１１は、図７に示す分析処理によって得られた各サイクル動画に対する分析結果に基づいて、各サイクル動画中の作業者が行う作業要素が標準作業ではないとする要因を判別してもよい。制御部１１は、動作抜け、順番入れ替え、異常な動き、動作時間が長い、動作時間が短い等のいずれかの要因を判別する。制御部１１は、処理対象のサイクル動画に、判別した要因を対応付けて記憶部１２に記憶する（Ｓ５３）。例えば制御部１１は、各サイクル動画のサイクル番号に、判別した要因を対応付けて記憶する。

【0052】

次に制御部１１は、判別した要因に基づいて、各要因の発生割合を算出し（Ｓ５４）、算出した各要因の発生割合を表示部１５に表示する（Ｓ５５）。例えば制御部１１は、図１０Ａに示すような要因画面を生成して表示部１５に表示する。図１０Ａに示す要因画面は、品種Ａの組み立て作業に含まれる作業要素の一覧が表示され、各作業要素について、出現順序（サイクル番号）、名前、各要因の発生割合が表示される。なお、各要因の発生割合は、標準作業ではないと判別されたサイクル動画の割合に加えて、標準作業であると判別されたサイクル動画の割合を含む。各動作動画に対する分析結果に基づく要因が既に判別済みであり、動画と共に記憶部１２に記憶されている場合、制御部１１は、ステップＳ５２～Ｓ５３の処理を行わずに、分析結果に基づく要因を記憶部１２から読み出して、ステップＳ５４～Ｓ５５の処理を行えばよい。

【0053】

制御部１１は、ステップＳ５１～Ｓ５５の処理を実行していない未処理の動画があるか否かを判断し（Ｓ５６）、未処理の動画があると判断した場合（Ｓ５６：ＹＥＳ）、ステップＳ５１の処理に戻り、未処理の動画に対してステップＳ５１～Ｓ５５の処理を実行する。未処理の動画がないと判断した場合（Ｓ５６：ＮＯ）、制御部１１は、ステップＳ５７の処理に移行する。

【0054】

図１０Ａに示す画面は、各作業要素に対する各要因を介して、各要因が発生している動画の再生指示を受け付けるように構成されている。例えばユーザは、いずれかの作業要素のいずれかの要因に対して所定の操作（例えばマウスの左クリック）を行うことにより、操作された要因が発生している動画に対する再生指示を行うことができる。図１０Ａでは、制御部１１は、矢符Ａ５に示すようなカーソルによる操作によって、サイクル番号が１の作業要素について、動作抜けの要因が発生している動画に対する再生指示を受け付ける。制御部１１は、再生対象の要因を受け付けたか否かを判断し（Ｓ５７）、受け付けたと判断した場合（Ｓ５７：ＹＥＳ）、選択された要因が発生している動画（要因に対応する動画）を特定する（Ｓ５８）。ここでは、制御部１１は、選択された作業要素に対する要因が発生している動画を、記憶部１２に記憶してある動画から検索する。そして、制御部１１は、検索した動画を記憶部１２から読み出して表示部１５に表示する（Ｓ５９）。例えば制御部１１は、図１０Ｂに示すような分析結果画面を表示部１５に表示する。図１０Ｂに示す画面は、図８に示す画面と同様の構成を有し、更に「前の動画へ」ボタン及び「次の動画へ」ボタンを有する。制御部１１は、ステップＳ５８で特定した複数の動画を順次再生するように構成されており、図１０Ｂに示す画面を介して「前の動画へ」ボタンが操作された場合、動画領域Ａ３及び結果領域Ａ４の表示内容を、直前に表示されていた動画、及び、当該動画に対する分析結果に変更する。また、制御部１１は、「次の動画へ」ボタンが操作された場合、動画領域Ａ３及び結果領域Ａ４の表示内容を、次に表示予定の動画、及び、当該動画に対する分析結果に変更する。なお、制御部１１は、ステップＳ５８で特定した複数の動画を任意の順で再生するように構成されていてもよく、例えば、録画日時が古い順又は新しい順に各動画を再生してもよく、作業者毎に各作業者の動画をまとめて再生してもよく、ランダムに再生してもよい。また、図１０Ｂに示す画面に複数の動画領域Ａ３を設け、各動画領域Ａ３に、各動画において、選択された要因が発生しているサイクル動画を同期させて表示してもよい。

【0055】

制御部１１は、再生対象の要因を受け付けていないと判断した場合（Ｓ５７：ＮＯ）、ステップＳ５８～Ｓ５９の処理をスキップして、上述した処理を終了する。上述した処理により、動画に含まれる各サイクル動画を、標準作業ではないとされる要因毎にグループ分けすることができ、各要因の発生割合を分析することができる。また、要因毎に、各要因が発生している動画を再生させることができるので、サイクル動画（作業要素）毎に効率よく改善策の検討を行うことができる。

【0056】

本実施形態では、各動画について、サイクル（作業要素）毎に標準作業であるか否かの分析結果が得られると共に、各サイクルに含まれる動作毎に標準動作であるか否かの分析結果が得られる。よって、各サイクル動画に対する分析結果に加えて、各動作動画に対する分析結果に基づいて動画の検索を行うことができる。例えば、所定のサイクル（例えば、１番目の作業要素）について、所定の動作（例えば１番目の動作）が標準動作ではないと判別された動画の検索が可能である。よって、各作業者の作業内容を検証する際に、サイクル毎の分析結果と、動作毎の分析結果とを考慮した検索処理が可能となり、効率の良い検証処理を実現できる。

【0057】

次に、動画に含まれる各動作動画に対する分析結果から、各作業要素に含まれる動作の動作時間のばらつきを分析する処理について説明する。図１１は各動作の動作時間の分析処理手順の一例を示すフローチャート、図１２は画面例を示す説明図である。以下の処理は、情報処理装置１０の制御部１１が、記憶部１２に記憶してあるプログラム１２Ｐに従って実行する。

【0058】

作業者が行う各動作について、動作時間のばらつきを分析する場合、ユーザは、分析対象の動画であって、図７の処理によって各動作の分析処理が実行された後の動画を選択する。ここでも処理対象の動画は、１つの品種の製品の組み立て作業を行う作業者を撮影した動画であり、１人の作業者を撮影した複数の動画であってもよく、複数の作業者を撮影した動画であってもよい。

【0059】

制御部１１は、処理対象の動画に含まれる各動作動画に基づいて、各動作の動作時間を計測する（Ｓ７１）。例えば制御部１１は、各動作動画の動作番号と、開始時間及び終了時間（各切れ目の時間）とを各動画から取得する。そして、制御部１１は、各動作動画について、開始時間から終了時間までの時間を算出する。制御部１１は、各動作について算出した動作時間を、各動作に対応付けてプロットした散布図（図表）を生成して表示部１５に表示する（Ｓ７２）。例えば制御部１１は、図１２の画面の右上に示すような散布図を生成して表示する。図１２の右上に示す散布図は、品種Ａの組み立て作業に含まれる作業要素「ケースＡの組立」に含まれる各動作について動作時間のばらつきを表示する。具体的には、横軸の各位置には各動作が対応付けられており、縦軸は、各動作の動作時間を示し、各動作の動作時間が、横軸の各位置に対応付けてプロットされている。なお、制御部１１は、動作分析モデルＭ４の設定用動画として使用した、標準作業を行う作業者を撮影した動画中の各動作動画に基づいて、各動作の標準動作時間を計測し、計測した各動作の標準動作時間を、散布図上に白ひし形でプロットする。これにより、各動作の標準動作時間を提示することができ、標準動作時間に対する各作業者の動作時間の比較結果を容易に把握できる。

【0060】

なお、制御部１１は、１つのサイクル動画について、各動作の動作時間を計測した場合、各動作時間を合計して、当該作業要素における動作時間（サイクル時間）を算出する。そして制御部１１は、図１２の画面の左上に示すように、算出したサイクル時間をプロットした散布図も生成して表示する。これにより、各動作の動作時間のばらつきに加えて、作業要素（サイクル）に要したサイクル時間のばらつきを提示できる。

【0061】

次に制御部１１は、各動作について、ステップＳ７１で計測した動作時間に基づいて、動作時間の最小値、第１四分位数、中央値、第３四分位数、最大値を算出する（Ｓ７３）。そして制御部１１は、各動作について算出した各値に基づいて、各動作の動作時間のばらつきを示す箱ひげ図（図表）を生成して表示部１５に表示する（Ｓ７４）。例えば制御部１１は、図１２の画面の右下に示すような箱ひげ図を生成して表示する。図１２の右下に示す箱ひげ図は、散布図と同様に、横軸の各位置に各動作が対応付けられ、縦軸は各動作の動作時間を示し、各動作の動作時間の最小値、第１四分位数、中央値、第３四分位数、最大値をそれぞれ示す箱及びひげによって動作時間のばらつきを表現する。ここでも制御部１１は、各動作の標準動作時間を、箱ひげ図上に白ひし形でプロットする。また、サイクル時間についても、制御部１１は、最小値、第１四分位数、中央値、第３四分位数、最大値を算出し、算出した各値に基づいて、図１２の画面の左下に示すように、サイクル時間のばらつきを示す箱ひげ図を生成して表示部１５に表示する。

【0062】

制御部１１は、ステップＳ７１～Ｓ７４の処理を実行していない未処理の動画があるか否かを判断し（Ｓ７５）、未処理の動画があると判断した場合（Ｓ７５：ＹＥＳ）、ステップＳ７１の処理に戻り、未処理の動画に対してステップＳ７１～Ｓ７４の処理を実行する。未処理の動画がないと判断した場合（Ｓ７５：ＮＯ）、制御部１１は、ステップＳ７６の処理に移行する。

【0063】

図１２に示す画面中の散布図は、プロットされた各点（マーカ）を介して、各マーカに対応する動画の再生指示を受け付けるように構成されている。例えばユーザは、いずれかのマーカに対して所定の操作（例えばマウスの左クリック）を行うことにより、操作されたマーカに対応する動画に対する再生指示を行うことができる。図１２では、制御部１１は、矢符Ａ６に示すようなカーソルによる操作によって、選択されたマーカに対応する動画の再生指示を受け付ける。制御部１１は、再生対象のマーカを受け付けたか否かを判断し（Ｓ７６）、受け付けたと判断した場合（Ｓ７６：ＹＥＳ）、選択されたマーカに対応する動画を特定する（Ｓ７７）。散布図において、各動作に対応付けてプロットされたマーカには動画の識別情報（例えば動画に割り当てられた動画ＩＤ）が対応付けられているので、制御部１１は、選択されたマーカに対応する動画の識別情報を特定することにより、マーカに対応する動画を特定できる。これにより、制御部１１は、散布図中のマーカを介して選択された再生対象の動画を、記憶部１２に記憶してある動画から特定できる。

【0064】

そして、制御部１１は、特定した動画を記憶部１２から読み出して表示部１５に表示する（Ｓ７８）。この場合、制御部１１は、特定した動画に基づいて、図８に示すような分析結果画面を表示する。なお、制御部１１は、特定した動画において、選択されたマーカに対応する動作動画を表示する構成でもよい。この場合、選択された動作の動作動画を確認することができる。制御部１１は、再生対象のマーカを受け付けていないと判断した場合（Ｓ７６：ＮＯ）、ステップＳ７７～Ｓ７８の処理をスキップして、上述した処理を終了する。上述した処理により、動画に含まれる各サイクル動画について、サイクル時間のばらつきと共に、サイクル動画に含まれる各動作の動作時間のばらつきを散布図及び箱ひげ図によって提示することができる。また、散布図の各マーカを介して選択された動画を再生させることができる。これにより、各作業要素のサイクル時間のばらつき、及び、各動作の動作時間のばらつきを考慮して、作業要素毎又は動作毎に改善策の検討を行うことができる。

【0065】

次に、動画をサイクル動画に区分した結果を用いて、当該動画中の作業者が行う各作業要素の進捗状況を示すガントチャートを作成する処理について説明する。図１３はガントチャートの作成処理手順の一例を示すフローチャート、図１４はガントチャートの画面例を示す説明図である。以下の処理は、情報処理装置１０の制御部１１が、記憶部１２に記憶してあるプログラム１２Ｐに従って実行する。

【0066】

作業者が行う各作業要素の進捗状況を示すガントチャートを作成する場合、ユーザは、処理対象の動画を選択する。ここでの処理対象の動画は、サイクル予測モデルＭ２を用いてサイクル動画に区分された後の動画であり、例えば図７の処理によって各作業要素の分析処理が実行された後の動画であってもよい。制御部１１は、入力部１４を介した操作によって、ガントチャート作成対象の動画の選択を受け付ける（Ｓ８１）。制御部１１は、選択された動画から区分された各サイクル動画の開始時間及び終了時間を取得する（Ｓ８２）。サイクル動画に区分された動画は、各サイクル動画の開始時間及び終了時間（各サイクルの切れ目の時間）が動画に対応付けて記憶部１２に記憶されており、制御部１１は、各サイクル動画の開始時間及び終了時間を記憶部１２から読み出す。

【0067】

制御部１１は、取得した各サイクル動画の開始時間及び終了時間に基づいて、各作業要素の作業開始タイミングから作業終了タイミングまでの実行時間帯を示す帯状グラフ（横棒）を作成し、作成した各作業要素の帯状グラフを並べたガントチャート（図表）を作成する（Ｓ８３）。例えば制御部１１は、図１４に示すようなガントチャートを作成する。図１４に示すガントチャートは、品種Ａの組み立て作業に含まれる作業要素の名前が上下方向に表示されており、横軸は日時を示しており、各作業要素の実行時間帯を示す帯状グラフが、各作業要素に対応付けて表示されている。制御部１１は、作成したガントチャートを表示部１５に表示する（Ｓ８４）。このようなガントチャートにより、各作業者による作業の進捗状況を容易に把握できる。図１４に示すガントチャートは、例えば各作業要素を選択した場合に、選択した作業要素に含まれる各動作の開始時間及び終了時間を示す帯状グラフが表示されるように構成されていてもよい。この場合、作業要素毎の進捗状況に加えて、各作業要素に含まれる動作毎の進捗状況を提示できるガントチャートを提供できる。なお、標準作業を行う作業者を撮影した動画に基づいてガントチャートを作成した場合、一連の作業に含まれる各作業要素の順序及び標準作業時間が規定される工程表（標準作業組合せ票）の作成が可能となる。

【0068】

次に、複数の動画に対する分析処理の結果を並べて表示する処理について説明する。以下では、２つの動画に対する分析結果画面が並べて表示される構成を例に説明するが、３つ以上の動画に対する分析結果画面が並べて表示される構成でもよい。図１５は、２つの分析結果画面の表示例を示す説明図である。情報処理装置１０の制御部１１は、２つの動画の分析結果を比較する処理の実行指示を受け付け、分析処理済みの２つの動画の選択を受け付けた場合、選択された動画及び当該動画に対する分析結果に基づいて、各動画に対する分析結果画面を生成し、並べて表示部１５に表示する。図１５に示す例では、画面の左側及び右側にそれぞれの動画の分析結果画面が表示されている。それぞれの分析結果画面は、図８と同様の構成を有するが、動画領域Ａ３の下側に結果領域Ａ４が表示されている。また、図１５における結果領域Ａ４には、動画領域Ａ３に表示中の動作動画と、その前後の動作動画とに関する情報が表示される構成であり、動画領域Ａ３での動画の再生が進むにつれて、表示中の動作動画に対する分析結果が順次表示される。

【0069】

図１５に示す画面には、動画領域Ａ３に表示される２つの動画の再生位置を先頭位置に移動させるための「開始に揃える」ボタンと、２つの動画を共に停止させるための同時停止ボタンと、２つの動画における各動作動画を同期させて表示させるための動作比較モードボタンとが設けられている。また、図１５に示す画面には、それぞれの動画領域Ａ３に表示される動画の変更を指示するための動画変更ボタンが設けられている。動画変更ボタンが操作された場合、情報処理装置１０の制御部１１は、選択可能な動画の動画名を一覧表示し、任意の動画の選択を受け付けた場合、選択された動画及び当該動画に対する分析結果に基づいて、動画領域Ａ３及び結果領域Ａ４の表示内容を切り替える。これにより、任意の動画に対する分析結果を比較して表示することが可能となる。

【0070】

動作比較モードボタンが操作された場合、制御部１１は、それぞれの動画に含まれる各動作動画を、動作毎に同期（連動）させて動画領域Ａ３に表示する。これにより、各動作について、２つの動画における作業者の動作内容を比較することができる。なお、制御部１１は、それぞれの動画に含まれる各サイクル動画を、先頭から順に動作毎に同期させて動画領域Ａ３に表示させてもよい。これにより、制御部１１は、任意の２つの動画に対する分析結果を並べて提示することができ、また、動作毎に又は作業要素毎に動作動画又はサイクル動画を表示することができる。よって、例えば異なる作業者が同じ品種の組み立て作業を行った場合に撮影された動画を同期させて表示した場合には、２人の作業者の作業状態を比較することができる。また、１人の作業者が同じ品種の組み立て作業を行った場合に撮影された動画を同期させて表示した場合には、１人の作業者において、例えば異なる日に行った作業状態を比較することができる。

【0071】

本実施形態では、作業を行う作業者を撮影した動画に基づいて、作業者が行う動作毎に標準動作であるか否かを判定し、各動作の判定結果に基づいて各作業要素が標準作業であるか否かを判定する。また、各動作が標準動作であるか否かの判定は動作分析モデルＭ４を用いて行われるので、各動作の動作内容（作業者の動き）も考慮して精度よく標準動作が行われたか否かが判定される。このように精度よく判定された結果を用いることにより、適切な改善策の検討が可能となり、作業者に対する改善指導が可能となる。

【0072】

本実施形態において、図７に示す分析処理は、作業者を撮影した動画に基づいて作業終了後に実行される構成のほかに、作業中の作業者を撮影した動画に基づいてリアルタイムで実行されてもよい。この場合、作業者が実行中の組み立て作業について、各動作が標準作業であるか否かを判定し、判定結果に基づいて、各作業要素が標準作業であるか否かを判定する処理を行うことができ、作業の実行中においても改善指導が可能となる。

【0073】

本実施形態において、品種予測モデルＭ１を用いた品種の予測処理、サイクル予測モデルＭ２を用いたサイクル動画の区分処理、切れ目予測モデルＭ３を用いた動作動画の区分処理、動作分析モデルＭ４を用いた分析処理の少なくとも１つは、情報処理装置１０がローカルで行う構成に限定されない。例えば、品種予測モデルＭ１を用いた品種の予測処理を実行するサーバを設けてもよい。この場合、情報処理装置１０は、処理対象の動画をサーバへ送信し、サーバで品種予測モデルＭ１を用いて予測された品種が情報処理装置１０へ送信されるように構成される。この場合にも、情報処理装置１０は、サーバで予測された品種に基づいて、例えば図７のステップＳ３３以降の処理を実行できる。

【0074】

また、サイクル予測モデルＭ２を用いたサイクル動画の区分処理を実行するサーバを設けてもよい。この場合、情報処理装置１０は、処理対象の動画をサーバへ送信し、サーバでサイクル動画に区分された動画が情報処理装置１０へ送信されるように構成される。この場合にも、情報処理装置１０は、サーバでサイクル動画に区分された動画に基づいて、例えば図７のステップＳ３５以降の処理を実行できる。また、切れ目予測モデルＭ３を用いた動作動画の区分処理を実行するサーバを設けてもよい。この場合、情報処理装置１０は、処理対象の動画をサーバへ送信し、サーバで動作動画に区分された動画が情報処理装置１０へ送信されるように構成される。この場合にも、情報処理装置１０は、サーバで動作動画に区分された動画に基づいて、例えば図７のステップＳ３６以降の処理を実行できる。更に、動作分析モデルＭ４を用いた分析処理を実行するサーバを設けてもよい。この場合、情報処理装置１０は、処理対象の動画をサーバへ送信し、サーバで行われた動画に対する分析処理の結果が情報処理装置１０へ送信されるように構成される。この場合にも、情報処理装置１０は、サーバで行われた分析処理の結果に基づいて、例えば図７のステップＳ３７以降の処理を実行できる。上述したような構成とした場合であっても、本実施形態と同様の処理が可能であり、同様の効果が得られる。

【0075】

本実施形態では、作業を行う作業者を撮影した動画に基づいて、作業者が行う動作及び作業が標準動作及び標準作業であるか否かを分析する構成であるが、分析対象は作業者に限定されない。例えば、所定の作業を行うように構成されたロボットを撮影した動画に基づいて、当該ロボットの動作及び作業が標準動作及び標準作業であるか否かを分析する構成であってもよい。

【0076】

（実施形態２）
本実施形態では、作業者が１つの作業要素（同じ作業要素）を繰り返して行う様子を撮影した動画から、各作業要素が撮影されたサイクル動画を抽出し、抽出したサイクル動画を比較して提示する情報処理装置について説明する。なお、１つの動画に含まれるサイクル動画は、１人の作業者を撮影したものであってもよく、異なる複数人の作業者を撮影したものであってもよい。本実施形態の情報処理装置１０は、図２に示す実施形態１の情報処理装置１０の構成と同様の構成を有するので、構成についての説明は省略する。なお、本実施形態の情報処理装置１０の記憶部１２は、サイクル予測モデルＭ２の代わりにサイクル動画抽出モデルＭ６を記憶している。

【0077】

図１６はサイクル動画抽出モデルＭ６の構成例を示す説明図である。サイクル動画抽出モデルＭ６は、ＲＮＮ、ＬＳＴＭ、ＣＮＮ、Transformer等のアルゴリズムを用いて構成され、また、複数のアルゴリズムを組み合わせて構成されてもよい。サイクル動画抽出モデルＭ６は、１つの作業要素を繰り返して行う作業者を撮影した動画と、当該動画に対して指定された１つのサイクル動画の開始時間及び終了時間とを入力とし、入力された動画から、指定されたサイクル動画に類似するサイクル動画を抽出する演算を行い、演算結果を出力するように学習した学習済みモデルである。サイクル動画抽出モデルＭ６も、作業者の全身、上半身又は手元を撮影した動画のように、作業者の動作の様子が撮影された動画が入力される構成であればよい。

【0078】

サイクル動画抽出モデルＭ６は、動画と、当該動画中の１つのサイクル動画の開始時間及び終了時間とが入力される入力層と、開始時間及び終了時間が入力されたサイクル動画に含まれる作業者の動作の特徴量と、動画に含まれる作業者の動作の特徴量とを抽出し、当該サイクル動画と同じ特徴量を有するサイクル動画（当該サイクル動画に類似するサイクル動画）を、入力された動画から抽出する演算を行う中間層と、中間層の演算結果を基に動画から抽出された各サイクル動画の開始時間及び終了時間を出力する出力層とを有する。サイクル動画抽出モデルＭ６から出力される各サイクル動画の開始時間及び終了時間は、当該動画の再生開始からの経過時間を示す。

【0079】

サイクル動画抽出モデルＭ６は、訓練用の動画及びこの動画中の１つのサイクル動画の開始時間及び終了時間と、この動画に対して正解として指定された複数のサイクル動画の開始時間及び終了時間とを含む訓練データを用いて機械学習することにより生成できる。サイクル動画抽出モデルＭ６は、訓練データに含まれる動画及び１つのサイクル動画の開始時間及び終了時間が入力された場合に、正解とする各サイクル動画の開始時間及び終了時間が出力されるように学習する。学習処理においてサイクル動画抽出モデルＭ６は、入力された動画及び１つのサイクル動画の開始時間及び終了時間に基づいて中間層及び出力層での演算を行い、動画及びサイクル動画に含まれる作業者の動作の特徴を抽出し、抽出したサイクル動画の特徴と同じ特徴を持つサイクル動画を処理対象の動画から抽出し、抽出した各サイクル動画の開始時間及び終了時間と、正解の各サイクル動画の開始時間及び終了時間とを比較し、両者が近似するように、中間層及び出力層での演算処理に用いるパラメータを最適化する。最適化するパラメータは、中間層及び出力層におけるノード間の重み（結合係数）、関数の係数、閾値等であり、パラメータの最適化の方法は誤差逆伝播法、最急降下法等を用いることができる。これにより、動画及び１つサイクル動画の開始時間及び終了時間が入力された場合に、動画中の各サイクル動画を区分し、各サイクル動画の開始時間及び終了時間を出力するサイクル動画抽出モデルＭ６が得られる。サイクル動画抽出モデルＭ６の学習も他の学習装置で行われてもよく、この場合、他の学習装置で生成された学習済みのサイクル動画抽出モデルＭ６は、ネットワークＮ経由又は可搬型記憶媒体１０ａ経由で学習装置から情報処理装置１０にダウンロードされて記憶部１２に記憶される。

【0080】

次に、本実施形態の情報処理装置１０において、作業者を撮影した動画から、作業者が作業要素を行う様子を撮影したサイクル動画を抽出し、抽出した複数のサイクル動画を比較して提示する処理について説明する。図１７はサイクル動画の比較処理手順の一例を示すフローチャート、図１８Ａ～図２１Ｂは画面例を示す説明図である。

【0081】

サイクル動画によって作業者が行う作業の様子を確認する場合、ユーザは、処理対象の動画を選択する。情報処理装置１０の制御部１１は、例えば図１８Ａに示すような動画選択画面を表示部１５に表示し、入力部１４を介した操作によって、当該画面から任意の動画の選択を受け付ける（Ｓ９１）。ここでは、１つの動画が選択されてもよく、複数の動画が選択されてもよい。図１８Ａの例では、動画１及び動画２の２つが選択されている。処理対象の動画は、作業者（対象）が一連の作業要素を行う時間を１サイクル動画とし、複数のサイクル動画を含んでいる。なお、図１８Ａの画面は、カメラを選択することにより、選択されたカメラで撮影された動画のサムネイルが表示されるように構成されている。

【0082】

次にユーザは、処理対象に選択した動画に対して、１つのサイクル動画の開始時間及び終了時間を指定する。制御部１１は、例えば図１８Ｂに示すような画面を表示し、当該画面から、１つのサイクル動画の開始時間及び終了時間の指定を受け付ける（Ｓ９２）。図１８Ｂの画面は、選択された動画の表示欄と、表示された動画中の１つのサイクル動画の開始時間及び終了時間を入力するための入力欄Ｒ１とを有する。入力欄Ｒ１には、表示中の動画の再生時間を示すインジケータが表示されており、ユーザは、入力欄Ｒ１に設けられた開始マークＣ１及び終了マークＣ２を所望の再生時間に移動させることにより、１つのサイクル動画の開始時間及び終了時間を指定する。その際、ユーザは、拡大縮小ボタンＣ３により、インジケータに示される再生時間の間隔を拡大又は縮小することができる。

【0083】

入力欄Ｒ１には、開始時間及び終了時間が指定された１つのサイクル動画に基づいて、処理対象の動画から、当該サイクル動画に類似するサイクル動画の抽出を指示するための「似た作業を探す」ボタンが設けられている。制御部１１は、「似た作業を探す」ボタンが操作されたか否かを判断し（Ｓ９３）、操作されていないと判断する場合（Ｓ９３：ＮＯ）、ステップＳ９２に戻り、１つのサイクル動画の開始時間及び終了時間の入力受付を継続する。制御部１１は、「似た作業を探す」ボタンが操作されたと判断した場合（Ｓ９３：ＹＥＳ）、ステップＳ９１で選択された動画から、ステップＳ９２で指定されたサイクル動画に類似するサイクル動画の抽出を行う（Ｓ９４）。ここでは、制御部１１は、選択された動画（動画ファイル１２ａ）と、指定された１つのサイクル動画の開始時間及び終了時間とをサイクル動画抽出モデルＭ６に入力し、サイクル動画抽出モデルＭ６からの出力情報として、処理対象の動画から抽出された各サイクル動画の開始時間及び終了時間を取得する。

【0084】

制御部１１は、動画から抽出した各サイクル動画の開始時間及び終了情報を表示する（Ｓ９５）。例えば制御部１１は、図１８Ｃに示すように、入力欄Ｒ１のインジケータが示す動画の再生時間に対して、各サイクル動画を開始時間及び終了時間を示す矩形Ｃ４で表示し、動画情報欄Ｒ２に、各サイクル動画の開始時間及び終了時間を表示する。本実施形態では、制御部１１は、動画から抽出した各サイクル動画にビデオ１、ビデオ２…の名称を付与しており、図１８Ｃの動画情報欄Ｒ２に表示してあるビデオ１、ビデオ２…は各サイクル動画を示す。

【0085】

制御部１１は、動画から抽出した複数のサイクル動画から１つを抽出し（Ｓ９６）、抽出したサイクル動画を、切れ目予測モデルＭ３を用いて動作動画に区分する（Ｓ９７）。ステップＳ９７の処理は、図７中のステップＳ３５と同じであり、制御部１１は、動画中の作業者が作業中の品種に応じた切れ目予測モデルＭ３に、サイクル動画に含まれる各フレームを順次入力し、切れ目予測モデルＭ３からの出力情報に基づいて、サイクル動画に含まれる各動作動画の開始時間及び終了時間を特定（予測）する。ステップＳ９７の処理後、制御部１１は、各動作動画の切れ目（区分位置）に対して変更処理（削除及び新規追加等）を行うための編集処理（図６Ａ～図６Ｃ参照）を行ってもよい。なお、本実施形態では、切れ目予測モデルＭ３を用いてサイクル動画を動作動画に区分する際に、所定数（例えば１０個）の動作動画に区分するように設定されている。動作動画の区分数は、予め決定されて切れ目予測モデルＭ３に設定されていてもよく、ユーザによって任意に設定されてもよく、この場合、設定された区分数が切れ目予測モデルＭ３の入力データとして入力される構成でもよい。

【0086】

制御部１１は、ステップＳ９４で動画から抽出した全サイクル動画に対してステップＳ９６～Ｓ９７の処理を終了したか否かを判断し（Ｓ９８）、終了していないと判断する場合（Ｓ９８：ＮＯ）、ステップＳ９６に戻り、未処理のサイクル動画に対してステップＳ９６～Ｓ９７の処理を繰り返す。これにより、全てのサイクル動画が複数の動作動画に区分される。全サイクル動画に対する処理を終了したと判断した場合（Ｓ９８：ＹＥＳ）、制御部１１は、各サイクル動画の分析情報を表示する（Ｓ９９）。例えば制御部１１は、各サイクル動画の所要時間（開始時間から終了時間までのサイクルタイム）を計数しており、各サイクル動画のサイクルタイムをプロットした散布図（図表）と、サイクルタイムの最小値、第１四分位数、中央値、第３四分位数、最大値を示す箱ひげ図とを生成し、図１８Ｄに示すように分析情報欄Ｒ３に表示する。図１８Ｄの散布図では、縦軸（縦方向）にサイクルタイムを示している。散布図中にプロットされた各点（マーカ）は、所定の操作（例えばカーソルによる選択）が行われた場合に、操作されたマーカに対応するサイクル動画のサイクルタイムを表示するように構成されており、更に所定の操作（例えばマウスの左クリック）が行われた場合に、対応するサイクル動画の再生が開始されるように構成されている。図１８Ｄの例では、制御部１１は、矢符Ｃ５に示すカーソルによって選択されたマーカに対応するサイクル動画のサイクルタイムを表示している。

【0087】

図１８Ｃの画面中の動画情報欄Ｒ２は、処理対象の動画から抽出されたサイクル動画の表示順序を並べ替え可能に構成されており、並べ替えの実行を指示するための並べ替えボタンＣ６が設けられている。並べ替えボタンＣ６は、図１９Ａに示すように、並べ替えルールとして開始時間順、作業が速い順、又は作業が遅い順のいずれかを選択できるプルダウンメニューが設けてある。図１９Ｂの例では、作業が遅い順での並べ替えルールが選択されており、サイクルタイムが長い順に各サイクル動画の名称、開始時間及び終了時間、サイクルタイムが表示されている。

【0088】

図１９Ａ及び図１９Ｂの画面中の動画情報欄Ｒ２には、各サイクル動画を選択するためのチェックボックスが設けられており、２つ以上のサイクル動画が選択された場合、図１９Ｂに示すように「まとめて比較」ボタンを表示するように構成されている。ユーザは、比較して確認したいサイクル動画をチェックボックスにて選択した後、「まとめて比較」ボタンを操作する。制御部１１は、動画情報欄Ｒ２においてチェックボックスがチェックされることにより、分析対象のサイクル動画の選択を受け付け（Ｓ１００）、２つ以上のサイクル動画が選択された場合に、「まとめて比較」ボタンが操作されたか否かを判断する（Ｓ１０１）。「まとめて比較」ボタンが操作されていないと判断する場合（Ｓ１０１：ＮＯ）、制御部１１は、ステップＳ１００に戻り、サイクル動画の選択受付を継続する。

【0089】

「まとめて比較」ボタンが操作されたと判断した場合（Ｓ１０１：ＹＥＳ）、制御部１１は、ステップＳ１００で選択されたサイクル動画の中から手本とすべき基準サイクル動画（基準動画）を特定する（Ｓ１０２）。例えば制御部１１は、サイクルタイムが中央値のサイクル動画を基準サイクル動画に特定する。なお、制御部１１は、サイクルタイムが、各サイクル動画のサイクルタイムの平均値に最も近いサイクル動画を基準サイクル動画に特定してもよく、サイクルタイムが最短のサイクル動画を基準サイクル動画に特定してもよい。また制御部１１は、入力部１４を介してユーザが選択したサイクル動画を基準サイクル動画に特定してもよい。また制御部１１は、選択されたそれぞれのサイクル動画について、他のサイクル動画との類似度を算出し、例えば他のサイクル動画との類似度の合計が最も高いサイクル動画を基準サイクル動画に特定してもよい。類似度は、例えば相関係数、コサイン類似度を用いることができる。また、制御部１１は、機械学習によって構築された学習モデルを用いて、２つのサイクル動画の類似度を推定する構成でもよい。例えばＣＮＮで構成され、２つのサイクル動画が入力された場合に、２つのサイクル動画の類似度を出力するように学習された学習モデルを用いてもよい。この場合、制御部１１は、２つのサイクル動画を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、２つのサイクル動画の類似度を推定できる。更に、制御部１１は、選択されたサイクル動画から基準サイクル動画を特定する構成に限定されず、ステップＳ９４で抽出したサイクル動画の中から基準サイクル動画を特定してもよい。この場合、制御部１１は、ステップＳ９４で抽出したサイクル動画の中から、サイクルタイムの中央値、平均値、又は最短のサイクル動画を基準サイクル動画に特定してもよく、他のサイクル動画との類似度の合計が最大のサイクル動画を基準サイクル動画に特定してもよい。

【0090】

制御部１１は、基準サイクル動画と、分析対象のサイクル動画とを比較するための比較画面を生成する（Ｓ１０３）。例えば制御部１１は、図１９Ｃに示すような比較画面を生成し、生成した比較画面を表示部１５に表示する（Ｓ１０４）。図１９Ｃの画面では、ビデオ１１５のサイクル動画が基準サイクル動画（手本動画）として表示され、ビデオ２のサイクル動画が分析対象として表示されている。具体的には、動画表示欄Ｒ４の左側に基準サイクル動画（ビデオ１１５）が表示され、右側に分析対象のサイクル動画（ビデオ２）が表示されている。なお、表示中の基準サイクル動画及び分析対象のサイクル動画は、入力部１４を介した操作によって、ステップＳ１００で選択されたサイクル動画の中から任意のサイクル動画に変更可能に構成されている。具体的には、動画表示欄Ｒ４に、基準サイクル動画の切替ボタンＣ７と、分析対象の切替ボタンＣ８とが設けられており、切替ボタンＣ７，Ｃ８には、選択可能なサイクル動画のいずれかを選択できるプルダウンメニューが設けられている。また、分析対象のサイクル動画は、例えば図１９Ｂの動画情報欄Ｒ２に表示された順序での切替が可能な切替ボタンＣ９が設けられている。

【0091】

図１９Ｃの画面中の分析情報欄Ｒ３は、動画表示欄Ｒ４に表示された基準サイクル動画及び分析対象のサイクル動画について、区分された各動作動画（図１９Ｃ中では区間１，区間２…と記載）の所要時間の比較結果を示すグラフＤ１を表示する。グラフＤ１は、横軸の各位置に各動作（各区間）が対応付けられており、縦軸は、基準サイクル動画の各動作動画（区間１，区間２…）の所要時間に対する、分析対象のサイクル動画の各動作動画の所要時間の差異を示している。グラフＤ１では、基準サイクル動画の各動作動画の所要時間を白丸でプロットしており、分析対象のサイクル動画の各動作動画の所要時間を黒丸でプロットしている。グラフＤ１により、動作動画単位（区間単位）で、基準サイクル動画及び分析対象のサイクル動画を比較でき、基準サイクル動画を基準として分析対象のサイクル動画の所要時間が長いか短いか（即ち、各動作が遅いか速いか）を容易に把握できる。また分析情報欄Ｒ３は、ステップＳ１００で選択された各サイクル動画のサイクルタイムをプロットした散布図と、サイクルタイムの最小値、第１四分位数、中央値、第３四分位数、最大値を示す箱ひげ図とを表示する。図１９Ｃの散布図は、基準サイクル動画のサイクルタイムを白丸でプロットし、分析対象のサイクル動画のサイクルタイムを大きい黒丸でプロットし、その他のサイクル動画のサイクルタイムを小さい黒丸でプロットしてある。

【0092】

また分析情報欄Ｒ３は、グラフＤ１及びサイクルタイムの散布図の下側に、図２０Ａに示すように、ステップＳ１００で選択されたサイクル動画における各動作動画（各区間）の所要時間の散布図及び箱ひげ図を表示する。ここでの散布図は、横軸に各区間を示し、縦軸に各区間の所要時間を示し、基準サイクル動画の所要時間を白丸でプロットし、分析対象のサイクル動画の所要時間を大きい黒丸でプロットし、その他のサイクル動画の所要時間を小さい黒丸でプロットしてある。これにより、基準サイクル動画を含む選択されたサイクル動画について、区間毎の所要時間のばらつきを提示できる。更に分析情報欄Ｒ３は、ステップＳ１００で選択された各サイクル動画について、各動作動画（各区間）の所要時間を積み上げて表示した積み上げグラフＤ２を表示する。積み上げグラフＤ２は、各サイクル動画について、下から順番に各動作動画（区間１，区間２…）の所要時間を積算した棒グラフを示す。なお、積み上げグラフＤ２は、左側から順に、基準サイクル動画の棒グラフ、分析対象のサイクル動画の棒グラフ、その他のサイクル動画の棒グラフが表示されている。図２０Ａの例では、区間６の所要時間のみハッチングを付けて示しているが、各区間の所要時間が同じ色（表示態様）で表示されている。これにより、各サイクル動画について、各動作動画の所要時間の長短を容易に把握できる。積み上げグラフＤ２中の各区間は、所定の操作（例えばカーソルによる選択）が行われた場合に、対応するサイクル動画の区間の所要時間を表示するように構成されており、更に所定の操作（例えばマウスの左クリック）が行われた場合に、対応するサイクル動画の区間（動作動画）の再生が開始されるように構成されている。図２０Ａの例では、ビデオ１０の区間６が選択されており、選択された区間６の所要時間が表示されている。

【0093】

図１９Ｃ及び図２０Ａに示すように、比較画面は更に区間比較欄Ｒ５を有しており、区間比較欄Ｒ５には、横軸にサイクル動画の再生時間を示し、基準サイクル動画及び分析対象のサイクル動画における各動作動画（各区間）の開始時間及び終了時間を示している。図１９Ｃ及び図２０Ａの例では、基準サイクル動画及び分析対象のサイクル動画の開始時間を一致させて、各動作動画の開始時間及び終了時間が示されており、２つのサイクル動画の動画表示欄Ｒ４での再生位置を示すマークＣ１０が付加されている。本実施形態の比較画面は、基準サイクル動画及び分析対象のサイクル動画を、各サイクル動画を区分した動作動画（各区間）毎に同期（連動）させて表示（再生）するように構成されている。例えば、図１９Ｃ及び図２０Ａの例では、ビデオ１１５の区間１の所要時間が、ビデオ２の区間１の所要時間よりも長いので、２つのサイクル動画が再生された場合、ビデオ２は、区間１の再生を終了した後、ビデオ１１５の区間１の再生が終了するまで待機し、ビデオ１１５の区間１の再生が終了した場合に、２つのサイクル動画の区間２の再生が開始される。図２０Ｂの区間比較欄Ｒ５は、２つのサイクル動画の区間１の再生が終了した時点の状態を示しており、マークＣ１０は、各サイクル動画の区間１の終了時点を指し示して、この後、各サイクル動画の区間２の再生が開始される。

【0094】

また区間比較欄Ｒ５に表示された各区間は、所定の操作（例えばマウスの左クリック）が行われた場合に、操作（選択）された動作動画（区間）の開始時間を一致させて、各動作動画の開始時間及び終了時間を示すように構成されている。図２０Ｃの例では、区間４が選択されており、区間４の開始時間を一致させて、２つのサイクル動画の各区間の開始時間及び終了時間が示されている。これにより、選択された区間の所要時間の長短を容易に把握できる。このとき、動画表示欄Ｒ４に、２つのサイクル動画における選択された動作（区間）の動作動画がループ再生（繰り返して再生）されてもよい。また、区間比較欄Ｒ５を介して任意の区間が選択された場合、選択された区間について２つのサイクル動画における動作動画が同期して動画表示欄Ｒ４に表示される。これにより、各区間について、２つのサイクル動画における作業者の動作を比較することができる。また、比較画面は、動画表示欄Ｒ４に２つのサイクル動画の表示中に、切替ボタンＣ８，Ｃ９によって分析対象の切替指示が行われた場合、この時点で表示中の区間（動作）と同じ区間から、基準サイクル動画と、切替指示された分析対象のサイクル動画との再生を開始するように構成されている。切替ボタンＣ７によって基準サイクル動画の切替指示が行われた場合でも、この時点で表示中の区間と同じ区間から、変更指示された基準サイクル動画と、表示中の分析対象のサイクル動画との再生を開始する。

【0095】

また、区間比較欄Ｒ５中の各区間は、所定の操作（例えばマウスのダブルクリック）が行われた場合に、操作（選択）された区間の動作動画について、更に詳細な動作動画に区分する処理を行うように構成されている。なお、処理対象のサイクル動画に対して１回の区分処理で得られた動作動画を大分類の動作毎の動作動画とし、大分類の動作の動作動画に対して１回の区分処理で得られた動作動画を中分類の動作毎の動作動画とし、中分類の動作の動作動画に対して１回の区分処理で得られた動作動画を小分類の動作毎の動作動画とする。図２０Ｃの例では、区間４が選択されており、この場合、制御部１１は、選択された区間４の動作動画（大分類の動作動画）を処理対象として、ステップＳ９７と同様の処理を行い、区間４の動作動画を、切れ目予測モデルＭ３を用いて中分類の動作の動作動画（区間４－１，区間４－２…）に区分する。ここでは、制御部１１は、切れ目予測モデルＭ３に、区間４の動作動画に含まれる各フレームを順次入力し、切れ目予測モデルＭ３からの出力情報に基づいて、区間４の動作動画に含まれる中分類の各動作の動作動画の開始時間及び終了時間を特定（予測）する。ここでも、制御部１１は、大分類の動作の動作動画から中分類の動作の動作動画に区分する区分数（例えば５個）を切れ目予測モデルＭ３に設定又は入力してもよく、区分後の中分類の各動作の動作動画の切れ目に対して編集処理を行ってもよい。図２０Ｄの区間比較欄Ｒ５は、中分類の動作の動作動画（区間４－１，区間４－２…）の区分後の表示状態を示している。なお、同様に、図２０Ｄの区間比較欄Ｒ５中のいずれかの区間（例えば区間４－１）が選択された場合、制御部１１は、選択された区間４－１の動作動画（中分類の動作動画）を処理対象として、ステップＳ９７と同様の処理を行い、区間４－１の動作動画を、切れ目予測モデルＭ３を用いて小分類の動作の動作動画（図示せず）に区分する。ユーザは、このような処理を複数回行うことにより、サイクル動画を段階的に動作動画に分割でき、所望の細かさでの動作動画による分析処理が可能となる。また、ユーザが確認したい区間についてのみより詳細な動作動画への分割を行うことができるので、不要な分割処理を抑制できる。

【0096】

制御部１１は、図１９Ｃ及び図２０Ａに示す比較結果を表示した後、例えば切替ボタンＣ７によって基準サイクル動画の切替が指示された場合、基準サイクル動画を、選択された他のサイクル動画に変更し、比較画面の内容を更新する。また、制御部１１は、切替ボタンＣ８，Ｃ９によって分析対象のサイクル動画の切替が指示された場合、分析対象を、選択された他のサイクル動画に変更し、比較画面の内容を更新する。また制御部１１は、分析情報欄Ｒ３に表示されたグラフＤ１、各サイクル動画のサイクルタイムの散布図、又は各動作動画（各区間）の所要時間の散布図にプロットされた各マーカの選択を受け付けた場合、選択されたマーカに対応する所要時間又はサイクルタイムを表示する。更に制御部１１は、分析情報欄Ｒ３に表示された積み上げグラフＤ２に示された各区間の選択を受け付けた場合、選択された区間の所要時間を表示し、更に当該区間の再生が指示された場合、当該区間の動作動画を動画表示欄Ｒ４に表示させる。

【0097】

制御部１１は、上述した処理を終了するか否かを判断する（Ｓ１０５）。例えば制御部１１は、入力部１４を介してユーザから、上述した処理の終了指示を受け付けた場合、処理を終了すると判断する。制御部１１は、上述した処理を終了しないと判断する場合（Ｓ１０５：ＮＯ）、比較画面に対する操作を受け付ける都度、受け付けた操作に対応する処理を行いつつ待機する。上述した処理を終了すると判断した場合（Ｓ１０５：ＹＥＳ）、制御部１１は、比較画面に表示した比較分析結果を記憶部１２に記憶し（Ｓ１０６）、一連の処理を終了する。例えば制御部１１は、ステップＳ９１で選択された動画、ステップＳ９４で各動画から抽出したサイクル動画の開始時間及び終了時間、ステップＳ９７で各サイクル動画を区分した動作動画の開始時間及び終了時間等を、記憶部１２に設けられた１つのフォルダに記憶する。このように一連の比較分析結果が記憶されたフォルダを読み出すことにより、いつでも比較分析結果を確認することができ、また、表示された比較画面を更に操作することにより、更なる比較分析処理を行うことができる。なお、各フォルダには、一連の比較分析結果が記憶されるだけでなく、処理対象の動画から抽出された各サイクル動画が、それぞれのフォルダに記憶されてもよい。

【0098】

上述した処理により、本実施形態では、作業者を撮影した動画から、指定されたサイクル動画に基づいて複数のサイクル動画が自動で抽出（分割）され、それぞれのサイクル動画が、作業者が行う動作毎に自動で区分される。また、動画から抽出されたサイクル動画から分析対象に選択された複数のサイクル動画において、手本とすべき基準サイクル動画が特定され、基準サイクル動画と、他のサイクル動画との比較結果が提示される。基準サイクル動画と他のサイクル動画とを表示する際に、動作動画単位で同期させて再生することにより、動作動画単位での比較が容易となる。

【0099】

図２０Ａに示すように、比較画面には、上述した処理によって生成されて記憶部１２のフォルダに記憶された比較分析結果をワンクリックで読み出し可能なライブラリ画面の表示を指示するためのライブラリボタンＣ１１が設けられている。ライブラリボタンＣ１１が操作された場合、制御部１１は、図２１Ａに示すようなライブラリ画面Ｒ６を表示する。ライブラリ画面Ｒ６は、記憶部１２に記憶してある比較分析結果の選択を受け付ける選択画面を表示させるための比較タブと、カメラで作業者を撮影した動画の選択を受け付ける選択画面を表示させるためのビデオタブと、比較分析結果及び動画のいずれかの選択を受け付ける選択画面を表示させるためのすべてタブとが設けられている。図２１Ａの例では、すべてタブが選択されており、比較分析結果及び動画の選択画面が表示されている。図２１Ａの画面中のライブラリ画面において、例えば「比較分析－ビデオ１１５×動画１」が選択された場合、制御部１１は、対応する比較分析結果を記憶部１２から読み出し、図１９Ｃ及び図２０Ａに示す比較画面を表示部１５に表示する。このようにライブラリ画面を用いることにより、ワンクリックで所望の比較分析結果又は動画を読み出して表示することができる。

【0100】

図１９Ｃ、図２０Ａ及び図２１Ａの画面中の動画表示欄Ｒ４では、分析対象のサイクル動画は１つだけ表示され、切替ボタンＣ８，Ｃ９によって切替できる構成である。このほかに、図２１Ｂに示すように、分析対象とすべき複数のサイクル動画（動画群）が動画表示欄Ｒ４に表示される構成でもよい。例えば図１７中のステップＳ１００で選択されたサイクル動画のうちで基準サイクル動画以外のサイクル動画が、分析対象として表示されてもよい。この場合、動画表示欄Ｒ４に表示された全てのサイクル動画について、各区間の所要時間の比較結果を示すグラフＤ１が分析情報欄Ｒ３に表示されてもよく、全てのサイクル動画の各区間の開始時間及び終了時間が区間比較欄Ｒ５に表示されてもよい。

【0101】

（実施形態３）
実施形態２では、比較するサイクル動画（基準サイクル動画及び分析対象のサイクル動画）中の各動作動画（各区間）の所要時間を比較して提示する構成である。本実施形態では、分析対象に選択されたサイクル動画から、基準サイクル動画と比較して各区間の所要時間が長いサイクル動画、及び、基準サイクル動画との各区間における類似度が低いサイクル動画を提示する情報処理装置について説明する。本実施形態の情報処理装置１０は、図２に示す実施形態１の情報処理装置１０の構成と同様の構成を有するので、構成についての説明は省略する。

【0102】

図２２は実施形態３のサイクル動画の比較処理手順の一例を示すフローチャート、図２３は画面例を示す説明図である。図２２に示す処理は、図１７に示す処理において、ステップＳ１０２，Ｓ１０３の間にステップＳ１１１～Ｓ１１４を追加したものである。図１７と同じステップについては説明を省略する。図２２では、図１７中のステップＳ９１～Ｓ１０１の図示を省略する。

【0103】

本実施形態の情報処理装置１０において、制御部１１は、図１７中のステップＳ９１～Ｓ１０２と同様の処理を実行する。そして、制御部１１は、ステップＳ１００で分析対象に選択されたサイクル動画から１つを抽出し（Ｓ１１１）、抽出したサイクル動画と基準サイクル動画とにおいて、各区間（各動作動画）の所要時間の差異（基準サイクル動画を基準とした超過分の差異）を算出する（Ｓ１１２）。また制御部１１は、抽出したサイクル動画と基準サイクル動画とにおいて、各区間（各動作動画）の類似度を算出する（Ｓ１１３）。ここでも類似度は、相関係数、コサイン類似度等を用いることができ、また、２つの動作動画の類似度を推定する学習モデルを用いる構成でもよい。制御部１１は、分析対象に選択された全サイクル動画に対してステップＳ１１２～Ｓ１１３の処理を終了したか否かを判断し（Ｓ１１４）、終了していないと判断する場合（Ｓ１１４：ＮＯ）、ステップＳ１１１に戻り、終了したと判断した場合（Ｓ１１４：ＹＥＳ）、ステップＳ１０３に移行する。ここでのステップＳ１０３では、制御部１１は、図２３に示すような比較画面を生成する。図２３の画面は、図２０Ａの画面と同様の構成を有し、積み上げグラフＤ２において、ステップＳ１１２で算出した各区間の所要時間の差異（基準サイクル動画との差異）が最大であるサイクル動画に対して、各区間の所要時間が最大であることを示すメッセージが表示される。図２３の例では、ビデオ２のサイクル動画において区間３，９の所要時間が最長であることが表示されている。なお、積み上げグラフＤ２に付加されるメッセージは、基準サイクル動画との差異が最大である場合に表示される構成に限定されず、最大であり且つ所定値以上である場合に表示される構成でもよい。また本実施形態では、図２３の比較画面の代わりに、積み上げグラフＤ２において、ステップＳ１１３で算出した各区間の類似度（基準サイクル動画との類似度）が最小であるサイクル動画に対して、各区間の類似度が最小であることを示すメッセージが付加される構成でもよい。この場合、動作動画中の作業者の動作が基準サイクル動画と類似しない（乖離している）サイクル動画を提示できる。所要時間が長い区間を有するサイクル動画、及び、基準サイクル動画との類似度が小さい区間を有するサイクル動画は、作業者の作業に何らかの問題がある可能性が高く、このようなサイクル動画及び区間をユーザに提示することにより、ユーザは作業者の作業内容の適否を検証できる。

【0104】

なお、制御部１１は、各区間の所要時間の差異に応じたスコア（例えば差異が小さいほど高いスコア）を算出し、各区間のスコアの合計を当該サイクル動画のスコアとして当該サイクル動画を評価してもよい。また制御部１１は、分析対象のサイクル動画と基準サイクル動画とにおいて、各区間（各動作動画）の類似度に応じたスコア（例えば類似度が大きいほど高いスコア）を算出し、各区間のスコアの合計を当該サイクル動画のスコアとして当該サイクル動画を評価してもよい。

【0105】

（実施形態４）
実施形態２～３では、分析対象として選択されたサイクル動画の中から基準サイクル動画が決定される構成である。本実施形態では、処理対象の動画から抽出されたサイクル動画から、基準サイクル動画を生成する情報処理装置について説明する。本実施形態の情報処理装置１０は、図２に示す実施形態１の情報処理装置１０の構成と同様の構成を有するので、構成についての説明は省略する。

【0106】

図２４は実施形態４のサイクル動画の比較処理手順の一例を示すフローチャート、図２５は基準サイクル動画の例を示す説明図である。図２４に示す処理は、図１７に示す処理において、ステップＳ９９，Ｓ１００の間にステップＳ１２１～Ｓ１２８を追加したものである。図１７と同じステップについては説明を省略する。図２４では、図１７中のステップＳ９１～Ｓ９８，Ｓ１０３～Ｓ１０６の図示を省略する。

【0107】

本実施形態の情報処理装置１０において、制御部１１は、図１７中のステップＳ９１～Ｓ９９と同様の処理を実行する。これにより、制御部１１は、図１８Ｃ又は図１８Ｄに示すような画面を表示する。ここで表示される画面には、処理対象の動画から抽出されたサイクル動画に基づいて基準サイクル動画を生成する指示を受け付けるためのボタン（図示せず）が設けられており、このボタンが操作されることにより、基準サイクル動画の生成指示を受け付ける。制御部１１は、基準サイクル動画の生成指示を受け付けたか否かを判断しており（Ｓ１２１）、受け付けていないと判断する場合（Ｓ１２１：ＮＯ）、ステップＳ１００に移行する。この場合、制御部１１は、図１７に示した実施形態２と同様の処理を実行する。

【0108】

基準サイクル動画の生成指示を受け付けたと判断した場合（Ｓ１２１：ＹＥＳ）、制御部１１は、ステップＳ９７で動作動画に区分した各サイクル動画から、同じ動作の動作動画を抽出する（Ｓ１２２）。制御部１１は、各サイクル動画から抽出した動作動画に対して所要時間に応じたスコアを算出する（Ｓ１２３）。例えば制御部１１は、所要時間が短いほど高いスコアを各動作動画に割り当てる。そして制御部１１は、各サイクル動画から抽出した動作動画において、全ての組合せでの類似度を算出し（Ｓ１２４）、算出した類似度に応じたスコアを算出する（Ｓ１２５）。例えば制御部１１は、１つの動作動画について、他の動作動画との類似度を順次算出し、類似度が高いほど高いスコアを割り当て、各類似度に応じたスコアの合計を当該動作動画のスコアとする。制御部１１は、全ての動作動画について同様の処理を行うことにより他の動作動画との類似度に応じたスコアを算出する。

【0109】

制御部１１は、各動作（各区間）について、ステップＳ１２３で算出したスコアと、ステップＳ１２５で算出したスコアとに基づいて、基準サイクル動画に用いる動作動画を特定する（Ｓ１２６）。例えば制御部１１は、ステップＳ１２３で算出したスコアと、ステップＳ１２５で算出したスコアとの合計が最高の動作動画を、基準サイクル動画に用いる動作動画を特定する。制御部１１は、全ての動作の動作動画に対してステップＳ１２３～Ｓ１２６の処理を終了したか否かを判断し（Ｓ１２７）、終了していないと判断する場合（Ｓ１２７：ＮＯ）、ステップＳ１２２に戻り、未処理の動作についてステップＳ１２２～Ｓ１２６の処理を繰り返す。なお、基準サイクル動画に用いる動作動画は、処理対象の動画から抽出された動作画像であればよく、異なる作業者の動作動画であってもよい。

【0110】

全ての動作の動作動画に対する処理を終了したと判断した場合（Ｓ１２７：ＹＥＳ）、制御部１１は、ステップＳ１２６で各動作について特定した動作動画をつなぎ合わせて基準サイクル動画を生成する（Ｓ１２８）。これにより、図２５に示すような基準サイクル動画が生成される。図２５の例では、ビデオ２０のサイクル動画の区間１と、ビデオ３０のサイクル動画の区間２と、…、ビデオ４０の区間９と、ビデオ６０の区間１０とによる基準サイクル動画が生成されている。その後、制御部１１は、ステップＳ１００に移行する。なお、この場合のステップＳ１０２では、制御部１１は、ステップＳ１２８で生成した基準サイクル動画を、手本とすべき基準サイクル動画に特定する。上述した処理により、どの動作（区間）においても所要時間が短く、他のサイクル動画における動作動画との類似度が高い動作動画によって基準サイクル動画を生成することができる。作業者による動作動画は、他の動作動画との類似度が高いほど標準的な動作が行われているものと考えられる。よって、所要時間が短く標準的な動作が行われている動作動画による最適な基準サイクル動画を生成することができる。なお、上述した処理において、基準サイクル動画に用いる動作動画は、所要時間に応じたスコアと、他のサイクル動画における動作動画との類似度に応じたスコアとの合計から特定される構成に限定されない。例えば、所要時間が最短の動作動画、又は、他の動作動画との類似度が最大の動作動画等を、基準サイクル動画に用いる動作動画に特定してもよい。また、各サイクル動画から抽出した動作動画に対して、例えば実施形態１で用いた要因分類モデルＭ５によって標準動作であるか否かの判定処理を行い、標準動作であると判定された動作動画に対して、ステップＳ１２３～Ｓ１２６の処理を行ってもよい。この場合、より最適でより標準的な動作を撮影した動作動画による基準サイクル動画を生成できる。

【0111】

（実施形態５）
実施形態２～４では、１人の作業者が撮影された動画を処理対象とする構成である。本実施形態では、複数の作業者が撮影された動画を処理対象とする情報処理装置について説明する。本実施形態の情報処理装置１０は、図２に示す実施形態１の情報処理装置１０の構成と同様の構成を有するので、構成についての説明は省略する。

【0112】

図２６は実施形態５のサイクル動画の比較処理手順の一例を示すフローチャート、図２７Ａ及び図２７Ｂは画面例を示す説明図である。図２６に示す処理は、図１７に示す処理において、ステップＳ９１，Ｓ９２の間にステップＳ１３１～Ｓ１３６を追加したものである。図１７と同じステップについては説明を省略する。図２６では、図１７中のステップＳ９４～Ｓ１０６の図示を省略する。

【0113】

本実施形態の情報処理装置１０において、制御部１１は、図１８Ａに示すような動画選択画面から任意の動画の選択を受け付ける（Ｓ９１）。制御部１１は、選択された動画に対して物体検知処理を行い、動画中の被写体（対象者）を検知する（Ｓ１３１）。物体検知処理は、ＣＮＮ、ＳＳＤ（Single Shot Multibox Detector）、ＹＯＬＯ（You Only Look Once）等の物体検知アルゴリズム、又は、ＳｅｇＮｅｔ、ＦＣＮ（Fully Convolutional Network ）、Ｕ－Ｎｅｔ等のセマンティックセグメンテーションを実現するアルゴリズムで構成された学習モデルを用いて実行されてもよい。制御部１１は、検知した対象者が複数であるか否かを判断し（Ｓ１３２）、複数でないと判断した場合（Ｓ１３２：ＮＯ）、即ち検知した対象者が１人の場合、ステップＳ９２に移行する。この場合、制御部１１は、図１７に示した実施形態２と同様の処理を実行する。

【0114】

検知した対象者が複数であると判断した場合（Ｓ１３２：ＹＥＳ）、制御部１１は、図２７Ａに示すように、動画中の対象者から１人の分析対象者の選択を促すメッセージを表示する（Ｓ１３３）。図２７Ａの画面に表示中の動画は、所定の操作（例えばマウスの左クリック）によって１人の対象者を選択できるように構成されており、制御部１１は、動画に対する所定操作によって１人の対象者の選択を受け付ける（Ｓ１３４）。なお、制御部１１は、表示中の動画に対して、検知した対象者をバウンディングボックス等で明示し、いずれかのバウンディングボックスの選択を受け付けることにより、任意の対象者の選択を受け付けてもよい。制御部１１は、動画において、選択された対象者の領域を特定する（Ｓ１３５）。ここでは、制御部１１は、所定操作が行われた点を中心として所定の大きさの領域を分析対象者の領域に特定してもよく、ステップＳ１３１で検知した各対象者の領域のうちで所定操作が行われた点を含む領域を分析対象者の領域に特定してもよい。図２７Ｂの例では、動画中の右側の対象者に対して所定操作が行われることによりプルダウンメニューが表示され、プルダウンメニューの「対象者に選択」が選択された場合に、制御部１１は、当該対象者を分析対象に特定する。

【0115】

動画に複数の対象者が含まれる場合、各対象者は、動画中の同じ領域に撮影される。図２７Ａの例では、動画の左側に撮影されている対象者は常に左側に撮影され、右側に撮影されている対象者は常に右側に撮影される。よって、本実施形態では、制御部１１は、ステップＳ９１で選択した動画の各フレームから、分析対象者を含む領域を抽出して分析対象者のみを含む部分動画を生成する（Ｓ１３６）。その後、制御部１１は、１人の分析対象者を含む部分動画を処理対象として、ステップＳ９２以降の処理を実行する。これにより、実施形態２～４の情報処理装置１０と同様の処理によって、部分動画から抽出されたサイクル動画の比較結果を提示することができる。なお、本実施形態では、処理対象の動画から、分析対象者を含む部分動画を生成することなく、処理対象の動画中の分析対象者の領域に基づいてステップＳ９２以降の処理を実行する構成でもよい。

【0116】

上述した処理では、動画に複数の作業者が含まれる場合であっても、任意に選択された１人の作業者を分析対象者とすることができ、上述した実施形態２～４と同様の処理によって、分析対象者に選択された作業者を撮影した動画から抽出されたサイクル動画の比較を行うことができる。上述した実施形態２～５においても、処理対象の動画は、作業を行う作業者を撮影した動画に限定されず、所定の作業を行うように構成されたロボットを撮影した動画であってもよい。

【0117】

上述した実施形態に記載した事項は相互に組み合わせることが可能である。また、請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。

【0118】

今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0119】

１０ 情報処理装置
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
Ｍ１ 品種予測モデル
Ｍ２ サイクル予測モデル
Ｍ３ 切れ目予測モデル
Ｍ４ 動作分析モデル
Ｍ５ 要因分類モデル

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図18C】

【図18D】

【図19A】

【図19B】

【図19C】

【図20A】

【図20B】

【図20C】

【図20D】

【図21A】

【図21B】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27A】

【図27B】