特許 7633735 プログラム、情報処理方法、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-02-12

(45)【発行日】2025-02-20

(54)【発明の名称】プログラム、情報処理方法、及び情報処理装置

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20250213BHJP

【ＦＩ】

G06Q50/04

【請求項の数】 12

(21)【出願番号】P 2024044004

(22)【出願日】2024-03-19

【審査請求日】2024-09-09

【早期審査対象出願】

(73)【特許権者】

【識別番号】521046284

【氏名又は名称】株式会社Ｏｌｌｏ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】川合 健斗

(72)【発明者】

【氏名】侯 明程

(72)【発明者】

【氏名】穂屋下 巧輝

(72)【発明者】

【氏名】開 航平

(72)【発明者】

【氏名】早稲田 風太

(72)【発明者】

【氏名】茶田 和樹

(72)【発明者】

【氏名】相原 稔樹

(72)【発明者】

【氏名】戎 堅士朗

【審査官】星野 裕

(56)【参考文献】

【文献】特開２０２２－０２６８４８（ＪＰ，Ａ）

【文献】国際公開第２０１５／０９７８２５（ＷＯ，Ａ１）

【文献】特開２０１４－２２５７７２（ＪＰ，Ａ）

【文献】特開２００２－０２７３９５（ＪＰ，Ａ）

【文献】国際公開第２０２３／０８５３３３（ＷＯ，Ａ１）

【文献】特開２０１９－１１８０４０（ＪＰ，Ａ）

【文献】特開２０２２－１４７５３８（ＪＰ，Ａ）

【文献】特表２０１６－５１２６５８（ＪＰ，Ａ）

【文献】松吉健太，外３名，介護・看護学習における動画比較教材を用いた学習支援システムの構築（Ｏ），第２回データ工学と情報マネジメントに関するフォーラム－ＤＥＩＭ ２０１０－論文集，日本，電子情報通信学会データ工学研究専門委員会，2010年06月09日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

対象に装着された撮影装置で撮影された動画であって、対象が同じ作業を行う異なる作業スペースを撮影した複数の動画を取得し、
対象が作業中の作業スペースを撮影した動画を入力した場合に入力した前記動画を前記作業に含まれる動作毎に区分するように学習済みの学習モデルに、取得した前記複数の動画をそれぞれ入力して、前記複数の動画をそれぞれ、前記作業に含まれる動作毎に区分し、
前記複数の動画をそれぞれ動作毎に区分した区分動画に基づいて、前記対象が同じ作業を行う異なる作業スペースを撮影した前記複数の動画中の各動作の区分動画を同期させて出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記動画は、撮影位置が固定された撮影装置で撮影された動画を含む
請求項１に記載のプログラム。

【請求項3】

前記動画に、前記動画に関するデータが紐付けられており、
前記複数の動画の中から１つの動画の指定を受け付け、
指定された前記動画と同じ作業の他の動画のうちで、指定された前記動画との類似度が高い他の動画を抽出し、
指定された前記動画と、抽出した前記他の動画とを、各動画中の区分動画を同期させて出力し、
前記動画を出力する際に、前記動画に紐付けられているデータを出力する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項4】

前記区分動画に、前記区分動画に関するデータが紐付けられており、
前記動画中の区分動画の中から１つの区分動画の指定を受け付け、
指定された前記区分動画と同じ動作の他の動画の区分動画であって、指定された前記区分動画との類似度が高い区分動画を抽出し、
指定された前記区分動画と、抽出した前記他の動画の区分動画とを同期させて出力し、
前記区分動画を出力する際に、前記区分動画に紐付けられているデータを出力する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項5】

前記動画中の各区分動画について、他の動画中の同じ動作の区分動画との類似度と、前記他の動画中の同じ動作の区分動画に対する注目度とを取得し、
取得した前記類似度及び注目度に応じて、前記動画中の区分動画を強調表示し、
強調表示された前記動画中の区分動画の中から１つの区分動画の指定を受け付け、
指定された前記区分動画との類似度及び注目度に基づいて、指定された前記区分動画と同じ動作の他の動画中の区分動画を抽出し、
指定された前記区分動画と、抽出した前記他の動画中の区分動画とを同期させて出力する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項6】

前記動画に関するデータは自然言語で記述されており、
前記動画に関するデータを指定された言語に翻訳して出力する
処理を前記コンピュータに実行させる請求項３に記載のプログラム。

【請求項7】

前記動画に、前記動画について複数種類の処理の実行状況が紐付けられており、
前記対象毎又は前記作業スペース毎に、前記対象又は前記作業スペースの動画に対する各処理の実行回数を計数し、
前記対象毎又は前記作業スペース毎に、計数した各処理の実行回数を出力する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項8】

時系列に行われる複数種類の作業を撮影した動画から、各作業を撮影したサイクル動画を抽出し、
前記作業毎に、各作業の複数のサイクル動画に基づいて、前記各作業に要する作業時間を計測し、
前記作業毎に、計測した各作業の作業時間のばらつきを示す図表を出力する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項9】

対象に装着された撮影装置で撮影された動画であって、対象が同じ作業を行う異なる作業スペースを撮影した複数の動画を取得し、
対象が作業中の作業スペースを撮影した動画を入力した場合に入力した前記動画を前記作業に含まれる動作毎に区分するように学習済みの学習モデルに、取得した前記複数の動画をそれぞれ入力して、前記複数の動画をそれぞれ、前記作業に含まれる動作毎に区分し、
前記複数の動画をそれぞれ動作毎に区分した区分動画に基づいて、前記対象が同じ作業を行う異なる作業スペースを撮影した前記複数の動画中の各動作の区分動画を同期させて出力する
処理をコンピュータが実行する情報処理方法。

【請求項10】

制御部を有する情報処理装置において、
前記制御部は、
対象に装着された撮影装置で撮影された動画であって、対象が同じ作業を行う異なる作業スペースを撮影した複数の動画を取得し、
対象が作業中の作業スペースを撮影した動画を入力した場合に入力した前記動画を前記作業に含まれる動作毎に区分するように学習済みの学習モデルに、取得した前記複数の動画をそれぞれ入力して、前記複数の動画をそれぞれ、前記作業に含まれる動作毎に区分し、
前記複数の動画をそれぞれ動作毎に区分した区分動画に基づいて、前記対象が同じ作業を行う異なる作業スペースを撮影した前記複数の動画中の各動作の区分動画を同期させて出力する
情報処理装置。

【請求項11】

対象に装着された撮影装置で撮影された動画であって、対象が同じ作業を行う作業スペースであって前記同じ作業に係る物品の配置状態が相互に異なる作業スペースを撮影した複数の動画を取得し、
対象が作業中の作業スペースを撮影した動画を入力した場合に入力した前記動画を前記作業に含まれる動作毎に区分するように学習済みの学習モデルに、取得した前記複数の動画をそれぞれ入力して、前記複数の動画をそれぞれ、前記作業に含まれる動作毎に区分し、
前記複数の動画をそれぞれ動作毎に区分した区分動画に基づいて、前記物品の配置状態が相互に異なる作業スペースを撮影した前記複数の動画中の各動作の区分動画を同期させて出力する
処理をコンピュータに実行させるプログラム。

【請求項12】

対象に装着された撮影装置で撮影された動画であって、対象が同じ作業を行う同じ作業スペースを撮影した複数の動画を取得し、
対象が作業中の作業スペースを撮影した動画を入力した場合に入力した前記動画を前記作業に含まれる動作毎に区分するように学習済みの学習モデルに、取得した前記複数の動画をそれぞれ入力して、前記複数の動画をそれぞれ、前記作業に含まれる動作毎に区分し、
前記複数の動画をそれぞれ動作毎に区分した区分動画に基づいて、前記対象が同じ作業を行う同じ作業スペースを撮影した前記複数の動画中の各動作の区分動画を同期させて出力する
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、情報処理方法、及び情報処理装置に関する。

【背景技術】

【0002】

特許文献１には、トレーニングを実施するトレーニの全体動作を撮影した全体動画から、全体動作に含まれる部分動作に対応する部分動画を検出し、部分動画を参照して、全体動作及び部分動作を評価する技術が開示されている。特許文献１に開示の技術では、各部分動作に対応する部分動画の有無、部分動画の順番、部分動画の期間等に基づいて、全体動作及び部分動作を評価している。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６７５７０１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

各トレーニの動作を評価する際に、他のトレーニの動作内容、又は同じトレーニの異なるタイミングでの動作内容と比較したいという要望がある。しかし、特許文献１では、部分動作が実行されたか否か、所定の順番に従って部分動作が実行されたか否か、及び、所定の期間だけ部分動作が実行されたか否かに基づいて評価され、他のトレーニの動作内容又は同じトレーニの異なるタイミングでの動作内容との比較を行うことは考慮されていない。

【0005】

本開示は、複数の動画で撮影された作業の様子を、動画中の各動作の区分動画を同期させて提示することが可能なプログラム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様に係るプログラムは、対象が作業中の作業スペースを撮影した動画を、前記作業に含まれる動作毎に区分し、対象が同じ作業を行う異なる作業スペースを撮影した動画、又は、前記同じ作業に係る物品の配置状態が異なる作業スペースを撮影した動画を含む複数の動画をそれぞれ動作毎に区分した区分動画に基づいて、前記複数の動画中の各動作の区分動画を同期させて出力する処理をコンピュータに実行させる。

【発明の効果】

【0007】

本開示の一態様にあっては、複数の動画で撮影された作業の様子を、動画中の各動作の区分動画を同期させて提示することができる。

【図面の簡単な説明】

【0008】

【図1】処理対象の動画例を示す説明図である。

【図2】情報処理システムの構成例を示すブロック図である。

【図3】学習モデルの構成例を示す説明図である。

【図4】動画ＤＢ及びＴｏＤｏリストＤＢのレコードレイアウトの一例を示す説明図である。

【図5】アップロード処理手順及びサイクル検出処理手順の一例を示すフローチャートである。

【図6】画面例を示す説明図である。

【図7】サイクル動画の比較処理手順の一例を示すフローチャートである。

【図8】画面例を示す説明図である。

【図9】コメントの追加処理手順の一例を示すフローチャートである。

【図10】画面例を示す説明図である。

【図11】画面例を示す説明図である。

【図12】画面例を示す説明図である。

【図13】画面例を示す説明図である。

【図14】モニタ処理手順の一例を示すフローチャートである。

【図15】画面例を示す説明図である。

【図16】実施形態２の比較処理手順の一例を示すフローチャートである。

【図17】画面例を示す説明図である。

【図18】異なる作業間の比較処理手順の一例を示すフローチャートである。

【図19】画面例を示す説明図である。

【発明を実施するための形態】

【0009】

以下に、本開示のプログラム、情報処理方法、及び情報処理装置について、その実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
本実施形態では、作業者（対象）が作業を行っている様子を撮影した複数の動画を比較して提示する情報処理システムについて説明する。図１は処理対象の動画例を示す説明図である。本実施形態の処理対象の動画は、例えば１秒間に３０枚又は１５枚等、複数の画像（静止画）を含む動画データであり、図１Ａに示すように作業者が作業を行う様子、作業者が作業中の作業スペース等を撮影した撮影画像である。本実施形態の比較対象の動画は、１つの作業（内容が同じ作業）について、同じ作業スペースで同じ作業者を撮影した動画、同じ作業スペースで異なる作業者を撮影した動画、異なる作業スペースで作業者（同じ作業者及び異なる作業者）を撮影した動画を含む。なお、異なる作業スペースは、同じ場所（工場）にある異なる作業スペースであってもよく、異なる場所にある作業スペースであってもよい。また、同じ作業であれば、作業対象の物品及び作業に用いる物品（作業に係る物品）の配置状態が異なる作業スペースであっても、作業者が左利きであっても右利きであっても、各動画は比較対象となる。

【0011】

また、本実施形態の比較対象の動画は、撮影位置が固定された撮影装置で撮影された動画と、作業者に装着された撮影装置で撮影された動画とを含む。図１Ａの左上及び右上には、撮影位置が固定されたカメラで撮影された動画の例を示し、左上は、作業者の前方上方から作業者及び作業スペースを撮影した動画であり、右上は、作業者の左側上方から作業者及び作業スペースを撮影した動画である。図１Ａの左下及び右下には、作業者に装着されたウェアラブルカメラで撮影された動画の例を示し、作業者の手元及び作業スペースを撮影した動画を示す。ウェアラブルカメラは、例えば耳掛け型、ヘッドバンド型（ヘッドストラップ型）、眼鏡型等のカメラであり、作業者の頭部（顔）に装着されて使用される。またウェアラブルカメラは、作業者が装着している眼鏡のつる（テンプル）、帽子のつば、又はヘルメット等に取り付けることによって作業者に装着される構成でもよく、クリップ又はチェストハーネス等を用いて作業者の服又は身体に装着される構成でもよい。よって、本実施形態のシステムでは、同じ作業であれば、異なる場所及び異なる作業スペースを撮影した動画、作業スペースに対する撮影方向及び画角が異なる動画等を比較対象とすることができる。

【0012】

また、本実施形態の処理対象の動画は、一連の作業を行う作業者を撮影した動画（以下ではサイクル動画と記載する）だけでなく、図１Ｂに示すように、サイクル動画を複数含む動画であってもよい。図１Ｂの上側には、作業者が作業１（ケースＡの組立）を繰り返し行う様子を撮影した動画を示し、図１Ｂの下側には、作業者が作業１（ケースＡの組立）、作業２（部品Ａの組立）…を行う様子を撮影した動画を示す。このように、処理対象の動画は、同じ作業を撮影したサイクル動画を複数含む動画であってもよく、異なる作業を撮影したサイクル動画を複数含む動画であってもよい。また、各作業を行う作業者は、同じ作業者であっても異なる作業者であってもよい。異なる作業とは、例えば１つの製品を組み立てる際に必要な複数の作業である。また、サイクル動画は、各作業に含まれる複数の動作毎に区分した動画（以下では区分動画と記載する）を含む。図１Ｂの上側に示す例では、処理対象の動画は、作業１（ケースＡの組立）を行う作業者を撮影したサイクル動画毎に区分可能であり、各サイクル動画は、動作１（ケース取り出し）、動作２（ネジを締める）等の動作を行う作業者を撮影した区分動画毎に区分可能である。

【0013】

図２は情報処理システムの構成例を示すブロック図である。本実施形態の情報処理システムは、サーバ１０及びユーザ端末２０を含み、サーバ１０及びユーザ端末２０は、ネットワークＮを介して通信接続されている。ネットワークＮは、インターネット又は公衆通信回線であってもよく、サーバ１０が設置されている施設内に構築されたＬＡＮ（Local Area Network）であってもよい。サーバ１０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ、ワークステーション等で構成される。ユーザ端末２０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばパーソナルコンピュータ、タブレット端末、スマートフォン等で構成される。ユーザ端末２０は、サーバ１０を利用するユーザが使用する端末である。本実施形態におけるユーザは、撮影対象の作業者、作業者の上司又は監督者、各作業現場（工場等）の責任者（例えば工場長）、各作業現場を管理する管理者（例えば本社の担当者）等、サーバ１０を用いた各作業者の作業状況の分析処理における各種の処理を行う担当者を含む。

【0014】

サーバ１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、又はＡＩチップ（ＡＩ用半導体）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してあるプログラム１２Ｐを適宜実行することにより、サーバ１０が行うべき情報処理及び制御処理を実行する。なお、制御部１１が複数のプロセスを有する場合、制御部１１は、各処理を異なるプロセッサによって実行してもよい。

【0015】

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行するプログラム１２Ｐ（プログラム製品）及び各種のデータを記憶している。また記憶部１２は、制御部１１がプログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。また記憶部１２は、機械学習によって学習済みの学習モデルＭを記憶している。学習モデルＭは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデルＭは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２には、学習モデルＭを定義する情報として、学習モデルＭが備える層の情報、各層を構成するノードの情報、ノード間の重み（結合係数）等の情報が記憶される。なお、学習モデルＭは、作業者が行う作業毎に用意されている。更に記憶部１２は、動画ＤＢ１２ａ及びＴｏＤｏリストＤＢ１２ｂと、動画フォルダ１２ｃとを記憶する。動画ＤＢ１２ａ、ＴｏＤｏリストＤＢ１２ｂ、動画フォルダ１２ｃの少なくとも１つは、サーバ１０に接続された他の記憶装置に記憶されてもよく、サーバ１０が通信可能な他の記憶装置に記憶されてもよい。

【0016】

通信部１３は、有線通信又は無線通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して他の装置との間で情報の送受信を行う。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４の一部及び表示部１５は一体として構成されたタッチパネルであってもよい。

【0017】

読取部１６は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１０ａに記憶された情報を読み取る。記憶部１２に記憶されるプログラム１２Ｐ及び各種のデータは、制御部１１が読取部１６を介して可搬型記憶媒体１０ａから読み取って記憶部１２に記憶してもよい。また、プログラム１２Ｐ及び各種のデータは、サーバ１０の製造段階において記憶部１２に書き込まれてもよく、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。

【0018】

サーバ１０は、単一のコンピュータに限らず、複数のコンピュータを含んで構成されるマルチコンピュータであってもよく、１台の装置内にソフトウェアによって仮想的に構築された仮想マシンであってもよい。サーバ１０をサーバコンピュータで構成する場合、サーバ１０は、ローカルサーバであってもよく、インターネット等を介して通信接続されたクラウドサーバであってもよい。以下では、サーバ１０が１台のコンピュータであるものとして説明する。また、プログラム１２Ｐは、単一のコンピュータ上で、又は１つのサイトにおいて配置されてもよく、もしくは、複数のサイトにわたって分散され、ネットワークを介して相互に接続された複数のコンピュータ上で分散されて実行されてもよい。更に、サーバ１０は、入力部１４及び表示部１５は必須ではなく、接続されたコンピュータ（例えばユーザ端末２０）を通じて操作を受け付ける構成でもよく、表示すべき情報を外部の表示装置（例えばユーザ端末２０）へ出力する構成でもよい。

【0019】

ユーザ端末２０は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、読取部２６等を含み、これらの各部はバスを介して相互に接続されている。ユーザ端末２０の制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、及び読取部２６のそれぞれは、サーバ１０の制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、及び読取部１６と同様の構成であるので説明は省略する。なお、ユーザ端末２０が、カメラで作業者（作業スペース）を撮影した動画をサーバ１０にアップロードするユーザの端末である場合、記憶部２２は、制御部２１が実行するプログラム２２Ｐ（プログラム製品）に加えて、カメラから取得した動画ファイル２２ａを記憶している。

【0020】

図３は学習モデルＭの構成例を示す説明図である。図３Ａは学習モデルＭの学習処理の説明図であり、図３Ｂは学習モデルＭを用いた推定処理の説明図である。学習モデルＭは、例えばＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＣＮＮ（Convolution Neural Network）、Transformer等のアルゴリズムを用いて構成され、また、複数のアルゴリズムを組み合わせて構成されてもよい。学習モデルＭは、人間が多種多様な動作を行っている様子を撮影した動画（人間の動きを含む動画）を事前学習済みのモデルであり、訓練用のサイクル動画を１つ読み込ませることにより生成される。学習処理において、学習モデルＭは、入力された訓練用のサイクル動画の特徴量を抽出しておく。例えば学習モデルＭは、訓練用のサイクル動画中の動体を検出し、動体の撮影領域における特徴量を抽出する。そして、訓練用のサイクル動画を読み込み済みの学習モデルＭは、推定処理において、推定対象の動画が入力された場合に、学習処理において読み込んだ訓練用のサイクル動画を画像特徴量に基づいて複数の区分動画に分割し、分割結果に基づいて、推定対象の動画から、訓練用のサイクル動画との類似スコアが高いサイクル動画を抽出すると共に、抽出した各サイクル動画を、訓練用のサイクル動画における区分動画に基づいて複数（訓練用のサイクル動画の区分動画と同じ数）の区分動画に分割（区分）する。なお、サイクル動画における区分動画の分割数は、例えば学習モデルＭに予め設定されていてもよく、任意の数に設定変更可能であってもよい。よって、学習モデルＭは、推定対象の動画を入力とし、入力された動画からサイクル動画を抽出する演算と、抽出した各サイクル動画を区分動画に分割する演算とを行い、演算した結果を出力する。具体的には、学習モデルＭは、推定対象の動画が入力される入力層と、入力された動画から特徴量を抽出して各種の演算を行う中間層と、中間層の演算結果を基に動画から抽出した各サイクル動画の開始時間及び終了時間、並びに、各サイクル動画における各区分動画の開始時間及び終了時間とを出力する出力層とを有する。なお、サイクル動画の開始時間及び終了時間、並びに、区分動画の開始時間及び終了時間は、当該動画の再生開始からの経過時間によって表される。このような学習モデルＭを用いることにより、サーバ１０は、学習モデルＭに推定対象の動画を入力した場合に、学習モデルＭからの出力情報（サイクル動画の開始時間及び終了時間、並びに、区分動画の開始時間及び終了時間）に基づいて、推定対象の動画からサイクル動画を抽出すると共に、各サイクル動画を区分動画に分割できる。また、推定処理において、学習モデルＭは、推定対象の動画から抽出したサイクル動画を区分動画に分割する際に、訓練用のサイクル動画における各区分動画との類似スコアが高い区分動画に分割しており、各区分動画について、訓練用のサイクル動画における各区分動画との類似スコアも出力する。

【0021】

学習モデルＭの学習（訓練用のサイクル動画の読み込み）は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデルＭは、例えばネットワークＮ経由又は可搬型記憶媒体１０ａ経由で学習装置からサーバ１０にダウンロードされて記憶部１２に記憶される。また、学習モデルＭは、作業者を撮影した動画が入力される構成に限定されない。例えば、サーバ１０が、動画に含まれる各フレーム（各画像）に基づいて、作業者の骨格推定を行って骨格データを生成し、時系列の骨格データを学習モデルＭに入力する構成としてもよい。この場合、サーバ１０の制御部１１は、例えばＯｐｅｎＰｏｓｅのように画像中の人の関節位置を抽出する技術を用いて、各フレーム中の作業者の骨格推定を行い、作業者の関節位置を抽出する。制御部１１は、動画に含まれる各フレームに対して、関節位置を抽出する処理を行うことにより、時系列の骨格データを取得し、得られた時系列の骨格データを学習モデルＭの入力としてもよい。

【0022】

図４は動画ＤＢ１２ａ及びＴｏＤｏリストＤＢ１２ｂのレコードレイアウトの一例を示す説明図である。図４Ａは動画ＤＢ１２ａを示し、動画ＤＢ１２ａはサーバ１０にアップロードされた動画に関する情報を記憶する。図４Ａに示す動画ＤＢ１２ａは、動画ＵＲＬ（Uniform Resource Locator）列、撮影場所列、撮影対象列、登録者列、サイクル検出列、比較分析列等を含み、動画ＵＲＬに対応付けて、サーバ１０にアップロードされた動画の情報を記憶する。動画ＵＲＬは、動画フォルダ１２ｃに記憶された動画データを読み出すための情報を記憶する。なお、動画ＵＲＬの代わりに、動画データの記憶場所を示すフォルダ名及びファイル名が記憶されてもよい。撮影場所列は、動画の撮影場所の情報を記憶し、例えば工場の場所を示す情報、工場内の作業スペースの場所を示す情報等を記憶する。撮影対象列は、撮影対象の作業者の情報を記憶し、例えば作業者の所属、氏名、社員番号等を記憶する。なお、動画に複数の作業者を撮影した複数のサイクル動画が含まれる場合、複数の作業者の情報が記憶される。登録者列は、動画をサーバ１０にアップロードしたユーザ（登録者）の情報を記憶し、例えば登録者に割り当てられた識別情報（社員番号、ユーザＩＤ等）を記憶する。サイクル検出列は、学習モデルＭを用いて処理対象の動画からサイクル動画を抽出する処理に関する情報を記憶し、処理の実行日時、実行者の情報、抽出された各サイクル動画のＵＲＬ等を記憶する。実行者は、サーバ１０に対してサイクル動画の抽出処理の実行を指示したユーザである。処理対象の動画から抽出された各サイクル動画は動画フォルダ１２ｃに記憶されてもよい。比較分析列は、複数のサイクル動画を並べて表示して分析する処理に関する情報を記憶し、処理の実行日時、実行者の情報、比較対象となったサイクル動画のＵＲＬ等を記憶する。ここでの実行者は、サーバ１０に対して複数のサイクル動画の比較処理の実行を指示したユーザである。比較対象は、比較対象として表示されたサイクル動画の情報を記憶し、例えば当該サイクル動画のＵＲＬを記憶する。動画ＤＢ１２ａの記憶内容は図４Ａに示す例に限定されず、例えば動画の撮影日時又は登録日時が記憶されてもよい。

【0023】

図４ＢはＴｏＤｏリストＤＢ１２ｂを示し、ＴｏＤｏリストＤＢ１２ｂは、サーバ１０にアップロードされた動画のうちで、コメントが付加されたサイクル動画及び区分動画に関する情報と、ＴｏＤｏリストに登録されたサイクル動画及び区分動画に関する情報を記憶する。図４Ｂに示すＴｏＤｏリストＤＢ１２ｂは、動画ＵＲＬ列、コメント列、改善計画列、ステータス列、改善後動画ＵＲＬ列、改善内容列等を含み、動画ＵＲＬに対応付けて、ＴｏＤｏリストに登録されたサイクル動画及び区分動画の情報（ＴｏＤｏデータ）を記憶する。動画ＵＲＬは、動画フォルダ１２ｃに記憶されたサイクル動画又は区分動画の動画データを読み出すための情報を記憶する。ここでも、動画ＵＲＬの代わりに、動画データの記憶場所を示すフォルダ名及びファイル名が記憶されてもよい。コメント列は、サイクル動画及び区分動画に対して入力されたコメントに関する情報を記憶し、コメントの入力者の情報及び内容等を記憶する。改善計画列は、コメントが付加されたサイクル動画及び区分動画に対して入力された改善計画に関する情報を記憶し、入力者の情報、改善計画の内容、改善計画を実施すべき担当者及び納期等を記憶する。ステータス列は、改善計画の実施状況を示す情報を記憶し、実施が完了した場合は「完了」を記憶し、完了していない場合は「未」を記憶する。改善後動画ＵＲＬ列は、改善計画の実施が完了した後に撮影されたサイクル動画又は区分動画のＵＲＬを記憶する。改善内容列は、改善計画の実施による改善状況を示す情報を記憶し、改善前所要時間、改善後所要時間、改善率等を記憶する。改善前所要時間は、動画ＵＲＬ列にＵＲＬが登録されたサイクル動画又は区分動画における作業又は動作の所要時間（再生時間）であり、改善後所要時間は、改善後動画ＵＲＬ列にＵＲＬが登録されたサイクル動画又は区分動画における作業又は動作の所要時間（再生時間）であり、改善率は、例えば改善後所要時間／改善前所要時間で算出される割合である。ＴｏＤｏリストＤＢ１２ｂの記憶内容は図４Ｂに示す例に限定されず、ＴｏＤｏリストＤＢ１２ｂの項目は、例えば作業現場（例えば工場、作業スペース）毎又は会社毎に変更可能である。例えば、改善計画だけでなく、作業者の上司又は監督者等からのメッセージ、他のユーザと共有すべき情報、作業効率等の改善を促進するための情報等が記憶される構成でもよい。また、コメント、改善計画、ステータス、改善後動画ＵＲＬ、改善内容についてそれぞれの入力日時が記憶されてもよい。

【0024】

以下に、本実施形態の情報処理システムにおいて、カメラで撮影された動画をサーバ１０にアップロードする処理と、サーバ１０にアップロードした動画からサイクル動画を抽出するサイクル検出処理とについて説明する。図５はアップロード処理手順及びサイクル検出処理手順の一例を示すフローチャート、図６は画面例を示す説明図である。

【0025】

図５Ａはアップロード処理を示す。なお、図５Ａの処理におけるユーザ端末２０のユーザは、作業者本人又は作業者の上司等、動画をサーバ１０にアップロードする担当者である。動画をアップロードしたいユーザは、カメラに蓄積された動画をユーザ端末２０の記憶部２２にコピーしておく。又は、ユーザは、ユーザ端末２０にカメラを接続し、カメラに蓄積された動画をユーザ端末２０によって取得できるようにしておく。ユーザは、ユーザ端末２０の入力部２４を介して所定の操作を行い、ユーザ端末２０の制御部２１は、操作内容に従った処理を行うことにより、アップロード画面を表示部２５に表示し、アップロード画面を介してサーバ１０に動画をアップロードする。例えば制御部２１は、サーバ１０にアクセスし、サーバ１０からアップロード画面を取得する。また、サーバ１０を利用するためのアプリ（アプリケーションプログラム）が記憶部２２に記憶してある場合、制御部２１は、このアプリを起動することによりアップロード画面を表示してもよい。

【0026】

ユーザ端末２０の制御部２１は、図６Ａに示すようなアップロード画面を表示部２５に表示する（Ｓ１１）。アップロード画面は、記憶部２２に記憶してある動画（動画ファイル２２ａ）、及びユーザ端末２０に接続されたカメラから取得可能な動画のファイル名一覧を表示し、各動画を選択するためのチェックボックスと、選択された動画のアップロードを指示するためのアップロードボタンとを有する。

【0027】

制御部２１は、アップロード画面において、入力部２４を介してユーザから動画の選択を受け付け（Ｓ１２）、アップロードボタンが操作されたか否かを判断する（Ｓ１３）。アップロードボタンが操作されていないと判断した場合（Ｓ１３：ＮＯ）、制御部２１は、動画の選択受付を継続し、アップロードボタンが操作されたと判断した場合（Ｓ１３：ＹＥＳ）、選択された動画の動画ファイル２２ａを記憶部２２又はカメラから読み出してサーバ１０へ送信（アップロード）する（Ｓ１４）。なお、制御部２１は、動画をサーバ１０にアップロードする際に、例えば入力部２４を介して、撮影場所（例えば工場、工場内の作業スペース）の情報、撮影対象の作業者の情報、アップロードするユーザ（登録者）の情報等を受け付け、動画ファイルと共にサーバ１０へ送信する。

【0028】

サーバ１０の制御部１１は、ユーザ端末２０からアップロードされた動画ファイルを取得し、記憶部１２に記憶する（Ｓ１５）。例えば制御部１１は、取得した動画ファイルを記憶部１２の動画フォルダ１２ｃに記憶し、この動画ファイルを読み出すためのＵＲＬを生成する。そして制御部１１は、生成したＵＲＬと、ユーザ端末２０から取得した撮影場所及び撮影対象の作業者の情報と、登録者の情報とを対応付けて動画ＤＢ１２ａに記憶する。これにより、サーバ１０は、各工場で撮影された動画を収集することができる。

【0029】

図５Ｂはサイクル検出処理を示す。図５Ｂの処理におけるユーザ端末２０のユーザは、作業者本人又は作業者の上司等、アップロードされた動画からサイクル動画を抽出するサイクル検出処理を行う担当者である。サイクル検出処理を行いたいユーザは、ユーザ端末２０の入力部２４を介して所定の操作を行い、ユーザ端末２０の制御部２１は、操作内容に従った処理を行うことにより、サイクル検出画面を表示部２５に表示し、サイクル検出処理の実行をサーバ１０に要求する。ユーザ端末２０の制御部２１は、図６Ｂに示すようなサイクル検出画面を表示部２５に表示する（Ｓ２１）。サイクル検出画面は、サーバ１０にアップロードされた動画（動画ファイル）のファイル名一覧を表示し、各動画を選択するためのチェックボックスと、選択された動画のサイクル検出処理の実行を指示するためのサイクル検出ボタンとを有する。なお、既にサイクル検出処理が行われている動画については、ファイル名の後に「サイクル検出済み」が表示されてもよい。

【0030】

制御部２１は、サイクル検出画面において、入力部２４を介してユーザから動画の選択を受け付け（Ｓ２２）、サイクル検出ボタンが操作されたか否かを判断する（Ｓ２３）。サイクル検出ボタンが操作されていないと判断した場合（Ｓ２３：ＮＯ）、制御部２１は、動画の選択受付を継続し、サイクル検出ボタンが操作されたと判断した場合（Ｓ２３：ＹＥＳ）、選択された動画に対するサイクル検出処理の実行をサーバ１０に指示する（Ｓ２４）。なお、制御部２１は、選択された動画を示す情報（例えばファイル名、ＵＲＬ等）をサーバ１０へ送信してサイクル検出処理の実行を要求する。

【0031】

サーバ１０の制御部１１は、サイクル検出処理の実行を要求された動画を動画フォルダ１２ｃから読み出し、サイクル検出処理を実行する（Ｓ２５）。ここでは制御部１１は、選択された動画を推定対象の動画として学習モデルＭに入力し、学習モデルＭからの出力情報に基づいて、入力した動画からサイクル動画を抽出すると共に、各サイクル動画を区分動画に分割する。なお、制御部１１は、抽出した各サイクル動画を動画フォルダ１２ｃに記憶し、各サイクル動画（動画ファイル）を読み出すためのＵＲＬをそれぞれ生成し、サイクル検出処理の実行日時と、サイクル検出処理の実行を要求してきたユーザ（実行者）の情報と、各サイクル動画のＵＲＬとを対応付けて動画ＤＢ１２ａのサイクル検出列に記憶する。これにより、サーバ１０は、各動画から抽出したサイクル動画の情報を登録することができる。

【0032】

そして制御部１１は、図６Ｃに示すようなサイクル検出処理の結果を表示する検出結果画面を生成し（Ｓ２６）、生成した画面をユーザ端末２０へ送信する（Ｓ２７）。図６Ｃに示す画面は、処理対象の動画を表示する動画表示欄Ｒ１と、この動画から抽出されたサイクル動画の情報を表示する情報表示欄Ｒ２と、処理対象の動画の再生時間に対する各サイクル動画の開始時間及び終了時間を表示する時間表示欄Ｒ３とを有する。情報表示欄Ｒ２には、処理対象の動画の名称（例えばファイル名）として「動画１１」が表示され、この動画から抽出されたサイクル動画の名称としてビデオ１，ビデオ２，…が表示されている。時間表示欄Ｒ３には、処理対象の動画の再生時間を示すインジケータに対して、各サイクル動画の開始時間及び終了情報を示す矩形が表示されている。

【0033】

ユーザ端末２０の制御部２１は、サーバ１０が送信した検出結果画面を受信し、表示部２５に表示する（Ｓ２８）。これにより、図６Ｃに示す画面がユーザ端末２０に表示され、ユーザは、サイクル検出処理を要求した動画に含まれる各サイクル動画を確認できる。

【0034】

次に、本実施形態の情報処理システムにおいて、同じ作業を撮影した複数のサイクル動画を比較して提示する処理について説明する。図７はサイクル動画の比較処理手順の一例を示すフローチャート、図８は画面例を示す説明図である。図７の処理におけるユーザ端末２０のユーザは、作業者本人又は作業者の上司等、サイクル動画によって作業の様子を確認及び分析する担当者である。

【0035】

本実施形態では、例えば図６Ｃに示す検出結果画面から、複数のサイクル動画の比較を行うことができる。よって、制御部２１は、検出結果画面を表示している場合に（Ｓ３１）、ステップＳ３２以降の処理を実行する。図６Ｃの画面では、情報表示欄Ｒ２に、処理対象の動画から抽出された各サイクル動画を選択するためのチェックボックスと、選択された複数のサイクル動画の比較処理の実行を指示するための比較ボタンとが設けられている。制御部２１は、検出結果画面において、入力部２４を介してユーザからサイクル動画の選択を受け付け（Ｓ３２）、比較ボタンが操作されたか否かを判断する（Ｓ３３）。比較ボタンが操作されていないと判断した場合（Ｓ３３：ＮＯ）、制御部２１は、サイクル動画の選択受付を継続し、比較ボタンが操作されたと判断した場合（Ｓ３３：ＹＥＳ）、選択されたサイクル動画の比較をサーバ１０に指示する（Ｓ３４）。なお、制御部２１は、複数のサイクル動画の選択を受け付け、選択されたサイクル動画を示す情報（例えばファイル名、ＵＲＬ等）をサーバ１０へ送信してサイクル動画の比較処理の実行を要求する。図６Ｃの画面では、ビデオ１～ビデオ３のサイクル動画が選択されている。

【0036】

サーバ１０の制御部１１は、比較処理を要求されたサイクル動画を動画フォルダ１２ｃから読み出し（Ｓ３５）、比較対象のサイクル動画を比較するための比較画面を生成する（Ｓ３６）。例えば制御部１１は、図８Ａに示すような比較画面を生成し、生成した比較画面をユーザ端末２０へ送信する（Ｓ３７）。比較画面も、動画表示欄Ｒ１と、情報表示欄Ｒ２と、時間表示欄Ｒ３とを有する。図８Ａの画面の動画表示欄Ｒ１には、選択されたサイクル動画であるビデオ１～ビデオ３のうちのビデオ１及びビデオ２のサイクル動画が表示されている。なお、動画表示欄Ｒ１に表示中のサイクル動画は、ステップＳ３２で選択されたサイクル動画の中から任意のサイクル動画に変更可能に構成されている。具体的には、動画表示欄Ｒ１に、表示中のサイクル動画の切替ボタンＢ１，Ｂ２が設けられており、切替ボタンＢ１，Ｂ２には、選択可能なサイクル動画のいずれかを選択できるプルダウンメニューが設けられている。また、動画表示欄Ｒ１の右側に表示されるサイクル動画には、例えば図６Ｃの情報表示欄Ｒ２に表示された順序でサイクル動画の切替が可能な切替ボタンＢ３が設けられている。この構成により、動画表示欄Ｒ１において、任意の２つのサイクル動画の表示が可能であり、２つのサイクル動画を比較することができる。なお、動画表示欄Ｒ１を、選択された全てのサイクル動画が表示されるように構成してもよい。

【0037】

図８Ａの画面中の情報表示欄Ｒ２は、選択された各サイクル動画について、各区分動画（各動作）の所要時間（区分動画に撮影された動作の開始時間から終了時間までの動作タイム）を積み上げて表示した積み上げグラフＤを表示する。積み上げグラフＤは、各サイクル動画について、下から順番に各区分動画（区間１，区間２…）の所要時間を積算した棒グラフを示す。なお、積み上げグラフＤは、左側から順に、動画表示欄Ｒ１の左側に表示されたサイクル動画の棒グラフ、右側に表示されたサイクル動画の棒グラフ、その他のサイクル動画の棒グラフが表示される。また、各サイクル動画の積み上げグラフＤにおいて、同じ動作（区間）の所要時間は同じ色（表示態様）で表示されてもよく、この場合、各サイクル動画について、各動作の所要時間の長短を容易に把握できる。積み上げグラフＤ中の各区間は、所定の操作（例えばカーソルによる選択）が行われた場合に、対応するサイクル動画の区間の所要時間を表示するように構成されていてもよく、更に所定の操作（例えばマウスの左クリック）が行われた場合に、対応するサイクル動画の区分動画の再生が動画表示欄Ｒ１で開始されるように構成されていてもよい。図８Ａの例では、ビデオ２の区間６が選択されており、選択された区間６の所要時間が表示されている。

【0038】

図８Ａの画面中の時間表示欄Ｒ３は、横軸にサイクル動画の再生時間を示し、動画表示欄Ｒ１に表示中の２つのサイクル動画における各区分動画（各区間）の開始時間及び終了時間を示している。図８Ａの例では、２つのサイクル動画の開始時間を一致させて、各区分動画の開始時間及び終了時間が示されており、２つのサイクル動画の動画表示欄Ｒ１での再生位置を示すマークＣ１が付加されている。本実施形態の比較画面は、動画表示欄Ｒ１に表示される複数のサイクル動画を、各サイクル動画を区分した区分動画（各区間）毎に同期（連動）させて表示（再生）するように構成されている。例えば、図８Ａの例では、ビデオ１の区間１の所要時間が、ビデオ２の区間１の所要時間よりも長いので、２つのサイクル動画が再生された場合、ビデオ２は、区間１の再生を終了した後、ビデオ１の区間１の再生が終了するまで待機し、ビデオ１の区間１の再生が終了した場合に、２つのサイクル動画の区間２の再生が開始される。図８Ｂの時間表示欄Ｒ３は、２つのサイクル動画の区間１の再生が終了した時点の状態を示しており、マークＣ１は、各サイクル動画の区間１の終了時点を指し示して、この後、各サイクル動画の区間２の再生が開始される。

【0039】

また時間表示欄Ｒ３に表示された各区間は、所定の操作（例えばマウスの左クリック）が行われた場合に、操作（選択）された区分動画（区間）の開始時間を一致させて、各区分動画の開始時間及び終了時間を示すように構成されている。図８Ｃの例では、区間４が選択されており、区間４の開始時間を一致させて、２つのサイクル動画の各区間の開始時間及び終了時間が示されている。これにより、選択された区間の所要時間の長短を容易に比較できる。このとき、動画表示欄Ｒ１に、２つのサイクル動画における選択された動作（区間）の区分動画が同期して表示されてもよく、ループ再生（繰り返して再生）されてもよい。これにより、各区間について、２つのサイクル動画における作業者の動作を比較することができる。また、比較画面は、動画表示欄Ｒ１に２つのサイクル動画の表示中に、切替ボタンＢ１～Ｂ３によって比較対象の切替指示が行われた場合、この時点で表示中の区間（動作）と同じ区間から、切替指示された２つのサイクル動画の再生を開始するように構成されている。

【0040】

上述した構成の比較画面では、動画表示欄Ｒ１の切替ボタンＢ１～Ｂ３によって表示対象のサイクル動画が変更された場合、変更後のサイクル動画に基づいて、情報表示欄Ｒ２及び時間表示欄Ｒ３の表示内容も更新される。また、情報表示欄Ｒ２に表示された積み上げグラフＤに示された各サイクル動画の各区間、又は、時間表示欄Ｒ３に表示された各サイクル動画の各区間の再生が指示された場合、当該区間の区分動画が動画表示欄Ｒ１に表示させると共に、動画表示欄Ｒ１の表示内容に基づいて、情報表示欄Ｒ２及び時間表示欄Ｒ３の表示内容も更新される。

【0041】

ユーザ端末２０の制御部２１は、サーバ１０が送信した比較画面を受信し、表示部２５に表示する（Ｓ３８）。これにより、図８Ａに示す画面がユーザ端末２０に表示され、ユーザは、選択した複数のサイクル動画における区分動画（各動作）を比較できる。比較画面の情報表示欄Ｒ２は、積み上げグラフＤが表示されたいずれかのサイクル動画に対して所定の操作（例えばカーソルによる選択）が行われた場合に、図８Ａに示すように「似たサイクルを探す」ボタンが表示されるように構成されている。ユーザは、情報表示欄Ｒ２に積み上げグラフＤが表示されたサイクル動画のうちで、比較対象となる他のサイクル動画（似たサイクル動画）を確認したいサイクル動画がある場合に、当該サイクル動画を選択（指定）して「似たサイクルを探す」ボタンを操作する。「似たサイクルを探す」ボタンが操作された場合、サーバ１０で、選択されたサイクル動画に対して比較対象とすべきサイクル動画の検索を行い、検索結果がユーザ端末２０に提示される。

【0042】

また、比較画面の時間表示欄Ｒ３は、表示中のサイクル動画のいずれかの区間に対して所定の操作（例えばカーソルによる選択）が行われた場合に、図８Ｄに示すように「似た動作を探す」ボタンが表示されるように構成されている。ユーザは、時間表示欄Ｒ３に表示されたサイクル動画の区間のうちで、比較対象となる他のサイクル動画の区間（似た区分動画）を確認したい区間がある場合に、当該区間を選択（指定）して「似た動作を探す」ボタンを操作する。「似た動作を探す」ボタンが操作された場合、サーバ１０で、選択された区間に対して比較対象とすべきサイクル動画の区間の検索を行い、検索結果がユーザ端末２０に提示される。

【0043】

よって、制御部２１は、比較画面の情報表示欄Ｒ２において任意のサイクル動画が選択されて「似たサイクルを探す」ボタンが操作されたか否かを判断し（Ｓ３９）、操作されていないと判断する場合（Ｓ３９：ＮＯ）、時間表示欄Ｒ３において任意のサイクル動画の任意の区間が選択されて「似た動作を探す」ボタンが操作されたか否かを判断する（Ｓ４５）。なお、制御部２１は、「似た動作を探す」ボタンが操作されていないと判断する場合（Ｓ４５：ＮＯ）、ステップＳ３９に戻る。

【0044】

「似たサイクルを探す」ボタンが操作されたと判断した場合（Ｓ３９：ＹＥＳ）、制御部２１は、選択されたサイクル動画に似たサイクル動画の検索をサーバ１０に指示する（Ｓ４０）。例えば制御部２１は、選択されたサイクル動画を示す情報（例えばファイル名、ＵＲＬ等）をサーバ１０へ送信して似たサイクル動画の検索処理の実行を要求する。サーバ１０の制御部１１は、似たサイクル動画の検索を要求されたサイクル動画（以下では基準動画と記載する場合がある）に基づいて、当該基準動画との類似スコア（類似度）が高い他のサイクル動画を検索する（Ｓ４１）。例えば制御部１１は、基準動画と同じ作業の他のサイクル動画から、基準動画とサイクル時間が類似するサイクル動画を検索する。サイクル時間が類似するサイクル動画とは、サイクル時間の差異が所定時間未満であるサイクル動画とすることができる。また制御部１１は、サイクル検出処理において各サイクル動画を抽出した際に、各サイクル動画中の各区分動画について、訓練用のサイクル動画の各区分動画との類似スコアを算出している。よって、制御部１１は、基準動画の各区分動画について算出された類似スコアと、各区分動画について算出された類似スコアとが類似する他のサイクル動画を検索してもよい。更に制御部１１は、基準動画と他のサイクル動画との類似度を算出し、類似度が高いサイクル動画を検索してもよい。類似度は、例えば相関係数、コサイン類似度を用いることができ、また、機械学習によって構築された学習モデルを用いて、２つのサイクル動画の類似度を推定してもよい。例えばＣＮＮで構成され、２つのサイクル動画が入力された場合に、２つのサイクル動画の類似度を出力するように学習された学習モデルを用いることができる。

【0045】

また制御部１１は、基準動画と同じ作業の他のサイクル動画から、注目度が高いサイクル動画を検索する（Ｓ４２）。後述するように各サイクル動画及び各サイクル動画の各区分動画にはコメント及び改善計画等の各種の情報を付加することが可能であり、制御部１１は、他のサイクル動画について、コメントが付加されているか否か、改善計画が付加されているか否か、及び改善計画（改善処理）の実施が完了しているか否か等を判定し、判定結果に基づいて注目度を算出する。コメント等の情報が付加されているサイクル動画の数が多い作業は注目度が高い作業であると考えられる。よって、算出した注目度が所定値以上であるサイクル動画を注目度が高いサイクル動画として検索する。具体的には、制御部１１は、他のサイクル動画について、ＴｏＤｏリストＤＢ１２ｂの記憶内容に基づく判定結果から注目度を算出する。

【0046】

制御部１１は、ステップＳ４１で検索した類似スコアが高い他のサイクル動画と、ステップＳ４２で検索した注目度が高い他のサイクル動画とに基づいて、図８Ａに示すような比較画面を生成し、生成した比較画面をユーザ端末２０へ送信する（Ｓ４３）。ここでは制御部１１は、類似スコアが高い順に所定数のサイクル動画を抽出し、注目度が高い順に所定数のサイクル動画を抽出し、抽出したサイクル動画を表示する比較画面を生成する。なお、ここでの比較画面は、動画表示欄Ｒ１の左側に基準動画が表示され、右側に、検索した他のサイクル動画の１つ（以下では比較動画と記載する）が表示され、情報表示欄Ｒ２には左から順に、基準動画、比較動画、その他のサイクル動画の積み上げグラフＤが表示され、時間表示欄Ｒ３には基準動画及び比較動画の各区分動画（区間）の開始時間及び終了時間を示すインジケータが表示される。比較画面に表示される他のサイクル動画は、類似スコアが高いサイクル動画及び注目度が高いサイクル動画のほかに、類似スコアが高いサイクル動画のうちで、注目度が高いサイクル動画であってもよい。なお、制御部１１は、比較画面をユーザ端末２０へ送信した場合に、比較画面中の基準動画の動画ＵＲＬ（サイクル動画ＵＲＬ）に対応付けて、この時点の日時と、サイクル動画の比較を要求してきたユーザ（実行者）の情報と、比較画面で提示した他のサイクル動画の情報とを動画ＤＢ１２ａの比較分析列に記憶する。これにより、サーバ１０は、ユーザが選択したサイクル動画の比較対象として提示した各サイクル動画の情報を収集することができる。

【0047】

ユーザ端末２０の制御部２１は、サーバ１０が送信した比較画面を受信し、表示部２５に表示する（Ｓ４４）。これにより、ユーザは、似たサイクル動画の検索を要求した基準動画について、比較すべき他のサイクル動画の情報を確認することができる。制御部１１は、ステップＳ４４の処理後、ステップＳ４５に移行し、「似た動作を探す」ボタンが操作されたと判断した場合（Ｓ４５：ＹＥＳ）、選択された区分動画に似た区分動画（動作）の検索をサーバ１０に指示する（Ｓ４６）。例えば制御部２１は、選択された区分動画を示す情報（例えばファイル名、ＵＲＬ等）をサーバ１０へ送信して似た動作の検索処理の実行を要求する。サーバ１０の制御部１１は、似た動作（区分動画）の検索を要求された区分動画（以下では基準区分動画と記載する場合がある）に基づいて、当該基準区分動画との類似スコア（類似度）が高い他のサイクル動画の区分動画を検索する（Ｓ４７）。例えば制御部１１は、他のサイクル動画において、基準区分動画と同じ動作の区分動画から、基準区分動画と動作時間が類似する区分動画を検索する。動作時間が類似する区分動画とは、動作時間の差異が所定時間未満である区分動画とすることができる。また制御部１１は、サイクル検出処理において各サイクル動画中の各区分動画について、訓練用のサイクル動画の各区分動画との類似スコアを算出している。よって、制御部１１は、基準区分動画について算出された類似スコアと類似する類似スコアが算出された他のサイクル動画の区分動画を検索してもよい。更に制御部１１は、基準区分動画と他のサイクル動画の区分動画との類似度を算出し、類似度が高い区分動画を検索してもよい。ここでも類似度は、例えば相関係数、コサイン類似度を用いることができ、また、機械学習によって構築された学習モデルを用いて、２つの区分動画の類似度を推定してもよい。

【0048】

また制御部１１は、基準区分動画と同じ動作の他のサイクル動画の区分動画から、注目度が高い区分動画を検索する（Ｓ４８）。ここでも制御部１１は、他のサイクル動画の区分動画について、コメントが付加されているか否か、改善計画が付加されているか否か、及び改善計画の実施が完了しているか否か等の判定結果から注目度を算出する。コメント等の情報が付加されている区分動画の数が多い動作は注目度が高い動作であると考えられるので、算出した注目度が所定値以上である区分動画を注目度が高い区分動画として検索する。制御部１１は、ステップＳ４７で検索した類似スコアが高い他のサイクル動画の区分動画と、ステップＳ４８で検索した注目度が高い他のサイクル動画の区分動画とに基づいて、比較画面を生成し、生成した比較画面をユーザ端末２０へ送信する（Ｓ４９）。ここでは制御部１１は、類似スコアが高い順に所定数の区分動画を抽出し、注目度が高い順に所定数の区分動画を抽出し、抽出した区分動画を含むサイクル動画を表示する比較画面を生成する。ここでも制御部１１は、比較画面中の基準区分動画を含むサイクル動画の動画ＵＲＬ（サイクル動画ＵＲＬ）に対応付けて、この時点の日時と、区分動画の比較を要求してきたユーザ（実行者）の情報と、比較画面で提示した他のサイクル動画の情報とを動画ＤＢ１２ａの比較分析列に記憶する。これにより、サーバ１０は、ユーザが選択した区分動画の比較対象として提示した各区分動画の情報を収集することができる。

【0049】

ここでの比較画面は、動画表示欄Ｒ１の左側に基準区分動画を含むサイクル動画が表示され、右側に、検索した他の区分動画を含むサイクル動画の１つ（比較動画）が表示される。また、情報表示欄Ｒ２には左から順に、基準区分動画を含むサイクル動画、比較動画、その他のサイクル動画の積み上げグラフＤが表示され、時間表示欄Ｒ３には基準区分動画を含むサイクル動画及び比較動画の各区分動画（区間）の開始時間及び終了時間を示すインジケータが表示される。比較画面に表示される他のサイクル動画は、類似スコアが高い区分動画を含むサイクル動画及び注目度が高い区分動画を含むサイクル動画のほかに、類似スコアが高い区分動画のうちで、注目度が高い区分動画を含むサイクル動画であってもよい。

【0050】

ユーザ端末２０の制御部２１は、サーバ１０が送信した比較画面を受信し、表示部２５に表示する（Ｓ５０）。これにより、ユーザは、似た動作の検索を要求した基準区分動画について、同じ動作の区分動画であって、比較すべき他のサイクル動画の区分動画の情報を確認することができる。上述した処理により、任意のサイクル動画に対して、類似スコアが高い他のサイクル動画及び注目度の高い他のサイクル動画を抽出することができ、各区分動画を同期させて提示することができる。また、任意のサイクル動画の区分動画に対して、類似スコアが高い区分動画及び注目度が高い区分動画を含むサイクル動画を抽出することができ、区分動画を同期させて提示することができる。よって、ユーザは、複数のサイクル動画及び複数の区分動画によって、各作業者の作業及び作業に含まれる動作を比較することができる。

【0051】

次に、本実施形態の情報処理システムにおいて、任意のサイクル動画又は区分動画に対して、コメントを追加する処理及びＴｏＤｏリストに登録する処理について説明する。図９はコメントの追加処理手順の一例を示すフローチャート、図１０～図１３は画面例を示す説明図である。図９の処理におけるユーザ端末２０のユーザは、作業者本人又は作業者の上司等、サイクル動画によって作業の様子を分析し、コメント等を登録する担当者である。

【0052】

本実施形態では、例えば図６Ｃに示す検出結果画面から、表示中のサイクル動画に対してコメントを追加（付加）することができ、図８Ａに示す比較画面から、表示中のサイクル動画の区分動画に対してコメントを追加することができる。よって、制御部２１は、検出結果画面又は比較画面等の画面を表示している場合に（Ｓ６１）、ステップＳ６２以降の処理を実行する。検出結果画面は、図１０Ａに示すように、時間表示欄Ｒ３に表示されたいずれかのサイクル動画に対して所定の操作（例えばカーソルによる選択）が行われた場合に、「コメントを追加する」ボタンが表示されるように構成されている。ユーザは、検出結果画面の時間表示欄Ｒ３に表示されたサイクル動画のうちで、コメントを追加したいサイクル動画がある場合、当該サイクル動画を選択して「コメントを追加する」ボタンを操作する。また、比較画面は、図１０Ｂに示すように、時間表示欄Ｒ３に表示されたサイクル動画のいずれかの区間（区分動画）に対して所定の操作（例えばカーソルによる選択）が行われた場合に、「コメントを追加する」ボタンが表示されるように構成されている。ユーザは、比較画面の時間表示欄Ｒ３に表示されたサイクル動画の区分動画うちで、コメントを追加したい区分動画がある場合、当該区分動画を選択して「コメントを追加する」ボタンを操作する。

【0053】

よって、制御部２１は、検出結果画面において任意のサイクル動画が選択されて「コメントを追加する」ボタンが操作されたか否か、又は、比較画面において任意の区分動画が選択されて「コメントを追加する」ボタンが操作されたか否かを判断する（Ｓ６２）。制御部２１は、「コメントを追加する」ボタンが操作されていないと判断する場合（Ｓ６２：ＮＯ）、操作されるまで待機し、操作されたと判断した場合（Ｓ６２：ＹＥＳ）、図１０Ｃに示すようなコメント入力画面を表示部２５に表示する（Ｓ６３）。図１０Ｃの画面は、図１０Ａの画面を介してビデオ２のサイクル動画にコメントを追加する指示が行われた場合の画面であり、コメントの入力欄と、保存ボタン及びキャンセルボタンとを有する。

【0054】

制御部２１は、コメント入力画面において、コメントの入力を受け付け（Ｓ６４）、入力されたコメントを入力欄に表示し、保存ボタンが操作されたか否かを判断する（Ｓ６５）。保存ボタンが操作されていないと判断する場合（Ｓ６５：ＮＯ）、制御部２１は、コメントの入力受付を継続する。保存ボタンが操作されたと判断した場合（Ｓ６５：ＹＥＳ）、制御部２１は、入力されたコメントの保存をサーバ１０に指示する（Ｓ６６）。なお、制御部２１は、コメントの追加対象に選択されたサイクル動画又は区分動画を示す情報（例えばファイル名、ＵＲＬ等）と、コメント及びコメントの入力者の情報とをサーバ１０へ送信してコメントの保存を要求する。

【0055】

サーバ１０の制御部１１は、ユーザ端末２０からサイクル動画又は区分動画のＵＲＬを取得した場合、取得したＵＲＬ（動画ＵＲＬ）と、コメントの入力者の情報と、コメントとを対応付けてＴｏＤｏリストＤＢ１２ｂに記憶する（Ｓ６７）。なお、制御部１１は、サイクル動画又は区分動画のファイル名等の識別情報を取得した場合、取得した識別情報から、当該サイクル動画又は区分動画のＵＲＬを特定し、特定したＵＲＬをＴｏＤｏリストＤＢ１２ｂに記憶する。制御部１１は、ＴｏＤｏリストＤＢ１２ｂに記憶されたコメントを一覧表示したコメント一覧画面を生成してユーザ端末２０へ送信する（Ｓ６８）。

【0056】

ユーザ端末２０の制御部２１は、サーバ１０が送信したコメント一覧画面を取得して表示部２５に表示する（Ｓ６９）。図１１Ａはコメント一覧画面例を示し、図１１Ａの画面は、ＴｏＤｏリストＤＢ１２ｂに記憶されたコメントと、各コメントが付加されたサイクル動画及び区分動画の情報とを表示し、各コメント（それぞれのサイクル動画及び区分動画）に対応付けて、当該サイクル動画及び区分動画をＴｏＤｏリストに追加する指示を行うための「ＴｏＤｏリストに追加」ボタンが設けられている。制御部２１は、コメント一覧画面において、いずれかのコメントに対応する「ＴｏＤｏリストに追加」ボタンが操作されたか否かを判断しており（Ｓ７０）、操作されていないと判断する場合（Ｓ７０：ＮＯ）、操作されるまで待機し、操作されたと判断した場合（Ｓ７０：ＹＥＳ）、ＴｏＤｏリスト画面をサーバ１０に要求する（Ｓ７１）。

【0057】

サーバ１０の制御部１１は、ＴｏＤｏリスト画面を要求された場合、ＴｏＤｏリストＤＢ１２ｂの記憶内容に基づいて、図１２Ａに示すようなＴｏＤｏリスト画面を生成してユーザ端末２０へ送信する（Ｓ７２）。ユーザ端末２０の制御部２１は、サーバ１０が送信したＴｏＤｏリスト画面を取得して表示部２５に表示する（Ｓ７３）。図１２Ａの画面は、図１０Ａ～図１０Ｃの画面を介して入力されたコメント及び入力者の情報と、選択されたサイクル動画又は区分動画の情報として動画ＵＲＬ及び動画データとを表示する。また、ＴｏＤｏリスト画面は、ＴｏＤｏリストＤＢ１２ｂに各動画に対するＴｏＤｏデータが記憶されている場合、ＴｏＤｏデータとして、改善計画に関するコメント、改善計画の実施状況を示すステータス、改善計画の実施後に撮影された動画のＵＲＬ（改善後動画ＵＲＬ）、改善計画の実施により改善された内容等を表示する。改善計画に関するコメントには、改善計画の入力者の情報、改善計画を実施する担当者の情報及び改善計画の納期等が含まれていてもよい。ＴｏＤｏリスト画面は、コメント及び改善計画以外の項目の追加が可能であり、例えば表示中の項目名（コメント、動画ＵＲＬ等）に対して所定の操作（例えばマウスの右クリック）が行われた場合に、項目名の追加を指示するための入力画面が表示され、任意の項目名の項目を追加できるように構成されている。

【0058】

図１２Ａに示すＴｏＤｏリスト画面は、表示された各項目の情報の編集が可能であり、任意の項目の表示欄に対して所定の操作（例えばマウスのダブルクリック）が行われた場合に編集可能となるように構成されている。図１２Ａでは、「使った工具は所定位置に置きましょう」のコメントに対する改善計画の表示欄に対して所定の操作が行われており、この表示欄が編集可能となっている（カーソルが表示されている）。また、図１２Ａでは、ステータスの項目に対する編集が要求されており、この場合、図１２Ｂに示すようにステータスの編集画面が表示される。よって、ステータスの編集画面を介してステータスの編集が行われてＯＫボタンが操作されると、ＴｏＤｏリスト画面中のステータスの情報が変更される。

【0059】

制御部２１は、ＴｏＤｏリスト画面において、表示中の各項目の情報（ＴｏＤｏデータ）に対する編集を受け付け（Ｓ７４）、編集後の情報を入力欄に表示し、更新ボタンが操作されたか否かを判断する（Ｓ７５）。更新ボタンが操作されていないと判断する場合（Ｓ７５：ＮＯ）、制御部２１は、ＴｏＤｏデータに対する編集の受付を継続する。更新ボタンが操作されたと判断した場合（Ｓ７５：ＹＥＳ）、制御部２１は、編集後の各情報（編集後のＴｏＤｏデータ）の保存をサーバ１０に指示する（Ｓ７６）。なお、制御部２１は、ＴｏＤｏリスト画面に表示された各情報をサーバ１０へ送信してＴｏＤｏデータの保存を要求する。

【0060】

サーバ１０の制御部１１は、ユーザ端末２０から取得したＴｏＤｏデータを、サイクル動画又は区分動画のＵＲＬに対応付けてＴｏＤｏリストＤＢ１２ｂに記憶する（Ｓ７７）。上述した処理により、任意のサイクル動画又は区分動画にコメントを紐付けて記憶することができ、コメント以外にも、改善計画に関する情報、残しておきたい情報、他のユーザと共有すべき情報等、サイクル動画又は区分動画に関する情報（データ）を紐付けて記憶することができる。上述した処理によりサイクル動画又は区分動画に関する情報（コメント等）がＴｏＤｏリストＤＢ１２ｂに記憶された場合、例えば図１１Ｂに示すように比較画面において、サイクル動画又は区分動画に紐付けられた情報を表示することができる。図１１Ｂの例では、情報表示欄Ｒ２に表示された積み上げグラフＤを介してビデオ２のサイクル動画の区間４が選択されており、この区間（区分動画）に対して付加されたコメントが表示されている。これにより、複数の動画を比較分析している際に、各サイクル動画及び各区分動画に付加されたコメント等を確認することができ、改善方針の検討の際に参照することができる。

【0061】

図１１Ｂの画面において、動画に付加されたコメントの表示欄に「ＴｏＤｏリストを確認」ボタンが表示されており、「ＴｏＤｏリストを確認」ボタンが操作された場合、制御部２１は、サーバ１０に対してＴｏＤｏリスト画面を要求し、図１２Ａに示すようなＴｏＤｏリスト画面をサーバ１０から取得して表示することができる。これにより、比較画面から、サイクル動画又は区分動画に付加された各種の情報（ＴｏＤｏデータ）を確認することができる。

【0062】

またＴｏＤｏリスト画面は、各項目について自然言語で記述された情報の翻訳が可能であり、図１３Ａに示すように任意の項目に対して所定の操作（例えばマウスの右クリック）が行われた場合、翻訳メニューが表示され、翻訳したい言語の選択ボタンが表示される。任意の言語の選択ボタンが操作された場合、選択された項目の情報が、選択された言語に翻訳される。図１３Ａにおいてコメントの項目に対して英語への翻訳が要求された場合、制御部２１は、図１３Ｂに示すようにコメントの英訳文を追加して表示する。このような構成により、複数の国に工場（作業スペース）を有する会社において、各工場で登録されたコメント等の情報を、他の国の担当者が把握でき、複数の国の担当者間で各情報を共有することができる。

【0063】

上述したように本実施形態では、サーバ１０に動画をアップロードする処理、アップロードした動画をサイクル動画に分割するサイクル検出処理、分割されたサイクル動画又は区分動画を比較する比較分析処理、サイクル動画又は区分動画にコメントを付加する処理、サイクル動画又は区分動画で撮影された作業又は動作の改善計画の実施状況をＴｏＤｏリストＤＢ１２ｂに登録する処理等、複数種類の処理の実行が可能である。また、動画ＤＢ１２ａ及びＴｏＤｏリストＤＢ１２ｂに各情報が記憶されることにより、各処理の実行状況がサイクル動画又は区分動画に紐付けられている。本実施形態の情報処理システムを導入する工場及び会社では、当該システムの利用状況、各工場内又は各作業者において改善計画の実施状況等をモニタしたいという要望がある。よって、本実施形態の情報処理システムでは、工場（部門、作業スペース）毎又は担当者毎に、上述した各処理の実行状況（実行回数）を提示する機能を有する。

【0064】

次に、本実施形態の情報処理システムにおいて、当該システムの利用状況及び改善計画の実施状況をモニタする処理について説明する。図１４はモニタ処理手順の一例を示すフローチャート、図１５は画面例を示す説明図である。図１４の処理におけるユーザ端末２０のユーザは、作業者の上司、工場の責任者、各工場を監督する本社の担当者等、各工場内又は各作業者における当該システムの利用状況及び改善計画の実施状況をモニタする担当者である。

【0065】

ユーザ端末２０の制御部２１は、入力部２４を介した所定の操作によってモニタ機能の実行が指示された場合、図１５Ａに示すようなモニタ画面を表示する（Ｓ８１）。図１５Ａの画面は、モニタ対象の期間、工場等の所属、作業者等の担当者の入力欄を有し、各入力欄には、選択可能な期間、所属、担当者を選択できるプルダウンメニューが設けられている。なお、モニタ対象の期間としては１週間単位、１カ月単位、１年単位等での選択が可能であり、所属としては１又は複数の所属あるいは全部の選択が可能であり、担当者としては１又は複数の担当者あるいは全員の選択が可能である。また図１５Ａの画面は、モニタ対象として、サーバ１０にアップロードされた動画数（アップロード動画数）、サイクル検出処理が行われた動画数（サイクル検出動画数）、比較分析されたサイクル動画又は区分動画の数（比較分析動画数）、ＴｏＤｏリストＤＢ１２ｂに登録されたサイクル動画又は区分動画の数（ＴｏＤｏリストの動画数）、改善計画の実施が完了したサイクル動画又は区分動画の数（改善完了の動画数）、改善後の動画がＴｏＤｏリストＤＢ１２ｂに登録済みの動画数（改善後動画の登録数）を選択するためのチェックボックスを有する。

【0066】

制御部２１は、モニタ画面において、入力部２４を介してモニタ対象の入力を受け付け（Ｓ８２）、ＯＫボタンが操作されたか否かを判断し（Ｓ８３）、操作されていないと判断した場合（Ｓ８３：ＮＯ）、モニタ対象の入力受付を継続する。ＯＫボタンが操作されたと判断した場合（Ｓ８３：ＹＥＳ）、制御部２１は、入力されたモニタ対象をサーバ１０へ送信し（Ｓ８４）、送信したモニタ対象に対するモニタを要求する。サーバ１０の制御部１１は、ユーザ端末２０から要求されたモニタ対象について、動画ＤＢ１２ａ及びＴｏＤｏリストＤＢ１２ｂの記憶内容に基づいてモニタ結果を計数する（Ｓ８５）。例えばモニタ対象にアップロード動画数が含まれる場合、制御部１１は、動画ＤＢ１２ａの記憶内容に基づいて、モニタ対象の期間、所属及び担当者に対応する動画の数を計数する。また、モニタ対象にサイクル検出動画数が含まれる場合、制御部１１は、動画ＤＢ１２ａのサイクル検出列の記憶内容に基づいて、モニタ対象の期間、所属及び担当者に対応するサイクル動画の数を計数する。

【0067】

制御部１１は、計数したモニタ結果をユーザ端末２０へ送信し（Ｓ８６）、ユーザ端末２０の制御部２１は、サーバ１０から取得したモニタ結果をモニタ画面に表示する（Ｓ８７）。これにより、図１５Ｂに示すようなモニタ画面がユーザ端末２０の表示部２５に表示される。図１５Ｂの画面では、アップロード動画数、サイクル検出動画数、比較分析動画数、ＴｏＤｏリストの動画数、改善完了の動画数がモニタ対象として選択されており、それぞれの動画数を棒グラフで表したモニタ結果が表示されている。これにより、本実施形態の情報処理システムの利用状況、ＴｏＤｏリストに改善計画が登録されている動画に対する改善計画の実施状況を、工場（作業スペース）毎に又は担当者毎にモニタすることができる。よって、本実施形態の情報処理システムの利用促進、改善計画の実施促進等を行うことが可能となる。

【0068】

本実施形態では、カメラで撮影された動画がサーバ１０にアップロードされてサーバ１０で各種の処理が行われる構成であるが、この構成に限定されない。例えばサーバ１０及びユーザ端末２０が行う処理を１つの装置で実行する構成としてもよい。このような構成においても、本実施形態の上述した処理の実行が可能であり、同様の効果が得られる。

【0069】

（実施形態２）
本実施形態では、比較画面において、時間表示欄Ｒ３に表示中のサイクル動画における各区間（区分動画）が、閲覧すべき他のサイクル動画がある（又は多い）場合に強調表示される情報処理システムについて説明する。このような構成により、比較画面において、他のサイクル動画との比較分析を行う際に、閲覧すべき他のサイクル動画を容易に選択できる。本実施形態の情報処理システムは、図２に示す実施形態１の情報処理システムの各装置１０，２０と同様の装置で実現可能であるので、各装置１０，２０の構成についての説明は省略する。

【0070】

図１６は実施形態２の比較処理手順の一例を示すフローチャート、図１７は画面例を示す説明図である。図１６に示す処理は、図７に示す処理において、ステップＳ３６，Ｓ３７の間にステップＳ９１～Ｓ９４を追加し、ステップＳ３９～Ｓ４８の代わりにステップＳ９５～Ｓ９７を追加したものである。図７と同じステップについては説明を省略する。

【0071】

本実施形態の情報処理システムにおいて、サーバ１０の制御部１１は、ステップＳ３６の処理後、比較画面の時間表示欄Ｒ３に表示されるサイクル動画の各区分動画について、同じ作業の他のサイクル動画における同じ動作の区分動画との類似スコア（類似度）を算出する（Ｓ９１）。そして制御部１１は、算出した類似スコアに基づいて、表示中の各区分動画との類似スコアが高い他のサイクル動画の区分動画を検索する（Ｓ９２）。例えば制御部１１は、動作時間が類似する区分動画、又は、サイクル検出処理で算出された訓練用のサイクル動画の区分動画との類似スコアが類似する区分動画、表示中のサイクル動画の区分動画との類似スコアが高い区分動画等を検索する。

【0072】

また制御部１１は、表示中のサイクル動画と同じ作業の他のサイクル動画の区分動画から、注目度が高い区分動画を検索する（Ｓ９３）。ここでは制御部１１は、他のサイクル動画の区分動画について、コメントが付加されているか否か、改善計画が付加されているか否か、及び改善計画の実施が完了しているか否か等の判定結果から注目度を算出し、注目度が高い区分動画を検索する。そして制御部１１は、表示中の各区分動画について、類似スコアが高い他のサイクル動画の区分動画の数と、注目度が高い区分動画の数とに基づいて、強調表示すべき区分動画を特定し、特定した区分動画を強調表示する（Ｓ９４）。例えば制御部１１は、類似スコアが高い区分動画の数、又は、注目度が高い区分動画の数、あるいは両方の区分動画の合計が所定数以上である場合に、強調表示すべき区分動画であると特定する。図１７Ａの画面では、時間表示欄Ｒ３に表示中の区分動画において、ハッチングが付けられて強調表示されている。なお、所定のマークを付けることによって強調表示されてもよい。その後、制御部１１は、一部の区分動画が強調表示された比較画面をユーザ端末２０へ送信し（Ｓ３７）、ユーザ端末２０の制御部２１は、比較画面を表示部２５に表示する（Ｓ３８）。

【0073】

本実施形態の比較画面は、図１７Ａに示すように、時間表示欄Ｒ３に強調表示された区間（区分動画）に対して所定の操作（例えばカーソルによる選択）が行われた場合に、「もっと速い動画があります」のメッセージと共に「見る」ボタンを表示するように構成されている。よって、制御部２１は、比較画面において、「見る」ボタンが操作されたか否かを判断しており（Ｓ９５）、操作されたと判断した場合（Ｓ９５：ＹＥＳ）、比較すべき他の動画をサーバ１０に要求する（Ｓ９６）。サーバ１０の制御部１１は、他の動画を要求された場合、ステップＳ９２で検索した類似スコアが高い区分動画を含むサイクル動画、及び、ステップＳ９３で検索した注目度が高い区分動画を含むサイクル動画を動画フォルダ１２ｃから読み出す（Ｓ９７）。そして制御部１１は、読み出したサイクル動画を表示した比較画面を生成してユーザ端末２０へ送信する（Ｓ４９）。ユーザ端末２０の制御部２１は、サーバ１０から比較画像を取得し、図１７Ｂに示すような比較画像を表示する（Ｓ５０）。ここでの比較画面では、基準動画としてビデオ２のサイクル動画が表示され、比較動画としてビデオ１１のサイクル動画が表示されている。なお、ビデオ１１～１４のサイクル動画が、ステップＳ９２～Ｓ９３で検索された区分動画を含むサイクル動画である。

【0074】

上述した処理により、本実施形態では、比較画面の時間表示欄Ｒ３に表示されたサイクル動画の各区分動画について、比較分析すべき他の動画がある場合に強調表示される。よって、ユーザは、比較分析すべき動画を容易に選択できる。また、選択された動画に対して、注目度が高い他の動画が提示されるので、他の動画に付与されたコメント等の情報を閲覧することにより、改善計画の検討を効率よく行うことが可能となる。本実施形態の構成は、実施形態１の情報処理システムに適用可能であり、実施形態１の情報処理システムに適用した場合であっても同様の効果が得られる。また本実施形態においても、上述した実施形態１で適宜説明した変形例の適用が可能である。

【0075】

（実施形態３）
上述した実施形態１～２は、同じ作業を撮影したサイクル動画について、サイクル動画間の比較、及びサイクル動画に含まれる区分動画間の比較を行う構成である。本実施形態では、異なる作業を撮影したサイクル動画に基づいて、異なる作業間の比較を行う情報処理システムについて説明する。本実施形態の情報処理システムは、図２に示す実施形態１の情報処理システムの各装置１０，２０と同様の装置で実現可能であるので、各装置１０，２０の構成についての説明は省略する。

【0076】

製造業では、複数種類の作業が時系列に行われることによって１つの製品が完成する。その際に複数人の作業者がそれぞれ各作業を担当するライン生産方式が採用される場合があり、ライン生産方式では、作業の繰り返しによって作業者のスキルが向上するので、効率よく高品質の製品の製造が可能である。またライン生産方式では、各作業を同じ時間で完了することが要求され、１人でも作業が遅い場合、この作業がボトルネックとなり全体の生産性が低下する。よって、本実施形態では、異なる作業間の比較を行うことにより、ボトルネックとなる作業の特定が可能となる。

【0077】

図１８は異なる作業間の比較処理手順の一例を示すフローチャート、図１９は画面例を示す説明図である。図１８の処理におけるユーザ端末２０のユーザは、工場の責任者、各工場を監督する本社の担当者等、時系列に行われる各作業の状況を分析する担当者である。

【0078】

本実施形態の情報処理システムにおいて、ユーザ端末２０の制御部２１は、入力部２４を介した所定の操作によって作業間比較の実行が指示された場合、図１９Ａに示すような作業間比較画面を表示部２５に表示する（Ｓ１０１）。図１９Ａの画面は、比較対象の期間及び工場等の所属の入力欄を有し、各入力欄には、選択可能な期間、所属を選択できるプルダウンメニューが設けられている。なお、比較対象の期間としては１週間単位、１カ月単位、１年単位等での選択が可能であり、所属としては同じ製品を製造している１又は複数の所属（工場等）あるいは全部の選択が可能である。また図１９Ａの画面は、比較対象として、選択された所属（工場又は作業スペース）で実施されている各作業工程（作業）を選択するためのチェックボックスを有する。

【0079】

制御部２１は、作業間比較画面において、入力部２４を介して比較対象の入力を受け付け（Ｓ１０２）、ＯＫボタンが操作されたか否かを判断し（Ｓ１０３）、操作されていないと判断した場合（Ｓ１０３：ＮＯ）、比較対象の入力受付を継続する。ＯＫボタンが操作されたと判断した場合（Ｓ１０３：ＹＥＳ）、制御部２１は、入力された比較対象をサーバ１０へ送信し（Ｓ１０４）、送信した比較対象に対する比較処理の実行を要求する。サーバ１０の制御部１１は、ユーザ端末２０から要求された比較処理について、比較対象に適合するサイクル動画を抽出する（Ｓ１０５）。例えば制御部１１は、動画ＤＢ１２ａに記憶された撮影場所及び撮影対象の情報に基づいて、比較対象に適合する所属（場所、作業スペース）及び作業工程のサイクル動画を特定し、特定したサイクル動画を抽出する。

【0080】

制御部１１は、抽出した各作業工程のサイクル動画に基づいて、各作業工程の所要時間（作業時間、サイクル時間）を算出（計測）し、算出した作業時間に基づいて、各作業工程について、作業時間の最小値、第１四分位数、中央値、第３四分位数、最大値（作業時間のばらつきを示す数値）を算出する（Ｓ１０６）。そして制御部１１は、算出した各値に基づいて、各作業工程の作業時間のばらつきを示す箱ひげ図（図表）を生成して比較結果画面を生成する（Ｓ１０７）。例えば制御部１１は、図１９Ｂに示すような箱ひげ図を表示する比較結果画面を生成する。図１９Ｂに示す箱ひげ図は、横軸の各位置に各作業工程が対応付けられ、縦軸は各作業工程の作業時間を示し、作業時間の最小値、第１四分位数、中央値、第３四分位数、最大値をそれぞれ示す箱及びひげによって作業時間のばらつきを表現する。なお、図１９Ｂに示すように、各作業工程の箱ひげ図において、各作業工程に対して予め設定された標準時間を破線で示し、各作業工程の作業時間の平均値を黒丸でプロットしてもよい。

【0081】

制御部１１は、生成した比較結果画面をユーザ端末２０へ送信し（Ｓ１０８）、ユーザ端末２０の制御部２１は、サーバ１０から取得した比較結果画面を表示部２５に表示する（Ｓ１０９）。これにより、図１９Ｂに示すような比較結果画面がユーザ端末２０に表示される。図１９Ｂの画面では、第１工程～第３工程が比較対象として選択され、それぞれの作業時間のばらつきを示す箱ひげ図が表示されている。これにより、１つの製品の完成に必要な各作業工程における作業時間を比較することができると共に、各作業時間のばらつきを把握できる。

【0082】

図１９Ｂの画面は、箱ひげ図内の各点に、各点に対応する作業時間のサイクル動画が紐付けられており、箱ひげ図内の任意の点に対して所定の操作（例えばマウスの左クリック）を行うことにより、図１９Ｃに示すように、選択されたサイクル動画の再生が行われるように構成されている。図１９Ｃの画面は、図８Ａの比較画面と同様の構成を有し、選択されたサイクル動画が動画表示欄Ｒ１に表示され、選択されたサイクル動画の積み上げグラフＤが情報表示欄Ｒ２に表示され、選択されたサイクル動画の各区分動画（区間）の開始時間及び終了時間が時間表示欄Ｒ３に表示される。図１９Ｃの画面においても、図８Ａ及び図８Ｄの画面と同様に、表示中のサイクル動画に似た他のサイクル動画の検索が可能であり、表示中の区分動画に似た他の区分動画の検索が可能である。よって、工場の責任者、各工場を監督する本社の担当者等は、図１９Ｂの画面を介して、各作業について作業時間のばらつきを確認し、その後、例えば作業時間が長い（遅い）作業について、図１９Ｃ及び図８Ａ等の画面を介して、同じ作業の他のサイクル動画（他の作業者）との比較を行うことにより、各作業の効率化を図るための改善策の検討を行うことができる。

【0083】

上述した処理により、本実施形態では、異なる作業を撮影したサイクル動画に基づいて、異なる作業間で作業時間（サイクル時間）の比較を行うことができ、一連の作業工程におけるボトルネックの特定に利用できる。本実施形態の構成は、実施形態１～２の情報処理システムに適用可能であり、実施形態１～２の情報処理システムに適用した場合であっても同様の効果が得られる。また本実施形態においても、上述した実施形態１～で適宜説明した変形例の適用が可能である。

【0084】

上述した実施形態１～３は、作業を行う作業者を撮影した動画が処理対象であるが、処理対象は作業者に限定されない。例えば、所定の作業を行うように構成されたロボットを撮影した動画に基づいて、当該ロボットが行う作業及び作業に含まれる動作について、他のロボット又は作業者との比較を行う構成としてもよい。

【0085】

上述した実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。

【0086】

今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0087】

１０ サーバ
１１ 制御部
１２ 記憶部
１３ 通信部
２０ ユーザ端末
２１ 制御部
２２ 記憶部
２３ 通信部
Ｍ 学習モデル
１２ａ 動画ＤＢ
１２ｂ ＴｏＤｏリストＤＢ

【要約】

【課題】複数の動画で撮影された作業の様子を、動画中の各動作の区分動画を同期させて提示することが可能なプログラム等を提供する。
【解決手段】コンピュータは、対象が作業中の作業スペースを撮影した動画を、前記作業に含まれる動作毎に区分する。また、コンピュータは、対象が同じ作業を行う異なる作業スペースを撮影した動画、又は、前記同じ作業に係る物品の配置状態が異なる作業スペースを撮影した動画を含む複数の動画をそれぞれ動作毎に区分した区分動画に基づいて、前記複数の動画中の各動作の区分動画を同期させて出力する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】