特開 2024-176815 情報処理システム、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176815

(43)【公開日】2024-12-19

(54)【発明の名称】情報処理システム、情報処理方法およびプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241212BHJP

   G06V 10/774 20220101ALI20241212BHJP

   G06Q 50/04 20120101ALI20241212BHJP

   G06T 7/20 20170101ALI20241212BHJP

【ＦＩ】

G06N20/00 130

G06V10/774

G06Q50/04

G06T7/20 300Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023095630

(22)【出願日】2023-06-09

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100110607

【弁理士】

【氏名又は名称】間山 進也

(72)【発明者】

【氏名】勝又 基至

【テーマコード（参考）】

5L049

5L050

5L096

【Ｆターム（参考）】

5L049CC03

5L050CC03

5L096BA08

5L096CA25

5L096DA01

5L096FA09

5L096HA02

5L096JA11

5L096KA04

(57)【要約】

【課題】 学習モデルを機械学習する手間と時間を削減できるシステム、方法及びプログラムを提供する。
【解決手段】 システムは、一以上の作業工程を含む一連の作業を撮影した撮影データを取得するデータ取得手段と、作業工程に含まれる各作業を識別する作業識別情報を登録する登録手段と、各作業の時間区間を表す撮影データの開始位置及び終了位置と作業識別情報とを紐付けた紐付情報を生成する紐付手段と、各作業工程で実施する各作業の作業識別情報を受け付ける受付手段と、各作業工程に対する学習データを生成するデータ生成手段とを有し、データ生成手段は、作業識別情報と紐付情報とに基づき、作業識別情報で識別される各作業の開始位置及び終了位置を取得し、撮影データから、開始位置及び終了位置に対応する部分の撮影データを取得し、取得した撮影データに基づいて作業工程毎の学習モデルの機械学習に使用する学習データを生成する。
【選択図】 図５

【特許請求の範囲】

【請求項1】

学習モデルの機械学習を行う情報処理システムであって、
一以上の作業工程を含む一連の作業を撮影した撮影データを取得するデータ取得手段と、
前記作業工程に含まれる各作業を識別するための作業識別情報を登録する登録手段と、
前記撮影データを用いて、前記各作業の時間区間を表す撮影データの開始位置及び終了位置と前記作業識別情報とを紐付けた紐付情報を生成する紐付手段と、
前記各作業工程で実施する前記各作業の作業識別情報を受け付ける受付手段と、
前記各作業工程に対する学習データを生成するデータ生成手段と、
を有し、
前記データ生成手段は、
前記受付手段で受け付けた前記作業識別情報と前記紐付手段により生成された前記紐付情報とに基づき、前記受付手段で受け付けた前記作業識別情報で識別される前記各作業の時間区間を表す撮影データの開始位置及び終了位置を取得し、
前記データ取得手段から取得した前記撮影データから、前記受付手段で受け付けた前記作業識別情報で識別される前記各作業の時間区間を表す撮影データの開始位置及び終了位置に対応する部分の撮影データを取得し、
取得した該撮影データに基づいて前記作業工程毎の学習モデルの機械学習に使用する学習データを生成する、情報処理システム。

【請求項2】

前記各作業の時間区間を表す撮影データの開始位置及び終了位置は、前記撮影データとしての動画を構成する複数のフレームのうちの該各作業の開始フレームおよび終了フレームである、請求項１に記載の情報処理システム。

【請求項3】

前記データ生成手段は、前記各フレーム内の作業者の骨格情報を検出し、前記紐付手段により生成された前記紐付情報を用い、前記各作業に対する１以上の骨格情報に、対応する作業識別情報を付与し、前記作業工程毎の学習データを生成する、請求項２に記載の情報処理システム。

【請求項4】

前記受付手段は、定義済みの作業一覧を表示し、前記各作業工程で実施すべき作業の作業識別情報の選択を受け付ける、請求項１に記載の情報処理システム。

【請求項5】

前記作業工程に対応するモデル識別情報が紐付けられた前記学習モデルを取得するモデル取得手段と、前記データ生成手段により生成された前記作業工程の学習データを使用して、前記モデル取得手段により取得された前記学習モデルの機械学習を行う学習手段を含む、請求項１に記載の情報処理システム。

【請求項6】

複数の前記モデル識別情報のうちのどのモデル識別情報の学習モデルを、どの時期に使用するかを定義したスケジュール情報を取得する情報取得手段を含み、
前記モデル取得手段は、前記情報取得手段により取得された前記スケジュール情報に基づき、対応する前記モデル識別情報が紐付けられた前記学習モデルを取得する、請求項５に記載の情報処理システム。

【請求項7】

情報処理システムにより学習モデルの機械学習を行う方法であって、
一以上の作業工程を含む一連の作業を撮影した撮影データを取得する第１の取得ステップと、
前記作業工程に含まれる各作業を識別するための作業識別情報を登録するステップと、
前記撮影データを用いて、前記各作業の時間区間を表す撮影データの開始位置及び終了位置と前記作業識別情報とを紐付けた紐付情報を生成する第１の生成ステップと、
前記各作業工程で実施する前記各作業の作業識別情報を受け付けるステップと、
前記受け付けるステップで受け付けた前記作業識別情報と前記第１の生成ステップで生成された前記紐付情報とに基づき、前記受け付けるステップで受け付けた前記作業識別情報で識別される前記各作業の時間区間を表す撮影データの開始位置及び終了位置を取得する第２の取得ステップと、
前記第１の取得ステップで取得された前記撮影データから、前記受け付けるステップで受け付けた前記作業識別情報で識別される前記各作業の時間区間を表す撮影データの開始位置及び終了位置に対応する部分の撮影データを取得する第３の取得ステップと、
前記第３の取得ステップで取得された前記撮影データに基づいて前記作業工程毎の学習モデルの機械学習に使用する学習データを生成する第２の生成ステップと、
を含む、情報処理方法。

【請求項8】

学習モデルの機械学習をコンピュータに実行させるためのプログラムであって、
一以上の作業工程を含む一連の作業を撮影した撮影データを取得する第１の取得ステップと、
前記作業工程に含まれる各作業を識別するための作業識別情報を登録するステップと、
前記撮影データを用いて、前記各作業の時間区間を表す撮影データの開始位置及び終了位置と前記作業識別情報とを紐付けた紐付情報を生成する第１の生成ステップと、
前記各作業工程で実施する前記各作業の作業識別情報を受け付けるステップと、
前記受け付けるステップで受け付けた前記作業識別情報と前記第１の生成ステップで生成された前記紐付情報とに基づき、前記受け付けるステップで受け付けた前記作業識別情報で識別される前記各作業の時間区間を表す撮影データの開始位置及び終了位置を取得する第２の取得ステップと、
前記第１の取得ステップで取得された前記撮影データから、前記受け付けるステップで受け付けた前記作業識別情報で識別される前記各作業の時間区間を表す撮影データの開始位置及び終了位置に対応する部分の撮影データを取得する第３の取得ステップと、
前記第３の取得ステップで取得された前記撮影データに基づいて前記作業工程毎の学習モデルの機械学習に使用する学習データを生成する第２の生成ステップと、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習モデルの機械学習を行う情報処理システム、情報処理方法および該学習モデルの機械学習をコンピュータに実行させるためのプログラムに関する。

【背景技術】

【0002】

学習モデルの機械学習には、学習データが使用され、学習データは、対象のデータに、その対象を識別するための情報（ラベル）を付与するアノテーションと呼ばれる作業を行うことにより作成される。

【0003】

アノテーションにより学習データを作成する技術として、時系列に連続的に配列されたセンサデータに対して、時間区間で分割し、各時間区間にラベルを付与する技術が知られている（例えば、特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0004】

工場等において製品を組み立てる際の作業手順の確認に、学習モデルが用いられている。このような学習モデルの機械学習には、ユーザが、複数の作業工程で構成された一連の作業を撮影し、撮影した撮影データからアノテーションを行う必要がある。

【0005】

しかしながら、従来の技術では、各作業工程で行う作業が変更された場合に、変更前に一度作成されている撮影データ及びアノテーションされたデータを再度利用することができなかった。そのため、作業の変更後の学習モデルの機械学習には、変更後の一連の作業を撮影し直す必要があった。さらに、ユーザは、各作業工程で行う作業が変更されるたびに、撮影し直した撮影データからアノテーションを行うことを繰り返し行わなければならなかった。これでは、学習モデルの機械学習を行うのに手間と時間がかかるという問題があった。

【0006】

そこで、学習モデルの機械学習を行う手間と時間を削減することが可能なシステム、方法およびプログラムの提供が望まれている。

【課題を解決するための手段】

【0007】

本発明は、上記課題に鑑み、学習モデルの機械学習を行う情報処理システムであって、
一以上の作業工程を含む一連の作業を撮影した撮影データを取得するデータ取得手段と、
作業工程に含まれる各作業を識別するための作業識別情報を登録する登録手段と、
撮影データを用いて、各作業の時間区間を表す撮影データの開始位置及び終了位置と作業識別情報とを紐付けた紐付情報を生成する紐付手段と、
各作業工程で実施する各作業の作業識別情報を受け付ける受付手段と、
各作業工程に対する学習データを生成するデータ生成手段と、
を有し、
データ生成手段は、
受付手段で受け付けた作業識別情報と紐付手段により生成された紐付情報とに基づき、受付手段で受け付けた作業識別情報で識別される各作業の時間区間を表す撮影データの開始位置及び終了位置を取得し、
データ取得手段から取得した撮影データから、受付手段で受け付けた作業識別情報で識別される各作業の時間区間を表す撮影データの開始位置及び終了位置に対応する部分の撮影データを取得し、
取得した撮影データに基づいて作業工程毎の学習モデルの機械学習に使用する学習データを生成する、情報処理システムが提供される。

【発明の効果】

【0008】

本発明によれば、学習モデルの機械学習を行う手間と時間を削減することが可能となる。

【図面の簡単な説明】

【0009】

【図1】アノテーションされたデータの一例を示した図。

【図2】各工程と作業の割当の一例を示した図。

【図3】各工程内の作業を検知するための学習モデルの機械学習に使用する学習データを作成する方法について説明する図。

【図4】本実施形態に係る情報処理システムの一例として情報処理装置のハードウェア構成を示した図。

【図5】情報処理装置の機能構成の一例を示したブロック図。

【図6】ラベル記憶部に記憶されるラベルの一例を示した図。

【図7】作業定義記憶部に記憶される作業定義情報の一例を示した図。

【図8】学習データ記憶部に記憶される学習データの一例を示した図。

【図9】組立作業を撮影した動画、ラベル、作業定義情報、紐付情報を登録する処理の流れを示したシーケンス図。

【図10】学習データを生成し、学習モデルの機械学習を行う処理の流れを示したシーケンス図。

【図11】既に学習データが生成されている状態で、工程変更により学習モデルの機械学習を行う処理の流れを示したシーケンス図。

【図12】作業定義情報を作成する方法の一例を示した図。

【図13】各工程をグループ分けした例を示した図。

【図14】計画表（スケジュール）に基づき、利用するグループを割当てた例を示した図。

【図15】新規ラベルの登録および登録済みラベルの削除や編集を行う画面の一例を示した図。

【図16】工程の追加、削除、および作業の追加、削除を行う画面の一例を示した図。

【図17】各作業の時間区間を表す動画の開始位置および終了位置とラベルとを紐付ける紐付情報を登録する画面の一例を示した図。

【発明を実施するための形態】

【0010】

本発明の情報処理システム、情報処理方法およびプログラムは、一連の作業を撮影したデータから作業者がどのような作業を行ったかを推論する学習モデルの機械学習を行うシステム、方法およびプログラムである。

【0011】

一連の作業は、連続的に実施される複数の個別の作業から構成され、一以上の作業工程（以下、単に工程と略す。）を含む。一連の作業としては、例えばライン生産を行う工場における同一の機械の組立作業が挙げられる。組立作業は、組立後の検査を含めてもよい。工程は、組立作業の粒度を表し、１人の作業者が組立作業の全ての作業を行う場合は１工程となり、２人以上の作業者によって分担して組立作業を行う場合は２以上の工程となる。以下、一連の作業を工場における組立作業として説明するが、一連の作業は、工場における組立作業に限定されるものではない。

【0012】

組立作業を撮影した撮影データは、例えば、映像データ（動画）である。動画は、時間的に連続して撮影される複数の静止画像から構成される。動画を構成する静止画像は、フレームと呼ばれる。組立作業は、例えば、部品を取る、部品を取り付ける、ネジを取る、ドライバーを取る、ネジで部品を固定する等の個別の複数の作業を含む。

【0013】

動画から作業を推論する学習モデルは、正しい手順通りに組立てを行ったかどうかの監視や、各作業にかかる時間を計測することで、改善のインプットとすることを目的とした機械学習によるソリューションを提供することを可能にする。

【0014】

学習モデルは、作業を検知する精度を向上させるために、学習データを使用して機械学習（トレーニング）が行われる。学習モデルは、アルゴリズム、パラメータを含み、トレーニングによりパラメータが調整される。機械学習には、教師あり学習、教師なし学習、強化学習があるが、作業を推論する学習モデルでは、どんな作業であるかという正解が何であるかを予測する必要があるため、教師あり学習が採用される。

【0015】

教師データは、例題と、それに対応する正解とがペアとなっている形式のデータである。教師あり学習では、例題のデータを入力すると、正解のデータが出力されるように、学習モデルに対してトレーニングを行う。これにより、例題と同じカテゴリの未知のデータに対し、正解と予想されるデータを導き出し、出力することが可能となる。

【0016】

このような学習データを作成するには、例題のデータに対し、正解のデータを付与する作業が必要となる。動画から作業を推論する学習モデルに使用する学習データでは、動画内で行っている作業ごとに、各作業の開始から終了までの時間区間を判断し、その時間区間の動画を例題のデータとして作成する。そして、その例題のデータに対し、その作業が何の作業であるかを識別するための情報（ラベル）を正解のデータとして付与することにより、学習データを作成する。このラベルを付与する作業がアノテーションである。

【0017】

学習モデルをトレーニングするには、学習データとして、複数回分の動画と、その動画の各時間区間に対し、アノテーションを行う必要がある。

【0018】

図１は、アノテーションされたデータの一例を示した図である。動画は、撮影開始からのフレーム数を、各フレームを識別するためのフレーム識別情報（フレームＩＤ）として用いて、各作業の時間区間を表す動画の開始位置および終了位置が識別される。各作業の時間区間を表す動画の開始位置および終了位置は、その作業の時間区間を表す動画の開始位置として開始フレーム(frame_start)ＩＤと終了位置として終了フレーム(frame_end)ＩＤとにより識別される。各作業の時間区間を表す動画の開始フレームＩＤおよび終了フレームＩＤには、各作業を識別するための作業識別情報としてラベル(action)が付与される。一方、作業者が作業を行っていない時間区間に対しては、作業なしを表す「None」が付与される。

【0019】

図１に示す例では、動画は、フレーム数が１２４２個ほどあり、１５の時間区間に識別されている。フレーム０からフレーム３４４までの時間区間は、作業を行っていない時間区間であり、ラベルとして「None」が付与されている。一方、フレーム３４５からフレーム３８６までの時間区間は、部品Ａを取る作業を行っており、ラベルとして「部品Ａを取る」が付与されている。

【0020】

ところで、ライン生産を行う工場では、同一の機械を組み立てる場合であっても、生産台数の増減により、作業者を増減して対応するため、一人当たりの作業量が変更されることが一般的である。このような生産台数の増減は、年に数回程度、定期的に実施されることが多い。

【0021】

図２は、各工程と作業の割当の一例を示した図である。図２（ａ）は、生産台数が少ない場合の一人当たりの作業量を示した図で、図２（ｂ）は、生産台数が多い場合の一人当たりの作業量を示した図である。組立作業のうち、作業者が一人で行う作業の範囲を１つの工程とする。図２（ａ）に示す例では、３つの工程があり、１つの工程につき、４つの作業を行うものとされている。一方、図２（ｂ）に示す例では、４つの工程があり、１つの工程につき、３つの作業を行うものとされている。

【0022】

図２（ａ）に示す例では、一人で行う作業の数が４つで、作業数が多いため、一人当たりの作業時間がかかり、生産台数が少ない。一方、図２（ｂ）に示す例では、一人で行う作業の数が３つで、作業数が少ないため、一人当たりの作業時間が短縮することができるため、生産台数を増やすことができる。

【0023】

図３は、各工程内の作業を検知するための学習モデルの機械学習に使用する学習データを作成する方法について説明する図である。学習モデルは、各作業者が行う作業を推論する学習モデルである。このため、図２（ａ）に示した例から図２（ｂ）に示した例へと、またはその反対に、工程変更が行われると、各作業者が行う作業の範囲が変わるため、工程変更が行われるたびに、各工程で撮影を行い、アノテーションを行い、トレーニングを行わなければならない。

【0024】

図３に示す例では、新規工程導入時に、一人当たり４つの作業を行うものとされていたが、生産台数を増やすため、工程変更により、一人当たり３つの作業とし、作業者を一人増員している。

【0025】

学習データの作成にあたって、各作業を撮影した撮影データ（動画）を取得する。動画は、例えば１０サイクル分、すなわち１０回分の組立作業を撮影した撮影データとされる。ここでは、１０サイクル分としているが、１０サイクル分に限定されるものではなく、９サイクル以下であってもよいし、１１サイクル以上であってもよい。

【0026】

動画は、各作業を撮影した動画と何も作業していない動画を含み、それらの動画が、開始フレームＩＤと終了フレームＩＤとを用いて識別される。各作業者が行う作業は、工程内で実施する作業として、作業定義により定義される。学習データは、作業定義により定義された工程内の各作業を撮影した動画とラベルを紐付けることにより作成される。

【0027】

新規工程導入時には、各工程における各作業を撮影し、アノテーションを行う必要がある。

【0028】

学習モデルは、アノテーションされたデータを用いてトレーニングされる。学習モデルのトレーニングは、工程変更が行われるたびに、各工程における各作業を撮影し、アノテーションを行うのでは、手間や時間がかかる。これでは、ソリューションを導入することによる効果に対して、投資が大きくなってしまう。

【0029】

図３を参照すると、工程変更される際は、既に新規工程導入時に撮影された撮影データが存在し、各作業を識別するためのラベルも作成されており、各作業の動画とラベルの紐付けも完了している。新規工程導入時と、工程変更時とでは、作業定義のみが異なるだけである。したがって、工程変更時は、作業定義のみを作成すれば、手間や時間をかけることなく、学習データを作成し、その学習データを用いて学習モデルのトレーニングを行うことができる。

【0030】

このような手間や時間をかけることなく、学習モデルのトレーニングを行うことができるシステム、方法、プログラムについて、以下に詳細に説明する。

【0031】

図４は、学習モデルの機械学習を行うシステムの一例として、情報処理装置のハードウェア構成を例示した図である。本実施形態に係る情報処理システムは、学習モデルの機械学習を行うことができるシステムであれば、いかなるシステムであってもよく、情報処理装置に限定されるものではない。

【0032】

情報処理装置１０は、一般的なコンピュータであり、例えば、ノートＰＣ(Personal Computer)、デスクトップＰＣ、タブレットＰＣ、ウェアラブルＰＣ、スマートフォン、ＰＤＡ(Personal Digital Assistant)、ＭＦＰ(Multi-Function Peripheral)等の画像形成装置、ＰＪ(Projector:プロジェクタ)、ＩＷＢ(Interactive White Board:相互通信が可能な電子式の黒板機能を有する白板)等を用いることができる。以下、情報処理装置１０をＰＣ（サーバ）として、そのハードウェア構成について簡単に説明する。

【0033】

情報処理装置１０は、ハードウェアとして、ＣＰＵ(Central Processing Unit)２０、ＲＯＭ(Read Only Memory)２１、ＲＡＭ(Random Access Memory)２２、ＨＤ(Hard Disk)２３、ＨＤＤ(Hard Disk Drive)コントローラ２４を備える。また、情報処理装置１０は、ディスプレイ２５、外部機器接続Ｉ／Ｆ(Interface)２６、ネットワークＩ／Ｆ２７、バスライン２８、キーボード２９、ポインティングデバイス３０、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ３１、メディアＩ／Ｆ３２を備える。

【0034】

ＣＰＵ２０は、情報処理装置１０全体の動作を制御する。ＲＯＭ２１は、ＩＰＬ(Initial Program Loader)等のＣＰＵ２０の駆動に用いられるプログラムを記憶する。ＲＡＭ２２は、ＣＰＵ２０に対して作業領域を提供する。ＨＤ２３は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２４は、ＣＰＵ２０の制御に従ってＨＤ２３に対する各種データの読み出し、または書き込みを制御する。

【0035】

ディスプレイ２５は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。外部機器接続Ｉ／Ｆ２６は、各種の外部機器を接続するためのインタフェースである。外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ２７は、ネットワークを介して通信を行うためのインタフェースである。バスライン２８は、ＣＰＵ２０等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0036】

キーボード２９は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス３０は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。ＤＶＤ－ＲＷドライブ３１は、着脱可能な記録媒体の一例としてＤＶＤ－ＲＷ３３に対する各種データの読み出し、または書き込みを制御する。なお、記録媒体は、ＤＶＤ－ＲＷ３３に限らず、ＤＶＤ－Ｒ、ＣＤ－ＲＷ、ＣＤ－Ｒ等であってもよい。メディアＩ／Ｆ３２は、フラッシュメモリ等の記録メディア３４に対するデータの読み出し、または書き込みを制御する。

【0037】

図５は、情報処理装置１０の機能構成の一例を示したブロック図である。情報処理装置１０は、上記の学習モデルの機械学習を行うために複数の機能を有し、各機能は、一または複数の処理回路によって実施することが可能である。処理回路は、電子回路により実施されるＣＰＵ等のソフトウェアによって各機能を実行するようにプログラミングされたプロセッサや、各機能を実行するように設計されたＡＳＩＣ(Application Specific Integrated Circuit)、ＤＳＰ(Digital Signal Processor)、ＦＰＧＡ(Field Programmable Gate Array)や従来の回路モジュール等のデバイスを含む。

【0038】

情報処理装置１０は、アノテーションツール４０を備える。アノテーションツール４０は、動画登録部４１、ラベル登録部４２、作業定義部４３、紐付部４４を含んで構成される。情報処理装置１０は、アノテーションツール４０のほか、動画記憶部４５、ラベル記憶部４６、作業定義記憶部４７、紐付情報記憶部４８を備える。

【0039】

動画登録部４１は、データ取得手段として機能し、組立作業を撮影した撮影データ（動画）を、撮像装置等から取得し、動画記憶部４５に保存し、管理する。動画には、動画を識別するためのファイル名等が紐付けられる。ラベル登録部４２は、登録手段として機能し、組立作業を検知したい個別の作業の粒度に分割し、各作業を識別するための作業識別情報をラベルとして登録する。ラベル登録部４２は、作業名称等をラベルとして、ラベル記憶部４６に保存し、管理する。

【0040】

作業定義部４３は、受付手段として機能し、ライン生産の各工程で、どの作業を行うかを定義する作業定義情報を受け付け、登録する。作業は、ラベル記憶部４６に保存されるラベルにより識別される作業である。作業定義部４３は、作業定義情報を作業定義記憶部４７に保存し、管理する。

【0041】

紐付部４４は、紐付手段として機能し、動画記憶部４５に記憶されている動画に対し、何フレーム目から何フレーム目までが何の作業を行っていたかという各作業の時間区間を表す動画の開始位置及び終了位置とラベルとの紐付けを行う。紐付部４４は、各作業の時間区間を表す動画の開始位置及び終了位置とラベルとを紐付けた紐付情報を生成し、紐付情報記憶部４８に保存し、管理する。各作業の時間区間を表す動画の開始位置及び終了位置は、例えば各作業を撮影した動画の開始フレームＩＤおよび終了フレームＩＤであり、紐付情報は、開始フレームＩＤおよび終了フレームＩＤにラベルを紐付けた情報となる。紐付情報には、動画のファイル名等も紐付けられる。

【0042】

ラベル記憶部４６は、ラベルの一覧を保存する。作業定義記憶部４７は、工程毎の作業定義情報を保存する。紐付情報記憶部４８は、紐付情報を保存する。

【0043】

情報処理装置１０は、学習データ生成部４９、学習データ記憶部５０、トレーニング部５１、学習モデル記憶部５２、スケジュール設定部５３、設定記憶部５４をさらに備える。

【0044】

学習データ生成部４９は、データ生成手段として機能し、作業定義部４３が受け付けた作業定義情報と、紐付部４４により生成され、紐付情報記憶部４８に記憶された紐付情報とに基づき、各工程で実施する各作業のラベルに紐付いた各作業の時間区間を表す動画の開始フレームＩＤおよび終了フレームＩＤを取得する。なお、学習データ生成部４９は、紐付情報取得手段としての機能を有し、紐付情報記憶部４８から紐付情報を取得することもできる。学習データ生成部４９は、動画登録部４１により保存された動画から、取得した各作業の時間区間を表す動画の開始フレームＩＤおよび終了フレームＩＤに対応する部分の動画を取得する。そして、学習データ生成部４９は、取得した動画に基づいて工程毎の学習モデルの機械学習に使用する学習データを生成する。

【0045】

学習データ生成部４９は、学習データを生成する際、取得した動画に対してフレーム毎に、作業者の姿勢に着目して何の作業を行っているかを検知するべく、姿勢を推定するために必要とされる関節等の特徴点を含む骨格情報を検出する。

【0046】

学習データ生成部４９は、検出した骨格情報を１セットとし、その１セットにラベルを付与して、１つの作業に対する学習データを生成する。このようにして、学習データ生成部４９は、各工程内の各作業に対する学習データを生成し、工程毎の学習モデルのトレーニングに使用する学習データを生成する。学習データ生成部４９は、生成した学習データを、学習データ記憶部５０に保存する。

【0047】

トレーニング部５１は、判断手段、モデル取得手段、学習手段として機能し、トレーニング対象の工程の作業定義情報を参照し、その工程では何のラベルの学習データが必要であるかを判断する。トレーニング部５１は、学習データ記憶部５０からトレーニング対象の学習データを取得し、トレーニング対象の工程の学習モデルのトレーニングを行う。

【0048】

トレーニング済みの学習モデル（学習済み学習モデル）は、入力されたデータから何の作業を行っているかを予測し、予測した結果を出力することを可能にする。

【0049】

トレーニング部５１は、学習済みの学習モデルを、学習モデル記憶部５２に保存し、管理する。トレーニング部５１は、トレーニング対象の工程の学習モデルを、学習モデル記憶部５２から取得する。

【0050】

スケジュール設定部５３は、工場の生産計画と、その計画と紐付いた利用する学習モデルの設定を行う。すなわち、スケジュール設定部５３は、どの学習モデルを、どの時期に使用するかを定義したスケジュール情報の設定を行い、そのスケジュール情報を、設定記憶部５４に保存し、管理する。

【0051】

トレーニング部５１は、情報取得手段としても機能し、設定記憶部５４に保存されたスケジュール情報を取得する。そして、トレーニング部５１は、スケジュール情報に基づき、学習モデル記憶部５２から対応する学習モデルを取得する。

【0052】

図５に示す情報処理装置１０では、動画記憶部４５、ラベル記憶部４６、作業定義記憶部４７、紐付情報記憶部４８、学習データ記憶部５０、学習モデル記憶部５２、設定記憶部５４を備えているが、これに限られるものではない。動画等は、情報処理装置１０以外のサーバ等の他の機器に保存され、必要に応じて各取得手段が取得するように構成されていてもよい。また、動画等の全ての情報を、他の機器に保存するのではなく、一部の情報を情報処理装置１０内の１以上の記憶部に保存し、他の情報を他の機器に保存し、他の機器に保存した情報を１以上の取得手段が取得するように構成されていてもよい。

【0053】

また、図５に示す例では、トレーニング部５１が、判断手段、モデル取得手段、学習手段、情報取得手段として、複数の機能を有するように構成されているが、学習手段としての機能のみを備え、別途、判断手段、モデル取得手段及び情報取得手段を、判断部、モデル取得部、情報取得部として備えた構成としてもよい。

【0054】

図６は、ラベル記憶部４６に記憶されたラベルの一例を示した図である。ラベルは、作業名称等とされ、「部品Ａを取る」、「部品Ａを取り付ける」、「部品Ｂを取る」、「部品Ｂを取り付ける」等である。ラベルは、各工程の作業のリストとして保存される。なお、ラベルは、作業を識別するために固有（ユニーク）である必要がある。

【0055】

図７は、作業定義記憶部４７に記憶された作業定義情報の一例を示した図である。作業定義情報は、工程毎に、何の作業を行うかを定義した情報で、ラベルによって作業が定義される。図７に示す例では、工程１において７つのラベルにより７つの作業が定義されている。工程２では、６つのラベルにより６つの作業が定義されている。

【0056】

図８は、学習データ記憶部５０に記憶された学習データの一例を示した図である。ラベル「部品Ａを取る」は、撮影したデータの３４５フレームから３８６フレームまでに対応し、紐付情報に基づき、３４５フレームから３８６フレームまでのセットに対し、ラベル「部品Ａを取る」を付与し、学習データが生成される。

【0057】

同様にして、ラベル「部品Ａを取り付ける」は、撮影したデータの４１５フレームから４５５フレームまでに対応し、紐付情報に基づき、４１５フレームから４５５フレームまでのセットに対し、ラベル「部品Ａを取り付ける」を付与し、学習データが生成される。

【0058】

各作業の時間区間を表す動画の開始フレームＩＤおよび終了フレームＩＤは、同じラベルが付与される最も小さいフレームＩＤおよび最も大きいフレームＩＤである３４５および３８６や、４１５および４５５をそれぞれ１つのセットとし、各ラベルに対し、１つの学習データを生成してもよいが、２以上の学習データを生成してもよい。

【0059】

図８に示す例は、各ラベルに対し、学習データを２以上生成する例を示したもので、１つの学習データにつき、対象フレームの前３フレームと後ろ６フレームからなる全１０フレームで生成している。図８に示す例では、学習データ内のフレームには、対象ラベルに属するフレームが７フレーム以上含まれているという条件としている。なお、図８に示した学習データは一例であり、図８に示した構成に限定されるものではない。したがって、上記の条件は、対象ラベルに属するフレームが全１０フレーム中、８フレーム以上含まれているという条件や、９フレーム以上含まれているという条件等であってもよい。また、全１５フレームや全２０フレーム中、対象ラベルに属するフレーム数が８０％以上を占める等の条件であってもよい。

【0060】

図９は、組立作業を撮影した動画、ラベル、作業定義情報、紐付情報を登録する処理の流れを示したシーケンス図である。ユーザ６０は、組立作業を撮影した動画を登録するためにＵＩ(User interface)を表示させ(S1)、ＵＩを利用して動画の登録を指示する(S2)。ユーザ６０は、登録する動画を指定し、登録ボタンを押下する等して、その登録を指示する。ユーザ６０は、ファイル名を入力し、ファイル名を紐付けて動画を登録するように指示することができる。なお、ファイル名は、動画の撮影場所や日時等の情報を用いて自動生成されるように構成されていてもよい。動画登録部４１は、ユーザ６０からの指示を受けて、動画記憶部４５に動画を登録し、保存する(S3)。動画の登録は、撮影した動画分だけ繰り返される。

【0061】

ユーザ６０は、ラベルを登録するためにＵＩを表示させ(S4)、登録済みラベルのリストの取得を指示する。ラベル登録部４２は、ユーザ６０からの指示を受けて、登録済みラベルのリストを取得する(S5)。

【0062】

ユーザ６０は、ＵＩを利用して文字等を入力することによりラベルを作成する(S6)。対象の工程で行う作業の種類分だけ、ラベルの作成を繰り返す。ユーザ６０は、ラベルの作成後、登録ボタンを押下する等して、その登録を指示する(S7)。ラベル登録部４２は、ユーザ６０からの指示を受けて、ラベル記憶部４６にラベルを登録し、保存する(S8)。

【0063】

ユーザ６０は、作業定義情報を登録するためにＵＩを表示させる(S9)。作業定義部４３は、作業定義記憶部４７から定義済みの作業一覧として登録済み作業定義情報のリストを取得する(S10)。また、作業定義部４３は、ラベル記憶部４６から登録済みラベルのリストを取得する(S11)。作業定義部４３は、取得した登録済み作業定義情報のリストおよび登録済みラベルのリストをＵＩに表示させる。

【0064】

ユーザ６０は、新規に対象工程の作業定義情報を作成する(S12)。ユーザ６０は、作業定義情報に作業の割当、すなわちラベルの割当を行う(S13)。これにより、作業定義部４３は、各工程で実施すべき作業の選択を受け付ける。作業の割当は、対象の工程で行う作業の種類分繰り返す。そして、ユーザ６０は、ＵＩを利用して、作業定義部４３に対し、作業定義情報の登録を指示する(S14)。作業定義部４３は、ユーザ６０からの指示を受けて、作業定義記憶部４７に作業定義情報を登録し、保存する(S15)。

【0065】

ユーザ６０は、作業の時間区間を表す動画の開始フレームＩＤおよび終了フレームＩＤとラベルとの紐付けを行うためにＵＩを表示させる(S16)。紐付部４４は、動画記憶部４５から登録済み動画のリストを取得する(S17)。また、紐付部４４は、ラベル記憶部４６から登録済みラベルのリストを取得する(S18)。紐付部４４は、取得した登録済み動画のリストと登録済みラベルのリストをＵＩに表示させる。ユーザ６０は、ＵＩを利用して、紐付けを行う動画を選択する(S19)。紐付部４４は、ユーザ６０の選択を受けて、選択された動画のプレビューを行う。

【0066】

ユーザ６０は、ラベルを指定するためにＵＩを表示させ、ＵＩを利用して、付与するラベルを設定する(S20)。ユーザ６０は、ＵＩを利用して、ラベルに対応する動画の開始位置を決定する(S21)。動画の開始位置を示すフレームのフレームＩＤは、開始フレームＩＤとして指定される。ユーザ６０は、ＵＩを利用して、ラベルに対応する動画の終了位置を決定する(S22)。動画の終了位置を示すフレームのフレームＩＤは、終了フレームＩＤとして指定される。

【0067】

動画の全フレームに対してラベルの割り当てが終了すると、ユーザ６０は、ラベルと動画の開始位置（開始フレームＩＤ）および終了位置（終了フレームＩＤ）とを紐付ける紐付情報の登録を、紐付部４４に対して指示する(S23)。紐付部４４は、ユーザ６０からの指示を受けて、紐付情報記憶部４８に紐付情報を登録し、保存する(S24)。

【0068】

以上の作業は、アノテーションであり、新規工程導入時には必ず１回は実施される。

【0069】

図１０は、学習データを生成し、学習モデルのトレーニングを行う処理の流れを示したシーケンス図である。ユーザ６０は、学習データ生成部４９に対し、学習データの生成を指示する(S1)。このとき、ユーザ６０は、対象の動画を、当該動画のファイル名等を入力や選択する等して指定する。学習データ生成部４９は、動画記憶部４５から対象の動画を取得する(S2)。また、学習データ生成部４９は、紐付情報記憶部４８から、その動画のフレームでどんな作業が行われていたかを示す紐付情報を取得する(S3)。

【0070】

学習データ生成部４９は、取得した動画を再生し、各フレームに対して骨格の推論を行い、骨格情報を取得する(S4)。学習データ生成部４９は、紐付情報記憶部４８から紐付情報を取得し、同じ作業を表す数フレームを抽出し、抽出した数フレームの骨格情報をセットにし、それに対応するラベルを付与することにより、学習データを生成する(S5)。抽出する数フレームは、上記のように全１０フレームのうち７フレーム以上が対象フレームであるという条件が設定されている場合、対象の作業を表す骨格情報が含まれるフレーム数が７つ以上になるようにフレームが抽出される。学習データ生成部４９は、学習データ記憶部５０に学習データを登録し、保存する(S6)。

【0071】

ユーザ６０は、ＵＩを利用して、トレーニング部５１に対し、学習モデルのトレーニングの開始を指示する(S7)。ユーザ６０は、トレーニングする学習モデルを指示する際、学習モデルに対応する工程を指定する。トレーニング部５１は、ユーザ６０からの指示を受けて、指定された工程に基づき、作業定義記憶部４７から対象の工程の作業定義情報の取得を要求する(S8)。トレーニング部５１は、取得した作業定義情報に割り当てられたラベルのリストを取り出す(S9)。トレーニング部５１は、取り出したラベルのリストに基づき、学習データ記憶部５０から対象の学習データを取得する(S10)。すなわち、トレーニング部５１は、指定された工程に対する学習データを取得する。

【0072】

トレーニング部５１は、学習データ記憶部５０から取得した学習データを用い、学習モデルをトレーニングする(S11)。トレーニング部５１は、トレーニング後、学習モデル記憶部５２にトレーニング済みの学習モデルを登録し、保存する(S12)。

【0073】

図１１は、既に学習データが作成されている状態で、工程変更により学習モデルの機械学習を行う処理の流れを示したシーケンス図である。既に学習データが生成されている場合、既にアノテーションが実施済みとなっている。すなわち、作業ごとにラベルが付与され、学習データが生成されているため、新しい工程で何の作業を行うかを定義する作業定義情報を作成し、保存するのみで、学習モデルのトレーニングを行うことが可能である。

【0074】

ユーザ６０は、作業を指定するためのＵＩを表示させ、対象の工程の作業定義情報を作成する(S1)。ユーザ６０は、作業定義情報に作業を割り当てる(S2)。作業の割当は、対象の工程で行う作業の種類分繰り返される。ユーザ６０は、作業定義部４３に対し、作業定義情報の登録を指示する(S3)。作業定義部４３は、ユーザ６０からの指示を受けて、作業定義記憶部４７に作業定義情報を登録し、保存する(S4)。

【0075】

ユーザ６０は、ＵＩを利用して、トレーニング部５１に対し、学習モデルのトレーニングを指示する(S5)。ユーザ６０は、トレーニングする学習モデルを指示する際、学習モデルに対応する工程を指定する。トレーニング部５１は、ユーザ６０からの指示を受けて、指定された工程に基づき、作業定義記憶部４７から対象の工程の作業定義情報を取得する(S6)。トレーニング部５１は、取得した作業定義情報に割り当てられたラベルのリストを取り出し、取り出したラベルのリストに基づき、学習データ記憶部５０から対象の学習データを取得する(S7)。

【0076】

トレーニング部５１は、学習データ記憶部５０から取得した学習データを用い、学習モデルをトレーニングする(S8)。トレーニング部５１は、トレーニング後、学習モデル記憶部５２にトレーニング済みの学習モデルを登録し、保存する(S9)。

【0077】

このように既にアノテーションが行われ、学習データが生成されている状態で、工程変更のみが行われる場合、作業定義情報の作成および保存だけ行えばよいので、組立作業の撮影、ラベルの登録、紐付け等の作業が不要になり、学習モデルを作成する手間や時間を削減することができる。

【0078】

図１２は、作業定義情報を作成する方法の一例を示した図である。既にアノテーションが行われ、学習データが生成されている状態で、工程変更のみが行われる場合でも、作業定義情報は作成する必要がある。

【0079】

作業定義情報は、各工程に含まれる作業を定義するべく、例えば、テーブルで管理される。テーブル７０には、工程を追加するためのボタン７１が設けられる。テーブル７０には、工程を削減するためのボタンも設けられていてもよい。

【0080】

テーブル７０は、例えば工程が３つで、各工程における作業数が４つである場合、図１２（ａ）に示すように、３列×４行から構成されるテーブルとされる。ユーザ６０がボタン７１を押下すると、工程が１つ追加され、図１２（ｂ）に示すような４列×４行から構成されるテーブルとなる。

【0081】

ユーザ６０は、図１２（ｂ）に示したテーブル７０において、マウス等の入力手段を利用し、例えば、図１２（ｃ）に示すように作業４を工程１内のフィールドから工程２内のフィールドへドラッグアンドドロップ等の操作により移動させる。すると、図１２（ｄ）に示すように、工程２内のフィールドに、作業４が移動し、工程２内の作業数が１つ増加し、全部で５つとなる。一方、工程１内の作業数が１つ減り、全部で３つとなる。

【0082】

ユーザ６０は、全１２個の作業数を４つの工程に均等に分け、各工程の作業数を３つずつにするべく、工程２の作業７、８を工程３内のフィールドへ移動し、工程３の作業１０、１１、１２を、図１２（ｅ）に示すように、新しく追加した工程４内のフィールドへ移動させる。すると、図１２（ｆ）に示すような、各工程１～４の作業数が３つずつとなる。

【0083】

作業定義情報は、このようなボタン７１の押下とドラッグアンドドロップのような簡易な操作で設定することができる。なお、この方法は一例であり、作業定義情報の作成はこの方法に限定されるものではない。

【0084】

図１３は、工程数に応じて学習モデルを識別するためのモデル識別情報としてグループ名を割り振った例を示した図である。工程変更は、ユーザ６０により適宜実施することができるが、工程変更が２パターンや３パターン等の少数のパターンしかない場合、工程数に応じてグループ名を割り振り、学習モデル記憶部５２に学習モデルにグループ名を紐付けて記憶させることができる。これにより、工程変更時の学習モデルの切り替えが容易になる。

【0085】

図１３に示す例では、グループ名として「通常期」、「繁盛期」を割り振り、通常期は、工程１～３の３つの工程とし、繁盛期は、工程を１つ増やし、工程１～４の４つの工程としている。

【0086】

グループ名を「通常期」から「繁盛期」に切り替えることで、自動で工程１～３の３つの工程から工程１～４の４つの工程へ変更される。このとき、全作業数は変化しないので、全作業数が１２であれば、図１１（ｆ）に示したように、各工程に３つずつ自動で割り振られることになる。

【0087】

図１４は、計画表（スケジュール）に基づき、利用するグループを割当てた例を示した図である。通常期と繁盛期にグループ分けするにしても、どの時期にどちらのグループのモデルを採用するかを、ユーザ６０が指定しなければならない。

【0088】

図１４に示すスケジュール７２に対し、どの時期にどちらのグループのモデルを利用するかを予め設定しておくことで、スケジュール７２に設定されたグループ名が紐付けられたモデルを学習モデル記憶部５２から取得し、自動でスケジュール７２に沿った動作を実現することができる。これにより、ユーザ６０が指定等しなくても、作業定義情報を自動で作成することができる。

【0089】

図１５は、新規工程導入時にラベルを登録する画面の一例を示した図である。ラベルの登録時に最初にＵＩに表示される画面は、図１５（ａ）に示すようなラベル一覧として、ラベルとしての作業名がリストされた画面である。この画面には、作業名を追加する追加ボタン７３、作業名を削除する削除ボタン７４、作業名を編集する編集ボタン７５が含まれる。

【0090】

図１５（ａ）に示す画面において、追加ボタン７３が押下されると、図１５（ｂ）に示すような画面が表示される。図１５（ｂ）では、ラベル追加の小画面（ポップアップ）７６が、ラベル一覧の画面上に重畳するように表示される。ポップアップ７６には、ラベルとしての作業名を入力するための名称ボタン７７と、その作業の説明を入力するための説明ボタン７８とが含まれる。また、ポップアップ７６には、ラベルを登録する登録ボタン７９と、その登録をキャンセルするキャンセルボタン８０とが含まれる。

【0091】

ユーザ６０が登録ボタン７９を押下すると、例えば、図１５（ｃ）に示すように、ラベルが登録され、ラベル一覧に、その登録されたラベルを含むリストが表示される。なお、キャンセルボタン８０を押下すると、例えば、図１５（ａ）に示す画面に戻ることができる。

【0092】

図１６は、工程の追加、削除、および作業の追加、削除を行う画面の一例を示した図である。工程を変更する際に最初にＵＩに表示される画面は、図１６（ａ）に示すような工程一覧として、工程名がリストされた画面である。この画面には、工程名を追加する追加ボタン８１、工程名を削除する削除ボタン８２、工程名を編集する編集ボタン８３が含まれる。

【0093】

図１６（ａ）に示す画面において、ユーザ６０が追加ボタン８１を押下すると、図１６（ｂ）に示すようなポップアップ８４が表示される。ポップアップ８４には、工程の追加として、追加する工程の工程名を入力するための名称ボタン８５と、その工程の説明を入力するための説明ボタン８６とが含まれる。また、ポップアップ８４には、追加する工程を登録するための登録ボタン８７と、その登録をキャンセルするキャンセルボタン８８とが含まれる。

【0094】

図１６（ｂ）に示すポップアップ８４において、ユーザ６０が登録ボタン８７を押下すると、図１６（ｃ）に示す工程が追加された工程一覧の画面が表示される。工程一覧には、それまでは工程１～５が登録されていたが、工程６の登録により、リストに工程６が追加されている。

【0095】

図１６（ｄ）に示す画面において、ユーザ６０が編集ボタン８３を押下すると、図１６（ｅ）に示すようなポップアップ８９が表示される。ポップアップ８９は、工程６で行う作業の追加や削除等を行うことができる画面とされている。このため、ポップアップ８９は、作業を追加する追加ボタン９０、作業を削除する削除ボタン９１、工程６で行う作業を登録する登録ボタン９２、工程６の編集をキャンセルするキャンセルボタン９３を含む。

【0096】

図１６（ｅ）に示す画面において、ユーザ６０が追加ボタン９０を押下すると、ポップアップ８９が、図１６（ｆ）に示すようなポップアップ９４に切り替わる。ポップアップ９４は、追加する作業の一覧を示し、その作業一覧から任意の作業を選択することができるように構成されている。ポップアップ９４には、見えなくなっている作業名を見える位置に移動（スクロール）させるためのスクロールバー９５と、作業を追加するための追加ボタン９６と、追加した作業を登録するための登録ボタン９７と、作業の追加をキャンセルするためのキャンセルボタン９８とを含む。

【0097】

図１６（ｆ）に示すポップアップ９４において、ユーザ６０が作業名「部品Ａを取る」を指定し、その作業名の隣りにある追加ボタン９６を押下すると、図１６（ｇ）に示すように、作業名「部品Ａを取る」の隣りにあった追加ボタン９６が消え、その作業が追加されたことが示される。ここでは、作業名の隣りにある追加ボタン９６の消去により、その作業が追加されたことを示しているが、作業の追加を示す方法としては、これに限定されるものではない。

【0098】

図１６（ｇ）に示す画面において、ユーザ６０は、別の作業を追加することもできる。図１６（ｇ）に示す例では、作業名「部品Ｂを取る」を追加するため、その作業名の隣りにある追加ボタン９６が押下されている。作業名「部品Ｂを取る」が追加されると、図１６（ｈ）に示すようなポップアップ９４の表示となる。すなわち、作業名「部品Ａを取る」、「部品Ｂを取る」のそれぞれの隣りにあった追加ボタン９６が消えている。

【0099】

図１６（ｈ）に示すポップアップ９４において、ユーザ６０が登録ボタン９７を押下すると、図１６（ｉ）に示すような元のポップアップ８９に戻り、工程６で行う作業として、作業名「部品Ａを取る」、「部品Ｂを取る」が追加された形となる。ユーザ６０は、工程６で行う作業が、これら２つの作業でＯＫである場合、登録ボタン９２を押下して登録することができる。このようにして、ユーザ６０は、各工程で行う作業の作業定義情報を登録することができる。

【0100】

図１７は、各作業の時間区間を表す動画の開始位置及び終了位置とラベルとの紐付けを行う画面の一例を示した図である。各作業の時間区間を表す動画の開始位置及び終了位置は、例えば動画の開始フレームＩＤと終了フレームＩＤとによって表される。図１７に示す画面は、再生する動画のファイル名を選択する選択ボタン１００と、動画のプレビューを表示するウィンドウ１０１と、ラベルを選択し、表示するためのドロップダウンリスト１０２と、表示したラベルに対応する開始位置および終了位置を設定するために、動画の再生、早送り、停止、巻き戻し等を行う操作ボタン１０３とを含む。

【0101】

ユーザ６０は、操作ボタン１０３を利用して、表示したラベルに対応する開始位置および終了位置を検出する。図１７に示す画面は、開始位置を設定するための開始位置設定ボタン１０４と、終了位置を設定するための終了位置設定ボタン１０５とを含む。ユーザ６０は、操作ボタン１０３により検出した開始位置につき、開始位置設定ボタン１０４を押下することで、その位置をその作業の開始位置として設定する。同様に、ユーザ６０は、操作ボタン１０３により検出した終了位置につき、終了位置設定ボタン１０５を押下することで、その位置をその作業の終了位置として設定する。これは、他の作業についても同様に行われる。開始位置は、開始フレームＩＤとして、終了位置は、終了フレームＩＤとして設定される。

【0102】

図１７に示す画面は、ラベルと開始フレームＩＤおよび終了フレームＩＤとを対応付けたテーブル１０６と、そのテーブルを紐付情報として登録するための登録ボタン１０７と、その登録をキャンセルするためのキャンセルボタン１０８とを含む。

【0103】

テーブル１０６は、ドロップダウンリスト１０２により選択されたラベルに対し、開始位置設定ボタン１０４、終了位置設定ボタン１０５により設定された開始位置を示す開始フレームＩＤ、終了位置を示す終了フレームＩＤを対応付けて格納する。

【0104】

以上に説明してきたように、本発明のシステム、方法およびプログラムを提供することで、学習モデルを機械学習する手間と時間を削減することができる。

【0105】

これまで本発明を、情報処理システム、情報処理方法およびプログラムとして上述した実施の形態をもって説明してきた。しかしながら、本発明は上述した実施の形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができるものである。また、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0106】

１０…情報処理装置、２０…ＣＰＵ、２１…ＲＯＭ、２２…ＲＡＭ、２３…ＨＤ、２４…ＨＤＤコントローラ、２５…ディスプレイ、２６…外部機器接続Ｉ／Ｆ、２７…ネットワークＩ／Ｆ、２８…バスライン、２９…キーボード、３０…ポインティングデバイス、３１…ＤＶＤ－ＲＷドライブ、３２…メディアＩ／Ｆ、３３…ＤＶＤ－ＲＷ、３４…記録メディア、４０…アノテーションツール、４１…動画登録部、４２…ラベル登録部、４３…作業定義部、４４…紐付部、４５…動画記憶部、４６…ラベル記憶部、４７…作業定義記憶部、４８…紐付情報記憶部、４９…学習データ生成部、５０…学習データ記憶部、５１…トレーニング部、５２…学習モデル記憶部、５３…スケジュール設定部、５４…設定記憶部、６０…ユーザ、７０…テーブル、７１…ボタン、７２…スケジュール、７３…追加ボタン、７４…削除ボタン、７５…編集ボタン、７６…ポップアップ、７７…名称ボタン、７８…説明ボタン、７９…登録ボタン、８０…キャンセルボタン、８１…追加ボタン、８２…削除ボタン、８３…編集ボタン、８４…ポップアップ、８５…名称ボタン、８６…説明ボタン、８７…登録ボタン、８８…キャンセルボタン、８９…ポップアップ、９０…追加ボタン、９１…削除ボタン、９２…登録ボタン、９３…キャンセルボタン、９４…ポップアップ、９５…スクロールバー、９６…追加ボタン、９７…登録ボタン、９８…キャンセルボタン、１００…選択ボタン、１０１…ウィンドウ、１０２…ドロップダウンリスト、１０３…操作ボタン、１０４…開始位置設定ボタン、１０５…終了位置設定ボタン、１０６…テーブル、１０７…登録ボタン、１０８…キャンセルボタン

【先行技術文献】

【特許文献】

【0107】

【特許文献1】特開２０１９－１５９８１９号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】