特開 2024-130263 データ生成装置およびデータ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024130263

(43)【公開日】2024-09-30

(54)【発明の名称】データ生成装置およびデータ生成方法

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240920BHJP

   G06F 3/0482 20130101ALI20240920BHJP

   G06N 20/00 20190101ALI20240920BHJP

【ＦＩ】

G06Q50/04

G06F3/0482

G06N20/00 130

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023039890

(22)【出願日】2023-03-14

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100155712

【弁理士】

【氏名又は名称】村上 尚

(72)【発明者】

【氏名】藤木 翼

(72)【発明者】

【氏名】安川 和希

【テーマコード（参考）】

5E555

5L049

5L050

【Ｆターム（参考）】

5E555AA22

5E555BA02

5E555BA87

5E555BB02

5E555BC17

5E555DB11

5E555DB22

5E555DB56

5E555DB57

5E555DC18

5E555DC35

5E555DD06

5E555FA00

5L049CC03

5L050CC03

(57)【要約】

【課題】動画解析モデルを作成するために必要な学習データの作成を効率的かつ正確に行う。
【解決手段】データ生成装置（１）は、生産作業が撮像された複数の動画データのそれぞれに対して作業内容情報を対応付けて表示する情報表示制御部（１０１）と、動画データを再生する再生表示制御部（１０２）と、動画データと作業内容情報との対応付けが確認済みである旨の指示入力を受け付ける入力受付部（１０３）と、動画データと作業内容情報との対応付けの情報を出力データとして出力するデータ出力制御部（１０４）と、を備える。情報表示制御部（１０１）は、指示入力を受け付けた動画データと作業内容情報との対応付けの表示を、指示入力を受け付けていない動画データと作業内容情報との対応付けの表示と異なる表示形式で表示する制御を行う。
【選択図】図４

【特許請求の範囲】

【請求項1】

生産作業が撮像された複数の動画データのそれぞれに対して、作業内容情報を対応付けて表示する制御を行う情報表示制御部と、
前記動画データを再生表示する再生表示制御部と、
前記動画データと前記作業内容情報との対応付けが確認済みである旨の指示入力を受け付ける入力受付部と、
前記入力受付部によって入力が受け付けられた前記動画データと前記作業内容情報との対応付けの情報を出力データとして出力するデータ出力制御部と、を備え、
前記情報表示制御部は、前記入力受付部によって確認済みである旨の指示入力を受け付けた前記動画データと前記作業内容情報との対応付けの表示を、前記入力受付部によって確認済みである旨の指示入力を受け付けていない前記動画データと前記作業内容情報との対応付けの表示と異なる表示形式で表示する制御を行う、データ生成装置。

【請求項2】

前記入力受付部は、さらに前記動画データに対応付けられている前記作業内容情報の入力および変更を受け付ける、請求項１記載のデータ生成装置。

【請求項3】

複数の前記動画データのそれぞれに対して、前記作業内容情報を対応付ける第１動画解析モデルによって出力された第１出力データを取得するデータ取得部をさらに備え、
前記情報表示制御部は、前記第１出力データに基づいて表示制御を行う、請求項１に記載のデータ生成装置。

【請求項4】

前記情報表示制御部は、前記動画データを特定する情報と、対応付けられた前記作業内容情報とを、リスト形式で表示する制御を行うとともに、前記入力受付部によって確認済みである旨の指示入力を受け付けた前記動画データと前記作業内容情報との対応付けの表示を、前記入力受付部によって確認済みである旨の指示入力を受け付けていない前記動画データと前記作業内容情報との対応付けの表示と異なる、背景色、文字色、およびフォント形式の少なくともいずれか１つの表示形式で表示する制御を行う、請求項１に記載のデータ生成装置。

【請求項5】

前記情報表示制御部は、前記動画データが撮像された時間を示す時間領域に、該動画データに対応付けられた前記作業内容情報の種類に対応する色を表示するタイムチャート形式で表示する制御を行うとともに、前記入力受付部によって確認済みである旨の指示入力を受け付けた前記時間領域の表示の色を、前記入力受付部によって確認済みである旨の指示入力を受け付けていない前記時間領域の表示の色とを異ならせて表示する制御を行う、請求項１に記載のデータ生成装置。

【請求項6】

前記データ出力制御部は、前記入力受付部によって確認済みである旨の指示入力を受け付けた前記動画データと前記作業内容情報との対応付けの情報のみを前記出力データとして出力する、請求項１に記載のデータ生成装置。

【請求項7】

生産作業が撮像された複数の動画データのそれぞれに対して、作業内容情報を対応付けて表示する制御を行う情報表示制御ステップと、
前記動画データを再生表示する再生表示制御ステップと、
前記動画データと前記作業内容情報との対応付けが確認済みである旨の指示入力を受け付ける入力受付ステップと、
前記入力受付ステップによって入力が受け付けられた前記動画データと前記作業内容情報との対応付けの情報を出力データとして出力するデータ出力制御ステップと、を有し、
前記情報表示制御ステップは、前記入力受付ステップによって確認済みである旨の指示入力を受け付けた前記動画データと前記作業内容情報との対応付けの表示を、前記入力受付ステップによって確認済みである旨の指示入力を受け付けていない前記動画データと前記作業内容情報との対応付けの表示と異なる表示形式で表示する制御を行う、データ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画解析モデルを作成するために必要な学習データを生成するデータ生成装置等に関する。

【背景技術】

【0002】

従来、工場等の生産現場における作業工程の実施状況を動画として撮像し、動画データを解析することによって生産性および品質を向上させる取り組みが行われている。この動画データの解析において、昨今ではＡＩ(Artificial Intelligence)を用いて動画解析モデルを作成し、自動的に作業内容を判断することが行われている。

【0003】

動画解析モデルを作成するためには、学習データ（教師データ）としての動画データを大量に用意する必要がある。この学習データを作成するために、各動画データに作業内容を対応付けるアノテーションという作業が必要となる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４２２１０１１号公報

【特許文献2】特開２０１９－１５９８８４号公報

【特許文献3】特開２００４－３６３８３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のように、学習データとしての大量の動画データに対してアノテーションを行う必要があるため、この作業にかかる時間が膨大となるという問題がある。また、作業内容の対応付けにミスがあると、学習データの正確性が低くなり、ひいては動画解析モデルの精度低下につながるという問題もある。

【0006】

本発明の一態様は、動画解析モデルを作成するために必要な学習データの作成を効率的かつ正確に行うことが可能なデータ生成装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一側面に係るデータ生成装置は、生産作業が撮像された複数の動画データのそれぞれに対して、作業内容情報を対応付けて表示する制御を行う情報表示制御部と、前記動画データを再生表示する再生表示制御部と、前記動画データと前記作業内容情報との対応付けが確認済みである旨の指示入力を受け付ける入力受付部と、前記入力受付部によって入力が受け付けられた前記動画データと前記作業内容情報との対応付けの情報を出力データとして出力するデータ出力制御部と、を備え、前記情報表示制御部は、前記入力受付部によって確認済みである旨の指示入力を受け付けた前記動画データと前記作業内容情報との対応付けの表示を、前記入力受付部によって確認済みである旨の指示入力を受け付けていない前記動画データと前記作業内容情報との対応付けの表示と異なる表示形式で表示する制御を行う。

【0008】

上記の構成によれば、動画データと作業内容情報との対応付けが表示されるとともに、動画データと作業内容情報との対応付けが確認済みである旨の指示入力が可能となっている。よって、利用者は動画データを再生表示して内容を確認して、確認した動画データに関しては、確認済みの指示入力を行う。ここで、確認済みである旨の指示入力を受け付けた動画データと作業内容情報との対応付けの表示が、確認済みである旨の指示入力を受け付けていない動画データと作業内容情報との対応付けの表示と異なる表示形式で表示されるので、利用者は、どの動画データを確認したかを容易に確認することができる。よって、動画解析モデルを作成するために必要な学習データの作成を効率的かつ正確に行うことが可能となる。

【0009】

本発明の一側面に係るデータ生成装置においては、前記入力受付部は、さらに前記動画データに対応付けられている前記作業内容情報の入力および変更を受け付ける構成としてもよい。

【0010】

上記の構成によれば、作業内容情報の入力および変更が可能となっている。よって、利用者は動画データを再生表示して内容を確認して、作業内容情報を入力および変更することが可能となっている。

【0011】

本発明の一側面に係るデータ生成装置においては、複数の前記動画データのそれぞれに対して、前記作業内容情報を対応付ける第１動画解析モデルによって出力された第１出力データを取得するデータ取得部をさらに備え、前記情報表示制御部は、前記第１出力データに基づいて表示制御を行う構成であってもよい。

【0012】

上記の構成によれば、利用者は、第１動画解析モデルによって出力された動画データと作業内容情報との対応付けデータの適否を確認し、必要に応じて対応付けを修正するという作業によって、学習データを作成することができる。よって、学習データの生成をより効率的に実施することができる。

【0013】

本発明の一側面に係るデータ生成装置においては、前記情報表示制御部は、前記動画データを特定する情報と、対応付けられた前記作業内容情報とを、リスト形式で表示する制御を行うとともに、前記入力受付部によって確認済みである旨の指示入力を受け付けた前記動画データと前記作業内容情報との対応付けの表示を、前記入力受付部によって確認済みである旨の指示入力を受け付けていない前記動画データと前記作業内容情報との対応付けの表示と異なる、背景色、文字色、およびフォント形式の少なくともいずれか１つの表示形式で表示する制御を行う構成であってもよい。

【0014】

上記の構成によれば、動画データを特定する情報と作業内容情報との対応付けがリスト形式で表示され、確認済みであるか否かが、背景色、文字色、およびフォント形式の少なくともいずれか１つの表示形式で異なった状態で表示される。よって、どの動画データを確認したかをより容易に確認することができる。

【0015】

本発明の一側面に係るデータ生成装置においては、前記情報表示制御部は、前記動画データが撮像された時間を示す時間領域に、該動画データに対応付けられた前記作業内容情報の種類に対応する色を表示するタイムチャート形式で表示する制御を行うとともに、前記入力受付部によって確認済みである旨の指示入力を受け付けた前記時間領域の表示の色を、前記入力受付部によって確認済みである旨の指示入力を受け付けていない前記時間領域の表示の色とを異ならせて表示する制御を行う構成であってもよい。

【0016】

上記の構成によれば、動画データを特定する情報と作業内容情報との対応付けがタイムチャート形式で表示され、確認済みであるか否かが、時間領域の色が異なった状態で表示される。よって、どの動画データを確認したかをより容易に確認することができる。

【0017】

本発明の一側面に係るデータ生成装置においては、前記データ出力制御部は、前記入力受付部によって確認済みである旨の指示入力を受け付けた前記動画データと前記作業内容情報との対応付けの情報のみを前記出力データとして出力する構成であってもよい。

【0018】

上記の構成によれば、利用者によって確認済みである動画データと作業内容情報との対応付けの情報のみが出力されるので、確認漏れのない正確な学習データを作成することができる。

【0019】

上記の課題を解決するために、本発明の一側面に係るデータ生成方法は、生産作業が撮像された複数の動画データのそれぞれに対して、作業内容情報を対応付けて表示する制御を行う情報表示制御ステップと、前記動画データを再生表示する再生表示制御ステップと、前記動画データと前記作業内容情報との対応付けが確認済みである旨の指示入力を受け付ける入力受付ステップと、前記入力受付ステップによって入力が受け付けられた前記動画データと前記作業内容情報との対応付けの情報を出力データとして出力するデータ出力制御ステップと、を有し、前記情報表示制御ステップは、前記入力受付ステップによって確認済みである旨の指示入力を受け付けた前記動画データと前記作業内容情報との対応付けの表示を、前記入力受付ステップによって確認済みである旨の指示入力を受け付けていない前記動画データと前記作業内容情報との対応付けの表示と異なる表示形式で表示する制御を行う。

【発明の効果】

【0020】

本発明の一態様によれば、動画解析モデルを作成するために必要な学習データの作成を効率的かつ正確に行うことが可能になる。

【図面の簡単な説明】

【0021】

【図1】本開示の実施形態に係るデータ生成装置が適用された一例のデータ収集システム５０の構成を模式的に示す説明図である。

【図2】ＡＩモデル♯２を適応するまでの手順を示すフロー図である。

【図3】図２のフローをイメージで示す説明図である。

【図4】データ生成装置の要部構成の一例を示すブロック図である。

【図5】データ生成装置の記憶部に記憶されているタスクリストテーブルの内容の一例を示す図である。

【図6】データ生成装置の表示部に表示される、アノテーションデータ♯２を手動で修正するための画面表示の一例を示す図である。

【図7】動画データの再生表示における再生表示形態を異ならせる他の例を示す図である。

【図8】タイムチャート画像の一部を拡大して示す図である。

【図9】表示形態の異なる別のタイムチャート画像の一部を拡大して示す図である。

【図10】データ生成装置の記憶部に記憶されている再生速度テーブルの内容の一例を示す図である。

【発明を実施するための形態】

【0022】

以下、本開示の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。

【0023】

§１ 適用例
〔データ生成装置を含むデータ収集システムの概要〕
まず、図１を用いて、本発明が適用される場面の一例について説明する、図１は、本開示の実施形態に係るデータ生成装置１が適用された一例のデータ収集システム５０の構成を模式的に示す説明図である。データ収集システム５０は、生産作業が撮像された動画データを収集し、収集した動画データから、動画解析モデルを用いて人が行っている人作業（人の動作）に関するデータ収集を実現するシステムである。

【0024】

図１に示すように、データ収集システム５０は、データ生成装置１と、クラウドプラットフォーム２と、製造現場等の現場３に設置された撮像装置３１および端末装置３２と、を備えている。

【0025】

撮像装置３１は、現場３において生産作業を撮像して、撮像した動画データをクラウドプラットフォーム２に送信する。撮像装置３１は、例えば、Ｗｅｂカメラである。クラウドプラットフォーム２が備えるクラウドサーバ２１において、動画解析ＡＩ（人工知能）による推定精度を高めるためには、撮像装置３１を複数台設置し、同じ作業を異なる画角より撮像した動画データを送信するようにしてもよい。端末装置３２は、クラウドプラットフォーム２より受信した動画解析ＡＩによる解析結果を、表示するなどして現場３の管理者等に提示する。

【0026】

クラウドプラットフォーム２は、上述したクラウドサーバ２１と、クラウドストレージ２２と、を少なくとも備えている。クラウドストレージ２２は、現場３から送信される生産作業を撮像した動画データを記憶する。クラウドサーバ２１は、動画解析ＡＩを有し、動画解析ＡＩが動画解析モデルを用いて現場３から送信されてきた生産作業を撮像した動画データの動画解析を行う。クラウドサーバ２１は、解析結果を現場３の端末装置３２に送信する。

【0027】

これにより、現場３は、撮像装置３１を設置して、生産作業を撮像し、撮像した動画データをクラウドプラットフォーム２に送信するだけで、生産作業における人作業に関するデータ収集を実現して、継続的に生産性及び品質の向上を実現することが可能になる。

【0028】

データ生成装置１は、クラウドサーバ２１の動画解析ＡＩが用いる動画解析モデルを作成するために必要な学習データの作成を行う。前述したように、動画解析モデルを作成するためには、学習データとしての動画データを大量に用意する必要がある。この学習データを作成するために、各動画データに作業内容を対応付けるアノテーションという作業が必要となる。

【0029】

データ生成装置１は、このアノテーションを、クラウドサーバ２１の動画解析ＡＩを用いて実施することで自動化しつつ、動画解析ＡＩによる自動アノテーションの精度を上げることを可能にする装置である。動画解析ＡＩは、アノテーションを行うための動画解析モデルを用いてアノテーションを実施する。

【0030】

以下、動画解析ＡＩが、アノテーションを行うために用いる動画解析モデルを「ＡＩモデル♯１」と称する。そして、「ＡＩモデル♯１」を用いてアノテーションが行われた学習データを用いて動画解析ＡＩが学習して作成し、現場３から送信される生産作業を撮像した動画データの解析に用いる動画解析モデルを、「ＡＩモデル♯２」と称する。また、動画解析ＡＩにてアノテーションを行うことを自動アノテーションと称する場合もある。

【0031】

§２ 構成例
〔ＡＩモデル♯２を現場に適応するまでの手順〕
図２および図３を用いて、現場３にＡＩモデル♯２を適応するまでの手順を説明する。図２は、ＡＩモデル♯２を適応するまでの手順を示すフロー図である。図３は、図２のフローをイメージで示す説明図である。

【0032】

図２のＰ１：ユーザは、データ生成装置１を用いて、クラウドストレージ２２より、一連の作業が例えば２０サイクル繰り返されている動画（録画データ）を収集する（図３の１．参照）。一連の作業が撮像されている動画を２０サイクル分収集して１ファイルの録画データとしてもよい。収集するサイクル数２０に限定されるものではない。

【0033】

図２のＰ２：ユーザは、データ生成装置１を用いて、収集した２０サイクルのうちの１サイクル分の動画に対して手動でアノテーションを行い、アノテーションデータ♯１を作成する（図３の２．参照）。

【0034】

具体的には、ユーザは、１サイクル分の動画を見ながら動画を人の作業ごとに分割する。例えば、動画の分割を指示する所定のボタンを押下し、押下した時点までを１つの作業の動作の終点とし、押下した時点を次の作業の動作の始点として動画を分割する。そして、ユーザは、分割した各動画それぞれに対して、それぞれの作業内容を示す情報であるタスク情報（作業内容情報）を付与する。

【0035】

図２のＰ３：ユーザは、データ生成装置１を用いて、アノテーションデータ♯１を学習データとして動画解析ＡＩに学習（トレーニング）させ、ＡＩモデル♯１を生成する（図３の３．参照）。

【0036】

図２のＰ４：ユーザは、データ生成装置１を用いて、動画解析ＡＩにＡＩモデル♯１を用いて残りの１９サイクル分の動画に対して自動アノテーションを行わせ、アノテーションデータ♯２を作成する（図３の４．参照）。

【0037】

図２のＰ５：ユーザは、データ生成装置１を用いて、Ｐ４にて自動アノテーションにて作成したアノテーションデータ♯２を手動で修正する（図３の４．参照）。

【0038】

図２のＰ６：ユーザは、データ生成装置１を用いて、Ｐ５にて修正したアノテーションデータ♯２と、Ｐ２にて手動で作成したアノテーションデータ♯１とを統合したアノテーションデータ♯３を作成する（図３の５．参照）。

【0039】

図２のＰ７：ユーザは、データ生成装置１を用いて、Ｐ６で作成したアノテーションデータ♯３を学習データとして動画解析ＡＩに学習させ、ＡＩモデル♯２を生成する（図３の６．参照）。

【0040】

図２のＰ８：ユーザは、データ生成装置１を用いて、Ｐ７で生成されたＡＩモデル♯２を現場３に適応する（図３の７．参照）。
。

【0041】

〔データ生成装置の構成〕
次に、データ生成装置１の構成を図４に基づいて説明する。図４は、データ生成装置１の要部構成の一例を示すブロック図である。図４に示すように、データ生成装置１は、各種データの入力を受け付ける入力部１１と、各種の情報を表示する表示部１２と、データ生成装置１が他の装置と通信するための通信部１３と、を備えている。なお、入力部１１は例えばタッチパネルであってもよく、この場合、当該タッチパネルが入力部１１と表示部１２を兼ねることになる。さらに、データ生成装置１は、データ生成装置１の各部を統括して制御する制御部１０と、データ生成装置１が使用する各種データを記憶する記憶部１４と、を備えている。

【0042】

制御部１０には、情報表示制御部１０１、再生表示制御部１０２、入力受付部１０３、データ出力制御部１０４、およびデータ取得部１０５が含まれている。

【0043】

情報表示制御部１０１は、生産作業が撮像された複数の動画データのそれぞれに対して、タスク情報を対応付けて表示する制御を行う。ここで言う、「生産作業が撮像された複数の動画データ」とは、作業ごとに分割された動画の画像データである。以下、広義の動画データと特別するために、作業ごとに分割された動画の画像データである動画データ（狭義）を動画データＤと称する。

【0044】

再生表示制御部１０２は、生産作業が撮像された複数の動画データＤを再生表示する。

【0045】

入力受付部１０３は、動画データＤとタスク情報との対応付けが確認済みである旨の指示入力を受け付ける。

【0046】

データ出力制御部１０４は、入力受付部１０３によって入力が受け付けられた動画データＤとタスク情報との対応付けの情報を出力データとして出力する。ここで言う、「動画データＤとタスク情報との対応付けの情報」が、アノテーションデータである。

【0047】

データ取得部１０５は、通信部１３を介して各種のデータを取得する。

【0048】

以下、情報表示制御部１０１、再生表示制御部１０２、入力受付部１０３、データ出力制御部１０４、およびデータ取得部１０５について、詳細に説明する。

【0049】

＜情報表示制御部＞
情報表示制御部１０１は、入力受付部１０３によって入力が受け付けられた動画データＤとタスク情報との対応付けの表示を、入力受付部１０３によって入力が受け付けられていない動画データＤとタスク情報との対応付けの表示と異なる表示形式で表示する制御を行ってもよい。

【0050】

具体的には、例えば、情報表示制御部１０１は、動画データＤを特定する情報と、対応付けられたタスク情報とを、リスト形式で表示する制御を行ってもよい（図６のリスト画像６１を参照）。動画データＤを特定する情報としては、例えば、当該動画データＤの開始時間と終了時間とを用いてもよい。開始時間および終了時間は、１つのファイルを構成している録画データの先頭からの時間である。

【0051】

そして、その場合に、情報表示制御部１０１は、入力受付部１０３の後述する確認受付部１０３２によって確認済みである旨の指示入力を受け付けた動画データＤとタスク情報との対応付けの表示を、確認受付部１０３２によって確認済みである旨の指示入力を受け付けていない動画データＤとタスク情報との対応付けの表示と異なる、背景色、文字色、およびフォント形式の少なくともいずれか１つの表示形式で表示する制御を行ってもよい（図６のリスト画像６１における、確認済リスト欄６１１Ａ、未確認リスト欄６１１Ｂを参照）。

【0052】

あるいは、情報表示制御部１０１は、動画データＤが撮像された時間を示す時間領域に、該動画データＤに対応付けられたタスク情報の種類に対応する色を表示するタイムチャート形式で表示する制御を行ってもよい（図６のタイムチャート画像６８を参照）。その場合に、情報表示制御部１０１は、入力受付部１０３の後述する確認受付部１０３２によって確認済みである旨の指示入力を受け付けた時間領域の表示の色を、確認受付部１０３２によって確認済みである旨の指示入力を受け付けていない時間領域の表示の色と異ならせて表示する制御を行ってもよい（図９のタイムチャート画像６８’における、確認済時間領域６８Ａ、未確認時間領域６８Ｂを参照）。

【0053】

情報表示制御部１０１は、リスト形式で表示する制御とタイムチャート形式で表示する制御との両方を行ってもよいし、リスト形式で表示する制御のみ、あるいはタイムチャート形式で表示する制御のみを行ってもよい。

【0054】

＜再生表示制御部＞
再生表示制御部１０２は、動画データＤを再生表示するにおいて、再生表示している動画データＤに対応付けられているタスク情報の種類に応じて、該動画データＤの再生表示形態を変更してもよい。

【0055】

具体的には、例えば、再生表示制御部１０２は、動画データＤを再生表示する再生領域の少なくとも一部、および、再生領域の周囲の少なくとも一部の領域の少なくとも一方に、対応付けられているタスク情報の種類を示す識別画像を表示してもよい（図６の識別画像６５、図８の識別画像６６Ａ～６６Ｃを参照）。

【0056】

また、この場合、再生表示制御部１０２は、識別画像として、再生領域の周囲を囲う枠画像を表示するとともに、該枠画像の色を対応付けられているタスク情報の種類に対応した色としてもよい（図６の枠画像６６を参照）。

【0057】

さらに、再生表示制御部１０２は、動画データＤの再生速度を、対応付けられているタスク情報の種類に応じて変更してもよい（図５のタスクリストテーブルを参照）。再生表示制御部１０２は、再生表示している動画データＤに対応付けられているタスク情報の種類に応じて、再生速度を変更するのみでもよい。

【0058】

さらに、再生表示制御部１０２は、動画データＤの再生表示の切り替わりのタイミングの所定時間前から所定時間後までの期間の少なくとも一部の期間において、再生速度を低下させるようにしてもよい（図１０の再生速度テーブルを参照）。

【0059】

＜入力受付部＞
入力受付部１０３は、動画データＤに対応付けられているタスク情報の入力および変更を受け付ける編集受付部１０３１と、動画データＤとタスク情報との対応付けが確認済みである旨の指示入力を受け付ける確認受付部１０３２と、を備える。

【0060】

この場合、情報表示制御部１０１は、確認受付部１０３２によって確認済みである旨の指示入力を受け付けた動画データＤとタスク情報との対応付けの表示を、確認受付部１０３２によって確認済みである旨の指示入力を受け付けていない動画データＤとタスク情報との対応付けの表示と異なる表示形式で表示する制御を行う。

【0061】

確認受付部１０３２は、例えば、動画データＤを特定する情報と対応付けられたタスク情報とがリスト形式で表示され後述するリスト画像６１（図６参照）におけるチェック欄６１３に付いているチェック「レ」を外す操作がなされることで、確認済みである旨の指示入力を受け付けてもよい。また、確認受付部１０３２は、チェック欄６１３のチェック「レ」を外す操作がなされなくても、リスト画像６１（図６参照）におけるタスク情報欄６１２に入力あるいは変更された場合に、確認済みである旨の指示入力を受け付けたと判断してもよい。つまり、確認受付部１０３２は、編集受付部１０３１で入力・変更が受け付けられたことによって確認済みであるとみなしてもよい。

【0062】

＜データ出力制御部＞
データ出力制御部１０４は、確認受付部１０３２によって確認済みである旨の指示入力を受け付けた動画データＤとタスク情報との対応付けの情報のみを出力データ（つまり、アノテーションデータ）として出力してもよい。ここで、データ出力制御部１０４は、読み込んでいる全ての動画データＤが確認済みとならない限り、アノテーションデータを出力（保存）されないようにしてもよい。

【0063】

＜データ取得部＞
データ取得部１０５は、複数の動画データＤのそれぞれに対して、タスク情報を対応付けるＡＩモデル♯１（第１動画解析モデル）によって出力されたアノテーションデータ♯２（第１出力データ）を取得してもよい。その場合に、情報表示制御部１０１は、アノテーションデータ♯２に基づいて表示制御を行ってもよい。

【0064】

〔データ生成装置の動作〕
データ生成装置１の動作（データ生成方法）の一例を、図５から図１０を用いて説明する。ここでは、図５から図１０を用いて、生産作業としてワークに成形加工を施す一連の作業が複数サイクル含まれた録画データ（ファイル）に対して、前述した図２のＰ５を実施している状態を説明する。

【0065】

図５は、記憶部１４に記憶されているタスクリストテーブルの内容の一例を示す図である。図６は、データ生成装置１の表示部１２に表示される、アノテーションデータ♯２を手動で修正するための画面表示の一例を示す図である。図７は、動画データＤの再生表示における再生表示形態を異ならせる他の例を示す図である。図８は、タイムチャート画像６８の一部を拡大して示す図である。図９は、表示形態の異なる別のタイムチャート画像６８の一部を拡大して示す図である。図１０は、記憶部１４に記憶されている再生速度テーブルの内容の一例を示す図である。

【0066】

図５に示すように、タスク情報として、「仕掛り把持」、「ワークリセット」、「ワークセット」、「成形開始」、「外観作業」、「別作業中」、「異常動作」等が設定されている。分割した各動画データＤのそれぞれに対し、何れか該当する項目が付けられている。そして、タスク情報毎に、色および再生速度が設定されている。タスク情報毎に設定されている色は、相互に異なり、色よりタスク情報を一意に特定し得るようになっている。例えば、「仕掛り把持」には、「第１の色」、「再生速度１倍」が設定されている。

【0067】

再生速度は、通常の再生速度に対する倍率で設定されていてもよい。図５の例では、相対的に動画データＤの表示時間が長い「別作業中」「ワークリセット」「ワークセット」に対して、通常の再生速度よりも速くなる１倍よりも大きい速度が設定されている。動画データＤの表示時間が短い「成形開始」に対して、通常の再生速度よりも遅くなる１倍よりも小さい速度が設定されている。表示時間が、相対的に長いものと短いものとの間に位置する動画データＤには、通常の再生速度となる１倍が設定されている。

【0068】

図６に示すように、領域１２１に、読み込まれている録画データのファイル名が表示される。読み込まれている録画データには、自動アノテーションが行われており、アノテーションデータ♯２を含んでいる。

【0069】

領域１２２には、情報表示制御部１０１により、読み込まれている録画データのリスト画像６１が表示される。リスト画像６１は、動画データＤを特定する情報と対応付けられたタスク情報とをリスト形式で表示したものである。リスト画像６１において、横方向に延びるリスト欄６１１が、動画データＤとタスク情報との対応付けの表示に相当する。開始時間および終了時間が動画データＤを特定する情報であり、タスク情報欄６１２の内容がタスク情報である。なお、図６の例では、動画データＤの表示時間の情報も表示されている。

【0070】

例えば、リスト画像６１における、一番上のリスト欄６１１の、開始時間「00：00：13,913」,終了時間「00：00：16,113」で特定される、表示時間が「00：00：02,200」の動画データＤのタスク情報は「仕掛り把持」である。

【0071】

そして、リスト画像６１においては、確認受付部１０３２によって確認済みである旨の指示入力が受け付けられた確認済リスト欄６１１Ａと、確認受付部１０３２によって確認済みである旨の指示入力が受けられていない未確認リスト欄６１１Ｂとでは、表示形式を異ならせている。

【0072】

図６の例では、リスト画像６１にチェック欄６１３が設けられ、自動アノテーションで作成された動画データＤのうちの未確認の動画データＤの未確認リスト欄６１１Ｂのチェック欄６１３に、未確認であることを示すチェック「レ」が付けられている。このようなチェックは、自動アノテーションで作成された全ての動画データＤに付けられている。

【0073】

そして、未確認リスト欄６１１Ｂの背景色は、チェックが外れている確認済リスト欄６１１Ａの背景色と異ならせて表示される。前述したように、背景色の他、文字色、フォント形式を異ならせてもよい。

【0074】

確認受付部１０３２による確認済みである旨の指示入力は、例えば、チェック欄６１３のチェックをクリックすること行うことができる。未確認リスト欄６１１Ｂの動画データＤに対応付けられているタスク情報が適切である場合、ユーザは、チェック欄６１３の、チェックを外す。これにより、背景色が、チェックが外れている確認済リスト欄６１１Ａの背景色へと切り替わる。

【0075】

一方、未確認リスト欄６１１Ｂの動画データＤに対応付けられているタスク情報が適切でない場合は、ユーザは、編集受付部１０３１を用いて、リスト画像６１におけるタスク情報欄６１２のタスク情報を入力・変更する。これにより、チェック欄６１３のチェックが外れ、背景色が、チェックが外れている確認済リスト欄６１１Ａの背景色へと切り替わる。

【0076】

ユーザは、このような動画データＤと対応付けられているタスク情報とが適切か否かの確認を、動画データＤの再生表示し、再生表示された動画６２を視認することで行う。

【0077】

領域（再生領域）１２２に隣り合う領域（再生領域）１２３には、再生表示制御部１０２により、リスト画像６１で選択した欄６１１の動画データＤの動画６２が表示される。図６の例では、リスト画像６１における、選択したリスト欄６１１Ｃの、開始時間「00：00：22,512」,終了時間「00：00：39,412」で特定される、タスク情報「別作業中」の動画データＤが再生表示されている。ユーザが、リスト画像６１において、確認する動画データＤの欄６１１を選択し、再生ボタンＢ１をクリックすることで動画６２の再生表示が開始される。

【0078】

再生表示する動画６２の再生表示形態は、動画データＤに対応付けられているタスク情報の種類に応じて異なる。図６の例では、領域１２３の周囲の領域１２４に、タスク情報の種類に応じた識別画像６５として、タスク情報に設定されている色の枠画像６６を表示している。枠画像６６は、領域１２３の周囲を囲うように表示される。再生表示されている動画データＤに対応付けられているタスク情報は「別作業中」であるので、枠画像６６の色は第６の色である。

【0079】

識別画像６５は、前述したように、領域１２３の周囲の領域１２４の少なくとも一部に表示してもよいし、領域１２３の少なくとも一部に表示してもよいし、領域１２３と領域１２４の両方に表示してもよい。

【0080】

例えば、図７の符号７０１に示すように、領域１２３の４隅に再生表示に重畳させて、識別画像６５Ａを表示してもよい。また、図７の符号７０２に示すように、領域１２３における、左右に位置する画像が表示されない端部領域に、ライン状の識別画像６５Ｂを表示してもよい。識別画像６５Ａ、および識別画像６５Ｂの表示色は、タスク情報に設定されている色である。

【0081】

また、図７の符号７０１に示すように、再生表示されている動画の視認性を損なわない薄い色で、領域１２３にタスク情報のテキスト等からなる識別画像６５Ｃを表示してもよい。その場合も、識別画像６５Ｃの表示色をタスク情報に設定されている色としてもよい。

【0082】

再生表示している動画６２の再生速度は、前述したように、動画データＤに対応付けられているタスク情報の種類に応じて異ならせてもよい。図６の例では、再生表示されている動画データＤに対応付けられているタスク情報は「別作業中」であるので、再生速度は２倍速である。

【0083】

また、領域１２３の上方の領域１２５には、再生表示されている動画６２に対応付けられているタスク情報がテキスト画像６３として表示されている。

【0084】

また、領域１２３の下方の領域１２６には、領域１２３に再生表示されている動画６２の再生位置を示すスライドバー６４が表示されている。スライドバー６４を左右にスライドさせることで再生表示されている動画６２を進めたり戻したりできる。

【0085】

そして、領域１２６の下方の領域１２７には、情報表示制御部１０１により、読み込まれている録画データのタイムチャート画像６８が表示される。図８に示すように、タイムチャート画像６８は、動画データＤが撮像された時間を示す時間領域に、該動画データＤに対応付けられたタスク情報の種類に対応する色を表示したものである。つまり、図６に示すように、タイムチャート画像６８には、１９サイクル分の録画データのタスク情報が色にて表示されている。

【0086】

また、図８に示すタイムチャート画像６８に代えて、図９に示すタイムチャート画像６８’を領域１２６に表示してもよい。図９に示すように、タイムチャート画像６８’では、確認受付部１０３２による確認済みである旨の指示入力を受け付けた確認済時間領域６８Ａの表示の色と、確認済みである旨の指示入力を受け付けていない未確認時間領域６８Ｂの表示の色とが異なっている。この場合、タスク情報に設定されている色を基準に、例えば、彩度あるいは明度を変化させて、確認済時間領域６８Ａと未確認時間領域６８Ｂと色味を異ならせる。

【0087】

図６に示すように、タイムチャート画像６８は、下辺位置に時間軸６８ｃを含んでいてもよい。時間軸６８ｃ上のマーク６８ｄを左右にスライドさせて、その停止位置にて、領域１２３に再生表示する動画データＤを選択することができる。再生表示制御部１０２は、リスト画像６１で欄６１１が選択された場合と同様に、マーク６８ｂの停止位置に対応する時間の動画データＤを再生表示する。

【0088】

ユーザは、リスト画像６１における全てのリスト欄６１１が、チェックが外れた確認済リスト欄６１１Ａとなると、保存ボタンＢ２をクリックして、手動にて修正が行われたアノテーションデータ♯２を保存する。ここで、データ出力制御部１０４は、リスト画像６１における全てのリスト欄６１１が確認済リスト欄６１１Ａとなるまで、保存ボタンＢ２をグレーアウト表示として、起動しない仕様としてもよい。

【0089】

あるいは、データ出力制御部１０４は、保存ボタンＢ２をクリックされた場合に、確認受付部１０３２によって確認済みである旨の指示入力を受け付けた動画データＤとタスク情報との対応付けの情報のみを出力データ（つまり、アノテーションデータ）として出力してもよい。

【0090】

また、前述したように、動画データＤの再生表示の切り替わりのタイミングにおいて、再生速度を低下させる制御を行う場合は、記憶部１４に、図１０に示す再生速度テーブルを別途備えさせればよい。

【0091】

再生表示制御部１０２は、再生速度テーブルに基づいて、動画再生時の再生速度を設定する。図１０の再生速度テーブルにおいては、再生表示を切り替える所定期間は、再生速度を通常の再生速度よりも遅くする例えば０．５倍が設定されている。また、表示時間ｔが所定値Ｔよりも長い動画データＤには、再生速度を通常の再生速度よりも速くする例えば２倍が設定されている。表示時間ｔが所定値Ｔよりも短い動画データＤには、再生速度を通常の再生速度よりも遅くする例えば０．５倍が設定されている。表示時間ｔがＴ１～Ｔ２の間に長さの動画データＤには、通常の再生速度となる１倍が設定されている。

【0092】

なお、上記においては、ユーザがデータ生成装置１を、クラウドサーバ２１の動画解析ＡＩにて生成された１９サイクル分のアノテーションデータ♯２を、手動にて修正する場合を説明した。しかしながら、手動にて修正するアノテーションデータは、動画解析ＡＩにて生成されたものに限らず、精度の低いアノテーションが行われたアノテーションデータ等であってもよい。

【0093】

また、クラウドプラットフォーム２を含むデータ収集システム５０としたが、クラウドプラットフォーム２を含まずデータ収集システムを構成してもよい。つまり、クラウドサーバ２１に替えて、ローカルのクラウトサーバ（図示せず）が有する動画解析ＡＩを用いてもよい。

【0094】

（効果）
上記の構成によれば、動画データＤとタスク情報との対応付けが表示されるとともに、動画データと作業内容情報との対応付けが確認済みである旨の指示入力が可能となっている。よって、ユーザは動画データＤを再生表示して内容を確認して、確認した動画データＤに関しては、確認済みの指示入力を行う。ここで、確認済みである旨の指示入力を受け付けた動画データＤとタスク情報との対応付けの表示が、確認済みである旨の指示入力を受け付けていない動画データＤとタスク情報との対応付けの表示と異なる表示形式で表示されるので、ユーザは、どの動画データＤを確認したかを容易に確認することができる。よって、ＡＩモデル♯２を作成するために必要な学習データの作成を効率的かつ正確に行うことが可能となる。

【0095】

また、上記の構成によれば、作業内容情報の入力および変更が可能となっている。よって、ユーザは動画データを再生表示して内容を確認して、作業内容情報を入力および変更することができる。

【0096】

また、データ取得部１０５が、ＡＩモデル♯１によって出力されたアノテーションデータ♯２（第１出力データ）を取得し、情報表示制御部１０１は、アノテーションデータ♯２に基づいて表示制御を行うこともできる。

【0097】

上記の構成によれば、ユーザは、ＡＩモデル♯１によって出力された動画データＤとタスク情報との対応付けデータの適否を確認し、必要に応じて対応付けを修正するという作業によって、学習データを作成することができる。よって、学習データの生成をより効率的に実施することができる。

【0098】

また、情報表示制御部１０１は、動画データＤを特定する情報とタスク情報との対応付をリスト画像６１として表示し、リスト画像６１において、確認済リスト欄６１１Ａと未確認リスト欄６１１Ｂとの表示形態を、背景色、文字色、およびフォント形式の少なくともいずれか１つを異ならせて表示することもできる。

【0099】

上記の構成によれば、動画データＤを特定する情報とタスク情報との対応付けがリスト画像６１としてリスト形式で表示され、確認済みであるか否かが、背景色、文字色、およびフォント形式の少なくともいずれか１つの表示形式で異なった状態で表示される。よって、どの動画データＤを確認したかをより容易に確認することができる。

【0100】

また、情報表示制御部１０１は、動画データＤを特定する情報とタスク情報との対応付をタスク情報の種類に対応する色を表示するタイムチャート画像６８'で表示し、タイムチャート画像６８'において、確認済時間領域６８Ａの表示の色を、未確認時間領域６８Ｂの表示の色と異ならせて表示することもできる。

【0101】

上記の構成によれば、動画データＤを特定する情報とタスク情報との対応付けがタイムチャート形式で表示され、確認済みであるか否かが、時間領域の色が異なった状態で表示される。よって、どの動画データＤを確認したかをより容易に確認することができる。

【0102】

また、データ出力制御部１０４は、確認済みである旨の指示入力を受け付けた動画データＤとタスク情報との対応付けの情報のみを出力データとして出力することもできる。

【0103】

上記の構成によれば、ユーザによって確認済みである動画データＤとタスク情報との対応付けの情報のみが出力されるので、確認漏れのない正確な学習データを作成することができる。

【0104】

〔ソフトウェアによる実現例〕
データ生成装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１０に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0105】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0106】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0107】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0108】

〔まとめ〕
本発明の態様１に係るデータ生成装置は、生産作業が撮像された複数の動画データのそれぞれに対して、作業内容情報を対応付けて表示する制御を行う情報表示制御部と、前記動画データを再生表示する再生表示制御部と、前記動画データと前記作業内容情報との対応付けが確認済みである旨の指示入力を受け付ける入力受付部と、前記入力受付部によって入力が受け付けられた前記動画データと前記作業内容情報との対応付けの情報を出力データとして出力するデータ出力制御部と、を備え、前記情報表示制御部は、前記入力受付部によって確認済みである旨の指示入力を受け付けた前記動画データと前記作業内容情報との対応付けの表示を、前記入力受付部によって確認済みである旨の指示入力を受け付けていない前記動画データと前記作業内容情報との対応付けの表示と異なる表示形式で表示する制御を行う。

【0109】

本発明の態様２に係るデータ生成装置は、前記態様１のデータ生成装置において、前記入力受付部は、さらに前記動画データに対応付けられている前記作業内容情報の入力および変更を受け付ける。

【0110】

本発明の態様３に係るデータ生成装置は、前記態様１又は２のデータ生成装置において、複数の前記動画データのそれぞれに対して、前記作業内容情報を対応付ける第１動画解析モデルによって出力された第１出力データを取得するデータ取得部をさらに備え、前記情報表示制御部は、前記第１出力データに基づいて表示制御を行う。

【0111】

本発明の態様４に係るデータ生成装置は、前記態様１から３のいずれかのデータ生成装置において、前記情報表示制御部は、前記動画データを特定する情報と、対応付けられた前記作業内容情報とを、リスト形式で表示する制御を行うとともに、前記入力受付部によって確認済みである旨の指示入力を受け付けた前記動画データと前記作業内容情報との対応付けの表示を、前記入力受付部によって確認済みである旨の指示入力を受け付けていない前記動画データと前記作業内容情報との対応付けの表示と異なる、背景色、文字色、およびフォント形式の少なくともいずれか１つの表示形式で表示する制御を行う。

【0112】

本発明の態様５に係るデータ生成装置は、前記態様１から４のいずれかのデータ生成装置において、前記情報表示制御部は、前記動画データが撮像された時間を示す時間領域に、該動画データに対応付けられた前記作業内容情報の種類に対応する色を表示するタイムチャート形式で表示する制御を行うとともに、前記入力受付部によって確認済みである旨の指示入力を受け付けた前記時間領域の表示の色を、前記入力受付部によって確認済みである旨の指示入力を受け付けていない前記時間領域の表示の色とを異ならせて表示する制御を行う。

【0113】

本発明の態様６に係るデータ生成装置は、前記態様１から５のいずれかのデータ生成装置において、前記データ出力制御部は、前記入力受付部によって確認済みである旨の指示入力を受け付けた前記動画データと前記作業内容情報との対応付けの情報のみを前記出力データとして出力する。

【0114】

本発明の態様７に係るデータ生成方法は、生産作業が撮像された複数の動画データのそれぞれに対して、作業内容情報を対応付けて表示する制御を行う情報表示制御ステップと、前記動画データを再生表示する再生表示制御ステップと、前記動画データと前記作業内容情報との対応付けが確認済みである旨の指示入力を受け付ける入力受付ステップと、前記入力受付ステップによって入力が受け付けられた前記動画データと前記作業内容情報との対応付けの情報を出力データとして出力するデータ出力制御ステップと、を有し、前記情報表示制御ステップは、前記入力受付ステップによって確認済みである旨の指示入力を受け付けた前記動画データと前記作業内容情報との対応付けの表示を、前記入力受付ステップによって確認済みである旨の指示入力を受け付けていない前記動画データと前記作業内容情報との対応付けの表示と異なる表示形式で表示する制御を行う。

【0115】

＜付記事項＞
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0116】

１ データ生成装置
２ クラウドプラットフォーム
１０ 制御部
１１ 入力部
１２ 表示部
１４ 記憶部
６１ リスト画像
６８、６８’ タイムチャート画像
６８Ａ 確認済時間領域
６８Ｂ 未確認時間領域
１０１ 情報表示制御部
１０２ 再生表示制御部
１０３ 入力受付部
１０４ データ出力制御部
１０５ データ取得部
６１１、６１１Ｃ リスト欄
６１１Ａ 確認済リスト欄
６１１Ｂ 未確認リスト欄
６１２ タスク情報欄
６１３ チェック欄
１０３１ 編集受付部
１０３２ 確認受付部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】