特開 2024-61352 情報処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024061352

(43)【公開日】2024-05-07

(54)【発明の名称】情報処理装置、及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240425BHJP

   G06Q 50/04 20120101ALI20240425BHJP

   G06F 3/16 20060101ALI20240425BHJP

【ＦＩ】

G06F3/01 510

G06Q50/04

G06F3/16 660

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022169249

(22)【出願日】2022-10-21

(71)【出願人】

【識別番号】512288330

【氏名又は名称】株式会社ＴＳグループ

(74)【代理人】

【識別番号】100190621

【弁理士】

【氏名又は名称】崎間 伸洋

(74)【代理人】

【識別番号】100212510

【弁理士】

【氏名又は名称】笠原 翔

(72)【発明者】

【氏名】吉松 良平

【テーマコード（参考）】

5E555

5L049

5L050

【Ｆターム（参考）】

5E555AA07

5E555AA43

5E555BA02

5E555BA05

5E555BA06

5E555BA73

5E555BB02

5E555BB05

5E555BB06

5E555BC18

5E555CA42

5E555CA47

5E555CB47

5E555CB64

5E555CC20

5E555DA01

5E555DA23

5E555DB57

5E555DD01

5E555DD04

5E555FA00

5L049CC03

5L050CC03

(57)【要約】

【課題】実技の知識を有していない撮像者、或いは作成者であっても、動画マニュアルに使用する画像を得るための撮影をより確実に可能にする情報処理装置を提供する。
【解決手段】動画マニュアル作成支援装置１は、カメラ３で撮影を行う撮影者ＳＴが使用する端末２、及び作業者ＳＧが使用する端末４に対し、作業内容を表す手順情報、及び撮影条件を表す支援情報を順次、出力させるための処理を行う。端末２は、カメラ３での撮影により得られた画像を、端末４は、作業者ＳＧが発した音声を動画マニュアル作成支援装置１に送信可能である。送信された音声から、自然言語処理により、撮影条件を表す支援情報が生成可能である。送信された画像からも、撮影条件等を表す支援情報が生成可能である。生成された支援情報は、端末２に送信可能である。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の実技の手順を表す手順情報を取得する手順情報取得手段と、
前記手順情報取得手段により取得された前記手順情報に基づいて、前記所定の実技の動画マニュアルに用いることが可能な画像を得るための画像取得条件を表す画像取得条件情報、及び撮像された画像を前記動画マニュアルに用いるための選択処理内容を少なくとも含む編集条件を表す編集条件情報のうちの少なくとも一方を支援情報として出力させることが可能な支援情報出力制御手段と、
を備える情報処理装置。

【請求項2】

前記取得された画像に基づいて、前記支援情報を生成可能な支援情報生成手段、を更に備え、
前記支援情報出力制御手段は、前記支援情報生成手段により生成された前記支援情報を出力させることが可能である、
請求項１に記載の情報処理装置。

【請求項3】

前記所定の実技を行う作業者が発した音声を情報として取得可能な音声取得手段と、
前記音声取得手段により取得された前記音声に基づいて、前記支援情報を生成可能な支援情報生成手段と、を更に備え、
前記支援情報出力制御手段は、前記支援情報生成手段により生成された前記支援情報を出力させることが可能である、
請求項１に記載の情報処理装置。

【請求項4】

前記手順情報に基づいて、前記支援情報を生成可能な支援情報生成手段、を更に備え、
前記支援情報出力制御手段は、前記支援情報生成手段により生成された前記支援情報を出力させることが可能である、
請求項１に記載の情報処理装置。

【請求項5】

前記支援情報に基づいて、前記撮像が可能な撮像ロボット、及び編集が可能な編集ロボットのうちの少なくとも一方を制御可能なロボット制御手段、
を更に備える請求項１～４の何れか１項に記載の情報処理装置。

【請求項6】

前記支援情報出力制御手段は、前記画像の取得作業、及び前記画像の編集作業のうちの少なくとも一方を希望する希望者に対して、前記支援情報を出力させるための制御を行う、
請求項１～４の何れか１項に記載の情報処理装置。

【請求項7】

情報処理装置に、
所定の実技の手順を表す手順情報を取得させ、
前記手順情報に基づいて、前記所定の実技の動画マニュアルに用いることが可能な画像を得るための画像取得条件を表す画像取得条件情報、及び取得された画像を前記動画マニュアルに用いるための選択処理内容を少なくとも含む編集条件を表す編集条件情報のうちの少なくとも一方を支援情報として出力させる、
処理を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、及びプログラムに関する。

【背景技術】

【0002】

文章では伝え難くとも、画像では容易に伝えられる情報も多いのが実情である。このことから、作業の行い方を教えるマニュアルに動画を用いた動画マニュアルが採用されることが増えている。作業者が身体を動かす必要がある実技では、動画により、学習者に対し、身体の動かし方、作業の手順等を分かり易く伝えることができる。このこともあり、特に実技では、動画マニュアルが採用されることが増えている。

【0003】

動画マニュアルとしては、撮像された動画を解析して、作業手順書内の位置と、動画内のシーンとの対応関係を示すリンク情報を生成し、作業手順、動画、名詞、及び動詞を含めて表示させるものがある。このような動画マニュアルを表示させるためのマニュアルデータを生成する装置も創案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第７０２３４２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

マニュアルデータにより表示される動画マニュアルが学習者にとって理解しやすいものにするためには、学ぶべき動作、或いは姿勢等を学習者が容易に視認できるように、動画の撮像を行う必要がある。しかし、そのような撮像は、動作マニュアルを作成すべき実技についての知識を有している人の存在が不可欠である。つまり、その知識を有している撮像者を採用するか、或いはその知識を有している人、例えば熟練者に、撮像者を指導させる必要がある。

【0006】

実技自体は、熟練者が行うのが望まれる。しかし、実技を行う熟練者は、撮像者を適切に指導できるとは限らない。実技の内容、或いは熟練者と撮像者との間の位置関係等により、熟練者が撮像者を適切に指導できない場合もあり得る。複数人の熟練者を揃える必要性は、必要な動画マニュアルをタイムリに作成するうえでの障害となり得る。このようなこともあり、実技についての知識を有していない撮像者であっても、動画マニュアルに使用可能な画像を撮像できるようにすることも重要と思われる。これは、既に存在する画像から、動画マニュアルに使用すべき画像を得るための編集でも同様である。

【0007】

本発明は、実技の知識を有していない撮像者、或いは作成者であっても、動画マニュアルに使用する画像を得るための撮影、或いは編集をより適切に行うのを可能にする情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の一態様の情報処理装置は、所定の実技の手順を表す手順情報を取得する手順情報取得手段と、前記手順情報取得手段により取得された前記手順情報に基づいて、前記所定の実技の動画マニュアルに用いることが可能な画像を得るための画像取得条件を表す画像取得条件情報、及び撮像された画像を前記動画マニュアルに用いるための選択処理内容を少なくとも含む編集条件を表す編集条件情報のうちの少なくとも一方を支援情報として出力させることが可能な支援情報出力制御手段と、を備える。

【発明の効果】

【0009】

本発明によれば、実技の知識を有していない撮像者、或いは作成者であっても、動画マニュアルに使用する画像を得るための撮影、或いは編集をより適切に行うことができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係る情報処理装置による動画マニュアル作成支援方法の例を説明する図である。

【図2】作業者が一連の作業を実技として行う場合に、撮影者に提供される情報の例を説明する図である。

【図3】作業者が一連の作業を実技として行う場合に、撮影者に提供される情報の例を説明する図である（続き）。

【図4】本発明の情報処理装置の一実施形態に係る動画マニュアル作成支援装置のハードウェア構成の一例を示すブロック図である。

【図5】本発明の情報処理装置の一実施形態に係る動画マニュアル作成支援装置上に実現される機能的構成の一例を示す機能ブロック図である。

【図6】支援情報出力制御処理の例を示すフローチャートである。

【図7】受信データ処理の例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、以下に説明する実施形態は、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。本発明の技術的範囲には、様々な変形例も含まれる。

【0012】

図１は、本発明の一実施形態に係る情報処理装置による動画マニュアル作成支援方法の例を説明する図である。
図１では、情報処理装置１は、動画マニュアルの作成を支援するための動画マニュアル作成支援装置として実現されている。このことから、情報処理装置１は、以降「動画マニュアル作成支援装置１」と表記する。

【0013】

動画マニュアル作成支援装置１は、例えば熟練者である作業者ＳＧが実技を行っている様子の適切な撮影（撮像）を支援することにより、その撮影によって得られる動画を使った動画マニュアルの質を一定以上に維持させる。そのために、動画マニュアル作成支援装置１は、複数人の撮影者ＳＴを対象にした情報提供をタイムリに行うのが可能となっている。このタイムリな情報提供により、作業者ＳＧが行う実技についての知識がない、或いは知識が乏しい撮影者ＳＴであっても、カメラ３を用いての画像の撮影がより適切に行えるように支援する。図１では、情報提供により、二人の撮影者ＳＴがそれぞれ異なる位置、異なる撮影方向で作業者ＳＧを撮影している様子を表している。

【0014】

なお、カメラ３により撮影される画像は、静止画、或いは動画である。カメラ３により撮影すべき画像は動画に限定されない。これは、一連の連続する静止画であっても、作業者ＳＧが行う実技の動き等を学習者に容易に視認させることが可能だからである。そのため、動画マニュアルに使用される動画には、作業者ＳＧが実技を行っている様子を撮影したタイミングが異なる複数の静止画も含まれる。動画マニュアルの作成対象となる実技は、特に限定されないが、作業者ＳＧによる撮影が困難、或いは作業者ＳＧによる撮影だけでは望ましい画像を得るのが困難な実技にとって特に有用である。

【0015】

情報提供は、撮影者ＳＴが所持する、或いは身に付けている撮影者端末２を介して行うようになっている。図１では、その端末２として、ＰＣ（Personal Computer）、及びヘッドフォンを示している。何れも無線により、動画マニュアル作成支援装置１との通信を行うものである。なお、端末２は、ＰＣ、及びヘッドフォンに限定されない。端末２は、タブレットＰＣ、スマートフォン、或いはヘッドセット等であっても良い。

【0016】

動画マニュアル作成支援装置１は、作業者ＳＧが所持、或いは身に付ける作業者端末４との通信をサポートする。図１に例として示した端末４は、ヘッドセットである。ヘッドセットは、音声出力、及び音声入力が少なくとも可能なものである。このようなヘッドセットは、作業者ＳＧが手に持つ必要がないだけでなく、作業者ＳＧへの音声による情報提供、及び作業者ＳＧ自身による音声入力を可能とさせる。このため、特に手を使う実技を行う作業者ＳＧにとっては、ヘッドセットは端末４として望ましいものとなっている。なお、作業者ＳＧが使用する端末４は、ヘッドセットのような身に付ける装置に限定されない。端末４は、ＰＣ、タブレットＰＣ、或いはスマートフォン等であっても良い。

【0017】

図１に示す５は、実技による作業を行う対象となる部材である。この部材５は、例えば建物の外壁材、或いは外壁の下地材である。それにより、図１は、部材５を取り付ける取付作業、或いは取り付けられた部材を塗装する塗装作業を作業者ＳＧが実技として行っている様子を表している。このこともあり、以降、実技としては、建築現場での作業に着目し、動画マニュアル作成支援装置１の機能について説明することとする。

【0018】

図２、及び図３は、作業者が一連の作業を実技として行う場合に、撮影者に提供される情報の例を説明する図である。
図２、及び図３では、左側に提供メッセージを示し、右側に作業者ＳＧが作業を行っている様子を示している。提供メッセージは、撮影者ＳＴに提供される情報をテキストで示したものである。撮影者端末２がＰＣのような表示装置を備えたものであった場合、情報はテキストとして表示させることができる。端末２がヘッドフォンであった場合、情報は音声で撮影者ＳＴに伝達される。

【0019】

作業者ＳＧが実技として行っている作業は、複数の板状材ＢＺを同じ形状に切断する切断加工作業である。ここで図２、及び図３を参照し、この作業を作業者ＳＧが行う場合に、撮影者ＳＴに提供される情報の例について具体的に説明する。なお、ここでの板状材ＢＺとしては、ポリカーボネイト等の樹脂製の比較的に薄い波板を想定している。

【0020】

提供メッセージの一部は、点線で表す矩形により囲まれている。この矩形に囲まれた部分は、撮影者ＳＴが撮影を行う撮影条件（撮像条件）を指定する撮影条件情報（撮像条件情報）を表している。残りの部分は、一連の作業を行っていく手順を指定する手順情報を表している。手順情報は、撮影条件に沿った撮影を撮影者ＳＴがより容易に行えるように支援する情報でもある。このことから、本実施形態では、手順情報、及び撮影条件情報（支援情報）の組を手順支援情報として予め取得し、作業者ＳＧによる作業の進行に合わせ、以下のように、手順支援情報を撮影者ＳＴに順次、提示するようにしている。

【0021】

図２、及び図３に示すように、切断加工作業では、１つ目の板状材ＢＺを切断するまでに、板状材ＢＺを実際に切断する切断作業を行うための準備作業→切断箇所を決める切断前作業→切断作業、の手順がある。
準備作業は、板状材ＢＺへの汚れ等の付着、及び傷等の発生を抑えるために、板状材ＢＺを置くシート材ＢＳ等を敷く作業である。図２では、準備作業として、シート材ＢＳの端を持った作業者ＳＧが、シート材ＢＳを広げている様子を表している。このような準備作業では、作業者ＳＧはシート材ＢＳ等を広げて敷いていることを学習者が分かり易いように、撮影条件として、全体が撮影範囲と指定される。それにより、撮影者ＳＴは、シート材ＢＳ等、及び作業者ＳＧの全てが１画像として撮影されるように静止画、或いは動画を撮影する。

【0022】

静止画は、動画から得ることが可能である。このこと、更には混乱を避けるために、特に断らない限り、撮影は動画撮影を指す意味で用いる。
切断前作業では、作業者ＳＧは、メジャーＭＪを用いて板状材ＢＺの切断箇所を決め、決めた切断箇所に印しを付ける。切断箇所の決め方、及びその印しの付け方を学習者が分かり易いように、撮像条件として、全体、及び作業者ＳＧの手元の両方が撮影範囲として指定される。図２では、便宜的に、作業者ＳＧの手元として撮影するのが望ましい範囲を点線で描く円で示している。

【0023】

切断作業では、作業者ＳＧは、切断前作業で印した切断箇所にカッターガイドＪＧ等を合わせ、そのカッターガイドＪＧ等に沿って切断具ＣＴを動かすことにより、板状材ＢＺの切断を行う。作業者ＳＧは、利き手で切断具ＣＴを持ち、切断作業を行う。

【0024】

その切断作業では、作業者ＳＧは、切断具ＣＴを適切に板状材ＢＺに当てる必要があるだけでなく、板状材ＢＺが動かないように押さえる必要がある。利き手は切断具ＣＴを持ち、残った手はカッターガイドＪＧ等を押さえなければならない。利き手には力を入れられるようにしなければならない。このようなこともあり、板状材ＢＺは、結果的に、利き足でない方の足で押さえなければならない。一方の利き足は、利き手をスムーズに動かせるように置く必要がある。そのためには、図２に示すように、開くようにして、利き足を置く必要がある。これらのことから、切断作業では、撮影条件として、切断具ＣＴの当て方、板状材ＢＺの足による押さえ方、及び利き足の置き方が分かり易くするズーム撮影が指定される。図２中の点線で示す３つの円は、ズーム撮影の対象となる範囲をそれぞれ表している。

【0025】

この切断作業により、１つ目の板状材ＢＺに対する切断加工作業が終了する。図３は、２つ目以降の板状材ＢＺに対する船団加工作業の手順例、及び各手順での提供メッセージの例を示している。
２つ目以降の板状材ＢＺの切断加工作業は、図３に示すように、１つ目の板状材ＢＺを用いて２つ目以降の板状材ＢＺの切断箇所を決める切断前作業→決めた切断箇所に印しを付ける切断前作業→切断箇所を切断する切断作業、の手順がある。

【0026】

切断箇所を決める切断前作業では、作業者ＳＧは、２つ目以降の板状材ＢＺをシート材ＢＳ等の上に置いた後、その板状材ＢＺの上に１つ目の板状材ＢＺを重ねる。１つ目の板状材ＢＺは、切断箇所の反対側の端が２つ目以降の板状材ＢＺのその端と揃うように重ねる必要がある。図２は、２つの板状材ＢＺの端を作業者ＳＧが揃えている様子を示している。このようなことから、撮影条件として、２つ目以降の板状材ＢＺ上に１つ目の板状材ＢＺを重ねる作業が分かり易い全体、及び２つの板状材ＢＺの端を揃える作業者ＳＧの手元が指定される。作業者ＳＧの手元は、点線で示す円で表している。

【0027】

切断箇所に印しを付ける切断前作業では、作業者ＳＧは、１つ目の板状材ＢＺの揃えていない方の端を用いて、２つ目以降の板状材ＢＺの切断箇所に印しを付ける。その印しは、例えば切断具ＣＴを用いて付ける。このことから、切断具ＣＴを用いた印の付け方が分かり易いように、撮影条件として、作業者ＳＧの手元のズーム撮影が指定される。
その後に移行する切断作業は、１つ目の板状材ＢＺと同様に行われる。このことから、撮像条件は、１つ目の板状材ＢＺでの切断作業と同じとなる。

【0028】

切断加工作業は、比較的に単純であり、技術的な困難性も比較的に低い。しかし、上記のように、知識がない、或いは知識が乏しい学習者にとっては、憶えなければならないことが多いのが実情である。このことから、視覚的な情報提供により、理解をより容易とさせる動画マニュアルが着目される。

【0029】

本実施形態では、図２、及び図３に示すように、熟練者の視点で撮像条件を手順（作業）別に提示する。この撮像条件の提示により、動画マニュアルで使用するのに適した画像を得るための撮影を、その動画マニュアルで学習させる想定の実技に関する知識のない撮影者ＳＴであっても可能にさせる。このことから、動画マニュアルの作成のために必要な条件は緩和され、動画マニュアルの作成はより容易に行えるようになる。動画マニュアルの作成に要する期間の短縮化も期待できる。

【0030】

なお、手順情報に対応付けられた支援情報は、情報不足等である場合が考えられる。このことから、実技のカテゴリ、手順情報、及びその手順情報で表される作業内容等を基に、支援情報として不足している情報等の有無を確認し、その確認結果に応じて、不足していると推定される情報を補うようにしても良い。これは、例えば多次元の辞書となるテーブルを用意し、用意したテーブルの参照により、行うようにしても良い。作業者ＳＧの動作等の画像解析により、行うようにしても良く、その解析結果をテーブルの参照に更に利用するようにしても良い。

【0031】

以降は、上記のように、撮影条件の提示による撮影の支援を通して、動画マニュアルの作成を支援する動画マニュアル作成支援装置１について、図４～図７を参照し、詳細に説明する。
図４は、本発明の情報処理装置の一実施形態に係る動画マニュアル作成支援装置のハードウェア構成の一例を示すブロック図である。始めに図４を参照し、動画マニュアル作成支援装置１として使用可能な情報処理装置のハードウェア構成例について具体的に説明する。なお、この構成例は一例であり、動画マニュアル作成支援装置１として使用可能な情報処理装置のハードウェア構成はこれに限定されない。

【0032】

動画マニュアル作成支援装置１は、図４に示すように、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、バス１４、入出力インターフェース１５、出力部１６、入力部１７、記憶部１８、通信部１９、及びドライブ２０、を備えている。

【0033】

ＣＰＵ１１は、例えばＲＯＭ１２に記録されているプログラム、或いは／及び記憶部１８からＲＡＭ１３にロードされたプログラムを実行し、各種の処理を実現させる。記憶部１８からＲＡＭ１３にロードされるプログラムには、例えばＯＳ（Operating System）、及びそのＯＳ上で動作する各種アプリケーション・プログラムが含まれる。各種アプリケーション・プログラムには、情報処理装置を動画マニュアル作成支援装置１として機能させるために開発されたものが１つ以上、含まれる。以降、この開発されたアプリケーション・プログラムは、「開発アプリケーション」と表記する。

【0034】

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。そのデータには、ＣＰＵ１１が実行する各種プログラムも含まれる。各種プログラムは、ＲＡＭ１３に読み出されてＣＰＵ１１に実行される。

【0035】

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９、及びドライブ２０が接続されている。

【0036】

出力部１６は、例えば液晶等のディスプレイを含む構成である。出力部１６は、ＣＰＵ１１の制御により、各種画像、或いは各種画面を表示する。出力部１６は、動画マニュアル作成支援装置１に搭載されたものであっても良いが、必要に応じて接続されるものであっても良い。それにより、出力部１６は、必須の構成要素ではない。

【0037】

入力部１７は、例えばキーボード等の各種ハードウェア釦等を含む構成のものである。その構成には、マウス等のポインティングデバイスが１つ以上、含まれていても良い。操作者は、入力部１７を介して各種情報を入力することができる。この入力部１７も、動画マニュアル作成支援装置１に搭載されたものであっても良いが、必要に応じて接続されるものであっても良い。それにより、入力部１７も、必須の構成要素ではない。なお、操作者は、主に管理者、作業者ＳＧ、或いは撮影者ＳＴである。

【0038】

記憶部１８は、例えばハードディスク装置、或いはＳＳＤ（Solid State Drive）等の補助記憶装置である。データ量の大きいデータは、この記憶部１８に記憶される。
通信部１９は、無線通信用の通信装置である。通信部１９は、撮影者ＳＴが使用する撮影者端末２、及び作業者ＳＧが使用する作業者端末４との間の通信を可能にさせる。

【0039】

なお、撮影者端末２、或いは４との通信を可能にする通信部１９は、異なる通信規格のものが複数、搭載されていても良い。端末２、或いは４との通信は、ネットワーク、或いは別の装置を介して行われるものであっても良い。ここでは便宜的に、通信部１９は、端末２、及び４との通信を直接、行うのを可能にするものと想定する。

【0040】

ドライブ２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリカード等のリムーバブルメディア２５が着脱可能な装置である。ドライブ２０は、例えば装着されたリムーバブルメディア２５からの情報の読み取り、及びリムーバブルメディア２５への情報の書き込みが可能である。それにより、リムーバブルメディア２５に記録されたプログラムは、ドライブ２０を介して、記憶部１８に記憶させることができる。また、ドライブ２０に装着されたリムーバブルメディア２５は、記憶部１８に記憶されている各種データのコピー先、或いは移動先として用いることができる。

【0041】

開発アプリケーションは、情報処理装置を動画マニュアル作成支援装置１として機能させることを想定し開発されたものである。この開発アプリケーションは、リムーバブルメディア２５に記録させて配布しても良い。インターネット等のネットワークを介して配布可能にしても良い。このことから、開発アプリケーションを記録した記録媒体としては、インターネット等のネットワークに直接的、若しくは間接的に接続された情報処理装置に搭載、若しくは装着されたものか、或いは外部のアクセス可能な装置に搭載、若しくは装着されたものであっても良い。

【0042】

動画マニュアル作成支援装置１が備えるハードウェア資源は、アプリケーション・プログラムを含む各種プログラムによって制御される。その結果、情報処理装置は、端末２、及び４等との通信を行い、動画マニュアルの作成を支援する動画マニュアル作成支援装置１として機能する。

【0043】

図５は、本発明の情報処理装置の一実施形態に係る動画マニュアル作成支援装置上に実現される機能的構成の一例を示す機能ブロック図である。次に図５を参照しつつ、動画マニュアル作成支援装置１上に実現される機能的構成の例について詳細に説明する。

【0044】

動画マニュアル作成支援装置１のＣＰＵ１１上には、機能的構成として、図５に示すように、手順支援情報登録部１１１、送信先設定部１１２、手順支援情報送信制御部１１３、動画登録部１１４、画像解析部１１５、音声登録部１１６、自然言語処理部１１７、及び編集支援部１１８が実現される。そのＣＰＵ１１は、通信部１９を介して、端末２、及び４等との間でデータの送受信を行う。

【0045】

これらは、開発アプリケーションを含む各種プログラムをＣＰＵ１１が実行することにより実現される。その結果として、記憶部１８には、手順支援情報格納部１８１、送信先情報格納部１８２、動画格納部１８３、音声格納部１８４、認識結果格納部１８５、及び対応関係情報格納部１８６が情報格納用に確保される。

【0046】

本実施形態では、図２、及び図３に例を示す提供メッセージは、手順支援情報として登録するようにしている。動画マニュアルによる学習対象となる実技の大部分は、手順が存在する。ここでの手順とは、作業者ＳＧが作業を行う順序、或いはその作業のことである。そのため、１つの動作マニュアルの作成には、複数の手順支援情報、つまり手順支援情報群が必要となる。手順支援情報登録部１１１は、このような手順支援情報群の登録を可能にする。手順支援情報登録部１１１は、登録を指示された手順支援情報群を、記憶部１８に確保された手順支援情報格納部１８１に格納する。

【0047】

図５では、動画マニュアル作成支援装置１の通信先として、撮影者端末２、及び作業者端末４のみ示している。それらは、使用する人に着目した呼称であり、何れも手順支援情報（手順支援情報群）の登録に使用可能である。このこともあり、手順支援情報の登録は、通信部１９を介した通信が可能な端末を用いて指示することができる。しかし、手順支援情報の登録は、入力部１７への操作でも指示が可能である。登録すべき手順支援情報は、入力部１７、及びリムーバブルメディア２５のうちの何れかを用いて入力させることも可能である。ここでは、混乱を避けるために、手順支援情報の登録指示、及び各種設定は、通信部１９を介した通信が可能な管理者端末を用いて行われると想定する。また、登録される手順支援情報群は、手順に沿って手順支援情報がまとめられたものと想定する。

【0048】

送信先設定部１１２は、通信相手（出力先）となる撮影者端末２、及び作業者端末４を設定するためのものである。設定結果は、送信先情報として、記憶部１８に確保された送信先情報格納部１８２に格納される。
送信先情報は、動画マニュアル作成支援装置１と通信可能な端末を制限する。その送信先情報には、例えば端末種別、作業種別、アドレス、及び出力形態等を表す情報が含まれる。
端末種別は、通信相手が撮影者端末２．及び作業者端末４のうちの何れかであるかを認識可能にする。撮影者端末２では、手順支援情報の切り換えの指示用か否かの判別を可能にさせる。
作業種別は、例えば撮影作業、編集作業、及びその両方のうちの一つを表す。この作業種別により、想定する作業に応じて、手順支援情報を送信する必要性の有無が判定可能になる。

【0049】

手順支援情報は、手順の進行に沿って順次、送信しなければならない。作業者ＳＧによる作業の進行速度は、作業者ＳＧの熟練度、作業環境、或いは撮影者ＳＴが撮影に要する時間等によっても変化する。作業者ＳＧが行っている作業は、画像解析により推定することが可能であっても、精度は比較的に低いのが実情である。これらは、手順支援情報を適切なタイミングで自動的に順次、送信することが困難であることを意味する。このことから、本実施形態では、撮影者端末２からの指示により、手順支援情報を順次、送信するようにしている。手順支援情報の送信（切り換え）を指示可能な撮影者端末２は、以降「送信指示端末２」とも表記し、他の撮影者端末２と区別する。

【0050】

アドレスは、通信相手となる撮影者端末２、或いは作業者端末４の識別情報である。無線通信がブルートゥース（登録商標）で行われる場合、アドレスはＢＤ（Bluetooth（登録商標） Device）アドレスである。なお、無線通信の規格は、ブルートゥース（登録商標）に限定されない。

【0051】

撮影者端末２としては、図１に示すように、様々なものを用いることができる。これは、作業者端末４であっても同様である。
表示装置を備えた撮影者端末２では、テキストで手順支援情報を表示させても良い。しかし、表示装置を備えていない撮影者端末２、例えばヘッドフォンでは、テキストでの表示は不可能か、或いは困難である。このようなことから、本実施形態では、手順支援情報の出力形態を、例えば表示、及び音声のうちから選択させるようにしている。

【0052】

このような送信先情報を登録することにより、撮影者ＳＴ、動画マニュアルを作成する作成者（編集者）は、任意の端末を使用することができる。撮影者ＳＴ、及び作成者の何れも固定させる必要はない。これは、動画マニュアルを作成する側にとっては、撮影作業、或いは編集作業を希望する希望者のうちから任意に撮影者ＳＴ、或いは作成者を選択できることを意味する。例えばクラウドソーシングサービスを利用し、本来は第三者であるクラウド・ワーカーを撮影者ＳＴ、或いは作成者として幅広く従事させることもできる。上記送信先情報の登録は、これを可能にさせる。このことから、作成する側にとっては高い利便性が得られる。なお、希望者を撮影者ＳＴ、或いは作成者として従事させる場合、例えば、希望者のスキル情報や価格提示情報などにより、送信先情報の登録上の優先順位を決定し、決定した優先順位に沿って従事させるようにしても良い。

【0053】

手順支援情報送信制御部１１３は、撮影時に、送信指示端末２からの指示により、送信する手順支援情報を選択し、通信相手として設定された各撮影者端末２、及び作業者端末４に送信する制御を行う。出力形態が音声となっている撮影者端末２、或いは作業者端末４には、手順支援情報を音声発音用のデータに変換させ、その変換によって得られたデータ（音声データ）を送信させる。

【0054】

このようなデータ変換は、自然言語処理部１１７によって行われる。自然言語処理部１１７は、作業者ＳＧが作業者端末４に入力した音声をテキストデータに変換し、そのテキストデータを対象にした自然言語処理を行い、作業者ＳＧの発言内容を自動認識することが可能である。この認識結果は、記憶部１８に確保された認識結果格納部１８５に格納される。

【0055】

作業者ＳＧは、撮影者ＳＴに対し、撮影の仕方、つまり撮影条件を指示する等のための発言を行うことが考えられる。この撮影条件は、動画マニュアルの作成時には編集条件（編集条件情報）とすれば良いものである。このようなことから、本実施形態では、作業者ＳＧの発言内容を自動認識し、その認識結果を記憶部１８の認識結果格納部１８５に保存するとともに、撮影者ＳＴに伝えることを可能にさせている。そのために、手順支援情報送信制御部１１３は、認識結果を支援情報の一つとして、撮影者端末２に送信させることが可能となっている。なお、このようにして生成された支援情報は、手順支援情報を構成する支援情報と区別する場合、「生成支援情報」と表記する。

【0056】

撮影者端末２は、カメラ３で撮影された画像を動画マニュアル作成支援装置１に送信させることが可能である。それにより、動画マニュアル作成支援装置１は、画像の保存先として利用できるようになっている。動画登録部１１４は、各撮影者端末２から受信された画像（主に動画）を、記憶部１８に確保された動画格納部１８３に格納させる。

【0057】

画像解析部１１５は、動画登録部１１４によって動画格納部１８３に格納される動画を対象にした解析を行い、例えば撮影された作業者ＳＧの動作（作業）、姿勢、及び対象物（図１における部材５等）との位置関係等を認識する。更に、これらの認識を用いて、適切と考えられる撮影条件、例えば撮影範囲、及び撮影方向等を推定する。

【0058】

この推定結果も、撮影条件を表す生成支援情報として、手順支援情報送信制御部１１３により送信させることが可能である。また、この生成支援情報も、記憶部１８に確保された認識結果格納部１８５に格納される。それにより、その手順支援情報の内容は、動画マニュアルを作成する作成者（編集者）が、その作成時、つまり編集時でも確認できるようになっている。

【0059】

作成者は、手順支援情報の提示により、実技に関する知識がなくとも、一定以上の質の動画マニュアルを作成することができる。動画のうちで必要な箇所を抽出する、或いは画像中の必要箇所の抽出（ズーム）等のための選択処理をより適切、且つ容易に行えるようになる。複数の撮影者ＳＴが撮影を行った場合には、各撮影者ＳＴの撮影により得られた画像のうちで動画マニュアルに使用する画像の選択処理もより適切、且つ容易に行えるようになる。更に生成支援情報が提示される場合、作成者は、このような選択処理を更に適切、且つ容易に行えるようになることから、より質の高い動画マニュアルを作成できるようになる。

【0060】

支援情報の提示により、撮影者ＳＴは、提示された支援情報に沿った撮影を行えるようになる。例えば引きの動画、ズームの静止画、三歩下がる静止画等の撮影を撮影者ＳＴに行わせることができる。一方の作成者は、得られた画像の選択を含む編集により、それらの撮影に合わせ、引きの動画、ズームの静止画、三歩下がる静止画等を作成することができる。他に、作成者は、一連の静止画による紙芝居的な動画、或いはタイムラプス動画等の作成、アノテーション等の追加、或いはキャプションの追加等のための画像編集等も行うことができる。
なお、支援情報として提示する撮影条件、及び編集条件は何れも１例であり、提示可能な撮影条件、及び編集条件は、上記の例に限定されない。それらは、動画マニュアルを作成する実技、その実技が行われる環境等に応じて、適宜、定めても良いものである。

【0061】

上記のような撮影、或いは編集の条件は、主に、作業者ＳＧと対象物との間の距離、作業者ＳＧの姿勢、撮影方向（角度）、作業者ＳＧの動きの速さ、移動範囲（作業上の対象範囲を含む）、使用する道具（工具）、若しくは部材５等の大きさ、使用する道具（工具）の種類、視認のし易さ、或いは作業者ＳＧの人数等が考慮され決定されたものである。上記のような画像では、主に、例えば以下のようなことが重視される。なお、図１では、部材５、図２、及び図３では、板状材ＢＺが対象物に相当する場合がある。対象物は、部材５、或いは板状材ＢＺの他に、作業者ＳＧが作業を行ううえで影響を受ける構造物（はしご、作業台、等は構造物に含まれる）、作業場所、或いはその近傍に存在する物体等も含まれる。図２に示す切断具ＣＴ、メジャーＭＪ、及びカッターガイドＪＧは何れも、道具の一つである。

【0062】

引きの動画は、作業者ＳＧと対象物との間の距離が比較的に大きいか、或いは作業者ＳＧの全体的な姿勢を視認し易くするために選択される。他に、作業者ＳＧが複数人で行う作業、大きい道具、若しくは部材等を使う作業、短い時間内での移動範囲が比較的に大きい作業、等でも選択される。それにより、作業者ＳＧと対象物との間の位置関係、作業者ＳＧが取るべき位置、若しくは姿勢、道具、若しくは部材等の扱い方、移動の仕方、移動中の動き、若しくは作業内容、作業者ＳＧ間の位置関係、作業者ＳＧの作業場所等が容易に視認可能になる。具体的な実技としては、家屋の屋根の塗り作業、屋根の解体作業等を挙げることができる。

【0063】

ズームの静止画は、細かい作業（例えば道具の持ち方、若しくは使い方等を含む）、身体の一部分の配置、要所要所の作業者ＳＧの姿勢、道具等の使い方、若しくは動作、或いは完成形等を視認し易くするために選択される。それにより、切断具ＣＴを用いた切断作業では、切断具ＣＴの持ち方、切断対象部材への刃の当て方（図２等）、等を視認し易くする。塗料を塗る作業では、刷毛等の道具の持ち方、対象部材への刷毛等の当て方、動かし方等を視認し易くする。ビニール養生作業では、養生後の状態を視認し易くする。動きの比較的に速い作業では、作業中の要所要所の瞬間的な作業者ＳＧの姿勢、その作業中における細かい動き、等を確認し易くする。

【0064】

三歩下がる静止画は、比較的に移動する速さ、若しくは動きが大きい、或いは対象物が比較的に大きい等の場合に選択される。それにより、作業者ＳＧの要所要所での姿勢、若しくは動き、或いは対象物の扱い方等を視認し易くする。撮影では、作業者ＳＧの動きを撮影者ＳＴが邪魔をしないようにする意図で選択される場合もある。
一連の静止画による紙芝居画像は、主に、移動範囲が比較的に狭く、且つ作業の進捗が比較的に遅い作業が選択対象になる。その作業としては、例えば脱気筒の設置作業を挙げることができる。この紙芝居により、作業が進行していく様子が視認し易くなる。

【0065】

タイムラプス画像は、全体的な作業の流れ等を視認し易くするために選択される。例えば片付け作業、家屋の屋根、若しくは外壁等の塗り作業、屋上における防水作業、或いは家屋の解体作業等の、同じ画角での観察が可能で比較的に長い時間がかかる作業が進行する様子を視認し易くするために選択される。大きいシート材を畳む作業は、片付け作業の一部と位置付けられる。
このようなタイムラプス画像により、作業の進め方のイメージが掴み易くなる。

【0066】

ここでは、アノテーションは、例えば追加対象の画像が表す作業に関連する情報をテキスト化したものであり、キャプションは、例えば追加対象の画像についての説明のための情報をテキスト化したものである。このことから、何れも、画像が表す内容をより適切、且つ容易に理解できるように追加される。これらの情報は何れも、支援情報で与えられる。

【0067】

アノテーションは、具体的には、例えば作業者ＳＧと対象物との間の適切な位置関係、作業を行ううえで守るべき事項、等の通知のために追加される。アノテーションの例としては、例えば「身体は最低、腕一本分、対象物から離したほうが作業はし易い」「ここは部材を真っ直ぐに配置する」「刃を当てる角度は４０度程度にする」等を挙げることができる。

【0068】

キャプションは、具体的には、例えば画像からは視認できない、或いは視認するのが困難であっても、作業を行ううえで注意すべき事項、等の通知のために追加される。例えば部材等の状態を指、或いは道具等で叩いた際の音で確認する必要のある作業では、「部材を叩いて音を良く聴きましょう」「部材を叩いて、高い音がするのを確認しましょう」等のメッセージをキャプションとして追加することが考えられる。

【0069】

上記のような各種画像、及びアノテーション、或いはキャプションの追加は、多くの場合、組み合わされる。
例えば切断具ＣＴの刃の当て方を視認し易いズームの静止画では、刃の当て方を伝えるためのアノテーションを追加しても良い。動きの速い作業等では、動画に、要所要所の作業者ＳＧの動作を適切に視認できるようにする静止画を組み合わせるようにしても良い。家屋の屋根の塗り作業では、屋根全体が写った静止画、塗り作業を行っている作業者ＳＧを写した、撮影範囲がより狭い静止画、及び紙芝居画像、若しくはタイムラプス画像等を組み合わせても良い。このようなこともあり、多くの場合、撮影者ＳＴは複数人、居るのが望ましい（図１）。

【0070】

上記のような撮影、或いは編集が行われ、動画マニュアルが作成される。このことから、作成済みの動画マニュアルは、その動画マニュアルが想定する実技と作業内容が類似する実技の動画マニュアルを作成するうえでの参考となる。このため、作成済みの動画マニュアルに基づいて、別の動画マニュアルの作成に有用な手順情報、及び支援情報の生成が可能である。
上記の例は、現場で行われる実技を想定してのものである。つまり、上記のような撮影、或いは編集は、一例であり、これに限定されない。撮影、或いは編集のための条件は、動画マニュアルの作成を想定する実技に応じて適宜、決定すれば良いものである。上記のようなこともあり、撮影に得られた画像と、動画マニュアルに実際に使用される画像とは、必ずしも一致しない。

【0071】

音声登録部１１６は、作業者端末４から受信された音声（音声情報）を処理し、処理後の音声を記憶部１８に確保された音声格納部１８４に格納する。作業者端末４から受信された音声、或いは処理後の音声が、自然言語処理部１１７に渡される。それにより、自然言語処理部１１７は、作業者ＳＧの発言内容の自動認識を行うことができる。

【0072】

自然言語処理部１１７が認識結果を得られたタイミング、画像解析部１１５が撮像条件を推定したタイミング、及び送信指示端末２から指示されたタイミングは何れも、動画マニュアルで使用する動画部分を特定するうえで有用な情報である。認識結果、及び撮像条件の推定結果は、動画マニュアルに使用する画像の選定、及び画像を拡大、或いは縮小する画像操作をより適切に行えるように支援する。このことから、本実施形態では、それらのタイミングを表す情報を、対応する動画部分をより容易に特定可能とさせる対応関係情報として、記憶部１８に確保した対応関係情報格納部１８６に格納するようにしている。それにより、手順支援情報送信制御部１１３、画像解析部１１５、及び自然言語処理部１１７は、対応関係情報の生成、及び生成した対応関係情報の保存も行う。

【0073】

編集支援部１１８は、動画格納部１８３に格納された動画、手順支援情報格納部１８１に格納された手順支援情報（手順支援情報群）、認識結果格納部１８５に格納された生成支援情報、及び対応関係情報格納部１８６に格納された対応関係情報の出力制御を行う。この出力制御を通して、作成者（編集者）に対し、例えば手順支援情報毎に、対応関係情報によって対応付けられる手順支援情報、或いは生成支援情報と動画部分との間の関係を確認可能にさせる。作成者にとっては、このような確認を行えることから、上記のように、動画マニュアルをより適切、且つ容易に作成できるように支援されることになる。なお、上記送信先情報は、この出力制御時にも参照される。

【0074】

上記機能構成において、手順支援情報登録部１１１は手順情報取得手段、手順支援情報送信制御部１１３は支援情報出力制御手段、画像解析部１１５、及び自然言語処理部１１７はともに支援情報生成手段、音声登録部１１６は音声取得手段にそれぞれ相当する。送信先設定部１１２は、出力先設定手段に相当する。

【0075】

以降は、図６、及び図７にそれぞれ示すフローチャートを参照し、動画マニュアル作成支援装置１の動作について更に説明する。ここでは、フローチャートで示す処理を実行する主体として、ＣＰＵ１１を想定する。

【0076】

図６は、支援情報出力制御処理の例を示すフローチャートである。この出力制御処理は、撮影者ＳＴが動画マニュアルのための撮影を行っている間に、手順支援情報（本実施形態における手順情報、及び支援情報）を順次、送信するために実行される処理である。この出力制御処理は、例えば送信指示端末２から、想定する動画マニュアルを表す指定情報を含む実行指示の受信により起動される。ここでは、理解を容易とするために、その間に実行される一連の処理を出力制御処理としている。始めに、図６を参照し、この出力制御処理について詳細に説明する。なお、出力制御処理の起動方法は、特に限定されない。

【0077】

先ず、ステップＳ１では、ＣＰＵ１１は、実行指示に含まれる指定情報が表す動作マニュアルを特定するとともに、現在日時を表す日時情報を保存する。手順支援情報格納部１８１に格納されている手順支援情報群は、動作マニュアルと対応付けられている。そのため、動作マニュアルの特定は、送信対象となる手順支援情報群の特定に相当する。

【0078】

次に移行するステップＳ２では、ＣＰＵ１１は、送信先情報格納部１８２に格納されている送信先情報を参照し、送信先となる撮影者端末２、及び作業者端末４を特定する。続くステップＳ３では、ＣＰＵ１１は、手順支援情報群中から、特定した端末２、及び４に送信すべき情報を送信分として抽出する。

【0079】

手順支援情報群には、例えば手順支援情報の他に、手順支援情報の送信の開始、或いは注意事項等を通知するための情報も含まれる。そのため、各端末２、或いは４に送信される情報は、手順支援情報のみではない。このこともあり、ステップＳ３では、送信対象となる情報を送信分と表記している。ここでは、各端末２、或いは４に送信される情報の総称として「送信分」を用いる。

【0080】

ステップＳ４では、ＣＰＵ１１は、ステップＳ２で特定した端末２、及び４のうちの一つを選択する。続くステップＳ５では、ＣＰＵ１１は、選択した端末２、或いは４に送信分を送信させる。送信分は、送信先情報中の出力形態により、必要に応じて変換される。それにより、様々な種類の端末２、及び４に対応可能となっている。送信分を送信させるための処理の実行後はステップＳ６に移行する。

【0081】

ステップＳ６では、ＣＰＵ１１は、選択していない他の端末２、或いは４があるか否か判定する。ステップＳ２で送信先として特定した端末２、及び４のうちに、送信分を送信させる処理を行っていないものが存在する場合、ステップＳ６の判定はＹＥＳとなって上記ステップＳ４に戻る。それにより、未選択の端末２、及び４のうちの一つが選択されることになる。未選択の端末２、及び４は存在しない場合、ステップＳ６の判定はＮＯとなってステップＳ７に移行する。

【0082】

ステップＳ７では、ＣＰＵ１１は、送信指示端末２から、手順支援情報の送信指示（図５では「進行指示」と表記）が受信されたか否か判定する。その送信指示が受信された場合、ステップＳ７の判定はＹＥＳとなってステップＳ８に移行する。その送信指示が受信されない場合、ステップＳ７の判定はＮＯとなって、再度、ステップＳ７の判定処理が実行される。

【0083】

ステップＳ８では、ＣＰＵ１１は、手順支援情報群に未送信の送信分があるか否か判定する。未送信の送信分が存在しない場合、ステップＳ８の判定はＮＯとなってステップＳ９に移行する。未送信の送信分が存在する場合、ステップＳ８の判定はＹＥＳとなってステップＳ３に戻る。それにより、手順支援情報群のうちから送信すべき送信分が抽出される。

【0084】

ステップＳ９では、ＣＰＵ１１は、手順支援情報の送信が終了、つまり撮影者ＳＴへの撮影支援が終了した旨のメッセージを各端末２、及び４に送信するための処理を実行する。このメッセージの送信処理が終了した後、支援情報出力制御処理が終了する。

【0085】

このような支援情報出力制御処理の実行により、各端末２、及び４には、送信指示端末２からの指示により、手順支援情報が順次、送信されることになる。そのため、各撮影者ＳＴは、撮影者端末２から出力される手順支援情報により、動画マニュアルの作成に必要な画像を得るための撮影をより適切に行うことができる。

【0086】

図７は、受信データ処理の例を示すフローチャートである。この受信データ処理は、例えば上記支援情報出力制御処理が実行されている間、受信データに対応するために繰り返し実行される処理である。ここでの受信データは、主に画像（動画等）、或いは音声であり、各種指示等のためのデータは含まれない。次に図７を参照し、この受信データ処理について詳細に説明する。

【0087】

先ず、ステップＳ２１では、ＣＰＵ１１は、データが端末２、或いは４から受信されたか否か判定する。端末２、或いは４からのデータが受信された場合、ステップＳ２１の判定はＹＥＳとなってステップＳ２２に移行する。データが受信されなかった場合、ステップＳ２１の判定はＮＯとなり、ここで受信データ処理が終了する。

【0088】

ステップＳ２２では、受信されたデータを、受信先、及びデータ種別で分けて保存する。それにより、例えば画像は動画格納部１８３、音声は音声格納部１８４に、受信先を表す識別情報と対応付けて格納する。格納するデータには、必要に応じて、現在日時を表す日時情報を挿入する。そのような格納を行った後、ステップＳ２３に移行する。

【0089】

ステップＳ２３では、ＣＰＵ１１は、受信データに音声があるか否か判定する。音声がデータとして受信された場合、ステップＳ２３の判定はＹＥＳとなってステップＳ２４に移行する。音声が受信されていない場合、ステップＳ２３の判定はＮＯとなってステップＳ２５に移行する。

【0090】

ステップＳ２４では、ＣＰＵ１１は、新たに受信された音声、それ以前に受信され保存された音声を用いた自然言語処理により、作業者ＳＧの発言内容の認識を行う。その後、ステップＳ２５に移行する。

【0091】

ステップＳ２５では、ＣＰＵ１１は、受信データに画像があるか否か判定する。画像がデータとして受信された場合、ステップＳ２５の判定はＹＥＳとなってステップＳ２６に移行する。画像が受信されていない場合、ステップＳ２５の判定はＮＯとなってステップＳ２７に移行する。

【0092】

ステップＳ２６では、ＣＰＵ１１は、新たに受信された画像、それ以前に受信され保存された画像を用いた画像解析により、適切と考えられる撮影条件の推定を行う。この推定を行った後、ステップＳ２７に移行する。

【0093】

ステップＳ２７では、ＣＰＵ１１は、自然言語処理、或いは画像解析を行った結果、意味を確定できたか否か判定する。ここでの意味確定とは、自然言語処理では、作業者ＳＧの発言内容の最終的な認識結果、画像解析では、最終的に適切と推定した撮像条件が確定したことに相当する。このことから、最終的な認識結果、或いは撮像条件が確定した場合、ステップＳ２７の判定はＹＥＳとなってステップＳ２８に移行する。それらの何れも確定していない場合、ステップＳ２７の判定はＮＯとなり、ここで受信データ処理が終了する。

【0094】

ステップＳ２８では、ＣＰＵ１１は、確定した認識結果、及び撮像条件を生成支援情報として、認識結果格納部１８５に格納するとともに、現在日時を表す日時情報を対応関係情報として、対応関係情報格納部１８６に格納する。そのような格納を行った後、受信データ処理が終了する。

【0095】

日時情報は、上記支援情報出力制御処理でステップＳ１を実行した際に保存される。音声、及び動画にも挿入される。それにより、対応関係情報として保存した日時情報は、生成支援情報に対応付けられる音声、及び動画の位置を表す情報となっている。
生成支援情報を撮影条件として撮影者ＳＴに提示する場合、生成支援情報を保存するタイミングで、その生成支援情報を各撮影者端末２に送信させる処理を行うようにすれば良い。各撮影者端末２を対象に行う処理としては、上記支援情報出力制御処理におけるステップＳ４～Ｓ６のような処理であっても良い。このようなこともあり、ここではフローチャートを参照しての説明を省略する。

【0096】

なお、本実施形態では、撮影者ＳＴによる撮影を想定し、テキスト、或いは音声の形態で手順支援情報を撮影者ＳＴに順次、提示するようにしているが、撮影は、必ずしも撮影者ＳＴに行わせなくとも良い。例えば固定させて設置させるか、或いは移動可能なカメラ３を直接的、或いは間接的に動画マニュアル作成支援装置１に制御させ、撮影を行わせるようにしても良い。その場合、カメラ３、或いはカメラ３を搭載、若しくは取り付けた移動可能な移動体（例えばドローン等）を撮影ロボット（撮像ロボット）として、その撮影ロボットを制御するための制御データを、支援情報を基に生成するようにしても良い。この制御データをより適切に生成できるように、実技に用いられる道具（工具）、部材、及び実技を行う環境等の別情報を動画マニュアル作成支援装置１に取得させ、制御データの生成に反映させるようにしても良い。また、画像解析の結果を制御データの生成に反映させても良い。撮影ロボットは、視野サイズ、或いは撮影方向等を、外部から与える情報により、或いは設定に従った自律的な動作により、変更可能なカメラ３であっても良い。このようなこともあり、ここでの撮影ロボットとは、外部からの情報により、或いは設定により、何らかの動作を行うことが可能なものが相当する。

【0097】

撮影ロボットは、支援情報等の入力により、支援情報で指定される撮影を自律的に行うものであっても良い。そのような撮影ロボットは、例えばプログラミングされたドローンであっても良い。
撮影ロボットは、必要な画像を得るための手段である。このことから、そのような画像が得られる、或いは得られる可能性がある撮影機器が存在する場合、存在する撮影機器を利用するようにしても良い。そのような撮影機器は、ＩｏＴ（Internet of Things）の撮影機器であっても良い。ＩｏＴの撮影機器は、例えば工事現場等に設置された監視カメラ、或いは防犯カメラであっても良い。それらのカメラは、３６０°カメラであっても良い。作業者ＳＧ等が身に付ける形で使用される、例えばヘルメットに付けて、或いは首から下げて使用可能なアクションカメラ、ウェアラブルカメラ等であっても良い。監視カメラ、及び防犯カメラは、比較的に広い範囲を撮影することもあり、その撮影により得られた画像は、タイムラプス画像等に使用することが考えられる。

【0098】

現在、カメラ３を含む撮影機器の解像度は非常に高くなっている。このこともあり、高解像度の監視カメラ、或いは防犯カメラで撮影された画像であれば、位置関係にもよるが、動画マニュアルでも十分、使用できると考えられる。また、高解像度のカメラ３を複数台、死角が発生しないように設置すれば、撮影者ＳＴが居なくとも、動画マニュアル用の画像を得ることができる。得られた画像は、作業者ＳＧのスキル認定のための画像として用いることもできる。

【0099】

動画マニュアル用の画像の編集も、編集ロボットに行わせても良い。この編集ロボットとは、例えば編集ソフトウエアロボット、或いはＲＰＡ（Robotic Process Automation）等である。このような編集ロボットによる画像編集は、支援情報の提供により行わせることができる。支援情報の他に、手順情報を加えても良い。撮影ロボット、或いは編集ロボットの制御は、ロボット制御手段を動画マニュアル作成支援装置１に搭載させ、搭載させたロボット制御手段に行わせれば良い。

【0100】

道具（工具）、部材、及び実技を行う環境等は、少なからず、実技の作業内容に影響を及ぼすのが実情である。このことから、別情報を基に、例えば動画マニュアル作成のために手順支援情報格納部１８１に格納された手順支援情報群を更新する形で、類似する作業内容の実技用の手順支援情報群を動画マニュアル作成支援装置１に生成できるようにしても良い。動画マニュアルが作成済みの実技のうちで、作業内容が類似するような実技の動画マニュアルを作成する場合、作成済みの動画マニュアル、更には手順情報、及び支援情報のうちの一方を参照し、手順支援情報を作成するようにしても良い。

【0101】

本実施形態では、動画マニュアルに使用する画像を得るための撮影を撮影者ＳＴのみが行っているが、その撮影は、作業者ＳＧも行うようにしても良い。作業者ＳＧには、撮影者ＳＴでは撮影ができない、或いは撮影し難いような範囲の撮影を行わせても良い。そのような範囲としては、作業者ＳＧの身体、手、若しくは腕か、或いは部材、若しくは道具（例えば工具）等によって撮影者ＳＴから視認するのが困難な場所を挙げることができる。このようなこともあり、動画マニュアルで使用する画像には、作業者ＳＧによる撮影によって得られたものが含まれていても良い。

【0102】

手順支援情報を撮影者ＳＴに提示しても、撮影者ＳＴが撮影を適切に行えなかった場合もあり得る。適切な撮影を行えなかった期間の画像として、アニメーション画像、或いはＣＧ（Computer Graphics）画像等の生成画像を用いても良い。この生成画像は、作成する動画マニュアルに合わせて生成しても良いが、予め用意したものであっても良い。或る作業の全体、或いは一部は、実技が異なっても、基本的に同じ内容にことも少なくない。このことから、そのような作業の全体、或いは一部を複種類の実技の動作マニュアルに使用可能な生成画像として用意し、用意した生成画像を、必要に応じて使用するようにしても良い。このような生成画像を使用可能にした場合、実技によっては、生成画像を組み合わせ、動画マニュアルを作成しても良い。これは、実技によっては、撮影者ＳＴによる撮影作業を不要にできることを意味する。このようなことから、生成画像を特定、或いは生成等のための条件情報は、撮影条件情報（撮像条件情報）とともに、必要な画像を得るための画像取得条件を表す画像取得条件情報に相当する。

【0103】

生成画像を使用可能な作業では、撮影者ＳＴ（及び作成者）に提示すべき手順情報、及び支援情報は同じか、或いは近い内容になる場合が少なくないと考えられる。このことから、生成画像を用意する場合、手順情報、及び支援情報を併せて用意しても良い。手順情報は、手順支援情報中の手順情報との類似度の確認に用い、その類似度が閾値以上であった場合、用意した支援情報を用いて、手順支援情報中の支援情報に不足する情報等が存在するか否かの確認を行うようにしても良い。その確認により、不足分等が存在する可能性が推定される場合、用意した支援情報の全て、或いは一部を提示し、手順支援情報中の支援情報を補うようにしても良い。このような情報を必要に応じて補うことにより、結果として、より質の高い動画マニュアルを作成できるようになる。

【符号の説明】

【0104】

１ 情報処理装置（動画マニュアル作成支援装置）、２ 撮影者端末、３ カメラ、４ 作業者端末、１１ ＣＰＵ、１８ 記憶部、１９ 通信部、１１１ 手順支援情報登録部、１１２ 送信先設定部、１１３ 手順支援情報送信制御部、１１４ 動画登録部、１１５ 画像解析部、１１６ 音声登録部、１１７ 自然言語処理部、１１８ 編集支援部、１８１ 手順支援情報格納部、１８２ 送信先情報格納部、１８３ 動画格納部、１８４ 音声格納部、１８５ 認識結果格納部、１８６ 対応関係情報格納部１８６、ＳＧ 作業者、ＳＴ 撮影者。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】