【文献】
垂水宏文, 外3名,”マルチメディアによる現場作業支援システムの開発”,OMRON TECHNICS,オムロン株式会社,1998年 3月20日,第38巻, 第1号,p.86-90
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
実施の形態1.
図1は、この発明の実施の形態1によるドキュメント作成装置を示す構成図である。
図1に示すドキュメント作成装置100は、ビデオデータ入力手段101、映像再生手段102、映像信号出力手段103、映像再生制御手段104、静止画取得手段105、テンプレート106、ドキュメント作成手段107、操作入力制御手段108、ドキュメント出力手段109を備えている。
【0010】
ビデオデータ入力手段101は、操作入力制御手段108からの操作入力に基づき、作業手順書といった、ドキュメントを作成すべき作業シーンを撮影するためのビデオカメラ200から映像と音声からなるビデオデータを取り込む手段である。映像再生手段102は、ビデオデータ入力手段101が入力したビデオデータから映像を抽出し、任意のフレームレートで再生する手段である。映像信号出力手段103は、映像再生手段102が再生する映像から映像信号を生成してモニタ300と静止画取得手段105とに出力する手段である。映像再生制御手段104は、操作入力制御手段108からの操作入力に基づき、映像再生手段102による映像の再生に際して、早送り/巻き戻しといった制御を行う手段である。静止画取得手段105は、操作入力制御手段108からの操作入力に基づき、映像信号出力手段103が出力する映像信号から静止画像を抽出する手段である。
【0011】
テンプレート106は、ドキュメント作成装置100から出力するドキュメント500の雛形となるデータであり、例えば
図7に示すように、テキスト領域(タイトル)やテキスト領域(作業シーンの説明)といったテキストをはめ込む領域と静止画領域(作業シーン)といったように画像をはめ込む領域とをドキュメントの雛形として備えている。ドキュメント作成手段107は、操作入力制御手段108からの操作入力に基づいて、テンプレート106に対して静止画取得手段105が出力する静止画をはめ込み、はめ込み映像とテキストからなるドキュメントを生成する手段である。操作入力制御手段108は、ドキュメント作成装置100に接続されるキーボードやマウスといった入力装置400からの操作入力を受け付け、これをビデオデータ入力手段101、映像再生制御手段104、静止画取得手段105およびドキュメント作成手段107に出力する手段である。ドキュメント出力手段109は、ドキュメント作成手段107が作成したドキュメントをドキュメント作成装置100の外部にドキュメント500として出力する手段である。
【0012】
なお、ドキュメント作成装置100はコンピュータを用いて実現され、ビデオデータ入力手段101〜静止画取得手段105、ドキュメント作成手段107〜ドキュメント出力手段109は、それぞれの手段に対応したソフトウェアとこれを実行するためのCPUやメモリといったハードウェアから構成されている。あるいは、これら手段のうち少なくともいずれかを専用のハードウェアで構成してもよい。
【0013】
次に、実施の形態1のドキュメント作成装置の動作について説明する。
ビデオデータ入力手段101は、ユーザが入力装置400を操作することで操作入力制御手段108が出力した操作信号に拠りビデオカメラ200から映像と音声からなるビデオデータを取り込み、映像再生手段102に出力する。映像再生手段102は、ビデオデータから映像を抽出し、任意のフレームレートで映像を映像信号出力手段103に出力する。なお、映像再生制御手段104は、ユーザが入力装置400を操作することで操作入力制御手段108が出力した操作信号に拠り映像再生手段102における映像のフレームレート変更と早送り/巻き戻し等の制御を行う。
【0014】
映像信号出力手段103は、映像再生手段102が再生する映像から映像信号を生成してモニタ300と静止画取得手段105に出力する。静止画取得手段105は、ユーザが入力装置400を操作することで操作入力制御手段108が出力した操作信号に拠り映像信号から静止画像を生成してドキュメント作成手段107に出力する。ここで、映像信号出力手段103から出力され静止画取得手段105に入力される映像信号は、例えばMPEGに準拠した信号であり、静止画取得手段105が出力する静止画像は例えばJPEGに準拠したデータである。ドキュメント作成手段107は、ユーザが入力装置400を操作することで、操作入力制御手段108が出力した操作信号に拠りテキストを生成し、
図7に示すようにテンプレート106にテキストと映像をはめ込んでドキュメント500を生成する。そして生成されたドキュメント500は、ドキュメント出力手段109を介してドキュメント作成装置100の外部に出力される。ここで、生成されるドキュメント500としては、例えばHTML方式に準拠したものであるが、これ以外にもPDF形式に準拠したものであってもよい。
【0015】
以上説明したように、実施の形態1のドキュメント作成装置によれば、動画像から静止画像を取得する静止画取得手段と、静止画取得手段で取得する静止画像を指定する操作入力制御手段と、ドキュメントの雛形であるテンプレートと、テンプレートに対して、静止画取得手段が取得した静止画像をはめ込んでドキュメントを生成するドキュメント作成手段とを備えたので、様々な形式の映像や静止画を保存するデータベースを必要とせず、また、ユーザが静止画をデータベースから探し出す必要が無くなるため、従来よりも短時間で容易にドキュメントを生成することが出来る。
【0016】
また、実施の形態1のドキュメント作成装置によれば、映像がMPEGに準拠したものであり、静止画像がJPEGに準拠したものであるようにしたので、汎用的なデータ形式であるため、一般的な画像処理を用いることが出来る。
【0017】
また、実施の形態1のドキュメント作成装置によれば、生成するドキュメントがHTML形式に準拠したものであるようにしたので、汎用性の高いドキュメントを得ることができる。
【0018】
また、実施の形態1のドキュメント作成装置によれば、生成するドキュメントがPDF形式に準拠したものであるようにしたので、汎用性の高いドキュメントを得ることができる。
【0019】
実施の形態2.
図2は、実施の形態2のドキュメント作成装置を示す構成図である。
実施の形態2のドキュメント作成装置100aは、ビデオデータ入力手段101、映像再生手段102、映像信号出力手段103、静止画取得手段105、テンプレート106、ドキュメント作成手段107、操作入力制御手段108、ドキュメント出力手段109、音声検知手段110を備えている。すなわち、実施の形態2のドキュメント作成装置100aは、実施の形態1のドキュメント作成装置100から映像再生制御手段104を取り除き、音声を含む動画像から、音声を抽出してその音声が予め定めた設定値の音量レベル以上であった場合に音声検知信号を出力する音声検知手段110を備え、静止画取得手段105aが、この音声検知手段110の音声検知信号の出力に基づいて静止画を取得するようにしたことを特徴としている。これ以外は実施の形態1のドキュメント作成装置と同様であるため、ここでの説明は省略する。
【0020】
次に、実施の形態2のドキュメント作成装置の動作を説明する。
ビデオデータ入力手段101は、ユーザが入力装置400を操作することで操作入力制御手段108が出力した操作信号に拠りビデオカメラ200から映像と音声からなるビデオデータを取り込み、映像再生手段102と音声検知手段110に出力する。映像再生手段102は、ビデオデータから映像を抽出し任意のフレームレートで映像を映像信号出力手段103に出力する。映像信号出力手段103は、映像再生手段102が出力する映像から映像信号を生成してモニタ300と静止画取得手段105aに出力する。
【0021】
音声検知手段110は、ビデオデータ入力手段101に入力されたビデオデータから音声を抽出してその音声が一定の音量レベルのとき静止画取得手段105aに静止画像の生成を指示するための音声検知信号を出力する。静止画取得手段105aは、音声検知手段110の音声検知信号に拠り映像信号から静止画像を生成してドキュメント作成手段107に出力する。
【0022】
ドキュメント作成手段107は、ユーザが入力装置400を操作することで操作入力制御手段108が出力した操作信号に拠りテキストを生成し、
図7に示すようにテンプレート106にテキストと映像をはめ込んでドキュメント500を生成する。そしてドキュメント500は、ドキュメント出力手段109を介してドキュメント作成装置100aの外部に出力される。
【0023】
以上説明したように、実施の形態2のドキュメント作成装置によれば、音声を含む動画像から、音声を抽出して音声が予め定めた設定値の音量レベル以上であった場合に音声検知信号を出力する音声検知手段と、音声検知信号が出力された場合に動画像から静止画像を取得する静止画取得手段と、ドキュメントの雛形であるテンプレートと、テンプレートに対して、静止画取得手段が取得した静止画像をはめ込んでドキュメントを生成するドキュメント作成手段とを備えたので、映像から一定の音量レベルに同期した静止画像を自動的に取得出来るため、例えば、大きな掛け声や声に拠る合図を伴う重要な作業の静止画をデータベースから探し出す必要が無くなり、実施の形態1よりも短時間でドキュメントを生成することが出来る。
【0024】
実施の形態3.
図3は、実施の形態3のドキュメント作成装置を示す構成図である。
実施の形態3のドキュメント作成装置100bは、実施の形態2の音声検知手段110の代わりに、ビデオデータから映像を抽出して画像処理を行い任意の画像パターンを得たとき静止画取得手段105bに静止画像の生成を指示するための画像検知信号を出力する画像処理手段111を設け、静止画取得手段105bは、画像検知信号が出力された場合に静止画を取得するよう構成したものである。それ以外の構成は実施の形態2と同様であるためここでの説明は省略する。
【0025】
次に、実施の形態3のドキュメント作成装置100bの動作を説明する。
ビデオデータ入力手段101は、ユーザが入力装置400を操作することで操作入力制御手段108が出力した操作信号に拠りビデオカメラ200から映像と音声からなるビデオデータを取り込み、映像再生手段102と画像処理手段111に出力する。映像再生手段102は、ビデオデータから映像を抽出し任意のフレームレートで映像を映像信号出力手段103に出力する。映像信号出力手段103は、映像から映像信号を生成してモニタ300と静止画取得手段105bに出力する。
【0026】
画像処理手段111は、ビデオデータ入力手段101に入力されたビデオデータから映像を抽出して画像処理を行い任意の画像パターンを得たとき静止画取得手段105bに画像検知信号を出力する。静止画取得手段105bは、画像処理手段111の画像検知信号に拠り映像信号から静止画像を生成してドキュメント作成手段107に出力する。
【0027】
ドキュメント作成手段107は、ユーザが入力装置400を操作することで操作入力制御手段108が出力した操作信号に拠りテキストを生成し、
図7に示すようにテンプレート106にテキストと映像をはめ込んでドキュメント500を生成する。そして生成されたドキュメント500は、ドキュメント出力手段109を介してドキュメント作成装置100bの外部に出力される。
【0028】
以上説明したように、実施の形態3のドキュメント作成装置によれば、動画像に対して予め定めた画像パターンを検出した場合に画像検知信号を出力する画像処理手段と、画像検知信号が出力された場合に、動画像の映像信号から静止画像を取得する静止画取得手段と、ドキュメントの雛形であるテンプレートと、テンプレートに対して、静止画取得手段が取得した静止画像をはめ込んでドキュメントを生成するドキュメント作成手段とを備えたので、画像パターンの静止画像を自動的に取得出来るため、例えば、繰り返し実行される同じ作業、場所を移動した後の作業、作業対象を変更したときの静止画等をデータベースから探し出す必要が無くなり、実施の形態1よりも短時間でドキュメントを生成することが出来る。
【0029】
実施の形態4.
図4は、実施の形態4のドキュメント作成装置を示す構成図である。
実施の形態4のドキュメント作成装置100cは、実施の形態1のドキュメント作成装置100において、マイク600で入力したユーザの音声からテキストを生成する音声認識手段112を備え、ドキュメント作成手段107aは、音声認識手段112が生成したテキストをテンプレート106にはめ込んでドキュメント500を生成するよう構成されている。これ以外の構成は実施の形態1と同様であるため、対応する部分に
図1と同一符号を付してその説明を省略する。
【0030】
次に、実施の形態4のドキュメント作成装置の動作を説明する。
ビデオデータ入力手段101は、ユーザが入力装置400を操作することで操作入力制御手段108が出力した操作信号に拠りビデオカメラ200から映像と音声からなるビデオデータを取り込み映像再生手段102に出力する。映像再生手段102は、ビデオデータから映像を抽出し任意のフレームレートで映像を映像信号出力手段103に出力する。なお、映像再生制御手段104は、ユーザが入力装置400を操作することで操作入力制御手段108が出力した操作信号に拠り映像再生手段102における映像のフレームレート変更と早送り/巻き戻し等の制御を行う。
【0031】
映像信号出力手段103は、映像から映像信号を生成してモニタ300と静止画取得手段105に出力する。静止画取得手段105は、ユーザが入力装置400を操作することで操作入力制御手段108が出力した操作信号に拠り映像信号から静止画像を生成してドキュメント作成手段107aに出力する。
【0032】
音声認識手段112は、マイク600で入力されたユーザの音声からテキストを生成してドキュメント作成手段107aに出力する。ドキュメント作成手段107aは、
図7に示すようにテンプレート106にテキストと映像をはめ込んでドキュメント500を生成する。そして生成したドキュメント500は、ドキュメント出力手段109を介してドキュメント作成装置100cの外部に出力される。
【0033】
以上説明したように、実施の形態4のドキュメント作成装置によれば、入力される音声に対応したテキストを出力する音声認識手段を備え、ドキュメント作成手段は、テキストをテンプレートにはめ込んでドキュメントを生成するようにしたので、ユーザがキーボード/マウスの操作でテキストを入力する必要がなく、実施の形態1よりも短時間でドキュメントを生成することが出来る。
【0034】
実施の形態5.
図5は、実施の形態5のドキュメント作成装置を示す構成図である。
実施の形態5のドキュメント作成装置100dは、実施の形態2のドキュメント作成装置100aにおいて、マイク600で入力したユーザの音声からテキストを生成する音声認識手段112を備え、ドキュメント作成手段107aは、音声認識手段112が生成したテキストをテンプレート106にはめ込んでドキュメント500を生成するよう構成されている。これ以外の構成は実施の形態2と同様であるため、対応する部分に
図2と同一符号を付してその説明を省略する。
【0035】
次に、実施の形態5のドキュメント作成装置の動作を説明する。
ビデオデータ入力手段101は、ユーザが入力装置400を操作することで操作入力制御手段108が出力した操作信号に拠りビデオカメラ200から映像と音声からなるビデオデータを取り込み映像再生手段102と音声検知手段110に出力する。映像再生手段102は、ビデオデータから映像を抽出し任意のフレームレートで映像を映像信号出力手段103に出力する。映像信号出力手段103は、映像から映像信号を生成してモニタ300と静止画取得手段105aに出力する。
【0036】
音声検知手段110は、ビデオデータから音声を抽出してその音声が一定の音量レベルのとき、静止画取得手段105aに静止画像の生成を指示するための音声検知信号を出力する。静止画取得手段105aは、音声検知手段110の操作信号に拠り映像信号から静止画像を生成してドキュメント作成手段107aに出力する。ドキュメント作成手段107aは、
図7に示すようにテンプレート106にテキストと映像をはめ込んでドキュメント500を生成する。そして、生成したドキュメント500は、ドキュメント出力手段109を介してドキュメント作成装置100dの外部に出力される。
【0037】
以上説明したように、実施の形態5のドキュメント作成装置によれば、入力される音声に対応したテキストを出力する音声認識手段を備え、ドキュメント作成手段は、テキストをテンプレートにはめ込んでドキュメントを生成するようにしたので、ユーザがキーボード/マウスの操作でテキストを入力する必要がなく、実施の形態2よりも短時間でドキュメントを生成することが出来る。
【0038】
実施の形態6.
図6は、実施の形態6のドキュメント作成装置を示す構成図である。
実施の形態6のドキュメント作成装置100eは、実施の形態3のドキュメント作成装置100bにおいて、マイク600で入力したユーザの音声からテキストを生成する音声認識手段112を備え、ドキュメント作成手段107aは、音声認識手段112が生成したテキストをテンプレート106にはめ込んでドキュメント500を生成するよう構成されている。これ以外の構成は実施の形態3と同様であるため、対応する部分に
図3と同一符号を付してその説明を省略する。
【0039】
次に、実施の形態6のドキュメント作成装置の動作について説明する。
ビデオデータ入力手段101は、ユーザが入力装置400を操作することで操作入力制御手段108が出力した操作信号に拠りビデオカメラ200から映像と音声からなるビデオデータを取り込み映像再生手段102と画像処理手段111に出力する。映像再生手段102は、ビデオデータから映像を抽出し任意のフレームレートで映像を映像信号出力手段103に出力する。映像信号出力手段103は、映像から映像信号を生成してモニタ300と静止画取得手段105bに出力する。
【0040】
画像処理手段111は、ビデオデータから映像を抽出して画像処理を行い任意の画像パターンを得たとき、静止画取得手段105bに対して静止画像の生成を指示するための画像検知信号を出力する。静止画取得手段105bは、画像処理手段111の操作信号に拠り映像信号から静止画像を生成してドキュメント作成手段107aに出力する。ドキュメント作成手段107aは、
図7に示すようにテンプレート106にテキストと映像をはめ込んでドキュメント500を生成する。そして、生成したドキュメント500はドキュメント出力手段109を介してドキュメント作成装置100eの外部に出力される。
【0041】
以上説明したように、実施の形態6のドキュメント作成装置によれば、入力される音声に対応したテキストを出力する音声認識手段を備え、ドキュメント作成手段は、テキストをテンプレートにはめ込んでドキュメントを生成するようにしたので、ユーザがキーボード/マウスの操作でテキストを入力する必要がなく、実施の形態3よりも短時間でドキュメントを生成することが出来る。
【0042】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。