▶ ナカシャ クリエイテブ株式会社の特許一覧 ▶ 株式会社コネクティボの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-07-06
(45)【発行日】2022-07-14
(54)【発明の名称】動画処理装置、動画処理方法、プログラム
(51)【国際特許分類】
H04N 5/92 20060101AFI20220707BHJP
H04N 5/232 20060101ALI20220707BHJP
H04N 21/8547 20110101ALI20220707BHJP
H04N 21/231 20110101ALI20220707BHJP
G07C 5/00 20060101ALI20220707BHJP
【ＦＩ】
H04N5/92 010
H04N5/232 290
H04N21/8547
H04N21/231
G07C5/00 Z
【請求項の数】
9
(21)【出願番号】P 2021201299
(22)【出願日】2021-12-12
【審査請求日】2021-12-14
【早期審査対象出願】
(73)【特許権者】
【識別番号】501198084
【氏名又は名称】ナカシャ クリエイテブ株式会社
(73)【特許権者】
【識別番号】510155450
【氏名又は名称】株式会社コネクティボ
(74)【代理人】
【識別番号】100087778
【弁理士】
【氏名又は名称】丸山 明夫
(72)【発明者】
【氏名】松井 良行
(72)【発明者】
【氏名】平野 智裕
(72)【発明者】
【氏名】田中 基史
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開２０１６－０００５９８（ＪＰ，Ａ）
【文献】特開２０１６－０２１７０７（ＪＰ，Ａ）
【文献】特開２００４－１５３７６４（ＪＰ，Ａ）
【文献】特許第６６１８１６３（ＪＰ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／９２
Ｈ０４Ｎ ５／９１
Ｈ０４Ｎ ５／２２２－５／２５７
Ｈ０４Ｎ ７／１８
Ｈ０４Ｎ ２１／８５４７
Ｈ０４Ｎ ２１／２３１
Ｇ０７Ｃ ５／００
Ｂ６１Ｌ １／００
(57)【特許請求の範囲】
【請求項1】
カメラの動画記憶装置の音声トラックに動画に対応つけて音声で記憶した番号情報及び当該動画の撮影位置を示す位置情報と、前記番号情報及び前記位置情報をデータ記憶装置に当該データ記憶装置のデータ形式で記憶して成る番号データ及び位置データと、を処理する動画処理装置であって、前記動画記憶装置から前記動画の映像符号及び該映像符号に対応する音声符号を取得して各々映像データ及び音声データに復号するデータ復号手段と、
前記データ復号手段が復号した音声データが持つ各番号データと同じ番号データを持つ前記データ記憶装置内の各レコードから前記位置データを含むデータを各々取得するデータ取得手段と、
前記データ取得手段が取得した各レコードのデータに対応するフレーム画像を当該各レコードが持つ番号データを介して各々前記映像データから抽出する画像抽出手段と、
前記画像抽出手段が抽出した各フレーム画像と当該各フレーム画像に対応する各レコードのデータとを各々対応付けて保持するデータ・画像保持手段と、
を有し、
前記データ記憶装置は、前記動画の所定フレーム数に対応する一定時間間隔で記憶したデータ毎に構成した各レコードにデータを有し、
前記データ取得手段は、前記データ復号手段が復号した音声データが持つ各番号データと同じ番号データを持つ各レコードのデータである有番号の各データ及び各レコード番号を前記データ記憶装置から取得して各々保持するとともに、前記番号データを持たない各レコードのデータである無番号の各データ及び各レコード番号を前記データ記憶装置から取得して各々保持し、
前記画像抽出手段は、前記番号データを介して抽出できるフレーム画像である有番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持するとともに、番号データを介して抽出できないフレーム画像である無番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持し、
前記データ・画像保持手段は、前記有番号の各フレーム画像と当該各フレーム画像に対応する有番号の各データとを各々対応付けて保持するとともに、前記無番号の各フレーム画像については各々時間軸上で直前の有番号のフレーム画像及び直後の有番号のフレーム画像に対応する第１と第２の連番を成す番号データを持つ両レコードのデータに基づいて得たデータを各々対応付けて保持し、
さらに、前記データ・画像保持手段が保持する有番号及び無番号の各フレーム画像に各々対応する有番号及び無番号の各データを埋め込む手段を有する、
ことを特徴とする動画処理装置。
【請求項2】
請求項１に於いて、前記データ・画像保持手段は、前記無番号の各フレーム画像については、フレーム画像に対応付けて保持すべきデータが、
高精度を要するデータの場合は、前記第１と第２の連番を成す番号データを持つ両レコードのデータを当該第１と第２の番号データに対応する有番号のフレーム画像間に存するフレーム画像数で按分した各値を、当該有番号のフレーム画像間の無番号の各フレーム画像に各々対応付けて保持し、
高精度を要しないデータの場合は、前記第１と第２の連番を成す番号データを持つ両レコードのうちの第１の番号データを持つレコードのデータを、当該第１と第２の番号データに対応する有番号のフレーム画像間に存する無番号の各フレーム画像に各々対応付けて保持する、
ことを特徴とする動画処理装置。
【請求項3】
請求項２
に於いて、前記高精度を要するデータは当該フレーム画像の位置データ、時刻データ、高度データ、加速度センサの検出値であり、
前記高精度を要しないデータは、前記カメラから被写体までの距離を検出する距離センサの検出値、前記カメラを搭載する移動体の移動速度を検出する速度センサの検出値、温度センサの検出値、圧力センサの検出値、前記カメラを搭載する移動体の移動方位を検出する方位センサの検出値、前記カメラを搭載する移動体の移動に伴うノイズを検出するノイズセンサの検出値、前記カメラを搭載する移動体の移動方向での傾斜角を検出する傾斜角センサの検出値、ガスセンサの検出値、文字列データである、
ことを特徴とする動画処理装置。
【請求項4】
カメラの動画記憶装置の音声トラックに動画に対応つけて音声で記憶した番号情報及び当該動画の撮影位置を示す位置情報と、前記番号情報及び前記位置情報をデータ記憶装置に当該データ記憶装置のデータ形式で記憶して成る番号データ及び位置データと、を処理する動画処理装置であって、前記動画記憶装置から前記動画の映像符号及び該映像符号に対応する音声符号を取得して各々映像データ及び音声データに復号するデータ復号手段と、
前記データ復号手段が復号した音声データが持つ各番号データと同じ番号データを持つ前記データ記憶装置内の各レコードから前記位置データを含むデータを各々取得するデータ取得手段と、
前記データ取得手段が取得した各レコードのデータに対応するフレーム画像を当該各レコードが持つ番号データを介して各々前記映像データから抽出する画像抽出手段と、
前記画像抽出手段が抽出した各フレーム画像と当該各フレーム画像に対応する各レコードのデータとを各々対応付けて保持するデータ・画像保持手段と、
を有するとともに、
さらに、前記データ復号手段が復号した音声データから開始データを探して当該音声データ内で同時間に位置する番号データに対応付ける開始データ探索手段を有し、
前記画像抽出手段は、前記映像データからのフレーム画像の抽出に用いた番号データに前記開始データが対応付けられている場合は、当該フレーム画像を当該動画の開始フレームとして同期設定ファイルに保存する、
ことを特徴とする動画処理装置。
【請求項5】
請求項４
に於いて、前記動画記憶装置が複数のカメラの複数の動画記憶装置である場合は、
前記開始データ探索手段は、複数の各音声データから各々開始データを探索して各々番号データに対応付け、
前記画像抽出手段は、複数の映像データに関し、番号データに開始データが対応付けられているフレーム画像を前記開始フレームとして各々同期設定ファイルに保存する、
ことを特徴とする動画処理装置。
【請求項6】
請求項４又は請求項５
に於いて、前記画像抽出手段は、前記映像データからのフレーム画像の抽出に用いた連続する２の番号データの各々に前記開始データが対応付けられている場合は、後の番号データに対応するフレーム画像を当該動画の開始フレームとして同期設定ファイルに保存する、
ことを特徴とする動画処理装置。
【請求項7】
コンピュータを、請求項１～請求項６の何れかの動画処理装置として機能させるためのプログラム。
【請求項8】
カメラの動画記憶装置の音声トラックに動画に対応つけて音声で記憶した番号情報及び当該動画の撮影位置を示す位置情報と、前記番号情報及び前記位置情報をデータ記憶装置に当該データ記憶装置のデータ形式で記憶して成る番号データ及び位置データと、を処理する動画処理方法であって、前記動画記憶装置から前記動画の映像符号及び該映像符号に対応する音声符号を取得して各々映像データ及び音声データにデータ復号手段が復号し、
前記復号した音声データが持つ各番号データと同じ番号データを持つ前記データ記憶装置内の各レコードから前記位置データを含むデータをデータ取得手段が各々取得し、
前記取得した各レコードのデータに対応するフレーム画像を当該各レコードが持つ番号データを介して各々前記映像データから画像抽出手段が抽出し、
前記抽出した各フレーム画像と当該各フレーム画像に対応する各レコードのデータとを各々対応付けてデータ・画像保持手段が保持し、
前記データ記憶装置は、前記動画の所定フレーム数に対応する一定時間間隔で記憶したデータ毎に構成した各レコードにデータを有し、
前記データ取得手段は、 前記復号した音声データが持つ各番号データと同じ番号データを持つ各レコードのデータである有番号の各データ及び各レコード番号を前記データ記憶装置から取得して各々保持するとともに、前記番号データを持たない各レコードのデータである無番号の各データ及び各レコード番号を前記データ記憶装置から取得して各々保持し、
前記画像抽出手段は、 前記番号データを介して抽出できるフレーム画像である有番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持するとともに、番号データを介して抽出できないフレーム画像である無番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持し、
前記データ・画像保持手段は、 前記有番号の各フレーム画像と当該各フレーム画像に対応する有番号の各データとを各々対応付けて保持するとともに、前記無番号の各フレーム画像については各々時間軸上で直前の有番号のフレーム画像及び直後の有番号のフレーム画像に対応する第１と第２の連番を成す番号データを持つ両レコードのデータに基づいて得たデータを各々対応付けて保持し、
さらに、
前記データ・画像保持手段が保持する有番号及び無番号の各フレーム画像に各々対応する有番号及び無番号の各データを埋め込む、
ことを特徴とする動画処理方法。
【請求項9】
カメラの動画記憶装置の音声トラックに動画に対応つけて音声で記憶した番号情報及び当該動画の撮影位置を示す位置情報と、前記番号情報及び前記位置情報をデータ記憶装置に当該データ記憶装置のデータ形式で記憶して成る番号データ及び位置データと、を処理する動画処理方法であって、前記動画記憶装置から前記動画の映像符号及び該映像符号に対応する音声符号を取得して各々映像データ及び音声データにデータ復号手段が復号し、
前記復号した音声データが持つ各番号データと同じ番号データを持つ前記データ記憶装置内の各レコードから前記位置データを含むデータをデータ取得手段が各々取得し、
前記取得した各レコードのデータに対応するフレーム画像を当該各レコードが持つ番号データを介して各々前記映像データから画像抽出手段が抽出し、
前記抽出した各フレーム画像と当該各フレーム画像に対応する各レコードのデータとを各々対応付けてデータ・画像保持手段が保持し、
さらに、開始データ探索手段が、前記復号した音声データから開始データを探して当該音声データ内で同時間に位置する番号データに対応付け、
前記画像抽出手段は、 前記映像データからのフレーム画像の抽出に用いた番号データに前記開始データが対応付けられている場合は、当該フレーム画像を当該動画の開始フレームとして同期設定ファイルに保存する、
ことを特徴とする動画処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画処理装置、方法、プログラムに関する。
例えば、自動車や列車或いはドローン等の移動機に搭載した複数のカメラによる動画撮影時に各動画に一定時間間隔の音声で記憶した情報に基づいて、各動画の同期再生を可能とする動画処理装置、方法、プログラムに関する。
或いは、上記移動機搭載のカメラによる動画撮影時に当該動画の所定フレーム数に対応する一定時間間隔の音声で記憶した１又は２以上の情報と、同じく前記一定時間間隔又は前記一定時間を均等に細分した等時間間隔でログ記憶装置に記憶した１又は２以上の情報を、各々情報の種別に基づいて設定した精度で当該動画の各フレーム画像に埋め込む動画処理装置、方法、プログラムに関する。
例えば、自動車や列車或いはドローン等の移動機に搭載した複数のカメラによる動画撮影時に各動画に一定時間間隔の音声で記憶した情報に基づいて、各動画の同期再生を可能とする動画処理装置、方法、プログラムに関する。
或いは、上記移動機搭載のカメラによる動画撮影時に当該動画の所定フレーム数に対応する一定時間間隔の音声で記憶した１又は２以上の情報と、同じく前記一定時間間隔又は前記一定時間を均等に細分した等時間間隔でログ記憶装置に記憶した１又は２以上の情報を、各々情報の種別に基づいて設定した精度で当該動画の各フレーム画像に埋め込む動画処理装置、方法、プログラムに関する。
【背景技術】
【0002】
自動車や列車或いはドローン等の移動機で高速移動しつつ前方／後方／側方／下方／上方等の道路や線路或いはその設備や交差する高架橋等を動画撮影しておき、後日、所望の位置を指定して、当該位置の静止画を動画中から抜き出し、道路や線路或いはその近辺の設備等の状態やその経時変化を、各方向（前方／後方／側方等）について確認できるようにしたいという要請がある。
【0003】
上記の要請に応えるべく、本願出願人の中の一社は、先に特許出願を行い、特許第６６１８１６３号（特許文献１）を取得している。即ち、走行中の車両から前方／後方／側方等の各方向を複数のビデオカメラで同時に撮影して得る各動画像について、同一時刻のフレームを相互に対応付け得るようにした撮像システムの特許を取得している。
【先行技術文献】
【特許文献】
【0004】
【文献】特開第６６１８１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
道路や線路若しくはその設備等の撮影時には、他の自動車や列車の走行に支障が生じないように注意する必要があり、そのためには、例えば、当該の道路や線路に設定されている速度（通常、高速）を考慮して撮影用の車両等を移動させることが望まれる。
しかし、高速で走行等する移動機から撮影する動画では、時間軸方向で隣接するフレーム・フレーム間で撮影位置が大きく離れるため、後日、所望の位置の特定、即ち、所望の対象物が撮影された静止画（フレーム）の特定に困難が生ずるという問題がある。
しかし、高速で走行等する移動機から撮影する動画では、時間軸方向で隣接するフレーム・フレーム間で撮影位置が大きく離れるため、後日、所望の位置の特定、即ち、所望の対象物が撮影された静止画（フレーム）の特定に困難が生ずるという問題がある。
【0006】
また、上記のようにして撮影した動画に於いて、所望の位置を指定して当該位置の撮影画像（フレーム画像）を当該動画中から抜き出すためには、各フレーム画像に当該フレーム画像の撮影位置を正確に対応付けておく必要がある。
撮影時に於ける正確な位置は、ＧＮＳＳ（例：ＧＰＳ）衛星からの送信情報から取得可能であるが、ＧＮＳＳ衛星からの情報を処理して出力するＧＮＳＳ受信機からは、１ＰＰＳ信号に同期して情報が送られて来るため、１ｓｅｃに１回しか、正確な位置を取得できない。したがって、例えば、動画が３０ｆｐｓの場合、３０フレーム中の１フレームのみが正確な位置情報を対応付け可能であり、残り２９フレームでは正確な位置情報を対応付けできないという問題がある。
本発明は、移動機に搭載したカメラで撮影した動画の各フレーム画像から、当該のフレーム画像を撮影した正確な位置を得られるようにすること、及び、当該のフレーム画像を撮影したときの各種の付帯情報を得られるようにすることを目的とする。
撮影時に於ける正確な位置は、ＧＮＳＳ（例：ＧＰＳ）衛星からの送信情報から取得可能であるが、ＧＮＳＳ衛星からの情報を処理して出力するＧＮＳＳ受信機からは、１ＰＰＳ信号に同期して情報が送られて来るため、１ｓｅｃに１回しか、正確な位置を取得できない。したがって、例えば、動画が３０ｆｐｓの場合、３０フレーム中の１フレームのみが正確な位置情報を対応付け可能であり、残り２９フレームでは正確な位置情報を対応付けできないという問題がある。
本発明は、移動機に搭載したカメラで撮影した動画の各フレーム画像から、当該のフレーム画像を撮影した正確な位置を得られるようにすること、及び、当該のフレーム画像を撮影したときの各種の付帯情報を得られるようにすることを目的とする。
【0007】
車両等の移動機で走行しつつ複数台のカメラを用いて道路や線路或いはそれらに交差する高架橋や近辺の設備等を動画撮影して記録する場合、カメラ毎に記録開始タイミングが異なる場合があり、その場合、同一位置で撮影した画像であっても、カメラ毎にフレーム番号が異なる。このため、各カメラの撮影動画を再生する場合、同一位置が異なるタイミングで再生されるという問題がある。
本発明は、移動機に搭載した複数台のカメラで異なる方向を撮影した動画を再生する際に、同一位置を同一タイミングで再生し得るようにすることを目的とする。また、動画から抜き出した静止画で、同一位置の各方向を確認できるようにすることを目的とする。
本発明は、移動機に搭載した複数台のカメラで異なる方向を撮影した動画を再生する際に、同一位置を同一タイミングで再生し得るようにすることを目的とする。また、動画から抜き出した静止画で、同一位置の各方向を確認できるようにすることを目的とする。
【課題を解決するための手段】
【0008】
本発明の例を、下記［２］～［８］、及び、［１０］～［１１］に記す。なお、［１］と［９］は、これら本発明を説明するための参考である。また、この項（［課題を解決するための手段］）と次項（［発明の効果］）に於いて、符号は理解を容易にするために付したものであり、本発明を符号の構成に限定する趣旨ではない。
［１］参考１
カメラ３１（～３６）の動画記憶装置３１０（～３６０）の音声トラックに動画に対応つけて音声で記憶した番号情報及び当該動画の撮影位置を示す位置情報と、前記番号情報及び前記位置情報をデータ記憶装置６０に当該データ記憶装置のデータ形式で記憶して成る番号データ及び位置データと、を処理する動画処理装置であって、
前記動画記憶装置から前記動画の映像符号及び該映像符号に対応する音声符号を取得して各々映像データ及び音声データに復号するデータ復号手段と、
前記データ復号手段が復号した音声データが持つ各番号データと同じ番号データを持つ前記データ記憶装置内の各レコードから前記位置データを含むデータを各々前記データ記憶装置６０から取得するデータ取得手段と、
前記データ取得手段が取得した各レコードのデータに対応するフレーム画像を当該各レコードが持つ番号データを介して各々前記映像データから抽出する画像抽出手段と、
前記画像抽出手段が抽出した各フレーム画像と当該各フレーム画像に対応する各レコードのデータとを各々対応付けて保持するデータ・画像保持手段と、
を有することを特徴とする動画処理装置。
前記番号データは、動画記憶装置が複数の場合、各動画記憶装置からの動画データで共通であり、当該番号データに対応する動画フレームの撮像位置（緯度・経度）及び撮像時刻に一意に対応する。
［２］発明２（請求項１相当）
参考１に於いて、
前記データ記憶装置６０は、前記動画の所定フレーム数に対応する一定時間間隔で記憶したデータ毎に構成した各レコードにデータを有し、
前記データ取得手段は、前記データ復号手段が復号した音声データが持つ各番号データと同じ番号データを持つ各レコードのデータである有番号の各データ及び各レコード番号を前記データ記憶装置６０から取得して各々保持するとともに、前記番号データを持たない各レコードのデータである無番号の各データ及び各レコード番号を前記データ記憶装置６０から取得して各々保持し、
前記画像抽出手段は、前記番号データを介して抽出できるフレーム画像である有番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持するとともに、番号データを介して抽出できないフレーム画像である無番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持し、
前記データ・画像保持手段は、前記有番号の各フレーム画像と当該各フレーム画像に対応する有番号の各データとを各々対応付けて保持するとともに、前記無番号の各フレーム画像については各々時間軸上で直前の有番号のフレーム画像及び直後の有番号のフレーム画像に対応する第１と第２の連番を成す番号データを持つ両レコードのデータに基づいて得たデータを各々対応付けて保持し、
さらに、
前記データ・画像保持手段が保持する有番号及び無番号の各フレーム画像に各々対応する有番号及び無番号の各データを埋め込む手段、
を有することを特徴とする動画処理装置。
上記に於いて、「動画の所定フレーム数に対応する一定時間間隔」とは、例えば、動画を３０ｆｐｓとし、所定フレーム数を３０フレームとすると、１秒間隔となる。また、動画を３０ｆｐｓとし、所定フレーム数を６フレームとすると、０．２秒間隔となる。
［３］発明３（請求項２相当）
発明２に於いて、
前記データ・画像保持手段は、前記無番号の各フレーム画像については、フレーム画像に対応付けて保持すべきデータが、
高精度を要するデータの場合は、前記第１と第２の連番を成す番号データを持つ両レコードのデータを当該第１と第２の番号データに対応する有番号のフレーム画像間に存するフレーム画像数で按分した各値を、当該有番号のフレーム画像間の無番号の各フレーム画像に各々対応付けて保持し、
高精度を要しないデータの場合は、前記第１と第２の連番を成す番号データを持つ両レコードのうちの第１の番号データを持つレコードのデータを、当該第１と第２の番号データに対応する有番号のフレーム画像間に存する無番号の各フレーム画像に各々対応付けて保持する、
ことを特徴とする動画処理装置。
［４］発明４（請求項３相当）
発明３に於いて、
前記高精度を要するデータは当該フレーム画像の位置データ、時刻データ、高度データ、加速度センサの検出値であり、
前記高精度を要しないデータは、前記カメラから被写体までの距離を検出する距離センサの検出値、前記カメラを搭載する移動体の移動速度を検出する速度センサの検出値、温度センサの検出値、圧力センサの検出値、前記カメラを搭載する移動体の移動方位を検出する方位センサの検出値、前記カメラを搭載する移動体の移動に伴うノイズを検出するノイズセンサの検出値、前記カメラを搭載する移動体の移動方向での傾斜角を検出する傾斜角センサの検出値、ガスセンサの検出値、文字列データである、
ことを特徴とする動画処理装置。
［１］参考１
カメラ３１（～３６）の動画記憶装置３１０（～３６０）の音声トラックに動画に対応つけて音声で記憶した番号情報及び当該動画の撮影位置を示す位置情報と、前記番号情報及び前記位置情報をデータ記憶装置６０に当該データ記憶装置のデータ形式で記憶して成る番号データ及び位置データと、を処理する動画処理装置であって、
前記動画記憶装置から前記動画の映像符号及び該映像符号に対応する音声符号を取得して各々映像データ及び音声データに復号するデータ復号手段と、
前記データ復号手段が復号した音声データが持つ各番号データと同じ番号データを持つ前記データ記憶装置内の各レコードから前記位置データを含むデータを各々前記データ記憶装置６０から取得するデータ取得手段と、
前記データ取得手段が取得した各レコードのデータに対応するフレーム画像を当該各レコードが持つ番号データを介して各々前記映像データから抽出する画像抽出手段と、
前記画像抽出手段が抽出した各フレーム画像と当該各フレーム画像に対応する各レコードのデータとを各々対応付けて保持するデータ・画像保持手段と、
を有することを特徴とする動画処理装置。
前記番号データは、動画記憶装置が複数の場合、各動画記憶装置からの動画データで共通であり、当該番号データに対応する動画フレームの撮像位置（緯度・経度）及び撮像時刻に一意に対応する。
［２］発明２（請求項１相当）
参考１に於いて、
前記データ記憶装置６０は、前記動画の所定フレーム数に対応する一定時間間隔で記憶したデータ毎に構成した各レコードにデータを有し、
前記データ取得手段は、前記データ復号手段が復号した音声データが持つ各番号データと同じ番号データを持つ各レコードのデータである有番号の各データ及び各レコード番号を前記データ記憶装置６０から取得して各々保持するとともに、前記番号データを持たない各レコードのデータである無番号の各データ及び各レコード番号を前記データ記憶装置６０から取得して各々保持し、
前記画像抽出手段は、前記番号データを介して抽出できるフレーム画像である有番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持するとともに、番号データを介して抽出できないフレーム画像である無番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持し、
前記データ・画像保持手段は、前記有番号の各フレーム画像と当該各フレーム画像に対応する有番号の各データとを各々対応付けて保持するとともに、前記無番号の各フレーム画像については各々時間軸上で直前の有番号のフレーム画像及び直後の有番号のフレーム画像に対応する第１と第２の連番を成す番号データを持つ両レコードのデータに基づいて得たデータを各々対応付けて保持し、
さらに、
前記データ・画像保持手段が保持する有番号及び無番号の各フレーム画像に各々対応する有番号及び無番号の各データを埋め込む手段、
を有することを特徴とする動画処理装置。
上記に於いて、「動画の所定フレーム数に対応する一定時間間隔」とは、例えば、動画を３０ｆｐｓとし、所定フレーム数を３０フレームとすると、１秒間隔となる。また、動画を３０ｆｐｓとし、所定フレーム数を６フレームとすると、０．２秒間隔となる。
［３］発明３（請求項２相当）
発明２に於いて、
前記データ・画像保持手段は、前記無番号の各フレーム画像については、フレーム画像に対応付けて保持すべきデータが、
高精度を要するデータの場合は、前記第１と第２の連番を成す番号データを持つ両レコードのデータを当該第１と第２の番号データに対応する有番号のフレーム画像間に存するフレーム画像数で按分した各値を、当該有番号のフレーム画像間の無番号の各フレーム画像に各々対応付けて保持し、
高精度を要しないデータの場合は、前記第１と第２の連番を成す番号データを持つ両レコードのうちの第１の番号データを持つレコードのデータを、当該第１と第２の番号データに対応する有番号のフレーム画像間に存する無番号の各フレーム画像に各々対応付けて保持する、
ことを特徴とする動画処理装置。
［４］発明４（請求項３相当）
発明３に於いて、
前記高精度を要するデータは当該フレーム画像の位置データ、時刻データ、高度データ、加速度センサの検出値であり、
前記高精度を要しないデータは、前記カメラから被写体までの距離を検出する距離センサの検出値、前記カメラを搭載する移動体の移動速度を検出する速度センサの検出値、温度センサの検出値、圧力センサの検出値、前記カメラを搭載する移動体の移動方位を検出する方位センサの検出値、前記カメラを搭載する移動体の移動に伴うノイズを検出するノイズセンサの検出値、前記カメラを搭載する移動体の移動方向での傾斜角を検出する傾斜角センサの検出値、ガスセンサの検出値、文字列データである、
ことを特徴とする動画処理装置。
【0009】
［５］発明５（請求項４相当）
参考１に於いて、
さらに、前記データ復号手段が復号した音声データから開始データを探して当該音声データ内で同時間に位置する番号データに対応付ける開始データ探索手段を有し、
前記画像抽出手段は、前記映像データから抽出したフレーム画像が基づく番号データに前記開始データが対応付けられている場合は、当該フレーム画像を当該動画の開始フレームとして同期設定ファイル９４１に保存する、
ことを特徴とする動画処理装置。
［６］発明６（請求項５相当）
発明５に於いて、
前記動画記憶装置が複数のカメラ３１～３６の複数の動画記憶装置３１０～３６０である場合は、
前記開始データ探索手段は、複数の各音声データから各々開始データを探索して各々番号データに対応付け、
前記画像抽出手段は、複数の映像データに関し、番号データに開始データが対応付けられているフレーム画像を前記開始フレームとして各々同期設定ファイルに保存する、
ことを特徴とする動画処理装置。
［７］発明７（請求項６相当）
発明５又は発明６に於いて、
前記画像抽出手段は、前記映像データから抽出したフレーム画像が基づく連続する各番号データに各々前記開始データが対応付けられている場合は、後の番号データに対応するフレーム画像を当該動画の開始フレームとして同期設定ファイル９４１に保存する、
ことを特徴とする動画処理装置。
［８］発明８（請求項７相当）
コンピュータを、発明２～発明７の何れかの動画処理装置として機能させるためのプログラム。
参考１に於いて、
さらに、前記データ復号手段が復号した音声データから開始データを探して当該音声データ内で同時間に位置する番号データに対応付ける開始データ探索手段を有し、
前記画像抽出手段は、前記映像データから抽出したフレーム画像が基づく番号データに前記開始データが対応付けられている場合は、当該フレーム画像を当該動画の開始フレームとして同期設定ファイル９４１に保存する、
ことを特徴とする動画処理装置。
［６］発明６（請求項５相当）
発明５に於いて、
前記動画記憶装置が複数のカメラ３１～３６の複数の動画記憶装置３１０～３６０である場合は、
前記開始データ探索手段は、複数の各音声データから各々開始データを探索して各々番号データに対応付け、
前記画像抽出手段は、複数の映像データに関し、番号データに開始データが対応付けられているフレーム画像を前記開始フレームとして各々同期設定ファイルに保存する、
ことを特徴とする動画処理装置。
［７］発明７（請求項６相当）
発明５又は発明６に於いて、
前記画像抽出手段は、前記映像データから抽出したフレーム画像が基づく連続する各番号データに各々前記開始データが対応付けられている場合は、後の番号データに対応するフレーム画像を当該動画の開始フレームとして同期設定ファイル９４１に保存する、
ことを特徴とする動画処理装置。
［８］発明８（請求項７相当）
コンピュータを、発明２～発明７の何れかの動画処理装置として機能させるためのプログラム。
【0010】
［９］参考９
カメラ３１（～３６）の動画記憶装置３１０（～３６０）の音声トラックに動画に対応つけて音声で記憶した番号情報及び当該動画の撮影位置を示す位置情報と、前記番号情報及び前記位置情報をデータ記憶装置６０に当該データ記憶装置のデータ形式で記憶して成る番号データ及び位置データと、を処理する動画処理方法であって、
前記動画記憶装置３１０（～３６０）から前記動画の映像符号及び該映像符号に対応する音声符号を取得して各々映像データ及び音声データにデータ復号手段が復号し、
前記復号した音声データが持つ各番号データと同じ番号データを持つ前記データ記憶装置内の各レコードから前記位置データを含むデータをデータ取得手段が各々取得し、
前記取得した各レコードのデータに対応するフレーム画像を当該各レコードが持つ番号データを介して各々前記映像データから画像抽出手段が抽出し、
前記抽出した各フレーム画像と当該各フレーム画像に対応する各レコードのデータとを各々対応付けてデータ・画像保持手段が保持する、
ことを特徴とする動画処理方法。
［１０］発明１０（請求項８相当）
参考９に於いて、
前記データ記憶装置６０は、前記動画の所定フレーム数に対応する一定時間間隔で記憶したデータ毎に構成した各レコードにデータを有し、
前記データ取得手段は、前記復号した音声データが持つ各番号データと同じ番号データを持つ各レコードのデータである有番号の各データ及び各レコード番号を前記データ記憶装置６０から取得して各々保持するとともに、前記番号データを持たない各レコードのデータである無番号の各データ及び各レコード番号を前記データ記憶装置６０から取得して各々保持し、
前記画像抽出手段は、前記番号データを介して抽出できるフレーム画像である有番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持するとともに、番号データを介して抽出できないフレーム画像である無番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持し、
前記データ・画像保持手段は、前記有番号の各フレーム画像と当該各フレーム画像に対応する有番号の各データとを各々対応付けて保持するとともに、前記無番号の各フレーム画像については各々時間軸上で直前の有番号のフレーム画像及び直後の有番号のフレーム画像に対応する第１と第２の連番を成す番号データを持つ両レコードのデータに基づいて得たデータを各々対応付けて保持し、
さらに、
前記データ・画像保持手段が保持する有番号及び無番号の各フレーム画像に各々対応する有番号及び無番号の各データを埋め込む、
ことを特徴とする動画処理方法。
［１１］発明１１（請求項９相当）
参考９に於いて、
さらに、開始データ探索手段が、前記復号した音声データから開始データを探して当該音声データ内で同時間に位置する番号データに対応付け、
前記画像抽出手段は、前記映像データからのフレーム画像の抽出に用いた番号データに前記開始データが対応付けられている場合は、当該フレーム画像を当該動画の開始フレームとして同期設定ファイルに保存する、
ことを特徴とする動画処理方法。
カメラ３１（～３６）の動画記憶装置３１０（～３６０）の音声トラックに動画に対応つけて音声で記憶した番号情報及び当該動画の撮影位置を示す位置情報と、前記番号情報及び前記位置情報をデータ記憶装置６０に当該データ記憶装置のデータ形式で記憶して成る番号データ及び位置データと、を処理する動画処理方法であって、
前記動画記憶装置３１０（～３６０）から前記動画の映像符号及び該映像符号に対応する音声符号を取得して各々映像データ及び音声データにデータ復号手段が復号し、
前記復号した音声データが持つ各番号データと同じ番号データを持つ前記データ記憶装置内の各レコードから前記位置データを含むデータをデータ取得手段が各々取得し、
前記取得した各レコードのデータに対応するフレーム画像を当該各レコードが持つ番号データを介して各々前記映像データから画像抽出手段が抽出し、
前記抽出した各フレーム画像と当該各フレーム画像に対応する各レコードのデータとを各々対応付けてデータ・画像保持手段が保持する、
ことを特徴とする動画処理方法。
［１０］発明１０（請求項８相当）
参考９に於いて、
前記データ記憶装置６０は、前記動画の所定フレーム数に対応する一定時間間隔で記憶したデータ毎に構成した各レコードにデータを有し、
前記データ取得手段は、前記復号した音声データが持つ各番号データと同じ番号データを持つ各レコードのデータである有番号の各データ及び各レコード番号を前記データ記憶装置６０から取得して各々保持するとともに、前記番号データを持たない各レコードのデータである無番号の各データ及び各レコード番号を前記データ記憶装置６０から取得して各々保持し、
前記画像抽出手段は、前記番号データを介して抽出できるフレーム画像である有番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持するとともに、番号データを介して抽出できないフレーム画像である無番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持し、
前記データ・画像保持手段は、前記有番号の各フレーム画像と当該各フレーム画像に対応する有番号の各データとを各々対応付けて保持するとともに、前記無番号の各フレーム画像については各々時間軸上で直前の有番号のフレーム画像及び直後の有番号のフレーム画像に対応する第１と第２の連番を成す番号データを持つ両レコードのデータに基づいて得たデータを各々対応付けて保持し、
さらに、
前記データ・画像保持手段が保持する有番号及び無番号の各フレーム画像に各々対応する有番号及び無番号の各データを埋め込む、
ことを特徴とする動画処理方法。
［１１］発明１１（請求項９相当）
参考９に於いて、
さらに、開始データ探索手段が、前記復号した音声データから開始データを探して当該音声データ内で同時間に位置する番号データに対応付け、
前記画像抽出手段は、前記映像データからのフレーム画像の抽出に用いた番号データに前記開始データが対応付けられている場合は、当該フレーム画像を当該動画の開始フレームとして同期設定ファイルに保存する、
ことを特徴とする動画処理方法。
【発明の効果】
【0011】
参考１は、 カメラ３１（～３６）の動画記憶装置３１０（～３６０）の音声トラックに動画に対応つけて音声で記憶した番号情報及び当該動画の撮影位置を示す位置情報と、前記番号情報及び前記位置情報をデータ記憶装置６０に当該データ記憶装置のデータ形式で記憶して成る番号データ及び位置データと、を処理する動画処理装置であって、前記動画記憶装置から前記動画の映像符号及び該映像符号に対応する音声符号を取得して各々映像データ及び音声データに復号するデータ復号手段と、前記データ復号手段が復号した音声データが持つ各番号データと同じ番号データを持つ前記データ記憶装置内の各レコードから前記位置データを含むデータを各々前記データ記憶装置６０から取得するデータ取得手段と、前記データ取得手段が取得した各レコードのデータに対応するフレーム画像を当該各レコードが持つ番号データを介して各々前記映像データから抽出する画像抽出手段と、前記画像抽出手段が抽出した各フレーム画像と当該各フレーム画像に対応する各レコードのデータとを各々対応付けて保持するデータ・画像保持手段と、を有することを特徴とする動画処理装置である。
発明２は、参考１に於いて、前記データ記憶装置６０は、前記動画の所定フレーム数に対応する一定時間間隔で記憶したデータ毎に構成した各レコードにデータを有し、前記データ取得手段は、前記データ復号手段が復号した音声データが持つ各番号データと同じ番号データを持つ各レコードのデータである有番号の各データ及び各レコード番号を前記データ記憶装置６０から取得して各々保持するとともに、前記番号データを持たない各レコードのデータである無番号の各データ及び各レコード番号を前記データ記憶装置６０から取得して各々保持し、前記画像抽出手段は、前記番号データを介して抽出できるフレーム画像である有番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持するとともに、番号データを介して抽出できないフレーム画像である無番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持し、前記データ・画像保持手段は、前記有番号の各フレーム画像と当該各フレーム画像に対応する有番号の各データとを各々対応付けて保持するとともに、前記無番号の各フレーム画像については各々時間軸上で直前の有番号のフレーム画像及び直後の有番号のフレーム画像に対応する第１と第２の連番を成す番号データを持つ両レコードのデータに基づいて得たデータを各々対応付けて保持し、さらに、前記データ・画像保持手段が保持する有番号及び無番号の各フレーム画像に各々対応する有番号及び無番号の各データを埋め込む手段を有することを特徴とする動画処理装置であるため、動画記憶装置３１０（～３６０）に記憶したデータと、データ記憶装置６０に記憶したデータとを、両者に共通の番号データを介してフレーム画像に対応付けることができ、各フレーム画像に当該のフレーム画像に適したデータを各々埋め込むことができる。
発明３は、発明２に於いて、前記データ・画像保持手段は、前記無番号の各フレーム画像については、フレーム画像に対応付けて保持すべきデータが、高精度を要するデータの場合は前記第１と第２の連番を成す番号データを持つ両レコードのデータを当該第１と第２の番号データに対応する有番号のフレーム画像間に存するフレーム画像数で按分した各値を当該有番号のフレーム画像間の無番号の各フレーム画像に各々対応付けて保持し、高精度を要しないデータの場合は前記第１と第２の連番を成す番号データを持つ両レコードのうちの第１の番号データを持つレコードのデータを当該第１と第２の番号データに対応する有番号のフレーム画像間に存する無番号の各フレーム画像に各々対応付けて保持することを特徴とする動画処理装置であるため、無番号の各フレーム画像に当該のフレーム画像に適したデータを、そのデータの種別に適した精度で各々埋め込むことができる装置を提供できる。
発明４は、発明３の高精度を要するデータ、高精度を要しないデータの具体例を与えることができる。
発明５は、参考１に於いて、さらに、前記データ復号手段が復号した音声データから開始データを探して当該音声データ内で同時間に位置する番号データに対応付ける開始データ探索手段を有し、前記画像抽出手段は、前記映像データから抽出したフレーム画像が基づく番号データに前記開始データが対応付けられている場合は、当該フレーム画像を当該動画の開始フレームとして同期設定ファイル９４１に保存することを特徴とする動画処理装置であるため、動画の開始フレームを決めて保存することができ、例えば動画が複数の場合は、当該複数の動画を同期再生することができる。また、関連する静止画の表示を容易に行うことができる。
発明６は、発明５に於いて動画記憶装置が複数の場合に、各動画の開始フレームを決めて保存することができる装置を提供できる。
発明７は、発明５又は発明６に於いて、開始データが連続して記録されている場合でも対応可能な装置を提供できる。
発明２は、参考１に於いて、前記データ記憶装置６０は、前記動画の所定フレーム数に対応する一定時間間隔で記憶したデータ毎に構成した各レコードにデータを有し、前記データ取得手段は、前記データ復号手段が復号した音声データが持つ各番号データと同じ番号データを持つ各レコードのデータである有番号の各データ及び各レコード番号を前記データ記憶装置６０から取得して各々保持するとともに、前記番号データを持たない各レコードのデータである無番号の各データ及び各レコード番号を前記データ記憶装置６０から取得して各々保持し、前記画像抽出手段は、前記番号データを介して抽出できるフレーム画像である有番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持するとともに、番号データを介して抽出できないフレーム画像である無番号の各フレーム画像及び各フレーム番号を前記映像データから抽出して各々保持し、前記データ・画像保持手段は、前記有番号の各フレーム画像と当該各フレーム画像に対応する有番号の各データとを各々対応付けて保持するとともに、前記無番号の各フレーム画像については各々時間軸上で直前の有番号のフレーム画像及び直後の有番号のフレーム画像に対応する第１と第２の連番を成す番号データを持つ両レコードのデータに基づいて得たデータを各々対応付けて保持し、さらに、前記データ・画像保持手段が保持する有番号及び無番号の各フレーム画像に各々対応する有番号及び無番号の各データを埋め込む手段を有することを特徴とする動画処理装置であるため、動画記憶装置３１０（～３６０）に記憶したデータと、データ記憶装置６０に記憶したデータとを、両者に共通の番号データを介してフレーム画像に対応付けることができ、各フレーム画像に当該のフレーム画像に適したデータを各々埋め込むことができる。
発明３は、発明２に於いて、前記データ・画像保持手段は、前記無番号の各フレーム画像については、フレーム画像に対応付けて保持すべきデータが、高精度を要するデータの場合は前記第１と第２の連番を成す番号データを持つ両レコードのデータを当該第１と第２の番号データに対応する有番号のフレーム画像間に存するフレーム画像数で按分した各値を当該有番号のフレーム画像間の無番号の各フレーム画像に各々対応付けて保持し、高精度を要しないデータの場合は前記第１と第２の連番を成す番号データを持つ両レコードのうちの第１の番号データを持つレコードのデータを当該第１と第２の番号データに対応する有番号のフレーム画像間に存する無番号の各フレーム画像に各々対応付けて保持することを特徴とする動画処理装置であるため、無番号の各フレーム画像に当該のフレーム画像に適したデータを、そのデータの種別に適した精度で各々埋め込むことができる装置を提供できる。
発明４は、発明３の高精度を要するデータ、高精度を要しないデータの具体例を与えることができる。
発明５は、参考１に於いて、さらに、前記データ復号手段が復号した音声データから開始データを探して当該音声データ内で同時間に位置する番号データに対応付ける開始データ探索手段を有し、前記画像抽出手段は、前記映像データから抽出したフレーム画像が基づく番号データに前記開始データが対応付けられている場合は、当該フレーム画像を当該動画の開始フレームとして同期設定ファイル９４１に保存することを特徴とする動画処理装置であるため、動画の開始フレームを決めて保存することができ、例えば動画が複数の場合は、当該複数の動画を同期再生することができる。また、関連する静止画の表示を容易に行うことができる。
発明６は、発明５に於いて動画記憶装置が複数の場合に、各動画の開始フレームを決めて保存することができる装置を提供できる。
発明７は、発明５又は発明６に於いて、開始データが連続して記録されている場合でも対応可能な装置を提供できる。
【図面の簡単な説明】
【0012】
【図1】（ａ）は複数のカメラに動画やＧＮＳＳ（ＧＰＳ）出力を記録するシステムを構成する各機器の車両搭載時の配置を示す模式図、（ｂ）は（ａ）の記録システムでの信号の流れを示す説明図。
【図9】開始情報（ＳＴＡＲＴ）を含む音声出力が遅延した場合に再送する処理を説明するタイミングチャート。
【図10】開始情報（ＳＴＡＲＴ）を含む音声出力が遅延した場合に再送する処理手順を示すフローチャート。
【図11】データ制御手段５３により記憶装置６０に記録されるデータのデータフォーマットを示す説明図。
【図12】実施の形態の動画処理装置の構成と処理の概要を説明するブロック図。
【図13】実施の形態の動画処理装置の各段階の処理を説明するフローチャート。
【図14】同期設定処理を説明するフローチャート。
【図15】情報埋め込み処理を説明するフローチャート。
【図18】ＤＢへの登録処理を説明するフローチャートの一部。
【図19】（ａ）はＤＢへの登録処理を説明するフローチャートの残部。（ｂ）はサーバ装置への転送処理を説明するフローチャート。
【図20】センサデータを按分するか否かの説明図。
【図21】ＧＩＳ上で空間図形の属性情報を付与する説明図。
【図22】カメラの動画記憶装置に記憶されている動画を構成するフレームが持つ／持たないデータを１秒間隔で説明する模式図。
【図23】複数の各カメラの動画記憶装置が持つ動画を同期させる原理の説明図。
【図24】カメラの動画記憶装置から読み出した動画の各フレームに位置データ及び時間データを按分する原理を説明する模式図。
【図26】データベースＤＢに登録される項目の説明図。
【図27】動画から切り出した静止画に所望の字幕情報を併せて表示する様子の画像。
【発明を実施するための形態】
【0013】
図面を参照して、本発明の実施の形態を説明する。
［１］動画記録時
図１（ａ）は複数のカメラが撮影する動画やＧＮＳＳ（ＧＰＳ）出力を記録するシステムの各機器を車載した様子を模式的に示す配置図であり、（ｂ）は（ａ）の機器間でのデータの流れを示す説明図である。また、図２は上記各機器の接続と記録制御装置５の機能を示すブロック図であり、図３はコンピュータ（制御装置）５０での処理の概要を示すフローチャートである。
［１］動画記録時
図１（ａ）は複数のカメラが撮影する動画やＧＮＳＳ（ＧＰＳ）出力を記録するシステムの各機器を車載した様子を模式的に示す配置図であり、（ｂ）は（ａ）の機器間でのデータの流れを示す説明図である。また、図２は上記各機器の接続と記録制御装置５の機能を示すブロック図であり、図３はコンピュータ（制御装置）５０での処理の概要を示すフローチャートである。
【0014】
図示のように、ＧＮＳＳ（ＧＰＳ）受信機１０と、各々異なる方向を撮影するための６台のビデオカメラ（前方撮影用のビデオカメラ３１，後方撮影用のビデオカメラ３２，右側方撮影用のビデオカメラ３３，左側方撮影用のビデオカメラ３４，上方撮影用のビデオカメラ３５，下方撮影用のビデオカメラ３６）と、音声ミキサー４０と、コンピュータ５０と、複数個のセンサ７０とが自動車に搭載されており、このシステムを用いて、動画撮影が行われる。また、動画撮影と同時に、ＧＮＳＳ（ＧＰＳ）受信機１０から入力される撮影の日時刻（年・月・日・時・分・秒）や撮影位置（緯度・経度）、センサ７０や操作入力装置２０から入力される後述の各種の情報が記録される。なお、このシステムは、自動車に代えて列車やドローン等に搭載されてもよい。また、図１（ａ）では、操作入力装置２０の図示は省略されている。操作入力装置２０としては、例えば、キーボード、ゲーム機の操作装置（ゲームコントローラ，ジョイスティック，等）等の公知の操作入力装置を挙げることができる。
【0015】
ＧＮＳＳ（ＧＰＳ）受信機１０では、ＦＩＸされた少なくとも４個のＧＮＳＳ（ＧＰＳ）衛星から受信される信号に基づいて、時刻情報（ＵＴＣ，協定世界時）と位置（緯度・経度）情報が生成され、同時に生成される１ＰＰＳ信号（１sec 間隔の高精度のパルス信号）に同期して出力されて、コンピュータ（制御装置）５０に入力される。ここで、時刻情報は日本標準時に変換されて出力され、コンピュータ（制御装置）５０に入力される。入力された時刻情報と位置情報は、各ビデオカメラの音声トラックに記録されるとともに、記憶装置６０にも記録される。
【0016】
コンピュータ（制御装置）５０には、複数個のセンサ７０（ビデオカメラから被写体までの距離を検出するべく当該のビデオカメラ近辺に設けられた距離センサ，自動車の走行速度を検出する速度センサ，走行加速度を検出する加速度センサ，温度センサ，圧力センサ，自動車の走行方位を検出する方位センサ，走行に伴うロードノイズを検出するノイズセンサ，自動車の走行方向での傾斜角を検出する傾斜角センサ，ガスセンサ，等）の検出データも入力される。入力された検出データは、入力時刻に対応付けて、記憶装置６０に記録される。
【0017】
また、コンピュータ（制御装置）５０には、操作入力装置２０から適宜のタイミングでユーザが操作入力した各種の指示情報が入力される。各種の指示情報としては、記録開始を指示する開始指示（ＳＴＡＲＴ）、記録停止を指示する停止指示（ＳＴＯＰ）、所定の意味が対応付けられている文字列（異常所見Ａを発見，異常所見Ｂを発見，巡視点検業務を開始した，巡視点検業務を終了した，等の意味が対応付けられている文字列）等を挙げることができる。ここで、開始指示（ＳＴＡＲＴ）と停止指示（ＳＴＯＰ）は、各々入力時刻に対応付けてビデオカメラの音声トラックに記録されるとともに、記憶装置６０にも記録される。他の指示情報は、入力時刻に対応付けて記憶装置６０に記憶される。
【0018】
コンピュータ（制御装置）５０は、概略、図３に示す制御を実行する。
必要数（例：４個）のＧＮＳＳ衛星からの受信信号をＦＩＸした旨のデータがＧＮＳＳ受信機１０から入力されると（Ｓ０１）、タイマ５９が１sec 間隔で発している基準パルスを、ＧＮＳＳ受信機１０からの１ＰＰＳ信号に同期させる処理（図８（ａ）のキャリブレーション）が開始されて（Ｓ０３）、ｉｄｌｅ状態となる（Ｓ０５）。
必要数（例：４個）のＧＮＳＳ衛星からの受信信号をＦＩＸした旨のデータがＧＮＳＳ受信機１０から入力されると（Ｓ０１）、タイマ５９が１sec 間隔で発している基準パルスを、ＧＮＳＳ受信機１０からの１ＰＰＳ信号に同期させる処理（図８（ａ）のキャリブレーション）が開始されて（Ｓ０３）、ｉｄｌｅ状態となる（Ｓ０５）。
【0019】
キャリブレーションにより、ＧＮＳＳ受信機１０からの１ＰＰＳ信号に対する、タイマ５９の基準パルスの遅延時間が、許容時間（例：１００msec）内になると（Ｓ０７でＹＥＳ）、ｂｕｓｙ状態となる（Ｓ１３，図８（ａ）参照）。ここで、許容時間は、１ＰＰＳ信号に同期して入力されたデータ等の各種の処理を、次の基準パルスまでの時間内（＝当該の１周期内）に、完了させ得るように設定された時間である。
【0020】
ｂｕｓｙ状態（Ｓ１３）に於いて、操作入力装置２０から、記録開始を指示する開始指示（ＳＴＡＲＴ）が入力されると（Ｓ１１）、エンコードが実行される（Ｓ１５）。その結果、図４にも示すように、音声出力処理と、ログ出力処理が、実行される。
【0021】
音声出力処理では、ＧＮＳＳ受信機１０から１ＰＰＳ信号に同期して入力されるデータ（時刻データ，位置データ）が、入力毎に当該１ＰＰＳ信号の直後の基準パルスをトリガーとして生成される番号データ（番号生成部５１）とともに、アナログ音声信号に変換されて（データ変換部５２）、音声出力される（音声出力部５８；Ｓ２１）。また、開始指示（ＳＴＡＲＴ）や停止指示（ＳＴＯＰ）の入力時には、開始データや停止データも、併せてアナログ音声信号に変換されて（データ変換部５２）、音声出力される（音声出力部５８；Ｓ２１）。
【0022】
ログ出力処理では、ＧＮＳＳ受信機１０から１ＰＰＳ信号に同期して入力されるデータ（時刻データ，位置データ）が、入力毎に当該１ＰＰＳ信号の直後の基準パルスをトリガーとして生成される番号データ（番号生成部５１）とともに、記憶装置６０の所定の記憶領域（ＧＰＸフォーマットの拡張領域）６１（図１１）に保存される（データ制御部５３；Ｓ２３）。また、各センサ７０から入力されるセンサデータ、操作入力装置２０から入力される開始指示のデータや停止指示のデータ或いは所定の意味が対応付けられている文字列データ、さらには、ＧＮＳＳ受信機１０によるＧＮＳＳ衛星のＦＩＸ状態に関するデータが、基準パルスをトリガーとして、記憶装置６０の所定の記憶領域（拡張領域）６１に保存される（データ制御部５３；Ｓ２３）。
【0023】
ステップＳ１７は、アナログ音声信号への変換要求時刻から音声出力開始時刻までの所要時間を監視する処理（時間監視５４）である。所要時間が所定の上限時間（例：３０msec）を越えた場合は（Ｓ１７でＮＯ）、後述の再送処理が行われる。また、再送処理を行った旨が、記憶装置６０の所定の記憶領域（拡張領域）６１に保存される（データ制御部５３；Ｓ３１）。
【0024】
音声出力のタイミングについて、図５を参照して説明する。
ＧＮＳＳ受信機１０からは、１ＰＰＳ信号をトリガーとして、時刻データと位置データが継続的に繰り返して出力されている。また、ＧＮＳＳ衛星のＦＩＸ状態に関するデータも、継続的に繰り返して出力されている。
ＧＮＳＳ受信機１０からは、１ＰＰＳ信号をトリガーとして、時刻データと位置データが継続的に繰り返して出力されている。また、ＧＮＳＳ衛星のＦＩＸ状態に関するデータも、継続的に繰り返して出力されている。
【0025】
コンピュータ（制御装置）５０が起動されると、前述のキャリブレーション（図８（ａ））が実行される（ｉｄｌｅ状態）。その結果、１ＰＰＳ信号に対する基準パルスの遅延時間が許容範囲（例：１００msec）内になると（＝同期すると）、ｂｕｓｙ状態となる。
【0026】
ｂｕｓｙ状態では、操作入力装置２０から開始指示（ＳＴＡＲＴ）が入力された後で且つ停止指示（ＳＴＯＰ）が入力されていないことが条件となるが、ＧＮＳＳ受信機１０から１ＰＰＳ信号をトリガーとして時刻データと位置データが入力される毎に、当該１ＰＰＳ信号に同期された基準パルスをトリガーとして、番号データが生成される（番号生成部５１）。
【0027】
また、番号データが生成されると、当該番号データが基づく時刻データ及び位置データと併せて、音声出力用のアナログ信号に変換される（データ変換部５２）。なお、開始指示（ＳＴＡＲＴ）又は停止指示（ＳＴＯＰ）が入力された場合は、開始データ又は停止データも併せて、音声出力用のアナログ信号に変換される。なお、停止データは、図４に示すように音声出力等を一端停止するためのデータであるから、停止データの入力後に開始データが入力された場合は、番号データとしては、停止データの入力前の最終の番号の後の番号（例えば、次の番号）から付すように設定することができる。
【0028】
こうして、音声出力用のアナログ信号に変換されると、音声出力部５８（例：サウンドカード）により音声が生成され、音声ミキサー４０を経て、ビデオカメラ３１，３２，３３，３４，３５，３６の音声トラックへ送られて記録される。このとき、各ビデオカメラでは、動画撮影が行われているため、入力される音声は、当該時刻の撮影フレームに対応するように音声トラックに記録される。
【0029】
図５内の中段に示す「未確定」は、１ＰＰＳ信号が入力されない場合や、時刻データや位置データが入力されない場合を示す。
即ち、ＧＮＳＳ受信機１０から、１ＰＰＳ信号、及び／又は、時刻データ及び位置データが入力されない場合は、番号データは生成されず、音声出力用のアナログ信号も生成されず、当然ながら、音声出力も行われない。
即ち、ＧＮＳＳ受信機１０から、１ＰＰＳ信号、及び／又は、時刻データ及び位置データが入力されない場合は、番号データは生成されず、音声出力用のアナログ信号も生成されず、当然ながら、音声出力も行われない。
【0030】
データ記録のタイミングについて、図６を参照して説明する。なお、図５と重複する部分（コンピュータ５０の起動～番号データの生成）についての説明は、割愛する。
前述のように、番号データが、１ＰＰＳ信号に同期された基準パルスをトリガーとして生成される（番号生成部５１）と、当該番号データが基づく時刻データ及び位置データに対応付けて、記憶装置６０の所定の記憶領域（ＧＰＸフォーマットの拡張領域）６１に格納される（データ制御部５３）。
前述のように、番号データが、１ＰＰＳ信号に同期された基準パルスをトリガーとして生成される（番号生成部５１）と、当該番号データが基づく時刻データ及び位置データに対応付けて、記憶装置６０の所定の記憶領域（ＧＰＸフォーマットの拡張領域）６１に格納される（データ制御部５３）。
【0031】
また、各センサ７０から入力されるセンサデータ、操作入力装置２０から入力される指示データ（開始指示，停止指示）や所定の意味が対応付けられている文字列データ、さらには、ＧＮＳＳ受信機１０によるＧＮＳＳ衛星のＦＩＸ状態に関するデータも、基準パルスに同期して、記憶装置６０の所定の記憶領域（拡張領域）６１に格納される（データ制御５３）。
【0032】
図６内の中段に示す「未確定」は、１ＰＰＳ信号が入力されない場合や、時刻データや位置データが入力されない場合を示す。
この場合、図５の音声出力とは異なり、各センサ７０から入力されるセンサデータ、操作入力装置２０から入力される指示データ（開始指示，停止指示）や所定の意味が対応付けられている文字列データ、さらには、ＧＮＳＳ受信機１０によるＧＮＳＳ衛星のＦＩＸ状態に関するデータは、基準パルスに同期して、記憶装置６０の所定の記憶領域（拡張領域）６１に格納される（データ制御５３）。
この場合、図５の音声出力とは異なり、各センサ７０から入力されるセンサデータ、操作入力装置２０から入力される指示データ（開始指示，停止指示）や所定の意味が対応付けられている文字列データ、さらには、ＧＮＳＳ受信機１０によるＧＮＳＳ衛星のＦＩＸ状態に関するデータは、基準パルスに同期して、記憶装置６０の所定の記憶領域（拡張領域）６１に格納される（データ制御５３）。
【0033】
このため、例えば、番号データ・時刻データ・位置データが無いレコードに、「ＧＮＳＳ受信機１０によるＧＮＳＳ衛星のＦＩＸ状態＝不良」のデータが格納されていれば、その前後のレコードの位置データの間で、ＧＮＳＳ衛星ＦＩＸ不良であったという知見を得ることができる。
【0034】
本システムでは、番号データが生成されると、時刻データ及び位置データとともに音声出力用のアナログ信号に変換されて音声出力されるのであるが、出力音声に開始データに基づく音声（開始情報）が含まれていた場合で、且つ、音声出力開始までの所要時間が所定の上限時間を越えた場合は、直後の番号データ・時刻データ・位置データに開始データを含め、音声出力用のアナログ信号に変換して音声出力する。
即ち、開始データに基づく音声（開始情報）を含む音声が、再度、出力される。
即ち、開始データに基づく音声（開始情報）を含む音声が、再度、出力される。
【0035】
また、開始情報を含む音声出力が所定の上限時間を越えて行われた旨のデータ（エラーデータ）が、記憶装置６０の所定の記憶領域６１の当該のレコード（上限時間を越えて音声出力された開始情報に対応する開始データ・番号データ・時刻データ・位置データのレコード）に格納される。
【0036】
ここで、所定の上限時間は、開始データの入力時刻に対応する撮影フレームに対応する音声トラックに、開始情報を含む音声が記録され得るように、設定することができる。
例えば、或るビデオカメラのフレームレートが３０ｆｐｓであれば、１フレームが略３０msecであるため、上限時間を、３０msecに設定することができる。
また、２台のビデオカメラのフレームレートが３０ｆｐｓと６０ｆｐｓのように異なる場合に於いて、６０ｆｐｓの場合の対応する１フレーム期間内（例：１５msec）に音声記録処理が開始されるように上限時間を設定すると、音声記録処理を、対応する１フレーム期間内に開始させることができる。
例えば、或るビデオカメラのフレームレートが３０ｆｐｓであれば、１フレームが略３０msecであるため、上限時間を、３０msecに設定することができる。
また、２台のビデオカメラのフレームレートが３０ｆｐｓと６０ｆｐｓのように異なる場合に於いて、６０ｆｐｓの場合の対応する１フレーム期間内（例：１５msec）に音声記録処理が開始されるように上限時間を設定すると、音声記録処理を、対応する１フレーム期間内に開始させることができる。
【0037】
上述の図６の例では、記憶装置６０へのデータ記録のタイミング（基準パルスで規定されるタイミング）が、１ｐｐｓ信号と同じ１sec 間隔である場合を説明したが、基準パルスを１ｐｐｓ信号より短く設定する構成も可能である。
【0038】
図７は、基準パルスを０．２sec 間隔に設定した例である。この場合、各種のセンサデータは各々０．２sec 間隔の基準パルスに同期して記憶装置６０に記録されるが、番号データや時刻データ及び位置データは、１ｐｐｓ信号と同時刻の基準パルスに同期して記憶装置６０に記録される。なお、当然ながら、番号データが生成されなかった場合には、時刻データや位置データも記録されない。なお、図７では、１ＰＰＳ信号に対する基準パルスの遅延時間（許容範囲内の遅延時間）は図示していない。
【0039】
図８（ｂ）、図９、図１０を参照して、開始情報の再送を説明する。
音声出力要求から、音声出力開始までには、図８（ｂ）に示すように、或る時間を要する。この時間を、本システムでは、時間監視部５４が監視する。
即ち、図５の如く基準パルスをトリガーとして番号データが生成されると、変換要求が発生する。変換要求が発生すると（図１０・Ｓ５３でＹＥＳ）、タイマ５９による計時が開始されるとともに、音声出力部５８による音声出力開始が監視される（Ｓ５５）。
音声出力要求から、音声出力開始までには、図８（ｂ）に示すように、或る時間を要する。この時間を、本システムでは、時間監視部５４が監視する。
即ち、図５の如く基準パルスをトリガーとして番号データが生成されると、変換要求が発生する。変換要求が発生すると（図１０・Ｓ５３でＹＥＳ）、タイマ５９による計時が開始されるとともに、音声出力部５８による音声出力開始が監視される（Ｓ５５）。
【0040】
音声出力が開始されると（Ｓ５７でＹＥＳ）、計時が終了されてタイマ５９による計測時間が取得される（Ｓ５９）。取得した計測時間が上限時間（例：３０msec）を越えているか否か調べ、越えている場合は（Ｓ６１でＮＯ）、記憶装置６０の所定の記憶領域（ＧＰＸフォーマットの拡張領域）６１の現在周期に対応するレコードに、音声出力が所定の上限時間を越えて行われた旨のデータ（エラーデータ）を格納する（Ｓ６３）。
【0041】
さらに、所定の上限時間を越えて出力された音声に開始情報が含まれていたか否かを調べ、含まれていた場合は（Ｓ６５でＹＥＳ）、データ変換部５２による直後の周期のアナログ音声信号へのデータ変換に、開始データを含めさせる（Ｓ６７）。
これにより、開始データに基づく音声（開始情報）を含む音声が、再度、直後の周期に於いて出力される。
これにより、開始データに基づく音声（開始情報）を含む音声が、再度、直後の周期に於いて出力される。
【0042】
このように本記録システムは構成されている。
このため、操作入力装置２０から開始データが入力された後は、ＧＮＳＳ受信機１０から１ＰＰＳ信号をトリガーとして時刻データと位置データが入力される毎に、同時又は直後に記録制御装置５のタイマ５９が生成する基準パルスをトリガーとして番号データが生成され、番号データが生成されると、時刻データ及び位置データと併せて音声出力用のアナログ信号に変換されて音声出力されるとともに、時刻データ及び位置データに対応付けられて記憶装置６０に保存される。記録制御装置５のタイマ５９が生成する１秒間隔の基準パルス（図６の例）をトリガーとして音声出力やデータ保存が実行されるため、ＧＮＳＳ受信機１０が出力する計測周期等のメーカー毎の仕様の差異に影響されることなく、番号情報と時刻情報及び位置情報の音声出力や、それらのデータ記録を行うことができる。
また、操作入力装置２０から開始データが入力された直後は、開始情報を含めて上述の音声出力やデータ記録を行うことができる。
また、開始情報を含む音声出力開始が所定の上限時間を越えて行われた場合は、開始情報を、直後の音声出力の周期に於いて、再度、音声出力することができる。また、開始情報が遅れた旨のエラーデータを、当該遅れた時刻データに対応付けて記録できる。
また、ＧＮＳＳ受信機１０から時刻データや位置データが取得されず、番号データが生成されない場合でも、基準パルスのタイミング（図６の例では１sec 間隔、図７の例では０．２sec 間隔）で入力されたデータ（センサ７０の検出データ、操作入力装置２０から入力の各種のデータ、ＧＮＳＳ衛星のＦＩＸ状態を示すデータ等）が記憶装置６０の所定の記憶領域６１の当該タイミングに対応するレコードに保存される。
このため、操作入力装置２０から開始データが入力された後は、ＧＮＳＳ受信機１０から１ＰＰＳ信号をトリガーとして時刻データと位置データが入力される毎に、同時又は直後に記録制御装置５のタイマ５９が生成する基準パルスをトリガーとして番号データが生成され、番号データが生成されると、時刻データ及び位置データと併せて音声出力用のアナログ信号に変換されて音声出力されるとともに、時刻データ及び位置データに対応付けられて記憶装置６０に保存される。記録制御装置５のタイマ５９が生成する１秒間隔の基準パルス（図６の例）をトリガーとして音声出力やデータ保存が実行されるため、ＧＮＳＳ受信機１０が出力する計測周期等のメーカー毎の仕様の差異に影響されることなく、番号情報と時刻情報及び位置情報の音声出力や、それらのデータ記録を行うことができる。
また、操作入力装置２０から開始データが入力された直後は、開始情報を含めて上述の音声出力やデータ記録を行うことができる。
また、開始情報を含む音声出力開始が所定の上限時間を越えて行われた場合は、開始情報を、直後の音声出力の周期に於いて、再度、音声出力することができる。また、開始情報が遅れた旨のエラーデータを、当該遅れた時刻データに対応付けて記録できる。
また、ＧＮＳＳ受信機１０から時刻データや位置データが取得されず、番号データが生成されない場合でも、基準パルスのタイミング（図６の例では１sec 間隔、図７の例では０．２sec 間隔）で入力されたデータ（センサ７０の検出データ、操作入力装置２０から入力の各種のデータ、ＧＮＳＳ衛星のＦＩＸ状態を示すデータ等）が記憶装置６０の所定の記憶領域６１の当該タイミングに対応するレコードに保存される。
【0043】
ここで、本システムの概要を、要約して述べる。
ＧＮＳＳ（ＧＰＳ）受信機１０からは、１ＰＰＳ信号に同期して、時刻データと位置データが出力されている。即ち、１ＰＰＳ信号の出力時刻に於ける時刻情報（年月日・時分秒）と位置情報（緯度・経度情報）が、繰り返して出力されている。
番号データは、開始データが入力された後（入力時刻を含む入力時刻以降）の期間に於いて、時刻データと位置データが記録制御装置５へ入力される毎に、生成される。生成タイミングは、１ｐｐｓ信号の直後に当該の記録制御装置５が生成する基準パルスをトリガーとするタイミングである。図６の例では当該の記録制御装置５が生成する１秒間隔の基準パルスをトリガーとするタイミングである。また、図７の例では０．２秒間隔の基準パルスの中で１ｐｐｓ信号の直後の基準パルスをトリガーとするタイミングである。換言すれば、メーカー毎に仕様が異なるＧＮＳＳ受信機１０側の計測周期には影響されないタイミングである。なお、基準パルスは、通常、ＧＮＳＳ受信機１０からのデータが入力されるシステム（記録制御装置５が含まれるシステム）側の起動時に於いて、１ＰＰＳ信号に同期をとられている。
音声出力用アナログ信号への変換対象は、番号データ及び当該番号データが基づく時刻データと位置データである。さらに、これらのデータに、これらのデータと同時的に開始データが入力された場合には、開始データが追加される。同時的とは、当該の１ＰＰＳ信号の周期内という意味である。
開始データは、操作入力装置２０からユーザ操作に基づいて入力される。操作入力装置２０としては、例えば、キーボード、ゲーム機の操作装置（ゲームコントローラ，ジョイスティック）等の公知の操作入力装置を挙げることができる。
音声出力用アナログ信号への変換開始タイミングは、「番号データが生成された時」であるため、例えば、「図６の例では、記録制御装置５が生成する１秒間隔の基準パルスをトリガーとするタイミング」とも記述され得る。
音声出力の開始タイミングは、例えば、アナログ信号への変換完了時・毎である。
記憶装置６０の所定の記憶領域６１に格納されるデータは、番号データ及び当該番号データが基づく時刻データと位置データである。これらのデータに、これらのデータと同時的に開始データが入力された場合には、開始データが追加される。また、センサ７０の検出データ、操作入力装置２０から入力の各種のデータ、ＧＮＳＳ衛星のＦＩＸ状態を示すデータ等も格納される。
ＧＮＳＳ（ＧＰＳ）受信機１０からは、１ＰＰＳ信号に同期して、時刻データと位置データが出力されている。即ち、１ＰＰＳ信号の出力時刻に於ける時刻情報（年月日・時分秒）と位置情報（緯度・経度情報）が、繰り返して出力されている。
番号データは、開始データが入力された後（入力時刻を含む入力時刻以降）の期間に於いて、時刻データと位置データが記録制御装置５へ入力される毎に、生成される。生成タイミングは、１ｐｐｓ信号の直後に当該の記録制御装置５が生成する基準パルスをトリガーとするタイミングである。図６の例では当該の記録制御装置５が生成する１秒間隔の基準パルスをトリガーとするタイミングである。また、図７の例では０．２秒間隔の基準パルスの中で１ｐｐｓ信号の直後の基準パルスをトリガーとするタイミングである。換言すれば、メーカー毎に仕様が異なるＧＮＳＳ受信機１０側の計測周期には影響されないタイミングである。なお、基準パルスは、通常、ＧＮＳＳ受信機１０からのデータが入力されるシステム（記録制御装置５が含まれるシステム）側の起動時に於いて、１ＰＰＳ信号に同期をとられている。
音声出力用アナログ信号への変換対象は、番号データ及び当該番号データが基づく時刻データと位置データである。さらに、これらのデータに、これらのデータと同時的に開始データが入力された場合には、開始データが追加される。同時的とは、当該の１ＰＰＳ信号の周期内という意味である。
開始データは、操作入力装置２０からユーザ操作に基づいて入力される。操作入力装置２０としては、例えば、キーボード、ゲーム機の操作装置（ゲームコントローラ，ジョイスティック）等の公知の操作入力装置を挙げることができる。
音声出力用アナログ信号への変換開始タイミングは、「番号データが生成された時」であるため、例えば、「図６の例では、記録制御装置５が生成する１秒間隔の基準パルスをトリガーとするタイミング」とも記述され得る。
音声出力の開始タイミングは、例えば、アナログ信号への変換完了時・毎である。
記憶装置６０の所定の記憶領域６１に格納されるデータは、番号データ及び当該番号データが基づく時刻データと位置データである。これらのデータに、これらのデータと同時的に開始データが入力された場合には、開始データが追加される。また、センサ７０の検出データ、操作入力装置２０から入力の各種のデータ、ＧＮＳＳ衛星のＦＩＸ状態を示すデータ等も格納される。
【0044】
なお、上記では、ＧＮＳＳ（ＧＰＳ）受信機１０から１ＰＰＳ信号に同期して時刻データと位置データが出力される場合を説明したが、ＧＮＳＳ（ＧＰＳ）受信機の仕様が変わり、例えば、０．１sec に同期して出力される場合にも、同様の技術思想を適用可能である。記録制御装置５が生成する基準パルスに関しても同様であり、図６の例では１秒間隔の基準パルスが生成され、図７の例では０．２秒間隔の基準パルスが生成される。
【0045】
［２］記録動画の処理時
上述のように記録した動画の処理について説明する。
図１２は実施の形態の動画処理装置の構成と処理の概要を説明するブロック図、図１３は該動画処理装置の各段階の処理を説明するフローチャート、図１４は同期設定処理を説明するフローチャート、図１５は情報埋め込み処理を説明するフローチャート、図１６は図１５内の按分処理Ｓ２１０の詳細を説明するフローチャート、図１７は図１５内の埋め込み処理Ｓ２５０の詳細を説明するフローチャート、図１８はデータベース８０への登録処理を説明するフローチャートの一部、図１９（ａ）は残部、図１９（ｂ）はサーバ装置への転送処理を説明するフローチャートである。
図１２に於いて、制御装置９０や操作入力装置９２は、図１及び図２の制御装置５０や操作入力装置２０とは別の機器（別の符号）として描かれているが、同じ機器を共通して用い、図１２～図１９に示す機能（プログラム）を実現するように構成してもよい。
上述のように記録した動画の処理について説明する。
図１２は実施の形態の動画処理装置の構成と処理の概要を説明するブロック図、図１３は該動画処理装置の各段階の処理を説明するフローチャート、図１４は同期設定処理を説明するフローチャート、図１５は情報埋め込み処理を説明するフローチャート、図１６は図１５内の按分処理Ｓ２１０の詳細を説明するフローチャート、図１７は図１５内の埋め込み処理Ｓ２５０の詳細を説明するフローチャート、図１８はデータベース８０への登録処理を説明するフローチャートの一部、図１９（ａ）は残部、図１９（ｂ）はサーバ装置への転送処理を説明するフローチャートである。
図１２に於いて、制御装置９０や操作入力装置９２は、図１及び図２の制御装置５０や操作入力装置２０とは別の機器（別の符号）として描かれているが、同じ機器を共通して用い、図１２～図１９に示す機能（プログラム）を実現するように構成してもよい。
【0046】
操作入力装置９２から入力される指示に応じて、動画処理装置９は、ビデオカメラ３１～３６の動画記憶装置３１０～３６０に記憶されている動画（映像符号，音声符号）を読み出して、同期再生可能とするための同期設定処理を実行する。即ち、走行しつつ６台のビデオカメラ３１～３６で各方向を撮影した各動画について、同一地点の各方向の映像が同一のタイミングで再生され得るようにするための処理を実行する。この処理は、言い換えれば、或る地点を指定したとき、当該の地点の各方向の静止画を表示し得るようにするための処理でもある。
また、動画処理装置９は、操作入力装置９２から入力される指示に応じて、動画記憶装置３１０～３６０に記憶されている動画（映像符号，音声符号）とともに記憶装置６０に記憶されているログ情報を読み出して、各フレーム画像（静止画像）に当該のフレーム画像に関連する各種のデータを埋め込む処理（情報埋め込み処理）を実行する。
また、動画処理装置９は、操作入力装置９２から入力される指示に応じて、動画記憶装置３１０～３６０に記憶されている動画（映像符号，音声符号）とともに記憶装置６０に記憶されているログ情報を読み出して、各フレーム画像（静止画像）に当該のフレーム画像に関連する各種のデータを埋め込む処理（情報埋め込み処理）を実行する。
【0047】
[2-1] 同期設定処理
同期設定処理は、動画記憶装置３１０～３６０に記憶されている各動画の再生開始フレームを求めて、そのフレーム番号を同期設定ファイル８１に保存する処理である。これにより、各動画は、再生時、同期設定ファイル８１に保存されているフレーム番号から再生を開始されるため、同一地点の各方向の映像が同一のタイミングで再生される。また、任意の地点を指定して、当該地点の各方向の静止画を表示させることもできる。
同期設定処理は、動画記憶装置３１０～３６０に記憶されている各動画の再生開始フレームを求めて、そのフレーム番号を同期設定ファイル８１に保存する処理である。これにより、各動画は、再生時、同期設定ファイル８１に保存されているフレーム番号から再生を開始されるため、同一地点の各方向の映像が同一のタイミングで再生される。また、任意の地点を指定して、当該地点の各方向の静止画を表示させることもできる。
【0048】
図１４に即し、図２２と図２３を参照して説明する。
先述のように、各動画の音声トラックに記憶されている音声データには、制御装置５０のタイマ５９が発する基準パルス（１sec ，図６の場合）の間隔又はその倍数間隔を空けて、番号データとともに位置データ及び時刻データが記憶されている。また、位置データ及び時刻データの入力時に開始データが操作入力された場合には、開始データも併せて記憶されている。なお、倍数間隔が空いている場合とは、（イ）図５で１ＰＰＳ信号が未画定で番号データが生成されなかった場合や、（ロ）図７のように基準パルスが１ＰＰＳ信号の間隔（１秒）を細分したタイミングで生成されていた場合である。
先述のように、各動画の音声トラックに記憶されている音声データには、制御装置５０のタイマ５９が発する基準パルス（１sec ，図６の場合）の間隔又はその倍数間隔を空けて、番号データとともに位置データ及び時刻データが記憶されている。また、位置データ及び時刻データの入力時に開始データが操作入力された場合には、開始データも併せて記憶されている。なお、倍数間隔が空いている場合とは、（イ）図５で１ＰＰＳ信号が未画定で番号データが生成されなかった場合や、（ロ）図７のように基準パルスが１ＰＰＳ信号の間隔（１秒）を細分したタイミングで生成されていた場合である。
【0049】
図２２及び図２３では、番号データと位置データと時刻データと開始データの４個のデータを持つ音声データの先頭からの時間位置に対応するフレームは水平な平行線を施して描き、番号データと位置データと時刻データの３個を持ち開始データを持たない音声データの先頭からの時間位置に対応するフレームは斜め右下がりの平行線（斜線）を施して描いている。また、位置データと時刻データを持たず番号データも持たない音声データの先頭からの時間位置に対応するフレーム群は、纏めて空白（斜線も水平線も無い空白）で描いている。なお、纏めて空白で描いたフレーム群は、実際には図２２（ａ）の拡大した部分に示すように構成されている。
【0050】
複数台のカメラ３１～３６による複数の動画は、それぞれのビデオカメラでの撮影が開始された時から記録されているため、図２３に示すように、記録開始時を先頭として描いた図では、開始データに対応するフレームの時間位置（フレーム番号，先頭からの時間位置）が、動画毎にそれぞれ異なる。この先頭からの時間位置（フレーム番号）を当該動画の開始位置として同期設定ファイル８１に保存することで、複数の動画の再生時の同期が実現される。また、任意の地点を指定して、当該地点の各方向の静止画を表示させる機能も実現される。
【0051】
同期設定処理では、まず、各動画記憶装置３１０～３６０から、映像符号及び音声符号を取得して復号する（Ｓ１０１）。これにより、映像データと音声データが得られる。また、音声データからは、１ＰＰＳ信号が未確定とならない限り（図５参照）、前記基準パルスの間隔（１sec ）毎（図５の場合）に、番号データ、位置データ、及び、時刻データが得られる。例えば、３０fps の動画であれば、３０フレームに相当する時間位置（１sec ）毎に、番号データ、位置データ、及び、時刻データが得られる。なお、記録時に１ＰＰＳ信号やＧＮＳＳデータ出力を得られなかった場合は、図５に示したように、該当する時間位置（直前に番号データ等を得られた時間位置から３０番目のフレーム相当の時間位置）であっても、これらは得られない。
【0052】
ステップＳ１０３では、音声データ中から開始データを探す。２以上の開始データが見出され、且つ、それらが連続する番号データとともに見出された場合は、時間的に後の開始データ（後の番号データに対応する開始データ）を、目的の開始データ（同期用の開始データ）として採用する。
【0053】
ステップＳ１０５では、見出した開始データの時間位置と同時間位置に在る動画フレームのフレーム番号に、開始データを割り当てる。即ち、当該動画の先頭からの経過時間が開始データと同時間である動画フレームに、開始データを対応付ける。
【0054】
ステップＳ１０７では、記憶装置６０のＧＮＳＳログ６１から開始データを探し、当該開始データが存するレコードから位置データ（経度・緯度）と時刻データを読み出す。なお、開始データの探索は、上記ステップ１０３で見出した開始データに対応する番号データと同じ番号データを持つレコードを探すことで行うようにしてもよい。
【0055】
ステップＳ１０９では、ステップＳ１０５で開始データに対応付けられたフレーム番号と、ステップＳ１０７で読み出された時刻データ及び位置データ（経度・緯度）を対応付ける当該動画の同期設定ファイル９４１を作成して、記憶装置９４に記録する。
【0056】
上記の処理を、全動画について繰り返し、全ての動画（動画記憶装置３１０～３６０から読み出した動画）についての処理が終了すると（Ｓ１１１でＹＥＳ）、同期設定が完了した旨を、不図示の表示装置に表示する（Ｓ１１３）。
以上のように、同期設定処理が行われる。
この同期設定処理は、例えば、
「複数の動画記憶装置３１０～３６０の各々から映像符号及び当該の映像符号に対応付けられる音声符号を取得して復号するデータ取得手段Ｓ１０１と、
前記データ取得手段が復号した音声データが番号データとともに開始データを含む場合は、当該番号データと開始データに対応する動画フレームを当該動画フレームが属する動画データの開始フレームとしてその情報を同期設定ファイル９４１に保存する処理Ｓ１０３～Ｓ１１１を、前記複数の動画記憶装置３１０～３６０の各々から復号した各動画データについて実行する同期設定手段と、
前記同期設定ファイル９４１と当該同期設定ファイル９４１に対応する動画データとを対応付けて記憶装置８０の所定の登録領域に保存する処理を、前記同期設定手段が保存した各同期設定ファイル９４１について各々実行する動画保存手段と、
を有することを特徴とする動画処理装置。」
として記述してもよい。
また、
「移動機搭載の複数のカメラ３１～３６による動画撮影時に各動画に音声で記憶した情報に基づいて各動画の同期再生を可能とする動画処理装置９であって、
前記複数のカメラ３１～３６で撮影した各動画を保持する複数の動画記憶装置３１０～３６０の各々から映像符号及び当該の映像符号に対応付けられた音声符号を取得して復号するデータ取得手段Ｓ１０１と、
前記データ取得手段が復号した音声データが番号データとともに開始データを含む場合は、当該番号データと開始データに対応する動画フレームを当該動画フレームが属する動画データの開始フレームとしてその情報を同期設定ファイル９４１に保存する処理Ｓ１０３～Ｓ１１１を、前記複数の動画記憶装置３１０～３６０の各々から復号した各動画データについて実行する同期設定手段と、
前記同期設定ファイル９４１と当該同期設定ファイル９４１に対応する動画データとを対応付けて記憶装置８０の所定の登録領域に保存する処理を、前記同期設定手段が保存した各同期設定ファイル９４１について各々実行する動画保存手段と、
を有し、
前記同期設定手段は、連続する２つの番号データに各々開始データが対応付けられている場合は、後の番号データに対応する動画フレームのみを当該動画フレームが属する動画データの開始フレームとしてその情報を同期設定ファイル９４１に保存するＳ１０３、
ことを特徴とする動画処理装置。」
として記述してもよい。
以上のように、同期設定処理が行われる。
この同期設定処理は、例えば、
「複数の動画記憶装置３１０～３６０の各々から映像符号及び当該の映像符号に対応付けられる音声符号を取得して復号するデータ取得手段Ｓ１０１と、
前記データ取得手段が復号した音声データが番号データとともに開始データを含む場合は、当該番号データと開始データに対応する動画フレームを当該動画フレームが属する動画データの開始フレームとしてその情報を同期設定ファイル９４１に保存する処理Ｓ１０３～Ｓ１１１を、前記複数の動画記憶装置３１０～３６０の各々から復号した各動画データについて実行する同期設定手段と、
前記同期設定ファイル９４１と当該同期設定ファイル９４１に対応する動画データとを対応付けて記憶装置８０の所定の登録領域に保存する処理を、前記同期設定手段が保存した各同期設定ファイル９４１について各々実行する動画保存手段と、
を有することを特徴とする動画処理装置。」
として記述してもよい。
また、
「移動機搭載の複数のカメラ３１～３６による動画撮影時に各動画に音声で記憶した情報に基づいて各動画の同期再生を可能とする動画処理装置９であって、
前記複数のカメラ３１～３６で撮影した各動画を保持する複数の動画記憶装置３１０～３６０の各々から映像符号及び当該の映像符号に対応付けられた音声符号を取得して復号するデータ取得手段Ｓ１０１と、
前記データ取得手段が復号した音声データが番号データとともに開始データを含む場合は、当該番号データと開始データに対応する動画フレームを当該動画フレームが属する動画データの開始フレームとしてその情報を同期設定ファイル９４１に保存する処理Ｓ１０３～Ｓ１１１を、前記複数の動画記憶装置３１０～３６０の各々から復号した各動画データについて実行する同期設定手段と、
前記同期設定ファイル９４１と当該同期設定ファイル９４１に対応する動画データとを対応付けて記憶装置８０の所定の登録領域に保存する処理を、前記同期設定手段が保存した各同期設定ファイル９４１について各々実行する動画保存手段と、
を有し、
前記同期設定手段は、連続する２つの番号データに各々開始データが対応付けられている場合は、後の番号データに対応する動画フレームのみを当該動画フレームが属する動画データの開始フレームとしてその情報を同期設定ファイル９４１に保存するＳ１０３、
ことを特徴とする動画処理装置。」
として記述してもよい。
【0057】
[2-2] 情報埋め込み処理
情報埋め込み処理では、各動画から各々抜き出した各フレーム画像（静止画像）に、当該のフレーム画像が撮影された位置・時刻で取得された正確な位置（緯度・経度）データと時刻データ、又は、当該フレーム画像が撮影された位置・時刻を示すように演算された高精度の位置（緯度・経度）データと時刻データが埋め込まれる。
また、情報埋め込み処理では、当該のフレーム画像が撮影された位置・時刻にて取得されたセンサデータ、又は、その近傍の位置・時刻にて取得されたセンサデータ、又は、当該フレーム画像が撮影された位置・時刻でのセンサ値を表すようにその近傍の位置・時刻にて取得されたセンサデータから演算された高精度のデータが埋め込まれる。取得されたセンサデータ、又は、近傍にて取得されたセンサデータ、又は、近傍にて取得されたセンサデータから演算された高精度のデータの何れが埋め込まれるかは、センサデータの性質に応じて設定されている。
情報埋め込み処理では、各動画から各々抜き出した各フレーム画像（静止画像）に、当該のフレーム画像が撮影された位置・時刻で取得された正確な位置（緯度・経度）データと時刻データ、又は、当該フレーム画像が撮影された位置・時刻を示すように演算された高精度の位置（緯度・経度）データと時刻データが埋め込まれる。
また、情報埋め込み処理では、当該のフレーム画像が撮影された位置・時刻にて取得されたセンサデータ、又は、その近傍の位置・時刻にて取得されたセンサデータ、又は、当該フレーム画像が撮影された位置・時刻でのセンサ値を表すようにその近傍の位置・時刻にて取得されたセンサデータから演算された高精度のデータが埋め込まれる。取得されたセンサデータ、又は、近傍にて取得されたセンサデータ、又は、近傍にて取得されたセンサデータから演算された高精度のデータの何れが埋め込まれるかは、センサデータの性質に応じて設定されている。
【0058】
図５や図６を参照して先述したように、位置データと時刻データは、１ＰＰＳ信号の直後に生成される基準パルス（基準パルスは、図５・図６では１秒間隔、図７では０．２秒間隔で生成されるが、１ＰＰＳ信号の直後の基準パルスは図５～図７の何れも１ＰＰＳ信号と同様に１秒間隔となる）に同期して生成される番号データとともに音声データに変換されて動画記憶装置３１０～３６０に記憶されており、且つ、１ＰＰＳ信号の直後に生成される基準パルスに同期して生成される番号データとともに記憶装置６０に記憶されている。言い換えれば、位置データと時刻データは、１秒間隔で、動画記憶装置３１０～３６０と記憶装置６０の双方に、共通の番号データに対応付けて記憶されている。
【0059】
したがって、例えば３０fps の動画であれば、位置データと時刻データは、３０フレーム毎に、共通の番号データに対応付けて、動画記憶装置３１０～３６０と記憶装置６０の両者に記憶されている。言い換えれば、連続する番号データ（第１の番号データと第２の番号データ）間に存する２９個のフレーム画像には、位置データと時刻データは対応付けられていないことになる。
【0060】
このため、本動画処理装置では、第１と第２の番号データ間のフレーム画像（例：２９個のフレーム画像）には、第１の番号データに対応付けられている位置データ及び時刻データと、第２の番号データに対応付けられている位置データ及び時刻データを、両者間に存するフレーム画像数で按分して、それぞれ埋め込んでいる。これにより、対応する位置データ及び時刻データが無いフレーム画像にも、非常に高精度の位置データ及び時刻データが埋め込まれることになる。なお、図５～図７から明らかなように、ＧＮＳＳデータ出力が未確定で番号データが生成されなかった場合には、上記第１と第２の番号データ間のフレーム画像数も２倍（又は、３倍・・・）となるため、当然ながら、その事情が按分に当たって組み込まれることになる。
【0061】
また、本動画処理装置では、各動画から抜き出したフレーム画像に、当該フレーム画像に関連するデータが、記憶装置６０から読み出されて埋め込まれる。関連するデータとしては、センサ７０から入力されたセンサデータや、操作入力装置２０から入力された文字列データがある。センサデータとしては、前掲のセンサ（距離センサ，速度センサ，加速度センサ，温度センサ，圧力センサ，方位センサ，ノイズセンサ，傾斜角センサ等）からの入力データを挙げることができる。文字列データとしては、前掲の文字列（異常所見Ａを発見，異常所見Ｂを発見，巡視点検業務を開始した，巡視点検業務を終了した，等の意味が対応付けられている文字列）のデータを挙げることができる。
センサデータは、当該のフレーム画像が撮影された位置・時刻にて取得されたセンサデータ、又は、その近傍の位置・時刻にて取得されたセンサデータ、又は、当該フレーム画像が撮影された位置・時刻でのセンサ値を表すようにその近傍の位置・時刻にて取得されたセンサデータから演算された高精度のデータの何れかが、センサの種別に応じて選択されて埋め込まれる。「撮影された位置・時刻でのセンサ値を表すようにその近傍の位置・時刻にて取得されたセンサデータから演算された高精度のデータ」とは、例えば、前述の位置・時刻データと同様に演算されたデータである。
センサデータは、当該のフレーム画像が撮影された位置・時刻にて取得されたセンサデータ、又は、その近傍の位置・時刻にて取得されたセンサデータ、又は、当該フレーム画像が撮影された位置・時刻でのセンサ値を表すようにその近傍の位置・時刻にて取得されたセンサデータから演算された高精度のデータの何れかが、センサの種別に応じて選択されて埋め込まれる。「撮影された位置・時刻でのセンサ値を表すようにその近傍の位置・時刻にて取得されたセンサデータから演算された高精度のデータ」とは、例えば、前述の位置・時刻データと同様に演算されたデータである。
【0062】
速度センサ、温度センサ、圧力センサの検出値は、１秒（又は０．２秒）という短時間に大きく変化する可能性は無視できる程度に小さいと考えられる。また、巡視点検業務を開始した、巡視点検業務を終了したという文字列も、秒（又は０．２秒）単位での正確さを求められるデータではないと考えられる。このため、これらのデータに関しては、前記第１と第２の番号データ間のフレーム画像群に対しては、第１の位置・時刻に入力されたデータを埋め込むこととする。これに対して、加速度センサのデータは１秒（又は０．２秒）という短時間でも変化する場合があると考えられる。このため、加速度センサのデータに関しては、上記第１と第２の位置・時刻にセンサ７０から入力された第１と第２のセンサデータを前記位置・時刻データの場合と同様にその間に存するフレーム数で按分して求めたセンサデータを埋め込むこととする。図２０に、この考え方を示す。
【0063】
一方で、センサデータや文字列データには、検出／入力された位置として正確な位置を要求されるデータがある。例えば、道路の陥没や段差等で急激に検出値が変動する場合があり得る方位センサ、傾斜角センサ、ノイズセンサ等のデータ、或いは、異常所見Ａを発見、異常所見Ｂを発見等の文字列である。これらについては、前述の按分処理は、必ずしも妥当ではなく、当該の位置を速やかに探し出し得るようにすることが望まれる。
【0064】
そこで、これらのデータについては、前述の温度センサ等の場合と同様に、上記第１の位置・時刻に入力されたデータを、上記第２の位置・時刻の直前のフレーム画像まで埋め込むこととする。しかし、そのままでは、急激な変動が検出された位置・時刻のフレーム画像を特定して表示できないため、当該の事象（道路の陥没、以上所見Ａ等）に対応する画像を有するフレーム画像を抽出して、当該のフレーム画像の位置・時刻を、当該事象の位置・時刻として決定して、当該のフレーム画像を表示し得るようにする。ここで、上記フレーム画像の抽出には、例えば、当該の事象を学習させたＡＩ画像検出・識別手段を用いることができる。
【0065】
図１５～図１７に即し、図２４～図２６を参照して説明する。
ステップＳ１５１では、各動画記憶装置３１０～３６０から、映像符号及び音声符号を取得して復号する。これにより、映像データと音声データが得られる。なお、ステップＳ１５１内のこの部分の処理は前述のステップＳ１０１と同じであり、コンピュータ９０の処理としては、重複する必要は無いが、ここでは、情報埋め込み処理を説明するため、ステップＳ１５１として表示している。
ステップＳ１５１では、各動画記憶装置３１０～３６０から、映像符号及び音声符号を取得して復号する。これにより、映像データと音声データが得られる。なお、ステップＳ１５１内のこの部分の処理は前述のステップＳ１０１と同じであり、コンピュータ９０の処理としては、重複する必要は無いが、ここでは、情報埋め込み処理を説明するため、ステップＳ１５１として表示している。
【0066】
ステップＳ１５１では、また、記憶装置６０から、ＧＮＳＳログのデータ６１を取得する。即ち、位置データ及び時刻データ、さらに、各種のセンサデータや、各種の文字列データを取得して保持する。
【0067】
ステップＳ１５３では、前記ステップＳ１０９で記憶装置９４に格納した同期設定ファイル９４１を読み出す。ステップＳ１５３～Ｓ１５９は、開始位置とされている画像と当該画像の地図上の位置を表示して、操作者が「修正必要」判断した場合に、操作入力装置９２からの操作入力で適宜に修正できるようにするための処理である。
【0068】
修正不要の確認の後、又は、適宜の修正の後、実行開始の旨が操作入力装置９２から入力されて、情報埋め込み処理が開始される（Ｓ１６１）。これにより、按分処理（Ｓ２１０）、埋め込み処理（Ｓ２５０）、ＣＳＶ等書き出処理（Ｓ１６３）が実行される。
【0069】
按分処理（Ｓ２１０）は、図１６のように実行される。
まず、基本の分割数を決定する（Ｓ２１１）。これは、当該の動画のｆｐｓから決定される。３０fps の動画であれば、基本が３０分割（３０で按分）となる。
次に、ＧＮＳＳデータ、センサデータ、文字列データ、番号データと当該番号データに対応付けられている位置データ及び時刻データを取得する（Ｓ２１３）。
まず、基本の分割数を決定する（Ｓ２１１）。これは、当該の動画のｆｐｓから決定される。３０fps の動画であれば、基本が３０分割（３０で按分）となる。
次に、ＧＮＳＳデータ、センサデータ、文字列データ、番号データと当該番号データに対応付けられている位置データ及び時刻データを取得する（Ｓ２１３）。
【0070】
ステップＳ２２１～Ｓ２２３では、番号データが連番を成す第１地点と第２地点を選択し、第１地点から第２地点までの経過時間に基づいて按分数を決定する。例えば、第１の番号データが存するレコードの時刻がＡであり、第１の番号データに「＋１」の番号である第２の番号データが存するレコードの時刻がＢであって、ＡからＢまでに１秒を経過している場合は、図５や図６（又は図７）の「未確定」が無かった場合であるため、３０fps の動画であれば、按分数は３０となる。また、例えば、ＡからＢまでに２秒を経過している場合は、図５や図６（又は図７）の「未確定」が１個、第１～第２間に存在した場合であるため、３０fps の動画であれば、按分数は６０となる。３秒、４秒の場合も、同様に、９０、１２０となり、以下、同様である。
【0071】
ステップＳ２２５では、ステップＳ２２３で決定した按分数（例：３０）で、時刻データを按分して、第１地点～第２地点直前のフレームに、各々割り当てる。ステップＳ２２７では位置データ（経度・緯度）を按分する。ステップＳ２２９では高度データを按分する。按分の考え方は前述の通りである。この考え方にしたがった按分の手法を図２４に示す。また、より具体的な手順の一例を図２５に示す。
【0072】
例えば、図２４に示すように、番号データｊを有する第１の動画フレームと、その番号データｊの次の番号データｊ＋１を有する第２の動画フレームに対応する各位置データ及び時刻データを、当該第１の動画フレームと第２の動画フレームの間に存在するフレーム数で均等に按分して、当該第１のフレームと第２のフレーム間に存在する各フレーム画像に順に割り当てる。この様子を、図２６に按分緯度・按分経度として例示する。
【0073】
例えば、３０fpsの動画であれば、第１の動画フレームのフレーム番号を「ｔ」としたとき、第２の動画フレームのフレーム番号は「ｔ＋３０」であり、その間に、２９個のフレームが存在する。そこで、フレーム番号「ｔ＋３０」が持つ位置データ及び時刻データから、フレーム番号「ｔ」が持つ位置データ及び時刻データを各々減算した値を、各々３０で均等に按分し、按分した値を、フレーム番号「ｔ＋１」から「ｔ＋２９」まで順に１個分づつ増やして割り当てる。なお、位置データとしては緯度・経度が保持されているため、緯度・経度の特性を考慮して均等に按分することとなる。
【0074】
上記では、３０fpsの場合は、第１フレームと第２フレーム間のフレーム数を３０フレームとして説明したが、先述のように、ＧＮＳＳ出力が得られなかった場合、番号データが生成されず、位置データ及び時刻データも記憶されないため、６０フレーム、さらには９０フレーム等で按分することとなる。
【0075】
また、図２４では、第１と第２のフレーム間の１秒を３０等分しているが、実際は、第１と第２のフレーム間が９９８msecであるため、これを考慮して、図２５に示すように処理している。このように処理すると、誤差の蓄積を抑止することができる。
なお、前記第１と第２の動画フレームから抽出した位置データ及び時刻データについては、当該抽出した各値を当該第１と第２のフレーム画像に割り当てる。
なお、前記第１と第２の動画フレームから抽出した位置データ及び時刻データについては、当該抽出した各値を当該第１と第２のフレーム画像に割り当てる。
【0076】
ステップＳ２３１では、センサデータを処理する。考え方は前述の通りである。加速度センサのセンサデータのように、急峻な変化があり得る物理量の場合は按分する。速度センサ、温度センサ、圧力センサのセンサデータや、巡視点検業務を開始した、巡視点検業務を終了したという文字列データのように、変化が緩やかで按分する必要が無いデータの場合は、前記第１から第２に至る間のフレーム画像に対しては、第１の位置・時刻に入力されたデータを採用する。
【0077】
ステップＳ２４１では、ステップＳ２２５～Ｓ２３１で求めた結果を、記憶装置９４に記憶する。当該の動画についての処理が終了すると、按分処理を終了する。なお、動画記憶装置３１０～３６０から読み出した各動画について、上記の按分処理を実行する。
【0078】
埋め込み処理（Ｓ２５０）は、図１７のように行われる。即ち、各フレーム画像を書き出して記憶装置９４に保持するとともに、按分処理で求めた結果を、対応するフレーム画像に割り当てるデータを記憶装置９４にて保持する。
以上の埋め込み処理は、例えば、
「 移動機搭載のカメラ３１／３２／３３／３４／３５／３６による動画撮影時に、当該動画に音声で記憶した情報と、当該動画の所定フレーム数に対応する一定時間間隔でログ記憶装置６０に記憶した情報とを、当該動画から抜き出した各フレーム画像に各々埋め込む動画処理装置９であって、
前記カメラで撮影した動画を保持する動画記憶装置３１０／３２０／３３０／３４０／３５０／３６０から映像符号及び音声符号を取得して復号し、及び、復号した音声データが持つ番号データにより対応付けられたレコードを含む前記一定時間間隔の各レコードのデータを前記ログ記憶装置６０から取得するデータ取得手段Ｓ１５１と、
前記データ取得手段が復号した映像データから当該映像データを構成する各フレーム画像データを取得して保持する画像取得手段と、
前記番号データが連番を成す第１と第２の番号データに相当する前記音声データ内の第１と第２の時間位置に対応する前記映像データ内の第１と第２のフレーム画像とその間の各フレーム画像を、前記第１と第２の番号データの組毎に特定する画像特定手段と、
前記第１と第２の番号データに対応する第１と第２の各レコードが持つ位置データを取得する処理を、前記第１と第２の番号データの組毎に実行する位置データ取得手段と、
前記第１と第２の各レコードが持つ位置データを、対応する第１のフレーム画像及び対応する第１と第２のフレーム画像間に存するフレーム画像の合算数に基づいて、当該合算に係る各フレーム画像に按分して割り当てる処理を、前記第１と第２の番号データの各組について実行する位置データ割り当て手段と、
前記第１と第２の番号データに対応する第１のレコード及び第１と第２のレコード間に存する各レコードが持つ所定のセンサデータを、対応する第１のフレーム画像及び第１と第２のフレーム画像間に存するフレーム画像であって対応するレコードを有するフレーム画像に割り当て、及び、対応するレコードを有しないフレーム画像には直前のフレーム画像に割り当てた所定のセンサデータ又は直前と直後のフレーム画像に割り当てた所定のセンサデータを按分して成るセンサデータを割り当てるセンサデータ割り当て手段と、
を有することを特徴とする動画処理装置。」
と記述してもよい。
以上の埋め込み処理は、例えば、
「 移動機搭載のカメラ３１／３２／３３／３４／３５／３６による動画撮影時に、当該動画に音声で記憶した情報と、当該動画の所定フレーム数に対応する一定時間間隔でログ記憶装置６０に記憶した情報とを、当該動画から抜き出した各フレーム画像に各々埋め込む動画処理装置９であって、
前記カメラで撮影した動画を保持する動画記憶装置３１０／３２０／３３０／３４０／３５０／３６０から映像符号及び音声符号を取得して復号し、及び、復号した音声データが持つ番号データにより対応付けられたレコードを含む前記一定時間間隔の各レコードのデータを前記ログ記憶装置６０から取得するデータ取得手段Ｓ１５１と、
前記データ取得手段が復号した映像データから当該映像データを構成する各フレーム画像データを取得して保持する画像取得手段と、
前記番号データが連番を成す第１と第２の番号データに相当する前記音声データ内の第１と第２の時間位置に対応する前記映像データ内の第１と第２のフレーム画像とその間の各フレーム画像を、前記第１と第２の番号データの組毎に特定する画像特定手段と、
前記第１と第２の番号データに対応する第１と第２の各レコードが持つ位置データを取得する処理を、前記第１と第２の番号データの組毎に実行する位置データ取得手段と、
前記第１と第２の各レコードが持つ位置データを、対応する第１のフレーム画像及び対応する第１と第２のフレーム画像間に存するフレーム画像の合算数に基づいて、当該合算に係る各フレーム画像に按分して割り当てる処理を、前記第１と第２の番号データの各組について実行する位置データ割り当て手段と、
前記第１と第２の番号データに対応する第１のレコード及び第１と第２のレコード間に存する各レコードが持つ所定のセンサデータを、対応する第１のフレーム画像及び第１と第２のフレーム画像間に存するフレーム画像であって対応するレコードを有するフレーム画像に割り当て、及び、対応するレコードを有しないフレーム画像には直前のフレーム画像に割り当てた所定のセンサデータ又は直前と直後のフレーム画像に割り当てた所定のセンサデータを按分して成るセンサデータを割り当てるセンサデータ割り当て手段と、
を有することを特徴とする動画処理装置。」
と記述してもよい。
【0079】
このようにして記憶装置９４に保持したデータを、図１８～図１９（ａ）の如く、データベース８０に登録する。登録に際しては、データベースがマスタ保持部８０２にて保持する、キロポスト（ＫＰ）マスタ、施設マスタ、地点マスタを用い、各フレーム画像の地点近傍のキロポストや施設等を図２１の如く特定して、当該のフレーム画像の属性情報として付与する。これにより、フレーム画像に字幕を表示することが可能となる。フレーム画像に字幕を表示した例を、図２７に示す。
なお、図１９（ｂ）は、記憶装置９４に保持したデータを、インターネットを介して所定のサーバ装置９８へ転送する処理である。
なお、図１９（ｂ）は、記憶装置９４に保持したデータを、インターネットを介して所定のサーバ装置９８へ転送する処理である。
【符号の説明】
【0080】
１０ ＧＮＳＳ受信機
２０ 操作入力装置
３０（３１，３２，３３，３４，３５，３６） ビデオカメラ
４０ 音声ミキサー
５０ 制御装置
５ 記録制御装置
５１ 番号生成手段（番号生成部）
５２ データ変換手段（データ変換部）
５３ データ制御手段（データ制御部）
５４ 時間監視手段（時間監視部）
５８ 音声出力手段（音声出力部）
５９ タイマ（基準パルス発生手段）
６０ 記憶装置
６１ 所定の記憶領域（ＧＰＸフォーマットの拡張領域）
７０ センサ（センサ群）
８０ データベース／動画領域
８０２ マスタ等保持部
９ 動画処理装置
９０ 制御装置
９２ 操作入力装置
９４ 記憶装置
９４１ 同期設定ファイル
９４３ ＣＳＶファイル
９４４ 静止画ファイル（ＥＸＩＦ）
９４５ 字幕ファイル
９６ ＮＥＴ接続装置
９８ サーバ装置
２０ 操作入力装置
３０（３１，３２，３３，３４，３５，３６） ビデオカメラ
４０ 音声ミキサー
５０ 制御装置
５ 記録制御装置
５１ 番号生成手段（番号生成部）
５２ データ変換手段（データ変換部）
５３ データ制御手段（データ制御部）
５４ 時間監視手段（時間監視部）
５８ 音声出力手段（音声出力部）
５９ タイマ（基準パルス発生手段）
６０ 記憶装置
６１ 所定の記憶領域（ＧＰＸフォーマットの拡張領域）
７０ センサ（センサ群）
８０ データベース／動画領域
８０２ マスタ等保持部
９ 動画処理装置
９０ 制御装置
９２ 操作入力装置
９４ 記憶装置
９４１ 同期設定ファイル
９４３ ＣＳＶファイル
９４４ 静止画ファイル（ＥＸＩＦ）
９４５ 字幕ファイル
９６ ＮＥＴ接続装置
９８ サーバ装置
【要約】
【課題】動画記憶装置３１０～３６０に記憶したデータと、データ記憶装置６０に記憶したデータを、共通の番号データを介してフレーム画像に対応付ける。
【解決手段】動画記憶装置の音声トラックに動画に対応付けて音声で記憶した番号情報及び位置情報と、番号情報に対応付けてデータ記憶装置６０に記憶した番号データ及び位置データを処理する装置。動画記憶装置から映像符号及び該映像符号に対応する音声符号を取得して各々映像データ及び音声データに復号する手段と、復号した音声データが持つ各番号データと同じ番号データを持つ各レコードのデータを各々データ記憶装置６０から取得する手段と、取得した各レコードのデータに対応するフレーム画像を当該各レコードが持つ番号データを介して各々前記映像データから抽出する手段と、抽出した各フレーム画像と当該各フレーム画像に対応する各レコードのデータとを各々対応付けて保持する手段を有する。
【選択図】図１
【解決手段】動画記憶装置の音声トラックに動画に対応付けて音声で記憶した番号情報及び位置情報と、番号情報に対応付けてデータ記憶装置６０に記憶した番号データ及び位置データを処理する装置。動画記憶装置から映像符号及び該映像符号に対応する音声符号を取得して各々映像データ及び音声データに復号する手段と、復号した音声データが持つ各番号データと同じ番号データを持つ各レコードのデータを各々データ記憶装置６０から取得する手段と、取得した各レコードのデータに対応するフレーム画像を当該各レコードが持つ番号データを介して各々前記映像データから抽出する手段と、抽出した各フレーム画像と当該各フレーム画像に対応する各レコードのデータとを各々対応付けて保持する手段を有する。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
