特許 7588977 現場映像管理システムおよび現場映像管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】現場映像管理システムおよび現場映像管理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241118BHJP

   H04N 23/60 20230101ALI20241118BHJP

   H04N 23/698 20230101ALI20241118BHJP

【ＦＩ】

H04N7/18 D

H04N23/60 300

H04N23/60 500

H04N23/698

【請求項の数】 8

(21)【出願番号】P 2020124342

(22)【出願日】2020-07-21

(65)【公開番号】P2022021009

(43)【公開日】2022-02-02

【審査請求日】2023-02-13

【新規性喪失の例外の表示】特許法第３０条第２項適用 集会名：日本保全学会 第１６回学術講演会、開催日：令和元年（２０１９年）７月２４日、開催場所：リンクステーションホール青森（青森市堤町１丁目４番１号）、刊行物：日本保全学会 第１６回学術講演会 要旨集、発行所：一般財団法人日本保全学会、発行日：令和元年（２０１９年）７月２４日

【前置審査】

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】尾崎 健司

(72)【発明者】

【氏名】菱沼 朋美

(72)【発明者】

【氏名】坂本 直弥

(72)【発明者】

【氏名】相川 徹郎

【審査官】公文代 康祐

(56)【参考文献】

【文献】特開２０１０－１２８７９９（ＪＰ，Ａ）

【文献】特開２００９－２０５３８６（ＪＰ，Ａ）

【文献】特開２０１７－１０８３５６（ＪＰ，Ａ）

【文献】特開２０１５－００１７５６（ＪＰ，Ａ）

【文献】特開２０１６－１１１３９３（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０２０－００３０７８４（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０－２３／６９８

Ｂ６０Ｒ １／００－ １／３１

(57)【特許請求の範囲】

【請求項1】

移動可能な端末に搭載されたカメラで撮影された少なくとも動画を含む映像を取得する映像取得部と、
前記映像の撮影とともに前記端末の位置情報を取得する位置情報取得部と、
前記映像と前記位置情報を対応付けて記録する映像記録部と、
撮影現場がプラントにおいて予め登録されている点検箇所が含まれる場所であり、前記点検箇所の座標位置を特定可能な情報を取得し、この取得した前記点検箇所の前記座標位置に基づいて、前記端末が前記点検箇所にあるか否かを判定する点検箇所判定部と、
前記カメラで前記動画を撮影するときに、撮影期間の一部の期間と他の期間とでフレームレートを異ならせるものであって前記端末が前記点検箇所にある場合と前記点検箇所にない場合とで前記フレームレートを異ならせるフレームレート調整部と、
前記位置情報に基づいて、前記撮影現場のレイアウトを示す地図の前記座標位置を特定し、特定された前記座標位置に前記映像を割り付ける地図割付部と、
前記地図の前記座標位置の選択を受け付けて、選択された前記座標位置に割り付けられた前記映像を表示する制御を行う映像表示制御部と、
を備える、
現場映像管理システム。

【請求項2】

前記端末の移動速度を取得する移動速度取得部を備え、
前記フレームレート調整部は、前記移動速度に応じて前記フレームレートを異ならせる、
請求項１に記載の現場映像管理システム。

【請求項3】

前記地図割付部は、前記映像に映っている基準点を基にして推定した前記位置情報に基づいて、前記座標位置を特定する、
請求項１または請求項２に記載の現場映像管理システム。

【請求項4】

複数の前記カメラで撮影されたそれぞれの前記映像を繋ぎ合わせて３６０度の全方位の前記映像を合成する映像合成部を備える、
請求項１から請求項３のいずれか１項に記載の現場映像管理システム。

【請求項5】

前記位置情報取得部は、前記カメラで撮影された前記映像の少なくとも１つのフレームに基づいて、前記位置情報を取得する、
請求項１から請求項４のいずれか１項に記載の現場映像管理システム。

【請求項6】

前記動画は、少なくとも一部に１ＦＰＳ以上で撮影されたものを含む、
請求項１から請求項５のいずれか１項に記載の現場映像管理システム。

【請求項7】

前記端末に搭載されたデバイスにより得られた情報に基づいて、前記端末の周辺環境の情報を含む環境地図の作成を行う環境地図作成部を備える、
請求項１から請求項６のいずれか１項に記載の現場映像管理システム。

【請求項8】

移動可能な端末に搭載されたカメラで撮影された少なくとも動画を含む映像を取得するステップと、
前記映像の撮影とともに前記端末の位置情報を取得するステップと、
前記映像と前記位置情報を対応付けて記録するステップと、
撮影現場がプラントにおいて予め登録されている点検箇所が含まれる場所であり、前記点検箇所の座標位置を特定可能な情報を取得し、この取得した前記点検箇所の前記座標位置に基づいて、前記端末が前記点検箇所にあるか否かを判定するステップと、
前記カメラで前記動画を撮影するときに、撮影期間の一部の期間と他の期間とでフレームレートを異ならせるステップであって前記端末が前記点検箇所にある場合と前記点検箇所にない場合とで前記フレームレートを異ならせるステップと、
前記位置情報に基づいて、前記撮影現場のレイアウトを示す地図の前記座標位置を特定し、特定された前記座標位置に前記映像を割り付けるステップと、
前記地図の前記座標位置の選択を受け付けて、選択された前記座標位置に割り付けられた前記映像を表示する制御を行うステップと、
を含む、
現場映像管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、現場映像管理技術に関する。

【背景技術】

【0002】

従来、発電所などのプラントでは、工事進捗管理または異常検知のため、定期的な巡回点検が実施される。この巡回点検では、記録用紙への確認事項を記録し、点検箇所を写真（静止画）で記録する。しかし、プラントのような似た形状の構造物が多い場所を写真で記録した場合に、巡回点検後に撮影箇所を映像から特定することが困難なことがある。また、巡回点検後に対象箇所の周辺環境がどのようになっていたかを確認したいとの要望が生じる場合もある。その場合には、点検者が再度現場に出向いて確認し、かつ記録する必要がある。

【0003】

また、全方位の映像を記録した３６０度映像を利用して街並みを記録する技術が知られている。例えば、Ｇｏｏｇｌｅ社が提供するストリートビューは、全方位カメラ（３６０度カメラ）を自動車上に搭載し、ＧＰＳの位置情報と連携させて、マップ上で選択した地点の３６０度映像を閲覧できるようにしている。

【先行技術文献】

【非特許文献】

【0004】

【文献】https://www.google.com/streetview

【文献】https://www.google.com/maps

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の技術では、ＧＰＳの位置情報と連携して３６０度映像を記録し、マップ上で選択した地点の全方位の映像を確認できる。また、同じ地点での過去の映像を表示することができ遡っての状況が確認できるようになっている。しかしながら、Ｇｏｏｇｌｅ社のストリートビューでは、撮影時にＧＰＳが利用できる環境であることが必要である。また、映像を記録してある地点が５ｍから１０ｍ程度の間隔となっており、その間の地点で撮影された映像を閲覧することはできない。また、記録されている映像は静止画であるため、記録された地点における短時間の状況の変化を把握することができない。そのため、この技術を前述のプラントの巡回点検の記録作業に用いることができない。

【0006】

本発明の実施形態は、このような事情を考慮してなされたもので、移動する端末を用いて撮影された映像の再生時に端末の移動経路上の任意の地点の映像を表示することができる現場映像管理技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の実施形態に係る現場映像管理システムは、移動可能な端末に搭載されたカメラで撮影された少なくとも動画を含む映像を取得する映像取得部と、前記映像の撮影とともに前記端末の位置情報を取得する位置情報取得部と、前記映像と前記位置情報を対応付けて記録する映像記録部と、撮影現場がプラントにおいて予め登録されている点検箇所が含まれる場所であり、前記点検箇所の座標位置を特定可能な情報を取得し、この取得した前記点検箇所の前記座標位置に基づいて、前記端末が前記点検箇所にあるか否かを判定する点検箇所判定部と、前記カメラで前記動画を撮影するときに、撮影期間の一部の期間と他の期間とでフレームレートを異ならせるものであって前記端末が前記点検箇所にある場合と前記点検箇所にない場合とで前記フレームレートを異ならせるフレームレート調整部と、前記位置情報に基づいて、前記撮影現場のレイアウトを示す地図の前記座標位置を特定し、特定された前記座標位置に前記映像を割り付ける地図割付部と、前記地図の前記座標位置の選択を受け付けて、選択された前記座標位置に割り付けられた前記映像を表示する制御を行う映像表示制御部と、を備える。

【発明の効果】

【0008】

本発明の実施形態により、移動する端末を用いて撮影された映像の再生時に端末の移動経路上の任意の地点の映像を表示することができる現場映像管理技術が提供される。

【図面の簡単な説明】

【0009】

【図1】現場映像管理システムを示すシステム構成図。

【図2】現場映像管理システムを示すブロック図。

【図3】現場映像管理方法を示す概念図。

【図4】魚眼レンズ付きカメラで撮影された点検現場を示す画像図。

【図5】撮影端末の移動軌跡を示す座標図。

【図6】点検現場のレイアウト地図を示す説明図。

【図7】映像閲覧用のビューワーを示す画面図。

【図8】点検情報を示す説明図。

【図9】撮影端末が実行する端末側処理を示すフローチャート。

【図10】フレームレート調整処理を示すフローチャート。

【図11】管理コンピュータが実行する管理側処理を示すフローチャート。

【図12】フレームと位置と姿勢の関係を示す説明図。

【図13】変形例１のフレームと位置と姿勢の関係を示す説明図。

【図14】変形例２のフレームと位置と姿勢の関係を示す説明図。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、現場映像管理システムおよび現場映像管理方法の実施形態について詳細に説明する。

【0011】

図１の符号１は、本実施形態の現場映像管理システムである。この現場映像管理システム１は、点検現場に居る作業者Ｗが装着する撮影端末２と、点検現場の管理を行う管理者Ｍが扱う管理コンピュータ３とを備える。なお、現場映像管理システム１は、他の構成を含んでいても良い。例えば、作業者Ｗは、点検作業に用いるタブレット端末４などを所持していても良い。

【0012】

本実施形態の点検現場（撮影現場）としては、発電プラント、化学プラント、工場などがある。これらのプラントには、点検の対象となる多数の機器または構造物が配置されている。作業者Ｗは、点検現場に出向いて、機器または構造物を確認して所定の記録を行うとともに機器または構造物の映像を撮影する。

【0013】

なお、機器には、例えば、バルブ、モータ、配電盤、電気部品、コンピュータなどが含まれる。さらに、構造物には、例えば、タンク、配管、支持部材、建物を構成する躯体、躯体に設けられた貫通孔、部屋、通路、敷地などが含まれる。以下の説明ではこれらを総称して点検対象物と称する。

【0014】

作業者Ｗは、ヘルメット５をかぶって点検作業を行う。本実施形態では、ヘルメット５が撮影端末２の一部を構成する。このヘルメット５の頭頂部には、魚眼レンズ付きの２つのイメージセンサを有するカメラ６が搭載されている。このカメラ６により作業者Ｗの周囲の広い範囲を写すことができる。

【0015】

なお、２つのイメージセンサは、背中合わせになるように配置され、前後の風景を同時に撮影することができる。つまり、カメラ６を用いて作業者Ｗの上下左右全方位の３６０度パノラマ画像である全天球画像（全方位の映像）の同時撮影が可能となっている。

【0016】

本実施形態では、２つのイメージセンサを有するカメラ６を例示しているが、１つのイメージセンサを有するカメラを用いても良い。例えば、凸面鏡などを用いて周囲の風景を１つのイメージセンサに導き、３６０度パノラマ画像を撮影しても良い。つまり、１度の撮影で３６０度の全方位の映像を取得可能な全方位カメラをヘルメット５に搭載しても良い。全方位カメラであれば、撮影現場でカメラの向きを変化させなくても、１台のカメラで全方位の映像を撮影することができる。また、１つのイメージセンサを有するカメラを２台以上使用し、これらのカメラで撮影した映像を合成することにより、３６０度パノラマ画像である全天球画像を取得しても良い。なお、３６０度パノラマ画像は、全天球画像でなくても良く、水平方向の３６０度の範囲（左右全方位）を写したものでも良い。

【0017】

作業者Ｗは、移動可能な撮影端末２を用いて作業現場で撮影を行い、その映像が管理コンピュータ３に送信される。撮影端末２で撮影される映像（画像）は、主に動画を例示する。なお、撮影端末２で静止画を撮影しても良い。

【0018】

本実施形態では、「移動可能な端末」としてヘルメット５とカメラ６を備える撮影端末２を例示しているが、その他の態様であっても良い。例えば、作業者Ｗが手持ちする所定のカメラ自体が「移動可能な端末」であっても良い。さらに、所定のロボットがカメラ６を搭載している場合には、そのロボットが「移動可能な端末」となる。

【0019】

図３に示すように、本実施形態の現場映像管理システム１では、カメラ６で撮影された映像７と、撮影時の撮影端末２の移動軌跡を示す位置情報（座標図８）と、点検現場のレイアウト地図９とを取得する。ここで、映像７と位置情報とは同期して取得される。そして、映像７を位置情報に応じてレイアウト地図９に重ね合わせて記録する。管理者Ｍは、映像閲覧用のビューワー１３を用いて、点検現場のレイアウト地図９の任意の位置の全方位の映像７を表示して閲覧できる。

【0020】

図４に示すように、魚眼レンズ付きのカメラ６で撮影された映像７には、作業者Ｗのヘルメット５を基点として、その周囲の風景が写り込む。そして、背中合わせに配置された２つのイメージセンサで取得された映像７を合成することで、作業者Ｗの周囲の全方位の映像を生成することができる。

【0021】

図５に示すように、撮影端末２の位置情報は、所定の座標図８に対応して記録される。例えば、点検現場の平面図に対応するＸ座標とＹ座標の位置情報が座標図８に記録される。なお、特に図示はしないが、撮影端末２の高さ位置を示すＺ座標の位置情報も座標図８に記録される。所定時間ごとに取得された位置情報により、撮影端末２の移動軌跡を把握することができる。この座標図８には、撮影端末２で映像が取得された座標が丸印で表示されている。なお、映像のみならず、点検現場をレーザスキャンすることで得られた情報（例えば、３次元特徴点群データ）を座標に対応付けて記録しても良い。

【0022】

図６に示すように、点検現場のレイアウト地図９には、機器１０および配管１１などを示す情報とともに、作業者Ｗが点検を行う点検箇所１２を示す情報も登録される。これらの情報は、作業者Ｗの点検前に予め登録される。このレイアウト地図９の座標の基準点は、撮影端末２の位置情報の基準点と一致している。本実施形態では、レイアウト地図９として平面図（２Ｄデータ）を例示する。なお、レイアウト地図９は、点検現場の状態を３次元的に記録した３Ｄデータでも良い。

【0023】

撮影端末２では、撮影された映像と撮影時の位置情報とが合わせて記録される。ここで、映像の撮影時刻と位置の記録時刻とを一致させて記録する。そして、管理コンピュータ３は、互いに同一時刻に記録された映像と位置情報とをレイアウト地図９に割り付ける処理を行う。なお、レイアウト地図９に割り付ける（割り当てる）処理を撮影端末２で行っても良い。

【0024】

本実施形態の「割り付ける」とは、映像（動画）をフレーム（静止画）ごとに分割し、それぞれのフレームをレイアウト地図９の座標位置に対応付けて記録することである。

【0025】

映像の位置情報とレイアウト地図９は、基準点によってそれぞれの位置を合わせることができる。このようにすれば、レイアウト地図９において、撮影端末２が移動した軌跡を表示することができる。

【0026】

図７に示すように、作業者Ｗが点検を完了した後に、管理者Ｍは、管理コンピュータ３を用いて点検現場の映像を閲覧することができる。例えば、映像閲覧用のビューワー１３には、レイアウト地図９が表示される第１表示欄１４が設けられている。そして、この第１表示欄１４のレイアウト地図９の任意の箇所をマウスカーソル１６により選択することで、その箇所の全方位の映像を第２表示欄１５に表示させることができる。第１表示欄１４と第２表示欄１５とは、同時に並べて表示させることができる。

【0027】

なお、魚眼レンズ付きのカメラ６で撮影された映像であっても、映像閲覧用のビューワー１３に表示されるときには、通常態様の映像に補正されて表示される。また、管理者Ｍは、マウスカーソル１６を用いて、映像の視点の変更ができる。そのため、管理者Ｍは、作業者Ｗの前後左右の状況を確認することができる。また、映像閲覧用のビューワー１３を用いて、映像の替わりに、点検現場をレーザスキャンすることで得られた情報を表示させても良い。

【0028】

映像閲覧用のビューワー１３の第２表示欄１５に表示される映像は、主に静止画を例示する。なお、第２表示欄１５で動画を表示しても良い。

【0029】

本実施形態では、カメラ６で撮影された映像が動画で記録され、かつ撮影端末２の移動軌跡が動画に連動して記録されている。そのため、管理者Ｍは、映像閲覧用のビューワー１３で点検現場の任意の座標位置を選択することが可能となっている。例えば、１ｍ以内の間隔で並べられた任意の地点を選択することが可能であり、抜けのない現場映像を確認することが可能となる。なお、映像閲覧用のビューワー１３で選択可能な座標位置は、作業者Ｗが移動した経路上に存在するものとなっている。

【0030】

また、映像閲覧用のビューワー１３の第２表示欄１５で動画を再生することにより、点検現場を移動している状況を確認することもできる。そのため、点検現場の状況の確認を効果的に行うことができる。さらに、本実施形態では、点検現場の状況が動画で記録されているため、撮影端末２の移動速度が遅い場合、または撮影端末２が所定の地点に留まった場合には、同じ視点において周囲の状況の変化を把握することも可能となる。

【0031】

また、撮影端末２で動画を位置情報と連携して記録することにより、同じ場所における過去の映像との比較も可能となる。そのため、管理者Ｍは、点検現場の変化の様子を確実に把握することができる。

【0032】

本実施形態の撮影端末２では、動画で撮影した場合のデータの容量を削減することができる。例えば、従来技術では、全方位の映像を動画として記録する場合、データ容量が増大されることが問題となっている。一般的に動画の変化情報を利用した画像圧縮技術が採用され、動画データの容量削減が図られている。しかし、近年の小型のカメラ６の高解像度化により動画データの容量が増大することが再び問題となっている。そこで、本実施形態では、点検作業の特徴を活用して動画データの容量の削減を行う。

【0033】

例えば、点検作業は、点検対象となる機器を予め設定する場合が多い。そして、作業者Ｗは、点検計画に基づいてそれぞれの点検箇所を巡回していく。作業者Ｗは、点検箇所へ徒歩で向かう途中においても、配管の水漏れの有無など、周囲に変化がないかを確認しながら移動する。従来技術のように、点検箇所の映像のみを残す方法では、作業者Ｗが移動中の映像を残すことができない。そのため、管理者Ｍは、作業者Ｗが移動中の周囲の状況を把握できない。

【0034】

そこで、本実施形態では、作業者Ｗが移動中の場合も動画を記録する。ここで、点検箇所においては、点検項目に応じた作業を行うため、作業者Ｗは、その場に立ち止まって作業を行うことになる。例えば、作業者Ｗが所定の地点に到達して、所定時間立ち止まった時点で全方位の映像の取得が完了する。作業者Ｗが点検箇所に長時間に亘り立ち止まる場合には、追加の映像を取得する必要がなく、撮影を一旦停止する。このように、作業者Ｗが、点検箇所へ向かう移動中と点検箇所に居るときで、動画の記録態様を変更することで、動画データの容量を削減することができる。

【0035】

さらに、作業者Ｗが所定の移動速度以上で移動している場合には、周辺に異常がなく、順調に移動している場合が多い。そこで、作業者Ｗが所定の移動速度以上で移動している場合には、動画を撮影するときのフレームレートを下げるようにする。このように、作業者Ｗの状態に応じて、フレームレートを変更することで、動画データの容量を削減することができる。

【0036】

図８に示すように、本実施形態では、点検箇所を個々に識別可能な点検箇所番号に対応付けて、点検箇所の座標位置を予め設定しておく。さらに、それぞれの点検箇所で行う点検項目を予め設定しておく。そして、撮影端末２は、所定の点検箇所に到達した否かを判定し、フレームレートの変更または撮影を一時停止する。これにより、点検現場の状況の把握に必要な映像を残しつつ、動画データの容量を削減することができる。

【0037】

図１に示すように、管理者Ｍが扱う管理コンピュータ３は、例えば、デスクトップＰＣ、ノートＰＣ、またはタブレット型ＰＣなどの所定のコンピュータで構成される。本実施形態では、デスクトップＰＣを例示する。管理コンピュータ３は、コンピュータ本体１７と、管理者Ｍが視認を行うディスプレイ１８と、撮影端末２と無線通信を行う無線通信装置１９を備える。ここでは、無線通信を行う例を記載しているが、有線での通信とすることも可能である。なお、ディスプレイ１８はコンピュータ本体１７と別体であっても良いし、一体であっても良い。

【0038】

撮影端末２は、自己位置および自己姿勢を特定することができる。例えば、ＧＰＳ（Global Positioning System）などの位置測定システムを有していても良い。また、撮影端末２の自己位置および自己姿勢の変位の算出に用いる位置推定技術には、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）、ＳｆＭ（Structure from Motion）などの公知の技術を用いることができる。このような位置推定技術により撮影端末２の移動時の３次元移動量を求めることができる。

【0039】

撮影端末２は、特にＶＳＬＡＭ（Visual Simultaneous Localization and Mapping）を用いている。そして、撮影端末２で撮影された映像に基づいて、その位置および姿勢の変位を算出する。つまり、撮影端末２は、例えば、屋内などのＧＰＳが使用できない場所でも自己位置を推定することができる。

【0040】

ＶＳＬＡＭ技術では、撮影端末２のカメラ６などの所定のデバイスで取得した情報を用いて、周囲の物体の特徴点を抽出する。そして、カメラ６で撮影した映像を解析し、物体の特徴点（例えば、角などの物体の部分）をリアルタイムに追跡する。そして、撮影端末２の位置または姿勢の３次元情報を推定する。このＶＳＬＡＭ技術を用いることにより、カメラ６のみで映像の記録と位置の記録が可能となる。そのため、作業者Ｗの装備を簡略化することができる。

【0041】

このＶＳＬＡＭ技術は、全方位の映像に写っている物体の特徴点を抽出し、これらの特徴点に基づいて、撮影端末２の位置情報および姿勢情報を算出する。例えば、位置が既知の所定の箇所を起点として、その起点からの撮影端末２の移動軌跡を算出することで、撮影端末２の現在の位置および姿勢を算出する。このＶＳＬＡＭ技術によれば、点検現場（撮影現場）の３次元特徴点群データまたは３次元ＣＡＤデータを予め取得していなくても良い。そして、点検現場において、全方位の映像を構成する複数のフレームに写っている物のそれぞれの特徴点を算出することで、その特徴点の移動量から自己位置および自己姿勢を推定することができる。

【0042】

本実施形態の撮影端末２は、所定のマーカを基準点（起点）として自己位置および自己姿勢を推定する。例えば、点検現場となる建物の出入口には、本実施形態の特定被写体としてのマーカが配置される。作業者Ｗは、作業を開始するときに、まず、撮影端末２でマーカを撮影する。ここで、撮影端末２は、マーカが写った映像に基づいて、自己位置および自己姿勢の基準点を取得する。このマーカを撮影し、移動中も撮影を継続することで、基準点から撮影端末２が移動した移動経路を推定できる。

【0043】

マーカは、基準となる所定の位置に固定された状態で設けられている。なお、マーカは、画像認識が可能な図形である。例えば、マトリックス型２次元コード、所謂ＱＲコード（登録商標）をマーカとして用いる。また、建物または機器などの場所を特定できる情報をマーカとして用いても良い。例えば、出入口の銘板、部屋の銘板、機器の機器番号または名称を記載した銘板などをマーカとして用いても良い。銘板とは、小型の平板に銘柄を表示したものである。

【0044】

撮影端末２の位置は、マーカを基準とする３次元座標に基づいて特定される。このとき、マーカの寸法または予め距離の分かっている部分の映像を用いて、撮影端末２の移動距離を算出する。撮影端末２の姿勢（撮影方向）は、撮影時の位置での水平面内の方位（ヨー角）と撮影端末２のピッチ角、ロール角に基づいて求められる。

【0045】

本実施形態の撮影端末２は、ＧＰＳを利用できない環境で映像と位置情報を連携して記録し、かつ映像を動画で記録することができる。また、撮影端末２で撮影された映像は、管理コンピュータ３に送信される。なお、管理コンピュータ３に対する映像の送信タイミングは、作業中であっても良いし、作業終了後であっても良い。

【0046】

また、点検現場の３次元特徴点群データまたは３次元ＣＡＤデータを予め取得している場合には、全方位の映像を構成する１つのフレームに基づいて、撮影端末２の位置情報および姿勢情報を算出することができる。なお、点検現場の３次元特徴点群データは、前回の点検作業で取得した映像に基づいて生成されたもので良い。３次元ＣＡＤデータは、点検現場の設計図に基づいて生成されたもので良い。

【0047】

ここで、撮影端末２は、全方位の映像を構成する１つのフレームに写る物体の特徴点と、予め取得した３次元特徴点群データまたは３次元ＣＡＤデータの特徴点とを比較する。そして、互いにマッチングする部分を特定する。例えば、撮影した映像のフレームに写る物体の特徴点と同じ部分、または、似ている部分を探す。マッチング可能な部分が特定されることで、その映像のフレームを撮影したときの撮影端末２の位置および姿勢を推定することができる。

【0048】

なお、点検現場の３次元特徴点群データまたは３次元ＣＡＤデータを予め取得している場合には、マーカを基準点（起点）とする必要がないばかりか、撮影端末２の移動中に撮影を継続する必要もない。

【0049】

また、点検現場の３次元特徴点群データまたは３次元ＣＡＤデータを予め取得している場合には、１つのフレームのみならず、複数のフレームに基づいて、撮影端末２の位置および姿勢を推定しても良い。

【0050】

次に、現場映像管理システム１のシステム構成を図２に示すブロック図を参照して説明する。

【0051】

本実施形態の現場映像管理システム１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の現場映像管理方法は、各種プログラムをコンピュータに実行させることで実現される。

【0052】

撮影端末２は、カメラ６とモーションセンサ２０と記憶部２１と通信部２２と端末制御部２３とを備える。

【0053】

カメラ６は、撮影端末２に搭載され、撮影端末２の周辺の物体を可視光により撮影する。なお、カメラ６で撮影された映像は、端末制御部２３に入力される。このカメラ６は、所定のフレームレートで動画の撮影を行う。

【0054】

また、端末制御部２３の制御に基づいて、カメラ６の撮影時のフレームレートが調整可能となっている。カメラ６は、例えば、１ＦＰＳ、５ＦＰＳ、１０ＦＰＳ、３０ＦＰＳ、６０ＦＰＳのいずれかのフレームレートで撮影が行える。なお、通常の撮影時のフレームレートは、３０ＦＰＳとなっている。端末制御部２３の制御に基づいて、カメラ６の撮影時のフレームレートを上げたり下げたりすることができる。

【0055】

なお、本実施形態の「動画」は、一定のフレームレートで撮影された映像のみならず、フレームレートが撮影の途中で変化して記録された映像を含む。また、「動画」は、少なくとも一部に１ＦＰＳ以上で撮影された映像を含む。例えば、作業者Ｗの歩行時の移動速度が１ｍ／ｓ程度であるとした場合に、１ＦＰＳ以上で撮影すれば、１ｍ以下の間隔で点検現場の状況を記録することができる。また、１ＦＰＳ以上で撮影された映像であれば、映像に写る対象の動作を記録しておくことができる。また、「動画」には、その一部に１ＦＰＳ未満で撮影された映像、つまり、静止画を連続的に撮影した映像が含まれても良い。

【0056】

モーションセンサ２０は、慣性センサ（３軸加速度センサと３軸角速度センサ）と３軸地磁気センサを組み合わせた９軸センサとなっている。このモーションセンサ２０は、撮影端末２に搭載され、この撮影端末２が移動したときに生じる加速度を検出する。また、このモーションセンサ２０により重力加速度の検出も行える。さらに、モーションセンサ２０は、この撮影端末２の筐体の姿勢が変化したときに生じる角速度を検出する。この角速度の値と加速度の値とを合わせて、この撮影端末２の筐体の姿勢を特定することで、カメラ６の撮影方向を把握することができる。なお、地磁気によりカメラ６の姿勢を把握することもできる。モーションセンサ２０で検出された加速度の値と角速度の値は、端末制御部２３に入力される。

【0057】

記憶部２１は、カメラ６で撮影した映像を記憶する。なお、記憶部２１に記憶される映像は、動画であっても良いし、静止画であっても良い。さらに、記憶部２１は、映像に関連する所定のデータを記憶する。例えば、記憶部２１は、点検現場の３次元特徴点群データまたは３次元ＣＡＤデータ、点検箇所の座標位置を特定可能な情報を記憶する。

【0058】

通信部２２は、通信回線を介して管理コンピュータ３と通信を行う。本実施形態の通信部２２には、ネットワーク機器、例えば、無線ＬＡＮのアンテナが含まれる。その他にも、ＬＡＮケーブルまたはＵＳＢケーブルを用いて通信を行う場合もある。この通信部２２を介して撮影端末２は、管理コンピュータ３にアクセスする。

【0059】

なお、特に図示はしないが、撮影端末２は、３次元測定センサを備えても良い。３次元測定センサは、例えば、物体にレーザを投光してその反射光を受光素子により受光することで、撮影端末２から物体までの距離を測定することができる。カメラ６による撮像方向と３次元測定センサによる測定方向は一致している。３次元測定センサは、投光パルスに対する受光パルスの遅れ時間を距離に換算するＴｏＦ（Time of Flight）方式を用いて、撮影端末２から周辺の物体までの距離を測定して３次元点群化することができる。

【0060】

端末制御部２３は、撮影端末２を統括的に制御する。この端末制御部２３は、映像取得部２４と映像合成部２５と映像記録部２６とデータ配信部２７と位置情報取得部２８と姿勢情報取得部２９と環境地図作成部３０とフレームレート調整部３１と移動速度取得部３２と点検箇所判定部３３とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

【0061】

映像取得部２４は、撮影端末２に搭載されたカメラ６で撮影された少なくとも動画を含む映像を取得する。

【0062】

映像合成部２５は、複数のイメージセンサで撮影されたそれぞれの映像を繋ぎ合わせて３６０度の全方位の映像を合成する。本実施形態では、１台のカメラ６が２つのイメージセンサを搭載しており、これらのイメージセンサで撮影されたそれぞれの映像に基づいて、全方位の映像を合成する。なお、２台のカメラを背中合わせになるように配置し、これらのカメラで撮影されたそれぞれの映像に基づいて、全方位の映像を合成しても良い。このようにすれば、一般的なカメラを用いて全方位の映像を取得することができる。なお、映像合成部２５は、管理コンピュータ３が備えていても良い。

【0063】

映像記録部２６は、カメラ６で撮影された映像を記憶部２１に記録する制御を行う。なお、映像記録部２６は、映像に対応付けて位置情報および姿勢情報を記憶部２１に記録する制御を行う。

【0064】

データ配信部２７は、撮影端末２で取得した映像と位置情報と姿勢情報とを含むデータを管理コンピュータ３に送信する制御を行う。

【0065】

位置情報取得部２８は、モーションセンサ２０で取得された情報、またはＳＬＡＭ技術で取得した情報に基づいて、カメラ６による映像の撮影時の撮影端末２の位置（座標）を取得する。この撮影端末２の位置（撮影位置）を示す位置情報は、カメラ６による映像の撮影とともに取得される。この位置情報は、算出または更新された時点の時刻と対応付けて、記憶部２１に記憶される。

【0066】

なお、位置情報取得部２８は、ＶＳＬＡＭ技術を用いることで、カメラ６で撮影された映像の少なくとも１つのフレームに基づいて、位置情報を取得することができる。このようにすれば、カメラ６で撮影された映像のみを利用して撮影端末２の位置情報を取得することができる。

【0067】

姿勢情報取得部２９は、モーションセンサ２０で取得された情報、またはＳＬＡＭ技術で取得した情報に基づいて、カメラ６による映像の撮影時の撮影端末２の姿勢を取得する。この撮影端末２の姿勢（撮影方向）を示す姿勢情報は、カメラ６による映像の撮影とともに取得される。この姿勢情報は、算出または更新された時点の時刻と対応付けて、記憶部２１に記憶される。

【0068】

なお、姿勢情報取得部２９は、ＶＳＬＡＭ技術を用いることで、カメラ６で撮影された映像の少なくとも１つのフレームに基づいて、姿勢情報を取得することができる。このようにすれば、カメラ６で撮影された映像のみを利用して撮影端末２の姿勢情報を取得することができる。

【0069】

環境地図作成部３０は、ＳＬＡＭ技術またはＶＳＬＡＭ技術を用いて、撮影端末２の周辺環境の情報を含む環境地図の作成を行う。このようにすれば、映像の撮影時の撮影端末２の位置（撮影位置）および筐体の向き（撮影方向）の取得精度を向上させることができる。

【0070】

本実施形態のＳＬＡＭ技術では、撮影端末２のカメラ６で取得した情報のみを用いて、撮影端末２の周辺の物体の特徴点を抽出する。なお、カメラ６および３次元測定センサで取得した情報を用いて、撮影端末２の周辺の物体の特徴点を抽出することもできる。なお、特徴点の集合させたものを３次元特徴点群データと称する。端末制御部２３は、カメラ６で撮影した映像を解析し、物体の特徴点（例えば、箱状の物体の辺または角の部分）をリアルタイムに追跡する。この３次元特徴点群データに基づいて、撮影端末２の位置および姿勢の３次元情報を推定することができる。このとき、マーカの寸法または予め距離の分かっている部分の映像を用いて、撮影端末２の移動距離を算出する。

【0071】

また、撮影端末２の周辺の物体の３次元特徴点群データを所定の時間毎に検出し、時系列において前後する３次元特徴点群データ間の変位に基づいて、撮影端末２の位置および姿勢の変位を算出することができる。また、時系列に得られる一連の自己位置および自己姿勢から、現在位置および現在姿勢に先立つ撮影端末２の移動経路が得られる。

【0072】

つまり、端末制御部２３は、基準点から撮影端末２が移動するときに連続的に撮影された撮影画像に基づいて、撮影端末２の位置および姿勢を取得する制御を行う。このようにすれば、基準点から撮影端末２が移動した経路を映像により推定できるので、撮影端末２の位置および姿勢の推定精度を向上させることができる。

【0073】

なお、本実施形態では、カメラ６を用いたＳＬＡＭ技術を例示しているが、その他の態様であっても良い。例えば、ステレオカメラ、ジャイロセンサ、赤外線センサで取得した情報に基づいて、撮影端末２の自己位置および自己姿勢を推定しても良い。なお、本実施形態のＳＬＡＭ技術は、屋内での位置計測が可能であり、ビーコンまたは歩行者自律航法（ＰＤＲ:Pedestrian Dead Reckoning）などの屋内で使用可能な位置情報計測技術の中で、最も精度よく３次元座標を算出することができる。

【0074】

なお、環境地図に基づく位置情報または姿勢情報と、基準点に基づく位置情報または姿勢情報とに誤差がある場合には、基準点に基づく位置情報または姿勢情報を優先的に適用しても良い。このようにすれば、作業者Ｗが作業現場にてマーカを撮影することで、情報の補正を行うことができる。ＶＳＬＡＭ技術は、相対的な移動量を算出する手法であるため、長時間の使用により誤差が蓄積されてしまう場合がある。そこで、基準点となるマーカを撮影端末２で読み込むことで、点検現場における位置情報を正確に把握することができる。

【0075】

フレームレート調整部３１は、カメラ６で動画を撮影するときに、撮影期間の一部の期間と他の期間とでフレームレートを異ならせる制御を行う。このようにすれば、撮影期間に応じてフレームレートを調整することができる。

【0076】

また、フレームレート調整部３１は、カメラ６で動画を撮影するときに、撮影端末２の移動速度に応じてフレームレートを異ならせる制御を行う。このようにすれば、動画データの容量を削減することができる。例えば、撮影端末２の移動中にフレームレートを下げて動画データの容量を削減することができる。

【0077】

点検箇所で点検作業などを行うときには、撮影端末２が移動せず、周囲の状況が変化しないため、撮影を一旦停止する。なお、撮影端末２が点検箇所にある場合において、フレームレートを上げても良い。このようにすれば、点検作業の動画を精細に取得することができる。

【0078】

移動速度取得部３２は、モーションセンサ２０による加速度および角速度の検出に基づいて、撮影端末２の移動速度を取得する。なお、移動速度取得部３２は、ＶＳＬＡＭ技術を用いることで、撮影端末２の移動速度を取得することもできる。

【0079】

点検箇所判定部３３は、撮影端末２が点検箇所にあるか否かを判定する。なお、この判定に応じて、フレームレート調整部３１が、撮影端末２が点検箇所にある場合と点検箇所にない場合とでフレームレートを異ならせる制御を行う。このようにすれば、点検箇所と点検場所以外とでフレームレートを調整することができる。なお、撮影端末２は、点検の開始前に管理コンピュータ３にアクセスし、予め点検箇所の座標位置を特定可能な情報（図８）を取得する。この取得した点検箇所の座標位置に基づいて、点検箇所判定部３３が判定を行う。なお、点検箇所とは、所定の１点に限らず、所定の面積（範囲）を有する箇所をいう。つまり、点検箇所判定部３３は、撮影端末２が点検箇所の範囲内にあるか否かを判定する。

【0080】

図２に示すように、管理コンピュータ３は、通信部３４と記憶部３５と入力部３６とディスプレイ１８と管理制御部３７とを備える。

【0081】

本実施形態の管理コンピュータ３のシステム構成は、必ずしも１つのコンピュータに設ける必要はない。例えば、ネットワークで互いに接続された複数のコンピュータを用いて１つのシステムを実現しても良い。

【0082】

通信部３４は、通信回線を介して撮影端末２と通信を行う。この通信部３４は、無線通信装置１９に搭載されている。また、通信部３４は、所定のネットワーク機器、例えば、無線ＬＡＮアクセスポイントまたはアンテナに搭載されても良い。なお、通信部３４は、ＷＡＮ（Wide Area Network）、インターネット回線、または携帯通信網を介して撮影端末２と通信を行っても良い。なお、通信部３４は、通信回線を介して他のコンピュータと通信を行っても良い。

【0083】

記憶部３５は、撮影端末２から送られた映像を記録する。また、映像に対応付けられた位置情報および姿勢情報を記録する。さらに、事前に設定されたレイアウト地図（図６）なども記録する。

【0084】

なお、記憶部３５は、データベースを備えても良い。データベースは、メモリまたはＨＤＤに記憶され、検索または蓄積ができるよう整理された情報の集まりである。

【0085】

入力部３６は、管理コンピュータ３を使用する管理者Ｍの操作に応じて所定の情報が入力される。この入力部３６には、マウスまたはキーボードなどの入力装置が含まれる。つまり、これら入力装置の操作に応じて所定の情報が入力部３６に入力される。本実施形態の入力操作には、マウスを用いたクリック操作、またはタッチパネルを用いたタッチ操作が含まれる。つまり、これら入力装置の操作に応じて所定の情報が管理コンピュータ３に入力される。

【0086】

ディスプレイ１８は、所定の情報の出力を行う装置である。例えば、映像閲覧用のビューワー１３（図７）の表示を行う装置である。管理コンピュータ３は、ディスプレイ１８に表示される映像の制御を行う。なお、ネットワークを介して接続される他のコンピュータが備えるディスプレイに表示される映像の制御を管理コンピュータ３が行っても良い。

【0087】

なお、本実施形態では、映像の表示を行う装置としてディスプレイ１８を例示するが、その他の態様であっても良い。例えば、ヘッドマウントディスプレイまたはプロジェクタを用いて情報の表示を行っても良い。さらに、紙媒体に情報を印字するプリンタをディスプレイの替りとして用いても良い。つまり、管理コンピュータ３が制御する対象として、ヘッドマウントディスプレイ、プロジェクタまたはプリンタが含まれても良い。

【0088】

管理制御部３７は、管理コンピュータ３を統括的に制御する。この管理制御部３７は、データ取得部３８と地図割付部３９と映像表示制御部４０とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

【0089】

データ取得部３８は、映像と位置情報と姿勢情報とを含むデータを撮影端末２から受信する制御を行う。撮影端末２から受信したデータは、記憶部３５に記憶される。なお、データ取得部３８は、予めレイアウト地図９などの点検現場に関する情報を取得する。そして、レイアウト地図９などの情報を記憶部３５に記録する処理を行う。

【0090】

地図割付部３９は、位置情報に基づいて、点検現場（撮影現場）のレイアウト地図９（図６）の座標位置を特定し、特定された座標位置に映像を割り付ける処理を実行する。つまり、特定された座標位置に対応付けて映像を記録する処理を行う。

【0091】

なお、地図割付部３９は、姿勢情報に基づいて、撮影時の撮影端末２の筐体の向きを特定し、特定された向きに応じて映像を割り付ける処理を実行する。つまり、撮影時の撮影端末２の筐体の向きに対応付けて映像を記録する処理を行う。

【0092】

映像表示制御部４０は、映像閲覧用のビューワー１３（図７）をディスプレイ１８に表示する制御を行う。さらに、映像表示制御部４０は、映像閲覧用のビューワー１３によりレイアウト地図９の座標位置の選択を受け付けて、選択された座標位置に割り付けられた映像を表示する制御を行う。例えば、図７に示すように、管理者Ｍは、映像閲覧用のビューワー１３の第１表示欄１４の所定の点検箇所１２を選択する。この選択に基づいて、選択された点検箇所１２の映像が第２表示欄１５に表示される。

【0093】

次に、現場映像管理システム１の撮影端末２が実行する端末側処理について図９のフローチャートを用いて説明する。前述の図面を適宜参照する。この処理は、一定時間毎に繰り返される処理である。この処理が繰り返されることで、現場映像管理方法が実行される。なお、撮影端末２が他のメイン処理を実行中に、この処理を割り込ませて実行しても良い。以下のステップは、端末側処理に含まれる少なくとも一部の処理であり、他のステップが端末側処理に含まれても良い。

【0094】

まず、ステップＳ１１において、端末制御部２３は、自己位置推定処理を実行する。この自己位置推定処理では、モーションセンサ２０で取得された情報、またはＳＬＡＭ技術で取得した情報に基づいて、撮影端末２の位置および姿勢を推定する処理が行われる。この自己位置推定処理が実行されるときには、カメラ６が起動して撮影が開始される。ここで、位置情報取得部２８が撮影端末２の位置情報を取得する。姿勢情報取得部２９が撮影端末２の姿勢情報を取得する。環境地図作成部３０が撮影端末２の周辺環境の情報を含む環境地図の作成を行う。

【0095】

次のステップＳ１２において、端末制御部２３（フレームレート調整部３１）は、後述のフレームレート調整処理（図１０）を実行する。

【0096】

次のステップＳ１３において、映像取得部２４は、映像取得処理を実行する。この映像取得処理では、まず、撮影端末２に搭載されたカメラ６で少なくとも動画を含む映像の撮影を行う。そして、映像取得部２４は、カメラ６で撮影された映像を取得する処理を行う。

【0097】

次のステップＳ１４において、映像合成部２５は、映像合成処理を実行する。この映像合成処理では、カメラ６の複数のイメージセンサで撮影されたそれぞれの映像を繋ぎ合わせて３６０度の全方位の映像を合成する。なお、２台のカメラを用いる場合には、これらのカメラで撮影された映像を繋ぎ合わせて３６０度の全方位の映像を合成する。なお、この映像合成処理は、管理コンピュータ３で実行しても良い。

【0098】

次のステップＳ１５において、映像記録部２６は、映像記録処理を実行する。この映像記録処理では、映像取得部２４で取得した映像を記憶部２１に記録する。ここで、映像記録部２６は、映像と位置情報と姿勢情報とを対応付けて記録する。

【0099】

次のステップＳ１６において、データ配信部２７は、データ配信処理を実行する。このデータ配信処理では、撮影端末２で取得した映像と位置情報と姿勢情報とを含むデータを管理コンピュータ３に送信する。そして、撮影端末２は、端末側処理を終了する。

【0100】

次に、端末制御部２３（フレームレート調整部３１）が実行するフレームレート調整処理について図１０のフローチャートを用いて説明する。

【0101】

まず、ステップＳ２１において、点検箇所判定部３３は、位置情報取得部２８が取得した位置情報に基づいて、撮影端末２の現在位置が点検箇所であるか否かを判定する。ここで、撮影端末２の現在位置が点検箇所である場合（ステップＳ２１でＹＥＳの場合）は、後述のステップＳ２５に進む。一方、撮影端末２の現在位置が点検箇所でない場合（ステップＳ２１でＮＯの場合）は、ステップＳ２２に進む。

【0102】

ステップＳ２２において、移動速度取得部３２は、モーションセンサ２０による加速度および角速度の検出に基づいて、撮影端末２の移動速度を取得する。なお、移動速度取得部３２は、ＶＳＬＡＭ技術を用いることで、撮影端末２の移動速度を取得することもできる。

【0103】

次のステップＳ２３において、フレームレート調整部３１は、移動速度取得部３２が取得した移動速度が予め設定された閾値以上であるか否かを判定する。ここで、移動速度が閾値未満である場合（ステップＳ２３でＮＯの場合）は、後述のステップＳ２５に進む。一方、移動速度が閾値以上である場合（ステップＳ２３でＹＥＳの場合）は、ステップＳ２４に進む。

【0104】

ステップＳ２４において、フレームレート調整部３１は、カメラ６の撮影時のフレームレートを下げる。例えば、通常のフレームレートが３０ＦＰＳの場合に、そのフレームレートを１０ＦＰＳに下げる。また、移動速度が段階的に上がるたびにフレームレートを段階的に下げても良い。そして、端末制御部２３は、フレームレート調整処理を終了する。

【0105】

前述のステップＳ２１でＹＥＳまたはステップＳ２３でＮＯの場合に進むステップＳ２５において、フレームレート調整部３１は、撮影端末２が移動をしないで一定時間以上に亘ってその場に停止中であるか否かを判定する。つまり、移動速度がほぼゼロの状態が一定時間以上続いているか否かを判定する。なお、判定に用いる一定時間は予め任意の時間を設定する。ここで、一定時間以上停止中でない場合（ステップＳ２５でＮＯの場合）は、後述のステップＳ２７に進む。一方、一定時間以上停止中である場合（ステップＳ２５でＹＥＳの場合）は、ステップＳ２６に進む。

【0106】

ステップＳ２６において、フレームレート調整部３１は、カメラ６による撮影を停止する。なお、カメラ６の撮影時のフレームレートを１ＦＰＳ以下に下げるようにしても良い。そして、端末制御部２３は、フレームレート調整処理を終了する。

【0107】

前述のステップＳ２５でＮＯの場合に進むステップＳ２７において、フレームレート調整部３１は、カメラ６の撮影時のフレームレートを通常のフレームレート（例えば、３０ＦＰＳ）にして撮影を行う。そして、端末制御部２３は、フレームレート調整処理を終了する。

【0108】

次に、現場映像管理システム１の管理コンピュータ３が実行する管理側処理について１１のフローチャートを用いて説明する。前述の図面を適宜参照する。この処理は、一定時間毎に繰り返される処理である。この処理が繰り返されることで、現場映像管理方法が実行される。なお、管理コンピュータ３が他のメイン処理を実行中に、この処理を割り込ませて実行しても良い。以下のステップは、管理側処理に含まれる少なくとも一部の処理であり、他のステップが管理側処理に含まれても良い。

【0109】

まず、ステップＳ３１において、データ取得部３８は、データ取得処理を実行する。このデータ取得処理では、映像と位置情報と姿勢情報とを含むデータを撮影端末２から受信する。

【0110】

次のステップＳ３２において、地図割付部３９は、地図割付処理を実行する。この地図割付処理では、位置情報に基づいて、点検現場のレイアウト地図９（図６）の座標位置を特定し、特定された座標位置に映像を割り付ける。

【0111】

次のステップＳ３３において、映像表示制御部４０は、映像表示制御処理を実行する。この映像表示制御処理では、まず、ディスプレイ１８に映像閲覧用のビューワー１３（図７）を表示する。また、第１表示欄１４の所定の点検箇所１２の選択を受け付ける。さらに、選択された点検箇所１２で取得された映像を第２表示欄１５に表示する。そして、管理コンピュータ３は、管理側処理を終了する。

【0112】

次に、映像合成処理、映像記録処理、地図割付処理における映像（動画）を構成する各フレームと位置情報と姿勢情報の関係を図１２から図１４を参照して説明する。

【0113】

図１２に示すように、全方位の映像の各フレームが撮影時刻に対応付けて記録される。また、撮影端末２の位置情報（座標位置）がその記録時刻に対応付けて記録される。さらに、撮影端末２の姿勢情報がその記録時刻に対応付けて記録される。

【0114】

映像記録処理では、フレームの撮影時刻に対応する記録時刻を特定し、この特定された記録時刻に対応する位置情報および姿勢情報を、フレームに対応する位置情報および姿勢情報であるとして記録を行う。

【0115】

また、地図割付処理では、フレームに対応する位置情報に基づいて、レイアウト地図（図６）の座標位置を特定する。さらに、フレームに対応する姿勢情報に基づいて、フレームの再生時の向きを特定する。そして、レイアウト地図における特定された座標位置にフレームを割り付ける。

【0116】

図１３の変形例１に示すように、映像記録処理では、映像の撮影時に各フレームに対応付けて位置情報および姿勢情報を記録しても良い。このようにすれば、撮影時刻および記録時刻に基づいて、フレームと位置情報と姿勢情報とを一致させる処理を行う必要がなくなる。

【0117】

図１４の変形例２では、作業者Ｗの額に１台の魚眼レンズ付きのカメラ６を取り付けて撮影を行う態様を例示する。このカメラ６は、作業者Ｗの前方側を撮影するものとする。

【0118】

例えば、作業者Ｗが点検箇所に向かう往路では、作業者Ｗが北方向に向かって歩くものとする。そして、作業者Ｗが点検箇所から戻る復路では、作業者Ｗが南方向に向かって歩くものとする。すると、作業者Ｗの額に取り付けられたカメラ６は、所定の位置における北方向と南方向の両方の映像を撮影することになる。そして、同一位置における往路と復路の映像を合成することで、その位置における全方位の映像を取得することができる。

【0119】

変形例２の映像記録処理では、映像の撮影時に各フレームに対応付けて位置情報および姿勢情報を記録する。そして、映像合成処理では、往路の撮影時の位置情報と復路の撮影時の位置情報とで一致するものを特定する。そして、位置情報が一致しているフレーム同士を合成して全方位の映像を生成する。

【0120】

一般的な動画の再生の態様は、撮影された時系列順にフレームを再生するものである。しかし、本実施形態では、動画の時間軸を無視し、撮影時の位置順（座標軸順）にフレームを再生する。このようにすれば、動画の撮影に基づいて、撮影現場の状況を確認するためのシステムを構築することができる。

【0121】

なお、本実施形態において、基準値（閾値または一定時間）を用いた任意の値（移動速度または移動停止時間）の判定は、「任意の値が基準値以上か否か」の判定でも良いし、「任意の値が基準値を超えているか否か」の判定でも良い。或いは、「任意の値が基準値以下か否か」の判定でも良いし、「任意の値が基準値未満か否か」の判定でも良い。また、基準値が固定されるものでなく、変化するものであっても良い。従って、基準値の代わりに所定範囲の値を用い、任意の値が所定範囲に収まるか否かの判定を行っても良い。また、予め装置に生じる誤差を解析し、基準値を中心として誤差範囲を含めた所定範囲を判定に用いても良い。

【0122】

なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。

【0123】

本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。

【0124】

なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。

【0125】

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。

【0126】

なお、本実施形態では、ヘルメット５に搭載されたカメラ６によって映像と位置情報を取得しているが、その他の態様であっても良い。例えば、タブレット端末４に搭載されているカメラ６によって映像と位置情報を取得しても良い。

【0127】

なお、本実施形態では、撮影端末２の位置をＳＬＡＭ技術で取得しているが、その他の態様であっても良い。例えば、点検現場が屋外である場合には、ＧＰＳを用いて撮影端末２の位置を取得しても良い。

【0128】

以上説明した実施形態によれば、地図の座標位置の選択を受け付けて、選択された座標位置に割り付けられた映像を表示する制御を行う映像表示制御部を備えることにより、移動する端末を用いて撮影された映像の再生時に端末の移動経路上の任意の地点の映像を表示することができる。

【0129】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0130】

１…現場映像管理システム、２…撮影端末、３…管理コンピュータ、４…タブレット端末、５…ヘルメット、６…カメラ、７…映像、８…座標図、９…レイアウト地図、１０…機器、１１…配管、１２…点検箇所、１３…ビューワー、１４…第１表示欄、１５…第２表示欄、１６…マウスカーソル、１７…コンピュータ本体、１８…ディスプレイ、１９…無線通信装置、２０…モーションセンサ、２１…記憶部、２２…通信部、２３…端末制御部、２４…映像取得部、２５…映像合成部、２６…映像記録部、２７…データ配信部、２８…位置情報取得部、２９…姿勢情報取得部、３０…環境地図作成部、３１…フレームレート調整部、３２…移動速度取得部、３３…点検箇所判定部、３４…通信部、３５…記憶部、３６…入力部、３７…管理制御部、３８…データ取得部、３９…地図割付部、４０…映像表示制御部、Ｍ…管理者、Ｗ…作業者。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】