特開 2023-203 俯瞰映像提示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023000203

(43)【公開日】2023-01-04

(54)【発明の名称】俯瞰映像提示システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221222BHJP

   E02F 9/20 20060101ALI20221222BHJP

【ＦＩ】

H04N7/18 J

E02F9/20 N

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021100894

(22)【出願日】2021-06-17

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 第３８回日本ロボット学会学術講演会予稿集（ＲＳＪ２０２０），ｐｐ．１－４，Ｏｃｔｏｂｅｒ，２０２０． 発行日 令和 ２年１０月 ８日 第３８回日本ロボット学会学術講演会 オンライン開催 開催日 令和 ２年１０月１０日

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(71)【出願人】

【識別番号】302060926

【氏名又は名称】株式会社フジタ

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】千葉 拓史

(72)【発明者】

【氏名】山下 淳

(72)【発明者】

【氏名】菅沢 佑太

(72)【発明者】

【氏名】筑紫 彰太

(72)【発明者】

【氏名】小松 廉

(72)【発明者】

【氏名】ルイ笠原 純ユネス

(72)【発明者】

【氏名】サーサク・パトハック

(72)【発明者】

【氏名】谷島 諒丞

(72)【発明者】

【氏名】濱崎 峻資

(72)【発明者】

【氏名】永谷 圭司

(72)【発明者】

【氏名】淺間 一

【テーマコード（参考）】

2D003

5C054

【Ｆターム（参考）】

2D003AA01

2D003AB01

2D003AB02

2D003AB03

2D003AB04

2D003BA06

2D003FA02

5C054CA04

5C054CC02

5C054FD02

5C054FD03

5C054FE17

5C054GB02

5C054HA29

(57)【要約】

【課題】オペレータが周辺の画像をより適切に把握することができる俯瞰映像を表示できること。
【解決手段】遠隔操作可能な移動装置と、移動装置に設置され、周囲を広角に撮影する複数台のカメラと、移動装置の周囲の対象物を検出する検出装置と、移動装置とデータ通信可能である情報処理装置と、を備え、情報処理装置は、カメラにより取得される映像を、移動装置を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより俯瞰映像を生成する俯瞰映像生成部と、対象物の３Ｄ画像データを記憶する記憶部と、検出装置の検出結果から対象物の位置と姿勢を特定し、記憶部の３Ｄ画像データを用いて対象物に合わせた位置及び姿勢の３Ｄ画像を作成する３Ｄ画像作成部と、俯瞰映像に３Ｄ画像を重畳した画像を作成する合成部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

遠隔操作可能な移動装置と、
前記移動装置に設置され、周囲を広角に撮影する複数台のカメラと、
前記移動装置の周囲の対象物を検出する検出装置と、
前記移動装置とデータ通信可能である情報処理装置と、を備え、
前記情報処理装置は、
前記カメラにより取得される映像を、前記移動装置を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより俯瞰映像を生成する俯瞰映像生成部と、
対象物の３Ｄ画像データを記憶する記憶部と、
前記検出装置の検出結果から対象物の位置と姿勢を特定し、前記記憶部の３Ｄ画像データを用いて前記対象物の位置及び姿勢に合わせた３Ｄ画像を作成する３Ｄ画像作成部と、
前記俯瞰映像に前記３Ｄ画像を重畳した画像を作成する合成部と、を備える俯瞰映像提示システム。

【請求項2】

前記検出装置は、前記移動装置に設置され、前記移動体の周囲の物体との相対関係を検出するセンサを含む請求項１に記載の俯瞰映像提示システム。

【請求項3】

前記検出装置は、前記対象物と通信し、前記対象物の位置情報及び姿勢情報を取得する請求項１に記載の俯瞰映像提示システム。

【請求項4】

前記移動装置は、４台の前記カメラを備える請求項１から請求項３のいずれか一項に記載の俯瞰映像提示システム。

【請求項5】

前記３Ｄ画像作成部は、前記移動装置の３次元画像を作成し、
前記合成部は、前記移動装置の３次元画像を前記俯瞰画像に重畳する請求項１から請求項４のいずれか一項に記載の俯瞰映像提示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、俯瞰映像提示システムに関する。

【背景技術】

【0002】

近年、災害現場の復旧作業における遠隔操作可能な移動装置（以下、適宜「遠隔移動装置」と記載する）の利用に伴って、復旧作業の作業効率の向上を目的とした遠隔移動装置の映像提示技術の開発が盛んに行なわれている。例えば、特許文献１に記載の俯瞰映像提示システムは、遠隔移動装置に広角レンズを備えた複数台のカメラを搭載し、複数台のカメラから取得した映像を処理することによって、遠隔移動装置を上空の第三者視点から俯瞰したような映像を疑似的に提示することができる。また、特許文献１に記載の俯瞰映像提示システムは、対象の空間にマーカを配置、マーカとの距離とに基づいて、俯瞰映像に対して補正処理を行うことが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１６１８９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の俯瞰映像提示システムは、マーカの検出結果に基づいて俯瞰映像を補正することで、俯瞰映像の奥行方向の位置を補正できるため、より見やすい俯瞰映像とすることができる。

【0005】

しかしながら、特許文献１に記載の俯瞰映像を用いても、基準となる位置、例えば操作対象となる遠隔移動装置の近傍に別の物体、例えば障害物、遠隔移動装置で作業する対象物がある場合、別の物体の位置を正確に把握することが難しく、遠隔移動装置のオペレータに正確に伝えられない場合がある。

【0006】

本開示は、上記の課題に鑑みてなされたものであって、オペレータが周辺の画像をより適切に把握することができる俯瞰映像を表示できる俯瞰映像提示システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するため、本開示の一態様の俯瞰映像提示システムは、周囲を広角に撮影する複数台のカメラ、周囲の対象物を検出する検出装置と、を含み、遠隔操作可能な移動装置と、前記移動装置とデータ通信可能である情報処理装置と、を備え、前記情報処理装置は、前記カメラにより取得される映像を、前記移動装置を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより俯瞰映像を生成する俯瞰映像生成部と、対象物の３Ｄ画像データを記憶する記憶部と、前記検出装置の検出結果から対象物の位置と姿勢を特定し、前記記憶部の３Ｄ画像データを用いて前記対象物の位置及び姿勢に合わせた３Ｄ画像を作成する３Ｄ画像作成部と、前記俯瞰映像に前記３Ｄ画像を重畳した画像を作成する合成部と、を備える。

【0008】

俯瞰映像提示システムの望ましい態様として、前記検出装置は、前記移動装置に設置され、前記移動体の周囲の物体との相対関係を検出するセンサを含む。

【0009】

俯瞰映像提示システムの望ましい態様として、前記検出装置は、前記対象物と通信し、前記対象物の位置情報及び姿勢情報を取得する。

【0010】

俯瞰映像提示システムの望ましい態様として、前記移動装置は、４台の前記カメラを備える。

【0011】

俯瞰映像提示システムの望ましい態様として、前記３Ｄ画像作成部は、前記移動装置の３次元画像を作成し、前記合成部は、前記移動装置の３次元画像を前記俯瞰画像に重畳する。

【発明の効果】

【0012】

本開示によれば、オペレータが周辺の画像をより適切に把握することができる俯瞰映像を表示できる。

【図面の簡単な説明】

【0013】

【図1】図１は、実施形態に係る俯瞰映像提示システムの構成例を示す図である。

【図2】図２は、実施形態に係る俯瞰映像提示システムの機能構成を模式的に示すブロック図である。

【図3】図３は、俯瞰映像提示システムの処理の一例を示すフローチャートである。

【図4】図４は、俯瞰映像提示システムの３Ｄ画像の作成処理の一例を示すフローチャートである。

【図5】図５は、俯瞰映像の一例を示す模式図である。

【図6】図６は、実施形態に係る各座標系の概念を示す図である。

【図7】図７は、他の実施形態に係る俯瞰映像提示システムの機能構成を模式的に示すブロック図である。

【発明を実施するための形態】

【0014】

以下に、本発明に係る俯瞰映像提示システムについて実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下の実施形態の記載に限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能、且つ、容易なもの、或いは実質的に同一のものが含まれる。さらに、以下に記載した実施形態における構成要素は、本発明の要旨を逸脱しない範囲で構成の種々の省略、置換又は変更を行うことができる。以下の実施形態では、本発明に係る俯瞰映像提示システムの実施形態の１つを例示する上で、必要となる構成要素を説明し、その他の構成要素を省略する。

【0015】

［システムの構成］
図１は、実施形態に係る俯瞰映像提示システムの構成例を示す図である。図１に示すように、実施形態に係る俯瞰映像提示システム１０は、遠隔操作可能な移動装置（遠隔移動装置）１４を制御、監視するための俯瞰映像を提示する。俯瞰映像提示システム１０は、移動装置１４とデータ通信可能な情報処理装置１２と、移動装置１４とデータ通信可能な遠隔操作装置１３と、移動装置１４と、距離センサ１８と、カメラユニット２０と、を含む。また、本実施形態の俯瞰映像提示システム１０は、移動装置１４の近傍にダンプ８が配置される。情報処理装置１２と、遠隔操作装置１３と、移動装置１４と、距離センサ１８と、カメラユニット２０とは、相互にデータ通信可能な状態で通信ネットワークに接続され、データの送受信が可能となる。通信ネットワークは、公衆通信回線及び専用通信回線等を含んで構築されてよい。なお、距離センサ１８と、カメラユニット２０とは、移動装置１４の通信部と接続し、移動装置１４の通信部を介して、他の機器とデータの送受信を行ってもよい。

【0016】

移動装置１４は、本実施形態では油圧ショベルである。距離センサ１８と、カメラユニット２０は、移動装置１４に設置される。移動装置１４は、遠隔操作装置１３で遠隔操作可能な機器である。

【0017】

距離センサ（検出装置）１８は、移動装置１４が作業する方向（バケットが設置されている方向）、例えば進行方向に設けられる。距離センサ１８は、移動装置１４が作業する方向にある物体との距離、物体の姿勢を検出する。距離センサ１８は、移動装置１４の作業する方向にある対象物を検出し、対象物の各部との距離（奥行方向の深度情報）を取得する。距離センサ１８は、例えば赤外線センサ（検出光となる赤外光を照射し、その反射を検出して対象物との距離を検出するセンサ）、ＬｉＤＡＲ等を用いることができる。距離センサ１８は、対象物を複数の異なる方向から同時に撮影することにより、奥行方向の情報も記録するステレオカメラとしてもよい。距離センサ１８は、少なくとも奥行方向の情報を含む深度画像を撮影できればよい。距離センサ１８は、例えば、ＲＧＢ－Ｄセンサでもよい。ＲＧＢ－Ｄセンサは、深度画像に加えてＲＧＢ画像を取得するセンサである。ＲＧＢ－Ｄセンサは、深度画像を撮影する二眼の赤外線カメラと、ＲＧＢ画像を撮影する一眼のＲＧＢカメラと、を含む。距離センサ１８の水平方向の視野角は、例えば、８８．２度以上９４．２度以下である。垂直方向の視野角は、例えば、６２．５度以上６８．５度以下である。距離センサ１８は、物体の表面の位置を示す３次元点の集合体である３次元点群の情報を３次元情報として取得できる。距離センサ１８により取得される３次元点群を構成する各３次元点は、物体の表面の位置を示す３次元座標値で表される。３次元座標値は、任意の原点における、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の各軸に対応する座標値で構成される。

【0018】

カメラユニット２０は、４つのカメラ２２、２４、２６、２８を有する。カメラ２２、２４、２６、２８は、移動装置１４の周囲（周辺環境）を所定の撮影範囲よりも広角に撮影する。カメラ２２、２４、２６、２８は、例えば、１８０度前後の広い画角を持った魚眼レンズを備える。カメラ２２、２４、２６、２８は、本実施形態において、移動装置１４の作業方向の前後左右に設けられる。４つのカメラ２２、２４、２６、２８の配置位置は特に限定されず、移動装置１４の周囲の全域を撮影できればよい。移動装置１４にカメラ２２、２４、２６、２８を設置する場合、例えば、「小松 廉，藤井 浩光，山下 淳，淺間一：カメラ配置設計による故障時に備えたロボット遠隔操作のための俯瞰映像提示システムの開発，精密工学学会誌，81，12(2015)1206」に提案される配置に基づいて設置することができる。

【0019】

遠隔操作装置１３は、移動装置１４を遠隔で操作する。遠隔操作装置１３は、情報処理装置１２と一体の装置としてもよい。遠隔操作装置１３は、移動装置１４と通信を行い、移動装置１４の移動や作業機構（アーム、ブーム、バケット）の稼働を制御する。遠隔操作装置１３の遠隔操作の方法は、特に限定されず、例えば、移動装置１４の運転席と同様の機構を設け、入力された操作を検出しても、キーボード、マウス等で入力された操作を検出してもよい。

【0020】

次に、図２を用いて情報処理装置１２を詳細に説明する。情報処理装置１２は、移動装置１４から受信する映像データ及び距離センサ１８の情報を用いて、移動装置１４の周囲にある物体の位置を提示する俯瞰映像を生成する。情報処理装置１２は、画像取得部４０と、周辺情報取得部４２と、入力部４４と、表示部４６と、演算部４８と、記憶部５０と、を備える。また、情報処理装置１２は、各部と通信する通信機能も備える。

【0021】

画像取得部４０は、カメラユニット２０の各カメラ２２、２４、２６、２８と、通信し、カメラ２２、２４、２６、２８が取得した画像データを取得する。画像取得部４０は、取得した画像データを演算部４８に送る。周辺情報取得部４２は、距離センサ１８と通信し、距離センサ１８で取得した移動装置１４の周囲の情報を取得する。周辺情報取得部４２は、距離センサ１８で取得したデータを演算部４８に送る。入力部４４は、情報処置装置１４を操作するオペレータが操作を入力する。入力部４４は、キーボート、マウス、タッチパネル等である。

【0022】

表示部４６は、遠隔操作装置１３、情報処置装置１４を操作するオペレータに各種情報を表示する。表示部４６は、後述する演算部４８により生成された俯瞰映像を表示できる。表示部４６は、液晶ディスプレイ（LCD：Liquid Crystal Display）、有機ＥＬディスプレイ（OELD：Organic Electro-Luminescence Display）、又は無機ＥＬディスプレイ（IELD：Inorganic Electro-Luminescence Display）等の表示デバイスを含んでよい。表示部４６は、タッチスクリーンなどの入力デバイスを含んでよい。

【0023】

演算部４８は、記憶部５０に記憶されているプログラム及びデータに基づいて、移動装置１４に関する各種処理を実行する。特に、本実施形態において、演算部４８は、移動装置１４の周囲にある物体の位置を提示する俯瞰映像を生成する処理を実行する。演算部４８は、ＣＰＵ（Central Processing Unit）マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）、システムＬＳＩ（Large Scale Integration）などのプロセッサを含んで実装されてよい。演算部４８は、記憶部５０に記憶されているプログラムを読み出してＲＡＭなどのワーキングメモリに展開し、ワーキングメモリに展開されたプログラムに含まれる命令をＣＰＵなどのプロセッサに実行させる。これにより、演算部４８は、各機能に基づいた各処理を実行できる。演算部４８は、俯瞰映像作成部５２と、対象物抽出部５４と、３Ｄ画像作成部５６と、合成部５８と、を有する。演算部４８の各部については後述する。

【0024】

記憶部５０は、演算部４８により実行される各種処理を実現するためのプログラム及びデータを記憶する。記憶部５０が記憶するプログラムにより提供される機能は、移動装置１４の周囲にある物体の位置を提示する俯瞰映像を生成する機能を含む。記憶部５０が記憶するデータは、移動装置１４から受信する映像データ及び３次元情報を含む。記憶部５０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤにより実装されてよい。

【0025】

記憶部５０は、画像作成プログラム６２と、対象物データ６４と、３Ｄ画像データ６６と、を含む。画像作成プログラム６２は、演算部４８で実行されることで、俯瞰映像作成部５２と、対象物抽出部５４と、３Ｄ画像作成部５６と、合成部５８の各部の機能を実現する。対象物データ６４は、移動装置１４の周囲にあると想定される各種物体の情報である。対象物データ６４は、ダンプ８の情報を含む。ダンプ８の情報としては、ダンプ８を特定するために必要な情報、例えば、形状、色、大きさの情報である。なお、対象物データ６４は、ダンプ８以外の移動装置１４の周囲にあると想定される物体、例えば、作業機械、障害物、建築物、物品の情報を含んでもよい。３Ｄ画像データ６６は、対象物データ６４に記憶される対象物の３次元形状のデータである。つまり、３Ｄ画像データ６６は、ダンプ８の３次元形状（立体形状）のデータを含む。

【0026】

次に、演算部４８の各部の機能を説明する。俯瞰映像作成部５２は、移動装置１４から受信する映像データ、すなわちカメラ２２、２４、２６、２８により取得される映像（カメラ映像）を、移動装置１４を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより第１俯瞰映像を生成する。俯瞰映像作成部５２は、移動装置１４のカメラ２２、２４、２６、２８により撮影された全ての物体がロボット座標系におけるある平面上に存在するという仮定の下、カメラ映像をその平面上に透視投影した後、視点変換処理を行うことにより、俯瞰映像を生成する。俯瞰映像は、例えば、半球の表面（半球の面と地面）に画像が貼り付けられた映像である。俯瞰映像作成部５２は、「佐藤高亮，藤井浩光，Alessandro Moro，山下淳，淺間一：複数の魚眼カメラとＬＲＦを用いた重畳型全方位俯瞰映像提示手法の構築，第１３回計測自動制御学会システムインテグレーション部門講演会講演論文集（２０１２）」に提案される従来手法を用いることによって、俯瞰映像を生成できる。俯瞰映像作成部５２は、特開２０２０－１６１８６５号公報のように、俯瞰映像を作成する領域内にマークを配置し、カメラユニット２０でマークを含む画像を取得し、マークの検出位置に基づいて補正処理を行った俯瞰映像を作成してもよい。

【0027】

対象物抽出部５４は、距離センサ１８の検出結果に基づいて、俯瞰映像で形成される空間内に含まれる対象物を抽出する。具体的には、対象物抽出部５４は、移動装置１４の近傍にある物体を抽出する。対象物抽出部５４は、抽出した物体と、対象物データ６４とを照合し、抽出した物体が登録されている対象物であるかを判定する。対象物抽出部５４は、抽出した物体が登録されている場合、物体を対象物として抽出する。対象物抽出部５４は、対象物の位置と姿勢も特定する。

【0028】

３Ｄ画像作成部５６は、対象物抽出部５４で抽出した対象物の３Ｄ画像を、３Ｄ画像データ６６から読み出し、対象物抽出部５４で抽出した対象物の位置、姿勢に対応する加工を行う。

【0029】

合成部５８は、俯瞰映像作成部５２で作成した俯瞰映像に、３Ｄ画像作成部５６で作成板３Ｄ画像を重畳し、俯瞰映像の内側に３Ｄ画像の対象物が配置された映像を作成する。

【0030】

次に、図３から図６を用いて、俯瞰映像提示システム１０の処理について説明する。図３は、俯瞰映像提示システムの処理の一例を示すフローチャートである。図４は、俯瞰映像提示システムの３Ｄ画像の作成処理の一例を示すフローチャートである。図５は、俯瞰映像の一例を示す模式図である。図６は、実施形態に係る各座標系の概念を示す図である。図３及び図４に示す処理は、各部から情報を取得した情報処理装置１２で処理を実行することで、実現できる。情報処理装置１２は、図３の処理を繰り返し実行し、俯瞰画像を更新することで、表示する画像が周囲の状況、移動装置１４の移動に応じて変化する俯瞰映像を作成する。

【0031】

図３に示すように、情報処理装置１２は、画像取得部４０で、カメラ２２、２４、２６、２８から画像を取得する（ステップＳ１２）。次に、情報処理装置１２は、俯瞰映像作成部５２で、俯瞰映像を作成する（ステップＳ１４）。具体的には、複数のカメラ２２、２４、２６、２８で取得した画像を合成して、半球体と底面とを含む壁面に画像を貼り付けた俯瞰映像を作成する。

【0032】

情報処理装置１２は、対象物があるかを判定する（ステップＳ１６）。情報処理装置１２は、対象物抽出部５４で、俯瞰映像に重畳する対象物があるかを判定する。

【0033】

図４を用いて、対象物があるかの判定処理について説明する。情報処理装置１２は、図３の処理と図４の処理を並行して実行しても、図３のステップＳ１６の判定処理として図４の処理を実行してもよい。

【0034】

情報処理装置１２は、俯瞰映像に対象物が含まれるかを判定する（ステップＳ３２）。情報処理装置１２は、例えば、カメラユニット２０の画像を解析して、対象物が含まれるかを判定する。情報処理装置１２は、距離センサ１８で検出した結果に基づいて、周囲に対象物があるかを判定してもよい。なお、ステップＳ３２の判定は、俯瞰映像に対象物が含まれているかの判定であり、俯瞰映像に含まれていれば、移動装置１４から所定距離離れている対象物も検出される。

【0035】

情報処理装置１２は、対象物がない（ステップＳ３２でＮｏ）と判定した場合、オペレータに対象物がないことを通知し（ステップＳ３４）、ステップＳ３２に戻る。通知方法としては、表示部４６にメッセージで通知する方法が例示されるが、これに限定されない。情報処理装置１２は、対象物がない通知に代えて、対象物に近づくように指示する通知を出力してもよい。

【0036】

情報処理装置１２は、対象物がある（ステップＳ３２でＹｅｓ）と判定した場合、対象物の種別を検出する（ステップＳ３６）。情報処理装置１２は、対象物抽出５４で検出した対象物を解析し、対象物データ６４と比較して、検出した対象物が対象物データ６４のとの対象物と一致するかを判定し、対象物を特定する。

【0037】

情報処理装置１２は、特定した対象物の３Ｄ画像データを取得する（ステップＳ３８）。情報処理装置１２は、対象物抽出部５４で、３Ｄ画像データから対象物の立体形状のデータを取得する。

【0038】

次に、情報処理装置１２は、距離センサ１８のデータを取得する（ステップＳ４０）。情報処理装置１２は、周辺情報取得部４２が距離センサ１８から取得したデータを取得する。

【0039】

次に、情報処理装置１２は、対象物の位置、姿勢を特定可能か判定する（ステップＳ４２）。情報処置装置１４は、対象物抽出部５４で距離センサ１８のデータから、対象物に対応する位置の情報を蓄積し、対象物の形状が特定できるかを判定する。具体的に対象物抽出部５４は、対象物の領域の点群（距離センサ１８の各位置での検出結果）を解析し、対象物の形状が特定できる数の点を検出できているかを判定する。

【0040】

情報処理装置１２は、対象物の位置、姿勢を特定できない（ステップＳ４２でＮｏ）と判定した場合、オペレータに移動装置の移動を指示する（ステップＳ４４）。例えば、対象物に近づくように指示する。

【0041】

情報処理装置１２は、対象物の位置、姿勢を特定可能である（ステップＳ４２でＹｅｓ）と判定した場合、対象物の３Ｄ画像データの姿勢、合成位置を決定する（ステップＳ４６）。つまり、対象物抽出部５４は、距離センサ１８の検出結果に基づいて、対象物の位置、姿勢を特定し、特定した姿勢、位置を、俯瞰映像中の対象部の３Ｄ画像データの姿勢、合成位置として決定する。

【0042】

図３に戻り、情報処理装置１２の処理を説明する。情報処理装置１２は、対象物がない（ステップＳ１６でＮｏ）を判定した場合、対象物の３Ｄ画像をせず、本処理を終了する。この場合、情報処理装置１２は、表示部４６に対象物の３Ｄ画像が含まれない俯瞰映像を表示させる。

【0043】

情報処理装置１２は、対象物がある（ステップＳ１６でＹｅｓ）を判定した場合、対象物の３Ｄ画像を作成する（ステップＳ１８）。具体的に、情報処置装置１４は、３Ｄ画像作成部５６で、３Ｄ画像データ６６から対象物の３Ｄ画像を読み出し、対象物抽出部５４で抽出した姿勢、位置に対応する画像に加工する。

【0044】

情報処理装置１２は、３Ｄ画像を作成した後、俯瞰映像に３Ｄ画像を重畳する（ステップＳ２０）。これにより、表示部４６に対象物の３Ｄ画像が含まれる俯瞰映像を表示させる。

【0045】

情報処理装置１２は、図５及び図６に示すように、俯瞰映像１００を表示させる。俯瞰映像１００は、視点を任意の位置に変更でき、俯瞰映像１００内のどの位置からも表示が可能な映像である。俯瞰映像１００は、半球と底面の壁面画像１０１と、壁面画像１０１に囲まれた空間内に配置された３Ｄ画像１０４、１０６を含む。壁面画像１０１は、俯瞰映像作成部５２で作成した画像であり、３Ｄ画像１０４、１０６は、３Ｄ画像作成部５６で作成した画像である。３Ｄ画像１０４は、移動装置１４の立体画像である。３Ｄ画像１０６は、ダンプ８の立体画像である。３Ｄ画像１０４、１０６は、３Ｄ画像データ６６から抽出した立体画像である。３Ｄ画像１０４は、壁面画像１０１の中心に配置される。３Ｄ画像１０６は、対象物抽出部５４で取得した位置、姿勢に基づいて表示される。３Ｄ画像１０４，１０６は、全方位の立体形状の情報を備えており、視点の位置に応じて、画像上での３Ｄ画像１０４、１０６の見え方が変化する。

【0046】

ここで、カメラユニット２０の画像に基づいて作成される壁面画像（俯瞰映像）と、距離センサ１８の結果に基づいて位置、姿勢を特定する３Ｄ画像との相対位置について説明する。俯瞰映像提示システム１０は、俯瞰映像座標系１２０と、測域センサ座標系１２２と、ダンプトラック座標系１２４と、を設定している。俯瞰映像座標系１２０は、カメラユニット２０の検出結果に対応する壁面画像１０１の空間内に設定される座標系である、俯瞰映像座標系１２０は、移動装置１４とカメラユニット２０との位置情報を含む。測域センサ座標系１２２は、距離センサ１８で検出した結果に対応付けられる座標系であり、移動装置１４に対する距離センサ１８の位置情報も備える。ダンプトラック座標系１２４は、ダンプ８の基準位置に基づいて設定される座標系である。

【0047】

測域センサ座標系１２２においては、移動装置１４に設置されている距離センサ１８とカメラユニット２０との相対位置が既知である。情報処理装置１２は、距離センサ１８とカメラユニット２０の相対位置の情報に基づいて、測域センサ座標系１２２の位置情報を俯瞰映像座標系１２０の位置情報に変換する。また、ダンプ８は、距離センサ１８によって位置が検出されることで、測域センサ座標系１２２におけるダンプ８の位置が特定される。測域センサ座標系１２２におけるダンプ８の位置の情報に基づいて、ダンプトラック座標系１２４を測域センサ座標系１２２の位置情報に変換し、さらに、俯瞰映像座標系１２０と測域センサ座標系１２２との関係に基づいて、俯瞰映像座標系１２０の位置情報に変換する。これにより、情報処理装置１２は、俯瞰映像座標系１２０におけるダンプ８の位置が特定され、俯瞰映像１００に立体形状の３Ｄ画像１０６を表示させることができる。

【0048】

以上で説明したように、俯瞰映像提示システム１０は、遠隔操作可能な移動装置１４と、移動装置１４に設置され、周囲を広角に撮影する複数台のカメラ２２、２４、２６、２８と、移動装置１４の周囲の対象物を検出する距離センサ（検出装置１８と、移動装置１４とデータ通信可能である情報処理装置１２と、を備える。また、情報処理装置１２は、カメラ２２、２４、２６、２８により取得される映像を、移動装置を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより俯瞰映像を生成する俯瞰映像生成部５２と、対象物の３Ｄ画像データを記憶する記憶部５０と、距離センサの検出結果から対象物の位置と姿勢を特定し、記憶部５０の３Ｄ画像データを対象物の位置及び姿勢の３Ｄ画像を作成する３Ｄ画像作成部５６と、俯瞰映像（壁面画像）に３Ｄ画像を重畳した画像を作成する合成部５８と、を備える。

【0049】

これにより、俯瞰映像提示システム１０は、俯瞰映像内に対象物の３Ｄ画像を表示させることができる。また、俯瞰映像内に対象物となるダンプ８の３Ｄ画像１０６を表示させることで、俯瞰映像で移動装置１４と対象物となるダンプ８との相対位置を適切に把握できる映像とすることができる。また、俯瞰映像提示システム１０は、予め準備した３Ｄ画像データ６６に基づいて容易に立体形状を作成することができる。さらに、俯瞰映像の視点を変化させ、移動装置１４から見えない向きの画像を表示させた場合も、決定した視点からの対象物の形状を把握することができる。つまり、距離センサ１８、カメラユニット２０から見えない向きの対象物の形状も３Ｄ画像データ６６で再現できるため、任意の視点からの俯瞰映像に対象物の立体形状を表示させることができる。

【0050】

また、上記実施形態の俯瞰映像提示システム１０では、移動装置１４の位置に対応する３Ｄ画像１０６を表示させることで、操作対象の自機と対象物との相対関係をより正確に把握することができる。なお、移動装置１４の３Ｄ画像１０４は、３Ｄ画像データに形状のデータを記憶させ読み出すことで表示できる。また、移動装置１４の制御情報や、カメラユニット２０の映像に基づいて、移動装置１４の姿勢を特定し、姿勢に基づいて３Ｄ画像１０４の形状を補正して、実際の姿勢に対応する３Ｄ画像１０４としてもよい。

【0051】

また、上記実施形態の俯瞰映像提示システム１０では、対象物がダンプ８の１台である場合として説明したが、対象物はダンプに限定されない。対象物データには、３Ｄ画像データに記憶させた種々の物体を対象とすることができる。また、俯瞰映像に表示させる対象物も１つに限定さない。距離センサ１８（検出装置）で複数の対象物を検出し、俯瞰映像の複数の位置に複数の対象物の３Ｄ画像を表示させてもよい。

【0052】

以上、本発明の実施形態を説明したが、この実施形態の内容によって実施形態が限定されるものではない。例えば、検出装置は、２つ以上設けられてもよい。また、本実施形態において、カメラ２２、２４、２６、２８は、魚眼レンズを備える魚眼カメラであるが、ステレオカメラを用いてもよい。

【0053】

また、上記実施形態では、対象物の位置、姿勢を特定する検出装置として距離センサ１８を用いたが、これに限定されない。

【0054】

図７は、他の実施形態に係る俯瞰映像提示システムの機能構成を模式的に示すブロック図である。図７に示す俯瞰映像提示システム１０ａのうち、俯瞰映像提示システム１０同様の構成については、同様の符号を付し、詳細な説明を省略する。俯瞰映像提示システム１０ａは、情報処理装置１２ａと、移動装置１４と、カメラユニット２０と、を有する。俯瞰映像提示システム１０ａは、検出装置として、通信部２７２と、ＧＮＳＳセンサ２７４と、姿勢検出部２７６と、通信部２８２と、ＧＮＳＳセンサ２８４と、姿勢検出部２８６と、を含む。通信部２７２と、ＧＮＳＳセンサ２７４と、姿勢検出部２７６とは、移動装置１４に設置される。通信部２８２と、ＧＮＳＳセンサ２８４と、姿勢検出部２８６と、は、ダンプ８に設置される。なお、ＧＮＳＳセンサ２７４、２８４は、それぞれ２台のＧＮＳＳセンサで構成されている。例えば、移動装置１４に設置される２台のＧＮＳＳセンサは、移動装置１４における指定された位置に設置されるため移動装置１４の位置情報、姿勢情報を取得することができる。

【0055】

通信部２７２は、周辺情報取得部４２と通信を行う。通信部２７２は、公衆通信網を用いて通信する。なお、通信部２７２は、情報処理装置１２ａと移動装置１４とが所定距離内にある場合、近距離無線通信を用いて通信してもよい。ＧＮＳＳセンサ２７４は、人工衛星（測位衛星）を利用した全世界測位システム（Global Navigation Satellite System）で地球上での移動装置１４の位置を検出する。姿勢検出部２７６は、移動装置１４の姿勢を検出する。姿勢検出部２７６は、移動装置１４の動作情報、制御情報を取得して、移動装置１４の姿勢を検出しても、カメラ、センサ等を用いて移動装置１４の外形形状を検出して移動装置１４の姿勢を検出してもよい。

【0056】

通信部２８２は、周辺情報取得部４２と通信を行う。通信部２８２は、公衆通信網を用いて通信する。なお、通信部２８２は、情報処理装置１２ａとダンプ８とが所定距離内にある場合、近距離無線通信を用いて通信してもよい。ＧＮＳＳセンサ２８４は、人工衛星（測位衛星）を利用した全世界測位システム（Global Navigation Satellite System）で地球上でのダンプ８の位置を検出する。姿勢検出部２８６は、ダンプ８の姿勢を検出する。姿勢検出部２８６は、移動装置１４の動作情報、制御情報を取得して、移動装置１４の姿勢を検出しても、カメラ、センサ等を用いてダンプ８の外形形状を検出して移動装置１４の姿勢を検出してもよい。

【0057】

情報処理装置１２ａは、周辺情報取得部４２で、移動装置１４のＧＮＳＳシステム上での位置情報と、姿勢情報、ダンプ８のＧＮＳＳシステム上での位置情報と、姿勢情報を取得する。情報処理装置１２ａは、ＧＮＳＳシステムでの移動装置１４とダンプ８との位置情報（座標情報）を取得することで、移動装置１４とダンプ８との相対位置を検出し、検出した結果を俯瞰映像座標系に変換することで、俯瞰映像上でのダンプ８の位置を決定することができる。また、情報処理装置１２ａは、姿勢の情報に基づいて、ダンプ８の向き、外形形状を特定することができ、３Ｄ画像を補正することができる。

【0058】

俯瞰映像提示システム１０ａは、検出装置として、ＧＮＳＳシステム等の地球上の座標を検出する方法を用いても、俯瞰映像上に対象物の３Ｄ画像を表示させることができる。また、検出装置は、移動装置１４と対象物の相対位置が検出できればよく、移動装置１４と対象物の通信で相対位置を検出できる方法を用いてもよい。

【0059】

俯瞰映像提示システム１０ａは、俯瞰映像の表示範囲内にある対象物の有無を検出した結果を用いて、対象物と通信を行うかを判定してもよい。つまり、表示する領域内にある対象物と選択的に通信を行い、相対位置を検出する様にしてもよい。これにより、移動装置１４の俯瞰映像の表示範囲内に侵入する対象物の候補が多数ある場合でも、処理の負荷が増加することを抑制できる。

【符号の説明】

【0060】

８ ダンプ
１０、１０ａ 俯瞰映像提示システム
１２、１２ａ 情報処理装置
１３ 遠隔操作装置
１４ 移動装置
１８ 距離センサ（検出装置）
２０ カメラユニット
２２、２４、２６、２８ カメラ
４０ 画像取得部
４２ 周辺情報取得部
４４ 入力部
４６ 表示部
４８ 演算部
５０ 記憶部
５２ 俯瞰映像作成部
５４ 対象物抽出部
５６ ３Ｄ画像作成部
５８ 合成部
６２ 映像作成プログラム
６４ 対象物データ
６６ ３Ｄ画像データ
２７２、２８２ 通信部
２８６、２８４ ＧＮＳＳセンサ
２７６、２８６ 姿勢検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】