特許 6572406 警告装置、検出装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6572406

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月11日

(54)【発明の名称】警告装置、検出装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

(51)【国際特許分類】

   G06T 7/70 20170101AFI20190902BHJP

【ＦＩ】

   G06T7/70 A

【請求項の数】9

【全頁数】18

(21)【出願番号】特願2019-534910(P2019-534910)

(86)(22)【出願日】2018年8月1日

(86)【国際出願番号】JP2018028875

【審査請求日】2019年6月25日

【早期審査対象出願】

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天株式会社

(74)【代理人】

【識別番号】100110135

【弁理士】

【氏名又は名称】石井 裕一郎

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100163452

【弁理士】

【氏名又は名称】南郷 邦臣

(74)【代理人】

【識別番号】100180312

【弁理士】

【氏名又は名称】早川 牧子

(72)【発明者】

【氏名】岩瀬 裕章

【審査官】 山田 辰美

(56)【参考文献】

【文献】 国際公開第２０１６／０９２６５０（ＷＯ，Ａ１）

【文献】 特開２００３−６１０７５（ＪＰ，Ａ）

【文献】 特開２０１５−１１４９３３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部と、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部と、
前記検出されたオブジェクト同士に係る警告を出力する出力部と、
を備える警告装置。

【請求項2】

前記検出部は、
前記複数のオブジェクトが撮像された位置および視差により、相対的な位置関係を維持している維持オブジェクト群を抽出し、
前記取得された画像群において、前記抽出された維持オブジェクト群に含まれない前方オブジェクトに隠される後方オブジェクトが、前記抽出された維持オブジェクト群に含まれる場合、前記相対的な位置関係により、前記後方オブジェクトと、前記前方オブジェクトと、が近づきつつあるか否かを判定する、
請求項１に記載の警告装置。

【請求項3】

前記取得部は、前記ステレオカメラにより所定時間毎に撮像されたステレオ画像を含む前記画像群を取得し、
前記検出部は、
前記取得された画像群に含まれる前記ステレオ画像のそれぞれについて、前記ステレオ画像内における前記複数のオブジェクト間の距離と、前記複数のオブジェクトのそれぞれの視差と、を算出し、
前記算出した距離及び視差の時間変化に基づいて、近づきつつあるオブジェクト同士を検出する、
請求項１に記載の警告装置。

【請求項4】

前記出力部は、前記検出されたオブジェクト同士の輪郭を表す警告オブジェクトを表示部に出力する、
請求項１に記載の警告装置。

【請求項5】

前記出力部は、前記検出されたオブジェクト同士の近さの度合いを表す近づき度に応じた警告を出力する、
請求項１に記載の警告装置。

【請求項6】

ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部と、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部と、
を備える検出装置。

【請求項7】

警告装置が実行する警告方法であって、
ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得ステップと、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出ステップと、
前記検出されたオブジェクト同士に係る警告を出力する出力ステップと、
を備えることを特徴とする警告方法。

【請求項8】

コンピュータを、
ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部、
前記検出されたオブジェクト同士に係る警告を出力する出力部、
として機能させることを特徴とするプログラム。

【請求項9】

コンピュータを、
ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部、
前記検出されたオブジェクト同士に係る警告を出力する出力部、
として機能させることを特徴とするプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、警告装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体に関する。

【背景技術】

【0002】

従来、マニピュレータやロボットを用いて、複数の物品から１つ以上の物品を衝突することなく取り出すために、ステレオカメラによって撮像された画像から３次元画像を生成し、各オブジェクトの３次元モデルと比較することにより物品の位置や姿勢を特定し、特定した位置や姿勢に基づいて、衝突することなく取り出すことが可能か否か判定する技術がある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−１４５５２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方、ヘッドマウントディスプレイによりユーザに仮想空間を提供する仮想現実（Virtual Reality）システムにおいて、ヘッドマウントディスプレイを装着しているユーザは、一般的に現実空間を視認できないため、例えば、自身の手を動かしたときに、現実空間に配置されているオブジェクトと衝突する可能性がある。従って、オブジェクトの移動も考慮して衝突を事前に警告することができる技術が望まれる。

【0005】

本発明は、上記の課題を解決するためのものであり、衝突する可能性があるオブジェクトを検出してユーザに警告することが可能な警告装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の観点に係る警告装置は、
ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部と、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部と、
前記検出されたオブジェクト同士の近さの度合を表す近づき度に応じた警告を出力する出力部と、
を備えることを特徴とする。

【0007】

上記の観点に係る警告装置において、
前記検出部は、
前記複数のオブジェクトが撮像された位置および視差により、相対的な位置関係を維持している維持オブジェクト群を抽出し、
前記取得された画像群において、前記抽出された維持オブジェクト群に含まれない前方オブジェクトに隠される後方オブジェクトが、前記抽出された維持オブジェクト群に含まれる場合、前記相対的な位置関係により、前記後方オブジェクトと、前記前方オブジェクトと、が近づきつつあるか否かを判定してもよい。

【0008】

上記の観点に係る警告装置において、
前記取得部は、前記ステレオカメラにより所定時間毎に撮像されたステレオ画像を含む前記画像群を取得し、
前記検出部は、
前記取得された画像群に含まれる前記ステレオ画像のそれぞれについて、前記ステレオ画像内における前記複数のオブジェクト間の距離と、前記複数のオブジェクトのそれぞれの視差と、を算出し、
前記算出した距離及び視差の時間変化に基づいて、近づきつつあるオブジェクト同士を検出してもよい。

【0009】

上記の観点に係る警告装置において、
前記出力部は、前記検出されたオブジェクト同士の輪郭を表す警告オブジェクトを表示部に出力してもよい。

【0010】

本発明の第２の観点に係る警告方法は、
警告装置が実行する警告方法であって、
ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得ステップと、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出ステップと、
前記検出されたオブジェクト同士の近さの度合を表す近づき度に応じた警告を出力する出力ステップと、
を備えることを特徴とする。

【0011】

本発明の第３の観点に係るプログラムは、
コンピュータを、
ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部、
前記検出されたオブジェクト同士の近さの度合を表す近づき度に応じた警告を出力する出力部、
として機能させることを特徴とする。

【0012】

本発明の第４の観点に係る非一時的なコンピュータ読取可能な情報記録媒体は、
コンピュータを、
ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部、
前記検出されたオブジェクト同士の近さの度合を表す近づき度に応じた警告を出力する出力部、
として機能させることを特徴とする。

【0013】

なお、上記情報記録媒体は、コンピュータとは独立して配布・販売することができる。ここで、非一時的な（non-transitory）情報記録媒体とは、有形な（tangible）情報記録媒体をいう。非一時的な情報記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリである。また、一時的な（transitory）情報記録媒体とは、伝送媒体（伝搬信号）それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波である。なお、一時的な（temporary）記憶領域とは、データやプログラムを一時的に記憶するための領域であり、例えばＲＡＭ（Random Access Memory）といった揮発性メモリである。

【発明の効果】

【0014】

本発明によれば、衝突する可能性があるオブジェクトを検出してユーザに警告することができる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る警告装置のハードウェア構成を示す概略ブロック図である。

【図2】ユーザに装着された状態での実施形態に係る警告装置の外観図である。

【図3】現実空間における警告装置、ユーザ、及びオブジェクト群の様子を示す上面図である。

【図4】実施形態に係る警告装置の機能構成を示す概略ブロック図である。

【図5A】時刻ｔ＝ｔ_１においてステレオカメラが撮像した右側画像である。

【図5B】時刻ｔ＝ｔ_１においてステレオカメラが撮像した左側画像である。

【図6】時刻ｔ＝ｔ_２においての現実空間における警告装置、ユーザ、及びオブジェクト群の様子を示す上面図である。

【図7A】時刻ｔ＝ｔ_２においてステレオカメラが撮像した右側画像である。

【図7B】時刻ｔ＝ｔ_２においてステレオカメラが撮像した左側画像である。

【図8A】時刻ｔ＝ｔ_１においてディスプレイに表示される仮想空間の様子を表す画像である。

【図8B】時刻ｔ＝ｔ_２においてディスプレイに表示される仮想空間の様子を表す画像である。

【図9】実施形態に係る警告装置の制御部により実行される警告処理の流れを表すフローチャートである。

【図10】時刻ｔ＝ｔ_３においての現実空間における警告装置、ユーザ、及びオブジェクト群の様子を示す上面図である。

【図11A】時刻ｔ＝ｔ_３においてステレオカメラが撮像した右側画像である。

【図11B】時刻ｔ＝ｔ_３においてステレオカメラが撮像した左側画像である。

【図12】変形例に係る仮想空間の様子を表す画像である。

【発明を実施するための形態】

【0016】

以下に本発明の実施形態を説明する。なお、本実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。また、本願発明の実施形態を図面を参照して説明するにあたり、図中同一又は相当する部分には同一符号を付す。

【0017】

図１は、本実施形態に係る警告装置１００のハードウェア構成を示す概略ブロック図である。警告装置１００は、例えば、各種のセンサや制御装置を備えたヘッドマウントディスプレイにより構成される。スマートフォンやタブレットコンピュータ、ファブレット等をアタッチメントに装着することにより、ヘッドマウントディスプレイが構築されてもよい。この場合には、スマートフォン等のコンピュータを上記各部として機能させるためのプログラムを、当該スマートフォン等にて実行させることにより、警告装置１００が実現される。図１に示すように、警告装置１００は、制御部１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ１０３と、ディスプレイ１０４と、センサ部１０５と、操作部１０６と、ステレオカメラ１０７とから構成され、各部は、バス１０８により接続されている。

【0018】

制御部１０１は、例えばＣＰＵ（Central Processing Unit）から構成され、警告装置１００全体を制御する。

【0019】

ＲＯＭ１０２は、制御部１０１が警告装置１００全体を制御するためのプログラムや各種データを格納する不揮発性メモリである。

【0020】

ＲＡＭ１０３は、制御部１０１が生成した情報や、その情報の生成に必要なデータを一時的に格納するための揮発性メモリである。

【0021】

ディスプレイ１０４は、ＬＣＤ（Liquid Crystal Display）およびバックライト等を備え、制御部１０１による制御の下、例えば、制御部１０１から出力された画像を表示する。

【0022】

センサ部１０５は、姿勢センサや加速度センサを備え、警告装置１００の向きを検知する。センサ部１０５は、検知した警告装置１００の向きを表す信号を制御部１０１に出力する。

【0023】

操作部１０６は、ボタン、キーボード、タッチパネル等の入力装置から構成される。操作部１０６は、警告装置１００のユーザからの操作入力を受け付け、受け付けた操作入力に対応する信号を制御部１０１に出力する。

【0024】

ステレオカメラ１０７は、レンズと、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサといった撮像素子とを含む２つのカメラから構成される。本実施形態において、図２に示すように、ステレオカメラ１０７は、警告装置１００の前面のユーザ３００から見て右側の端部に設けられる右側カメラ１０７ａと、ユーザから見て左側の端部に設けられる左側カメラ１０７ｂとを有する。ステレオカメラ１０７は、後述するオブジェクト群４００を撮像する。

【0025】

次に、本実施形態における警告装置１００、ユーザ３００、及びオブジェクト群４００の現実空間における位置関係について説明する。図３は、現実空間２００における警告装置１００、ユーザ３００、及びオブジェクト群４００の様子を示す上面図である。図３に示すように、現実空間２００において、ユーザ３００の前方に、オブジェクト４０１〜４０５からなるオブジェクト群４００が位置している。オブジェクト４０１〜４０５は、警告装置１００の外部に位置するオブジェクトであって、警告装置１００の移動とは無関係に移動可能なものである。本実施形態において、オブジェクト４０１〜４０５は、それぞれ、ユーザ３００の右手、ユーザ３００の左手、カップ、缶、絵画である。なお、オブジェクト４０１，４０２は、ユーザの意図に従って移動可能であり、オブジェクト４０３〜４０５は、静止しているものとする。なお、本実施形態に係るオブジェクト４０１〜４０５は、本発明に係る複数のオブジェクトの一例であり、これに限定されない。後述するように、ステレオカメラ１０７により撮像された画像から認識可能であれば、本発明に係る複数のオブジェクトとして任意のオブジェクトを適用することができる。

【0026】

図４は、本発明の実施形態に係る警告装置１００の機能構成を示す概略ブロック図である。図４に示すように、警告装置１００は、取得部１１１と、検出部１１２と、出力部１１３と、を備える。これらの機能は、制御部１０１がＲＯＭ１０２に記録されたプログラムを実行することにより、警告装置１００の各部と協働して実現される。

【0027】

取得部１１１は、ステレオカメラ１０７により、オブジェクト群４００を撮像した画像群を取得する。ここで、画像群は、ステレオカメラ１０７が所定時間毎に撮像した画像のグループである。例えば、取得部１１１は、時刻ｔ＝ｔ１においてステレオカメラ１０７の右側カメラ１０７ａが撮像した右側画像と、左側カメラ１０７ｂが撮像した左側画像と、を時刻ｔ＝ｔ_１における１組のステレオ画像として取得する。また、取得部１１１は、時刻ｔ＝ｔ_１から所定時間Δｔ経過後の時刻ｔ＝ｔ_２において右側カメラ１０７ａが撮像した右側画像と、左側カメラ１０７ｂが撮像した左側画像と、を時刻ｔ＝ｔ_２における１組のステレオ画像として取得する。このようにして、取得部１１１は、所定時間Δｔ毎にステレオカメラ１０７により撮像されたステレオ画像のグループを、画像群として取得する。

【0028】

本実施形態において、制御部１０１とステレオカメラ１０７が協働することにより、取得部１１１として機能する。

【0029】

検出部１１２は、取得部１１１により取得された画像群により、複数のオブジェクト４０１〜４０５が撮像された位置および視差により、近づきつつあるオブジェクト同士を検出する。

【0030】

以下、近づきつつあるオブジェクト同士の検出方法の一例を説明する。まず、検出部１１２は、取得部１１１により取得された画像群のうち、ある時刻ｔ＝ｔ_１に取得されたステレオ画像から、ステレオ画像内におけるオブジェクト４０１〜４０５の位置を特定する。具体的には、検出部１１２は、予めＲＯＭ１０２に記録された、オブジェクト４０１〜４０５の形状や模様、色彩等のパターンと、ステレオ画像とを比較し、画像認識により、オブジェクト４０１〜４０５の位置を特定する。ステレオ画像内におけるオブジェクト４０１〜４０５の位置として、例えば、ステレオ画像内におけるオブジェクト４０１〜４０５の中心点といったオブジェクト４０１〜４０５の代表点の位置を適用することができる。次に、検出部１１２は、特定されたステレオ画像内におけるオブジェクト４０１〜４０５の位置に基づいて、ステレオ画像内における各オブジェクト４０１〜４０５間の距離を算出する。また、検出部１１２は、ステレオ画像に含まれる右側画像及び左側画像に基づいて、オブジェクト４０１〜４０５それぞれの視差を算出する。ここで、視差は、右側画像におけるオブジェクト４０１〜４０４の位置と、左側画像におけるオブジェクト４０１〜４０４の位置と、の差（距離）を示す。

【0031】

例えば、取得部１１１は、図５Ａに示す時刻ｔ＝ｔ_１における右側画像５０１Ｒと、図５Ｂに示す時刻ｔ＝ｔ_１における左側画像５０１Ｌと、を取得したとする。このとき検出部１１２は、右側画像５０１Ｒにおけるオブジェクト４０１〜４０５の位置ＰＲ１１〜ＰＲ１５と、左側画像５０１Ｌにおけるオブジェクト４０１〜４０５の位置ＰＬ１１〜ＰＬ１５を特定する。そして、検出部１１２は、位置ＰＲ１１〜ＰＲ１５に基づいて、右側画像５０１Ｒにおける各オブジェクト４０１〜４０５間の距離を算出する。また、検出部１１２は、位置ＰＬ１１〜ＰＬ１５に基づいて、左側画像５０１Ｌにおける各オブジェクト４０１〜４０５間の距離を算出する。また、検出部１１２は、各オブジェクト４０１〜４０５について、右側画像５０１Ｒの位置ＰＲ１１〜ＰＲ１５と、左側画像５０１Ｌの位置ＰＬ１１〜ＰＬ１５と、の差から、各オブジェクト４０１〜４０５の視差を算出する。

【0032】

検出部１１２は、取得部１１１により所定時間毎に取得されるステレオ画像のそれぞれについて、上述したように、右側画像における各オブジェクト４０１〜４０５間の距離と、左側画像における各オブジェクト４０１〜４０５間の距離と、各オブジェクト４０１〜４０５の視差と、を算出する。そして、検出部１１２は、右側画像における各オブジェクト４０１〜４０５間の距離と、左側画像における各オブジェクト４０１〜４０５間の距離と、各オブジェクト４０１〜４０５の視差と、のそれぞれの時間変化に基づいて、以下の条件（１）〜（３）を満たすオブジェクトＡ及びオブジェクトＢを近づきつつあるオブジェクト同士として検出する。
（１）右側画像におけるオブジェクトＡとオブジェクトＢとの間の距離が短くなっている。
（２）左側画像におけるオブジェクトＡとオブジェクトＢとの間の距離が短くなっている。
（３）オブジェクトＡの視差と、オブジェクトＢの視差との差が小さくなっている。
すなわち、検出部１１２は、条件（１）及び（２）により、ステレオカメラ１０７による撮影方向（ユーザの前方）と直交する面内においてオブジェクト４０１〜４０５が近づきつつあるか否かを判定する。また、検出部１１２は、条件（３）により、ステレオカメラ１０７による撮影方向において、オブジェクト４０１〜４０５が近づきつつあるか否かを判定する。従って、検出部１１２は、オブジェクト４０１〜４０５のうち、２つのオブジェクトが条件（１）〜（３）を満たすとき、その２つのオブジェクトを、現実空間２００において近づきつつあるオブジェクト同士として検出する。

【0033】

例えば、時刻ｔ＝ｔ_１において図３に示す位置にあったオブジェクト４０１が、右に移動し、時刻ｔ＝ｔ_２において図６に示す位置に移動したとする。そして、取得部１１１は、時刻ｔ＝ｔ_１から所定時間Δｔ経過後の時刻ｔ＝ｔ_２において図７Ａに示す右側画像５０２Ｒと、図７Ｂに示す左側画像５０２Ｌと、を含むステレオ画像を取得したとする。そして、検出部１１２は、図７Ａに示すように右側画像５０２Ｒにおける各オブジェクト４０１〜４０５の位置ＰＲ２１〜ＰＲ２５と、図７Ｂに示すように左側画像５０２Ｌにおける各オブジェクト４０１〜４０５の位置ＰＬ２１〜ＰＬ２５と、を特定する。また、検出部１１２は、位置ＰＲ２１〜ＰＲ２５に基づいて、右側画像５０２Ｒにおける各オブジェクト４０１〜４０５間の距離を算出し、位置ＰＬ２１〜ＰＬ２５に基づいて、左側画像５０２Ｌにおける各オブジェクト４０１〜４０５間の距離を算出する。また、検出部１１２は、各オブジェクト４０１〜４０５について、右側画像５０２Ｒの位置ＰＲ２１〜ＰＲ２５と、左側画像５０２Ｌの位置ＰＬ２１〜ＰＬ２５と、の差から、各オブジェクト４０１〜４０５の視差を算出する。そして、検出部１１２は、ｔ＝ｔ_２における右側画像５０２Ｒ内のオブジェクト４０１とオブジェクト４０３との間の距離（図７Ａの位置ＰＲ２１と位置ＰＲ２３の間の距離）が、ｔ＝ｔ_１における右側画像５０１Ｒ内のオブジェクト４０１とオブジェクト４０３との間の距離（図５Ａの位置ＰＲ１１と位置ＰＲ１３の間の距離）よりも短いと判定し、オブジェクト４０１，４０３が条件（１）を満たすと判定する。また、検出部１１２は、ｔ＝ｔ_２における左側画像５０２Ｌ内のオブジェクト４０１とオブジェクト４０３との間の距離（図７Ｂの位置ＰＬ２１と位置ＰＬ２３の間の距離）が、ｔ＝ｔ_１における左側画像５０１Ｌ内のオブジェクト４０１とオブジェクト４０３との間の距離（図５Ｂの位置ＰＬ１１と位置ＰＬ１３の間の距離）よりも短いと判定し、オブジェクト４０１，４０３が条件（２）を満たすと判定する。また、検出部１１２は、ｔ＝ｔ_２におけるオブジェクト４０１の視差（図７Ａの位置ＰＲ２１と図７Ｂの位置ＰＬ２１の間の距離）と、オブジェクト４０３の視差（図７Ａの位置ＰＲ２３と図７Ｂの位置ＰＬ２３の間の距離）と、の差が、ｔ＝ｔ_１におけるオブジェクト４０１の視差（図５Ａの位置ＰＲ１１と図５Ｂの位置ＰＬ１１の間の距離）と、オブジェクト４０３の視差（図５Ａの位置ＰＲ１３と図５Ｂの位置ＰＬ１３の間の距離）と、の差よりも小さいと判定し、オブジェクト４０１，４０３が条件（３）を満たすと判定する。そして、検出部１１２は、オブジェクト４０１，４０３が条件（１）〜（３）を満たすため、オブジェクト４０１，４０３を、現実空間２００において近づきつつあるオブジェクト同士として検出する。

【0034】

本実施形態において、制御部１０１が、検出部１１２として機能する。

【0035】

出力部１１３は、検出部１１２により検出されたオブジェクト同士の近づき度に応じた警告を出力する。ここで、近づき度は、オブジェクト同士の近さの度合を表す。

【0036】

以下、検出部１１２により検出されたオブジェクト同士の近づき度の算出方法の一例を説明する。例えば、出力部１１３は、検出部１１２により検出されたオブジェクト間の右側画像における距離ＤＲ、検出部１１２により検出されたオブジェクト間の左側画像における距離ＤＬ、及び検出部１１２により検出されたオブジェクトの視差の差Ｘを用いて、近づき度Ａは以下の式により算出することができる。
Ａ＝１／（αＤＲ^２＋βＤＬ^２＋γＸ^２）（α、β、γは任意の正の係数）

【0037】

そして、出力部１１３は、算出した近づき度が所定の閾値よりも大きいとき、検出部１１２により検出されたオブジェクト同士が衝突する可能性があると判定し、警告をディスプレイ１０４に出力する。

【0038】

以下、出力部１１３による警告の出力例を説明する。図８Ａに出力部１１３が時刻ｔ＝ｔ_１においてディスプレイ１０４に表示する画像の一例を示す。本実施形態において、出力部１１３は、センサ部１０５により検知された警告装置１００の向きや操作部１０６により受け付けられたユーザ３００からの入力に応じて、仮想空間における観察位置、観察方向を変化させ、その観察位置から観察方向を見た仮想空間の様子を表す画像を生成し、ディスプレイ１０４に出力する。時刻ｔ＝ｔ１において、検出部１１２は、オブジェクト４０１〜４０５は条件（１）〜（３）を満たしていないと判定し、出力部１１３は、警告を含まない仮想空間の様子を表す画像６０１をディスプレイ１０４に表示する。

【0039】

図８Ｂに出力部１１３が時刻ｔ＝ｔ_２においてディスプレイ１０４に表示する画像の一例を示す。時刻ｔ＝ｔ_２において、検出部１１２が、オブジェクト４０１，４０３が条件（１）〜（３）を満たすと判定し、出力部１１３が、オブジェクト４０１，４０３の近づき度が所定の閾値よりも大きいと判定すると、図８Ｂに示すように、オブジェクト４０１またはオブジェクト４０３に対応する位置に警告オブジェクト６１０を含む、仮想空間の様子を表す画像６０２をディスプレイ１０４に表示する。警告オブジェクト６１０は、ユーザ３００にオブジェクト４０１，４０３が衝突する可能性があることを警告するオブジェクトである。図８Ｂに示す例では、警告オブジェクト６１０は、「警告」、「手がカップに衝突するおそれがあります。」というメッセージを含む。出力部１１３は、オブジェクト４０１，４０３の近づき度が所定の閾値以下になるまで、警告オブジェクト６１０を表示し続ける。

【0040】

本実施形態において、制御部１０１及びディスプレイ１０４が協働して、出力部１１３として機能する。

【0041】

次に、本発明の実施形態に係る警告装置１００の動作について説明する。図９は、警告装置１００の制御部１０１により実行される警告処理の流れを表すフローチャートである。本処理は、例えば、操作部１０６を介して本処理の開始指示を受け付けたことを契機として開始する。

【0042】

まず、警告装置１００は、仮想空間内において、観察位置及び観察方向を予め定められた初期状態に設定する（ステップＳ１０１）。

【0043】

次に、警告装置１００は、仮想空間を初期化する（ステップＳ１０２）。この初期化の際には、警告装置１００は、例えば、仮想空間内に配置されるオブジェクトの位置、形状、向き、外観を取得、設定したり、仮想空間の無限遠方に配置されると想定される背景の画像等を取得、設定する。

【0044】

次に、警告装置１００は、ステレオカメラ１０７から、ステレオ画像を取得する（ステップＳ１０３）。

【0045】

警告装置１００は、ステップＳ１０３において取得したステレオ画像に含まれる右側画像に基づいて、右側画像における各オブジェクト４０１〜４０５の位置を特定する（ステップＳ１０４）。

【0046】

次に、警告装置１００は、ステップＳ１０４において特定した右側画像における各オブジェクト４０１〜４０５の位置に基づいて、右側画像における各オブジェクト間の距離を算出する（ステップＳ１０５）。

【0047】

また警告装置１００は、ステップＳ１０３において取得したステレオ画像に含まれる左側画像に基づいて、左側画像における各オブジェクト４０１〜４０５の位置を特定する（ステップＳ１０６）。

【0048】

次に、警告装置１００は、ステップＳ１０６において特定した左側画像における各オブジェクト４０１〜４０５の位置に基づいて、左側画像における各オブジェクト間の距離を算出する（ステップＳ１０７）。

【0049】

そして、警告装置１００は、ステップＳ１０３において取得したステレオ画像に基づいて、各オブジェクトの視差を算出する（ステップＳ１０８）。

【0050】

そして、警告装置１００は、ステップＳ１０８において算出した各オブジェクトの視差に基づいて、各オブジェクト間の視差の差を算出する（ステップＳ１０９）。

【0051】

そして、警告装置１００は、算出した右側画像における各オブジェクト間の距離、左側画像における各オブジェクト間の距離、及び各オブジェクト間の視差の差と、前回算出した右側画像における各オブジェクト間の距離、左側画像における各オブジェクト間の距離、及び各オブジェクト間の視差の差と、を比較し、条件（１）〜（３）を満たすオブジェクト同士が存在するか、すなわち、近づきつつあるオブジェクト同士が存在するか否かを判定する（ステップＳ１１０）。

【0052】

そして、警告装置１００は、近づきつつあるオブジェクト同士が存在すると判定したとき（ステップＳ１１０；Ｙｅｓ）、近づき度を算出し、近づき度が所定の閾値よりも大きいか否かを判定する（ステップＳ１１１）。

【0053】

警告装置１００は、近づきつつあるオブジェクト同士が存在しないと判定したとき（ステップＳ１１０；Ｎｏ）、または、近づき度が所定の閾値以下であると判定したとき（ステップＳ１１１；Ｎｏ）、現在の観察位置から観察方向に仮想空間を観察した様子を表す画像を生成する（ステップＳ１１２）。そして、警告装置１００は、ステップＳ１１４に処理を進める。

【0054】

警告装置１００は、近づき度が所定の閾値よりも大きいと判定したとき（ステップＳ１１１；Ｙｅｓ）、近づきつつあるオブジェクト同士が存在する位置と対応する位置に警告オブジェクトを含む、現在の観察位置から観察方向に仮想空間を観察した様子を表す画像を生成する（ステップＳ１１３）。

【0055】

この後、警告装置１００は、ディスプレイ１０４の垂直同期割込が生じるまで待機してから（ステップＳ１１４）、生成された画像をディスプレイ１０４に転送して表示する（ステップＳ１１５）。

【0056】

そして、警告装置１００は、仮想空間の状態を更新する（ステップＳ１１６）。例えば、仮想空間が時間の経過に応じて変化するコンピュータグラフィックスにより構成される場合には、仮想空間内のオブジェクトの位置や向きを、当該オブジェクトに設定された速度、加速度、角速度、角加速度等により更新する物理シミュレーションを行ったり、予め定められた条件に基づいてオブジェクトを変形させる。

【0057】

そして、警告装置１００は、ステップＳ１０３の処理に戻る。警告装置１００は、例えば操作部１０６を介して本処理の終了指示を受け付けるまで、繰り返し上記の処理を実行する。なおステップＳ１１４において待機することから、この処理の繰り返し周期は、垂直同期周期となる。

【0058】

以上説明したように、本発明の実施形態に係る警告装置１００は、ステレオカメラ１０７によりオブジェクト群４００を撮像した画像群に基づいて、複数のオブジェクト４０１〜４０５が撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する。そして、警告装置１００は、検出されたオブジェクト同士の近づき度に応じた警告を出力する。そのため、警告装置１００は、衝突する可能性があるオブジェクトを検出してユーザに警告することができる。

【0059】

また、本発明の実施形態に係る警告装置１００は、ステレオカメラ１０７により撮像された画像群に基づいて、右側画像における各オブジェクト４０１〜４０５間の距離、左側画像における各オブジェクト４０１〜４０５間の距離、及びオブジェクト４０１〜４０５間の視差の差を、時系列で比較し、オブジェクト同士が近づきつつあるか否かを判定する。そのため、ステレオカメラ１０７により撮像された画像から、３次元画像を生成して各オブジェクト４０１〜４０５の現実空間における位置や姿勢を特定することにより、衝突するか否かを判定する場合よりも、高速に処理することができる。

【0060】

以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。即ち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

【0061】

例えば、上記の実施形態では、警告装置１００が、近づきつつある全てのオブジェクト同士について、近づき度に応じて警告を出力する例について説明した。しかし、警告装置１００は、近づきつつある全てのオブジェクト同士について警告を出力しなくてもよい。例えば、ユーザ３００の右手と左手が近づいている場合は、衝突しても危険はないため、警告装置１００は警告しなくてもよい。以下、変形例として、警告が不要なオブジェクト以外のオブジェクトについて近づきつつあるか否かを判定する方法の一例について説明する。

【0062】

まず、検出部１１２は、上記実施形態と同様にステレオカメラ１０７により撮像された画像群に基づいて、複数のオブジェクト４０１〜４０５が撮像された位置および視差により、相対的な位置関係を維持している維持オブジェクト群を抽出する。

【0063】

例えば、検出部１１２は、上記実施形態と同様に、ステレオ画像内におけるオブジェクト４０１〜４０５の位置を特定する。また、検出部１１２は、ステレオ画像に含まれる右側画像及び左側画像に基づいて、オブジェクト４０１〜４０５それぞれの視差を算出する。そして、検出部１１２は、各オブジェクト４０１〜４０５について、直近の所定期間において視差が最も小さいオブジェクト４０５を、相対的な位置関係を規定するための基準となるオブジェクトとして特定する。すなわち、図３及び図６に示すように、オブジェクト４０５は、オブジェクト４０１〜４０５のうちで、警告装置１００から最も遠いため、他のオブジェクト４０１〜４０５よりも視差が小さい。従って、オブジェクト４０５を基準とする各オブジェクト４０１〜４０４の位置を、各オブジェクト４０１〜４０５の相対的な位置関係として特定することができる。

【0064】

そして、検出部１１２は、各オブジェクト４０１〜４０５について、直近の所定期間において相対的な位置関係の時間変化が所定の閾値よりも小さいオブジェクトを、維持オブジェクト群に含まれるオブジェクトの１つとして抽出する。例えば、直近の所定期間において、図６に示すように、オブジェクト４０１が移動した場合、オブジェクト４０２〜４０５は、静止状態であり、相対的な位置関係の時間変化が所定の閾値よりも小さいと判定され、維持オブジェクト群に含まれる。一方、オブジェクト４０１は、移動したため、相対的な位置関係の時間変化が所定の閾値よりも大きいと判定され、維持オブジェクト群に含まれない。

【0065】

そして、検出部１１２は、取得された画像群において、抽出された維持オブジェクト群に含まれない前方オブジェクトに隠される後方オブジェクトが、抽出された維持オブジェクト群に含まれる場合、相対的な位置関係により、後方オブジェクトと前方オブジェクトと、が近づきつつあるか否かを判定する。

【0066】

例えば、検出部１１２は、直近の所定期間の画像群において、抽出された維持オブジェクト群に含まれないオブジェクト４０１が、維持オブジェクト群に含まれるオブジェクト４０２〜４０５のいずれかを隠しているか否かを判定する。あるオブジェクトが、他のオブジェクトを隠しているか否かは、例えば、予めＲＯＭ１０２に記録された各オブジェクト４０１〜４０５のパターンと画像群とを比較し、あるオブジェクトと他のオブジェクトの画像内における位置が所定の基準で近く、かつ他のオブジェクトが表れる画像内の領域がパターンと比較して一部欠けている場合、あるオブジェクトが他のオブジェクトを隠していると判定することができる。検出部１１２は、オブジェクト４０１がオブジェクト４０３を隠していると判定すると、オブジェクト４０１とオブジェクト４０３とが近づきつつあるか否かを、上記の実施形態と同様に条件（１）〜（３）を満たすか否かに基づいて判定する。

【0067】

また、例えば、時刻ｔ＝ｔ_３において、図１０に示すように、オブジェクト４０１，４０２が移動し、図１１Ａ，１１Ｂに示すような右側画像５０３Ｒ及び左側画像５０３Ｌを含むステレオ画像が取得されたとする。このとき、検出部１１２は、図１１Ａに示すように右側画像５０３Ｒにおける各オブジェクト４０１〜４０５の位置ＰＲ３１〜ＰＲ３５と、図１１Ｂに示すように左側画像５０３Ｌにおける各オブジェクト４０１〜４０５の位置ＰＬ３１〜ＰＬ３５と、を特定する。この場合、時刻ｔ＝ｔ_３を含む直近の所定期間において、オブジェクト４０３〜４０５は、静止状態であり、相対的な位置関係の時間変化が所定の閾値よりも小さいと判定され、維持オブジェクト群に含まれる。一方、オブジェクト４０１，４０２は、移動したため、相対的な位置関係の時間変化が所定の閾値よりも大きいと判定され、維持オブジェクト群に含まれない。従って、オブジェクト４０１がオブジェクト４０２を隠す場合、またはオブジェクト４０２がオブジェクト４０１を隠す場合であっても、オブジェクト４０１，４０２は維持オブジェクトに含まれないため、近づきつつあるか否かを判定する対象にはならない。そのため、オブジェクト４０１，４０２が近づいても、警告は出力されない。

【0068】

また、上記の実施形態では、出力部１１３は、検出部１１２により検出されたオブジェクト間の右側画像における距離、検出部１１２により検出されたオブジェクト間の左側画像における距離、及び検出部１１２により検出されたオブジェクトの視差の差を用いて、近づき度を算出する例について説明した。しかし、近づき度の算出方法は、これに限られない。例えば、出力部１１３は、直近の所定期間の画像群に基づいて、検出部１１２により検出されたオブジェクト間の右側画像における距離が短くなる速さ、検出部１１２により検出されたオブジェクト間の左側画像における距離が短くなる早さ、検出部１１２により検出されたオブジェクトの視差の差が小さくなる速さを算出し、これらに基づいて、近づき度を算出してもよい。また、これらの早さと、上記実施形態の距離及び視差の差と、の両方に基づいて近づき度を算出してもよい。

【0069】

また、上記の実施形態では、出力部１１３は、算出した近づき度が所定の閾値よりも大きいとき、検出部１１２により検出されたオブジェクト同士が衝突する可能性があると判定し、警告をディスプレイ１０４に出力する例について説明した。しかし、出力部１１３による近づき度に応じた警告の態様はこれに限られない。例えば、出力部１１３は、近づき度が大きいほど、警告オブジェクトを強調するように表示してもよい。また、図１２に示すように、近づきつつあるオブジェクト同士の輪郭を表す警告オブジェクト６１１を、仮想空間の様子を表す画像と重ねて出力してもよい。検出部１１２は、例えば、取得部１１１により取得されたステレオ画像から予め記憶された肌色の領域と、カップの色の領域とを抽出し、それらの領域に対応するオブジェクトを近づきつつあるオブジェクト同士として検出する。そして、出力部１１３は、肌色の領域と、カップの色の領域との輪郭をそれぞれ抽出し、抽出した輪郭を仮想空間にマッチした色や、破線などに加工して警告オブジェクトとしてディスプレイ１０４に出力する。これにより、警告装置１００は、ユーザの仮想空間への没入感を損なうことなく、現実空間におけるオブジェクトの衝突を警告することができる。そして、ユーザは、警告装置１００としてのヘッドマウントディスプレイを装着したまま、現実空間におけるオブジェクトの衝突を認識することができる。

【0070】

また、出力部１１３が警告オブジェクトを表示する位置は、近づきつつあるオブジェクト同士の位置に対応する位置に限られず、例えば、ディスプレイ１０４の中央付近に警告オブジェクトを表示してもよい。また、出力部１１３は、ディスプレイ１０４への警告オブジェクトの表示に限られず、警告音を図示しないスピーカーに出力することにより、警告を出力してもよい。

【0071】

なお、本発明に係る機能を実現するための構成を予め備えた警告装置１００として提供できることはもとより、プログラムの適用により、既存のパーソナルコンピュータや情報端末機器等を、本発明に係る警告装置１００として機能させることもできる。即ち、上記実施形態で例示した警告装置１００による各機能構成を実現させるためのプログラムを、既存のパーソナルコンピュータや情報端末機器を制御するＣＰＵ等が実行できるように、既存のパーソナルコンピュータや情報端末機器に適用することで、そのパーソナルコンピュータや情報端末機器を本発明に係る警告装置１００として機能させることができる。また、本発明に係る表示方法は、警告装置１００を用いて実施できる。

【0072】

また、このようなプログラムは、上記に限られず、任意の方法で適用可能である。プログラムを、例えば、コンピュータが読取可能な記録媒体［ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical disc）等］に格納して適用できる他、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより適用することもできる。

【0073】

なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。即ち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

【産業上の利用可能性】

【0074】

本発明によれば、オブジェクト同士の衝突を事前に警告する警告装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体を提供することができる。

【符号の説明】

【0075】

１００ 警告装置
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ディスプレイ
１０５ センサ部
１０６ 操作部
１０７ ステレオカメラ
１０７ａ 右側カメラ
１０７ｂ 左側カメラ
１０８ バス
１１１ 取得部
１１２ 検出部
１１３ 出力部
２００ 現実空間
３００ ユーザ
４００ オブジェクト群
４０１〜４０５ オブジェクト
５０１Ｒ〜５０３Ｒ 右側画像
５０１Ｌ〜５０３Ｌ 左側画像
６０１〜６０３ 画像
６１０，６１１ 警告オブジェクト

【要約】

警告装置（１００）は、取得部（１１１）と、検出部（１１２）と、出力部（１１３）とを備える。取得部（１１１）は、ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する。検出部（１１２）は、取得された画像群に基づいて、複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する。出力部（１１３）は、検出されたオブジェクト同士の近さの度合を表す近づき度に応じた警告を出力する。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図9】

【図10】

【図11A】

【図11B】

【図12】