特表 2024-535978 視覚補助装置を用いて障害物要素を検出する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-04

(54)【発明の名称】視覚補助装置を用いて障害物要素を検出する方法及びシステム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240927BHJP

   G06T 7/521 20170101ALI20240927BHJP

   G06V 10/764 20220101ALI20240927BHJP

   G06V 20/10 20220101ALI20240927BHJP

   G06V 20/64 20220101ALI20240927BHJP

   G01V 9/00 20060101ALI20240927BHJP

   G02B 27/02 20060101ALN20240927BHJP

【ＦＩ】

G06T7/11

G06T7/521

G06V10/764

G06V20/10

G06V20/64

G01V9/00 Z

G02B27/02 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024501127

(86)(22)【出願日】2021-07-07

(85)【翻訳文提出日】2024-02-29

(86)【国際出願番号】 EP2021068877

(87)【国際公開番号】W WO2022008612

(87)【国際公開日】2022-01-13

(81)【指定国・地域】

(71)【出願人】

【識別番号】524009554

【氏名又は名称】ビエル グラシズ，エス．エル．

(74)【代理人】

【識別番号】110000659

【氏名又は名称】弁理士法人広江アソシエイツ特許事務所

(72)【発明者】

【氏名】プイグ，アダムズ ハイメ

(72)【発明者】

【氏名】カバニェロス ロペズ，アレックス

(72)【発明者】

【氏名】サンズ モンテマイヨール，アントニオ

(72)【発明者】

【氏名】ガルシア エスピノサ，フランシスコ ホセ

(72)【発明者】

【氏名】コンスタンザ ルセロ，マリア

【テーマコード（参考）】

2G105

2H199

5L096

【Ｆターム（参考）】

2G105AA01

2G105BB02

2G105BB16

2G105BB17

2G105DD02

2G105EE06

2G105HH07

2G105KK05

2H199CA04

2H199CA42

2H199CA77

2H199CA92

5L096AA09

5L096DA03

5L096FA01

5L096FA05

5L096FA08

5L096FA09

5L096FA18

5L096FA66

5L096FA69

5L096JA16

(57)【要約】

障害物要素を検出するための方法及びシステムが本開示に提示され、検出は視覚補助装置を用いて実行され、装置は距離センサを備え、センサはユーザによって着用されるウェアラブルデバイスに搭載される。検出方法及びシステムのいくつかの実施形態は、異なるタイプの障害物をマッピングして低視力のユーザにシグナリングするために、それらの障害物の更なる検出を可能にする。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

視覚補助装置を用いて障害物要素を検出する方法であって、前記装置が距離センサを備え、該センサが、ユーザによって装着されるウェアラブルデバイスに搭載され、前記方法は、
前記距離センサから法線マップを取得するステップと、
世界座標系に対する前記距離センサの座標系の向きを決定するステップと、
前記決定された向きに基づいて前記法線マップに向き補正を適用するステップであって、前記向き補正が、前記距離センサの座標系を前記世界座標系に変換することを含む、適用するステップと、
前記補正された法線マップを少なくとも１つの所定の法線閾値と比較するステップと、
前記比較に基づいて、前記法線マップの一部を、側壁区域、床区域、又は障害物区域として検出されるターゲットに対応するものとしてセグメント化するステップと、を含む、方法。

【請求項2】

前記距離センサの座標系の向きの決定が、少なくとも前記世界座標系に対する前記距離センサの座標系のピッチ成分を取得することによって実行される、請求項１に記載の方法。

【請求項3】

前記法線マップが、前記法線マップの少なくとも１つの画素の法線ベクトルを含み、前記向き補正が、前記法線マップの回転行列である、請求項１又は２のいずれか一項に記載の方法。

【請求項4】

前記所定の法線閾値が、側壁区域、床区域、又は障害物区域に対応する法線閾値ベクトルを少なくとも含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記距離センサが、複数の画素によって形成された深度マップを取得し、各画素が深度パラメータを含み、
前記取得された深度マップの下部を選択するステップと、
前記深度マップの選択された部分を複数の水平線に分割するステップと、
前記上端線の前記画素に頂部深度閾値を、前記下端線の前記画素に底部深度閾値を割り当てるステップであって、前記頂部深度閾値が前記底部深度閾値よりも高い、割り当てるステップと、
前記上端線と前記下端線との間の各線の前記画素に対して深度閾値を割り当てるステップであって、各深度閾値が、前記上端線から前記下端線に向かって、前記前の線の深度閾値よりも低い、割り当てるステップと、
各画素の前記深度パラメータを、その対応する水平線の前記割り当てられた深度閾値と比較するステップと、
前記比較に基づいて、前記深度マップの画素における負の障害物区域を更に決定するステップであって、前記画素の深度パラメータが前記画素の割り当てられた深度閾値よりも高い、決定するステップと、を更に含む、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記上端線と前記下端線との間の各線に対する前記深度閾値の割り当てが、前記頂部深度閾値と前記底部深度閾値との間で所定の数学関数の値を割り当てることによって実行される、請求項５に記載の方法。

【請求項7】

前記所定の数学関数が、ユーザの身長、及び前記世界座標系に対する前記距離センサの座標系のピッチ成分を使用して決定される、請求項６に記載の方法。

【請求項8】

前記検出された床区域を複数のセルに分割するステップであって、前記検出された床が、前記決定された負の障害物区域を含む、分割するステップと、
床区域として分類された前記画素と、床区域及び負の障害物区域の両方として分類された前記画素との交点に基づいて、横方向段差を決定するステップと、を更に含む、請求項５～７のいずれか一項に記載の方法。

【請求項9】

前記検出された床区域から正面区域を選択するステップであって、前記正面区域が、前記ユーザの正面かつ前記ユーザの進行方向の空間をシミュレートする、選択するステップと、
前記選択された正面区域内で見つかった前記深度マップの部分の前記画素の深度パラメータのｖ視差マップを取得するステップと、
ｖ視差マップの各行の最も一般的な深度値を選択するステップと、
前記ｖ視差マップの値の選択に基づいて、正面段差床区域を決定するステップであって、前記正面段差床区域が、前記取得されたｖ視差マップの行間の不連続部に対応する線を選択することによって決定される、決定するステップと、を更に含む、請求項５～８のいずれか一項に記載の方法。

【請求項10】

前記取得されたｖ視差マップの不連続部に対応する前記線の選択が、
線ごとに、複数の囲み線を選択することと、
線についての前記前記ｖ視差マップの選択された値を、前記囲み線のｖ視差マップの値と比較することと、
前記比較が不連続閾値よりも高い場合には、正面段差床区域を、前記選択された正面区域内の前記選択された線に対応する前記区域として決定することと、によって実行される、請求項９に記載の方法。

【請求項11】

ユーザを囲む所定の領域の３次元仮想マップを生成するステップと、
前記仮想マップ内のユーザの仮想座標のセットを取得するステップと、
前記ユーザの仮想座標に対する前記仮想マップ内の検出されたターゲットの仮想座標のセット、及び前記法線マップのセグメント化された部分からの検出されたターゲットのタイプを取得するステップと、
前記仮想マップ内の、前記ユーザの対応する取得された仮想座標及び検出されたターゲットの取得された仮想座標上に、前記ユーザのタグ及び前記検出されたターゲットのタグを記憶するステップと、
前記検出されたターゲットのタグが前記仮想マップに以前に記憶されているかどうかを検証するステップであって、
肯定的な結果の場合、前記検出されたターゲットが再帰的に検出されたかどうかを検証し、
肯定的な結果の場合、前記検出されたターゲットに関連性がないとタグ付けする、検証するステップと、を更に含む、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

請求項１１に記載のステップが、ＳＬＡＭ型アルゴリズムを使用することによって実行される、請求項１１に記載の方法。

【請求項13】

前記ユーザの仮想座標及び前記距離センサの座標系の決定された向きに基づいて前記仮想マップのシグナリング区域を選択することと、
前記仮想マップの選択されたシグナリング区域内で、関連性がないとマークされていない前記検出されたターゲットを選択することと、
前記選択されたターゲットを前記ユーザにシグナリングすることと、を更に含む、請求項１１又は１２に記載の方法。

【請求項14】

前記視覚補助装置が、前記ユーザを囲む所定の領域の３次元仮想マップを含むリポジトリに接続され、
前記ユーザの仮想座標及び前記距離センサの座標系の決定された向きに基づいて、前記仮想マップの安全区域を選択することであって、安全区域が前記ユーザを取り囲む、選択することと、
前記仮想マップ内に記憶された以前に検出されたターゲットの仮想座標のセットを取得することと、
前記検出されたターゲットの仮想座標の取得されたセットが選択されたシグナリング区域内にないかどうか検証することであって、
肯定的な結果の場合、前記検出されたターゲットの仮想座標の取得されたセットが安全区域内にあると、前記検出されたターゲットをユーザにシグナリングする、検証することと、を更に含む、請求項１３に記載の方法。

【請求項15】

前記シグナリングが視覚型シグナリングである、請求項１４に記載の方法。

【請求項16】

前記視覚補助装置がディスプレイを備え、前記シグナリング区域が、前記ユーザの仮想座標及び前記距離センサの座標系の前記決定された向きに基づいて、前記仮想マップの２Ｄ仮想画像を含み、前記視覚型シグナリングが、
関連性がないとマークされていない前記選択された障害物の、前記生成された２Ｄ仮想画像に視覚型シグナリングを重畳するステップと、
前記重畳された２Ｄ仮想画像をディスプレイに表示するステップと、を含む、請求項１５に記載の方法。

【請求項17】

前記シグナリングが音声型シグナリングである、請求項１４に記載の方法。

【請求項18】

前記シグナリングが触覚型シグナリングである、請求項１４に記載の方法。

【請求項19】

障害物要素を検出するための視覚補助装置であって、
法線マップを取得するように構成された距離センサと、
前記距離センサから前記取得された法線マップを受信し、前記取得された法線マップをコンピューティングモジュールに送信するための通信モジュールであって、前記コンピューティングモジュールが、請求項１～１８のいずれか一項に記載の方法を実行するように構成される、通信モジュールと、を備える、視覚補助装置。

【請求項20】

ユーザによって着用されるウェアラブルデバイスであって、請求項１９に記載の視覚補助装置を備え、前記センサが前記ウェアラブルデバイスに搭載される、ウェアラブルデバイス。

【請求項21】

前記ウェアラブルデバイスが眼鏡を備え、前記センサが前記眼鏡に搭載される、請求項２０に記載のウェアラブルデバイス。

【請求項22】

障害物要素を検出するためのシステムであって、請求項１９に記載の視覚補助装置と、請求項１～１８のいずれか一項に記載の方法を実行するように構成された計算モジュールと、を備える、システム。

【請求項23】

コンピューティングシステムに請求項１～１８のいずれか一項に記載の方法のうちの任意の１つ以上を実行させるためのプログラム命令を含むコンピュータプログラム製品。

【請求項24】

記憶媒体上で具現化される、請求項２３に記載のコンピュータプログラム製品。

【請求項25】

搬送信号上で搬送される、請求項２３に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

・関連出願の相互参照
本出願は、２０２０年７月７日に出願された欧州特許出願第２０３８２６０９．４号の利益を主張する。

【背景技術】

【0002】

低視力は、人々が日常活動を行うことをしばしば妨げる視覚障害である。低視力を誘発する様々な原因、例えば糖尿病性網膜症、色素性網膜症又は緑内障等がある。低視力を誘発するこれら又は他の類似又は関連する疾患のいずれかは、ユーザの視力に影響を及ぼす可能性があり、単独で又は組み合わせて現れる。例えば、視野の減少は、とりわけ、中心視力、周辺視力（緑内障の場合）、視力の半分（脳外傷によって引き起こされる半盲の場合）又はランダムに分布する斑点（糖尿病性網膜症の場合）に特に影響を及ぼし得る。更に、視力低下は、黄斑変性及び弱視によって引き起こされるかすみ目を伴う。白皮症、緑内障及び糖尿病性網膜症の場合にもコントラスト及び輝度の低下が起こり、立体視（深度知覚）の喪失はまた、視力低下を引き起こす多くの異なる疾患に関連し得る。

【0003】

そのような影響は、例えば、物体、人々、又は空間的特徴（例えば部屋の境界等）を認識するとき、又は読書をするとき又はテレビを見るときに、患者に困難を引き起こす可能性がある。更に、それらは動きやすさの問題を伴い、視力の低い人は、多くの場合、単独で歩いたり移動したりすることができないため、彼らの自律性を制限する可能性がある。

【0004】

患者が未知の環境を動き回るときに助けるように、患者が自分の周囲の異なる要素を認識するのを助けるために異なる視覚補助装置が使用される。そのような装置の例は、例えば、ユーザを取り囲む障害物の位置を検出する超音波ベースの杖又は近接検出器であってもよい。しかしながら、当該システムは十分に正確ではない可能性があり、それらはあまりにも多くの誤検出を生成する可能性がある。したがって、既存のシステムを考慮すると、そのような患者のための障害物を検出するためのより正確で汎用的なシステム及び方法が必要とされている。

【発明の概要】

【0005】

本開示の一態様によれば、視覚補助装置を用いて障害物要素を検出する方法が提示され、装置は距離センサを備え、センサは、ユーザによって装着されるウェアラブルデバイスに搭載され、方法は、
距離センサから法線マップを取得するステップと、
世界座標系に対する距離センサの座標系の向きを決定するステップと、
決定された向きに基づいて法線マップに向き補正を適用するステップであって、向き補正が、距離センサの座標系を世界座標系に変換することを含む、適用するステップと、
補正された法線マップを少なくとも１つの所定の法線閾値と比較するステップと、
比較に基づいて、法線マップの一部を、側壁区域、床区域、又は障害物区域としてセグメント化するステップと、を含む。

【0006】

本開示によれば、距離センサは、法線マップを取得する。法線マップの取得は、使用される距離センサに応じて変化し得る複数の既知の技術を使用することによって実行され得る。これは、例えば変調光スキャナベースのセンサを使用して深度マップを事前に取得することによって取得することができる。そうでなければ、例えばＬＩＤＡＲセンサを使用してシーンの点群を取得することによって取得することもでき、これはその後法線マップを取得するために使用することができる。或いは、異なる位置から捕捉されたシーンの複数のＲＧＢ画像を使用することによって法線マップを取得することもできる。

【0007】

法線マップが深度マップから取得される場合、法線マップの取得は、取得マップの少なくとも１つの画素に対して実行されてもよいが、距離センサのターゲット表面に関するより多くの情報を取得するために、法線マップは、深度マップの複数又は全ての画素に対して計算されてもよく、したがって、方法全体の効率が向上する。このようにして、深度マップに表された表面の形状に関する正確な情報が取得される。

【0008】

本開示による方法を実行するために使用することができる距離センサには様々なタイプがあり、例えば、以下のようにすることができる。
・ＴｏＦ（飛行時間）ベースのセンサ：レーザビームがターゲットに送信され、跳ね返ったビームの送信と受信との間の経過時間が測定される。このように、光の速度及びビームの到達時間を有することによって、距離を測定することができる。これらのタイプのセンサの例は、超音波センサ（汎用性があり、費用効果が高いが、短距離かつ精度が低い）、赤外線センサ（これは正確であり、低光条件下で機能することができるが、短距離であり、大量の太陽光では効果的に機能しない可能性がある）、ＬＩＤＡＲセンサ（正確で高速であり、長距離を有するが、非常に指向性が高く、高コストかつ垂直視野が小さい）、又はＴｏＦカメラ（これは単純で精密な装置であるが、水平視野が小さく、他の光源及び反射面に非常に敏感であり、重く高価な機器であり得る）であってもよい。
・変調光スキャナベースのセンサ：これらはＴｏＦセンサと同様である。この場合、変調光信号がターゲットに送信され、ターゲットまでの距離を取得するために、送信信号と受信信号（ターゲットで跳ね返った）との間の差が計算される。
・立体視ベースのセンサ：ターゲットまでの距離を計算するために、最低２つのカメラが使用される。このようにして、ターゲットの２つのデジタル画像が取得され、２つの画像の間で複数のマッチング点が決定される。その後、マッチング点（異なる画像に描写されるターゲットの同じ点）間の位置の差、及びターゲットの点までの距離の計算が実行される。そのようなセンサの一例は、ＲＧＢタイプの画像及び対応する深度マップの両方を捕捉する立体カメラであってもよい。通常、このタイプのカメラは、昼光で、長距離かつ外装の良好な性能を有する。更に、それらは階段の穴及び段差を検出する。しかしながら、それらはＴｏＦセンサよりも正確ではなく、薄暗い光環境において問題を有し、センサのサイズは、２つ以上のレンズが人間の両眼視を再現するという事実によって調整され、したがって、２つのカメラのレンズ間の距離は人間の目の間の距離に近似する。
・ 構造化光スキャナ：この場合、所定のパターンを有するレーザビームが送信され、受信機によって、ターゲットまでの距離を計算するために、当該ターゲット上のビームの跳ね返りによって引き起こされる歪みが測定される。このセンサの一例はＲＧＢ－Ｄカメラであってよく、これは赤外線エミッタと赤外線カメラとを全て１つに備える。このタイプのセンサは正確であり、低照度で動作することができ、高速かつ高フレームレートでビデオ画像と同期して動作するが、短距離であり、太陽光では効果がない場合がある。

【0009】

法線マップはデジタル画像であってもよく、少なくとも１つの画素（通常はそれらの全て）について、法線マップは表面法線パラメータを含み、これは当該画素によって描写されるターゲットの点における表面の法線方向に関するパラメータであってもよい。より具体的には、表面法線パラメータは、対応する画素によって表されるターゲットの点における表面の接平面に垂直なベクトルであってもよい。この場合、表面法線パラメータは、（ｘ、ｙ、ｚ）成分の法線ベクトルで表されてもよい。

【0010】

本開示の特定の例によれば、法線マップは、法線マップの各画素の法線ベクトルを含むことができ、より具体的には、法線マップの対応する画素によって表されるターゲットの点における表面の接平面に垂直な単位ベクトルであってもよい。

【0011】

距離センサは、視覚補助装置に備えられてもよく、視覚補助装置は、例えば、眼鏡のセット、ヘルメット、ヘッドホンのセット、携帯電話のイヤーピース等のイヤーピース、又は頭に装着される他の装置等のウェアラブルデバイスの上部に搭載されてもよい。したがって、１つの例によれば、視覚補助装置（例えば、ディスプレイ眼鏡のセットであってもよい）のディスプレイ及びウェアラブルデバイスに搭載されたセンサは、ユーザの前頭面に実質的に垂直な平面内に向けられてもよい。距離センサは、視覚補助装置のディスプレイと同じ方向（又はほぼ同じ）を指してもよく、したがって、ユーザの正面視界を近似する。このようにして、センサは、ユーザの正面視野から法線マップを取得することができる。

【0012】

更に、視覚補助装置を使用している間、ユーザは、センサが異なる方向を指す異なる法線マップを経時的に取得することができるように、頭を傾けるか又は回転させることができる。したがって、ユーザが頭を上下に傾けるために、センサは、ユーザの環境の共通の要素を異なる視点から描写する法線マップを取得することができる。

【0013】

例えば、視覚補助装置を着用しているユーザが前方を見て両足で通常に歩く場合、装置によって取得された法線マップは、床に対応する部分を法線マップの下部に見ることができ、床区域としてセグメント化することができる。次に、ユーザが自分の足の方を見て頭を下に傾ける場合（すなわち、デバイスの距離センサを自分の足の方に向ける）、取得された法線マップは、センサによって見られる表面の法線方向を指す複数の表面法線パラメータを含むことができる。したがって、ユーザは床を見ている可能性があり、取得された法線マップは床に対応する部分を有することができるが、その表面法線パラメータは法線マップ自体に対して垂直に向いている。したがって、ターゲット床は、ユーザが前方を見るときには床区域として、ユーザが自分の足の方を見るときには障害物（ユーザの正面を向いている）としてセグメント化される。

【0014】

この矛盾は、距離センサが座標系を有するが、距離センサを移動させる（すなわち、ユーザが頭を動かす）と、その座標系の変換が実行されることに起因する。したがって、ユーザが頭を動かしたときに異なる画像間の当該矛盾を回避するために、当該変換は補正され得る。このようにして、法線マップの当該部分は、その表面パラメータが実際には床に位置するターゲットに対応するので、ユーザの頭の傾きに関係なく、床区域としてセグメント化され得る。

【0015】

（上記の例のように）ユーザが頭を上下に動かしたときのセンサの向きによって引き起こされる画素の誤分類を回避するために、取得された全ての法線マップに共通の座標系を使用することができる。これは、世界座標系に対する距離センサの座標系の向きを決定し、続いて、決定された向きに基づいて取得された法線マップに向き補正を適用することによって達成することができ、向き補正は、距離センサの座標系を世界座標系に変換することを含む。

【0016】

幾何学及び運動学において、座標系は、点の（線形）位置並びに軸、平面、及び剛体の角度位置を記述するために使用される。後者の場合、ノードに固定された第２の（通常、「ローカル」と呼ばれる）座標系の向きは、第１の（通常、「グローバル」又は「世界」座標系と呼ばれる）座標系に基づいて定義され得る。したがって、本開示によれば、距離センサはノードであってもよく、その座標系は「ローカル」座標系と考えることができる。センサのローカル座標系は（ユーザの頭の移動に起因して）経時的に変化し得るので、（固定された）世界座標系に対するローカル座標系の向きの補正が経時的に実行され得る。

【0017】

このようにして、異なる法線マップが異なる法線パラメータ（すなわち、ローカル座標系の異なる対応する変換を用いて）を有する同じ要素を捕捉する場合でも、障害物は同じ基準フレーム（すなわち、この場合、世界座標系）に従って定義され得る。したがって、ユーザが頭を傾ける（すなわち、センサの傾き）かどうかにかかわらず、障害物を検出することができ、そのような検出は最終的に共通の固定座標系に対して行われる。

【0018】

このようにして、同様の例に従って、ターゲット床に対応するマップの一部がユーザの頭の傾き（ユーザは頭を傾けていない）のためにフロアとしてセグメント化され得る第１の法線マップを取得することができ、ユーザが頭を傾けて下を見ることにより、ターゲット床に対応するマップの同じ部分が正面障害物としてセグメント化され得る第２の法線マップを取得することができる。しかしながら、向き補正が実行される際には、第１及び第２の法線マップの両方において、同じターゲット床が床としてセグメント化され得るので、ユーザの周囲に見られるターゲットに対応する画素の誤分類を回避することができる。

【0019】

本方法を使用することにより、（法線マップの各画素に見られる）表面法線パラメータの分類が実行され、マップの各画素を区域のタイプとしてラベル付けする。法線マップのパラメータのこのような分類は、法線マップのセグメント化をもたらすことができ、いくつかの区域がマップ内に定義され、各区域は、床区域、障害物区域、又は側壁区域等の区域のタイプに対応する。更に、法線マップの一部のセグメント化は、障害物のタイプが検出されることを意味し、障害物は、法線マップの当該部分に対応するターゲットである。

【0020】

したがって、視覚補助装置による捕捉された法線マップの結果として得られるセグメント化は、異なる障害物をロバストな方法で検出することを可能にし、ユーザの頭の傾きに依存せず、したがってより信頼性が高い。

【0021】

より具体的には、更なる例によれば、距離センサの座標系の向きの決定は、少なくとも世界座標系に対する距離センサの座標系のピッチ成分を取得することによって実行されてもよい。このような成分は、障害物を検出するために法線マップの画素のグループのセグメント化を更に実行するのに十分であり得るが、それは、いくつかのタイプの障害物を依然として正確に検出しながら他の成分を無視できるためである。更に、いくつかの特定の場合には、ヨー成分及びロール成分をより良好でより正確な検出に使用することもできる。更に、少なくともピッチ成分は、ジャイロスコープ、磁力計及び加速度計のうちの１つ以上を使用することによって経時的に取得されてもよい。

【0022】

センサの向き（センサの座標系が世界座標系を基準とする）は、重力ベクトルの成分を計算する加速度計を使用することによって取得され得る。したがって、重力ベクトルを計算することによって、そのような向きのオイラー角のピッチ及びロール成分を取得することができる。

【0023】

本開示によれば、ロール又はヨー成分は本方法で実行される検出に影響を及ぼさないので、ピッチ成分は向き補正を計算するのに十分であり得る。したがって、ユーザが頭を上下に傾けることは、取得された法線マップに対して向き補正を実行するのに十分に関連し得る。

【0024】

より具体的には、更なる例によれば、ＩＭＵセンサを使用して、距離センサの座標系の変換を取得することができる。ＩＭＵセンサは、身体の正確な力、角速度、並びに身体の方向を計算及び報告するために使用される電子装置であり、ジャイロスコープ、磁力計、及び加速度計等の３つのセンサのブレンドを使用することによって達成することができる。要約すると、ＩＭＵは、３つの器具を組み合わせ、したがって、世界座標系に対して静的及び移動中の両方のカメラの向きを取得し、そこから座標系のピッチ成分が本開示による向き補正を実行するのに十分である。

【0025】

或いは、画像を取得するためのセンサを備える特定のタイプの距離センサを必要とし得るが、距離センサの向き補正を取得するためにビジュアルオドメトリが使用されてもよい。この場合、センサが移動している間に捕捉された異なる画像を分析することによってセンサの位置及び向きを決定することによってピッチを計算することができる。したがって、センサが異なる位置にある間に取得された異なる画像を観察することによって、センサの移動、したがってその向きを決定することができる。ビジュアルオドメトリは、マーズ・エクスプロレーション・ローバ（Ｍａｒｓ Ｅｘｐｌｏｒａｔｉｏｎ Ｒｏｖｅｒ）等の多種多様なロボット用途で使用されている。

【0026】

それらの組合せも使用することができ、ＩＭＵは、距離センサの座標系の変換を取得するために、両方の装置のデータを組み合わせることと並行してビジュアルオドメトリに基づく更なる装置を使用することによってその出力データを改良する。

【0027】

本開示の一例によれば、向き補正は、法線マップの回転行列であってもよい。この例では、取得された法線マップは、表面法線パラメータ（例えば、法線ベクトルの行列）の行列の形態であってもよく、法線マップ行列を回転行列で変換することにより、法線マップ内に見られる法線パラメータの向き補正が達成され得る。

【0028】

補正後、補正された法線マップと少なくとも１つの所定の法線閾値との比較が実行されてもよい。そのような比較は、法線マップに含まれる１つ以上の表面法線パラメータを、表面法線パラメータの異なる範囲に対応し得る１つ以上の所定の法線閾値と比較することによって実行することができる。表面法線パラメータが或る特定の範囲（実際には区域のタイプに関連する、法線閾値によって定義される）内にある場合、これは、表面法線パラメータを可能性が最も高い或る種の区域又は別のものにする或る特定の特徴を有することを示し得る。

【0029】

一例では、法線マップは法線ベクトルの行列であってもよく、各法線ベクトルは法線マップの各画素に対応し、法線マップに描写されるターゲットの表面の形状を定義する。また、別の例によれば、法線閾値は、障害物のタイプ（すなわち、所定の区域）を表すことができる可能な法線ベクトルの範囲であってもよく、法線ベクトルは対応する法線ベクトル行列に配置される。このようにして、１つ以上の画素の分類は、表面法線パラメータと、側壁を画定することができる所定の区域に対応する閾値との比較に基づいて実行することができる。更に、他の法線閾値は、ユーザが歩く床、又はユーザにとって正面であり得る他のタイプの障害物を定義することができる区域に対応することができる。

【0030】

本開示の一例によれば、本方法はまた、法線マップを側壁（ユーザが歩いている床に実質的に垂直な表面）、床区域（法線が重力ベクトルに実質的に平行な表面）、又は障害物区域（ユーザが歩いている床に対して実質的に垂直であり、ユーザの移動に対して垂直な表面）としてセグメント化することができ、例えば、先行するセグメント化のいずれかの十分な基準と一致しない区域の未決定のセグメント化を残すことができる。

【0031】

全ての所定の区域は、ユーザの動きやすさ、低視力のレベル等に応じて、ユーザの考慮事項に従って構成することができる。例えば、ユーザは、或る特定の傾きの側壁のみを側壁と考えることができ、したがって、側壁区域は、ユーザの考慮に応じて或る特定の法線閾値で予め決定することができる。したがって、異なる区域は、ユーザの好みを考慮して構成することができる。

【0032】

或いは、いくつかのタイプの側壁、床、又は障害物の法線ベクトルを調べることによって、法線閾値を事前に決定することもできる。このようにして、表面法線パラメータに基づいて法線マップの一部を更にセグメント化し、マップのその部分を側壁、床、又は物体として認識することが可能である。

【0033】

前述の方法を実行することにより、視覚補助に含まれる距離センサによって捕捉された法線マップに基づいて、ターゲット領域の異なる区域をセグメント化することが可能であり、センサは、例えば、視力が劣っている場合があるユーザによって装着されたウェアラブルデバイスに搭載される。セグメント化が、例えば、ユーザが歩行しながら頭を動かすことによってもたらされるエラー影響をより少なくし、したがって、セグメント化を実行しながらこのような移動を補正し、法線マップの部分をより効率的な方法で側壁区域、床区域、又は障害物区域としてセグメント化することによって、感知された法線マップに見られる障害物ターゲットを検出することができるため、法線マップのこのようなセグメント化は、視力の低い人々を対象とする他の視覚補助システムよりも効果的であり得る。

【0034】

別の例によれば、距離センサは、複数の画素によって形成された深度マップを取得することができ、各画素は深度パラメータを含み、方法は、
取得された深度マップの下部を選択するステップと、
深度マップの選択された部分を複数の水平線に分割するステップと、
上端線の画素に頂部深度閾値を、下端線の画素に底部深度閾値を割り当てるステップであって、頂部深度閾値は底部深度閾値よりも高い、割り当てるステップと、
上端線と下端線との間の各線の画素に対して深度閾値を割り当てるステップであって、各深度閾値は、上端線から下端線に向かって、前の線の深度閾値よりも低い、割り当てるステップと、
各画素の深度パラメータをその対応する水平線の割り当てられた深度閾値と比較するステップと、
比較に基づいて、画素の深度パラメータが画素の割り当てられた深度閾値よりも高い、深度マップの画素内の負の障害物区域を更に決定するステップと、を更に含み得る。

【0035】

深度画像の取得は、本開示によれば、深度マップの対応する画素内のターゲットシーンの各点の深度パラメータを含む深度マップ（すなわち、２Ｄデータ行列又はデジタル画像）を生成することができるセンサとすることができる距離センサを使用することによって実行することができる。各画素の深度パラメータは、深度マップの対応する各画素について、距離センサの平面から深度マップに描写されるターゲットシーンの各点までの物理的距離によって定義され得る。距離センサは、深度マップが取得される捕捉装置を備えることができ、より具体的には、センサの平面は、センサの指向軸（例えば、センサがカメラである場合、平面はカメラの光軸に垂直である）に垂直であり、当該軸の基準点に対して接線方向の平面として更に定義され得る。

【0036】

したがって、結果として得られる深度マップは、センサの平面の点から深度マップに描写されるターゲット表面までの深度に対応する画素値を有することができる。このようにして、深度マップの中心の画素は、距離センサの中心から深度マップに描写されるターゲットまでの物理的距離に等しい深度パラメータを含む。深度マップの残りの画素は、距離センサの平面から深度マップの当該画素に描写されるターゲットまでの最小物理距離に等しい深度パラメータを有する。また、その較正に応じて、画素値は、例えばメータ等の物理単位で直接与えることができる。

【0037】

取得された深度マップの下部の選択は、床が通常ユーザにとってどこにあるかの第１の近似として実行される。ユーザの身長及び／又は距離センサ（すなわち、ユーザの頭の傾き）の向きに応じて、下部はより大きくても小さくてもよいが、本方法は、ユーザが深度マップの実質的に下部分にある床の上で立っているか又は歩いていると仮定する。したがって、深度マップの或る特定のレベル以上から、深度マップの上部を可能なターゲット床（例えば、ターゲット側壁と考えることができる）と見なすことは統計的に論理的ではない。

【0038】

次いで、選択された部分を複数の線に分割することができる。水平線の数（すなわち、分割数）は、本方法を実行する際に必要とされる精度に応じて変化し得る。

【0039】

更に、深度閾値は、深度マップの選択された部分の全ての線に割り当てられてもよく、閾値は、上の線から下の線に徐々に下降する。

【0040】

このような深度閾値の割り当ては、深度マップの部分の上部の線が、深度マップの部分の下部の線よりもユーザから遠くにある可能なターゲット床を表すことを考慮に入れ、したがって、推定上より遠くにあるターゲット（すなわち、床がどこにあるべきか）を表す線に対応する線により高い深度閾値を割り当てる（したがって、深度マップにおけるより高い深度パラメータを有するべきである）。

【0041】

深度マップの選択された部分の各線に深度閾値を割り当てた後、各線の割り当てられた閾値と対応する線の各画素の実際の深度パラメータとの間で比較を実行することができる。

【0042】

このようにして、深度マップの画素の深度パラメータがその割り当てられた閾値（この閾値は、ターゲット床が平坦で穴がなく又は床レベルの低下もない場合の画素の深度パラメータを表す）よりも高い場合、これは、ターゲットが負の障害物であると解釈される場合があり（例えば、床レベルの低下、穴等）、したがって、ユーザが例えば入る可能性がある障害物として検出される。

【0043】

別の例によれば、上端線と下端線との間の各線に対する深度閾値の割り当ては、頂部深度閾値と底部深度閾値との間で所定の数学関数の値を割り当てることによって実行されてもよい。更に、別の例によれば、所定の数学関数は、ユーザの身長、及び世界座標系に対する距離センサの座標系のピッチ成分を使用して決定されてもよい。

【0044】

より具体的には、数学関数は、予想される平坦な床に対応する深度パラメータの値を推定するために使用され、そのような値は深度閾値として使用される。したがって、これらの推定された深度パラメータを深度閾値として使用するとき、本方法は、床が平坦であり得ると仮定し、取得された深度マップの取得された深度パラメータが深度閾値よりも高い場合はいつでも、それらの画素において床が平坦ではないと仮定し、ターゲットにおいて見つけられた深度はより高く、したがって、以前に検出された床区域の更なるセグメント化を取得することができ、深度閾値よりも高い深度を有する画素は、（穴又は床のレベルの低下等の）負の障害物としてセグメント化される。

【0045】

負の障害物区域の決定をもたらす障害物を検出する方法のそのような例は、法線マップの一部のセグメント化をもたらす障害物を検出する前述の方法と組み合わせて又は独立して実行することができる。なお、障害物の検出方法のみを実行し、負の障害物区域と決定した場合には、負の障害物を有する区域のみを決定してもよい。しかしながら、法線マップの一部のセグメント化をもたらす障害物を検出するための方法と組み合わせて使用される場合、障害物のより正確な全体的な検出が取得され得る。そのような全体的な検出は、側壁、床、又は他のタイプの障害物であり得るターゲットに対応する法線マップの区域の組合せを含むことができ、決定された床区域はまた、負の障害物に関する情報を含むことができる。したがって、決定された床区域の情報と決定された負の障害物区域とを組み合わせる場合、床区域はより正確であり得る。

【0046】

本開示の別の例によれば、本方法は、
検出された床区域を複数のセルに分割することであって、検出された床は、決定された負の障害物区域を含む、分割することと、
床区域として分類された画素と、床区域及び負の障害物区域の両方として分類された画素との交点に基づいて、横方向段差を決定することと、を更に含み得る。

【0047】

以前に検出された床区域は、更なる横方向段差の検出のための入力データとして使用することができる。一般に、段差（横方向であろうと正面であろうと）は、床表面のレベルのオフセット又は変化が見られる画素のグループ（例えば、画素の線として通常見られる）と考えることができ、これは、ユーザが通常歩いている間に注意しなければならないために十分であり得る。そのようなレベルの変化は、通常、例えば、階段の段差又は床のレベルの同様の著しい変化と同様であり得る。

【0048】

更に、本開示によれば、前述した段差又は同様の重要な変化は、床レベルの変化を分割する線であり得る縁部を有するものとして定義されてもよく、段差は、段差の縁部の向きがユーザの移動の方向に対して著しく垂直ではない場合に、横方向段差と更にみなされてもよい。横方向段差と正面段差とを区別することができ、正面段差は、ユーザの移動方向に対して著しく垂直な段差の縁部を有する。

【0049】

本開示によれば、横方向段差の検出は、以前に検出された床区域を複数のセルに分割することによって実行することができ、検出された床区域は、決定された負の障害物区域を含む。次に、負の障害物区域の検出は、検出された床区域の一部が以前に平坦な床として近似されていたものよりも深くなり得ることを意味するので、横方向段差は、少なくとも２つの隣接セルが存在するセルを探索することによって決定される場合があり、一方は床区域として検出され、他方は更に負の障害物区域として検出される。

【0050】

本開示の別の例によれば、本方法は、
検出された床区域から正面区域を選択するステップであって、正面区域は、ユーザの正面かつユーザの進行方向の空間をシミュレートする、選択するステップと、
選択された正面区域内で見つかった深度マップの部分の画素の深度パラメータのｖ視差マップを取得するステップと、
正面段差深度閾値よりも高いｖ視差マップの値を選択するステップと、
ｖ視差マップの値の選択に基づいて、正面段差床区域を決定するステップであって、正面段差床区域は、取得されたｖ視差マップの不連続部に対応する線を選択することによって決定される、決定するステップと、を更に含み得る。

【0051】

以前に検出された床区域は、更なる正面段差床区域の検出のための入力データとして使用することができる。この場合、前述したように、正面段差は、ユーザの移動方向に対して著しく垂直な縁部を有する段差であってもよい。したがって、ユーザに対する正面区域が選択され、当該区域がユーザの移動の方向内にあることが理解される。

【0052】

次いで、当該正面区域に対応する深度マップの部分からｖ視差マップを取得することができる。深度マップの正面区域の各画素について、深度マップの正面区域の同じ水平線の残りの画素と比較して実行されるそのようなｖ視差マップは、全ての正面区域内の深度パラメータの最も一般的な値を測定する方法である。

【0053】

そのようなｖ視差を実装する一般的な方法は、２Ｄ画像の形態であってもよく、Ｙ軸は、正面区域の各水平線を表し、Ｘ軸は、深度パラメータ値を表す。したがって、ｖ視差マップの各行は、深度マップにおいてその行に現れた深度の値のヒストグラムである。ｖ視差内の行の画素の各々は、深度マップの同じ行の同じ深度を有する画素の数に等しい値を有する。図式的には、より高い値を有するｖ視差の値は、例えば、より低い値を有するものよりも白く示され得る。

【0054】

この場合、理想的には、各行の深度のほとんどが実質的に同じ深度内にあるので、床検出は、ｖ視差マップ内の強い白線によって図に表される。

【0055】

正面区域内の全ての画素の深度パラメータの全ての値がｖ視差マップに配置されるとき、各行のより一般的な値の選択を実行することができる。この選択は、深度マップの最も一般的な値を表す深度の値を表すことができる。このようにして、ｖ視差マップのより明確な（すなわち、フィルタリングされている）バージョンが取得され、非常にまれであり得る（ｖ視差マップのその領域内の点の蓄積が少ない）か、又は深度マップ上で見つかったデータ内のエラーであり得るｖ視差マップの値は、考慮されなくてもよい。ｖ視差マップのフィルタリングされたバージョンが取得されると、その値の間の不連続部を見つけることが可能である。ｖ視差のＹ軸におけるそのような不連続部の位置は、元の深度マップのどの水平線に向かって正面段差があるかを指すことができる。

【0056】

より具体的には、一例によれば、取得されたｖ視差マップの不連続部に対応する線の選択は、
線ごとに、複数の囲み線を選択することと、
線についての視差マップの選択された値を、囲み線のｖ視差マップの値と比較することと、
比較が不連続閾値よりも高い場合には、正面段差床区域を、選択された正面区域内の選択された線に対応する区域として決定することと、によって実行され得る。

【0057】

不連続部を探索するために、各線の最も一般的な値（すなわち、選択された値）（ｖ視差マップのＹ軸の各値）と自身を囲む線との比較が実行される。このようにして、例えば、最初の線から始めて、線１の深度パラメータ値と線１＋Ｎ（Ｎは線１の近くの周囲の線の数である）の値との間で比較を実行することができる。一般に、任意の線Ｘについて、その深度パラメータ値は、範囲内の線の深度パラメータ値と比較することができる［Ｘ－Ｎ、Ｘ＋Ｎ］。そのような比較が不連続閾値よりも高い差をもたらすとき、不連続部が見出されてもよく、したがって、正面段差床区域は、深度マップの対応する元の正面区域の線Ｘに沿って見出されるように決定されてもよい。

【0058】

正面段差床区域は、ユーザの移動方向に垂直な区域と考えることができるので、正面段差は、深度マップの水平線に見出すことができ、したがって、この例では線Ｘによって決定される。

【0059】

正面段差床区域の決定をもたらす障害物を検出する方法のそのような例は、法線マップの一部のセグメント化をもたらす又は負の障害物床区域の決定をもたらす障害物を検出する前述の方法と組み合わせて又は独立して実行することができる。したがって、正面段差床区域の決定は、それ自体で実行することができるが、他の区域（例えば、負の障害物床区域等）の決定と組み合わせて、異なる障害物の全体的な検出を向上させることができる。例えば、正面段差床区域及び負の障害物床区域の２つの独立して実行される決定を更に含む床区域の決定は、前述のような視覚補助装置を使用する場合に、ユーザの周囲の非常に正確な評価をもたらすことができる。したがって、ユーザは、自分の周囲のより詳細な情報を有することになり得る。

【0060】

本開示の別の例によれば、障害物を検出するための方法は、
ユーザを囲む所定の領域の３次元仮想マップを生成するステップと、
仮想マップ内のユーザの仮想座標のセットを取得するステップと、
ユーザの仮想座標に対する仮想マップ内の検出されたターゲットの仮想座標のセット、及び法線マップのセグメント化された部分からの検出されたターゲットのタイプを取得するステップと、
仮想マップ内の、ユーザの取得された仮想座標及び検出されたターゲットの取得された仮想座標上に、ユーザのタグ及び検出されたターゲットのタグを記憶するステップと、
検出されたターゲットのタグが仮想マップに以前に記憶されているかどうかを検証するステップであって、
肯定的な結果の場合、検出されたターゲットが再帰的に検出されたかどうかを検証し、
肯定的な結果の場合、検出されたターゲットに関連性がないとタグ付けする、検証するステップと、を更に含み得る。

【0061】

仮想マップを使用して、検出された全ての障害物がユーザの周囲領域にある場所を記憶することができる。このようにして、ユーザは、仮想座標のセットを使用して当該マップ内に配置されてもよく、１つ以上の検出されたターゲットはまた、ユーザの座標に対して別の仮想座標のセットを使用して仮想マップ内に配置されてもよい。また、検出されたターゲットのタイプ（床区域、側壁区域又は障害物区域）も仮想マップ内に記憶され、障害物の位置だけでなく、検出された当該障害物のタイプも示されてもよい。

【0062】

更に、１つ以上の検出されたターゲットのタグが仮想マップ内に以前に記憶されている場合に検証を実行することができる。肯定的な結果の場合、検出されたターゲットが再帰的に検出されると、更なる検証が実行されてもよい。このようにして、障害物が数回検出された場合（例えば、同じターゲットの検出ごとにカウンタが使用される）、又は一定期間にわたって連続的に検出された場合（例えば、タイマを使用して、仮想マップの同じ場所でターゲットが検出された時間をカウントする）、検出されたターゲットは関連性がないとしてタグ付けされる。このようにして、シグナリングが実行されるとき、ターゲットが関連性がないと考えられる場合（例えば、長期間にわたって繰り返し検出される静止物体である）、ユーザを混乱させる可能性がある、又は他の重要なシグナリングから注意をそらす可能性がある過剰なシグナリングを回避するために、それをユーザに繰り返しシグナリングする必要はない。

【0063】

仮想マップの当該生成及び検出されたターゲットに対応するタグの管理は、例えば、ＳＬＡＭ型アルゴリズムを使用して部分的又は全体的に実行され得る。そのようなアルゴリズムは、ロボット工学分野で使用されるオプションであり、ロボットは、それらの更新を生成し、リポジトリメモリ等の仮想マップ内に保持することによって、それ自体を取り囲む全ての要素を追跡し続けることができる。

【0064】

ユーザの周囲のマッピングのこのような例は、前述の障害物検出方法がどのように実行されたかにかかわらず、それ自体で実行されてもよく、また、検出されたターゲットを、障害物検出方法の上記の例で前述したような視覚補助装置を着用しているユーザに関連するか又は関連しないものとしてマッピングして区別するのに有効である。

【0065】

また、更なる例によれば、障害物を検出するための方法は、
ユーザの仮想座標及び距離センサの座標系の決定された向きに基づいて仮想マップのシグナリング区域を選択することと、
仮想マップの選択されたシグナリング区域内で、関連性がないとマークされていない検出されたターゲットを選択することと、
選択されたターゲットをユーザにシグナリングすることと、を更に含み得る。
そのようなシグナリング区域は、例えば、ユーザが向いている現実の場所を表す仮想マップの部分に対応する区域であってもよい。したがって、当該シグナリング区域は、仮想マップ（ユーザを取り囲む領域を表すマップ）内のユーザの仮想座標、及び距離センサの向きから決定され、したがってユーザがどこを見ているかを決定する。当該シグナリング区域は、ユーザに示すのに関連する検出されたターゲットを選択して（すなわち、関連性がないとマークされていないターゲットを選択して）、それらをユーザにシグナリングするために使用され得る。このようにして、ユーザに関連するターゲットを選択するだけで、シグナリングの繰り返しを回避することができる。

【0066】

本開示の更なる例によれば、視覚補助装置は、ユーザを囲む所定の領域の３次元仮想マップを含むリポジトリに接続されてもよく、方法は、
ユーザの仮想座標及び距離センサの座標系の決定された向きに基づいて、仮想マップの安全区域を選択することであって、安全区域はユーザを取り囲む、選択することと、
仮想マップ内に記憶された以前に検出されたターゲットの仮想座標のセットを取得することと、
検出されたターゲットの仮想座標の取得されたセットが選択されたシグナリング区域内にないかどうか検証することであって、
肯定的な結果の場合、検出されたターゲットの仮想座標の取得されたセットが安全区域内にあると、検出されたターゲットをユーザにシグナリングする、検証することと、を更に含み得る。

【0067】

このようにして、ユーザを取り囲む安全区域を決定することができ、安全区域は仮想マップに含まれる。しかしながら、当該安全区域は、ユーザの仮想座標及び距離センサの座標系の決定された向きを考慮して定義されてもよく、すなわち、安全区域は、センサの視野外にあるが依然としてユーザの実質的に短い範囲内にあるユーザを取り囲む領域を選択することによって決定されてもよい。例えば、安全区域は、ユーザを取り囲む領域を含むことができ、距離センサの視野は、当該方向を見ても到達しない。また、安全区域は、ユーザの背後及びその近くの以前に検出されたターゲットをシグナリングするために使用されてもよい。

【0068】

このようにして、ユーザが或る特定の方向を見て、以前に検出された障害物がその方向のユーザの近くの範囲内にあるが、シグナリング区域によってカバーされていない場合、当該以前に検出されたターゲットもシグナリングされ得る（例えば、距離センサの視野は、前方を見ているが、前方であるが下方にあってもよい椅子をカバーしていないため、ユーザに近いがその瞬間にユーザによって検出されない椅子）。

【0069】

また、ユーザが後方に歩いている場合、ユーザに近い以前に検出されたターゲットは、たとえそれらがシグナリング区域内で発見されなくても、（安全区域内で発見された場合）シグナリングされ得る（なぜなら、ユーザは前方を見ている可能性があり、したがって距離センサの視野は前方を向いている可能性があるからである）。

【0070】

更に、シグナリングは、異なる方法で実行されてもよい。一例では、シグナリングは視覚型シグナリングであってもよい。色、画像の明るさ、白黒シグナリング等を含む、多くの異なるタイプの視覚型シグナリングを使用することができる。別の例によれば、視覚補助装置はディスプレイを備えてもよく、シグナリング区域は、ユーザの仮想座標及び距離センサの座標系の決定された向きに基づいて、仮想マップの２Ｄ仮想画像の形態であってもよい。この場合、視覚型シグナリングは、
関連性がないとマークされていない選択された障害物の、生成された２Ｄ仮想画像に視覚型シグナリングを重畳するステップと、
重畳された２Ｄ仮想画像をディスプレイに表示するステップと、を更に含み得る。

【0071】

このようにして、使用中に、シグナリング区域は、ユーザの仮想座標及び距離センサの座標系の決定された向きに基づくことができる２Ｄ仮想画像として形成することができる。例えば、２Ｄ仮想画像は、その瞬間のユーザの視点に実質的に一致するように形成されてもよく、仮想画像は、ユーザへのシグナリングを表示するために使用される。そのような仮想画像は、その時点でユーザが見ている関連障害物を含むことができ、したがって、生成された仮想画像にシグナリングが重畳され、シグナリングはユーザの視覚障害を考慮して実行される。したがって、例えば、ユーザが視野狭窄で、取得された法線マップの左上隅で側壁が検出された場合、ユーザが見ることができないディスプレイの部分上の側壁がある場所（この例では、ディスプレイの左上隅）を指す、例えばディスプレイの中央の矢印の形でシグナリングが実行されてもよい。

【0072】

シグナリングはまた、例えば、音声型シグナリングであってもよく、検出された障害物は、予め記録された音声又は他のタイプの音声信号によって記述又はシグナリングされる。例えば、異なるタイプの障害物、障害物の距離、又はユーザに対する障害物の位置に対して、異なる音声信号を使用することができる。また、シグナリングは、例えば、触覚型シグナリングであってもよく、或る特定の検出された障害物は、ユーザによって装着又は保持された振動装置によってシグナリングされてもよく、各振動は、障害物のタイプ又はユーザに対する障害物の距離及び／又は位置を表す。更に、視覚型シグナリング、音声型シグナリング、及び触覚型シグナリングの組合せを使用して、ユーザのニーズに適応することもできる。

【0073】

更に、シグナリングは、例えば、ユーザの好み及び障害、及びユーザが歩いている環境のタイプに応じて、多くの異なるタイプの媒体を含むことができ、シグナリングは、検出された区域又は障害物をマークする色、検出された区域又は障害物を指す矢印、その時点で距離センサ及びディスプレイの視野範囲内にある障害物、又は当該視野範囲から外れている障害物の音声型シグナリング等である。

【0074】

一般に、ユーザを囲む所定の領域の仮想マップを使用することにより、視覚補助装置は、検出された障害物をより効率的な方法でユーザにシグナリングすることができる。

【0075】

検出されたターゲットのシグナリングをもたらす障害物検出方法のそのような例、及び検出されたターゲットの前述のタグ付け及びマッピングを使用することによるシグナリングのタイプの異なる例は、前述の障害物検出方法とは無関係に及び／又は独立して使用することもできる。例えば、障害物を検出するために異なる方法が使用される場合、検出されたターゲットを関連性のある又は関連性のないものとしてタグ付けする前述の方法が依然として使用され得る。検出された障害物に関する情報（前述したように異なる方法で検出された可能性がある）は、仮想マップに記憶され、タグ付けされ、更に前述した方法のいずれかを使用してシグナリングされるために依然として使用することができ、したがって、前述したような視覚補助装置を使用している可能性があるユーザに対して検出された障害物の効率的で簡単なシグナリングがもたらされる。

【0076】

本開示の別の態様によれば、障害物要素を検出するための視覚補助装置が提示され、装置は、
法線マップを取得するように構成された距離センサと、
距離センサから取得された法線マップを受信し、取得された法線マップをコンピューティングモジュールに送信するための通信モジュールであって、コンピューティングモジュールは、障害物を検出するための前述の方法を実行するように構成される、通信モジュールと、を備える。

【0077】

そのような装置は、とりわけ、ＴｏＦ（飛行時間）ベースのセンサ、変調光スキャナベースのセンサ、立体視ベースのセンサ、又は構造化光スキャナ等、前述の異なるタイプの距離センサのいずれかを備えることができる。

【0078】

更に、装置は、前述したように、障害物を検出するための方法の異なる組合せのいずれかを実行するように構成されたコンピューティングモジュールに、有線接続又は無線通信システムのいずれかを介して通信することができる。

【0079】

また、本開示の別の例によれば、眼鏡、衣類、衣類補装具等の形態の、ユーザによって着用されるウェアラブルデバイスが提示されてもよい。ウェアラブルデバイスは、前述の視覚補助装置を備えてもよく、センサはウェアラブルデバイスに搭載されてもよい。更に、ウェアラブルデバイスが眼鏡を備える場合、センサは眼鏡に搭載されてもよい。

【0080】

本開示の更なる態様によれば、障害物要素を検出するためのシステムが提示され、システムは、前述の視覚補助装置と、その全ての変形形態において障害物を検出するための前述の方法を実行するように構成されたコンピューティングモジュールとを備えることができる。当該コンピューティングモジュールは、ケーブルを介して又は無線モードで視覚補助装置に接続することができ、したがって遠隔操作することができる。更に、コンピューティングモジュールは、例えば、本明細書に記載の方法の一部を実行するためのいくつかのサブモジュールを備えることができる。

【0081】

更に、別の態様によれば、前述した障害物を検出するための方法のうちの任意の１つ以上をコンピューティングシステムに実行させるためのプログラム命令を含むことができるコンピュータプログラム製品が提示される。また、他の例によれば、コンピュータプログラム製品は、記憶媒体上で具体化されてもよく、又はキャリア信号上で搬送されてもよい。

【図面の簡単な説明】

【0082】

【図1A】本開示による視覚補助装置を備える障害物要素を検出するためのシステムの一例を描写する図である。

【図1B】本開示による視覚補助装置を備える障害物要素を検出するためのシステムの一例を描写する図である。

【図2】本開示による障害物要素を検出するためのシステムのメインモジュールの一例の図ブロックである。

【図3】本開示による障害物要素を検出するためのシステムの処理モジュールの一例の図ブロックである。

【図4】本開示による障害物要素を検出するためのシステムのマッピングモジュールの一例の図ブロックである。

【図4B】本開示による、図４のマッピングモジュールによって実行される方法の例を描写する図である。

【図4C】本開示による、図４のマッピングモジュールによって実行される方法の例を描写する図である。

【図4D】本開示による、図４のマッピングモジュールによって実行される方法の例を描写する図である。

【図5】本開示によるシステムの距離センサの深度閾値の計算の一例を描写する図である。

【図6A】本開示による、深度マップ及び視差マップの例を描写する図である。

【図6B】本開示による、深度マップ及び視差マップの例を描写する図である。

【発明を実施するための形態】

【0083】

本開示による視覚補助装置並びに視覚補助装置を用いて障害物要素を検出するためのシステム及び方法の一例は、図１Ａ及び図１Ｂを介して本明細書に記載され、システム１は、ディスプレイ眼鏡１１のセットと、眼鏡１１に搭載されたデジタルＲＧＢ－Ｄステレオカメラ１２の形態の距離センサとを備える視覚補助装置１０を備える。更に、ディスプレイ眼鏡は、使用中にユーザに画像を表示するレンズ１３のセットを備える。この例では、カメラ１２の光軸がディスプレイ眼鏡１１のレンズ１３の光軸と実質的に平行に向けられるように、カメラ１２は眼鏡１１に搭載される。このようにして、カメラ１２によって捕捉された画像は、前方を見たときにユーザが通常の眼鏡のセットを通して見る画像と実質的に同様である。視覚補助装置は、ユーザが通常の生活で既に使用している場合があるレンズを補完するために、レンズ１５の適合セットを備え、システムはまた、視覚補助装置１０に接続されたメインモジュール１４を備える。

【0084】

この例によれば、ＲＧＢ－Ｄステレオカメラ１２は、２つのＲＧＢ画像（すなわち、カメラは、例えば、レンズごとに別個の画像センサを有する２つ以上のレンズを有することができ、これにより、カメラは、人間の両眼視をシミュレートすることができる）及びその対応する法線マップを捕捉することを可能にする内蔵機能を備える。この例によれば、カメラは、深度ベースの表面法線パラメータを捕捉する（法線マップを形成する）。また、カメラは対応する深度マップを捕捉し、そこから法線マップを幾何学的方法で推測することができる（例えば、隣接画素の相対深度を計算する）。したがって、カメラ１２は、システム１のメインモジュール１４に送信されるステレオＲＧＢ画像、深度マップ、及び法線マップを周期的に出力する。そのようなモジュールは、ケーブルによって、又は無線通信を介して視覚補助装置１０に接続することができる。

【0085】

図２に見られるように、メインモジュール１４は複数のサブモジュールを備え、各サブモジュールは本開示による方法のいくつかのステップを実行するように構成される。
捕捉モジュール２１

【0086】

特に、第１のモジュール２１は捕捉モジュールであり、ステレオカメラ１２に接続され、カメラから周期的にデータを受信する。この例では、ステレオカメラ１２は、画像の捕捉ごとに、ＨＤ ＲＧＢ画像の形のステレオ画像、ＨＤ ＲＧＢ画像に対応する深度マップ及び法線マップを送信する。捕捉モジュール２１は、メモリ３０に接続され、（バッファ２１１内の）２つのＲＧＢ画像のセットと、対応する深度（バッファ２１２）及び法線（バッファ２１３）マップとをデータの行列として記憶する。更に、捕捉モジュール２１はまた、捕捉されたデータを更なる計算と同期させるために次のサブモジュール（第２のモジュール２２）に送信されるべき同期信号３１を生成し、ディスプレイモジュール２５に送信され、ディスプレイモジュールは、画像及びグラフィカルシグナリングをディスプレイ眼鏡１３に送信する。
処理モジュール２２：障害物の検出

【0087】

第２のモジュール２２は、異なるタイプの障害物を検出するために、受信された深度マップ及び法線マップを処理する処理モジュールである。この例では、処理モジュールの出力信号は、障害物の検出されたタイプ、サイズ、及び世界に対する障害物の位置であり、メモリ３０の検出バッファ２２１に記憶される。

【0088】

処理が実行された後、検出グリッドが処理モジュール２２の出力として生成され、メモリ３０に記憶されて更に使用される。検出グリッドは、検出された障害物（又は複数の障害物）の寸法と、世界に対する障害物の位置とを含む。

【0089】

より具体的には、この実施形態によれば、処理モジュール２２は、図３及び図５に描写される障害物の複数の異なる検出を実行する。

【0090】

図３は、処理モジュール２２の一般的なフローチャートを描写する。まず、検出を実行するために、法線マップ及び深度マップからのデータが並行して検索される。
法線検索４００Ａ

【0091】

フローチャート４００Ａでは、障害物を検出するために更に使用されるように、法線データが検索される。法線マップがバッファ２１３から検索され（ブロック４１１）、ピッチ傾きを考慮して（ＩＭＵの他の２つの成分は、この例では無視することができる）ＩＭＵからの更新データに基づいてマップに対して向き補正が実行される（ブロック４１２）。

【0092】

法線マップが受信されると、法線マップは、各画素に対して、画素によって表されるターゲット表面に垂直なベクトルを含み、ベクトルは、カメラ１２のローカル座標系に関連して表される。したがって、異なる捕捉からの全ての法線マップを使用できるようにするために、同じ障害物を検出するように、経時的に受信された全ての法線マップは、共通の座標系と呼ばれる（カメラの移動によってもたらされる可能性のあるエラーを排除する）。したがって、カメラがいくつかの法線マップの捕捉の間に移動した場合（すなわち、ユーザが頭を動かした場合）、各捕捉の法線ベクトルは、カメラ座標系の異なる変換に関連する可能性があり、そのような変換は、向き補正を適用することによって補正され得る。このような向き補正は、本例によれば、受信した法線マップに適用される回転行列であってもよい。

【0093】

この特定の例によれば、回転行列は、ＩＭＵセンサからピッチ、ロール、及びヨーを含むセンサの向きを取得することによって生成される（この例では、ＩＭＵセンサはステレオカメラ１２内に含まれるが、カメラに取り付けられた別個のＩＭＵセンサであってもよい）。そのような装置を使用することにより、世界座標系と呼ばれるピッチ、ロール、及びヨーが取得され、これは（カメラ１２のローカル座標系に関連する）対応する法線マップの法線ベクトルの座標を世界座標系に関連する法線ベクトルに変換するために使用され得る。向きが、取得されたときに捕捉された法線マップ及び深度マップに対応するはずであるため、センサの向き並びに法線マップ及び深度マップの取得は、信号３１によって同期させることができる。

【0094】

向き補正が法線マップに適用された後、次に、ターゲットシーンセグメント化が実行され（ブロック４２）、法線マップのＸ、Ｙ、及びＺ成分の抽出が実行される（ブロック４２１、４２２、４２３）。このようなシーンセグメント化は、法線マップを異なるタイプの障害物としてセグメント化するために、法線マップに法線閾値を適用する。
ブロック４２１は、側壁タイプの障害物に関するデータを取得するために関連し得る法線マップのＸ成分を抽出する；
ブロック４２２は、正面障害物タイプの障害物に関するデータを取得するために関連し得る法線マップのＺ成分を抽出する；
ブロック４２３は、床タイプの障害物に関するデータを取得するために関連し得る法線マップのＹ成分を抽出する；

【0095】

その後、抽出された各成分行列は、法線閾値でフィルタリングされる。
ブロック４２６は、側壁に対応する法線閾値をその対応する抽出された行列に適用する；
ブロック４２７は、正面障害物に対応する法線閾値を対応する抽出された行列に適用する；及び
ブロック４２８は、床に対応する法線閾値を対応する抽出された行列に適用する。

【0096】

その結果、３つの行列が得られ、各々は、側壁、正面障害物、及び床区域にそれぞれ対応する法線マップを含む。
深度検索４００Ｂ

【0097】

法線検索と並行して、フローチャート４００Ｂにおいて深度検索が実行される。ブロック４２９において、深度マップがバッファ２１２から検索される。次に、信頼性閾値（ブロック４３１）及び可変閾値（ブロック４３２）を適用するために、正規化深度マップが修正される。

【0098】

信頼性閾値は深度マップの上部に適用され、ユーザに関連するには遠すぎる深度情報を排除する。可変閾値は、深度マップの残りの下部に適用される。

【0099】

より具体的には、本実施形態によれば、深度閾値を定義する所定の数学関数を適用することによって可変閾値を決定することができる。そのような関数は、ユーザの身長及びカメラのピッチ成分を使用して決定することができる。各線の深度閾値を決定するために異なる計算が存在する場合があり、これはそれらの精度に応じて異なり得る。

【0100】

本実施形態によれば、このような可変閾値は、ユーザを取り囲む床表面の穴又は実質的な凹凸等の負の障害物区域をセグメント化するために適用され、視覚補助装置を介してユーザにそれらを更にシグナリングする。

【0101】

より具体的には、前述したように、距離センサ（この場合、ステレオＲＧＢカメラ）は、各画素の深度パラメータを含む深度マップを取得する。次に、深度マップの下部が選択される（下部は、ユーザの正面の床であるターゲットに対応する少なくとも複数の画素を含むと仮定する）。選択された部分は水平線に分割され、上端線の画素には頂部深度閾値が割り当てられ、下端線の画素には底部深度閾値が割り当てられる。更に、上端線と下端線との間の線に深度閾値が割り当てられる。上部深度閾値は下部深度閾値よりも高く、上端線と下端線との間の各線の画素に割り当てられた深度閾値は、各深度閾値が上部線から下部線に向かって前の線の深度閾値よりも低くなるようなものである。

【0102】

この実施形態では、閾値の割り当ては、ユーザの身長及びカメラのピッチ成分を使用して、床と考えられる可能性が最も高いものを計算することによって実行される。

【0103】

次に、各画素の深度パラメータと、対応する水平線の割り当てられた深度閾値との比較が実行される。深度パラメータが深度閾値よりも高い場合、それは、当該画素が床よりも低いこと、すなわち、当該画素内に何らかのタイプの負の障害物があることを意味する。

【0104】

割り当てられた可変閾値と比較される深度パラメータを適切に計算するために、計算が実行されてもよい。図５は、ターゲット床５３上に立っている高さ５０を有するユーザによって装着された視覚補助装置に搭載された、使用中の距離センサ５２の図を示す。より具体的には、ステレオカメラ５２は、視野βと、カメラのピッチ角である傾きα（この例では、ユーザは頭を下に向けている）とを有する。カメラは距離センサであり、したがって、視野βをカバーする法線マップ及び深度マップの両方を捕捉する。深度マップの場合、各画素の深度パラメータは、カメラ５１の平面から描写されたターゲットまでの最小距離を表す。例えば、床５０１の第１の目標点は、値Ｚ１の深度パラメータによってカメラ５２によって取得された深度マップに描写される。また、カメラ５２によって捕捉された深度マップの中心は、値Ｚ０の深度パラメータによって深度マップに描写される床５０２の第２の目標点を示す。Ｚ０の場合、カメラの基準点と点５０２との間の物理的距離は深度パラメータ自体であるが、点５０１の場合、カメラの基準点と点５０２との間の実際の距離はＺ１ではなく、ｄ１である。これを考慮して、深度マップの任意の点の深度期待値Ｚ１（対応するターゲットが床である場合に期待される）を計算することができる。このようにして、同じ点におけるＺ１（対象とされる床の予想される深度）と（深度マップからの）実際の深度との間で比較を実行することができる。これは、以下の式を適用することによって達成することができる。

【0105】

第１に、深度パラメータＺ０に関連する、深度マップの中心に描写されたターゲットに対応する距離の計算。

【0106】

次に、深度マップの任意の他の深度パラメータについて、以下の式を使用して一般的に計算される。

【0107】

ｚ１が取得されると、それはＺ１の同じ点の深度パラメータ（深度マップに見られる）と比較される。同じ点の深度パラメータが予想される床の深度よりも高い場合（すなわち、Ｚ１）、負の障害物が当該点で見つかる可能性がある。

【0108】

４００Ｂの出力は、負の障害物（穴等）を考慮に入れて、及び／又は（信頼性閾値を介して）シグナリングするには遠すぎる障害物を省略して、適合された深度マップを含む行列である。
法線データ及び深度データの組合せ４００Ｃ

【0109】

側壁、正面障害物、及び床にそれぞれ関連する法線データを含む３つの行列（４００Ａから得られる）、並びに適用された信頼性及び可変閾値を有する深度マップを含む行列（４００Ｂから得られる）が取得されると、それらは、深度マップを考慮に入れて法線マップをセグメント化するために組み合わされる。

【0110】

したがって、ＡＮＤ演算子は、適応された深度マップを有する側壁、前面障害物、及び床（４３３，４３４，４３５）に対応する３つの法線マップの各々で実行され、したがって、法線マップを信頼性のある距離内でセグメント化し、床セグメント化が負の障害物（穴等）を検出するようにする。

【0111】

これにより、側壁、正面障害物、及び床区域として分類された画素の３つの二値行列４３６，４３７及び４３８が得られる。

【0112】

その後、ブロック４３９において、法線マップは、複数のセルを有するグリッドとして分割され、グリッドはユーザの軌道を表し、ブロック４４２において、各障害物は、共有メモリ３０内の対応するセル内の世界に対するその対応するサイズ及び障害物の位置とともに、グリッドに記憶される。
正面段差検出及び横方向段差検出４００Ｄ

【0113】

本実施形態によれば、システムはまた、横方向及び正面段差を検出することができてもよい。フローチャート４００Ｄでは、取得された床セグメント化（ブロック４３５及び４３８）は、正面段差及び横方向段差の両方を検出するために更に使用される。

【0114】

正面段差を検出する場合（ブロック４４０）、以前に床区域として検出された領域において正面区域が選択される。これは、マップの下部中央にあり、以前に検出された床区域にも対応する深度マップの部分を選択することによって行われる。

【0115】

正面区域が選択されると、正面区域からｖ視差マップが計算される。図６は、得られた正面区域の一例を示し、下部６１は、深度パラメータＸを有する線に対応し、上部６２は、深度パラメータＹを有する線に対応する。この例では、部分６１に見られる線は、４０センチメートルの深度Ｘを有することができ、部分６２に見られる線は、１０センチメートルの深度Ｙを有することができる。したがって、下部６１と上部６２とを分割する線（例えば、階段の第１の段は上方に向かう）において、段差が検出されるべきである。

【0116】

図６Ｂは、図６Ａに描写される正面区域に対応するｖ視差マップを示し、深度の値がＸ軸にグラフ化され、正面区域の各線（正面区域の底部から頂部まで）の値がＹ軸にグラフ化されている。差し引くことができるように、下部６１からの全ての値は、各線について、深度４０ｃｍ（Ｘ軸点６３）の累積点を有し、正面区域からの値がｖ視差マップに描写されるとき、それらは全て、深度１０ｃｍ（Ｘ軸点６４）の累積点において見出される。視差マップの最も一般的な値の選択が実行された後（すなわち、視差マップの累積点の「フィルタリング」）、視差マップ線６５及び６６が明確に定義される。正面段差床区域を決定するために、システムは、線６８上に見られる視差マップの値の不連続部６７を探索する。したがって、図６Ａの正面区域の線６８上に不連続部が見られ、これは、前述の正面段差がこの例によれば明らかにあると考えられた場所である。

【0117】

より複雑な不連続部は、異なる事例の視差マップに見出すことができるが（正面区域は異なるターゲットを描写する）、それらは全て、所定の不連続閾値よりも高い不連続部を探索することによって検出することができる。そのような探索は、複雑さのレベルが異なる計算を含み得る多くの異なる方法で実行され得る。

【0118】

更に、ブロック４４１において、セグメント化された床区域を複数のセルに分割し、隣接するセルの画素間で複数の比較を実行することによって、横方向段差が検出される。隣接セルの深度パラメータ間の差が横方向段差深度閾値よりも大きい場合、深度マップの当該隣接セル間に横方向段差があると判定される。
マッピングモジュール２３

【0119】

実行された場合の障害物の検出後、マッピングモジュール２３は、３Ｄ仮想マップを生成及び更新するために使用される。３Ｄ仮想マップの目的は、ユーザが動いているときのユーザの脳の挙動をシミュレートすることである。したがって、目的は、ユーザの軌道内でユーザにとって問題となり得る障害物についてユーザに通知し、ユーザの視野外にあるそれらの障害物を記憶することである。また、マッピングモジュール２３は、以前にシグナリングされた障害物がユーザに常に示されていないことを管理することもできる。

【0120】

この例では、図４に見られるように、ブロック２３２は、検出された障害物及び障害物の位置を含む、メモリ３０に記憶された検出グリッドの形態の入力を受信する（ブロック２３１）。更に、ユーザの位置及びカメラ１２の向きも受信する（カメラのＩＭＵから）。ユーザの位置は、この例では、初期化位置（システムが初期化されたときのユーザの位置の仮想マップ内の仮想座標）に対する位置であってもよい。取得プロセスにかかわらず、モジュール２３は、３Ｄ仮想マップ内のユーザの仮想座標の更新されたセットを受信する。

【0121】

次に、ブロック２３２は、所定の領域の３Ｄ仮想マップを生成及び更新し、これは、どの障害物がマップ内に記憶されるかを定義する。仮想マップの寸法及び仕様は、各特定のユーザのニーズに基づいて定義することができる。デバイスの機能中、ブロック２３２は、３Ｄ仮想マップを生成及び更新する。３Ｄ仮想マップは、ユーザを囲む所定の領域を表すように生成される。したがって、新しい障害物が検出された場合、ブロック２３２は、新しい障害物に関連するタグ（ユーザの仮想座標に対する障害物の仮想座標、及び仮想マップの初期化位置に対する障害物の仮想座標）をマップ内に記憶する。更に、ブロック２３２は、障害物が以前にユーザに対して同じ位置にあったか否かを検証する。障害物がユーザに対して同じ仮想座標を再帰的に占有した場合、ブロック２３２は障害物を関連性のないものとしてタグ付けする。更に、仮想マップは動的に更新され、以前は３Ｄ仮想マップ内にあったが、現在はユーザの位置の変化により、ユーザを取り囲む３Ｄ仮想マップによって定義された所定の領域外にある障害物を除去する。

【0122】

ブロック２３３は、マッピングモジュール２３の出力として２Ｄ投影を生成する。それは、関連性がないとしてタグ付けされていない障害物（すなわち、関連する障害物）をユーザにシグナリングする。これを行うために、ブロック２３３は、ユーザが見ているものをエミュレートする仮想カメラを生成する。仮想カメラによって見られる領域、すなわちシグナリング区域は、ユーザ仮想座標及びカメラ１２の向きに基づいて定義することができる。図４Ｃに見られるように、仮想カメラが見ているものの２Ｄ投影４Ｃ１は、仮想カメラによって生成され、仮想カメラは、シグナリング区域上の仮想マップに記憶されているものを捕捉する。したがって、２Ｄ投影は、３Ｄ仮想マップから関連性がないとしてタグ付けされていない障害物を選択して描写する。

【0123】

更に、ブロック２３３は、仮想座標がユーザを取り囲む指定された安全区域内にある仮想マップの障害物をユーザにシグナリングする。安全区域は、ユーザを取り囲む領域であってもよく、例えば、安全区域が距離センサの視野外にあるために、距離センサは障害物を検出しない場合がある。シグナリングを実行するために、ブロック２３３は、検出された障害物の仮想座標がシグナリング区域外にあり、同時に安全領域内にあるかどうかを検証する。

【0124】

したがって、前述したように、ユーザにシグナリングされる障害物は、ユーザに対するそれらの位置を変化させる障害物、及びその位置が安全区域内に入る障害物である。関連する障害物のこの選択は、ユーザがそれらがどこにあるかを知っている障害物の連続的なシグナリングを回避するために実行される。この方法は、人間の脳の挙動をシミュレートし、人が同じ位置にある物体を絶えず見ているとき、人は、当該物体がそこにあるといつも考えない。このようにして、この基準にしたがって、ユーザとの一定の相対距離を保ち、最初に検出されたときに以前にシグナリングされた障害物は、最初にユーザにシグナリングされたときにそれに応じてユーザが動作したため、ユーザに関連しない。

【0125】

図４Ｄは、図４Ｃで生成された２Ｄ投影の一例を示しており、３Ｄ仮想マップ内のユーザの視点を考慮して、いくつかの障害物がユーザに示されるのに関連するように選択される。

【0126】

この例では、ブロック２３２のマップ生成及び更新、並びに仮想カメラの生成及び２Ｄ投影の両方が、ＳＬＡＭ型アルゴリズムを使用して実行される。

【0127】

仮想マップが生成されて埋められた後、関連する各障害物及び投影内のその位置とともに、２Ｄ投影が共有メモリ３０内に記憶される。
シグナリングモジュール２４

【0128】

この例では、シグナリングモジュール２４は、記憶された２Ｄ投影をその全ての関連する障害物（図４Ｄに見られる）と、各タイプの障害物及び／又はユーザまでの位置若しくは距離に対応するシグナリングと重畳するために使用される。シグナリングは、この場合、例えば、障害物のタイプごとに異なるタイプの色、又は線、矢印、点滅灯等の標識であってもよい。これは、ユーザの好み又はニーズに応じて構成可能であり得る。更に、２Ｄ投影及び重畳されたシグナリングは、この場合は眼鏡のセットであるディスプレイに送信されるために、全ての障害物の検出に対応するＲＧＢ画像に重畳され、更にディスプレイモジュールに送信されてもよい。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図4B】

【図4C】

【図4D】

【図5】

【図6A】

【図6B】

【国際調査報告】