IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7631820情報提供装置、情報提供方法及びプログラム
<>
  • 特許-情報提供装置、情報提供方法及びプログラム 図1
  • 特許-情報提供装置、情報提供方法及びプログラム 図2
  • 特許-情報提供装置、情報提供方法及びプログラム 図3
  • 特許-情報提供装置、情報提供方法及びプログラム 図4
  • 特許-情報提供装置、情報提供方法及びプログラム 図5
  • 特許-情報提供装置、情報提供方法及びプログラム 図6
  • 特許-情報提供装置、情報提供方法及びプログラム 図7
  • 特許-情報提供装置、情報提供方法及びプログラム 図8
  • 特許-情報提供装置、情報提供方法及びプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-10
(45)【発行日】2025-02-19
(54)【発明の名称】情報提供装置、情報提供方法及びプログラム
(51)【国際特許分類】
   G06Q 10/105 20230101AFI20250212BHJP
   G08B 21/02 20060101ALI20250212BHJP
   G08B 25/04 20060101ALI20250212BHJP
   G06T 19/00 20110101ALI20250212BHJP
   G09G 5/00 20060101ALI20250212BHJP
   G09G 5/377 20060101ALI20250212BHJP
【FI】
G06Q10/105
G08B21/02
G08B25/04 K
G06T19/00 600
G09G5/00 550C
G09G5/00 530M
G09G5/377
【請求項の数】 7
(21)【出願番号】P 2021005487
(22)【出願日】2021-01-18
(65)【公開番号】P2022110223
(43)【公開日】2022-07-29
【審査請求日】2023-12-15
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】高木 優二
(72)【発明者】
【氏名】高田 英司
(72)【発明者】
【氏名】中田 裕規
(72)【発明者】
【氏名】直島 浩樹
(72)【発明者】
【氏名】真下 裕梨
【審査官】佐藤 敬介
(56)【参考文献】
【文献】特開2017-182340(JP,A)
【文献】中国特許出願公開第111127822(CN,A)
【文献】特開2015-011539(JP,A)
【文献】特開2014-071756(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
G08B 21/02
G08B 25/04
G06T 19/00
G09G 5/00
G09G 5/377
(57)【特許請求の範囲】
【請求項1】
ウェアラブル端末のセンサによって測定された測定データに基づいて、前記ウェアラブル端末が存在する空間の三次元情報を生成する生成手段と、
前記測定データに基づいて、前記空間における前記ウェアラブル端末の位置を推定する位置推定手段と、
前記三次元情報と前記位置とに基づいて、前記位置から特定場所への移動の経路に沿った移動の障害になりうる障害物を検出し、検出された前記障害物の情報を含む、前記経路の情報である経路情報を提供情報として生成する提供情報生成手段と、
前記ウェアラブル端末に、前記提供情報を送信する送信手段と、
を備える情報提供装置。
【請求項2】
前記提供情報生成手段は、前記ウェアラブル端末の前方の映像である前方映像に重畳される、前記経路情報に基づく表示を、前記提供情報として生成する
請求項に記載の情報提供装置。
【請求項3】
前記提供情報生成手段は、前記ウェアラブル端末の位置および方向に基づく基準を満たす位置および方向において過去に撮像された過去映像から、前記ウェアラブル端末の前記位置において前記ウェアラブル端末の前記方向を向いた場合に前方に位置する構造を表す画像を含む前記提供情報を生成する
請求項に記載の情報提供装置。
【請求項4】
前記提供情報生成手段は、前記ウェアラブル端末によって撮像された撮像映像の遮蔽部分を検出し、前記撮像映像の前記遮蔽部分に重畳される、前記過去映像の前記遮蔽部分に対応する部分の映像を、前記提供情報として生成する
請求項に記載の情報提供装置。
【請求項5】
前記提供情報生成手段は、通行可能な床面の情報を含む、前記経路情報を生成する
請求項乃至のいずれか1項に記載の情報提供装置。
【請求項6】
ウェアラブル端末のセンサによって測定された測定データに基づいて、前記ウェアラブル端末が存在する空間の三次元情報を生成し、
前記測定データに基づいて、前記空間における前記ウェアラブル端末の位置を推定し、
前記三次元情報と前記位置とに基づいて、前記位置から特定場所への移動の経路に沿った移動の障害になりうる障害物を検出し、検出された前記障害物の情報を含む、前記経路の情報である経路情報を提供情報として生成し、
前記ウェアラブル端末に、前記提供情報を送信する、
情報提供方法。
【請求項7】
ウェアラブル端末のセンサによって測定された測定データに基づいて、前記ウェアラブル端末が存在する空間の三次元情報を生成する生成処理と、
前記測定データに基づいて、前記空間における前記ウェアラブル端末の位置を推定する位置推定処理と、
前記三次元情報と前記位置とに基づいて、前記位置から特定場所への移動の経路に沿った移動の障害になりうる障害物を検出し、検出された前記障害物の情報を含む、前記経路の情報である経路情報を提供情報として生成する提供情報生成処理と、
前記ウェアラブル端末に、前記提供情報を送信する送信処理と、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報を提供する技術に関する。
【背景技術】
【0002】
作業の現場の作業員が、情報の収集と、指令センターからの指示及び情報の受け取りとのために、例えばスマートグラスなどのウェアラブル端末装置を活用できれば、両手を作業に使用できるため、作業の効率が上昇する。
【0003】
特許文献1には、カメラによる撮影範囲が保守対象領域から逸脱してから、撮影範囲が保守対象領域に含まれるまでの間、画像情報を外部装置に送信する処理を抑止するスマートグラスが記載されている。
【0004】
特許文献2には、特定の乗員の身体情報に基づいて生成された、その乗員に適した有用情報を、その乗員のスマートグラスに車内外の風景に重畳して表示する社内システムが記載されている。
【0005】
特許文献3には、対象物に対する位置合わせに関する付随情報と、センサによる対象物の測定結果とに基づいて、対象物を適正位置に誘導させる情報を、対象物の映像に少なくとも部分的に重畳してディスプレイに表示するスマートデバイスが記載されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2020-160696号公報
【文献】特開2020-020987号公報
【文献】特開2020-030704号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
火災現場などの災害現場では、救急隊員などの作業員は、危険にさらされる。特許文献1の技術は、保守作業領域に含まれない領域の画像情報の送信を抑止することにより秘密情報の漏洩を防止できるが、作業員の安全性を向上させることはできない。特許文献2の技術では、特定の乗員に適した情報が他の乗員にも提示されることを防ぐことはできるが、作業員の安全性を向上させることはできない。特許文献3の技術は、対象物に対する位置合わせを支援できるが、作業員の安全性を向上させることはできない。
【0008】
本開示の目的の1つは、作業員の安全性を向上できる情報提供装置などを提供することである。
【課題を解決するための手段】
【0009】
本開示の一態様に係る情報提供装置は、ウェアラブル端末のセンサによって測定された測定データに基づいて、前記ウェアラブル端末が存在する空間の三次元情報を生成する生成手段と、前記ウェアラブル端末に、前記三次元情報に基づく提供情報を送信する送信手段と、を備える。
【0010】
本開示の一態様に係る情報提供方法は、ウェアラブル端末のセンサによって測定された測定データに基づいて、前記ウェアラブル端末が存在する空間の三次元情報を生成し、前記ウェアラブル端末に、前記三次元情報に基づく提供情報を送信する。
【0011】
本開示の一態様に係るプログラムは、ウェアラブル端末のセンサによって測定された測定データに基づいて、前記ウェアラブル端末が存在する空間の三次元情報を生成する生成処理と、前記ウェアラブル端末に、前記三次元情報に基づく提供情報を送信する送信処理と、をコンピュータに実行させる。
【発明の効果】
【0012】
本開示には、作業員の安全性を向上できるという効果がある。
【図面の簡単な説明】
【0013】
図1図1は、本開示の第1の実施形態に係る情報提供装置の構成の例を表すブロック図である。
図2図2は、本開示の第1の実施形態に係る情報提供装置の動作の例を表すフローチャートである
図3図3は、本開示の第2の実施形態に係る情報提供システムの構成の例を表すブロック図である。
図4図4は、本開示の第2の実施形態に係るウェアラブル端末の構成の例を表すブロック図である。
図5図5は、本開示の第2の実施形態に係る情報提供装置の構成の例を表すブロック図である。
図6図6は、本開示の第2の実施形態に係るウェアラブル端末の第1の動作の例を表すフローチャートである。
図7図7は、本開示の第2の実施形態に係る情報提供装置の動作の例を表すフローチャートである。
図8図8は、本開示の第2の実施形態に係るウェアラブル端末の第2の動作の例を表すフローチャートである。
図9図9は、本開示の実施形態に係る情報提供装置、及び、ウェアラブル端末を実現することができる、コンピュータのハードウェア構成の一例を表す図である。
【発明を実施するための形態】
【0014】
以下では、本開示の実施形態について、図面を使用して詳細に説明する。
【0015】
<第1の実施形態>
まず、本開示の第1の実施形態について説明する。
【0016】
<概要>
本開示の第1の実施形態に係る情報提供装置は、ウェアラブル端末と通信可能に接続される。ウェアラブル端末は、例えば、肉眼による見通しの良くない場所において作業を行う作業員によって装着される。そのような作業員は、例えば、火災が発生した建造物の内部において救出活動及び消火活動などを行う消防隊員等である。情報提供装置は、ウェアラブル端末のセンサによって測定された測定データを受け取り、測定データに基づいて、ウェアラブル端末が存在する空間の三次元情報を生成する。ウェアラブル端末が存在する空間は、例えば、消防隊員等が作業を行っている建造物の内部である。情報提供装置は、生成した三次元情報に基づく提供情報を、ウェアラブル端末に提供する。
【0017】
<構成>
図1は、本開示の第1の実施形態に係る情報提供装置10の構成の例を表すブロック図である。図1に示す例では、情報提供装置10は、生成部120と、送信部130とを含む。情報提供装置10は、例えば、無線による通信ネットワークを介して、例えばスマートグラスなどのウェアラブル端末と通信可能に接続されている。
【0018】
ウェアラブル端末は、センサと、ウェアラブル端末のユーザに情報を送信するデバイス(例えば、表示装置及び音声再生装置の少なくともいずれか等)と、情報提供装置10と通信を行う通信機能とを備える。センサは、例えば、カメラである。センサは、複数のカメラであってもよい。センサは、例えば、対象までの距離を測定するLIDAR(Light Detection And Ranging/Laser Imaging, Detection And Ranging)方式の測距デバイスであってもよい。センサは、周囲の物体との間の距離を測定する、超音波センサ又はレーザ距離計などの距離センサを含んでいてもよい。センサは、例えば、異なる方向を測定するように取り付けられている複数の距離センサを含んでいてもよい。センサは、複数の種類の複数のセンサの組み合わせであってもよい。本実施形態では、センサは1台のカメラとする。センサが1台のカメラ以外のセンサを含む場合の例については、後述の第2の実施形態の変形例として説明する。
【0019】
ウェアラブル端末は、通信機能によって、センサによる測定によって得られたデータである測定データを、情報提供装置10に送信する。ウェアラブル端末は、通信機能によって、情報提供装置10から情報を受け取る。ウェアラブル端末は、受け取った情報を、情報をユーザに通知するデバイスによって、受け取った情報をウェアラブル端末のユーザに通知する。ウェアラブル端末は、例えば、後述のウェアラブル端末200である。
【0020】
<生成部120>
生成部120は、ウェアラブル端末のセンサによって測定された測定データに基づいて、ウェアラブル端末が存在する空間の三次元情報を生成する。空間の三次元情報は、例えば、センサによって測定可能な、物体や構造物などの表面の三次元構造の情報である。センサがカメラである場合、移動するユーザが装着しているウェアラブル端末のカメラの撮像によって、移動するカメラによって撮像された映像、すなわち、異なる複数の視点からの複数の画像が得られる。生成部120は、そのような画像から、例えば、SfM(Structure from Motion)などの方法によって、ウェアラブル端末が存在する空間の三次元情報を生成する。
【0021】
<送信部130>
送信部130は、生成された三次元情報に基づく情報(以下、提供情報とも表記)を、ウェアラブル端末に送信する。三次元情報に基づく情報は、例えば、経路の情報、通行可能な範囲の情報、及び、障害物の情報などの、ウェアラブル端末を装着している作業員の安全に寄与する情報である。三次元情報に基づく情報は、これらの例に限られない。三次元情報に基づく情報については、後で詳細に説明する。
【0022】
<動作>
図2は、本開示の第1の実施形態に係る情報提供装置10の動作の例を表すフローチャートである。図2に示す例では、まず、生成部120が、測定データに基づいて、三次元情報を生成する(ステップS11)。そして、送信部130が、三次元情報に基づく提供情報を送信する(ステップS12)。
【0023】
<効果>
本実施形態には、作業員の安全性を向上できるという効果がある。その理由は、生成部120が、測定データに基づいて、三次元情報を生成し、送信部130が、生成された三次元情報に基づく提供情報を送信するからである。
【0024】
<第2の実施形態>
以下では、本開示の第2の実施形態について、図面を使用して詳細に説明する。
【0025】
<情報提供システム1>
図3は、本開示の第2の実施形態に係る情報提供システム1の構成の例を表すブロック図である。図3に示す例では、情報提供システム1は、情報提供装置100と、複数のウェアラブル端末200とを含む。情報提供装置100は、複数のウェアラブル端末200の各々と、通信ネットワーク300を介して通信可能に接続されている。図3に示す例では、情報提供システム1は、複数のウェアラブル端末を含んでいるが、情報提供システム1には1台のウェアラブル端末が含まれていてもよい。ウェアラブル端末のユーザは、上述のように、消防隊員などの作業員である。ウェアラブル端末は、ユーザ、すなわち、例えば消防隊員などによって装着される。情報提供システム1は、例えば、指令センターなどに設置される。
【0026】
<通信ネットワーク300>
通信ネットワーク300は、情報提供装置100と、ウェアラブル端末200との間の通信を媒介する通信ネットワークである。ウェアラブル端末200は、無線通信によって、通信ネットワーク300と接続される。
【0027】
<ウェアラブル端末200>
図4は、本開示の第2の実施形態に係るウェアラブル端末200の構成の例を表すブロック図である。図4に示す例では、ウェアラブル端末200は、センサ部210と、制御部220と、通信部230と、通知実行部240とを含む。ウェアラブル端末200は、例えば、スマートグラスとして実装されている。ウェアラブル端末200の実装は、スマートグラスに限られない。
【0028】
<センサ部210>
本実施形態では、センサ部210は、例えば、ウェアラブル端末を装着するユーザの前方映像を撮像するカメラである。本実施形態では、センサ部210による測定によって(言い換えると、センサ部210によって)得られる測定データは、複数の画像である。複数の画像は、動画像(以下、映像とも表記)であってもよい。センサ部210は、他の種類のセンサを含んでいてもよい。センサ部210が他の種類のセンサを含む例については、後で説明する。
【0029】
<制御部220>
制御部220は、センサ部210によって得られた測定データを、通信部230を介して情報提供装置100に送信する。制御部220は、情報提供装置100から、通信部230を介して、提供情報を受信する。制御部220は、通知実行部240によって、提供情報をウェアラブル端末のユーザに通知する。
【0030】
<通信部230>
通信部230は、制御部220と情報提供装置100との間の、通信ネットワーク300を介する通信を媒介する通信インタフェースである。通信部230は、無線通信によって通信ネットワーク300に接続する。なお、通信部230と情報提供装置100との間の通信は、無線通信に限られない。
【0031】
<通知実行部240>
通知実行部240は、提供情報を、ウェアラブル端末のユーザに通知する。通知実行部240は、スマートグラスのディスプレイなどの表示装置として実装されていてもよい。通知実行部240は、スピーカ、ヘッドホン、イヤホンなどの音声再生装置として実装されていてもよい。提供情報及び提供情報の通知の方法については、後で詳細に説明する。
【0032】
<情報提供装置100>
次に、本開示の第2の実施形態に係る情報提供装置100について、図面を使用して詳細に説明する。
【0033】
<構成>
図5は、本開示の第2の実施形態に係る情報提供装置100の構成の例を表すブロック図である。図5に示す例では、本実施形態の情報提供装置100は、受信部110と、生成部120と、送信部130と、データ記憶部140とを含む。生成部120は、空間情報生成部121と、提供情報生成部122とを含む。
【0034】
<受信部110>
受信部110は、ウェアラブル端末200から、ウェアラブル端末のセンサ部210による測定によって得られた測定データを受信する。本実施形態の説明では、測定データは複数の画像(例えば、映像)である。受信部110は、取得した測定データを、データ記憶部140に格納する。また、受信部110は、取得した測定データを、生成部120の空間情報生成部121に送出する。
【0035】
<生成部120>
生成部120は、上述のように、空間情報生成部121と、提供情報生成部122とを含む。空間情報生成部121及び提供情報生成部122の機能及び動作は、生成部120の機能及び動作であるといえる。
【0036】
<空間情報生成部121>
空間情報生成部121は、受信部110から、測定データを受け取る。空間情報生成部121は、受け取った測定データに基づいて、ウェアラブル端末が存在する空間の三次元情報を生成する。本実施形態では、測定データは、例えば塩蔵として得られている複数の画像である。空間情報生成部121は、複数の画像から、例えばSfMなどの方法によって、ウェアラブル端末が存在する空間の三次元情報を生成する。生成した三次元情報を新規三次元情報と表記する。
【0037】
データ記憶部140に、ウェアラブル端末が存在する空間の三次元情報が格納されている場合、空間情報生成部121は、データ記憶部140に格納されている三次元情報を読み出す。データ記憶部140に格納されている三次元情報を、保存三次元情報と表記する。空間情報生成部121は、新規三次元情報と保存三次元情報とを合成することによって、合成三次元情報を生成する。空間情報生成部121が、新規三次元情報と保存三次元情報とを合成する方法は、既存の様々な方法のいずれかであってよい。保存三次元情報が存在しない場合、空間情報生成部121は、新規三次元情報を、合成三次元情報とする。
【0038】
三次元情報は、例えば、適宜設定された座標系における、複数の点の座標によって表される。なお、空間情報生成部121は、ユーザの頭が傾いていない時間が多いという前提のもとに、ウェアラブル端末のカメラによって撮像された画像における床及び天井などの水平面を推定してよい。空間情報生成部121は、三次元情報の座標系のうち、鉛直方向の座標軸を、三次元空間内における、画像から推定した水平面に垂直な方向としてよい。空間情報生成部121は、水平面に含まれる他の2つの座標軸を、例えば、水平面に直交する壁などの平面に垂直な方向、又はそのような平面に直交する方向になるように、適宜定めてよい。複数の点の各々は、例えば、複数の画像の間における対応が特定された画像上の点として像が得られた、三次元空間における点である。空間情報生成部121は、例えば、新規三次元情報と保存三次元情報との間の共通部分(以下、重なりとも表記)の大きさが最も大きくなるように、新規三次元情報に座標変換を行う。空間情報生成部121は、保存三次元情報に、そのような座標変換が行われた新規三次元情報を加え、座標変換が行われた新規三次元情報が加えられた保存三次元情報を、合成三次元情報とする。
【0039】
その際、空間情報生成部121は、例えば、新規三次元情報に含まれる複数の点の座標に対して回転及び平行移動による座標変換を行った場合に、保存三次元情報との重なりが最も大きくなるような、座標変換を算出する。空間情報生成部121は、例えば、座標変換が行われた新規三次元情報に含まれる点と、その点に最も近い保存三次元空間情報に含まれる点と組み合わせのうち、2つの点の間の距離が所定距離以下になる組み合わせの数を、重なりの大きさとしてもよい。建造物に壁、床、天井などの平面が多い。そこで、空間情報生成部121は、保存三次元空間情報の複数の点の座標から、いずれか複数の点をそれぞれ含むとみなせる1つ以上の平面(例えば、平面との距離が所定距離未満である点の個数が所定数以上である平面)を導出してもよい。以下では、これらの平面を、近似平面とも表記する。空間情報生成部121は、座標変換が行われた新規三次元情報に含まれる複数の点のうち、導出された平面(すなわち、近似平面)との距離が所定距離未満である点の個数を、重なりの大きさとしてもよい。
【0040】
空間情報生成部121は、合成三次元情報に対して、ノイズ除去を行ってもよい。ノイズ除去は、例えば、上述の導出された平面のうち最も近い平面までの距離が所定距離を超える点をノイズとして除去することであってもよい。ノイズ除去は、例えば、上述の導出された平面のうち最も近い平面までの距離が所定距離を超える点に、ノイズを示す情報を関連付けることであってもよい。
【0041】
空間情報生成部121は、合成三次元情報を、データ記憶部140に格納する。
【0042】
空間情報生成部121は、例えば合成三次元情報における新規三次元情報の分布の範囲に基づいて、合成三次元情報によって表される空間における、ウェアラブル端末200を装着しているユーザの位置及び方向を推定する。なお、ウェアラブル端末200のカメラの方向と、ウェアラブル端末200を装着するユーザの方向(例えば、ユーザの顔が向いている方向)との関係と、カメラのカメラパラメータは、あらかじめ空間情報生成部121に与えられる。例えば、ウェアラブル端末200がユーザの頭部に装着されるスマートグラスなどの装置であり、カメラがウェアラブル端末200を装着するユーザの前方を撮像するように搭載されている場合、ユーザの向きはカメラの向きと同じであるとみなすことができる。空間情報生成部121は、カメラの撮像の範囲に対応する、新規三次元情報の分布(すなわち、新規三次元情報に含まれる点の座標変換後の座標の分布)の範囲に基づいて、カメラの方向を推定する。空間情報生成部121は、画角及び焦点距離などのカメラパラメータと、新規三次元情報の分布の範囲に基づいて、合成三次元情報が基づく座標系における、カメラの位置の座標を算出する。空間情報生成部121は、算出した座標によって表されるカメラの位置を、ユーザの位置とする。空間情報生成部121は、ユーザの位置及び方向を表す情報(以下では、位置情報とも表記する)を、データ記憶部140に格納する。
【0043】
空間情報生成部121は、合成三次元情報と、ユーザの位置及び方向を表す情報(すなわち、ユーザの位置情報)とを、提供情報生成部122に送出する。
【0044】
<提供情報生成部122>
提供情報生成部122は、空間情報生成部121から、合成三次元情報と、ユーザの位置情報とを受け取る。提供情報生成部122は、合成三次元情報と、ユーザの位置を表す情報とに基づいて、ウェアラブル端末200に提供される情報である提供情報を生成する。本実施形態では、提供情報は、合成三次元情報に基づく情報である。具体的には、提供情報は、合成三次元情報によって表される構造のうち、位置情報によって表される位置において、位置情報によって表される方向を向いた場合の、前方に存在する構造の情報である。構造の情報は、例えば、合成三次元情報の近似平面の交線のうち、位置情報によって表される位置にある、位置情報によって表される方向を向いている視点において、いずれかの近似平面によって隠蔽されていない交線によって表されていてよい。前方に存在する構造の情報は、例えば、上述の視点において所定の画角のカメラによって撮像した場合に、撮像される交線の情報であってよい。提供情報は、これらの例に限られない。提供情報の他の例については、後で詳細に説明する。
【0045】
提供情報生成部122は、送信部130を介して、提供情報をウェアラブル端末200に送信する。具体的には、提供情報生成部122は、提供情報を送信部130に送出する。
【0046】
<送信部130>
送信部130は、提供情報生成部122から、提供情報を受け取る。送信部130は、受け取った提供情報をウェアラブル端末200に送信する。
【0047】
本実施形態の例では、提供情報は、前方に存在する構造の情報である。ウェアラブル端末200の制御部220が、通信部230を介して提供情報を受け取る。制御部220は、受け取った提供情報(すなわち、前方に存在する構造を表す情報)から、前方に存在する構造を表す画像を生成し、生成した画像を、表示装置である通知実行部240に表示する。
【0048】
<動作>
次に、本開示の第2の実施形態に係る情報提供システム1の動作について、図面を使用して詳細に説明する。本実施形態の情報提供システム1の動作において、図6に示すウェアラブル端末200が動作によって得らえた測定データが、図7に示す情報提供装置100の動作において使用される。そして、図7に示す情報提供装置100の動作によって生成された提供情報が、図8に示すウェアラブル端末200の動作において使用される。ただし、図6に示す動作、図7に示す動作、及び、図8に示す動作は、並列に行われてよい。
【0049】
図6は、本開示の第2の実施形態に係るウェアラブル端末200の第1の動作の例を表すフローチャートである。図6に示す例では、まず、制御部220が、センサ部210によって測定を行う(ステップS101)。制御部220は、測定によって得られた測定データを、通信部230を介して、情報提供装置100に送信する(ステップS102)。
【0050】
図7は、本開示の第2の実施形態に係る情報提供装置100の動作の例を表すフローチャートである。図7に示す例では、受信部110が、ウェアラブル端末200から、測定データを受信する(ステップS111)。空間情報生成部121は、測定データに基づいて、三次元情報を生成する(ステップS112)。具体的には、空間情報生成部121は、上述の新規三次元情報を生成し、生成した新規三次元情報と、上述の保存三次元情報とから、合成三次元情報と、位置情報とを生成する。次に、提供情報生成部122が、三次元情報に基づいて、提供情報を生成する(ステップS113)。具体的には、提供情報生成部122は、合成三次元情報と位置情報とに基づいて、例えば上述の提供情報を生成する。そして、送信部130が、ウェアラブル端末200に、提供情報を送信する(ステップS114)。
【0051】
図8は、本開示の第2の実施形態に係るウェアラブル端末200の第2の動作の例を表すフローチャートである。図8に示す例では、制御部220が、情報提供装置100から、通信部230を介して、提供情報を受信する(ステップS121)。制御部220は、提供情報に基づいて出力データを生成する(ステップS122)。出力データは、例えば、上述の、前方に存在する構造を表す画像である。制御部220は、例えば表示装置である通知実行部240によって、出力データを出力する(ステップS123)。具体的には、制御部220は、例えば、上述の、前方に存在する構造を表す画像、ディスプレイである通知実行部240に表示する。
【0052】
<効果>
本実施形態には、第1の実施形態と同じ効果がある。すなわち、本実施形態には、作業員の安全性を向上できるという効果がある。その理由は、生成部120が、測定データに基づいて、三次元情報を生成し、送信部130が、生成された三次元情報に基づく提供情報を送信するからである。
【0053】
本実施形態の効果についてさらに説明する。例えば消防隊員であるユーザがウェアラブル端末200を装着して活動する場所である火災現場などでは、活動の最中に、煙が増えることなどによって視界が遮蔽される範囲が広がることがある。
しかし、煙が広がることによって視界が遮蔽された領域における空間の構造を表す情報も、煙が広がる前に撮像された画像が存在すれば、その画像に基づいて生成される。その場合に、現在および過去に撮像された画像に基づいて生成された提供情報である、前方に存在する構造を表す画像によって、ユーザは、煙によって視界が遮蔽されている領域における空間の構造も知ることができる。そのことによって、ユーザの活動の安全性が高まる。
【0054】
<第2の実施形態の変形例>
<第1の変形例>
ウェアラブル端末200は、センサ部210として、ステレオカメラを備えていてもよい。この場合、ウェアラブル端末200の制御部220は、ステレオカメラが含む2台のカメラによって同期して撮像された2つの画像の複数の組み合わせを、測定データとして、情報提供装置100に送出する。
【0055】
情報提供装置100の空間情報生成部121は、同期して撮像された2つの画像に基づいて、新規三次元情報を生成する。空間情報生成部121は、ステレオカメラによって得られた2つの画像から三次元データを再構成する既存の様々な方法のいずれかを使用して、新規三次元情報を生成できる。
【0056】
<第2の変形例>
ウェアラブル端末200は、センサ部210として、LIDARの方式の測距装置を備えていてもよい。この場合、空間情報生成部121は、LIDARによって距離が測定された点の分布から、ウェアラブル端末が存在する空間の三次元情報を生成する。空間情報生成部121が、LIDARによって距離が測定された点の分布から、ウェアラブル端末が存在する空間の三次元情報を生成する方法は、既存の様々な方法のいずれかであってよい。
【0057】
<第3の変形例>
受信部110は、同じ空間(例えば、同じ建造物の内部)に存在する複数のウェアラブル端末200から、測定データを受信してもよい。空間情報生成部121は、複数のウェアラブル端末200の各々から受信した測定データから生成した新規三次元データを、同じ保存三次元データに合成してもよい。提供情報生成部122は、複数のウェアラブル端末200による測定によって得られた測定データに基づく、保存三次元データから、提供情報を生成する。言い換えると、提供情報生成部122は、他のウェアラブル端末200による測定によって得られた測定データにも基づいて、提供情報を生成するといえる。他のウェアラブル端末200は、生成された提供情報が送信されるウェアラブル端末200以外のウェアラブル端末を指す。この場合の提供情報は、第2の実施形態の説明における提供情報と同じでよい。
【0058】
<第4の変形例>
データ記憶部140には、ウェアラブル端末200が存在する建造物の内部の三次元構造を表すデータが、保存三次元情報として、あらかじめ格納されていてもよい。この場合、空間情報生成部121は、保存三次元情報を合成三次元情報としても扱う。空間情報生成部121は、新規三次元情報と保存三次元情報とを合成しない。
【0059】
<第5の変形例>
ウェアラブル端末200のセンサ部210は、超音波又はレーザ等による、1つ又は複数の測距センサを含んでいてもよい。この場合の測距センサは、LIDARでなくてよい。制御部220は、測距センサによって得られた距離のデータを更に含む測定データを、情報提供装置100に送信する。
【0060】
空間情報生成部121は、ウェアラブル端末200に取り付けられている測距センサの、カメラに対する相対位置を表す情報と、カメラの方向に対する測距センサの方向を表す情報とを、あらかじめ保持している。以下では、ウェアラブル端末200に取り付けられている測距センサの、カメラに対する相対位置を表す情報と、カメラの方向に対する測距センサの方向を表す情報とを、位置関係情報と表記する。このような位置関係情報は、例えば情報提供システム1の管理者によって、空間情報生成部121に与えられていてよい。
【0061】
空間情報生成部121は、カメラによる撮像によって得られた画像を使用して算出した、カメラの位置および方向を、カメラと測距センサとの間の位置関係情報と、測距センサによって測定された距離のデータとを使用して、例えば以下のように修正してもよい。測距センサの位置および方向は、算出されたカメラの位置及び方向と、カメラと測距センサとの間の位置関係情報と、によって特定できる。空間情報生成部121は、そのように特定された位置および方向における測距センサによって測定される、合成三次元情報の近似平面までの距離が、受け取った測定データに含まれる測定データが示す距離に近づくように、カメラの位置及び方向を修正してよい。
【0062】
<第6の変形例>
ウェアラブル端末200のセンサ部210は、ウェアラブル端末の仰角を推定するための加速度データを加速度センサと、方位を測定する方位センサと、の少なくとも一方を含んでいてもよい。制御部220は、加速度センサによる測定によって得らえた加速度データと、方位センサによる測定によって得られた方位データと、を含む測定データを情報提供装置100に送信する。
【0063】
空間情報生成部121は、例えば情報提供システム1の管理者によって提供された、カメラの方向と加速度センサによって測定される加速度の方向(言い換えると、加速度ベクトル)が基づく座標系との関係を、あらかじめ保持する。空間情報生成部121は、例えば情報提供システム1の管理者によって提供された、カメラの方向と方位センサによって測定される方向との関係を、あらかじめ保持する。空間情報生成部121は、カメラの方向と加速度ベクトルが基づく座標系との関係と、測定データに含まれる加速度データに基づいて、カメラ仰角を算出する。空間情報生成部121は、カメラの方向と方位センサによって測定される方向との関係と、測定データに含まれる方位データとから、カメラの方向の方位(すなわち、カメラの方向を水平面に投影した方向)を算出する。
【0064】
空間情報生成部121は、加速度データに基づいて重力の方向を推定する。空間情報生成部121は、推定した重力の方向に基づいて、カメラの仰角(すなわち、カメラの光軸と水平面とがなす角度)を推定してもよい。空間情報生成部121は、重力の方向又はカメラの仰角に基づいて、新規三次元情報における水平面を推定してもよい。空間情報生成部121は、重力の方向又はカメラの仰角と、カメラの方位とに基づいて、新規三次元情報と保存三次元情報とを共通部分を抽出する際の、新規三次元情報に行う座標変換(又は、座標変換のパラメータの探索における、パラメータの初期値)を決定してもよい。
【0065】
<第7の変形例>
空間情報生成部121は、保存三次元情報における、ウェアラブル端末200の位置の推移を、データ記憶部140に格納する。ウェアラブル端末200の位置の推移は、例えば、ウェアラブル端末200の位置を表す座標の時系列のデータである。
【0066】
空間情報生成部121は、ウェアラブル端末200の位置を表す座標の時系列と合成三次元情報とに基づいて、合成三次元情報において、時系列データの最初の座標が示す位置(以下、初期位置と表記)に向かう経路を導出してもよい。空間情報生成部121は、ウェアラブル端末200の位置を表す座標の時系列を逆にたどる経路を、初期位置に向かう経路としてもよい。空間情報生成部121は、ウェアラブル端末200の位置を表す座標の時系列を逆にたどる経路から、同一の経路を往復する範囲を検出してもよい。空間情報生成部121は、ウェアラブル端末200の位置を表す座標の時系列を逆にたどる経路から、検出した範囲を除いた経路を、初期位置に向かう経路としてもよい。空間情報生成部121は、ウェアラブル端末200の位置を表す座標の時系列を逆にたどる経路から、いずれかの経路を経て同一の地点に戻るループ範囲を検出してもよい。空間情報生成部121は、ウェアラブル端末200の位置を表す座標の時系列を逆にたどる経路から、検出したループ範囲を除いた経路を、初期位置に向かう経路としてもよい。なお、空間情報生成部121は、例えば、間に前述の近似平面が存在せず距離が所定距離以下である2つの位置を、同一の地点としてよい。
【0067】
提供情報生成部122は、ウェアラブル端末200の位置(以下、現在位置と表記)から初期位置に向かう経路(以下、帰路と表記)を表す表示を、提供情報として生成してもよい。帰路を表す情報は、例えば、帰路に含まれる位置を、時系列順(又は、時系列順の逆順)につないだ線を、現在位置存在し推定された方向を向いているカメラによって撮像した場合に得られる画像の、線の像を表すデータであってもよい。帰路を表す情報は、例えば、ウェアラブル端末200の位置(以下、現在位置と表記)から、初期位置に向かう経路に含まれる位置のうち、現在位置に最も近い位置に向かう方向の矢印を、現在位置存在し推定された方向を向いているカメラによって撮像した場合に得られる画像の、線の像を表すデータであってもよい。帰路を表す情報は、他の情報であってもよい。提供情報生成部122は、帰路を表す情報を、提供情報として、ウェアラブル端末200に送信する。
【0068】
ウェアラブル端末200の制御部220は、帰路を表す情報を、提供情報として、通信部230を介して情報提供装置100から受け取る。制御部220は、帰路を表す情報を、ディスプレイである通知実行部240に表示してもよい。制御部220は、帰路を表す情報を、カメラによって撮像された、ウェアラブル端末の前方の映像に重畳してもよい。制御部220は、帰路を表す情報が重畳された、ウェアラブル端末の前方の映像を、ディスプレイである通知実行部240に表示してもよい。
【0069】
<第8の変形例>
第7の変形例では、空間情報生成部121は、1台のウェアラブル端末200の位置を表す座標の時系列を使用する。それに対して、第8の変形例の空間情報生成部121は、他のウェアラブル端末200を含む複数のウェアラブル端末の位置を表す座標の時系列を使用する。空間情報生成部121は、複数の時系列の各々から、時系列において隣接する位置を線分によってつなぐことによって、複数の折れ線を生成する。空間情報生成部121は、生成した複数の折れ線を統合する。統合の方法は、既存の様々な方法のいずれかであってよい。空間情報生成部121は、例えば以下のように、生成した複数の折れ線を統合してもよい。空間情報生成部121は、例えば、所定距離以下の2つの位置から、適宜1つの位置を選択し、選択されなかった位置につながっている線分を、選択された位置に繋ぎかえてよい。空間情報生成部121は、1つの点から他の点に向かう複数の経路の組み合わせを検出する。空間情報生成部121は、そのような組み合わせが検出された場合、検出された組み合わせに含まれる経路のうち、最も距離の短い経路を選択し、選択されなかった経路を消去する。統合された折れ線によって表される経路を、統合経路と表記する。
【0070】
空間情報生成部121は、統合経路において、ウェアラブル端末200の現在位置から、初期位置に向かう、距離が最も短い経路を、帰路とする。
【0071】
ウェアラブル端末200のユーザが進入した建造物の構造の情報が得られている場合、空間情報生成部121は、複数のウェアラブル端末の位置を表す座標の時系列を使用しなくてもよい。その場合、空間情報生成部121は、ウェアラブル端末200のユーザが進入した建造物の構造の情報を使用して、ウェアラブル端末200の現在位置から、初期位置に向かう、距離が最も短い経路を抽出する。
【0072】
以上で説明した相違を除いて、第8の変形例は第7の変形例と同じである。
【0073】
<第9の変形例>
上述のように、受信部110は、測定データをデータ記憶部140に格納する。言い換えると、受信部110は、測定データの少なくとも一部として受信した、ウェアラブル端末200のカメラによって撮像された映像(すなわち、複数の画像)を、データ記憶部140に格納する。
【0074】
空間情報生成部121は、算出したカメラ位置(例えば、位置を表す座標)および方向(例えば、方向を表す方向ベクトル)を、データ記憶部140に格納する。カメラの位置および方向を表すデータは、保存三次元情報が基づく座標系において表されていてよい。空間情報生成部121は、データ記憶部140に格納されている映像(すなわち、複数の画像)と、その映像を撮像した際のカメラの位置及び方向とを関連付ける。
【0075】
提供情報生成部122は、現在位置におけるカメラの位置および方向に関する基準を満たす、位置および方向に関連付けられている画像のうち、煙等による遮蔽が最も小さい画像を選択する。提供情報生成部122は、例えば煙等(例えば、煙、又は、煙及び炎等)の領域を検出する既存の方法のいずれかによって、煙などの領域を検出し、検出された煙などの領域の割合を、遮蔽の大きさとしてよい。現在位置におけるカメラの位置および方向に関する基準は、例えば、位置の差が所定距離以下であり、確度の差が所定確度以下であることである。提供情報生成部122は、選択された画像を、提供情報として、ウェアラブル端末200に送信する。
【0076】
ウェアラブル端末200の制御部220は、情報提供装置100から、通信部230を介して、選択された画像を提供情報として受け取る。制御部220は、受け取った画像を、ディスプレイである通知実行部240に表示する。
【0077】
<第10の変形例>
第10の変形例は、以下の相違点を除いて、第9の変形例と同じである。
【0078】
提供情報生成部122は、選択した、遮蔽が最も小さい画像から、受信した最も新しい画像から検出された煙などの領域(以下、遮蔽領域と表記)に対応する部分の画像(以下、部分画像と表記)を抽出する。提供情報生成部122は、遮蔽部分に対応する、選択した画像の部分画像を、提供情報としてウェアラブル端末200に送信する。
【0079】
ウェアラブル端末200の制御部220は、情報提供装置100から、通信部230を介して、選択された画像の部分画像を提供情報として受け取る。制御部220は、受け取った部分画像を、ディスプレイである通知実行部240に表示する。
【0080】
提供情報生成部122は、遮蔽部分に対応する、選択した画像の部分画像と、遮蔽領域の範囲を表す情報とを、ウェアラブル端末200に送信してもよい。
【0081】
ウェアラブル端末200の制御部220は、情報提供装置100から、通信部230を介して、選択された画像の部分画像と、遮蔽領域の範囲を表す情報とを、提供情報として受け取る。制御部220は、ウェアラブル端末200のカメラによって撮像された画像の、遮蔽領域の範囲に、受け取った部分画像を重畳してもよい。制御部220は、遮蔽領域の範囲に受け取った部分画像が重畳された、ウェアラブル端末200のカメラによって撮像された画像を、ディスプレイである通知実行部240に表示してもよい。
【0082】
<第11の変形例>
第11の変形例は、以下の相違点を除いて、第9の変形例と同じである。
【0083】
提供情報生成部122は、選択した、遮蔽が最も小さい画像の、例えば線によって絵が描かれた、上述の「前方に存在する構造の情報」を、提供情報としてウェアラブル端末200に送信する。
【0084】
ウェアラブル端末200の制御部220は、情報提供装置100から、通信部230を介して、選択された画像の、前方に存在する構造の情報を、提供情報として受け取る。制御部220は、受け取った前方に存在する構造の情報を、ディスプレイである通知実行部240に表示する。制御部220は、受け取った前方に存在する構造の情報を、ウェアラブル端末200のカメラによって撮像された画像に重畳してもよい。制御部220は、受け取った前方に存在する構造の情報が重畳された、ウェアラブル端末200のカメラによって撮像された画像を、ディスプレイである通知実行部240に表示してもよい。
【0085】
<第12の変形例>
第12の変形例は、以下の相違点を除いて、第11の変形例と同じである。
【0086】
提供情報生成部122は、選択した、遮蔽が最も小さい画像の、受信した最も新しい画像から検出された遮蔽領域に対応する部分の、上述の「前方に存在する構造の情報」を抽出してもよい。提供情報生成部122は、遮蔽が最も小さい画像の、抽出された前方に存在する構造の情報と、遮蔽部分の範囲を表す情報とを、提供情報としてウェアラブル端末200に送信してもよい。
【0087】
ウェアラブル端末200の制御部220は、情報提供装置100から、通信部230を介して、遮蔽が最も小さい画像の、抽出された前方に存在する構造の情報と、遮蔽部分の範囲を表す情報とを、提供情報として受け取る。制御部220は、受け取った前方に存在する構造の情報を、ディスプレイである通知実行部240に表示してもよい。制御部220は、受け取った前方に存在する構造の情報を、ウェアラブル端末200のカメラによって撮像された画像の、遮蔽部分の範囲に重畳してもよい。制御部220は、受け取った前方に存在する構造の情報が遮蔽部分の範囲に重畳された、ウェアラブル端末200のカメラによって撮像された画像を、ディスプレイである通知実行部240に表示してもよい。
【0088】
<第13の変形例>
第13の変形例は、以下で説明する相違点を除いて、第12の変形例と同じである。
【0089】
提供情報生成部122は、第12の変形例の提供情報生成部122と同様に、遮蔽が最も小さい画像の、抽出された前方に存在する構造の情報と、遮蔽部分の範囲を表す情報とを、提供情報としてウェアラブル端末200に送信する。提供情報生成部122は、さらに、受信した最も新しい画像の前方に存在する構造の情報を、提供情報としてウェアラブル端末200に送信してもよい。
【0090】
ウェアラブル端末200の制御部220は、第12の変形例の制御部220と同様に、情報提供装置100から、通信部230を介して、遮蔽が最も小さい画像の、抽出された前方に存在する構造の情報と、遮蔽部分の範囲を表す情報とを、提供情報として受け取る。
制御部220は、情報提供装置100から、さらに、受信した最も新しい画像の前方に存在する構造の情報を、提供情報として受け取る。
【0091】
制御部220は、受け取った、選択された画像の前方に存在する構造の情報と、最も新しい画像の前方に存在する構造の情報とを、ディスプレイである通知実行部240に表示してもよい。
【0092】
制御部220は、選択された画像の前方に存在する構造の情報を、ウェアラブル端末200のカメラによって撮像された画像の、遮蔽部分の範囲に重畳してもよい。制御部220は、選択された画像の前方に存在する構造の情報が重畳された画像に、最も新しい画像の前方に存在する構造の情報を重畳してもよい。制御部220は、選択された画像の前方に存在する構造の情報と、最も新しい画像の前方に存在する構造の情報と、が重畳された、ウェアラブル端末200のカメラによって撮像された画像を、ディスプレイである通知実行部240に表示してもよい。
【0093】
<第14の変形例>
提供情報生成部122は、合成三次元情報において、障害物を検出する。障害物を検出する方法は、既存の様々な方法のいずれかであってよい。提供情報生成部122は、例えば以下のように、障害物を検出してもよい。
【0094】
提供情報生成部122は、合成三次元情報において、床面を検出する。提供情報生成部122は、例えば、ウェアラブル端末200の位置の鉛直方向の下方に存在する近似平面を、床面として検出してよい。提供情報生成部122は、例えば、合成三次元情報において、ウェアラブル端末の前方の所定範囲において、検出された床面と異なる高さの点が所定密度以上で分布する領域を、障害物として検出してよい。提供情報生成部122は、合成三次元情報において、壁及び天井の領域を検出し、検出された障害物から、壁及び天井の領域を除外してもよい。提供情報生成部122は、例えば、ウェアラブル端末200よりも高い水平面(例えば、検出した床面に平行な面)を、天井として検出してよい。提供情報生成部122は、例えば、床面から天井まで達する、鉛直面(たとえば、検出した床面と直交する面)を、壁として検出してよい。提供情報生成部122は、合成三次元情報の点が分布する空間を複数の立体に分割し、立体ごとに、床面と異なる高さの点の分布を算出してもよい。前方の所定範囲は、例えば、所定距離以内であり、前方から所定角度以内である範囲である。床面と異なる高さの点は、例えば、床面として検出された近似平面との距離が所定距離以上の点である。
【0095】
障害物の検出の方法は、以上の例に限られない。例えば、提供情報生成部122は、ウェアラブル端末200のカメラによって撮像された画像において、色、明るさ、及び、模様などの違いを利用して、物体を検出してもよい。提供情報生成部122は、検出した物体を、障害物としてもよい。提供情報生成部122は、合成三次元情報から検出した障害物と、画像から検出した物体と、の両方を、障害物として検出してもよい。
【0096】
なお、本変形例の合成三次元情報は、1台のウェアラブル端末の測定データから生成された合成三次元情報であってもよい。合成三次元情報は、複数のウェアラブル端末の測定データから生成された三次元情報であってもよい。
【0097】
提供情報生成部122は、障害物を表す情報を生成する。障害物を表す情報は、例えば、ウェアラブル端末200のカメラの位置および方向において撮像される画像における、障害物の範囲を示す情報であってもよい。障害物の範囲を示す情報は、例えば、障害物の像の範囲を囲む、矩形、円、又は、楕円などの図形を表す情報であってもよい。障害物の範囲を示す情報は、例えば、ウェアラブル端末200のカメラの位置および方向において撮像される画像における、障害物の像の範囲に含まれる画素の画素値が、障害物の像の範囲に含まれない画素の画素値と異なる画像であってもよい。障害物の範囲を示す情報は、例えば、ウェアラブル端末200のカメラの位置および方向において撮像される画像における、障害物の像の重心などの特徴点の座標であってもよい。障害物の範囲を示す情報は、例えば、ウェアラブル端末200のカメラの位置および方向において撮像される画像における、障害物の像を囲む図形の重心などの特徴点の座標であってもよい。障害物の範囲を示す情報は、以上の例に限られない。
【0098】
提供情報生成部122は、生成した、障害物を表す情報を、提供情報としてウェアラブル端末200に送信する。
【0099】
ウェアラブル端末200の制御部220は、障害物を表す情報を、提供情報として情報提供装置100から受信する。制御部220は、障害物を表す情報を、ディスプレイである通知実行部240に表示する。制御部220は、障害物を表す情報を、ウェアラブル端末200のカメラの撮像によって得られた画像に重畳してもよい。障害物を表す情報が図形を表す場合、制御部220は、ウェアラブル端末200のカメラの撮像によって得られた画像に、障害物を表す情報によって表される図形を重畳する。障害物を表す情報が点を表す場合、制御部220は、ウェアラブル端末200のカメラの撮像によって得られた画像に、障害物を表す情報によって表される点を示す、矢印などの図形を重畳する。制御部220は、障害物を表す情報が重畳された、ウェアラブル端末200のカメラの撮像によって得られた画像を、ディスプレイである通知実行部240に表示する。
【0100】
障害物を表す情報が障害物の領域を表す画像である場合、制御部220は、ウェアラブル端末200のカメラの撮像によって得られた画像の、障害物を表す情報の図形が表す、障害物の領域の色を変更してもよい。制御部220は、障害物の領域の色が変更された、ウェアラブル端末200のカメラの撮像によって得られた画像を、ディスプレイである通知実行部240に表示する。
【0101】
<第15の変形例>
第15の変形例は、以下で説明する相違点を除いて、第14の変形例と同じである。
【0102】
第15の変形例の空間情報生成部121は、第7又は第8の変形例と同様に、帰路の情報を生成する。
【0103】
本変形例の提供情報生成部122は、第14の変形例と同様に、合成三次元情報において、障害物を抽出する。提供情報生成部122は、抽出された障害物から、生成された帰路の情報が表す経路を通行する場合に障害となる障害物を、検出された障害物から除去する。言い換えると、提供情報生成部122は、生成された帰路の情報が表す経路を通行する場合に障害とならない障害物を、検出された障害物から除去する。
【0104】
生成された帰路の情報が表す経路を通行する場合に障害となる障害物は、例えば、床面における、帰路の情報が表す経路の線分を中心とする所定幅の領域の上方の空間に、少なくとも一部が含まれる障害物である。生成された帰路の情報が表す経路を通行する場合に障害とならない障害物は、例えば、床面における、帰路の情報が表す経路の線分を中心とする所定幅の領域の上方の空間に、含まれない障害物である。帰路の情報が表す経路の線分を中心とする所定幅の領域の上方の空間は、例えば、床面における、帰路の情報が表す経路の線分を中心とする所定幅の領域を、床面と垂直に天井まで移動させた場合に、その領域が追加した空間である。
【0105】
提供情報生成部122は、第7の変形例と同様の帰路を表す表示と、第14の変形例と同様の障害物を表す情報とを、提供情報としてウェアラブル端末200に送信する。
【0106】
ウェアラブル端末200の制御部220は、帰路を表す表示と、障害物を表す情報とを、情報提供装置100から受信する。制御部220は、第7の変形例と同様に、帰路を表す表示を、ディスプレイである通知実行部240に表示する。加えて、制御部220は、第14の変形例と同様に、障害物を表す情報を、ディスプレイである通知実行部240に表示する。
【0107】
<第16の変形例>
第16の変形例は、以下で説明する相違点を除いて、第7又は第8の変形例と同じである。
【0108】
提供情報生成部122は、例えば所定の時間ごとに、帰路を表す音声データを生成する。帰路を表す音声データは、例えば、ウェアラブル端末20の方向を基準とした、帰路の方向を説明するメッセージの音声のデータである。
【0109】
提供情報生成部122は、生成した、帰路を表す音声データを、提供情報としてウェアラブル端末200に送信する。
【0110】
ウェアラブル端末200の制御部220は、情報提供装置100から、帰路を表す音声データを、提供情報として受信する。制御部220は、受信した帰路を表す音声データを、スピーカ、イヤホン、又は、ヘッドホンなどの音声再生デバイスである通知実行部240によって、音声として再生する。
【0111】
本変形例では、提供情報生成部122は、第7及び第8の変形例と同様に、帰路を表す表示を提供情報としてウェアラブル端末200に送信してもよい。その場合、ウェアラブル端末200の制御部220は、第7及び第8の変形例と同様に、帰路を表す表示を受信し、受信した帰路を表す表示を、ディスプレイである通知実行部240に表示する。
【0112】
本変形例では、提供情報生成部122は、第7及び第8の変形例とは異なり、帰路を表す表示を提供情報としてウェアラブル端末200に送信しなくてもよい。その場合、ウェアラブル端末200の制御部220は、第7及び第8の変形例とは異なり、受信した帰路を表す表示を、ディスプレイである通知実行部240に表示しない。
【0113】
<第17の変形例>
第17の変形例は、以下で説明する相違点を除いて、第14の変形例と同じである。
【0114】
提供情報生成部122は、例えば定められているタイミングで、障害物を表す音声データを生成する。障害物を表す音声データは、例えば、ウェアラブル端末20の位置及び方向を基準とした、障害物の近さの程度(例えば、すぐ近く、近く、遠く等)及び方向を説明するメッセージの音声のデータである。障害物の位置を表す音声データは、例えば、ウェアラブル端末20の方向を基準とした、障害物の方向を説明するメッセージの音声のデータであってもよい。
【0115】
提供情報生成部122は、生成した、障害物を表す音声データを、提供情報としてウェアラブル端末200に送信する。
【0116】
ウェアラブル端末200の制御部220は、情報提供装置100から、障害物を表す音声データを、提供情報として受信する。制御部220は、受信した障害物を表す音声データを、スピーカ、イヤホン、又は、ヘッドホンなどの音声再生デバイスである通知実行部240によって、音声として再生する。
【0117】
本変形例では、提供情報生成部122は、第14の変形例と同様に、障害物を表す表示を提供情報としてウェアラブル端末200に送信してもよい。その場合、ウェアラブル端末200の制御部220は、第14の変形例と同様に、障害物を表す表示を受信し、受信した障害物を表す表示を、ディスプレイである通知実行部240に表示する。
【0118】
本変形例では、提供情報生成部122は、第14の変形例とは異なり、障害物を表す表示を提供情報としてウェアラブル端末200に送信しなくてもよい。その場合、ウェアラブル端末200の制御部220は、第14の変形例とは異なり、受信した障害物を表す表示を、ディスプレイである通知実行部240に表示しない。
【0119】
<第18の変形例>
第18の変形例は、以下で説明する相違点を除いて、第15の変形例と同じである。
【0120】
提供情報生成部122は、例えば所定の時間ごとに、帰路を表す音声データを生成する。帰路を表す音声データは、例えば、ウェアラブル端末20の方向を基準とした、帰路の方向を説明するメッセージの音声のデータである。
【0121】
提供情報生成部122は、生成した、帰路を表す音声データを、提供情報としてウェアラブル端末200に送信する。
【0122】
提供情報生成部122は、例えば定められているタイミングで、障害物を表す音声データを生成する。障害物を表す音声データは、例えば、ウェアラブル端末20の位置及び方向を基準とした、障害物の近さの程度(例えば、すぐ近く、近く、遠く等)及び方向を説明するメッセージの音声のデータである。障害物の位置を表す音声データは、例えば、ウェアラブル端末20の方向を基準とした、障害物の方向を説明するメッセージの音声のデータであってもよい。
【0123】
提供情報生成部122は、生成した、障害物を表す音声データを、提供情報としてウェアラブル端末200に送信する。
【0124】
ウェアラブル端末200の制御部220は、情報提供装置100から、帰路を表す音声データを、提供情報として受信する。制御部220は、受信した帰路を表す音声データを、スピーカ、イヤホン、又は、ヘッドホンなどの音声再生デバイスである通知実行部240によって、音声として再生する。
【0125】
ウェアラブル端末200の制御部220は、情報提供装置100から、障害物を表す音声データを、提供情報として受信する。制御部220は、受信した障害物を表す音声データを、スピーカ、イヤホン、又は、ヘッドホンなどの音声再生デバイスである通知実行部240によって、音声として再生する。
【0126】
本変形例では、提供情報生成部122は、第7及び第8の変形例と同様に、帰路を表す表示を提供情報としてウェアラブル端末200に送信してもよい。その場合、ウェアラブル端末200の制御部220は、第7及び第8の変形例と同様に、帰路を表す表示を受信し、受信した帰路を表す表示を、ディスプレイである通知実行部240に表示する。
【0127】
本変形例では、提供情報生成部122は、帰路を表す表示を提供情報としてウェアラブル端末200に送信しなくてもよい。その場合、ウェアラブル端末200の制御部220は、受信した帰路を表す表示を、ディスプレイである通知実行部240に表示しない。
【0128】
本変形例では、提供情報生成部122は、第14の変形例と同様に、障害物を表す表示を提供情報としてウェアラブル端末200に送信してもよい。その場合、ウェアラブル端末200の制御部220は、第14の変形例と同様に、障害物を表す表示を受信し、受信した障害物を表す表示を、ディスプレイである通知実行部240に表示する。
【0129】
本変形例では、提供情報生成部122は、障害物を表す表示を提供情報としてウェアラブル端末200に送信しなくてもよい。その場合、ウェアラブル端末200の制御部220は、受信した障害物を表す表示を、ディスプレイである通知実行部240に表示しない。
【0130】
<第19の変形例>
第1~第18の変形例のいずれか1つ以上の組み合わせを、第2の実施形態に適用することもできる。
【0131】
また、ウェアラブル端末200がスマートグラスである場合、ウェアラブル端末200の制御部220は、ウェアラブル端末200のカメラによって撮像された映像に、第1~第18の変形例のいずれか1つ以上の組み合わせによる提供情報の表示を重畳しない。制御部220は、スマートグラスのレンズを通して見える範囲に、第1~第18の変形例のいずれか1つ以上の組み合わせによる提供情報の表示が重なって見えるように、提供情報の表示を行ってよい。
【0132】
ウェアラブル端末200がスマートグラスである場合、提供情報生成部122は、提供情報を表す画像として、右目用の画像及び左目用の画像の、異なる2つの画像を生成してもよい。提供情報生成部122は、右目用の画像及び左目用の画像を提供情報としてウェアラブル端末200に送信する。ウェアラブル端末200の制御部220は、右目用の画像及び左目用の画像を提供情報として受け取り、右目用の画像が右目に見え、左目用の画像が左目に見えるように、右目用の画像及び左目用の画像を表示する。
【0133】
この場合、提供情報生成部122は、一方の画像が第1~第18の変形例のいずれか1つ以上の組み合わせによる提供情報の表示を表し、他方の画像が例えば情報提供装置100のオペレータによって入力されたメッセージを表すように、2つの画像を生成してもよい。提供情報生成部122は、右目用の画像が右目に見え、左目用の画像が左目に見えるように表示を行った場合に立体視が可能なように、一方の画像が第1~第18の変形例のいずれか1つ以上の組み合わせによる提供情報を表すそれらの2つの画像を生成してもよい。
【0134】
<他の実施形態>
本開示の実施形態に係る情報提供装置10、情報提供装置100、及び、ウェアラブル端末200は、記憶媒体から読み出されたプログラムがロードされたメモリと、そのプログラムを実行するプロセッサとを含むコンピュータによって実現することができる。本開示の実施形態に係る情報提供装置10、情報提供装置100、及び、ウェアラブル端末200は、専用のハードウェアによって実現することもできる。本開示の実施形態に係る情報提供装置10、情報提供装置100、及び、ウェアラブル端末200は、前述のコンピュータと専用のハードウェアとの組み合わせによって実現することもできる。
【0135】
図9は、本開示の実施形態に係る情報提供装置10、情報提供装置100、及び、ウェアラブル端末200を実現することができる、コンピュータ1000のハードウェア構成の一例を表す図である。図9に示す例では、コンピュータ1000は、プロセッサ1001と、メモリ1002と、記憶装置1003と、I/O(Input/Output)インタフェース1004とを含む。また、コンピュータ1000は、記憶媒体1005にアクセスすることができる。メモリ1002と記憶装置1003は、例えば、RAM(Random Access Memory)、ハードディスクなどの記憶装置である。記憶媒体1005は、例えば、RAM、ハードディスクなどの記憶装置、ROM(Read Only Memory)、可搬記憶媒体である。記憶装置1003が記憶媒体1005であってもよい。プロセッサ1001は、メモリ1002と、記憶装置1003に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ1001は、I/Oインタフェース1004を介して、例えば、他の装置にアクセスすることができる。プロセッサ1001は、記憶媒体1005にアクセスすることができる。記憶媒体1005には、コンピュータ1000を、本開示の実施形態に係る情報提供装置として動作させるプログラムが格納されている。記憶媒体1005には、コンピュータ1000を、本開示の実施形態に係るウェアラブル端末として動作させるプログラムが格納され得る。
【0136】
プロセッサ1001は、記憶媒体1005に格納されている、コンピュータ1000を、本開示の実施形態に係る情報提供装置として動作させるプログラムを、メモリ1002にロードする。そして、プロセッサ1001が、メモリ1002にロードされたプログラムを実行することにより、コンピュータ1000は、本開示の実施形態に係る情報提供装置として動作する。プロセッサ1001は、記憶媒体1005に格納されている、コンピュータ1000を、本開示の実施形態に係るウェアラブル端末として動作させるプログラムを、メモリ1002にロードする。そして、プロセッサ1001が、メモリ1002にロードされたプログラムを実行することにより、コンピュータ1000は、本開示の実施形態に係るウェアラブル端末として動作する。
【0137】
受信部110、生成部120、空間情報生成部121、提供情報生成部122、送信部130は、例えば、メモリ1002にロードされたプログラムを実行するプロセッサ1001により実現できる。また、データ記憶部140は、コンピュータ1000が含むメモリ1002やハードディスク装置等の記憶装置1003により実現できる。あるいは、受信部110、生成部120、空間情報生成部121、提供情報生成部122、送信部130、データ記憶部140の一部又は全部を、各部の機能を実現する専用の回路によって実現できる。
【0138】
制御部220、通信部230は、例えば、メモリ1002にロードされたプログラムを実行するプロセッサ1001により実現できる。センサ部210、制御部220、通信部230、通知実行部240の一部又は全部を、各部の機能を実現する専用の回路によって実現できる。
【0139】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0140】
(付記1)
ウェアラブル端末のセンサによって測定された測定データに基づいて、前記ウェアラブル端末が存在する空間の三次元情報を生成する生成手段と、
前記ウェアラブル端末に、前記三次元情報に基づく提供情報を送信する送信手段と、
を備える情報提供装置。
【0141】
(付記2)
前記三次元情報に基づいて、前記提供情報を生成する提供情報生成手段
をさらに備える付記1に記載の情報提供装置。
【0142】
(付記3)
前記測定データに基づいて、前記空間における前記ウェアラブル端末の位置を推定する位置推定手段
をさらに備え、
前記提供情報生成手段は、前記三次元情報と前記位置とに基づいて、前記位置から特定場所への移動の経路の情報である経路情報を前記提供情報として生成する
付記2に記載の情報提供装置。
【0143】
(付記4)
前記提供情報生成手段は、前記ウェアラブル端末の前方の映像である前方映像に重畳される、前記経路情報に基づく表示を、前記提供情報として生成する
付記3に記載の情報提供装置。
【0144】
(付記5)
前記提供情報生成手段は、前記ウェアラブル端末の位置および方向に基づく基準を満たす位置および方向において過去に撮像された過去映像に基づいて、前記提供情報を生成する
付記4に記載の情報提供装置。
【0145】
(付記6)
前記提供情報生成手段は、前記ウェアラブル端末によって撮像された撮像映像の遮蔽部分を検出し、前記撮像映像の前記遮蔽部分に重畳される、前記過去映像の前記遮蔽部分に対応する部分の映像を、前記提供情報として生成する
付記5に記載の情報提供装置。
【0146】
(付記7)
前記提供情報生成手段は、通行可能な床面の情報を含む、前記経路情報を生成する
付記3乃至6のいずれか1項に記載の情報提供装置。
【0147】
(付記8)
前記提供情報生成手段は、前記三次元情報に基づいて、前記経路に沿った移動の障害になりうる障害物を検出し、検出された障害物の情報を含む前記経路情報を生成する
付記3乃至7のいずれか1項に記載の情報提供装置。
【0148】
(付記9)
ウェアラブル端末のセンサによって測定された測定データに基づいて、前記ウェアラブル端末が存在する空間の三次元情報を生成し、
前記ウェアラブル端末に、前記三次元情報に基づく提供情報を送信する、
情報提供方法。
【0149】
(付記10)
前記三次元情報に基づいて、前記提供情報を生成する
付記9に記載の情報提供方法。
【0150】
(付記11)
前記測定データに基づいて、前記空間における前記ウェアラブル端末の位置を推定し、
前記三次元情報と前記位置とに基づいて、前記位置から特定場所への移動の経路の情報である経路情報を前記提供情報として生成する
付記10に記載の情報提供方法。
【0151】
(付記12)
前記ウェアラブル端末の前方の映像である前方映像に重畳される、前記経路情報に基づく表示を、前記提供情報として生成する
付記11に記載の情報提供方法。
【0152】
(付記13)
前記ウェアラブル端末の位置および方向に基づく基準を満たす位置および方向において過去に撮像された過去映像に基づいて、前記提供情報を生成する
付記12に記載の情報提供方法。
【0153】
(付記14)
前記ウェアラブル端末によって撮像された撮像映像の遮蔽部分を検出し、前記撮像映像の前記遮蔽部分に重畳される、前記過去映像の前記遮蔽部分に対応する部分の映像を、前記提供情報として生成する
付記13に記載の情報提供方法。
【0154】
(付記15)
通行可能な床面の情報を含む、前記経路情報を生成する
付記11乃至14のいずれか1項に記載の情報提供方法。
【0155】
(付記16)
前記三次元情報に基づいて、前記経路に沿った移動の障害になりうる障害物を検出し、検出された障害物の情報を含む前記経路情報を生成する
付記11乃至15のいずれか1項に記載の情報提供方法。
【0156】
(付記17)
ウェアラブル端末のセンサによって測定された測定データに基づいて、前記ウェアラブル端末が存在する空間の三次元情報を生成する生成処理と、
前記ウェアラブル端末に、前記三次元情報に基づく提供情報を送信する送信処理と、
をコンピュータに実行させるプログラム。
【0157】
(付記18)
前記三次元情報に基づいて、前記提供情報を生成する提供情報生成処理
をさらにコンピュータに実行させる付記17に記載のプログラム。
【0158】
(付記19)
前記測定データに基づいて、前記空間における前記ウェアラブル端末の位置を推定する位置推定処理
をさらにコンピュータに実行させ、
前記提供情報生成処理は、前記三次元情報と前記位置とに基づいて、前記位置から特定場所への移動の経路の情報である経路情報を前記提供情報として生成する
付記18に記載のプログラム。
【0159】
(付記20)
前記提供情報生成処理は、前記ウェアラブル端末の前方の映像である前方映像に重畳される、前記経路情報に基づく表示を、前記提供情報として生成する
付記19に記載のプログラム。
【0160】
(付記21)
前記提供情報生成処理は、前記ウェアラブル端末の位置および方向に基づく基準を満たす位置および方向において過去に撮像された過去映像に基づいて、前記提供情報を生成する
付記20に記載のプログラム。
【0161】
(付記22)
前記提供情報生成処理は、前記ウェアラブル端末によって撮像された撮像映像の遮蔽部分を検出し、前記撮像映像の前記遮蔽部分に重畳される、前記過去映像の前記遮蔽部分に対応する部分の映像を、前記提供情報として生成する
付記21に記載のプログラム。
【0162】
(付記23)
前記提供情報生成処理は、通行可能な床面の情報を含む、前記経路情報を生成する
付記19乃至22のいずれか1項に記載のプログラム。
【0163】
(付記24)
前記提供情報生成処理は、前記三次元情報に基づいて、前記経路に沿った移動の障害になりうる障害物を検出し、検出された障害物の情報を含む前記経路情報を生成する
付記19乃至23のいずれか1項に記載のプログラム。
【0164】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0165】
1 情報提供システム
10 情報提供装置
20 ウェアラブル端末
100 情報提供装置
110 受信部
120 生成部
121 空間情報生成部
122 提供情報生成部
130 送信部
140 データ記憶部
200 ウェアラブル端末
210 センサ部
220 制御部
230 通信部
240 通知実行部
300 通信ネットワーク
1000 コンピュータ
1001 プロセッサ
1002 メモリ
1003 記憶装置
1004 I/Oインタフェース
1005 記憶媒体
図1
図2
図3
図4
図5
図6
図7
図8
図9