(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024142053
(43)【公開日】2024-10-10
(54)【発明の名称】情報表示システム、及び情報表示方法
(51)【国際特許分類】
G06F 16/909 20190101AFI20241003BHJP
G08G 5/00 20060101ALN20241003BHJP
【FI】
G06F16/909
G08G5/00 A
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023054020
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】石川 克正
【テーマコード(参考)】
5B175
5H181
【Fターム(参考)】
5B175DA03
5B175HA01
5H181AA26
5H181BB04
5H181CC02
5H181CC04
5H181CC11
5H181FF04
5H181FF13
5H181FF14
5H181FF23
5H181FF27
5H181FF33
5H181FF35
5H181FF39
(57)【要約】
【課題】航空機に搭乗して空路を移動している利用者により視認される地上の対象物について、速やかに関連情報を提供する。
【解決手段】情報提供システム1は、対象航空機100の飛行位置と地図情報とに基づいて、対象航空機100の下方の地上に存在する所定対象物を抽出する所定対象物抽出部17と、所定対象物に関する情報が記録された情報データベース231にアクセスして、所定対象物に関する所定対象物情報を取得する所定対象物情報取得部18と、対象航空機100に搭乗している利用者Uにより視認される表示部43,44に、対象航空機100の下方の風景に所定対象物に関する対象物情報を重畳させた情報表示画面を表示させる表示制御部19と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
対象航空機の飛行位置を認識する飛行位置認識部と、
前記対象航空機の飛行位置の下方エリアを含む地図情報を取得する地図情報取得部と、
前記対象航空機の飛行位置と前記地図情報とに基づいて、前記対象航空機の下方の地上に存在する所定対象物を抽出する所定対象物抽出部と、
前記所定対象物に関する情報が記録された情報データベースにアクセスして、前記所定対象物に関する所定対象物情報を取得する所定対象物情報取得部と、
前記対象航空機に搭乗している利用者により視認される表示部に、前記対象航空機の下方の風景に前記所定対象物情報を重畳させた情報表示画面を表示させる表示制御部と、
を備える情報提供システム。
【請求項2】
前記表示制御部は、前記対象航空機の下方の風景における前記所定対象物の位置と、前記所定対象物情報の表示位置とが、前記利用者により重なって視認されるように、前記情報表示画面における前記所定対象物情報の表示位置を制御する
請求項1に記載の情報提供システム。
【請求項3】
前記表示制御部は、前記情報表示画面に、前記対象航空機の空路と前記空路における前記対象航空機の飛行位置とを表示する
請求項1又は請求項2に記載の情報提供システム。
【請求項4】
前記利用者のスケジュール情報が記録されたスケジュール情報データベースにアクセスして、前記利用者の前記対象航空機による移動に関連した行動予定を認識する利用者行動予定認識部を備え、
前記所定対象物抽出部は、前記利用者の行動予定に適合する対象物を、前記所定対象物として抽出する
請求項1又は請求項2に記載の情報提供システム。
【請求項5】
前記利用者の嗜好性に関する情報が記録された利用者情報データベースにアクセスして、前記利用者の嗜好性を認識する利用者嗜好性認識部を備え、
前記所定対象物抽出部は、前記利用者の嗜好性に適合する対象物を、前記所定対象物として抽出する
請求項1又は請求項2に記載の情報提供システム。
【請求項6】
前記利用者の発話内容を認識する発話内容認識部を備え、
前記所定対象物抽出部は、前記利用者の発話内容に適合する対象物を、前記所定対象物として抽出する
請求項1又は請求項2に記載の情報提供システム。
【請求項7】
前記利用者の視線の向きを認識する視線向き認識部を備え、
前記所定対象物抽出部は、前記利用者の視線が向いている方向に存在する対象物を、前記所定対象物として認識する
請求項1又は請求項2に記載の情報提供システム。
【請求項8】
前記所定対象物は、利用予約が可能な施設であり、
前記利用者による前記施設の予約操作を受付けて、前記施設の予約を手配するための処理を実行する施設予約手配部を備える
請求項1又は請求項2に記載の情報提供システム。
【請求項9】
コンピュータにより実行される情報提供方法であって、
対象航空機の飛行位置を認識する飛行位置認識ステップと、
前記対象航空機の飛行位置の下方エリアを含む地図情報を取得する地図情報取得ステップと、
前記対象航空機の飛行位置と前記地図情報とに基づいて、前記対象航空機の下方の地上に存在する所定対象物を抽出する所定対象物抽出ステップと、
前記所定対象物に関する情報が記録された情報データベースにアクセスして、前記所定対象物に関する所定対象物情報を取得する所定対象物情報取得ステップと、
前記対象航空機に搭乗している利用者により視認される表示部に、前記対象航空機の下方の風景に前記所定対象物情報を重畳させた情報表示画面を表示させる表示制御ステップと、
を含む情報提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報表示システム、及び情報表示方法に関する。
【背景技術】
【0002】
従来、陸路による輸送と空路による輸送を組み合わせたマルチモーダル輸送により移動する利用者を対象として、各輸送行程の進行状況と現在位置を示す地図を、利用者が使用している通信端末に表示させる技術が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
航空機により搭乗して空路を移動中の利用者は、航空機の下方の地上の状況を容易に視認することができるため、地上に所在する視認対象について興味を抱きやすいと考えられる。しかしながら、上記背景技術では、輸送行程の状況を表示するものであるため、利用者は、興味を抱いた視認対象の情報を自身で調べなければならず、この場合は、視認対象の情報が得られる前に航空機が視認対象から離れてしまうこともある。そのため、航空機に搭乗して空路を移動中の利用者により視認される地上の対象物について、速やかに関連情報が提供されることが望ましい。
本発明はかかる背景に鑑みてなされてものであり、航空機に搭乗して空路を移動している利用者により視認される地上の対象物について、速やかに関連情報を提供することができる情報提供システム、及び情報提供方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するための第1態様として、対象航空機の飛行位置を認識する飛行位置認識部と、前記対象航空機の飛行位置の下方エリアを含む地図情報を取得する地図情報取得部と、前記対象航空機の飛行位置と前記地図情報とに基づいて、前記対象航空機の下方の地上に存在する所定対象物を抽出する所定対象物抽出部と、前記所定対象物に関する情報が記録された情報データベースにアクセスして、前記所定対象物に関する所定対象物情報を取得する所定対象物情報取得部と、前記対象航空機に搭乗している利用者により視認される表示部に、前記対象航空機の下方の風景に前記所定対象物情報を重畳させた情報表示画面を表示させる表示制御部と、を備える情報提供システムが挙げられる。
【0006】
上記情報提供システムにおいて、前記表示制御部は、前記対象航空機の下方の風景における前記所定対象物の位置と、前記所定対象物情報の表示位置とが、前記利用者により重なって視認されるように、前記情報表示画面における前記所定対象物情報の表示位置を制御する構成としてもよい。
【0007】
上記情報提供システムにおいて、前記表示制御部は、前記情報表示画面に、前記対象航空機の空路と前記空路における前記対象航空機の飛行位置とを表示する構成としてもよい。
【0008】
上記情報提供システムにおいて、前記利用者のスケジュール情報が記録されたスケジュール情報データベースにアクセスして、前記利用者の前記対象航空機による移動に関連した行動予定を認識する利用者行動予定認識部を備え、前記所定対象物抽出部は、前記利用者の行動予定に適合する対象物を、前記所定対象物として抽出する構成としてもよい。
【0009】
上記情報提供システムにおいて、前記利用者の嗜好性に関する情報が記録された利用者情報データベースにアクセスして、前記利用者の嗜好性を認識する利用者嗜好性認識部を備え、前記所定対象物抽出部は、前記利用者の嗜好性に適合する対象物を、前記所定対象物として抽出する構成としてもよい。
【0010】
上記情報提供システムにおいて、前記利用者の発話内容を認識する発話内容認識部を備え、前記所定対象物抽出部は、前記利用者の発話内容に適合する対象物を、前記所定対象物として抽出する構成としてもよい。
【0011】
上記情報提供システムにおいて、前記利用者の視線の向きを認識する視線向き認識部を備え、前記所定対象物抽出部は、前記利用者の視線が向いている方向に存在する対象物を、前記所定対象物として認識する構成としてもよい。
【0012】
上記情報提供システムにおいて、前記所定対象物は、利用予約が可能な施設であり、前記利用者による前記施設の予約操作を受付けて、前記施設の予約を手配するための処理を実行する施設予約手配部を備える構成としてもよい。
【0013】
上記目的を達成するための第2態様として、コンピュータにより実行される情報提供方法であって、対象航空機の飛行位置を認識する飛行位置認識ステップと、前記対象航空機の飛行位置の下方エリアを含む地図情報を取得する地図情報取得ステップと、前記対象航空機の飛行位置と前記地図情報とに基づいて、前記対象航空機の下方の地上に存在する所定対象物を抽出する所定対象物抽出ステップと、前記所定対象物に関する情報が記録された情報データベースにアクセスして、前記所定対象物に関する所定対象物情報を取得する所定対象物情報取得ステップと、前記対象航空機に搭乗している利用者により視認される表示部に、前記対象航空機の下方の風景に前記所定対象物情報を重畳させた情報表示画面を表示させる表示制御ステップと、を含む情報提供方法が挙げられる。
【発明の効果】
【0014】
上記情報提供システム、及び情報提供方法によれば、航空機に搭乗して空路を移動している利用者により視認される地上の対象物について、速やかに関連情報を提供することができる。
【図面の簡単な説明】
【0015】
【
図1】
図1は、情報提供システムによる、航空機の利用者に対する情報提供の態様の説明図である。
【
図4】
図4は、情報提供処理のフローチャートである。
【発明を実施するための形態】
【0016】
[1.情報提供システムによる情報提供の態様]
図1を参照して、本実施形態の情報提供システム1により実行される情報提供の態様について説明する。情報提供システム1は航空機100(本開示の対象航空機に相当する)に搭載され、航空機100に搭乗して移動中の利用者Uに対して、航空機100の下方エリアArに存在する所定対象物に関する情報を提供する。
【0017】
航空機100は、例えば、eVTOL(Electric Vertical Take-Off and Landing aircraft)である。
図1では、利用者Uが、航空機100に搭乗して、出発地点であるポートFsから到着地点であるポートFgまでの空路FRを移動し、吹き出しB1で示したように、会議施設400で11:00~12:00に開催される会議に参加する状況を例示している。所定対象物には、景勝地等の観光スポット410、博物館等の見学施設411、飲食店のサービス提供施設412などが含まれる。
【0018】
航空機100は、航空機100の下方を撮影する機外カメラ42と、座席47に着座している利用者Uの発話を入力する座席マイク46を備えている。利用者Uは、AR(Augmented Reality、拡張現実)グラス60を装着し、また、通信端末50を所持している。ARグラス60は、メガネ型のディスプレイデバイスであり、利用者Uがグラス越しに見える現実世界にデジタルの情報を重畳して表示する機能を有している。通信端末50は、スマートフォン、携帯電話、タブレット端末等である。
【0019】
ARグラス60は、利用者Uの姿勢の変化を検出するジャイロセンサ、利用者Uの視線の向きを検出する赤外線カメラ、利用者Uの周囲を撮影するカメラ、通信ユニット等を有している。ARグラス60は、利用者Uの視線の向きを認識し、ARグラス60の視界の中に、利用者Uが視認している対象物に関する情報を表示する機能を備えている。
【0020】
情報提供システム1は、ARグラス60及び通信端末50との間で、直接或いは通信ネットワーク300を介して通信を行う。さらに、情報提供システム1は、通信ネットワーク300を介して、利用者管理システム200、スケジュール管理システム210、航空機管理システム220、地域情報サーバー230との間で通信を行って、利用者U、下方エリアArの存在する対象物、及び航空機100に関する情報を取得する。
【0021】
そして、情報提供システム1は、利用者Uが関心を抱いていると推定される下方エリアArに存在する所定対象物に関する情報(所定対象物情報)をARグラス60に送信して、ARグラス60(より詳細にはARグラス60の透過型ディスプレイ部)に、利用者Uが見ている風景中の所定対象物に所定対象物情報が重畳して視認されるように表示させる。
【0022】
また、利用者Uの通信端末50に、フライトサービスのアプリ(アプリケーションプログラム)がインストールされていて、利用者Uがフライトサービスのアプリを使用しているときには、情報提供システム1は、利用者Uによる通信端末50の操作に応じて、ARグラス60と同様の情報表示画面のデータを通信端末50に送信して、同様の情報表示画面を通信端末50のディスプレイに表示させる。
【0023】
このように、情報提供システム1は、フライト中の航空機100において、下方エリアArに存在する所定対象物に関する所定対象物情報を、ARグラス60については、窓ガラス越しに利用者Uが見ている下方の実風景に重畳させて表示する。また、情報提供システム1は、通信端末50のディスプレイについては、機外カメラ42により撮影される下方の風景画像に重畳させて表示する。これにより、航空機100に搭乗して移動中の利用者Uに対して、航空機100の下方に存在する所定対象物に関する所定対象物情報をリアルタイムで提供することができる。
【0024】
[2.情報提供システムの構成]
図2を参照して、情報提供システム1の構成について説明する。情報提供システム1は、機外カメラ42、窓ガラスディスプレイ43、座席ディスプレイ44、座席カメラ45、及び座席マイク46と接続されている。窓ガラスディスプレイ43、座席ディスプレイ44、及び座席カメラ45については、後述する「4.他の実施形態」において説明する。
さらに、情報提供システム1は、航空機100に備えらえた通信ユニット40、及び航空機100の飛行位置(現在位置)を検出するGNSS(Global Navigation Satellite System)センサ41と接続されている。
【0025】
情報提供システム1は、通信ユニット40により、通信ネットワーク300を介して、利用者管理システム200、スケジュール管理システム210、航空機管理システム220、及び地域情報サーバー230との間で通信を行う。また、情報提供システム1は、通信ユニット40により、通信ネットワーク300を介して或いは直接、利用者Uが装着しているARグラス60、及び利用者Uにより使用されている通信端末50との間で通信を行う。
【0026】
利用者管理システム200は、利用者Uの嗜好性を含む、利用者Uのプロフィール情報が記録された利用者情報DB(データベース)201を備えている。利用者Uのプロフィール情報は、通信端末50にインストールされたアプリ(アプリケーションプログラム)により、利用者Uの入力操作に応じて、通信端末50から利用者管理システム200に送信される。なお、利用者Uが通信端末50で使用しているアプリのジャンルや、閲覧した情報のジャンル等から推測される利用者Uの嗜好性の情報を、通信端末50から利用者管理システム200に送信して、利用者Uのプロフィール情報に記録するようにしてもよい。
【0027】
スケジュール管理システム210は、利用者Uのスケジュール情報が記録されたスケジュールDB211を備えている。利用者Uのスケジュール情報は、通信端末50にインストールされたスケジュールアプリにより、通信端末50からスケジュール管理システム210に送信される。航空機管理システム220は、航空機100を含む複数の航空機の運航を管理する。地域情報サーバー230は、対象とする地域に存在する対象物に関する情報が記録された地域情報DB231(本開示の情報データベースに相当する)を備えている。
【0028】
情報提供システム1は、プロセッサ10、メモリ30、等を備えた制御ユニットである。メモリ30には、情報提供システム1の制御用のプログラム31と、地図情報DB(データベース)32が保存されている。地図情報DB32に記録される地図情報には、対象地域に存在する対象物(建物、自然物等)に関する情報が含まれる。プロセッサ10は、プログラム31を読み込んで実行することにより、飛行位置認識部11、地図情報取得部12、利用者行動予定認識部13、利用者嗜好性認識部14、発話内容認識部15、視線向き認識部16、所定対象物抽出部17、所定対象物情報取得部18、表示制御部19、及び施設予約手配部20として機能する。
【0029】
ここで、飛行位置認識部11により実行される処理は、本開示の情報提供方法における飛行位置認識ステップに相当し、地図情報取得部12により実行される処理は、本開示の情報提供方法における地図情報取得ステップに相当する。所定対象物抽出部17により実行される処理は、本開示の情報提供方法における所定対象物抽出ステップに相当し、所定対象物情報取得部18により実行される処理は、本開示の情報提供方法における所定対象物情報取得部ステップに相当する。表示制御部19により実行される処理は、本開示の情報提供方法における表示制御ステップに相当する。
【0030】
飛行位置認識部11は、GNSSセンサ41から出力される位置検出信号に基づいて、航空機100の飛行位置を認識する。地図情報取得部12は、航空機100の飛行位置の下方エリアAr(
図1参照)を含む地図情報を、地図情報DB32から取得する。利用者行動予定認識部13は、スケジュールDB211にアクセスして、利用者Uのスケジュール情報を参照することにより、利用者Uの行動予定を認識する。
図1の例では、利用者行動予定認識部13は、利用者Uが、ポートFsからポートFaまで空路FRで移動して、会議施設400で、11:00~12:00の会議に参加することが認識される。
【0031】
利用者嗜好性認識部14は、利用者情報DB201にアクセスして、利用者Uのプロフィール情報を参照することにより、利用者Uの嗜好性を認識する。発話内容認識部15は、座席マイク46に入力される利用者Uの発話音声を解析して、利用者Uの発話内容を認識する。視線向き認識部16は、ARグラス60から送信される利用者Uの視線の向きの認識情報を受信することによって、利用者Uの視線の向きを認識する。ARグラス60は、内蔵する赤外線カメラの撮影画像に基づいて利用者Uの視線の向きを認識して、利用者Uの視線の向きの認識情報を情報提供システム1に送信する。
【0032】
所定対象物抽出部17は、利用者行動予定認識部13、利用者嗜好性認識部14、発話内容認識部15、及び視線向き認識部16の認識状況に応じて、以下の第1抽出条件~第2抽出条件のいずれかを満たす対象物を、所定対象物として抽出する。
第1抽出条件…利用者Uの行動予定に適合する対象物。
図1の例では、利用者Uが参加する会議の議題に関連する施設(車に関する議題である場合に、車両メーカーのショールーム、車両博物館等)や、会議終了時刻が12:00であるので、会議施設400付近の飲食店等が、第1抽出条件を満たす所定対象物として抽出される。
第2抽出条件…利用者Uの嗜好性に適合する対象物。例えば、利用者Uの趣味がキャンプである場合に、アウトドアショップ等が、第2抽出条件を満たす所定対象物として抽出される。
第3抽出条件…利用者Uの発話内容から認識される関心事項に適合する対象物。例えば、利用者Uの発話内容から、利用者Uが、会議が終了した後の空き時間に何をするかについて、同乗者と話をしていることが認識されたときには、会議施設400の付近の景勝地等が、第3抽出条件を満たす所定対象物として抽出される。
第4抽出条件…利用者Uの視線が向いている方向に存在する対象物。例えば、利用者Uの視線が展望タワー等のランドマークに向けられていることが認識されたときには、ランドマークが第4抽出条件を満たす所定対象物として抽出される。
【0033】
所定対象物情報取得部18は、所定対象物抽出部17により抽出された所定対象物に関する所定対象物情報を、地域情報DB231を参照して取得する。表示制御部15は、
図3に示したように、ARグラス60の透過型ディスプレイ部61に、所定対象物に関する情報を表示する情報表示画面500を表示する。情報表示画面500には、航空機100の出発地点であるポートFsから到着地点であるポートFaまでの空路(飛行ルート)と飛行位置(現在位置)を示す飛行ルートガイド510が表示される。
【0034】
図3は、所定対象物抽出部17により、博物館520、レストラン街がある高層ビル521、及びアウトドアショップ522が抽出された場合を例示している。この場合、表示制御部15は、博物館520に関する情報を示す吹き出しB2を、航空機100の飛行位置から博物館520への方向の位置に表示する。同様に、表示制御部15は、高層ビル521のレストラン街に関する情報を示す吹き出しB3を、航空機100の飛行位置から高層ビル521への方向の位置に表示する。
【0035】
また、表示制御部15は、アウトドアショップ522に関する情報を示す吹き出しB4を、航空機100の飛行位置からアウトドアショップ522への方向の位置に表示する。これにより、利用者Uが航空機100から見下ろして視認していて、且つ利用者Uが関心を抱いていると推定される所定対象物に関する所定対象物情報を、所定対象物の位置に関連付けて、速やかに提供することができる。
【0036】
吹き出しB2~B4は、利用者Uの周囲の実空間上に仮想的に配置される操作ボタンとして表示され、ARグラス60は、内蔵カメラによる撮影画像とジャイロセンサの検出信号により、利用者Uが吹き出しB2~B4を操作するジェスチャーを認識したときに、操作情報を情報提供システム1に送信する。表示制御部15は、ARグラス60から送信される吹き出しB2~B4の操作情報を受信して、利用者Uが吹き出しB2~B4を操作したことを認識したときに、所定対象物のさらに詳細な情報を表示する。
【0037】
また、所定対象物が、飲食店や宿泊施設等の利用予約が可能な施設である場合には、表示制御部15は、施設の予約案内を表示する。施設予約手配部20は、利用者Uによる施設の予約申請の操作に応じて、対象施設に対して予約申請情報を送信することにより、対象施設の予約を手配する。利用者Uによる施設の予約申請の操作は、座席47の付近に設けられた操作部、或いは吹き出しB2~B4と同様にARグラス60に表示される仮想的な操作ボタン等の操作によって行われる。
【0038】
また、表示制御部15は、情報表示画面500を利用者Uの通信端末50のディスプレイに表示する。表示制御部15は、通信端末50に、機外カメラ42により撮影される下方エリアArの風景画像に重畳させて情報表示画面500を表示する。この場合は、
図3では実際の風景が背景であったのに対して、機外カメラ42により撮影される風景画像が背景となる。
【0039】
また、
図1に示したように、利用者UがポートFaに到着した後に、目的地点である会議施設400まで移動する際の移動経路と移動方法(シェア車両による移動等)を、情報表示画面500に表示してもよい。この表示により、利用者Uは、航空機100で空路FRを移動しているときに興味をもった対象施設等への行き方を、目的地点である会議施設400からの相対的な位置を把握して確認することができるので、会議施設400に向かう途中で対象施設に立ち寄る等の移動のイメージを抱き易くなる、という効果を得ることができる。なお、移動経路と移動方法を表示するタイミングは、航空機100による移動が開始された時でもよく、或いは、所定対象物抽出部17により所定対象物が抽出された時、利用者Uの行動スケジュールに近いロケーションに位置する所定対象物が利用者Uの視野に入った時等であってもよい。
【0040】
[3.情報提供処理]
図4に示したフローチャートに従って、情報提供システム1により実行される情報提供処理の手順について説明する。情報提供システム1は、航空機100が空路FR(
図1参照)を飛行して移動しているときに、
図4に示したフローチャートによる情報提供処理を繰り返し実行する。
【0041】
図4のステップS1で、飛行位置認識部11は、GNSSセンサ41の検出信号に基づいて、航空機100の飛行位置(現在位置)を認識する。続くステップS2で、地図情報取得部12は、地図情報DB32を参照して、航空機100の飛行位置の下方エリアArの地図情報を取得する。次のステップS3で、所定対象物抽出部17は、利用者行動予定認識部13により認識される利用者Uの行動予定、利用者嗜好性認識部14により認識される利用者Uの嗜好性、発話内容認識部15により認識される利用者Uの発話内容、及び視線向き認識部16により認識される利用者Uの視線の向き、に応じた上記第1抽出条件~上記第4抽出条件を設定する。
【0042】
続くステップS4で、所定対象物抽出部17は、下方エリアArの地図情報に基づいて、上記第1抽出条件~第4抽出条件のいずれかを満たす対象物(所定対象物)を探索する。次のステップS5で、所定対象物抽出部17は、所定対象物が抽出されたときはステップS6に処理を進め、所定対象物が抽出されなかったときにはステップS10に処理を進める。
【0043】
ステップS6で、所定対象物情報取得部18は、地域情報DB231にアクセスして、所定対象物に関する情報(所定対象物情報)を取得する。続くステップS7で、表示制御部19は、
図3を参照して上述したように、利用者Uが装着しているARグラス60、又は利用者Uが使用している通信端末50のディスプレイに、所定対象物の情報を表示する情報表示画面500を、下方エリアArの風景に重畳させて表示する。
【0044】
ステップS10で、表示制御部19は、利用者Uが装着しているARグラス60、又は利用者Uが使用している通信端末50のディスプレイに、下方エリアArに関する予め用意された情報を表示する情報表示画面を、下方エリアArの風景に重畳させて表示させ、ステップS8に処理を進める。この場合、下方エリアArに関する予め用意された情報とは、例えば、展望タワー等の上空から視認され易いランドマークや、人気のある景勝地等の、航空機100の一般的な搭乗者が関心を抱きやすいと推定される対象物に関する情報である。
【0045】
なお、ステップS7において、所定対象物情報と共に、ステップS10で表示した予め用意された情報も表示するようにしてもよい。この場合、所定対象物情報の視認性が予め用意された情報よりも高くなるように、所定対象物情報の輝度を予め用意された情報よりも高くする等の強調表示を行ってもよい。
【0046】
[4.他の実施形態]
上記実施形態では、本開示の情報提供システム1を航空機100に備える構成を示した。他の実施形態として、情報提供システム1を航空機管理システム220に備える構成としてもよい。この場合は、航空機100の飛行位置情報を、航空機100から航空機管理システム220に送信して、航空機管理システム220において、所定対象物を抽出する処理と、所定対象物に関する情報を取得する処理をする。そして、所定対象物に関する所定対象物情報を表示する情報表示画面のデータを、航空機管理システム220から航空機100に送信して、航空機100の窓ガラスディスプレイ43、座席ディスプレイ44、及び利用者Uの通信端末50のディスプレイに表示させる構成となる。
【0047】
或いは、情報提供システム1を、利用者Uにより使用される通信端末50に備える構成としてもよい。この場合は、航空機100の飛行位置情報を、航空機100の制御ユニット等から通信端末50に送信して、通信端末50において、所定対象物を抽出する処理と、所定対象物に関する情報を取得する処理をする。そして、所定対象物に関する所定対象物情報を表示する情報表示画面のデータを、通信端末50から航空機100の制御ユニット等に送信して、航空機100の窓ガラスディスプレイ43、及び座席ディスプレイ44に表示させ、また、通信端末50のディスプレイに表示させる構成となる。
【0048】
上記実施形態では、情報提供システム1は、利用者行動予定認識部13による認識結果に基づく上記第1抽出条件、利用者嗜好性認識部14による認識結果に基づく上記第2抽出条件、発話内容認識部15による認識結果に基づく上記第3抽出条件、及び視線向き認識部16による認識結果に基づく上記第4抽出条件のいずれかを満たす所定対象物を抽出した。他の実施形態として、利用者行動予定認識部13、利用者嗜好性認識部14、発話内容認識部15、及び視線向き認識部16の少なくとも1つを備えて、上記第1抽出条件~上記第4抽出条件のうちの少なくとも1つを所定対象物の抽出条件として設定してもよい。或いは、上記第1抽出条件~上記第4抽出条件以外の抽出条件を設定してもよい。
【0049】
上記実施形態では、所定対象物に関する情報を表示させる本開示の表示部として、ARグラス60と、利用者Uにより使用される通信端末50のディスプレイを提示したが、他のディスプレイを用いてもよい。例えば、
図2に示したように、航空機100の座席47の付近の窓ガラスに備えられた窓ガラスディスプレイ43や、座席47の前方に配置された座席ディスプレイ44に所定対象物に関する情報を表示させてもよい。窓ガラスディスプレイ43は透明ディスプレイであり、
図2では、窓ガラスディスプレイ43と座席ディスプレイ44を表面にタッチセンサが配置されたタッチパネルであり、利用者Uの視線の向きを認識するために、利用者Uを撮影する座席カメラ45が設けられた例を示している。
【0050】
情報提供システム1は、利用者Uが関心を抱いていると推定される下方エリアArに存在する所定対象物に関する情報(所定対象物情報)を、窓ガラスディスプレイ43に、利用者Uが見ている風景中の所定対象物に重畳して視認されるように表示させる。また、情報提供システム1は、座席ディスプレイ44に、機外カメラ42により撮影される上空からの下方エリアArの風景の画像に、所定対象物の画像部分に所定対象物に関する情報を重畳して表示する。
【0051】
なお、
図2は、本願発明の理解を容易にするために、情報提供システム1の機能構成を、主な処理内容により区分して示した概略図であり、情報提供システム1の構成を、他の区分によって構成してもよい。また、各構成要素の処理は、1つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、
図4に示した各構成要素による処理は、1つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。
【0052】
[5.上記実施形態によりサポートされる構成]
上記実施形態は、以下の構成の具体例である。
【0053】
(構成1)対象航空機の飛行位置を認識する飛行位置認識部と、前記対象航空機の飛行位置の下方エリアを含む地図情報を取得する地図情報取得部と、前記対象航空機の飛行位置と前記地図情報とに基づいて、前記対象航空機の下方の地上に存在する所定対象物を抽出する所定対象物抽出部と、前記所定対象物に関する情報が記録された情報データベースにアクセスして、前記所定対象物に関する所定対象物情報を取得する所定対象物情報取得部と、前記対象航空機に搭乗している利用者により視認される表示部に、前記対象航空機の下方の風景に前記所定対象物情報を重畳させた情報表示画面を表示させる表示制御部と、を備える情報提供システム。
構成1の情報提供システムによれば、航空機に搭乗して空路を移動している利用者により視認される地上の対象物について、速やかに関連情報を提供することができる。
【0054】
(構成2)前記表示制御部は、前記対象航空機の下方の風景における前記所定対象物の位置と、前記所定対象物情報の表示位置とが、前記利用者により重なって視認されるように、前記情報表示画面における前記所定対象物情報の表示位置を制御する構成1に記載の情報提供システム。
構成2の情報提供システムによれば、上空から風景を視認している利用者に対して、所定対象物の位置に関連付けて所定対象物情報を提供することができる。
【0055】
(構成3)前記表示制御部は、前記情報表示画面に、前記対象航空機の空路と前記空路における前記対象航空機の飛行位置とを表示する構成1又は構成2に記載の情報提供システム。
構成3の情報提供システムによれば、利用者に対して、対象航空機の移動過程と関連付けて、所定対象物情報を提供することができる。
【0056】
(構成4)前記利用者のスケジュール情報が記録されたスケジュール情報データベースにアクセスして、前記利用者の前記対象航空機による移動に関連した行動予定を認識する利用者行動予定認識部を備え、前記所定対象物抽出部は、前記利用者の行動予定に適合する対象物を、前記所定対象物として抽出する構成1から構成3のうちいずれか1つの構成に記載の情報提供システム。
構成4の情報提供システムによれば、利用者の行動予定から、利用者の関心が高いと推定される所定対象物に関連した所定対象物情報を、利用者に提供することができる。
【0057】
(構成5)前記利用者の嗜好性に関する情報が記録された利用者情報データベースにアクセスして、前記利用者の嗜好性を認識する利用者嗜好性認識部を備え、前記所定対象物抽出部は、前記利用者の嗜好性に適合する対象物を、前記所定対象物として抽出する構成1から構成4のうちいずれか1つの構成に記載の情報提供システム。
構成5の情報提供システムによれば、利用者の嗜好性に適合することから、利用者の関心が高いと推定される所定対象物に関連して所定対象物に関連した所定対象物情報を、利用者に提供することができる。
【0058】
(構成6)前記利用者の発話内容を認識する発話内容認識部を備え、前記所定対象物抽出部は、前記利用者の発話内容に適合する対象物を、前記所定対象物として抽出する構成1から構成5のうちいずれか1つの構成に記載の情報提供システム。
構成6の情報提供システムによれば、利用者発話内容から、利用者が関心を抱いていると推定される所定対象物に関連する所定対象物情報を、利用者に提供することができる。
【0059】
(構成7)前記利用者の視線の向きを認識する視線向き認識部を備え、前記所定対象物抽出部は、前記利用者の視線が向いている方向に存在する対象物を、前記所定対象物として認識する構成1から構成7のうちいずれか1つの構成に記載の情報提供システム。
構成7の情報提供システムによれば、利用者が視線を向けていることから、利用者が注視していると推定される所定対象物に関する所定対象物情報を、利用者に提供することができる。
【0060】
(構成8)前記所定対象物は、利用予約が可能な施設であり、前記利用者による前記施設の予約操作を受付けて、前記施設の予約を手配するための処理を実行する施設予約手配部を備える構成1から構成7のうちいずれか1つの構成に記載の情報提供システム。
構成8の情報システムによれば、利用者に対して、所定対象物情報を見て関心を持った施設についての容易な予約をサポートすることができる。
【0061】
(構成9)コンピュータにより実行される情報提供方法であって、対象航空機の飛行位置を認識する飛行位置認識ステップと、前記対象航空機の飛行位置の下方エリアを含む地図情報を取得する地図情報取得ステップと、前記対象航空機の飛行位置と前記地図情報とに基づいて、前記対象航空機の下方の地上に存在する所定対象物を抽出する所定対象物抽出ステップと、前記所定対象物に関する情報が記録された情報データベースにアクセスして、前記所定対象物に関する所定対象物情報を取得する所定対象物情報取得ステップと、前記対象航空機に搭乗している利用者により視認される表示部に、前記対象航空機の下方の風景に前記所定対象物情報を重畳させた情報表示画面を表示させる表示制御ステップと、を含む情報提供方法。
構成9の情報提供方法をコンピュータにより実行することによって、構成1の情報提供システムと同様の作用効果を得ることができる。
【符号の説明】
【0062】
1…情報提供システム、10…プロセッサ、11…飛行位置認識部、12…地図情報取得部、13…利用者行動予定認識部、14…利用者嗜好性認識部、15…発話内容認識部、16…視線向き認識部、17…所定対象物抽出部、18…対象物情報取得部、19…表示制御部、20…施設予約手配部、30…メモリ、31…プログラム、32…地図情報DB、40…通信ユニット、41…GNSSセンサ、42…機外カメラ、43…窓ガラスディスプレイ、44…座席ディスプレイ、45…座席カメラ、46…座席マイク、47…座席、48…窓ガラス、50…通信端末、100…航空機、200…利用者管理システム、201…利用者情報DB、210…スケジュール管理システム、211…スケジュール情報DB、220…航空機管理システム、230…地域情報サーバー、231…地域情報DB、300…通信ネットワーク、500…情報表示画面、510…飛行ルートガイド、U…利用者。