特開 2017-227467 構造物表示装置、構造物表示システムおよび構造物表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-227467(P2017-227467A)

(43)【公開日】2017年12月28日

(54)【発明の名称】構造物表示装置、構造物表示システムおよび構造物表示方法

(51)【国際特許分類】

   G01C 21/26 20060101AFI20171201BHJP

   G06F 17/30 20060101ALI20171201BHJP

   G06T 1/00 20060101ALI20171201BHJP

【ＦＩ】

   G01C21/26 C

   G01C21/26 P

   G06F17/30 170C

   G06F17/30 310Z

   G06T1/00 330A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2016-121932(P2016-121932)

(22)【出願日】2016年6月20日

(71)【出願人】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】110000198

【氏名又は名称】特許業務法人湘洋内外特許事務所

(72)【発明者】

【氏名】松本 祐介

(72)【発明者】

【氏名】阿部 憲幸

(72)【発明者】

【氏名】岡本 公男

(72)【発明者】

【氏名】藤枝 卓也

(72)【発明者】

【氏名】織野 真琴

【テーマコード（参考）】

2F129

5B057

【Ｆターム（参考）】

2F129AA02

2F129AA03

2F129BB03

2F129CC15

2F129CC16

2F129EE02

2F129EE52

2F129EE69

2F129EE90

2F129FF11

2F129FF12

2F129FF19

2F129HH02

2F129HH12

5B057AA16

5B057CB12

5B057CB16

5B057DA06

5B057DA16

5B057DC30

(57)【要約】

【課題】 本発明の目的は、視線方向にある構造物の表示情報を視線に追随させて適切に生成する技術を提供することにある。
【解決手段】
本発明に係る構造物表示装置は、構造物に関連する所定の情報と、構造物の位置と、構造物が備える所定の属性情報と、を格納する構造物情報記憶部と、ユーザーの見ている方向を検知する視線検知装置と接続し、ユーザーの見ている方向に関する情報を取得する視線検知装置制御部と、ユーザーの現在位置を算出する現在位置算出部と、ユーザーの見ている方向に関する情報と、現在位置と、を用いてユーザーの見ている方向に存在する構造物に関連する情報を構造物情報記憶部から取得する構造物情報取得部と、構造物情報取得部により取得した構造物に関連する情報と、構造物が備える属性と同じ属性を備える他の構造物の情報と、を表示する表示制御部と、を備えることを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

構造物に関連する所定の情報と、前記構造物の位置と、前記構造物が備える所定の属性情報と、を格納する構造物情報記憶部と、
ユーザーの見ている方向を検知する視線検知装置と接続し、前記ユーザーの見ている方向に関する情報を取得する視線検知装置制御部と、
前記ユーザーの現在位置を算出する現在位置算出部と、
前記ユーザーの見ている方向に関する情報と、前記現在位置と、を用いて前記ユーザーの見ている方向に存在する構造物に関連する情報を前記構造物情報記憶部から取得する構造物情報取得部と、
前記構造物情報取得部により取得した前記構造物に関連する情報と、前記構造物が備える属性と同じ属性を備える他の構造物の情報と、を表示する表示制御部と、
を備えることを特徴とする構造物表示装置。

【請求項2】

請求項１に記載の構造物表示装置であって、
前記視線検知装置制御部は、前記ユーザーの顔の向きと、瞳の位置と、を取得する、
ことを特徴とする構造物表示装置。

【請求項3】

請求項１に記載の構造物表示装置であって、
前記属性情報には、前記構造物の種類を所定の基準で分類したカテゴリ情報が含まれる、
ことを特徴とする構造物表示装置。

【請求項4】

請求項１に記載の構造物表示装置であって、
前記構造物情報取得部は、前記ユーザーの移動速度に応じて前記構造物までの距離を推定し、前記ユーザーの見ている方向に存在する構造物を前記距離に応じて特定する、
ことを特徴とする構造物表示装置。

【請求項5】

請求項１に記載の構造物表示装置であって、
前記構造物情報取得部は、前記ユーザーの水平面に対する顔の上向きの度合いを推定し、前記ユーザーの見ている方向に存在する構造物の階数を前記水平面に対する顔の上向きの度合いに応じて特定して、前記階数に応じて前記構造物を特定する、
ことを特徴とする構造物表示装置。

【請求項6】

ユーザーの見ている方向を検知する視線検知装置と、構造物を表示する構造物表示装置と、を備え、
前記構造物表示装置は、
前記構造物に関連する所定の情報と、前記構造物の位置と、前記構造物が備える所定の属性情報と、を格納する構造物情報記憶部と、
前記視線検知装置と接続し、前記ユーザーの見ている方向に関する情報を取得する視線検知装置制御部と、
前記ユーザーの現在位置を算出する現在位置算出部と、
前記ユーザーの見ている方向に関する情報と、前記現在位置と、を用いて前記ユーザーの見ている方向に存在する構造物に関連する情報を前記構造物情報記憶部から取得する構造物情報取得部と、
前記構造物情報取得部により取得した前記構造物に関連する情報と、前記構造物が備える属性と同じ属性を備える他の構造物の情報と、を表示する表示制御部と、
を備えることを特徴とする構造物表示システム。

【請求項7】

構造物表示装置を用いた構造物表示方法であって、
前記構造物表示装置は、
構造物に関連する所定の情報と、前記構造物の位置と、前記構造物が備える所定の属性情報と、を格納する構造物情報記憶部と、制御部と、を備え、
前記制御部は、
ユーザーの見ている方向を検知する視線検知装置と接続し、前記ユーザーの見ている方向に関する情報を取得する視線検知装置制御ステップと、
前記ユーザーの現在位置を算出する現在位置算出ステップと、
前記ユーザーの見ている方向に関する情報と、前記現在位置と、を用いて前記ユーザーの見ている方向に存在する構造物に関連する情報を前記構造物情報記憶部から取得する構造物情報取得ステップと、
前記構造物情報取得ステップにより取得した前記構造物に関連する情報と、前記構造物が備える属性と同じ属性を備える他の構造物の情報と、を表示する表示ステップと、
を実施することを特徴とする構造物表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、構造物表示装置、構造物表示システムおよび構造物表示方法の技術に関するものである。

【背景技術】

【0002】

検索データを記憶する検索データ記憶手段を備え、運転者が提示する条件に基づいて前記検索データを検索するナビゲーション装置において、自車位置を特定する自車位置特定手段と、運転者による指定に基づき検索対象の情報種別を設定する情報種別設定手段と、運転者の顔の向きを検出する顔向き方向検出手段と、自車位置と運転者の顔の向きとに応じて検索対象範囲を設定する範囲設定手段と、前記検索データの中から、前記情報種別設定手段により設定された情報種別と、前記検索対象範囲とに該当する前記検索データを検索するデータ検索手段と、検索された前記検索データを出力手段に出力する出力制御手段とを備え、前記範囲設定手段は、運転者の顔の向きを含む所定角度範囲を前記検索対象範囲とし、前記顔向き方向検出手段は、鉛直方向における運転者の顔の向きを検出し、鉛直方向の顔の向きに応じて、前記検索対象範囲の長さを設定することを特徴とするナビゲーション装置についての技術が、特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−２９８５２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような技術では、自車位置と顔の向きを用いることで検索対象範囲を限定して検索することが可能となるが、検索時の検索範囲の絞り込みにしか用いることができない。

【0005】

本発明の目的は、視線方向にある構造物の表示情報を視線に追随させて適切に生成する技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る構造物表示装置は、構造物に関連する所定の情報と、上記構造物の位置と、上記構造物が備える所定の属性情報と、を格納する構造物情報記憶部と、ユーザーの見ている方向を検知する視線検知装置と接続し、上記ユーザーの見ている方向に関する情報を取得する視線検知装置制御部と、上記ユーザーの現在位置を算出する現在位置算出部と、上記ユーザーの見ている方向に関する情報と、上記現在位置と、を用いて上記ユーザーの見ている方向に存在する構造物に関連する情報を上記構造物情報記憶部から取得する構造物情報取得部と、上記構造物情報取得部により取得した前記構造物に関連する情報と、上記構造物が備える属性と同じ属性を備える他の構造物の情報と、を表示する表示制御部と、を備えることを特徴とする。

【発明の効果】

【0007】

本願発明によれば、視線方向にある構造物の表示情報を視線に追随させて適切に生成する技術を提供することが可能となる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】本発明に係る実施形態を適用した構造物表示システムの構造を示す図である。

【図2】構造物情報記憶部のデータ構造を示す図である。

【図3】視線検知装置のハードウェア構造を示す図である。

【図4】構造物表示装置のハードウェア構造を示す図である。

【図5】視線検知装置接続処理の流れを示す図である。

【図6】構造物情報表示処理の流れを示す図である。

【図7】構造物情報表示処理により生成される情報の例を示す図である。

【図8】構造物情報表示処理により生成される情報の別の例を示す図である。

【図9】構造物情報表示処理により生成される情報のさらに別の例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本発明に係る実施形態を適用した構造物表示システムについて、図面を参照して説明する。なお、図１〜９は、構造物表示システムの全ての構成を示すものではなく、理解容易のため、適宜、構成の一部を省略して描いている。

【0010】

図１に、本発明に係る実施形態を適用した構造物表示システムの構造を示す。本発明に係る実施形態を適用した構造物表示システムにおいては、視線検知装置１００と、構造物表示装置２００と、がそれぞれアンテナ５０、アンテナ１５０を介して通信可能に接続されている。なお、視線現在位置検知装置１００と、構造物表示装置２００とは、通信ネットワークを介して接続されるものであってもよく、通信ネットワークは、例えばインターネット網や携帯電話網等の公衆無線通信網であってもよいし、所定の管理地域ごとに設けられた閉鎖的な通信網であってもよい。より具体的には、そのような通信ネットワークは、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷｉＦｉ（登録商標）等の無線ネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）通信線を用いた所定の有線通信等の、各種通信方法による通信網であってもよい。

【0011】

視線検知装置１００は、運転者の視線を検知可能な情報処理装置である。視線検知装置１００は、運転者（以降、ユーザーと表記することもある）の見ている方向である視線を検知し、平常時の視線を原点とする相対位置を上下左右の方向への角運動量（角度）として特定する。また、視線検知装置１００は、当該装置自体の傾きを検知し、ロール、ヨー、ピッチの量（角度）を特定する（ロール、ヨー、ピッチの位置関係については、図３に示す）。そして、特定した視線、傾きについて、構造物表示装置２００へ所定のタイミングで（あるいは１秒ごと等の所定の間隔で）送信する。

【0012】

本実施形態においては、視線検知装置１００は、単体動作可能な眼鏡型のウェアラブル装置を想定している。しかし、本願発明の対象となる視線検知装置１００は、図１に示す視線検知装置１００に限られるものではない。例えば、移動体に組み込まれた各種制御機器、カーナビゲーション装置等により運転者の視線が光学的に検知されるものであってもよい。

【0013】

また、視線検知装置１００は、眼鏡型に限られず、移動体あるいは運転者に着脱可能に設けられる形状であってもよい。あるいは、視線検知装置１００は、運転者の視線を検知することができるものであれば、移動体の運転者あるいは乗員が有する携帯電話機器等の移動端末であってもよく、例えばスマートフォンやフィーチャーフォン、あるいはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）、ノートパソコン、サーバー装置、デジタル放送の中継装置、タブレット端末等であってもよい。

【0014】

視線検知装置１００は、制御部１２０を含んで構成される。制御部１２０には、視線検知制御部１２１と、キャリブレーション実施部１２２と、情報送信部１２３と、が含まれる。

【0015】

視線検知制御部１２１は、運転者の視線と、顔の向きとを検知する。具体的には、視線検知制御部１２１は、運転者の視線として、運転者からみて上方向、下方向、左方向、右方向の各方向へ視線が動いたことを示す値（角度）を特定する。例えば、視線検知制御部１２１は、人間の瞳（角膜）が有する電荷を検知して、瞳の位置すなわち電荷の位置の変化の方向と量に応じて視線の変化の方向と量とを検知するものであってもよい。また、視線検知制御部１２１は、３次元空間における互いに直交する３軸を基準とする視線検知装置１００の傾きを顔の向きとして検知する。

【0016】

キャリブレーション実施部１２２は、視線検知制御部１２１が検知する視線について、通常時の正面方向の視線となる原点の補正を行う。通常は、視線検知装置１００を使用開始する際に一度キャリブレーションを行う事で原点の補正がなされる。すなわち、原点においては電荷の位置の変化量がゼロとなるよう、電荷の位置の方向と量とを修正する。

【0017】

情報送信部１２３は、接続された構造物表示装置２００に対して、視線検知の対象者（通常は運転者）の視線と、顔の向きと、の情報を送信する。なお、情報送信部１２３は、所定のタイミングで（あるいは１秒ごと等の所定の間隔で）当該情報を送信する。

【0018】

構造物表示装置２００は、運転者が見た構造物に関連する情報を地図情報に重畳させて表示させる情報処理装置である。構造物表示装置２００は、運転者の視線の情報を用いて、視線検知装置１００により得た視線の先にある構造物を特定し、当該構造物に関連する情報（構造物の名前や、構造物の外見、あるいは構造物の中に実装されている店舗の情報等）を地図上に重畳表示する。また、構造物表示装置２００は、当該構造物と同じカテゴリの近隣の構造物を検索し、表示する。

【0019】

本実施形態においては、構造物表示装置２００は、単体動作可能な情報処理装置を想定している。しかし、本願発明の対象となる構造物表示装置２００は、図１に示す構造物表示装置２００に限られるものではない。例えば、車両等の移動体に組み込まれた各種制御機器、カーナビゲーション装置等により運転者の視線の先にある構造物の情報が表示されるものであってもよい。

【0020】

また、構造物表示装置２００は、移動体あるいは運転者に着脱可能に設けられるものであってもよい。あるいは、構造物表示装置２００は、移動体の運転者あるいは乗員が有する携帯電話機器等の移動端末であってもよく、例えばスマートフォンやフィーチャーフォン、あるいはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）、ノートパソコン、サーバー装置、デジタル放送の中継装置、タブレット端末等であってもよい。

【0021】

構造物表示装置２００は、制御部２２０と、記憶部２３０と、を含んで構成される。制御部２２０には、表示制御部２２１と、視線検知装置制御部２２２と、現在位置算出部２２３と、目視対象特定部２２４と、構造物情報取得部２２５と、関連構造物情報取得部２２６と、が含まれる。記憶部２３０には、構造物情報記憶部２３１が格納される。

【0022】

図２は、構造物情報記憶部２３１のデータ構造を示す図である。

【0023】

構造物情報記憶部２３１は、構造物識別子２３１Ａと、構造物名２３１Ｂと、位置２３１Ｃと、階２３１Ｄと、構造物カテゴリ２３１Ｅと、を含む。構造物識別子２３１Ａは、構造物を特定する識別子である。なお、本実施形態においては、構造物には、ある位置に長期間を想定して設置された施設、建造物、設備等の被造物、地形等の自然物が含まれる。例えば、ビル、家屋、橋、鉄道のレール、交差点、信号機、トンネル、道路標識、電話ボックス、坂、駐車場、公園、田畑、森林、丘陵、山岳、河川等は構造物に含まれる。

【0024】

構造物名２３１Ｂは、構造物識別子２３１Ａにより特定される構造物の名称、通称、俗称等の称呼を特定する情報である。位置２３１Ｃは、構造物識別子２３１Ａにより特定される構造物の位置を特定する情報である。位置２３１Ｃは、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等において用いられる座標系で示されるものであってもよいし、住所等の所定の記述ルールに従った表記で示されるもであってもよい。階２３１Ｄは、構造物識別子２３１Ａにより特定される構造物のうち、高さにより区別される階が含まれる場合に、その構造物が存在する階を特定する情報である。

【0025】

構造物カテゴリ２３１Ｅは、構造物識別子２３１Ａにより特定される構造物の所定の基準により予め分類された種類のいずれに属するのかを特定する情報である。なお、構造物カテゴリ２３１Ｅには、構造物が属するカテゴリ一つが含まれるが、これに限られるものではなく、複数のカテゴリが含まれるものであってもよい。

【0026】

図１の説明に戻る。表示制御部２２１は、構造物表示装置２００において情報の表示を制御する。具体的には、表示制御部２２１は、地図情報の表示と非表示、地図への重畳表示の方法、表示内容の取捨選択等について、各種の表示画面および設定値に基づいて表示制御を行う。

【0027】

視線検知装置制御部２２２は、視線検知装置１００との通信接続を制御し、視線検知装置１００との間で、検知情報に関する送受信を制御する。

【0028】

現在位置算出部２２３は、構造物表示装置２００の現在地を算出する。具体的には、現在位置算出部２２３は、ＧＰＳ等により取得した位置情報の座標を用いて、マップマッチング処理等の調整処理を行い現在位置として推定される位置を示す座標を算出する。

【0029】

目視対象特定部２２４は、目視した対象を特定する。具体的には、目視対象特定部２２４は、視線検知装置１００により視線を検知した対象が目視する構造物を特定する。例えば、目視対象特定部２２４は、現在位置を原点とする目視位置座標を算出し、車両の現在位置の緯度経度と進行方向および速度とを特定し、現在位置の緯度経度を加味して目視位置の絶対位置となる緯度経度と高さを特定する。なお、当該目視位置の高さは、水平面に対する運転者の顔の上向きの度合いである仰角を推定し、視線方向に存在する構造物の階数を水平面に対する仰角に応じて推定する。

【0030】

構造物情報取得部２２５は、構造物の情報を取得する。具体的には、構造物情報取得部２２５は、目視対象特定部２２４により特定した緯度経度及び高さの情報を用いて、構造物情報記憶部２３１の位置２３１Ｃ、階２３１Ｄを検索して、構造物識別子２３１Ａと、構造物名２３１Ｂと、位置２３１Ｃと、階２３１Ｄと、構造物カテゴリ２３１Ｅと、を取得する。

【0031】

関連構造物情報取得部２２６は、関連する構造物の情報を取得する。具体的には、関連構造物情報取得部２２６は、構造物情報取得部２２５により特定した構造物と同様のカテゴリに属する構造物を関連構造物として特定し、当該関連構造物の情報を取得する。具体的には、関連構造物情報取得部２２６は、構造物情報取得部２２５により特定した構造物の構造物カテゴリ２３１Ｅの情報を用いて、近隣すなわち現在位置から所定の範囲内（例えば、２ｋｍ以内等の）における構造物情報記憶部２３１の位置２３１Ｃ、階２３１Ｄを検索して、構造物識別子２３１Ａと、構造物名２３１Ｂと、位置２３１Ｃと、階２３１Ｄと、構造物カテゴリ２３１Ｅと、を取得する。

【0032】

なお、上述したが、上記の構造物表示システムは、視線検知装置１００と、構造物表示装置２００と、が別の装置として分かれているが、これに限られるものではない。すなわち、視線検知装置１００と、構造物表示装置２００とは、単一の装置であってもよい。

【0033】

図３は、視線検知装置１００のハードウェア構造を示す図である。視線検知装置１００は、入力受付装置１０１と、演算装置１０２と、通信装置１０３と、主記憶装置１０４と、視線移動量検知装置１０５と、傾き検知装置１０６と、これらをつなぐバス１０８と、を含んで構成される。

【0034】

入力受付装置１０１は、ハードウェアボタンやタッチパネル等の各種入力装置である。なお、この入力受付装置１０１は、構造物表示装置２００の入出力の装置と共用されるものであってもよいし、独立しているものであってもよい。

【0035】

演算装置１０２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置である。

【0036】

通信装置１０３は、ネットワーク等を介して、例えば構造物表示装置２００等の他の装置と通信経路を確立し情報を送受信するネットワークモジュール等の装置である。

【0037】

主記憶装置１０４は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリ装置である。

【0038】

視線移動量検知装置１０５は、人間の瞳（角膜）が有する電荷を検知して、基準位置からの電荷の位置の変化の方向と量に応じて視線の変化の方向と量とを検知する。

【0039】

傾き検知装置１０６は、３次元空間における互いに直交する３軸（ヨー、ロール、ピッチ）を基準とする傾きを取得する。なお、傾き検知装置１０６は、当該傾きの基準位置を顔の正面に設定してキャリブレーションすることで、得られた傾きの値は正面からの相対的な顔の向きとして用いることができる。また、本実施形態においては、視線検知装置１００は眼鏡型ウェアラブルコンピュータを想定しているため、図３に示すように装着時の正面方向を示す軸と、左右方向を示す軸と、鉛直方向を示す軸と、の３軸を回転軸の基準として、それぞれロール、ピッチ、ヨーの回転角を得ることで顔の傾きを特定することができる。

【0040】

上記した制御部１２０の各機能部、すなわち視線検知制御部１２１、キャリブレーション実施部１２２、情報送信部１２３は、演算装置１０２が所定のプログラムを読み込み実行することにより構築される。そのため、主記憶装置１０４には、各機能部の処理を実現するためのプログラムが記憶されている。

【0041】

なお、上記した各構成要素は、視線検知装置１００の構成を、理解を容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。視線検知装置１００の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

【0042】

また、各機能部は、ＣＰＵに限らずハードウェア（ＡＳＩＣ、ＧＰＵなど）により構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

【0043】

図４は、構造物表示装置２００のハードウェア構造を示す図である。構造物表示装置２００は、入力受付装置２０１と、演算装置２０２と、通信装置２０３と、主記憶装置２０４と、加速度検知装置２０５と、傾き検知装置２０６と、車速検知装置２０７と、位置検知装置２０８と、出力表示装置２０９と、これらをつなぐバス２１０と、を含んで構成される。

【0044】

入力受付装置２０１は、ハードウェアボタンやタッチパネル等の各種入力装置である。なお、この入力受付装置２０１は、視線検知装置１００の入出力の装置と共用されるものであってもよいし、独立しているものであってもよい。

【0045】

演算装置２０２は、例えばＣＰＵなどの演算装置である。

【0046】

通信装置２０３は、ネットワーク等を介して、例えば視線検知装置１００等の他の装置と通信経路を確立し情報を送受信するネットワークモジュール等の装置である。

【0047】

主記憶装置２０４は、例えばＲＡＭなどのメモリ装置である。

【0048】

加速度検知装置２０５は、例えば構造物表示装置２００が搭載された移動体の加速度を検知する装置である。

【0049】

傾き検知装置２０６は、視線検知装置１００の傾きの情報を取得して、顔の傾きを検知する装置である。

【0050】

車速検知装置２０７は、例えば構造物表示装置２００が搭載された移動体の速度を検知する装置である。この速度は、移動体の移動距離と経過時間から取得する速度であってもよいし、移動体の駆動系の所定の部材の運動量（例えば、所定時間内のタイヤの径と回転量）により得る速度であってもよいし、移動体の加速度の積分計算により得る速度であってもよい。

【0051】

位置検知装置２０８は、例えばＧＰＳ等の衛星波を受信して地球上における位置を特定する座標を得る。

【0052】

出力表示装置２０９は、例えば液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示出力を行う装置である。

【0053】

上記した制御部２２０の各機能部、すなわち表示制御部２２１、視線検知装置制御部２２２、現在位置算出部２２３、目視対象特定部２２４、構造物情報取得部２２５、関連構造物情報取得部２２６は、演算装置２０２が所定のプログラムを読み込み実行することにより構築される。そのため、主記憶装置２０４には、各機能部の処理を実現するためのプログラムが記憶されている。

【0054】

なお、上記した各構成要素は、構造物表示装置２００の構成を、理解を容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。構造物表示装置２００の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

【0055】

また、各機能部は、ＣＰＵに限らずハードウェア（ＡＳＩＣ、ＧＰＵなど）により構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

【0056】

［動作の説明］次に、視線検知装置１００と構造物表示装置２００とを接続する際に実施する視線検知装置接続処理の動作について説明する。

【0057】

図５は、視線検知装置接続処理の流れを示す図である。視線検知装置接続処理は、視線検知装置１００と構造物表示装置２００とを接続する際に開始される。

【0058】

まず、視線検知装置制御部２２２は、視線検知装置１００からの接続要求を受け付けると、通信接続を開始させる処理を行う（ステップＳ００１）。具体的には、視線検知装置制御部２２２は、視線検知装置１００が有する接続用のＩＤ等を視線検知装置１００から取得して、通信プロトコルに従ったセッションを確立する。

【0059】

そして、視線検知制御部１２１は、視線検知装置１００の基準値計測を行う（ステップＳ００２）。具体的には、視線検知制御部１２１は、装着者の瞳（角膜）が有する電荷を検知して、電荷の位置の変化の方向と量に応じて視線の変化の方向と量とを検知する。また、視線検知制御部１２１は、３次元空間における互いに直交する３軸を基準とする視線検知装置１００の傾きを顔の向きとして検知する。

【0060】

そして、キャリブレーション実施部１２２は、基準値の補正処理を行う（ステップＳ００３）。具体的には、キャリブレーション実施部１２２は、視線検知制御部１２１が検知する視線について、通常時の正面方向の視線となる原点の補正を行う。すなわち、原点においては電荷の位置の変化量がゼロとなるよう、電荷の位置の方向と量とを修正する。また、キャリブレーション実施部１２２は、視線検知制御部１２１が検知する視線検知装置１００の傾きについて、通常時の正面方向の基準位置の補正を行う。すなわち、基準位置においては３軸の傾き量がゼロとなるよう、方向ごとの検知電圧を修正する。

【0061】

以上が、視線検知装置接続処理の流れである。視線検知装置接続処理によれば、視線検知装置と構造物表示装置２００とを接続し、キャリブレーションにより傾きと視線の基準位置を特定することができる。

【0062】

図６は、構造物情報表示処理の流れを示す図である。構造物情報表示処理は、構造物表示装置２００が起動し、かつ、視線検知装置接続処理が行われた状態において、所定のタイミングで（あるいは１秒ごと等の所定の間隔で）開始される。

【0063】

まず、目視対象特定部２２４は、現在位置を原点とする目視位置座標を算出する（ステップＳ１０１）。具体的には、目視対象特定部２２４は、車両の進行方向に対する視線の角度（以降、相対角Α（アルファ）とする）を特定するために、キャリブレーション実施時の方角からの視線の角度（以降、視線角度Θ（シータ）とする）と、キャリブレーション実施時の角度からみた真北の角度（以降、キャリブレーション角度Γ（ガンマ）とする）と、真北からみた進行方向の角度（以降、進行角Β（ベータ）とする）と、を用いて、下式（１）を用いる。

【0064】

Α＝Θ−（Β＋Γ）・・・式（１）

【0065】

そして、目視対象特定部２２４は、式（１）にて算出した相対角Αに対して、顔の垂直軸からの回転角を示すヨー角を加算することで、目視位置の補正を行う。

【0066】

そして、目視対象特定部２２４は、現在位置を原点とする目視位置の座標Ｐ（ｘ，ｙ，ｚ）を求める。この座標Ｐ（ｘ，ｙ，ｚ）については、目視対象特定部２２４が、下式（２）、（３）、（４）にて算出するｘ、ｙ、ｚのそれぞれの値を用いて算出する。なお、下式（２）、（３）、（４）において、αは原点Ｏ（０，０，０）とＰｘｚ（ｘ，０，ｚ）を結ぶ線分ＯＰｘｚが正面方向のＺ軸となす角度であり、βは原点Ｏ（０，０，０）とＰｙｚ（０，ｙ，ｚ）を結ぶ線分ＯＰｙｚが正面方向のＺ軸となす角度である。

【0067】

（ただし、ｘは、αが−９０度以上０度未満の場合はマイナス、０度より大きく９０度以下の場合はプラスの値を取るものとする）・・・式（２）

【0068】

（ただし、ｙは、βが−９０度以上０度未満の場合はマイナス、０度より大きく９０度以下の場合はプラスの値を取るものとする）・・・式（３）

【0069】

【0070】

そして、目視対象特定部２２４は、現在の速度に基づいて目視点の地図上の現在位置からみた位置を特定する。上述の原点ＯからＰまでの距離は、現在位置から目視位置までの距離となるが、運転中のドライバーの目視位置までの距離は、一般に車速によって異なる（高速になれば目視点は遠くなる）ことが多い。すなわち、一般的には、運転者は、低速となる速度１０キロメートル／時における走行では、高速となる速度５０キロメートル／時における走行よりも近くを見る傾向にあるといえる。

【0071】

そこで、本実施形態においては、一般的な運転者を想定し、数秒後に到達するであろう位置を目視することが多いと考え、上述の原点ＯからＰまでの距離を、２秒間に進む距離であると推定して扱うものとする。ただし、個人差を吸収するため、構造物表示装置２００の可変の設定値として扱い、当該時間をカスタマイズ可能とする。または、上記設定値は、昼間と夜間、快晴時と雨天時等の確保できる視野の多寡によって所定の重み付けを行って、増減させるようにしてもよい。このようにすることで、目視位置の推定精度をより高めることが可能となる。

【0072】

また、このように、上述の原点ＯからＰまでの距離を、２秒間に進む距離であると推定して扱うと、現在の車速に応じた目視対象の相対座標を特定することができるようになる。

【0073】

次に、目視対象特定部２２４は、車両の現在位置の緯度経度と方向とを取得する（ステップＳ１０２）。具体的には、目視対象特定部２２４は、現在位置算出部２２３に依頼して、現在位置を特定する情報として、緯度（ｌａｔ）、経度（ｌｏｎ）、向き（ｄｉｒ）を取得する。なお、ｌａｔは北緯を正として、南緯の場合にはマイナス符号をつけ、ｌｏｎは東経方向を正として、西経の場合にはマイナス符号をつけ、ｄｉｒは真北を０度として東方向への回転を正方向として情報を得るが、これに限られるものではないことは言うまでもない。

【0074】

次に、目視対象特定部２２４は、現在位置の緯度経度を加味して目視位置の緯度経度と高さを特定する（ステップＳ１０３）。具体的には、まず、目視対象特定部２２４は、座標系を東西南北の座標系に変換する。その方法としては、高さについてのＹ軸方向は無視して、ＸＺ平面上のＰｘｚ（ｘ，ｚ）を原点Ｏを中心にｄｉｒだけ回転させることで得る。そして、目視対象特定部２２４は、目視位置の座標の単位をメートル法による距離から、緯度経度を示す角度に変換する。そして、目視対象特定部２２４は、目視位置の緯度経度を決定する。その方法としては、上記の緯度経度を示す角度に変換した目視位置の座標に、現在位置を示す緯度経度であるｌａｔ、ｌｏｎをｚ軸、ｘ軸の座標のそれぞれに加算する。そして、目視対象特定部２２４は、目視位置の高さを決定する。具体的には、目視対象特定部２２４は、高さ方向のｙ軸の座標を高さとして決定する。

【0075】

次に、構造物情報取得部２２５は、目視位置の緯度経度と高さから構造物情報を検索して特定する（ステップＳ１０４）。具体的には、構造物情報取得部２２５は、構造物情報記憶部２３１の位置２３１Ｃを参照して、目視位置の緯度経度と高さに該当する構造物を特定する。なお、構造物情報取得部２２５は、目視位置の緯度経度と高さに該当する構造物が存在しない場合には、所定の範囲内（例えば、目視位置から３０ｍ以内等）の別の構造物を特定するようにしてもよい。このようにすることで、目視位置の特定に若干の誤差があっても適切に構造物を特定することができるようになる。なお、構造物情報取得部２２５は、構造物情報記憶部２３１の参照に関わらず、あるいは参照できない場合に、インターネット等に構造物の情報を提供している所定のサーバー等へ構造物情報を問い合わせるようにしてもよい。

【0076】

そして、表示制御部２２１は、目視位置に構造物情報があったか否かを判定する（ステップＳ１０５）。具体的には、表示制御部２２１は、構造物情報取得部２２５がステップＳ１０４において構造物情報を特定できたか否かを判定する。特定できていなかった場合（ステップＳ１０５にて「Ｎｏ」の場合）には、表示制御部２２１は、構造物情報表示処理を終了させる。

【0077】

目視位置に構造物情報があった場合（ステップＳ１０５にて「Ｙｅｓ」の場合）には、表示制御部２２１は、目視位置の構造物情報を出力する（ステップＳ１０６）。具体的には、表示制御部２２１は、ステップＳ１０５にて特定した構造物情報を、当該構造物の周辺の地図情報に重畳させて表示する。なお、表示制御部２２１は、ステップＳ１０５にて特定した構造物情報を音声により出力してもよい。

【0078】

そして、関連構造物情報取得部２２６は、目視した構造物と同じカテゴリの構造物情報があるか否かを判定する（ステップＳ１０７）。具体的には、関連構造物情報取得部２２６は、構造物情報取得部２２５がステップＳ１０４において特定した構造物情報記憶部２３１の構造物カテゴリ２３１Ｅと同じカテゴリに含まれる構造物を、構造物情報記憶部２３１から検索して特定する。なお、関連構造物情報取得部２２６は、構造物カテゴリ２３１Ｅの完全一致をもって、目視した構造物と同じカテゴリの構造物情報があると判定するようにしてもよい。あるいは、上位のカテゴリに属する構造物があれば同じカテゴリの構造物情報があると判定するようにしても良い。例えば、「イタリア料理店」のカテゴリについて、上位のカテゴリとして「レストラン」が有る場合に、当該上位のカテゴリである「レストラン」に属する構造物があれば、当該構造物を同じカテゴリの構造物情報であるとみなすようにしてもよい。目視した構造物と同じカテゴリの構造物情報がない場合（ステップＳ１０７にて「Ｎｏ」の場合）には、関連構造物情報取得部２２６は、構造物情報表示処理を終了させる。なお、関連構造物情報取得部２２６は、構造物情報記憶部２３１の参照に関わらず、あるいは参照できない場合に、インターネット等に構造物の情報を提供している所定のサーバー等へ構造物情報を問い合わせるようにしてもよい。

【0079】

次に、同じカテゴリに属する構造物情報があった場合（ステップＳ１０７にて「Ｙｅｓ」の場合）には、表示制御部２２１は、目視位置の構造物と同じカテゴリに属する構造物情報を出力する（ステップＳ１０８）。具体的には、表示制御部２２１は、ステップＳ１０７にて特定した目視位置の構造物と同じカテゴリに属する構造物情報を、当該構造物の周辺の地図情報に重畳させて表示する。なお、表示制御部２２１は、ステップＳ１０７にて特定した目視位置の構造物と同じカテゴリに属する構造物情報を音声により出力してもよい。

【0080】

以上が、構造物情報表示処理の流れである。構造物情報表示処理によれば、視線検知装置により検知した運転者の視線が示す先の構造物を特定し、当該構造物の情報および関連する構造物についての情報も表示することができる。

【0081】

図７は、構造物情報表示処理により生成される情報の例を示す図である。図７には、構造物情報表示処理のステップＳ１０６において構造物表示装置２００により表示される地図画面３００が示されている。地図画面３００には、自車位置を示すカーマーク３０１と、自車から所定の範囲内の地図とが示される。また、視線の先にあるレストランについて、吹き出しによる当該レストランの名称表示３０２と、地図画面３００の左下の所定の位置に当該レストランの名称表示３１０と、レストランに係る食事のカテゴリ等の詳細情報の表示指示を受け付ける詳細表示指示受付領域３１１と、が表示される。詳細表示指示受付領域３１１は、名称表示３１０内に配されるのが望ましい。

【0082】

図８は、構造物情報表示処理により生成される情報の別の例を示す図である。図８には、構造物情報表示処理のステップＳ１０８において構造物表示装置２００により表示される地図画面４００が示されている。地図画面４００には、自車位置を示すカーマークと、自車から所定の範囲内の地図とが示される。また、視線の先にあるレストランについて、吹き出しによる当該レストランの名称表示３０２と、地図画面４００の左下の所定の位置に当該レストランの名称表示およびレストランに係る食事のカテゴリ等の詳細情報の表示指示を受け付ける詳細表示指示受付領域と、が表示されるのに加え、関連する構造物の情報が表示される。

【0083】

関連する構造物の情報は、図８に示す地図画面４００においては、関連する構造物が付近に２件あることを示す存在表示３２０と、その２件の構造物についての名称３２１と、が含まれる。また、名称３２１のそれぞれに対応付けられて、詳細情報の表示指示をそれぞれ受け付ける詳細表示指示受付領域３３１、詳細表示指示受付領域３３２と、が含まれる。

【0084】

詳細表示指示受付領域３３１または詳細表示指示受付領域３３２のいずれかに入力を受け付けると、表示制御部２２１は、入力を受け付けた構造物についての詳細を表示する詳細表示画面への遷移処理を行う。詳細表示画面においては、構造物の施設名とカテゴリー、場所、自車位置からの距離等の詳細情報を表示する詳細表示領域３４０が表示されるとともに、当該構造物を目的地として設定して経路誘導を行うか否かの指示を受け付ける目的地設定指示入力領域３４２およびその操作案内の文章を表示する案内表示領域３４１と、が表示される。ここで、目的地設定指示入力領域３４２に入力指示を受け付けると、表示制御部２２１は、図示しない経路探索等の処理を行い、経路誘導を開始する。

【0085】

図９は、構造物情報表示処理により生成される情報のさらに別の例を示す図である。図９では、目視した構造物が上層階（地上１階よりも上の階）の場合には、目視した階に相当する構造物をその階とともに表示する画面の例である画面４５０が示されている。

【0086】

画面４５０には、自車位置を示すカーマーク３０１と、自車から所定の範囲内の地図とが示される。また、視線の先にある地上３階にある雑貨店について、吹き出しによる当該雑貨店の名称と階数を示す構造物表示４５１と、画面４５０の左下の所定の位置に当該雑貨店の名称表示４６０と、雑貨店に係る店舗のカテゴリ等の詳細情報の表示指示を受け付ける詳細表示指示受付領域４６１と、が表示される。詳細表示指示受付領域４６１は、名称表示４６０内に配されるのが望ましい。

【0087】

なお、構造物表示４５１の階数を示す領域は、左右へのスライド入力を受け付けることが可能であり、表示制御部２２１は、スライド入力を受け付けた方向に応じて、階数を増減させて該当する階に存在する構造物の名称へと表示を変更する。すなわち、例えば右方向へスライドを一度受け付けると、表示制御部２２１は、「４Ｆ」の表示へと変えつつ、４階にある構造物の名称を雑貨店の表示に代えて表示する。

【0088】

以上が、実施形態に係る構造物表示システムである。上記の実施形態によれば、視線方向にある構造物の表示情報を視線に追随させて適切に生成することができるといえる。

【0089】

ただし、本発明は、上記の実施形態に制限されない。上記の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。

【0090】

例えば、上記の実施形態においては、視線検知装置１００は視線を細かに検知し、構造物表示装置２００はこれに追随させて構造物の情報を表示させたが、これに限られない。例えば、構造物表示装置２００は、一定回数以上連続して同じ構造物に視線が検知された場合に、その構造物の情報を表示させるようにしても良い。このようにすることで、安全確認のために周囲に視線を素早く巡らせる場合等に構造物の情報を無駄に表示させることを避けることができる。

【0091】

また例えば、上記の実施形態においては、構造物表示装置２００は、視線の先にある構造物が信号機の場合には、信号機の名称等を表示することに代えて、付近の信号や道路の看板の情報を表示するようにしてもよい。このようにすることで、運転者が周囲の交通情報を得やすくなる。

【0092】

また例えば、上記の実施形態においては、構造物表示装置２００は、検知した視線に追随させて構造物の情報を表示させたが、これに限られない。例えば、一度表示した構造物の情報を、次に赤信号等により停止した際に、以前の赤信号以降表示した構造物を一覧にまとめて表示させるようにしても良い。このようにすることで、運転中に見落とした構造物の情報を、停止中にまとめて確認できるため、見落としに早く気付くことができる。

【0093】

また例えば、上記の実施形態においては、構造物表示装置２００は、視線に追随させて構造物の情報をすべて表示させたが、これに限られない。例えば、運転者が事前に設定したカテゴリに属する構造物に限定して表示するようにしても良い。このようにすることで、不要な構造物の情報を表示することを避けることができる。

【0094】

また例えば、さらに、構造物表示装置２００は、運転者等が事前に設定したカテゴリに属する構造物に限定して表示する動作モードと、限定せずに表示する動作モードとを、加重センサー等による同乗者の検知有無に応じて切り替えるようにしても良い。このようにすることで、同乗者から運転者のプライバシーを保護することができる。

【0095】

以上、本発明について、実施形態を挙げて説明した。しかし、これに限られず、上記実施形態に記載した特徴的な処理について、別の機器に適用する（例えば、着脱可能なスマートフォンやタブレット装置等の携帯端末等に適用する）ことも可能である。

【符号の説明】

【0096】

５０・・・アンテナ、１００・・・視線検知装置、１２０・・・制御部、１２１・・・視線検知制御部、１２２・・・キャリブレーション実施部、１２３・・・情報送信部、１５０・・・アンテナ、２００・・・構造物表示装置、２２０・・・制御部、２２１・・・表示制御部、２２２・・・視線検知装置制御部、２２３・・・現在位置算出部、２２４・・・目視対象特定部、２２５・・・構造物情報取得部、２２６・・・関連構造物情報取得部、２３０・・・記憶部、２３１・・・構造物情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】