特開 2024-176878 案内出力方法及び案内出力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176878

(43)【公開日】2024-12-19

(54)【発明の名称】案内出力方法及び案内出力装置

(51)【国際特許分類】

   G01C 21/36 20060101AFI20241212BHJP

   G08G 1/0969 20060101ALI20241212BHJP

【ＦＩ】

G01C21/36

G08G1/0969

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023095725

(22)【出願日】2023-06-09

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(71)【出願人】

【識別番号】500433225

【氏名又は名称】学校法人中部大学

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】大久保 翔太

(72)【発明者】

【氏名】山下 隆義

(72)【発明者】

【氏名】藤吉 弘亘

(72)【発明者】

【氏名】平川 翼

【テーマコード（参考）】

2F129

5H181

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129EE02

2F129EE35

2F129EE43

2F129EE78

2F129EE79

2F129EE80

2F129EE91

2F129EE92

2F129GG17

2F129GG18

2F129HH02

2F129HH12

5H181AA01

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF14

5H181FF22

5H181FF27

5H181FF33

(57)【要約】

【課題】ユーザの視線に合わせて、ユーザ周囲の対象を用いた案内文を出力できる案内出力方法及び案内出力装置を提供することである。
【解決手段】案内出力装置は、ユーザの周囲環境を含む周囲情報とユーザの視線情報とに基づいて、ユーザ周囲に位置する周囲対象と、周囲対象間の関係性とを表現したグラフ構造であって、ユーザの視線方向に位置する少なくともひとつの周囲対象を重みづけしたグラフ構造を算出し、グラフ構造に基づいて、周囲対象を用いた案内文を生成し、案内文を出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

案内出力装置によって実行される案内出力方法であって、
前記案内出力装置は、
ユーザの周囲環境を含む周囲情報と前記ユーザの視線情報とを取得し、
前記周囲情報及び前記視線情報に基づいて、前記ユーザ周囲に位置する周囲対象と、前記周囲対象間の関係性とを表現したグラフ構造であって、前記ユーザの視線方向に位置する少なくともひとつの前記周囲対象を重みづけしたグラフ構造を算出し、
前記グラフ構造に基づいて、前記周囲対象を用いた案内文を生成し、
生成した前記案内文を出力する案内出力方法。

【請求項2】

請求項１に記載の案内出力方法であって、
前記案内出力装置は、
前記周囲情報及び前記視線情報を一定の周期で取得し、
前記周囲情報及び前記視線情報に基づいて、時系列順に前記グラフ構造を算出し、
時系列順に算出した前記グラフ構造に基づいて、前記案内文を生成する案内出力方法。

【請求項3】

請求項１又は２に記載の案内出力方法であって、
前記案内出力装置は、
前記グラフ構造の特徴量を算出し、
算出した前記特徴量に基づいて、前記案内文を生成する案内出力方法。

【請求項4】

請求項３に記載の案内出力方法であって、
前記案内出力装置は、
算出した前記特徴量を含む入力データを案内用学習済みモデルに入力し、
前記案内用学習済みモデルから、前記入力データに対応する出力データとして、前記案内文を出力させることで、前記案内文を生成し、
前記案内用学習済みモデルは、前記周囲情報と前記案内文とを含む教師データに基づいて、前記案内文を出力するための学習がされた学習済みモデルであって、前記教師データに含まれる前記周囲情報に基づいて前記グラフ構造を算出し、算出した前記グラフ構造の特徴量に基づいて学習する案内出力方法。

【請求項5】

請求項１又は２に記載の案内出力方法であって、
前記案内出力装置は、
視線推定用学習済みモデルに前記周囲情報を含む入力データを入力し、
前記視線推定用学習済みモデルから、前記入力データに対応する出力データとして、前記周囲環境に対する前記ユーザの視線方向を含む前記視線情報を出力させることで、前記視線情報を取得し、
前記視線推定用学習済みモデルは、前記周囲情報と、前記周囲環境に対する前記ユーザの視線方向を含む前記視線情報とを含む教師データに基づいて、前記ユーザの視線情報を出力するように学習がされた学習済みモデルである案内出力方法。

【請求項6】

ユーザの周囲環境を含む周囲情報と前記ユーザの視線情報とを取得する取得部と、
前記周囲情報及び前記視線情報に基づいて、前記ユーザ周囲に位置する周囲対象と、前記周囲対象間の関係性とを表現したグラフ構造であって、前記ユーザの視線方向に位置する少なくともひとつの前記周囲対象を重みづけしたグラフ構造を算出するグラフ構造算出部と、
前記グラフ構造に基づいて、前記周囲対象を用いた案内文を生成する生成部と、
生成した前記案内文を出力する出力部と、を備える案内出力装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、案内出力方法及び案内出力装置に関する。

【背景技術】

【0002】

複数のランドマーク各々に属性を付与して記憶し、自車の走行環境を認識し、複数のランドマークのうち、認識された走行環境に適した属性が付与されているランドマークを選択し、選択されたランドマークを用いて自車の経路誘導を行う技術が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７－９８８００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る技術では、特定の走行環境に対して経路誘導に用いるランドマークの属性が事前に決まっているため、ユーザの視線に合わせて、ユーザ周囲の対象を用いた案内文を出力できないという問題がある。

【0005】

本発明が解決しようとする課題は、ユーザの視線に合わせて、ユーザ周囲の対象を用いた案内文を出力できる案内出力方法及び案内出力装置を提供することである。

【課題を解決するための手段】

【0006】

本発明は、ユーザの周囲環境を含む周囲情報とユーザの視線情報とに基づいて、ユーザ周囲に位置する周囲対象と、周囲対象間の関係性とを表現したグラフ構造であって、ユーザの視線方向に位置する少なくともひとつの周囲対象を重みづけしたグラフ構造を算出し、グラフ構造に基づいて、周囲対象を用いた案内文を生成し、案内文を出力することによって上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、ユーザの視線に合わせて、ユーザ周囲の対象を用いた案内文を出力できる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態に係る案内出力装置を含む経路案内システムのブロック図である。

【図2】本実施形態において周囲画像から視線重みづけグラフ構造（シーングラフ）を算出する一例を示す図である。

【図3】本発明の実施形態に係る案内出力方法を実行する制御手順の一例を示すフローチャート図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る案内出力方法及び案内出力装置を経路案内システムに適用した例を用いて説明する。

【0010】

図１は、本実施形態に係る案内出力装置１０を備える経路案内システム１００のブロック図である。図１に示すように、経路案内システム１００は、車両１と、位置取得装置２と、車外センサ３と、視線推定装置４と、データベース５と、案内出力装置１０とを含む。位置取得装置２、車外センサ３、視線推定装置４、データベース５、及び案内出力装置１０は、車両１に搭載され、ＣＡＮ等の車載ネットワークを介して互いに情報の授受を行う。経路案内システム１００では、案内出力装置１０は、車両１に乗車するユーザに、ユーザの現在位置から目的地までの経路案内をするための案内文を出力する。案内出力装置１０は、例えば、車両１に搭載されているナビゲーション装置である。

【0011】

本実施形態では、案内出力装置１０を車載のナビゲーション装置として説明するが、これに限らず、ユーザによって携帯される端末装置であってもよい。すなわち、ユーザが車両１に乗車せずに徒歩、自転車等で移動する際に経路案内を行うこととしてもよい。また、本実施形態では、経路を案内するための案内文を出力する案内出力装置を例に説明するが、これに限らず、ユーザ周囲の対象に関する案内をするための案内文を出力する案内出力装置であればよい。例えば、案内出力装置１０は、観光スポットなどの周囲対象に関する観光案内をするための案内文を出力してもよい。

【0012】

本実施形態では、案内出力装置１０は、車両１が案内地点に接近している場合に、出力装置１３を介して、案内地点における進行方向を含む案内文をユーザに出力する。案内地点は、ユーザに経路案内が必要となる地点であって、例えば、交差点、分岐点、高速道路のインターチェンジなど、進入可能な経路が二以上存在する地点である。進入可能な経路が二以上存在する地点以外でも、必要であれば、ユーザの進行方向を正確に誘導するための地点を案内地点として設定しておくことができる。すなわち、案内出力装置１０は、案内地点として、車両の進行方向を正確に誘導するための地点を予め決定しておいて、利用することができる。案内地点における進行方向は、例えば、右折、左折、又は、直進である。

【0013】

案内文は、例えば、「前方の救急車に追従して交差点を直進してください。」というようなテキストである。本実施形態では、案内文には、案内地点を示す語句と、案内地点における進行方向を示す語句とを含む。上記の例では、案内地点は「交差点」、案内地点における進行方向は「直進」である。また、案内文では、案内地点及び進行方向をユーザにより分かりやすく伝えるため、ユーザ周囲の対象を目印に用いた語句を含む。当該語句は、例えば、周囲の対象と、周囲の対象に対するユーザの行動とを含む。上記の例では、ユーザ周囲の対象を目印に用いた語句は「前方の救急車に追従して」である。案内文は、後述のとおり、学習済みモデルを用いて生成される。

【0014】

位置取得装置２は、ユーザの位置情報を取得する。本実施形態では、位置取得装置２は、車両１の位置情報をユーザの位置情報として取得する。位置取得装置２は、例えば、ＧＰＳ衛星から、車両１の位置情報を取得する。車両１の位置情報の一例としては、緯度及び経度の情報が挙げられる。位置取得装置２は、予め定められた所定の周期ごとに、ＧＰＳ衛星からの位置情報を取得する。ユーザが車両１に乗車して移動している間、ユーザの位置情報は、車両１の移動に伴い変更される。

【0015】

車外センサ３は、ユーザ周囲に位置する周囲対象を含む周囲環境を検出する。車外センサ３は、例えば、車両１に設置されたカメラであって、ＣＣＤ、ＣＭＯＳなどの撮像素子を備えるカメラを用いることとしてもよい。車外センサ３は、周囲対象を含む周囲環境を撮像した周囲画像を取得する。例えば、車外センサ３は、所定の周期で、車両１の進行方向前方の周囲環境を検出する。周囲対象は、ユーザ周囲の周囲環境の中で目印となるものである。例えば、周囲対象は、広告用看板、標識、停止線、信号機、横断歩道、交通制限、街路樹、建物、道路構造物、自車両以外の自動車（他車両）、オートバイ、自転車、歩行者などが含まれる。すなわち、周囲対象は、静的対象物と動的対象物とを含むこととしてもよい。道路構造物は、橋梁、トンネル等を含む。また、周囲対象は、ランドマークを含む。また、周囲対象は、地図データに記憶されているものと、地図データに記憶されていないものとを含む。地図データに記憶されているものは、例えば、コンビニエンスストア、レストラン、ガソリンスタンド等のランドマークを含む。地図データに記憶されていないものは、例えば、建物、道路構造物などの静的対象物、自車両以外の自動車（他車両）等の動的対象物である。

【0016】

また、車外センサ３は、周囲対象が存在する方向及び周囲対象までの距離を検出する。例えば、車外センサ３は、ミリ波レーダー、レーザーレーダー、超音波レーダー、レーザレンジファインダーなどである。また、車外センサ３は、周囲対象が存在する方向及び周囲対象までの距離の時間変化に基づいて、自車両に対する周囲対象の相対速度（移動方向を含む）を検出する。車外センサ３によって検出された周囲環境を含む周囲情報は、所定の周期ごとに、案内出力装置１０に出力される。

【0017】

視線推定装置４は、ユーザの視線推定処理を行う。本実施形態では、視線推定装置４は、ユーザの視線情報を出力するように学習がされた視線推定用学習済みモデルである。視線推定装置４は、周囲情報を含む入力データが入力された場合、周囲環境に対してユーザが視線を向けている視線方向を含む視線情報を出力することで、視線推定処理を行う。推定された視線情報は案内出力装置１０に出力される。視線推定用学習済みモデルは、周囲情報と、周囲環境に対するユーザの視線方向を含む視線情報とを含む教師データに基づいて、視線推定ネットワークにより学習がされる。

【0018】

例えば、教師データは、シミュレーション及び／又は実験によって取得された複数の運転シーンにおける周囲画像（学習用の周囲画像）と、それらの周囲画像に含まれる周囲環境に対して運転者が視線を向けている視線方向を含む視線情報とが対応付けられているデータセットである。学習に用いられる視線情報は、通常運転時に運転者が視線を向ける視線方向に限らず、ナビゲーションを行う際に運転者が注視しやすい対象に意図的に視線を誘導した場合における視線方向を用いることとしてもよい。これによって、ユーザがナビゲーションに適した周囲対象に視線を向けている場合の視線方向の推定が可能となる。

【0019】

例えば、視線推定用学習済みモデルは、Ｄｉｌａｔｅｄ Ｉｎｃｅｐｔｉｏｎ Ｎｅｔｗｏｒｋ（ＤＩＮｅｔ）である。ＤＩＮｅｔは、周囲画像を入力画像として、入力画像の特徴量から視線方向を推定し、推定した視線方向と、教師データに含まれる視線方向とを比較することで、周囲画像における視線方向を学習するエンコーダデコーダネットワークである。ＤＩＮｅｔは、Ｄｉｌａｔｅｄ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ（ＤＲＮ）をエンコーダとして、Ｄｉｌａｔｅｄ Ｉｎｃｅｐｔｉｏｎ Ｍｏｄｕｌｅ（ＤＩＭ）でマルチスケール特徴を補捉した後、デコーダで顕著性マップを生成する。ＤＲＮは、畳み込み層を５０層としたＲｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ（ＲｅｓＮｅｔ）であるＲｅｓＮｅｔ－５０に、拡張畳み込み処理を導入したネットワークである。ＤＲＮは、視線推定に用いられることが多い事前学習済みネットワークであり、同じく視線推定に用いられることの多いＶＧＧ－１６と比較して、広い受容野の特徴マップを獲得できる。また、ＤＲＮは、計算量がＶＧＧ－１６より少ない。ＤＩＭは、ＧｏｏｇＬｅＮｅｔで提案されたＩｎｃｅｐｔｉｏｎモジュールに拡張畳み込み処理を導入したものである。Ｉｎｃｅｐｔｉｏｎモジュールのそれぞれの畳み込み処理を拡張率の異なる拡張畳み込み処理に置き換えることにより、少ないパラメータ数、短い学習時間で同程度またはそれ以上の精度が達成可能である。

【0020】

本実施形態では、周囲環境に対するユーザの視線方向は、周囲環境を撮像した周囲画像においてユーザが注視している注視領域の位置である。注視領域は、矩形の領域として特定される。例えば、視線推定装置４は、周囲画像を入力画像として、周囲画像においてユーザの注視度合いを色の濃淡で表すヒートマップを出力する。ヒートマップでは、注視度合いが高い領域ほど、より濃い色で表示される。視線推定装置４は、周囲画像のヒートマップ上で注視度合いが所定の閾値以上の領域に外接する外接矩形を注視領域として特定する。周囲画像上の注視領域の位置が視線情報として案内出力装置１０に出力される。

【0021】

データベース５は、各種情報を記憶するデータベースである。データベース５は、地図情報を記憶する。地図情報は、少なくとも道路情報を含む。道路情報は、道路の種別（例えば、一般道路、有料道路など）や、交差点、停止線、信号機、及び道路標識の位置を含んでいる。また、地図情報は、コンビニエンスストア、レストラン、ガソリンスタンド等のランドマークの情報を含む。また、地図情報は、経路案内を必要とする案内地点の位置情報を含む。

【0022】

また、データベース５は、学習済みモデルを記憶する。記憶される学習済みモデルは、案内文を出力するための学習がされた案内用学習済みモデルであってもよい。コントローラ１２は、学習済みモデルを取得した場合には、取得した学習済みモデルをデータベース５に記憶させる。本実施形態では、コントローラ１２は、生成部１０３によって学習済みモデルを生成することで、学習済みモデルを取得することとしているが、これに限らず、コントローラ１２は、通信装置１４を介して、外部のサーバから、学習済みモデルを取得することとしてもよいし、ユーザによって学習済みモデルのデータが入力装置１１に入力された場合に、入力された学習済みモデルを取得してもよい。

【0023】

例えば、外部のサーバは、学習済みモデルを管理する装置である。当該サーバは、教師データに基づいて学習済みモデルを生成して、生成した学習済みモデルを記憶する。具体的な生成方法としては、生成部１０３における生成方法が一例として挙げられる。外部のサーバは、ネットワークを介して、案内出力装置１０と互いに情報の授受が可能で、案内出力装置１０に学習済みモデルを送信する。ネットワークは、インターネットやＬＡＮなどの電気通信回線網のことをいい、案内出力装置１０及びサーバの間で情報を授受することができれば、特に限定されず、公知のものを用いることができる。データベース５に記憶された学習済みモデルは、コントローラ１２によって案内文を生成する際に利用される。

【0024】

また、データベース５は、車両１の車両情報を記憶する。車両情報は、車両１の走行情報を含む。車両１の走行情報は、車両１の位置情報と車両１の車速情報とを含む。車両１の位置情報は、一定の周期で更新される。本実施形態では、データベース５には、案内地点に接近中の車両１の走行情報が記憶される。車両情報は、車両１に目的地が設定されている場合には、車両１の目的地の情報を含むこととしてもよい。また、車両情報は、車両１に設定されている経路情報を含む。車両の経路は、車両の現在位置から目的地までの経路である。

【0025】

案内出力装置１０は、ユーザに目的地までの経路案内をするための案内文を出力する装置である。案内出力装置１０は、入力装置１１と、コントローラ１２と、出力装置１３と、通信装置１４とを備える。案内出力装置１０では、コントローラ１２が、位置取得装置２、車外センサ３、視線推定装置４、データベース５、入力装置１１及び通信装置１４から情報を取得し、取得した情報に基づいて、案内文を生成し、出力装置１３を介してユーザに案内文を出力することで、ユーザに目的地までの経路案内を行う。

【0026】

入力装置１１は、ユーザによる入力を受け付ける入力インターフェースである。入力装置１１は、一又は複数の機器で構成される。例えば、入力装置１１は、ユーザが入力可能なステアリングスイッチと、ユーザが音声入力可能なマイクとで構成される。入力装置１１は、タッチパネル又はキーボードを備えることとしてもよい。ユーザが入力装置１１に対して入力する入力情報は、例えば、ユーザの目的地である。また、入力情報は、学習済みモデルを含んでもよい。

【0027】

出力装置１３は、ユーザに情報を出力する出力インターフェースである。ユーザに出力される情報は、例えば、経路の情報である。出力装置１３は、地図、目的地までの経路、現在位置等をユーザに画面表示するとともに、案内出力装置１０によって生成された案内文を画面表示及び／又は音声出力する。出力装置１３は、一又は複数の機器で構成される。例えば、出力装置１３は、画面に表示するディスプレイと、音声データを出力するスピーカとで構成される。ディスプレイとしては、例えば、液晶パネル、有機ＥＬパネルなどが挙げられる。なお、出力装置１３としては、タッチパネル・ディスプレイを用いる場合には、入力装置１１と兼用することができる。

【0028】

通信装置１４は、ネットワークを介して、車両１外部と互いに情報の授受を行う装置である。通信装置１４は、例えば、外部のサーバから、学習済みモデルを受信する。

【0029】

コントローラ１２は、ハードウェア及びソフトウェアを有するコンピュータを備えており、このコンピュータはプログラムを格納したＲＯＭと、ＲＯＭに格納されたプログラムを実行するＣＰＵと、アクセス可能な記憶装置として機能するＲＡＭを含むものである。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡなどを用いることができる。図１に示すように、コントローラ１２は、機能ブロックとして、取得部１０１と、グラフ構造算出部１０２と、生成部１０３と、出力部１０４とを含んで構成され、各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。なお、本実施形態では、コントローラ１２が有する機能を４つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ１２の機能は必ずしも４つのブロックに分ける必要はない。

【0030】

取得部１０１は、各種情報を取得する情報取得処理を行う。情報取得処理では、取得部１０１は、ユーザの周囲環境を含む周囲情報を取得する。取得部１０１は、車外センサ３から、車外センサ３によって検出された周囲情報を取得する。周囲情報は、例えば、周囲対象を含む周囲画像である。

【0031】

また、取得部１０１は、ユーザの視線情報を取得する。ユーザの視線情報は、周囲環境に対するユーザの視線方向を含む。取得部１０１は、視線推定装置４から、視線推定装置４によって推定されたユーザの視線情報を取得する。例えば、取得部１０１は、取得した周囲情報を含む入力データを視線推定装置４に入力し、視線推定装置４から、入力データに対応する出力データとして、周囲環境に対するユーザの視線方向を含む視線情報を出力させることで、視線情報を取得する。周囲環境に対するユーザの視線方向は、周囲画像に含まれる周囲環境においてユーザが視線を向けている方向である。

【0032】

また、本実施形態では、取得部１０１は、ユーザが乗車する車両１が案内地点に接近する場合に、周囲情報及び視線情報を取得する。取得部１０１は、経路情報と地図情報とに基づいて、経路上に位置する案内地点を抽出する。また、車両１が経路に沿って走行を開始すると、取得部１０１は、一定の周期で、位置取得装置２から車両１の現在位置を取得し、車両１の現在位置と、経路上の案内地点の位置とに基づいて、車両１が案内地点に接近するか否かを判定する。例えば、取得部１０１は、車両１が案内地点から所定距離以内の範囲に到達する場合に、車両１が案内地点に接近すると判定する。所定距離は、例えば、車外センサ３の検出可能な距離に相当する距離である。車両１が案内地点に接近すると判定した場合には、取得部１０１は、周囲情報及び視線情報を取得する。すなわち、取得部１０１は、車両１の進行方向前方に位置する案内地点の周囲環境を含む周囲画像と、当該案内地点の周囲環境に対するユーザの視線方向を含む視線情報とを取得する。

【0033】

また、取得部１０１は、車両１が案内地点に接近すると判定した時点から所定時間の間、一定の周期で、周囲画像と、当該周囲画像に対する視線情報とを取得してもよい。所定時間は、例えば、周囲画像の取得を開始してから一定枚数（一定のフレーム数）の周囲画像が取得されるまでの時間である。本実施形態では、取得部１０１は、車両１が案内地点に接近すると判定した時点から所定時間の間、時系列順に連続する２以上の周囲画像と、各時点における周囲画像に対するユーザの視線情報とを含む時系列情報を取得する。

【0034】

グラフ構造算出部１０２は、周囲情報及び視線情報に基づいて、グラフ構造を算出するグラフ構造算出処理を行う。グラフ構造は、ユーザ周囲に位置する周囲対象と、周囲対象間の関係性とを表現するグラフ構造である。グラフ構造は、周囲対象をノードとして、周囲対象間の関係性をノード間のエッジとして有する。当該グラフ構造は、いわゆるシーングラフである。グラフ構造算出処理では、グラフ構造算出部１０２は、周囲画像に対して画像認識処理を行って、周囲画像に含まれる周囲対象を認識する。また、グラフ構造算出部１０２は、近接する周囲対象のノード間をエッジで連結させる。例えば、グラフ構造算出部１０２は、周囲対象間の距離を算出し、距離が所定の閾値以下の周囲対象間をエッジで連結させる。ノードには、例えば、周囲対象のオブジェクトクラス、位置、種類、色の情報が含まれる。オブジェクトクラスは、例えば、自車両、他車両、歩行者などである。エッジには、例えば、周囲対象間の相対距離の情報が含まれる。

【0035】

また、本実施形態では、当該グラフ構造は、シーングラフであって、ユーザの視線方向に位置する少なくともひとつの周囲対象を重みづけしたグラフ構造（以下、視線重みづけグラフ構造とも称する）である。グラフ構造算出部１０２は、視線推定装置４を用いて周囲画像から推定されたユーザの視線情報に基づいて、周囲環境の中でユーザが注視している注視対象となる周囲対象を推定する。例えば、グラフ構造算出部１０２は、視線情報として取得した注視領域に基づき、周囲画像に含まれる周囲対象のうち、注視領域に対応する周囲対象を注視対象として推定する。注視領域に対応する周囲対象は、周囲画像において周囲対象の少なくとも一部分が注視領域内に含まれる周囲対象である。注視対象は、ひとつでもよいし、複数であってもよい。グラフ構造算出部１０２は、注視対象となる周囲対象のノードに重みづけをしたグラフ構造を算出する。

【0036】

ここで、図２を用いて、周囲画像から視線重みづけグラフ構造（シーングラフ）を算出する一例を説明する。図２は、本実施形態において周囲画像から視線重みづけグラフ構造（シーングラフ）を算出する一例を示す図である。図２には、車外センサ３によって取得される周囲画像ＳＩと、周囲画像Ｓ１から変換された俯瞰図Ｂ１と、周囲画像に含まれる周囲対象をノードとしたグラフ構造の図ＳＧとが示される。例えば、図２の場面は、俯瞰図ＢＩで示されるように、自車両Ｖ０が案内地点である交差点ＧＰに接近する場合に、自車両Ｖ０の進行方向前方に他車両Ｖ１が存在する場面である。この場面で、自車両Ｖ０の運転者は他車両Ｖ１に視線を向けるとする。すなわち、他車両Ｖ１が注視対象となる。当該周囲画像ＳＩに対して算出されるグラフ構造では、他車両Ｖ１に対応するノードＮ１に重みづけがされている。以上のように、グラフ構造算出部１０２は、周囲画像ＳＩを取得した場合には、周囲画像Ｓ１に対応するグラフ構造として、ノードＮ１に重みづけしたグラフ構造ＳＧを算出する。

【0037】

また、本実施形態では、グラフ構造算出部１０２は、周囲情報及び視線情報に基づいて、時系列順にグラフ構造を算出することとしてもよい。すなわち、グラフ構造算出部１０２は、時系列順に取得した複数の周囲画像と、各周囲画像に対する視線情報とを含む時系列情報に基づいて、各時点における視線重みづけグラフ構造をそれぞれ算出する。すなわち、各時点の周囲画像に対応する視線重みづけグラフ構造が時系列順に算出される。グラフ構造算出部１０２は、各時点のグラフ構造に含まれる周囲対象と、時系列的に隣接する他の時点のグラフ構造に含まれる同一の周囲対象とを連結するエッジを追加して、時系列情報に基づくグラフ構造（シーンテンポラルグラフ）を算出する。これにより、各周囲対象の位置関係の時系列的な変化を考慮したグラフが算出される。

【0038】

生成部１０３は、グラフ構造算出部１０２によって算出されたグラフ構造に基づいて、周囲対象を用いた案内文を生成する生成処理を行う。案内文は、車両１の現在位置から目的地までの経路に沿って車両１が走行するように経路案内を行うためのテキストである。例えば、案内文は、案内地点において車両１が走行すべき進行方向を含むテキストである。案内文の生成に用いられるグラフ構造は、視線重みづけグラフ構造である。案内文の生成に用いられるグラフ構造は、時系列情報に基づく視線重みづけグラフ構造であってもよい。

【0039】

生成処理においては、まず、生成部１０３は、グラフ構造の特徴量を算出する。例えば、生成部１０３は、グラフ畳み込みニューラルネットワーク（ＧＣＮ）にグラフ構造を入力データとして入力し、ＧＣＮを用いて、グラフ構造の特徴量を出力させる。グラフ構造の特徴量は、グラフ構造に含まれる各ノードの特徴量である。

【0040】

また、案内文の生成に用いられるグラフ構造が、時系列情報に基づく視線重みづけグラフ構造である場合には、生成部１０３は、グラフ構造の特徴量の算出に時空間グラフ畳み込みニューラルネットワーク（ＳＴ－ＧＣＮ）を用いることとしてもよい。例えば、生成部１０３は、時系列情報に基づく視線重みづけグラフ構造をＳＴ－ＧＣＮに入力し、ＳＴ－ＧＣＮを用いて、グラフ構造の特徴量を出力させる。これにより、各周囲対象の移動を考慮した特徴量が取得できる。

【0041】

次に、生成部１０３は、算出したグラフ構造の特徴量に基づいて、案内文を生成する。生成部１０３は、視線重みづけグラフ構造の特徴量を含む入力データを、案内用学習済みモデルに入力し、案内用学習済みモデルから、入力データに対応する出力データとして、案内文を出力させることで、案内文を生成する。案内用学習済みモデルは、視線重みづけグラフ構造の特徴量から注視対象を用いた案内文を生成するための学習がされた学習済みモデルであって、例えば、Ｔｒａｎｓｆｏｒｍｅｒである。生成部１０３は、グラフ構造に含まれる各ノードの特徴量をＴｒａｎｓｆｏｒｍｅｒに入力し、Ｔｒａｎｓｆｏｒｍｅｒから、各周囲対象に対応した案内文を出力させることで、案内文を生成する。

【0042】

また、案内用学習済みモデルは、Ｅｎｄ－ｔｏ－Ｅｎｄ学習をしたニューラルネットワークを用いて、案内文を生成してもよい。当該ニューラルネットワークは、入力層の周囲情報から、出力層の案内文までを一括で学習するネットワークであってもよい。案内用学習済みモデルは、周囲情報と案内文とを含む教師データに基づいて、案内文を出力するための学習がされた学習済みモデルである。案内用学習済みモデルは、教師データに含まれる周囲情報に基づいてグラフ構造を算出し、算出したグラフ構造の特徴量に基づいて学習する。例えば、案内用学習済みモデルでは、グラフ構造の特徴量の算出にＧＣＮが用いられて、案内文の生成にはＴｒａｎｓｆｏｒｍｅｒが用いられる。

【0043】

教師データは、シミュレーション及び／又は実験によって取得された複数の運転シーンにおける周囲画像（学習用の周囲画像）と、周囲画像に含まれる各周囲対象を用いた案内文とが対応付けられているデータセットである。また、各周囲画像は、視線推定によって当該周囲画像に含まれる注視対象が特定されている。教師データに含まれる案内文は、周囲画像内で特定された注視対象を用いた正解の案内文を含む。注視対象は、通常運転時に運転者が視線を向けている周囲対象であってもよいし、ナビゲーションに適した注視対象であってもよい。以上のように、本実施形態では、案内用学習済みモデルは、周囲画像から、周囲画像に含まれる注視対象を用いた案内文を生成するように学習がされた学習済みモデルであって、周囲画像が入力された場合に、周囲画像から推定される注視対象を用いた案内文を出力する。

【0044】

本実施形態では、案内用学習済みモデルは、コントローラ１２で生成部１０３によって生成されることとしているが、これに限らず、外部のサーバで生成されたものが通信装置１４を介して取得されてもよいし、ユーザによって入力装置１１に入力されたものが取得されてもよい。

【0045】

以上のように、本実施形態では、案内出力装置１０は、案内地点における周囲画像の、視線情報と時系列情報を用いたシーングラフに基づいて、案内文を生成するため、案内地点周囲の状況に合わせた案内文を生成できる。これにより、運転者は、出力された案内文から、案内地点における進行方向を直感的に理解しやすい。

【0046】

特に、本実施形態では、視線情報を用いることにより、ユーザの視線に合わせた案内文を生成することができる。すなわち、学習済みモデルが、ユーザの視線方向に位置する周囲対象を用いた案内文を生成するように学習されているため、案内出力装置１０は、当該学習済みモデルを用いて、ユーザの視線に合わせた案内文を生成できる。また、本実施形態では、学習済みモデルが時系列情報を用いて学習しているため、案内出力装置１０は、当該学習済みモデルを用いて、動的な対象を目印にした案内文を生成することができる。一例としては、車両が交差点に接近する場合に、車両の前方に他車両が走行しているときには、前方を走行する他車両に追従して交差点を直進することを含む案内文が生成される。

【0047】

出力部１０４は、生成部１０３によって生成された案内文を出力する。例えば、出力部１０４は、出力装置１３に制御指示を送信し、出力装置１３に案内文を出力させる。

【0048】

次に、図３を用いて、案内出力装置１０によって実行される案内出力方法の制御手順について説明する。図３は、本実施形態に係る案内出力方法を実行する制御手順の一例を示すフローチャート図である。本実施形態では、コントローラ１２は、車両１が経路に沿って走行を開始すると、ステップＳ１０１から制御フローを開始する。

【0049】

ステップＳ１０１では、コントローラ１２は、位置取得装置２から、車両１の現在位置を取得する。ステップＳ１０２では、コントローラ１２は、車両１の現在位置と地図情報とに基づいて、車両１が経路上の案内地点に接近するか否かを判定する。車両１が案内地点に接近すると判定した場合に、コントローラ１２はステップＳ１０３に進む。車両１が案内地点に接近していないと判定した場合に、コントローラ１２はステップＳ１０１に戻って、以下フローを繰り返す。

【0050】

ステップＳ１０３では、コントローラ１２は、車外センサ３から、車両１周囲の周囲対象を含む周囲情報を取得する。周囲情報は、例えば、周囲画像である。周囲画像は、車両１の進行方向前方の案内地点周囲に位置する周囲対象を含む。ステップＳ１０４では、コントローラ１２は、ユーザの視線情報を取得する。例えば、コントローラ１２は、周囲画像に対してユーザの視線方向を推定することで、視線情報を取得する。

【0051】

ステップＳ１０５では、コントローラ１２は、ステップＳ１０３で取得した周囲情報と、ステップＳ１０４で取得した視線情報とに基づいて、グラフ構造を算出する。算出されるグラフ構造は、ユーザ周囲に位置する周囲対象と、周囲対象間の関係性とを表現したグラフ構造であって、ユーザの視線方向に位置する少なくともひとつの周囲対象を重みづけしたグラフ構造である。本実施形態では、グラフ構造は、時系列情報に基づく視線重みづけグラフ構造であってもよい。ステップＳ１０６では、コントローラ１２は、グラフ構造に基づいて、案内文を生成する。例えば、コントローラ１２は、グラフ構造をＧＣＮに入力してグラフ構造の特徴量を算出する。グラフ構造が、時系列情報に基づく視線重みづけグラフ構造である場合には、グラフ構造の特徴量の算出にはＳＴ－ＧＣＮが用いられる。コントローラ１２は、算出したグラフ構造の特徴量をＴｒａｎｓｆｏｒｍｅｒに入力して案内文を出力させることで、案内文を生成する。ステップＳ１０７では、コントローラ１２は、出力装置１３を介して、ステップＳ１０６で生成した案内文を出力する。例えば、コントローラ１２は、出力装置１３に案内文を出力させる制御指示を送信する。出力装置１３は、制御指示に基づき、案内文を画面表示及び／又は音声出力する。

【0052】

以上のように、本実施形態に係る案内出力方法及び案内出力装置は、ユーザの周囲環境を含む周囲情報と前記ユーザの視線情報とを取得し、前記周囲情報及び前記視線情報に基づいて、前記ユーザ周囲に位置する周囲対象と、前記周囲対象間の関係性とを表現したグラフ構造であって、前記ユーザの視線方向に位置する少なくともひとつの前記周囲対象を重みづけしたグラフ構造を算出し、前記グラフ構造に基づいて、前記周囲対象を用いた案内文を生成し、生成した前記案内文を出力する。これにより、ユーザの視線に合わせて、ユーザ周囲の対象を用いた案内文を出力できる。

【0053】

また、本実施形態に係る案内出力方法及び案内出力装置は、前記周囲情報及び前記視線情報を一定の周期で取得し、前記周囲情報及び前記視線情報に基づいて、時系列順に前記グラフ構造を算出し、時系列順に算出した前記グラフ構造に基づいて、前記案内文を生成する。これにより、ユーザが着目している対象を用いた案内文をより精度良く生成できる。

【0054】

また、本実施形態に係る案内出力方法及び案内出力装置は、前記グラフ構造の特徴量を算出し、算出した前記特徴量に基づいて、前記案内文を生成する。これにより、ユーザが着目している対象を用いた案内文をより精度良く生成できる。

【0055】

また、本実施形態に係る案内出力方法及び案内出力装置は、算出した前記特徴量を含む入力データを案内用学習済みモデルに入力し、前記案内用学習済みモデルから、前記入力データに対応する出力データとして、前記案内文を出力させることで、前記案内文を生成し、前記案内用学習済みモデルは、前記周囲情報と前記案内文とを含む教師データに基づいて、前記案内文を出力するための学習がされた学習済みモデルであって、前記教師データに含まれる前記周囲情報に基づいて前記グラフ構造を算出し、算出した前記グラフ構造の特徴量に基づいて学習する。これにより、ユーザが着目している対象を用いた案内文をより精度良く生成できる。

【0056】

また、本実施形態に係る案内出力方法及び案内出力装置は、視線推定用学習済みモデルに前記周囲情報を含む入力データを入力し、前記視線推定用学習済みモデルから、前記入力データに対応する出力データとして、前記周囲環境に対する前記乗員の視線方向を含む前記視線情報を出力させることで、前記視線情報を取得し、前記視線推定用学習済みモデルは、前記周囲情報と、前記周囲環境に対する前記乗員の視線方向を含む前記視線情報とを含む教師データに基づいて、前記乗員の視線情報を出力するように学習がされた学習済みモデルである。これにより、周囲情報からユーザの視線情報を取得できる。

【0057】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【符号の説明】

【0058】

１００…経路案内システム
１０…案内出力装置
１１…入力装置
１２…コントローラ
１０１…取得部
１０２…グラフ構造算出部
１０３…生成部
１０４…出力部
１３…出力装置
１４…通信装置
２…位置取得装置
３…車外センサ
４…視線推定装置
５…データベース

【図1】

【図2】

【図3】