特開 2024-93657 情報処理装置、及び、方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024093657

(43)【公開日】2024-07-09

(54)【発明の名称】情報処理装置、及び、方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240702BHJP

【ＦＩ】

G08G1/16 C

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022210177

(22)【出願日】2022-12-27

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】古賀 光

(72)【発明者】

【氏名】西島 敏文

(72)【発明者】

【氏名】杉山 弘晃

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB05

5H181CC04

5H181CC11

5H181CC12

5H181FF04

5H181FF05

5H181FF10

5H181LL01

5H181LL04

5H181LL07

(57)【要約】

【課題】車両の自動運転から手動運転への切り替えの発生の予告よりも前に、乗員の注意を車両の前方に自然に向けさせる。
【解決手段】自動運転可能な車両が所定の地点へ接近することによって、当該車両において自動運転から手動運転への切り替えの発生が予測される場合に、自動運転から手動運転への切り替えを予告する通知よりも前の第１のタイミングを決定することと、第１のタイミングが到来した場合に、当該車両の車載カメラの撮像画像から検出される、当該車両の前方に存在する物体を話題とする発話内容を当該車両へ出力することと、を実行する制御部を備える情報処理装置である。
【選択図】図１

【特許請求の範囲】

【請求項1】

自動運転可能な車両が所定の地点へ接近することによって、前記車両において自動運転から手動運転への切り替えの発生が予測される場合に、前記切り替えを予測する通知よりも前の第１のタイミングを決定することと、
前記第１のタイミングが到来した場合に、前記車両の車載カメラの撮像画像から検出される、前記車両の前方に存在する物体を話題とする発話内容を前記車両へ出力することと、
を実行する制御部
を備える情報処理装置。

【請求項2】

前記制御部は、
前記車両の乗員の発話に起因する第１の発話内容を生成することと、
前記車載カメラの撮像画像から検出される物体を話題とする第２の発話内容を生成することと、
前記第１の発話内容と前記第２の発話内容とから、出力する発話内容を決定することと、
をさらに実行し、
前記第１のタイミングが到来した場合に、前記第１の発話内容よりも前記第２の発話内容を優先して、前記車両の前方に存在する物体を話題とする前記第２の発話内容を前記出力する発話内容に決定する、
請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、
前記車載カメラの撮像画像から検出される１又は複数の物体それぞれについて話題とする１又は複数の発話内容のそれぞれについて、優先度を設定することと、
前記優先度に基づいて、出力する発話内容を決定することと、
をさらに実行し、
前記第１のタイミングが到来した場合に、前記車両の前方の所定の範囲内に存在する物体を話題とする発話内容の前記優先度をより高く設定する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記制御部は、
前記車両の乗員の状態、前記車両が走行中の道路の種類、及び、前記切り替えの発生の起因となる地点の種類、のうちの少なくとも一つに基づいて、前記第１のタイミングを決定する、
請求項１に記載の情報処理装置。

【請求項5】

コンピュータが、
自動運転可能な車両が所定の地点へ接近することによって、前記車両において自動運転から手動運転への切り替えの発生が予測される場合に、前記切り替えを予告する通知よりも前の第１のタイミングを決定することと、
前記第１のタイミングが到来した場合に、前記車両の車載カメラの撮像画像から検出される、前記車両の前方に存在する物体を話題とする発話内容を前記車両へ出力することと、
を実行する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人間と対話する機械に関するものである。

【背景技術】

【0002】

自動運転モードから手動運転モードへの切り替えが必要な運転交代事象の発生を検知したときにドライバに運転交代を促す通知制御装置が開示されている。（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１９６９３８号公報

【非特許文献】

【0004】

【非特許文献1】杉山弘晃，古賀光，西島敏文，“移動体から見える風景を話題とする雑談対話システム”，［online］，２０２２年６月，一般社団法人 人工知能学会，２０２２年度人工知能学会全国大会（第３６回）論文集，［令和４年１０月２７日検索］，インターネット＜ＵＲＬ：https://www.jstage.jst.go.jp/article/pjsai/JSAI2022/0/JSAI2022_2N5OS7a04/_article/-char/ja/＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

開示の態様の一つは、車両の自動運転から手動運転への切り替えの発生の予告よりも前に、乗員の注意を車両の前方に自然に向けさせることが可能な情報処理装置、及び、方法を提供することを課題とする。

【課題を解決するための手段】

【0006】

本開示の態様の一つは、
自動運転可能な車両が所定の地点へ接近することによって、前記車両において自動運転から手動運転への切り替えの発生が予測される場合に、前記切り替えを予告する通知よりも前の第１のタイミングを決定することと、
前記第１のタイミングが到来した場合に、前記車両の車載カメラの撮像画像から検出される、前記車両の前方に存在する物体を話題とする発話内容を前記車両へ出力することと、を実行する制御部
を備える情報処理装置である。

【0007】

本開示の他の態様の一つは、
コンピュータが、
自動運転可能な車両が所定の地点へ接近することによって、前記車両において自動運転から手動運転への切り替えの発生が予測される場合に、前記切り替えを予告する通知よりも前の第１のタイミングを決定することと、
前記第１のタイミングが到来した場合に、前記車両の車載カメラの撮像画像から検出される、前記車両の前方に存在する物体を話題とする発話内容を前記車両へ出力することと、を実行する方法である。

【発明の効果】

【0008】

本開示の態様の一つによれば、車両の自動運転から手動運転への切り替えの発生の予告よりも前に、乗員の注意を車両の前方に自然に向けさせることができる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る対話システムのシステム構成の一例を示す図である。

【図2】サーバと車両とのハードウェア構成の一例を示す図である。

【図3】サーバの機能構成の一例を示す図である。

【図4】視線誘導制御部のモード移行処理のフローチャートの一例である。

【図5】印象発話系の印象発話生成処理のフローチャートの一例である。

【図6】発話決定部の発話決定処理のフローチャートの一例である。

【発明を実施するための形態】

【0010】

自動運転可能な車両において、自動運転から手動運転へ切り替わることはテイクオーバーと称される。テイクオーバーリクエストによってテイクオーバーが発生することが乗員に予告される。しかしながら、テイクオーバーリクエストからテイクオーバーまでの時間は、例えば、３秒程度しかなく、運転手は余裕をもって対応することができないことがある。

【0011】

本開示の態様の一つは、かかる問題を鑑みて、テイクオーバーリクエストよりも前のタイミングで、車両の前方にある物体についての発話を乗員に提供することで、乗員の視線を車両の前方に誘導し、乗員にテイクオーバーリクエストに備えさせる。より具体的には、本開示の態様の一つは、制御部を備える情報処理装置である、当該制御部は、自動運転可能な車両が所定の地点へ接近することによって、当該車両において、自動運転から手動運転への切り替えの発生が予測される場合に、当該切り替えを予告する通知よりも前の第１のタイミングを決定する。当該制御部は、第１のタイミングが到来した場合に、当該車両の車載カメラの撮像画像から検出される、当該車両の前方に存在する物体を話題とする発話内容を当該車両へ出力する。

【0012】

情報処理装置は、例えば、サーバ等の専用のコンピュータである。情報処理装置がサーバである場合には、制御部は、例えば、当該サーバに備えられるＣＰＵ(Central Processing Unit)又はＤＳＰ（Digital Signal Processor）等のプロセッサである。または、情
報処理装置は、例えば、車両に積載されるデータ通信装置、カーナビゲーションシステム、ドライブレコーダ、及び、専用のＥＣＵ（Electronic Control Unit）等の車載装置で
あってもよい。情報処理装置が車載装置である場合には、制御部は、例えば、当該車載装置に備えられるＣＰＵ又はＤＳＰ等のプロセッサである。

【0013】

当該情報処理装置がサーバである場合には、制御部は、当該車両の前方に存在する物体を話題とする発話内容を、出力の一つとして、当該車両へ送信してもよい。当該情報処理装置が車載装置である場合には、制御部は、当該車両の前方に存在する物体を話題とする発話内容を、音声として、スピーカから出力してもよい。自動運転から手動運転への切り替えの発生の要因となる所定の地点には、例えば、交差点、多叉路、インターチェンジ、及び、ジャンクション等がある。自動運転から手動運転への切り替えを予告する通知は、例えば、テイクオーバーリクエストである。

【0014】

本開示の態様の一つによれば、自動運転から手動運転への切り替えの通知よりも前の第１のタイミングが到来すると、車両の前方に存在する物体を話題とする発話によって、当該車両の乗員の注意が車両の前方へ自然に誘導される。これによって、当該乗員は、その後発生する自動運転から手動運転への切り替えの通知の際には既に前方を向いており、自動運転から手動運転への切り替えに余裕を持って対応することができる。

【0015】

本開示の態様の一つにおいて、当該制御部は、車両の乗員の発話に起因する第１の発話内容を生成することと、車載カメラの撮像画像から検出される物体を話題とする第２の発
話内容を生成することと、を実行してもよい。当該制御部は、第１の発話内容と第２の発話内容とから、出力する発話内容を決定してもよい。当該制御部は、第１のタイミングが到来した場合に、第１の発話内容よりも第２の発話内容を優先して、車両の前方に存在する物体を話題とする第２の発話内容を出力する発話内容に決定してもよい。

【0016】

これによって、例えば、乗員と情報処理装置との間で対話が行われている間に第１のタイミングが到来した場合でも、乗員による発話に起因する第１の発話内容よりも、車両の前方に存在する物体を話題とする第２の発話内容が優先して車両へ出力される。例え、乗員と情報処理装置との間で対話が行われていても、乗員が前方を向いているとは限らない。したがって、本開示の態様の一つによれば、第１のタイミングが到来した場合に、より確実に乗員の注意を車両の前方へ自然に向かせることができる。

【0017】

以下、図面に基づいて、本開示の実施の形態を説明する。以下の実施形態の構成は例示であり、本開示は実施形態の構成に限定されない。

【0018】

＜第１実施形態＞
図１は、第１実施形態に係る対話システム１００のシステム構成の一例を示す図である。対話システム１００は、車両の乗員との対話サービスを提供するシステムである。対話システム１００は、サーバ１と車両２とを含む。サーバ１及び車両２は、それぞれ、ネットワークＮ１に接続しており、ネットワークＮ１を通じて通信可能である。ネットワークＮ１は、例えば、インターネット等の公衆回線網である。

【0019】

車両２は、通信機能を有する車載装置を搭載する、いわゆるコネクテッド車両である。また、第１実施形態では、車両２は、自動運転レベル３又は４程度の自動運転走行可能な車両である。車両２は自動運転走行と、運転者による操作による手動運転走行と、を切り替えながら走行する車両を想定する。

【0020】

車両２は、車外に向けられて設置されているカメラの撮像画像を所定の周期で車載装置を介してサーバ１へ送信する。また、車両２は、車両内で乗員が発声し、マイクロフォンで集音した音声データを車載装置を介してサーバ１へ送信する。

【0021】

サーバ１は、車両２から受信したカメラの撮像画像、及び、発話の音声データ、それぞれに基づいて、発話内容を生成する。撮像画像から生成される発話内容は、以下、印象発話、と称される。乗員の発話から生成される発話内容は、以下、文脈発話、と称される。サーバ１は、印象発話と文脈発話の中から出力する発話内容を選択し、車両２へ送信する。以下、サーバ１が出力する発話内容は、システム発話、と称される。車両２は、サーバ１から受信したシステム発話を、マイクロフォンから出力する。この処理を繰り返すことで、乗員と対話システム１００との対話が行われる。文脈発話は、「第１の発話内容」の一例である。印象発話は、「第２の発話内容」の一例である。

【0022】

第１実施形態では、車両２がテイクオーバーポイントへ接近している場合に、サーバ１は、テイクオーバーリクエストが発生するよりも前のタイミングをモード移行タイミングとして決定する。テイクオーバーポイントは、手動運転で走行することが規定されている地点である。テイクオーバーポイントには、例えば、交差点、インターチェンジ、及び、ジャンクション等がある。モード移行タイミングは、乗員の視線を車両の前方へ誘導する視線誘導モードへ移行するタイミングである。モード移行タイミングが到来した場合に、サーバ１は視線誘導モードへ移行する。サーバ１は視線誘導モードへ移行すると、システム発話として文脈発話よりも印象発話を優先して出力する。さらに、サーバ１は、視線誘導モードでは、車両の前方に存在する物体を話題とする印象発話の優先度を高く設定し、当該印象発話がシステム発話として出力されやすいようにする。

【0023】

すなわち、サーバ１がテイクオーバーリクエストの発生よりも前のタイミングで視線誘導モードへ移行し、車両の前方の物体を話題とする印象発話を車両２へ送信する。車両２の乗員は、当該印象発話の出力によって車両の前方へ注意を向けるようになり、その後テイクオーバーリクエストが発生した場合に余裕をもって対応することができる。モード移行タイミングは、「第１のタイミング」の一例である。テイクオーバポイントは、「所定の地点」の一例である。

【0024】

図２は、サーバ１と車両２とのハードウェア構成の一例を示す図である。サーバ１は、ハードウェア構成として、ＣＰＵ １０１、メモリ１０２、補助記憶装置１０３、及び、通信部１０４を備える。メモリ１０２および補助記憶装置１０３は、それぞれ、コンピュータで読み取り可能な記録媒体の一例である。

【0025】

補助記憶装置１０３は、様々なプログラムや、各プログラムの実行に際してＣＰＵ １０１が使用するデータを格納する。補助記憶装置１０３は、例えば、ＨＤＤ（Hard Disk Drive）、及び、ＳＳＤ（Solid State Drive）等である。補助記憶装置１０３に保持されるプログラムには、例えば、ＯＳ（Operation System）、及び、その他複数のプログラム等がある。

【0026】

メモリ１０２は、ＣＰＵ １０１に、補助記憶装置１０３に格納されているプログラムをロードする記憶領域および作業領域を提供したり、バッファとして用いられたりする記憶装置である。メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random
Access Memory）のような半導体メモリを含む。

【0027】

ＣＰＵ １０１は、補助記憶装置１０３に保持されたＯＳ、及び、その他様々なプログラムをメモリ１０２にロードして実行することによって、様々な処理を実行する。ＣＰＵ
１０１は、１つに限られず、複数備えられてもよい。ＣＰＵ １０１は「制御部」の一例である。

【0028】

通信部１０４は、例えば、ＬＡＮ（Local Area Network）カード、及び、光モジュール等のネットワークケーブルを接続し、信号処理の回路を備えるモジュールである。通信部１０４は、有線ネットワークへ接続可能な回路に限定されず、ＷｉＦｉ等の無線通信ネットワークの無線信号を処理可能な無線信号処理回路であってもよい。なお、サーバ１のハードウェア構成は、図１に示されるものに限定されない。

【0029】

次に、車両２は、ハードウェア構成として、車載装置２０１、車外カメラ２０２、マイクロフォン２０３、スピーカ２０４、位置情報取得部２０５、速度センサ２０６、及び、車内カメラ２０７を備える。なお、図２では、車両２のハードウェア構成として、対話システム１００の処理に係る要素のみを抽出して示されている。上述のハードウェア構成要素は、互いに、例えば、所定の車内ネットワーク等によって、接続されている。

【0030】

車外カメラ２０２は、例えば、車両２のフロントガラスの天井付近に、車両２から外に向けて車両２の前方を撮像範囲とするように設置されている。車外カメラ２０２は、例えば、ドライブレコーダに搭載されているカメラであってもよいし、対話システム１００用に設置されたカメラであってもよい。車外カメラ２０２は、車両２に複数備えられてもよい。車外カメラ２０２が複数備えられる場合には、車外カメラ２０２は、左右のサイドミラーに設置されたカメラを含んでもよい。

【0031】

マイクロフォン２０３及びスピーカ２０４は、それぞれ、例えば、カーナビゲーションシステム又はドライブレコーダに搭載されているマイクロフォン及びスピーカであっても
よい。または、マイクロフォン２０３及びスピーカ２０４は、それぞれ、例えば、対話システム１００用に設置されたマイクロフォン及びスピーカであってもよい。

【0032】

位置情報取得部２０５は、車両２の位置情報を所定の周期で取得する。位置情報取得部２０５は、例えば、ＧＰＳ（Global Positioning System）受信機等である。第１実施形
態では、車外カメラ２０２及び車内カメラ２０７は、位置情報取得部２０５から所定の周期で位置情報を取得し、撮像時刻情報として撮像画像に付属させる。

【0033】

速度センサ２０６は、車両２の走行速度を計測するセンサである。車内カメラ２０７は、例えば、車両２のフロントガラスの天井付近に、車両２の内部に向けて、設置されたカメラである。車内カメラ２０７の撮像画像から、例えば、乗員の状態等が取得される。車外カメラ２０２は、例えば、ドライブレコーダに搭載されているカメラであってもよいし、対話システム１００用に設置されたカメラであってもよい。

【0034】

車載装置２０１は、例えば、データ通信装置、カーナビゲーションシステム、ドライブレコーダ、又は、対話システム１００用のＥＣＵ等である。車載装置２０１は、ハードウェア構成として、ＣＰＵ、メモリ、補助記憶装置、及び、無線通信部を備える。ＣＰＵ、メモリ、及び、補助記憶装置は、ＣＰＵ １０１、メモリ１０２、及び、補助記憶装置１０３と同様である。車載装置２０１の無線通信部は、例えば、５Ｇ、４Ｇ、ＬＴＥ（Long
Term Evolution）、及び、６Ｇ等の移動体通信方式、Ｗｉ－Ｆｉ、ＷｉＭＡＸ、及び、
ＤＳＣＲ（Dedicated Short Range Communications）等の無線通信方式のいずれかに対応する無線信号処理回路である。

【0035】

車載装置２０１は、所定の周期で車外カメラ２０２及び車内カメラ２０７の撮像画像を取得し、サーバ１へ送信する。車載装置２０１が車外カメラ２０２及び車内カメラ２０７の撮像画像を送信する周期は、例えば、車外カメラ２０２及び車内カメラ２０７の撮像周期と同じであってもよいし、１秒から１０秒の間で対話システム１００の管理者または乗員によって任意に設定された周期であってもよい。車外カメラ２０２及び車内カメラ２０７の撮像周期は、例えば、１５ｆｐｓから６０ｆｐｓの間の値である。なお、車外カメラ２０２の送信周期と車内カメラ２０７の送信周期とは異なっていてもよい。

【0036】

また、車載装置２０１は、マイクロフォン２０３によって集音された乗員の発話内容をサーバ１へ送信する。また、車載装置２０１は、サーバ１からシステム発話を受信した場合には、スピーカ２０４から出力する。車載装置２０１とサーバ１との間で送信及び受信される発話内容のデータ形式は、例えば、音声データであってもよいし、テキストデータであってもよい。

【0037】

車載装置２０１は、車外カメラ２０２及び車内カメラ２０７の撮像画像又は乗員の発話内容とともに、取得時刻と、取得位置を示す位置情報と、車両２の識別情報と、車両２の走行状態に関する情報をサーバ１へ送信する。車両２の走行状態に関する情報には、例えば、車両が自動運転中であるか手動運転中であるかを示す情報、及び、車両２の走行速度等が含まれる。なお、車両２のハードウェア構成は、一例であって、図２に示されるハードウェア構成に限定されない。

【0038】

図３は、サーバ１の機能構成の一例を示す図である。サーバ１は、機能構成として、受信部１１、文脈発話生成部１２、印象発話系１３、発話決定部１４、送信部１５、及び、視線誘導制御部１６を備える。これらの機能構成要素の処理は、ＣＰＵ １０１が所定のプログラムを実行することによって達成される。

【0039】

受信部１１は、車両２から、車外カメラ２０２の撮像画像、車内カメラ２０７の撮像画
像、及び、乗員の発話内容を受信する。受信部１１は、車外カメラ２０２の撮像画像を後述の画像履歴ＤＢ １３１へ格納する。受信部１１は、車内カメラ２０７の撮像画像を視線誘導制御部１６へ出力する。受信部１１は、乗員の発話内容を文脈発話生成部１２へ出力する。車外カメラ２０２の撮像画像、車内カメラ２０７の撮像画像、及び、乗員の発話内容とともに、車両２から、取得時刻と、取得位置を示す位置情報と、車両２の識別情報と、車両２の走行状態に関する情報も受信される。なお、車両２から車外カメラ２０２の撮像周期と同じ周期で車外カメラ２０２の撮像画像が受信される場合には、受信部１１は、受信した撮像画像を間引いて、例えば、１秒ごとに、受信された車外カメラ２０２の撮像画像を画像履歴ＤＢ １３１へ保存してもよい。画像履歴ＤＢ １３１へ保存される車外カメラ２０２の撮像画像の枚数を減らすことで、サーバ１の処理負荷を軽減することができる。

【0040】

文脈発話生成部１２は、受信部１１から乗員の発話内容が入力された場合に、当該発話内容に基づいて、文脈発話を生成する。文脈発話生成部１２の文脈発話の生成方法は、特定の方法に限定されない。例えば、文脈発話生成部１２は、受信した乗員の発話内容を含む発話内容の履歴と、車外カメラ２０２の撮像画像と、当該撮像画像の位置情報に応じたスポット情報と、を機械学習モデルに入力して、文脈発話を生成する。文脈発話の生成に用いられる機械学習モデルには、例えば、Transformer Encoder-decoderモデルがある。
文脈発話生成部１２は、生成した文脈発話を発話決定部１４へ出力する。

【0041】

印象発話系１３は、所定の周期で、車外カメラ２０２の撮像画像から印象発話を生成する。印象発話系１３は、画像履歴ＤＢ １３１、画像特徴抽出部１３４、印象発話生成部１３６、及び、話題強度推定部１３７を備える。画像履歴ＤＢ １３１は、例えば、サーバ１の補助記憶装置１０３の記憶領域内に生成される。画像履歴ＤＢ １３１は、車両２から受信された車外カメラ２０２の撮像画像を、撮像時刻、撮像位置を示す位置情報、及び、車両の走行状態に関する情報とともに保持する。

【0042】

画像特徴抽出部１３４は、所定の周期で、画像履歴ＤＢ １３１に格納されている撮像画像のうち最新の車外カメラ２０２の撮像画像について、画像解析処理を行い、撮像範囲内に含まれる物体を検出する。撮像画像からの物体の検出には、例えば、Deformable-DETRのような機械学習モデルが用いられる。ただし、撮像画像からの物体の検出に用いられ
る機械学習モデルは、Deformable-DETRに限定されない。画像特徴抽出部１３４は、撮像
画像の検出範囲から検出した物体に関する情報を印象発話生成部１３６へ出力する。撮像画像から検出した物体は複数であってもよい。撮像画像から検出された物体に関する情報には、例えば、物体の種類、撮像画像内における位置等が含まれる。物体の種類には、例えば、建物、標識、植物、及び、人等がある。ただし、画像特徴抽出部１３４が検出可能な物体の種類はこれらに限定されない。例えば、画像特徴抽出部１３４は、赤い屋根の建物等の、物体の外観色別の種類を検出することも可能である。

【0043】

印象発話生成部１３６は、画像特徴抽出部１３４から、車外カメラ２０２の撮像画像から検出された１又は複数の物体に関する情報の入力を受ける。印象発話生成部１３６は、当該１又は複数の物体について、スポット情報を取得し、機械学習モデルへ入力して、１又は複数の印象発話を取得する。印象発話生成部１３６が用いる機械学習モデルは、例えば、Transformer Encoder-decoderモデルである。ただし、印象発話生成部１３６が印象
発話の作成に用いる機械学習モデルはこれに限定されない。物体についてのスポット情報は、地図情報、インターネット、及び、ＳＮＳ（Social Network Service）等のビッグデータを、位置情報と物体の外観等から検索して得られる情報である。印象発話生成部１３６は、生成した１又は複数の印象発話を話題強度推定部１３７と発話決定部１４へ出力する。

【0044】

話題強度推定部１３７は、印象発話生成部１３６から１又は複数の印象発話の入力を受ける。話題強度推定部１３７は、各印象発話の強度を推定する。印象発話の話題強度は、印象発話の優先度ともいえる。印象発話の強度は、例えば、印象発話の生成に用いられる機械学習モデルの学習データである画像と発話とのセットに付与された話題の強さを学習した機械学習モデルを用いて推定される。話題強度の推定に用いられる機械学習モデルは、例えば、ｋＮＮ（ｋ最近傍法）である。話題強度推定部１３７は、印象発話の強度の推定結果を発話決定部１４へ出力する。

【0045】

発話決定部１４は、文脈発話生成部１２から文脈発話の入力を受ける。また、発話決定部１４は、印象発話系１３から印象発話の入力を受ける。発話決定部１４は、例えば、文脈発話又は印象発話の入力されたタイミングに応じて、文脈発話又は印象発話のいずれをシステム発話とするかを決定する。発話決定部１４の処理の詳細は後述される。発話決定部は、システム発話を送信部１５へ出力する。送信部１５は、発話決定部１４からシステム発話の入力を受けて、車両２へ送信する。

【0046】

視線誘導制御部１６は、車両２が自動運転中である場合に、テイクオーバーの発生の予測を行う。具体的には、視線誘導制御部１６は、車両２の位置情報と速度とから、車両２がテイクオーバーポイントへ到着するまでに第１の時間長以下となる場合に、接近を検出することでテイクオーバーの発生を予測する。第１の時間長は、例えば、３０秒から３分等の範囲で対話システム１００の管理者が任意に設定可能である。なお、視線誘導制御部１６は、第１の時間長の代わりに、テイクオーバーポイントへの距離でテイクオーバーの発生の予測を行ってもよい。テイクオーバーポイントの情報は、例えば、地図情報から取得することができる。

【0047】

テイクオーバーの発生を予測した場合に、視線誘導制御部１６は、モード移行タイミングを決定する。視線誘導制御部１６は、モード移行タイミングを、テイクオーバーリクエストの発生よりも前の時点に設定する。視線誘導制御部１６は、モード移行タイミングを、テイクオーバーポイントに到着するまでの残り時間が、例えば、５秒から１分の範囲になるように決定する。

【0048】

視線誘導制御部１６は、モード移行タイミングを、例えば、車両２の乗員の状態、車両２が走行中の道路の種類、及び、テイクオーバーポイントの種類、のうちの少なくとも一つに基づいて、決定する。車両２の乗員の状態は、例えば、車内カメラ２０７の撮像画像を解析することで取得可能である。例えば、乗員が眠っている場合は、目を覚まして前方を向くまでに時間がかかることが予想される。したがって、乗員の状態が、例えば、居眠り＞スマートフォン操作＞前方以外を向いている、の順で、テイクオーバーポイントに到着するまでの残り時間が長くなるように、視線誘導制御部１６はモード移行タイミングを決定する。例えば、乗員が既に前方を抜いている場合には、視線誘導制御部１６は、視線誘導モードへ移行しないことを判定し、モード移行タイミングを設定しなくてもよい

【0049】

道路の種類には、例えば、一般道路と高速道路とがある。高速道路は直進する距離が長く、乗員は漫然となり易い。そのため、車両２が走行中の道路の種類が、高速道路＞一般道路の順で、テイクオーバーポイントに到着するまでの残り時間が長くなるように、視線誘導制御部１６はモード移行タイミングを決定する。車両２が走行中の道路の種類は、例えば、車両２の位置情報と地図情報とから取得可能である。

【0050】

例えば、多叉路において分岐が多いほど、運転手は注意を要する。その為、テイクオーバーポイントが多叉路であり、分岐が多いほど、テイクオーバーポイントに到着するまでの残り時間が長くなるように、視線誘導制御部１６はモード移行タイミングを決定する。

【0051】

なお、モード移行タイミングの決定要素は、上述に限定されない。例えば、視線誘導制御部１６は、車両２の周囲環境に基づいて、モード移行タイミングを決定してもよい。車両２の周囲環境には、例えば、渋滞等がある。渋滞中には、テイクオーバーポイントに到着するまでの残り時間が長くなるように、視線誘導制御部１６はモード移行タイミングを決定する。

【0052】

なお、モード移行タイミングを定義する、テイクオーバーポイントに到着するまでの残り時間は、乗員の状態、車両２の走行中の道路の種類、及び、多叉路における分岐の数、それぞれに対して予め設定されている時間を採用してもよい。または、モード移行タイミングを定義する、テイクオーバーポイントに到着するまでの残り時間に、予め基準時間が設定されていてもよい。視線誘導制御部１６は、乗員の状態、車両２の走行中の道路の種類、及び、多叉路における分岐の数等に応じて、基準時間を増減させる幅を変化させて、モード移行タイミングを決定してもよい。

【0053】

なお、乗員の状態、車両２の走行中の道路の種類、及び、多叉路における分岐の数等のモード移行タイミングの決定要素に優先度が付されてもよい。この場合には、優先度の高い決定要素が優先して用いられてもよい。例えば、モード移行タイミングの決定要素はいずれも平等に取り扱われてもよい。この場合には、車両２が該当する決定要素について、設定されている基準時間に増減する幅を足し合わせて、モード移行タイミングを決定してもよい。

【0054】

視線誘導制御部１６は、モード移行タイミングが到来した場合に、印象発話系１３及び発話決定部１４へ視線誘導モードへの移行を指示する。視線誘導制御部１６は、視線誘導モードへの移行後の印象発話の出力に対して乗員の発話が検出された場合、及び、テイクオーバーリクエスト又はテイクオーバーが発生した場合に、視線誘導モードの解除を判定する。なお、視線誘導制御部１６はテイクオーバーリクエストの発生タイミングを、例えば、車両２の車種等から予め取得しており、テイクオーバーリクエストの発生を推定してもよい。または、車両２から受信される車両２の走行に関する情報に、手動運転中であることを示す情報が含まれることを検出することで、テイクオーバーが発生したことを検出してもよい。

【0055】

印象発話系１３の話題強度推定部１３７は、視線誘導モードに移行した場合には、印象発話生成部１３６によって生成された印象発話のうち、車外カメラ２０２の撮像画像の、乗員の視線の誘導先である所定範囲内に存在する物体を話題とする印象発話の話題強度をより高く設定する。乗員の視線の誘導先である所定範囲は、乗員が手動運転を行う場合の視線の範囲である。乗員の視線の誘導先である所定範囲は、例えば、予め設定されている。

【0056】

例えば、話題強度推定部１３７は、通常通りに印象発話の強度を取得した後、車外カメラ２０２の撮像画像の当該所定範囲内に存在する物体を話題とする印象発話の話題強度に所定値加算して、当該印象発話の話題強度を高くしてもよい。話題強度がより高く設定される物体には、例えば、車両２の直前を走行する車両、車両２の前方方向に存在する外観が特徴的な車両又は建物等がある。

【0057】

また、発話決定部１４は、視線誘導モードに移行した場合には、ユーザの発話があった場合でも、文脈発話よりも印象発話を優先して、システム発話に選択する。このとき、話題強度推定部１３７によって、車外カメラ２０２の撮像画像の視線を誘導したい所定範囲内に存在する物体を話題とする印象発話の話題強度がより高く設定されているので、当該印象発話がシステム発話に選択されるようになる。なお、サーバ１の機能構成は、図２に示される構成に限定されない。

【0058】

＜処理の流れ＞
図４は、視線誘導制御部１６のモード移行処理のフローチャートの一例である。図４に示される処理は、所定の周期で繰り返し実行される。図４に示される処理の実行周期は、例えば、０．０１秒から１秒の間で設定される。図４に示される処理の実行主体は、サーバ１のＣＰＵ １０１である。ただし、図４では、便宜上、機能構成要素を主体として説明する。以下のサーバ１の処理のフローチャートでも同様である。

【0059】

ＯＰ１０１では、視線誘導制御部１６は、最新の車両２の走行状態に関する情報に基づいて、車両２が自動運転中であるか手動運転中であるかを判定する。車両２が自動運転中である場合には（ＯＰ１０１：ＹＥＳ）、処理がＯＰ１０２へ進む。車両２が手動運転中である場合には（ＯＰ１０１：ＮＯ）、図４に示される処理が終了する。

【0060】

ＯＰ１０２では、視線誘導制御部１６は、テイクオーバーポイントまで残り第１の時間長以下となったか否かを判定する。第１の時間長は、例えば、３０秒から３分等の範囲で対話システム１００の管理者が任意に設定可能である。テイクオーバーポイントまで残り第１の時間長以下となった場合には（ＯＰ１０２：ＹＥＳ）、処理がＯＰ１０３へ進む。テイクオーバーポイントまで残り第１の時間長より長い場合には（ＯＰ１０２：ＮＯ）、図４に示される処理が終了する。

【0061】

ＯＰ１０３では、視線誘導制御部１６は、最新の車内カメラ２０７の撮像画像から、乗員が前方を向いているか否かを判定する。乗員が前方を向いている場合には（ＯＰ１０３：ＹＥＳ）、処理がＯＰ１０７へ進む。図４に示される処理が終了する。乗員が前方を向いていない場合には（ＯＰ１０３：ＮＯ）、処理がＯＰ１０４へ進む。ＯＰ１０４では、視線誘導制御部１６は、モード移行タイミングを決定する。モード移行タイミングは、テイクオーバーポイントの到着までの残り時間が、例えば、５秒から１分の間に決定される。これによって、モード移行タイミングは、テイクオーバーリクエストの発生よりも前になる。

【0062】

ＯＰ１０５では、視線誘導制御部１６は、モード移行タイミングが到来したか否かを判定する。モード移行タイミングが到来した場合には（ＯＰ１０５：ＹＥＳ）、処理がＯＰ１０６へ進む。モード移行タイミングが到来するまで（ＯＰ１０５：ＮＯ）、視線誘導制御部１６は待機状態となる。

【0063】

ＯＰ１０６では、視線誘導制御部１６は、視線誘導モードに移行することを印象発話系１３及び発話決定部１４へ通知する。ＯＰ１０７では、視線誘導制御部１６は、印象発話に対する返答となるユーザの発話内容が受信されたか否かを判定する。印象発話に対する返答があった場合には（ＯＰ１０７：ＹＥＳ）、処理がＯＰ１０９へ進む。印象発話に対する返答ない場合には（ＯＰ１０７：ＮＯ）、処理がＯＰ１０８へ進む。

【0064】

ＯＰ１０８では、視線誘導制御部１６は、車両２においてテイクオーバーリクエストが発生したか否かを判定する。車両２においてテイクオーバーリクエストが発生したか否かは、推定結果であってよい。車両２においてテイクオーバーリクエストが発生した場合には（ＯＰ１０８：ＹＥＳ）、処理がＯＰ１０９へ進む。車両２においてテイクオーバーリクエストが発生していない場合には（ＯＰ１０８：ＮＯ）、処理がＯＰ１０７へ進む。なお、車両２において何らかの理由で実際にはテイクオーバーリクエストが発生しない場合でも、視線誘導制御部１６が推定するテイクオーバーリクエストの発生タイミングが到来した場合には、ＯＰ１０８は肯定判定となる。または、車両２から受信される車両２の走行状態に関する情報に手動運転中であることを示す情報が含まれる場合には、ＯＰ１０８は肯定判定となる。

【0065】

ＯＰ１０９では、視線誘導制御部１６は、印象発話系１３及び発話決定部１４へ、視線誘導モードの解除を通知する。その後、図４に示される処理が終了する。

【0066】

図５は、印象発話系１３の印象発話生成処理のフローチャートの一例である。図５に示される処理は、例えば、所定の周期で繰り返し実行される。図５に示される処理の実行周期は、例えば、１秒から１０秒の間で対話システム１００の管理者または車両２の乗員によって任意に設定される。図５に示される処理は、開始のタイミングにおいて、画像履歴ＤＢ １３１に格納されている最新の撮像画像について実行される。図３の説明において、撮像画像と称する場合には、開始のタイミングにおいて、画像履歴ＤＢ １３１に格納されている最新の撮像画像を示すこととする。

【0067】

ＯＰ２０１では、画像特徴抽出部１３４は、撮像画像について画像認識処理を実行し、撮像画像から物体を検出する。ＯＰ２０２では、印象発話生成部１３６は、撮像画像から検出された物体について、印象発話を生成する。ＯＰ２０３では、話題強度推定部１３７は、印象発話生成部１３６によって生成された印象発話について、話題の強度を推定する。

【0068】

ＯＰ２０４では、話題強度推定部１３７は、視線誘導モードであるか否かを判定する。視線誘導モードである場合には（ＯＰ２０４：ＹＥＳ）、処理がＯＰ２０５へ進む。視線誘導モードでない場合には（ＯＰ２０４：ＮＯ）、処理がＯＰ２０６へ進む。

【0069】

ＯＰ２０５では、話題強度推定部１３７は、印象発話のうち、車外カメラ２０２の撮像画像内の乗員の視線の誘導先である所定範囲内に含まれる物体を話題とする印象発話の話題強度を、他の印象発話より高く設定する。

【0070】

ＯＰ２０６では、印象発話生成部１３６から印象発話、及び、話題強度推定部１３７から印象発話の推定強度が発話決定部１４へ出力される。その後、図５に示される処理が終了する。

【0071】

図６は、発話決定部１４の発話決定処理のフローチャートの一例である。図６に示される処理は、所定の周期で繰り返し実行される。

【0072】

ＯＰ３０１では、発話決定部１４は、視線誘導モードであるか否かを判定する。視線誘導モードである場合には（ＯＰ３０１：ＹＥＳ）、処理がＯＰ３０８へ進む。視線誘導モードでない場合には（ＯＰ３０１：ＮＯ）、処理がＯＰ３０２へ進む。

【0073】

ＯＰ３０２では、発話決定部１４は、直前のイベントから所定時間経過したか否かを判定する。直前のイベントには、例えば、直前のシステム発話、乗員の発話、及び、車両２の乗員との対話開始がある。ＯＰ３０２の判定で用いられる、直前のイベントからの経過時間の閾値となる時間長は、例えば、５秒から１０秒である。直前のイベントから所定時間経過した場合には（ＯＰ３０２：ＹＥＳ）、処理がＯＰ３０７へ進む。直前のイベントから所定時間経過していない場合には（ＯＰ３０２：ＮＯ）、処理がＯＰ３０４へ進む。

【0074】

ＯＰ３０３では、発話決定部１４は、ユーザ発話が有るか否かを判定する。ユーザ発話は、車両２の乗員の発話内容である。ユーザ発話が有るか否かは、例えば、文脈発話生成部１２から文脈発話の入力があるか否かに基づいて判定される。ユーザ発話が有る場合には（ＯＰ３０３：ＹＥＳ）、処理がＯＰ３０４ヘ進む。ＯＰ１３４では、発話決定部１４は、ユーザ発話の終了まで待機する。ユーザ発話がない場合には（ＯＰ３０３：ＮＯ）、処理がＯＰ３０２へ進む。

【0075】

ＯＰ３０５では、発話決定部１４は、直前の所定時間内に生成された印象発話のうち、閾値以上の強度の印象発話が有るか否かを判定する。なお、閾値は、話題強度の値のレンジに応じて設定される。閾値は、例えば、話題強度の最大値に対して８割程度の値に設定される。直前の所定時間は、例えば、直前のイベントから現在までの時間である。閾値以上の強度の印象発話が有る場合には（ＯＰ３０５：ＹＥＳ）、処理がＯＰ３０７へ進む。閾値以上の強度の印象発話がない場合には（ＯＰ３０５：ＮＯ）、処理がＯＰ３０６へ進む。

【0076】

ＯＰ３０６では、発話決定部１４は、文脈発話をシステム発話として、送信部１５を通じて、車両２へ送信する。その後、図６に示される処理が終了する。ＯＰ３０７では、発話決定部１４は、最も話題強度の高い印象発話をシステム発話として、送信部１５を通じて、車両２へ送信する。その後、図６に示される処理が終了する。

【0077】

視線誘導モードである（ＯＰ３０１：ＹＥＳ）場合には、ＯＰ３０８の処理が実行される。ＯＰ３０８では、発話決定部１４は、文脈発話が有るか否かにかかわらず、最も強度の高い印象発話をシステム発話として、送信部１５を通じて、車両２へ送信する。ＯＰ３０８において対象となる印象発話は、例えば、直前のイベントからの間に生成された印象発話である。

【0078】

ＯＰ３０９では、発話決定部１４は、ＯＰ３０８において出力されてシステム発話に対して、ユーザ発話が有るか否かを判定する。ユーザ発話が有る場合には（ＯＰ３０９：ＹＥＳ）、図６に示される処理が終了する。この場合には、視線誘導モードが解除される（図４のＯＰ１０７、ＯＰ１０８）。

【0079】

ユーザ発話がない場合には（ＯＰ３０９：ＮＯ）、処理がＯＰ３１０へ進む。ＯＰ３１０では、発話決定部１４は、ＯＰ３０８におけるシステム発話から所定時間が経過したか否かを判定する。ＯＰ３１０における、ＯＰ３０８におけるシステム発話からの経過時間の閾値となる時間長は、例えば、１秒から５秒である。当該閾値となる時間長は、視線誘導モードにおいて乗員の発話が行われるまで繰り返しシステム発話を行うために、比較的短く設定される。所定時間が経過した場合には（ＯＰ３１０：ＹＥＳ）、処理がＯＰ３０７に進み、話題強度が最も高い印象発話が再度システム発話として車両２へ送信される。これによって、例えば、乗員が居眠りしている場合でも、乗員が目を覚ますまでシステム発話が繰り返し行われる。所定時間が経過していない場合には（ＯＰ３１０：ＮＯ）、処理がＯＰ３０９に進む。

【0080】

＜第１実施形態の作用効果＞
第１実施形態では、テイクオーバーリクエストよりも前のタイミングで、サーバ１から車両２へ、車外カメラ２０２の撮像画像から検出された物体を話題とする印象発話が送信される。これによって、車外カメラ２０２の乗員は、テイクオーバーリクエストの発生よりも前のタイミングで、自然に車両２の前方へ注意を向けるようになる。その後、テイクオーバーリクエストが発生した場合には、既に乗員は車両の前方へ注意を向けている状態であるので、余裕をもってテイクオーバーに対応することができる。

【0081】

＜その他の変形例＞
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。

【0082】

サーバ１と同様の機能構成を車両２の車載装置２０１に搭載することによって、第１実施形態に係るサーバ１の処理を車載装置２０１が行ってもよい。すなわち、車載装置２０
１が、発話生成を行ってもよい。または、サーバ１と同様の機能構成をスマートフォン等のユーザ端末が備え、当該ユーザ端末が、乗員と対話を行い、第１実施形態に係るサーバ１と同様の処理を実行してもよい。この場合には、当該ユーザ端末のマイクロフォンとスピーカを用いて、当該ユーザ端末が乗員の音声を取得したり、スピーカから音声としてシステム発話を出力したりしてもよい。

【0083】

本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

【0084】

また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成（サーバ構成）によって実現するかは柔軟に変更可能である。

【0085】

本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤディスク、ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。

【符号の説明】

【0086】

１・・サーバ
２・・車両
１１・・受信部
１２・・文脈発話生成部
１３・・印象発話系
１４・・発話決定部
１５・・送信部
１６・・視線誘導制御部
１００・・対話システム
１０１・・ＣＰＵ
１０２・・メモリ
１０３・・補助記憶装置
１０４・・通信部
１３１・・画像履歴ＤＢ
１３４・・画像特徴抽出部
１３６・・印象発話生成部
１３７・・話題強度推定部
２０１・・車載装置
２０２・・車外カメラ
２０３・・マイクロフォン
２０４・・スピーカ
２０５・・位置情報取得部
２０６・・速度センサ
２０７・・車内カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】