特許 7508331 提示情報生成装置及び提示情報生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-21

(45)【発行日】2024-07-01

(54)【発明の名称】提示情報生成装置及び提示情報生成方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240624BHJP

【ＦＩ】

G06T1/00 500A

【請求項の数】 7

(21)【出願番号】P 2020172610

(22)【出願日】2020-10-13

(65)【公開番号】P2022064092

(43)【公開日】2022-04-25

【審査請求日】2023-08-07

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】岡本 雅己

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２００２－２８１１６６（ＪＰ，Ａ）

【文献】特開２００６－３０６３６９（ＪＰ，Ａ）

【文献】特開２０１８－１９７０９５（ＪＰ，Ａ）

【文献】特開２００８－２１３７６３（ＪＰ，Ａ）

【文献】特開平０７－０７３３３８（ＪＰ，Ａ）

【文献】土志田 卓，“Mixed RealityによるCFD可視化システム”，ながれ : 日本流体力学会誌 = Nagare : journal of Japan Society of Fluid Mechanics，日本流体力学会，2018年08月，第37巻, 第4号，pp.337－340

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車両の走行状態を取得する走行状態取得部と、
前記車両の室内と室外とを仕切る開閉機構の開度を取得する開度取得部と、
少なくとも前記走行状態取得部により取得された車両の走行状態、及び前記開度取得部により取得された開閉機構の開度に基づいて、前記車両の室内の気流の状態を推定する車内気流推定部と、
前記車内気流推定部により推定された前記車両の室内の気流の状態を表す情報を含む画像を生成する画像生成部と、
前記画像生成部により生成された画像を、遠隔地に設けられ、サーバ及び通信装置を介して通信可能に接続された表示装置に出力する画像出力部と、
前記遠隔地に設けられ、前記サーバ及び前記通信装置を介して通信可能に接続された入力装置から、前記開閉機構を作動させる開閉指令を取得し、取得した開閉指令を、前記開閉機構を作動させる開閉機構制御部に出力する開閉指令出力部と、を備える、提示情報生成装置。

【請求項2】

前記車両の周辺の天気、前記車両の周囲の画像、及び前記車両の周辺の地図情報のうち少なくとも１つを含む情報を取得する情報取得部と、
前記情報取得部により取得された情報に基づいて、前記車両の室外の気流を推定する車外気流推定部と、をさらに備え、
前記車内気流推定部は、前記走行状態取得部により取得された車両の走行状態、及び前記開度取得部により取得された開閉機構の開度に加えて、前記車外気流推定部によって推定された車外の気流に基づいて、前記車両の室内の気流の状態を推定する、請求項１に記載の提示情報生成装置。

【請求項3】

前記画像生成部は、前記車両の室内の気流の状態に応じて前記車両の室内の物体が動く画像を生成する、請求項１又は２に記載の提示情報生成装置。

【請求項4】

前記画像生成部は、前記車両の室内の気流を可視化した画像を生成する、請求項１～３のいずれか一項に記載の提示情報生成装置。

【請求項5】

前記車内気流推定部により推定された前記車両の室内の気流の状態に基づいて、前記開閉機構の推奨開度を算出する推奨開度算出部をさらに備え、
前記画像生成部は、前記推奨開度算出部により算出された推奨開度を表す情報を含む画像を生成する、請求項１～４のいずれか一項に記載の提示情報生成装置。

【請求項6】

前記開閉機構を作動させる目的が入力される目的入力部をさらに備え、
前記推奨開度算出部は、前記車内気流推定部により推定された前記車両の室内の気流の状態、及び前記目的入力部に入力された目的に基づいて、前記開閉機構の前記推奨開度を算出する、請求項５に記載の提示情報生成装置。

【請求項7】

車両の走行状態を取得し、
前記車両の室内と室外とを仕切る開閉機構の開度を取得し、
少なくとも前記車両の走行状態及び前記開閉機構の開度に基づいて、前記車両の室内の気流の状態を推定し、
前記車両の室内の気流の状態を表す情報を含む画像を生成し、
前記画像を、遠隔地に設けられ、サーバ及び通信装置を介して通信可能に接続された表示装置に出力し、
前記遠隔地に設けられ、前記サーバ及び前記通信装置を介して通信可能に接続された入力装置から、前記開閉機構を作動させる開閉指令を取得し、
取得した前記開閉指令を前記開閉機構に出力する、提示情報生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔地にいるユーザの操作を補助するための提示情報を生成する提示情報生成装置及び提示情報生成方法に関するものである。

【背景技術】

【0002】

オブジェクトの形態および動態に適した指示入力システムと、オブジェクトの動態にしたがって体験者に空気流を送風する送風機を備えることにより体験者の臨場感を向上させ、さらに、仮想世界の画像を観察する際に所望の視点を設定することで、体験者以外の第三者も仮想空間を楽しむことができる仮想空間生成／モーションライドシステムが知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平９－３１１９４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来技術では、体験者以外の者がシステムに指示を入力すること、たとえば遠隔地にいるユーザが車両の窓の開閉操作をするような場面は想定されていない。この場合に、遠隔地にいるユーザは、車両の室内を所望の気流の状態にするために必要な窓の開度を把握できないため、窓を開けすぎて車両の室内の気流が大きく乱れたり、窓の開度が、必要な強さの気流を得るためには足りなかったりすることがある。

【0005】

本発明が解決しようとする課題は、遠隔地から車両の窓を開閉するユーザに、車両の室内の気流の状態を把握させる提示情報を生成する装置及び方法を提供することである。

【課題を解決するための手段】

【0006】

本発明は、少なくとも車両の走行状態と、車両の室内と室外とを仕切る開閉機構の開度とに基づいて車両の室内の気流の状態を推定し、推定された車両の室内の気流の状態を表す情報を含む画像を生成し、生成された画像を、遠隔地に設けられ、サーバ及び通信装置を介して通信可能に接続された表示装置に出力し、当該遠隔地に設けられ、サーバ及び通信装置を介して通信可能に接続された入力装置から開閉機構を作動させる開閉指令を取得し、取得した開閉指令に基づいて開閉機構を作動させることによって上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、遠隔地から車両の窓を開閉するユーザに、車両の室内の気流の状態を把握させることができる。

【図面の簡単な説明】

【0008】

【図1】本発明の提示情報生成方法及び提示情報生成装置を含む提示情報生成システムを示すブロック図である。

【図2】図１の提示情報生成部の一実施の形態を示すブロック図である。

【図3】図１の提示情報生成システムにおける情報処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明に係る提示情報生成装置及び提示情報生成方法の実施形態を図面に基づいて説明する。

【0010】

［提示情報生成システムの構成］
図１は、本発明に係る提示情報生成システム１を示すブロック図である。提示情報生成システム１は、たとえば、遠隔地にいてドライバーの運転を支援するアシスタントが、当該遠隔地において車両から出力された映像を見ながら車両の窓を開閉する場合や、同じく遠隔地にいてドライバーの運転を支援する知人が、アバター（分身）を用いて仮想的に車両に同乗し、当該遠隔地において車両から出力された映像を見ながら車両の窓を開閉する場合などに用いることができる。

【0011】

提示情報生成システム１は、車両に搭載されたシステムであり、センサ１１、カメラ１２、地図情報１３、自車位置検出装置１４、開閉機構１５、通信装置１６、及び提示情報生成装置１７を含む。提示情報生成システム１に含まれる装置は、ＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、互いに情報を授受することができる。

【0012】

本実施形態のセンサ１１は、車速センサ１１１及び舵角センサ１１２を含む検出装置である。車速センサ１１１としては、車両の走行速度を検出できるセンサであれば特に限定されず、公知のものを用いることができる。同様に、舵角センサ１１２も車両の操舵角度を検出できるセンサであれば特に限定されない。

【0013】

カメラ１２は、例えばＣＣＤ等の撮像素子を備えるカメラ、超音波カメラ、赤外線カメラなどを含む。本実施形態のカメラ１２は、たとえば車両の前方、後方、右側方、及び左側方に設置され、車両の周囲を撮像し、車両の周囲に存在する対象物を含む画像データを取得する車外カメラ１２１と、ドライバー及び同乗者の居住空間である車両の室内に設置され、車両の室内を撮像し、車両の室内に存在する対象物を含む画像データを取得する車内カメラ１２２を含む。車両の室内に存在する対象物には、ドライバーと同乗者が含まれる。

【0014】

本実施形態の車内カメラ１２２は、車両の室内を撮像したときに、車両の室内の対象物に加えて、室外の対象物を含む画像データを取得することができる。具体的に、車内カメラ１２２は、運転席、助手席、後部座席などの車両の席のいずれか１つに乗員（ドライバーを含む。以下同じ。）が座ったときに、当該乗員の視点から見える室内と室外の画像を取得することができる。乗員の視点の範囲は特に限定されず、乗員の前方、後方、右側方、及び左側方を含む、乗員の周囲のあらゆる方向の画像を取得することができる。また、乗員の視点の高さは、遠隔地のユーザの身長又は座高に合わせて、所定の高さとすることができる。

【0015】

地図情報１３は、高精細地図情報であり、各地図座標における二次元位置情報及び／又は三次元位置情報、各地図座標における道路の境界情報、道路属性情報などを含む。地図情報１３は、車載の装置又はサーバに設けられた記憶装置に読み込み可能な状態で記憶されている。

【0016】

自車位置検出装置１４は、自車両のＧＰＳ（Global Positioning System）ユニット、ジャイロセンサ、オドメトリから取得した情報に基づいて自車両の現在位置を取得する。

【0017】

開閉機構１５は、ドライバー及び同乗者の居住空間である車両の室内と、当該居住空間の外側である車両の室外とを仕切る装置、たとえば車両の窓である。本実施形態の開閉機構１５は、特に、アクチュエータなどの駆動装置１５１で開閉することができるもの、たとえばサイドドアに設けられたサイドウィンドウ、バックドアに設けられたリアウィンドウ、ルーフパネルに設けられたサンルーフやムーンルーフなどをいうものとする。また、本実施形態の開閉機構１５は、開閉機構１５がどれだけ開いているかを示す開度を検出する開度センサ１５２を備える。開度センサ１５２は、たとえば駆動装置１５１のモータに設けたエンコーダのように、駆動装置１５１の作動量から開閉機構１５の開度を検出する。

【0018】

通信装置１６は、インターネットなどのネットワークを介した他の機器との通信が可能な通信装置であれば特に限定されず、公知の車載通信装置を用いることができる。本実施形態の通信装置１６はサーバ３を介して通信装置２３と接続し、これにより、提示情報生成システム１と車外の機器２との間で情報の授受を行うことができる。通信装置２３は、通信装置１６との情報の授受が可能な通信装置であれば特に限定されず、車載通信装置を含む、公知の通信装置を用いることができる。サーバ３は、提示情報生成装置１７及び車外の機器２との間で情報を授受し、必要に応じてこれらの装置に所定の機能を提供できれば特に限定されない。なお、通信装置１６と通信装置２３は、サーバ３を介さずにネットワークを通じて直接接続してもよい。

【0019】

車外の機器２は、有線又は無線ＬＡＮなどの公知の通信手段よって通信装置２３と接続した、表示装置２１及び入力装置２２を含む。本実施形態の表示装置２１は、提示情報生成装置１７によって出力された画像を表示することができる装置であれば特に限定されず、液晶ディスプレイを例示できる。これ以外にもたとえば、装着することで、ドライバーが運転する車両に同乗しているような仮想体験ができるヘッドセットであってもよい。本実施形態の入力装置２２は、車外の機器２から提示情報生成装置１７に所定の情報及び指令を与えるための装置であり、たとえば車両の窓の開閉操作ボタンのような、開閉機構１５を作動させる指令を提示情報生成装置１７に与えるためのスイッチである。なお、目的入力装置２４については後述する。

【0020】

提示情報生成システム１に戻り、本実施形態の提示情報生成装置１７は、提示情報生成システム１に含まれる装置から取得した情報を用いて、提示情報生成システム１から離れた場所（以下、遠隔地ともいう。）にいるユーザに、画像を生成して提示する。また、本実施形態の提示情報生成装置１７は、通信装置１６を介して取得した指令に基づいて、開閉機構１５の駆動装置を作動させる。提示情報生成装置１７は、これらの機能をプロセッサ１８により実現する。

【0021】

プロセッサ１８は、提示情報生成システム１の各構成を協働させて提示情報生成装置１７の機能を実現する。具体的には、プロセッサ１８は、プログラムが格納されたＲＯＭ（Read Only Memory）１８２と、ＲＯＭ１８２に格納されたプログラムを実行することで、提示情報生成装置１７として機能するための動作回路であるＣＰＵ（Central Processing Unit）１８１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１８３とを備える。本実施形態のプロセッサ１８で用いるプログラムには、画像の生成及び出力、並びに駆動装置１５１の作動という機能を実行するための提示情報生成部１０００が含まれているため、図１には、便宜的に提示情報生成部１０００を抽出して示すこととする。

【0022】

図１に示す提示情報生成システム１は提示情報生成装置１７を含むが、提示情報生成装置１７は、必ずしも提示情報生成システム１に含まれていなくともよい。たとえば、提示情報生成装置１７は、車両ではなく、サーバ３に設けられていてもよい。この場合には、提示情報生成システム１を構成する各装置は、通信装置１６を用いてサーバに接続し、提示情報生成装置１７と情報を授受する。またこれに代えて、提示情報生成装置１７の提示情報生成部１０００のみがサーバ３に設けられていてもよい。この場合には、サーバ３のＣＰＵ、ＲＯＭ、及びＲＡＭを用いて提示情報生成部１０００の機能が実行されることになる。

【0023】

［提示情報生成部の構成］
本実施形態の提示情報生成部１０００は、たとえば図２のブロック図に示す構成を有する。図２に示す提示情報生成部１０００は、走行状態取得部１００１、開度取得部１００２、情報取得部１００３、車外気流推定部１００４、車内気流推定部１００５、目的入力部１００６、推奨開度算出部１００７、画像生成部１００８、画像出力部１００９、開閉指令出力部１０１０、及び開閉機構制御部１０１１を備える。各部の機能について、以下に説明する。

【0024】

走行状態取得部１００１は、車両の走行状態を取得する機能を有する。本実施形態の車両の走行状態とは、車両の走行速度及び車両の操舵角度をいうものとする。車両の走行速度は車速センサ１１１を用いて、車両の操舵角度は舵角センサ１１２を用いて、それぞれ検出することができる。

【0025】

開度取得部１００２は、開閉機構１５の開度を取得する機能を有する。開閉機構１５の開度は、開度センサ１５２を用いて検出することができる。通常、車両には複数の開閉機構１５が設けられているが、本実施形態の開度取得部１００２は、車両に備えられた全ての開閉機構１５の開度を取得する。

【0026】

情報取得部１００３は、車両の周辺の天気、車両の周囲の画像、及び車両の周辺の地図情報のうち少なくとも１つを含む車外の情報を取得する機能を有する。本実施形態の車両の周辺の天気には、晴れ、曇り、雨などといった天候の区分けに加えて、気温、湿度、降雨量、風速、風向などのデータが含まれる。これらのデータは、たとえば、気象データを取得できるデータベースに通信装置１６を介して接続し、自車位置検出装置１４により取得した車両の走行する位置における気象データとして取得することができる。また、車両の周囲の画像は、たとえば車両の前方、後方、右側方、及び左側方に設置された車外カメラ１２１により取得することができる。さらに、車両の周辺の地図情報は、自車位置検出装置１４により取得した車両の走行する位置を用いて、地図情報１３から取得することができる。本実施形態の車両の周辺の地図情報には、たとえば、海に近い、山間部である、平地であるといった周辺の地形情報、及び高層ビルの多い都市部、高い建物のない郊外、トンネルの内部といった周囲の障害物の情報が含まれる。なお、情報取得部１００３は、提示情報生成部１０００に必須の構成ではないため、必要に応じて設ければよい。

【0027】

車外気流推定部１００４は、情報取得部１００３により取得された、車両の周辺の天気、車両の周囲の画像、及び車両の周辺の地図情報のうち少なくとも１つを含む情報に基づいて、車外の気流を推定する機能を有する。車両の周辺の天気の情報に基づいて車外の気流を推定する場合に、本実施形態の車外気流推定部１００４は、たとえば情報取得部１００３が取得した車両周辺の風速及び風向の情報を用いて、車外の気流の速さと方向が、車両の周辺の風速及び風向とほぼ同じとして車外の気流を推定する。また、車両の周囲の画像に基づいて車外の気流を推定する場合に、本実施形態の車外気流推定部１００４は、情報取得部１００３が車外カメラ１２１を用いて取得した画像データにおける対象物の動きから車外の気流を推定する。たとえば、画像データの対象物に街路樹が含まれている場合に、車外気流推定部１００４は、当該街路樹の地面に対する傾きから車外の気流を推定する。さらに、車両の周辺の地図情報に基づいて車外の気流を推定する場合に、本実施形態の車外気流推定部１００４は、たとえば情報取得部１００３が取得した地形情報から海風、陸風など地形による気流を推定し、推定した地形による気流を基に車外の気流を推定する。

【0028】

また、本実施形態の車外気流推定部１００４は、情報取得部１００３により取得した情報を組み合わせて車外の気流を推定することができる。たとえば、車両周辺の天気の情報に、車両周辺の風速が速いとの情報が含まれていたとしても、車両の周辺の地図情報から、トンネルのような風を遮る障害物が車両の周囲に存在すると判明した場合には、車外気流推定部１００４は、車両周辺の風速の情報を考慮せずに車外の気流を推定する。なお、車外気流推定部１００４は、提示情報生成部１０００に必須の構成ではないため、必要に応じて設ければよい。

【0029】

車内気流推定部１００５は、走行状態取得部１００１により取得された車両の走行状態、及び開度取得部１００２により取得された開閉機構１５の開度を用いて、車両の室内の気流の状態を推定する機能を有する。本実施形態の気流の状態とは、車両の室内を流れる空気の速さと方向をいうものとする。本実施形態の車内気流推定部１００５は、車両の走行状態と開閉機構１５の開度とに基づいて車室内を流れる空気の速さと方向を推定するときに、車両の走行状態（特に車速）と、開閉機構１５の開度と、室内を流れる空気の速さ及び方向との相関関係を用いる。相関関係とは、たとえば、進行方向に対して右側に運転席がある車両で、運転席の右側の窓と後部座席左側の窓を開けた状態で走行する場合に、車両の走行速度と、２つの窓の開度とをそれぞれ変化させたときに得られる、車速と、開度と、車室内の気流の速さ及び方向との関係である。相関関係は、車室内の空気の流れの速さと方向を計測することができる試験用車両やコンピュータシミュレータを用いて、所定の車速の範囲内で、作動させる開閉機構１５の組み合わせごとに開度を変化させて求めることができる。またこれに加えて、又はこれに代えて、実際の車両の走行データから、所定の条件における車速と、開度と、車室内の気流の速さ及び方向との関係を取得し、取得した当該関係を用いた機械学習で相関関係を求めてもよい。本実施形態の提示情報生成装置１７では、相関関係を予め求めておき、プロセッサ１８のＲＯＭ１８２、又はその他のアクセス可能な記憶装置（図示せず）に格納しておく。

【0030】

また、本実施形態の車内気流推定部１００５は、車両の走行状態と開閉機構１５の開度に加えて、車外気流推定部１００４にて推定された車外の気流を用いて車両の室内の気流の状態を推定してもよい。たとえば、車両が日中に海岸線を走行しており、海から陸に向けて風が吹いている場合に、車内気流推定部１００５は、車両の走行速度と開閉機構１５の開度から、相関関係を用いて求められた車両の室内の気流の速さと方向に、海から陸に向けて吹く風を考慮して推定した車外の気流を加えて、最終的な車内の室内の気流の速さと方向を推定する。

【0031】

目的入力部１００６は、車外の機器２から開閉機構１５を作動させる目的が入力される機能を有する。本実施形態の目的とは、たとえば走行する車両の窓を開閉する目的である。具体的には、たとえば、ドライバーが眠気を催した際にドライバーを覚醒させるために行う換気、乗員が快適に感じる温度に車室内を保つための換気、室内に異臭が立ち込めた際に臭気を除去するための換気、踏切を横断する際に踏切警報機の音を確認するための窓の開閉、ドライブスルー店舗において購入物を受け取るための窓の開閉などである。開閉機構１５を作動させる目的は、提示情報生成装置１７又は車外の機器２に予め設定されているものであってもよいし、遠隔地のユーザが文字又は音声にて入力するものであってもよい。これらの目的は、車外の機器２の目的入力装置２４を用いて入力する。目的入力装置２４は、具体的には、タッチパネルディスプレイ、マイクセット、キーボード、及びこれらのうち少なくとも１つを含む入力機器である。なお、目的入力部１００６は、提示情報生成部１０００に必須の構成ではないため、必要に応じて設ければよい。

【0032】

推奨開度算出部１００７は、車内気流推定部１００５により推定された車両の室内の気流の状態に基づいて、開閉機構１５の推奨開度を算出する機能を有する。本実施形態の推奨開度とは、乗員が心地よいと感じる、車両の室内の気流の状態を実現する開度をいうものとする。乗員が心地よいと感じる車両の室内の気流の状態とは、たとえば、所定の範囲内の速さで車室内を空気が流れる状態のことをいう。本実施形態の推奨開度算出部１００７は、車内気流推定部１００５にて推定された車両の室内の気流の速さと、実験やコンピュータシミュレーションなどで予め求められた当該所定の範囲とを比較し、車内気流推定部１００５にて推定される車室内の気流の速さが当該所定の範囲内となる開度を、推奨開度として算出する。当該所定の範囲は、たとえば試験用車両やシミュレータを用いた実験やシミュレーションの結果から設定することができ、プロセッサ１８のＲＯＭ１８２、又はその他のアクセス可能な記憶装置（図示せず）にデータとして格納する。

【0033】

また、これに代えて又はこれに加えて、本実施形態の推奨開度は、車外の機器２から目的入力部１００６に入力された目的を実現する開度であってもよい。たとえば、ドライバーが眠気を催した際に、ドライバーを覚醒させるために換気をすることが目的である場合には、短い時間で車室内の空気を入れ替えることができるように、乗員が心地よいと感じる範囲内で最も大きい開度を推奨開度として算出する。この場合に、乗員が心地よいと感じる範囲は、たとえば、車内気流推定部１００５により推定される車室内の気流の速さ、車両開閉機構を作動させた場合の風切り音の大きさ、ユーザが過去に同じ目的のために採用した開度を基に設定される。具体的には、試験用車両やシミュレータなどを用いて、乗員が心地よいと感じる範囲を予め求めておく。又は、所定のデータから機械学習を用いて設定してもよい。

【0034】

また、たとえば、乗員が快適に感じる温度に車室内を保つために換気をすることが目的である場合には、車室内の温度を所定の温度に保つことができる範囲内で最も小さい開度を推奨開度として算出する。車室内の温度を所定の温度に保つことができる範囲は、車両の室内の気温と室外の気温との気温差、車内気流推定部１００５により推定される車室内の気流の速さ、車両開閉機構を作動させた場合の風切り音の大きさ、ユーザが過去に同じ目的のために採用した開度などを基に設定される。本実施形態の推奨開度算出部１００７は、たとえば、ユーザの過去の開閉機構の操作履歴から、車室外の気温と、車室内の気温と、車速と、開閉機構１５の開度との相関関係を機械学習で求め、当該相関関係を用いて推奨開度を算出する。なお、推奨開度算出部１００７は、提示情報生成部１０００に必須の構成ではないため、必要に応じて設ければよい。

【0035】

画像生成部１００８は、車内気流推定部１００５により推定された気流の状態を表す情報を含む画像を生成する機能を有する。ここで、気流の状態を表す情報とは、特に、車室内の気流の速さを示す情報であり、たとえば、車両の室内の気流の速さに応じて車両の室内の物体が動く画像である。車両の室内の物体とは、たとえば乗員の髪などであり、車内カメラ１２２から取得した画像データであってもよいし、予め用意された画像であってもよい。当該物体が動きは、気流の速さに応じて、連続的に大きくなってもよいし、離散的に大きくなってもよい。また、これに代えて又はこれに加えて、気流の状態を表す情報は、波線などの線を用いて、車両の室内の気流を可視化した画像であってもよい。この場合に、当該波線は、気流の速さに応じて振幅が大きくなってもよく、当該振幅は、気流の速さに応じて連続的に大きくなってもよいし、離散的に大きくなってもよい。

【0036】

また、画像生成部１００８が生成する画像は、車両の室内から見える画像を含んでもよい。車両の室内から見える画像とは、車内カメラ１２２により取得した、乗員の視点から見える室内と室外の画像データである。本実施形態の画像生成部１００８は、車内カメラ１２２により取得した画像データに、車両の室内の気流の状態に応じて車両の室内の物体が動く画像、及び／又は車両の室内の気流を可視化した画像を合成し、一つの画像とする。たとえば、画像生成部１００８は、車内カメラ１２２により取得した画像データの右上、右下、左上、又は左下のうち少なくとも１つに、車両の室内の気流の状態に応じて車両の室内の物体が動く画像、及び／又は車両の室内の気流を可視化した画像を重ねる。車両の室内の気流の状態に応じて車両の室内の物体が動く画像、及び車両の室内の気流を可視化した画像の大きさは、車内カメラ１２２により取得した画像データの大きさより小さければ特に限定されない。なお、車両の室内から見える画像は、予め用意された、乗員の視点から見える車両の室内及び室外の仮想の画像データでもよい。

【0037】

さらに、本実施形態の画像生成部１００８は、車両の室内の気流の状態に応じて車両の室内の物体が動く画像、及び／又は車両の室内の気流を可視化した画像に加えて、推奨開度算出部１００７により算出された推奨開度を表す情報を、車内カメラ１２２により取得した画像データに含めてもよい。また、本実施形態の画像生成部１００８は、車内カメラ１２２により取得した画像データ、及び予め用意された、乗員の視点から見える車両の室内及び室外の仮想の画像データを加工してもよい。たとえば、画像生成部１００８は、画像にドライバー及び／又は同乗者の顔が含まれている場合には、顔の部分をマスキングすることで、遠隔地のユーザがドライバー及び／又は同乗者を特定できないようにしてもよい。

【0038】

画像出力部１００９は、画像生成部１００８により生成された画像を車外の機器２に出力する機能を有する。本実施形態の提示情報生成装置１７は、画像出力部１００９の機能により、提示情報生成システム１の通信装置１６から、車外の機器２の通信装置２３に画像データを出力する。通信装置２３にて受信された画像データは、通信装置２３と接続している表示装置２１に表示される。これにより、遠隔地のユーザは、車両の室内の気流の状態を画像から直感的に把握することができる。

【0039】

開閉指令出力部１０１０は、車外の機器２から、開閉機構１５を作動させる開閉指令を取得し、取得した開閉指令を、開閉機構１５を作動させる開閉機構制御部１０１１に出力する機能を有する。表示装置２１に表示された画像から車室内の気流の状態を直感的に把握したユーザは、必要に応じて、遠隔地から車両の開閉機構１５を動作させる指令を入力することができる。本実施形態において、開閉機構１５の駆動装置１５１を制御するための開閉指令は、たとえば窓の開閉操作ボタンのような入力装置２２を用いて入力される。入力装置２２に入力された開閉指令は、入力装置２２と接続している、車外の機器２の通信装置２３を介して、提示情報生成システム１の通信装置１６に出力される。

【0040】

開閉機構制御部１０１１は、開閉指令出力部１０１０より取得した開閉指令に基づいて、開閉機構１５を作動させる機能を有する。本実施形態の提示情報生成装置１７は、開閉機構制御部１０１１の機能により、通信装置１６から開閉指令を取得し、取得した開閉指令に基づいて駆動装置１５１を制御し、開閉機構１５を作動させる。これにより、遠隔地のユーザは、開閉機構を適切な開度にすることができる。開閉機構制御部１０１１は提示情報生成装置１７に設けられるが、提示情報生成装置１７がサーバ３に設けられている場合、及び提示情報生成装置１７の提示情報生成部１０００のみがサーバ３に設けられている場合には、開閉機構制御部１０１１を開閉機構１５の駆動装置１５１に設けてもよい。なお、開閉機構制御部１０１１は、提示情報生成部１０００に必須の構成ではないため、必要に応じて設ければよい。

【0041】

［提示情報生成システムの処理］
図３を参照して、提示情報生成装置１７が情報を提示する際の処理を説明する。図３は、本実施形態の提示情報生成システム１及び車外の機器２における情報の処理を示すフローチャートの一例である。フローチャートの左側のルーチンは、提示情報生成装置１７にて実行されるステップを示し、右側のルーチンは、車外の機器２にて実行されるステップを示す。また、以下に説明する処理は、提示情報生成装置１７のプロセッサ１８、及び車外の機器２により、所定の時間間隔で実行される。

【0042】

提示情報生成装置１７がスタンバイの状態で、車両のドライバー及び／又は同乗者から、遠隔地のユーザに、開閉機構の作動を依頼する指示があった場合に、提示情報生成装置１７及び車外の機器２は、図３に示す一連の処理を開始する。車両のドライバー及び／又は同乗者から遠隔地のユーザに対する開閉機構の作動依頼は、たとえば、ネットワークを介した音声による通信にて指示することができる。

【0043】

まず、図３のステップＳ１にて、提示情報生成装置１７は、車両の走行状態を取得する。具体的には、走行状態取得部１００１の機能により、車速センサ１１１を用いて車両の走行速度を取得する。続くステップＳ２にて、提示情報生成装置１７は、開度取得部１００２の機能により、開度センサ１５２から開閉機構１５の開度を取得する。

【0044】

ステップＳ３にて、提示情報生成装置１７は、情報取得部１００３の機能により車両の周辺の天気、車両の周囲の画像、及び車両の周辺の地図情報のうち少なくとも１つを含む車外の情報を取得し、続くステップＳ４にて、ステップＳ３にて取得された情報を用いて、車外の気流を推定する。車外の気流の推定は、車外気流推定部１００４の機能により行われる。なお、ステップＳ３及びＳ４は、提示情報生成装置１７の処理において必須のステップではない。

【0045】

提示情報生成装置１７が車両に搭載されている場合には、提示情報生成装置１７は、ステップＳ１～Ｓ３において、車両の走行状態、開閉機構１５の開度、及び車外の情報をＣＡＮ等の車載ＬＡＮを通じて取得する。一方、提示情報生成装置１７がサーバ３に設けられている場合には、提示情報生成装置１７は、ステップＳ１～Ｓ３において、車両の走行状態、開閉機構１５の開度、及び車外の情報を、通信装置１６を用いて、走行する車両からネットワークを介して取得する。

【0046】

ステップＳ５にて、提示情報生成装置１７は、ステップＳ１にて取得された車両の走行状態と、ステップＳ２にて取得された開閉機構１５の開度から、車両の室内の気流の状態を推定する。車室内の気流の状態の推定には、車内気流推定部１００５の機能を用いる。また、ステップＳ４にて推定された車外の気流を、車両の走行状態及び開閉機構１５の開度に加えて車室内の気流の状態を推定してもよい。

【0047】

ステップＳ６では、車外の機器２にて、開閉機構１５を作動させる目的を入力する。当該目的の入力には車外の機器２の目的入力装置２４を用い、入力された目的は、目的入力装置２４に接続された通信装置２３から、提示情報生成システム１の通信装置１６に出力される。ステップＳ７にて、提示情報生成装置１７は、通信装置１６が受信した目的を取得し、推奨開度算出部１００７の機能を用いて、推奨開度を算出する。なお、ステップＳ６及びＳ７は、提示情報生成装置１７及び車外の機器２の処理において必須のステップではなく、推奨開度を算出するために、開閉機構１５を作動させる目的を入力することは必須ではない。

【0048】

続くステップＳ８にて、提示情報生成装置１７は、画像生成部１００８の機能により、車外の機器２の表示装置２１に表示させる画像を生成する。生成された画像は、ステップＳ９にて、提示情報生成装置１７から車外の機器２に出力される。提示情報生成装置１７は、画像出力部１００９の機能により、通信装置１６を介して車外の機器２の通信装置２３に生成した画像を出力する。

【0049】

ステップＳ１０では、通信装置２３が受信した画像が、通信装置２３に接続された表示装置２１に表示される。続くステップＳ１１にて、車内の気流の状態を直感的に把握した遠隔地のユーザは、入力装置２２に、開閉機構１５を作動させる開閉指令を入力する。入力された開閉指令は、入力装置２２に接続された通信装置２３を介して、提示情報生成システム１の通信装置１６に出力される。

【0050】

ステップＳ１２にて、提示情報生成装置１７は、開閉機構制御部１０１１の機能により、通信装置１６が受信した開閉指令を取得する。続くステップＳ１３にて、提示情報生成装置１７は、開閉指令出力部１０１０の機能により、取得した開閉指令を開閉機構制御部１０１１に出力する。そして、ステップＳ１４にて、提示情報生成装置１７は、開閉機構制御部１０１１の機能により、開閉指令を取得し、取得した開閉指令に基づいて駆動装置１５１を制御し、開閉機構１５を作動させる。開閉機構制御部１０１１が駆動装置１５１に設けられた場合には、開閉機構制御部１０１１は、ＣＡＮ等の車載ＬＡＮ及び通信装置１６を通じて、ネットワークを介して開閉指令を取得する。なお、ステップＳ１４は、提示情報生成装置１７の処理において必須のステップではない。

【0051】

ステップＳ１４にて開閉機構１５を作動させた後、提示情報生成装置１７は、開閉機構１５の作動が完了したか否かを判定する。開閉機構１５の作動が完了した場合には、提示情報生成装置１７は、一連の処理を完了する。一方、開閉機構１５の作動が完了していない場合には、提示情報生成装置１７は、ステップＳ１に戻り、一連の処理を再開する。

【0052】

なお、本実施形態の提示情報生成装置１７は、ステップＳ９にて車外の機器２に画像を出力した後に、車外の機器２から開閉指令を取得するまでの間、ステップＳ１からステップＳ９の処理を繰り返してもよい。また、本実施形態の提示情報生成装置１７は、ステップＳ９にて車外の機器２に画像を出力した後に、開閉指令を取得することなく所定の時間が経過した場合には、一連の処理を完了してもよい。

【0053】

［本発明の実施態様］
［態様１］
本実施形態の提示情報生成方法及び提示情報生成装置１７によれば、車両の走行状態を取得する走行状態取得部１００１と、前記車両の室内と室外とを仕切る開閉機構１５の開度を取得する開度取得部１００２と、少なくとも前記走行状態取得部１００１により取得された前記車両の走行状態、及び前記開度取得部１００２により取得された前記開閉機構１５の開度に基づいて、前記車両の室内の気流の状態を推定する車内気流推定部１００５と、前記車内気流推定部１００５により推定された気流の状態を表す情報を含む画像を生成する画像生成部１００８と、前記画像生成部１００８により生成された前記画像を車外の機器２に出力する画像出力部１００９と、前記車外の機器２から、前記開閉機構１５を作動させる開閉指令を取得し、取得した前記開閉指令を、前記開閉機構１５を作動させる開閉機構制御部１０１１に出力する開閉指令出力部１０１０と、を備える提示情報生成装置が提供される。これにより、車両の走行速度と、窓やサンルーフなどの開閉機構１５の開閉状態から車室内へ流入する気流の速さと向きを推定し、推定した気流が乗員に及ぼす影響を考慮した画像を生成し出力することができる。その結果、遠隔地からドライバーの運転を支援するアシスタント、又はアバター（分身）を用いて仮想的に車両に同乗しているドライバーの知人などが、車両の窓を開閉する場合に、車両から離れた場所にいるアシスタント及び知人に、車両の室内の気流の状態を直感的に把握させることができる。

【0054】

［態様２］
本実施形態の提示情報生成方法及び提示情報生成装置１７によれば、前記車両の周辺の天気、前記車両の周囲の画像、及び前記車両の周辺の地図情報のうち少なくとも１つを含む情報を取得する情報取得部１００３と、前記情報取得部１００３により取得された情報に基づいて、車外の気流を推定する車外気流推定部１００４と、をさらに備え、前記車内気流推定部１００５は、前記走行状態取得部１００１により取得された前記車両の走行状態、及び前記開度取得部１００２により取得された前記開閉機構の開度に加えて、前記車外気流推定部１００４によって推定された前記車外の気流に基づいて、前記車両の室内の気流の状態を推定する。これにより、車外の風の強さと向き、及び車両が走行する道路の走行環境などを考慮して、車室内の気流の状態を推測することができる。

【0055】

［態様３］
本実施形態の提示情報生成方法及び提示情報生成装置１７によれば、前記画像生成部１００８は、前記車両の室内の気流の状態に応じて前記車両の室内の物体が動く前記画像を生成する。これにより、車室内に流入する風が乗員の髪や服などに物理的に及ぼす作用を考慮した画像を生成することができる。

【0056】

［態様４］
本実施形態の提示情報生成方法及び提示情報生成装置１７によれば、前記画像生成部１００８は、前記車両の室内の気流を可視化した前記画像を生成する。これにより、車室内に流入する風の強さと向きを視覚的に把握できる画像を生成することができる。

【0057】

［態様５］
本実施形態の提示情報生成方法及び提示情報生成装置１７によれば、前記車内気流推定部１００５により推定された気流の状態に基づいて、前記開閉機構１５の推奨開度を算出する推奨開度算出部１００７をさらに備え、前記画像生成部１００８は、前記推奨開度算出部１００７により算出された前記推奨開度を表す情報を含む前記画像を生成する。これにより、遠隔地のユーザは、車両の乗員が心地よいと感じる範囲内で開閉機構１５を作動させることができる。

【0058】

［態様６］
本実施形態の提示情報生成方法及び提示情報生成装置１７によれば、前記開閉機構１５を作動させる目的が入力される目的入力部１００６をさらに備え、前記推奨開度算出部１００７は、前記車内気流推定部１００５により推定された気流の状態、及び前記目的入力部１００６に入力された前記目的に基づいて、前記開閉機構１５の前記推奨開度を算出する。これにより、開閉機構１５を作動させる目的に適した開度を遠隔地のユーザに提示することができる。

【符号の説明】

【0059】

１…提示情報生成システム
１１…センサ
１１１…車速センサ
１１２…舵角センサ
１２…カメラ
１２１…車外カメラ
１２２…車内カメラ
１３…地図情報
１４…自車位置検出装置
１５…開閉機構
１５１…駆動装置
１５２…開度センサ
１６…通信装置
１７…提示情報生成装置
１８…プロセッサ
ＣＰＵ…１８１
ＲＯＭ…１８２
ＲＡＭ…１８３
２…車外の機器
２１…表示装置
２２…入力装置
２３…通信装置
２４…目的入力装置
３…サーバ
１０００…提示情報生成部
１００１…走行状態取得部
１００２…開度取得部
１００３…情報取得部
１００４…車外気流推定部
１００５…車内気流推定部
１００６…目的入力部
１００７…推奨開度算出部
１００８…画像生成部
１００９…画像出力部
１０１０…開閉指令出力部
１０１１…開閉機構制御部

【図1】

【図2】

【図3】