特許 7414715 情報処理装置、情報処理方法、及び、情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】情報処理装置、情報処理方法、及び、情報処理システム

(51)【国際特許分類】

   B60R 16/02 20060101AFI20240109BHJP

   B60R 11/02 20060101ALI20240109BHJP

   G08G 1/16 20060101ALI20240109BHJP

【ＦＩ】

B60R16/02 650J

B60R11/02 C

G08G1/16 C

【請求項の数】 11

(21)【出願番号】P 2020523620

(86)(22)【出願日】2019-05-24

(86)【国際出願番号】 JP2019020586

(87)【国際公開番号】W WO2019235245

(87)【国際公開日】2019-12-12

【審査請求日】2022-04-01

(31)【優先権主張番号】P 2018109523

(32)【優先日】2018-06-07

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】米澤 航太

(72)【発明者】

【氏名】中山 智詞

【審査官】菅 和幸

(56)【参考文献】

【文献】特開平０６－２８８８７３（ＪＰ，Ａ）

【文献】特開２０１４－１６４４８２（ＪＰ，Ａ）

【文献】特開２００５－３４６４６８（ＪＰ，Ａ）

【文献】特開２０１４－１１５４５７（ＪＰ，Ａ）

【文献】特開２０１７－０８６５４２（ＪＰ，Ａ）

【文献】特開２００５－１８６６５９（ＪＰ，Ａ）

【文献】特開２０１５－０１９２７１（ＪＰ，Ａ）

【文献】特開２０００－１１５７５９（ＪＰ，Ａ）

【文献】特開２０１１－２２３０７５（ＪＰ，Ａ）

【文献】特開２０１８－０５６７９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ １６／０２

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／０２

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部とを備え、
前記表示制御部は、
前記車両を俯瞰した前記車両画像に、前記車両に対する情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示する俯瞰表示と、
前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)に、前記不具合画像を合成した前記合成画像を表示するVR(Virtual Reality)表示と、
前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像に、前記不具合画像を合成した前記合成画像を表示するAR(Augmented Reality)表示と
を切り替え、
前記情報処理装置の位置から、前記不具合があるセンサが見えない場合、前記俯瞰表示を行い、
前記情報処理装置の位置から、前記不具合があるセンサが見える場合、前記VR表示又は前記AR表示を行う
情報処理装置。

【請求項2】

前記表示制御部は、前記撮影画像の明るさに応じて、前記VR表示又は前記AR表示を行う
請求項１に記載の情報処理装置。

【請求項3】

前記車両は、前記不具合があるセンサの周辺の発光部を点灯させる
請求項１に記載の情報処理装置。

【請求項4】

前記車両は、前記不具合があるセンサの不具合が解消された場合に、前記発光部を消灯させる
請求項３に記載の情報処理装置。

【請求項5】

前記センサは、前記発光部を有する
請求項３に記載の情報処理装置。

【請求項6】

前記センサは、カメラである
請求項１に記載の情報処理装置。

【請求項7】

前記不具合は、前記センサの汚れである
請求項１に記載の情報処理装置。

【請求項8】

前記不具合画像は、前記汚れがあるセンサの前記汚れの位置を表す画像を含む
請求項７に記載の情報処理装置。

【請求項9】

携帯端末である
請求項１に記載の情報処理装置。

【請求項10】

車両に対する相対的な位置又は方向に関する位置関連情報を取得することと、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させることと含み、
前記不具合画像を合成した合成画像は、
前記車両を俯瞰した前記車両画像に、前記車両に対する情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示する俯瞰表示と、
前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)に、前記不具合画像を合成した前記合成画像を表示するVR(Virtual Reality)表示と、
前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像に、前記不具合画像を合成した前記合成画像を表示するAR(Augmented Reality)表示と
に切り替えて表示され、
前記情報処理装置の位置から、前記不具合があるセンサが見えない場合、前記俯瞰表示が行われ、
前記情報処理装置の位置から、前記不具合があるセンサが見える場合、前記VR表示又は前記AR表示が行われる
情報処理方法。

【請求項11】

車両に搭載されるセンサと、
前記センサの不具合を検出する不具合検出部と、
画像を表示する表示部と、
前記車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部とを備え、
前記表示制御部は、
前記車両を俯瞰した前記車両画像に、前記車両に対する情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示する俯瞰表示と、
前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)に、前記不具合画像を合成した前記合成画像を表示するVR(Virtual Reality)表示と、
前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像に、前記不具合画像を合成した前記合成画像を表示するAR(Augmented Reality)表示と
を切り替え、
前記情報処理装置の位置から、前記不具合があるセンサが見えない場合、前記俯瞰表示を行い、
前記情報処理装置の位置から、前記不具合があるセンサが見える場合、前記VR表示又は前記AR表示を行う
情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、情報処理装置、情報処理方法、及び、情報処理システムに関し、特に、例えば、車両に搭載されたセンサの中の不具合があるセンサの位置を、ユーザが容易に認識することができるようにする情報処理装置、情報処理方法、及び、情報処理システムに関する。

【背景技術】

【0002】

近年、自動ブレーキ等の運転支援等のために、四輪等の自動車では、車外に、カメラ等の多数のセンサが搭載されつつある。

【0003】

車外に搭載されたセンサには、汚れが付着しやすく、センサに付着した汚れは、センサのセンシングを妨げるため、センサに付着した汚れを洗浄する必要がある。

【0004】

例えば、特許文献１には、センサとしてのカメラで撮影された画像を、携帯端末に表示し、センサの汚れ具合を、ユーザに報知する技術が提案されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開2012-106557号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

センサとしてのカメラで撮影された画像を、携帯端末に表示する場合、ユーザは、カメラに汚れがあることを認識することができるが、その汚れがあるカメラが搭載されている位置（自動車における位置）を認識することは困難である。そして、汚れがあるカメラの位置が不明である場合には、ユーザは、センサに付着した汚れを洗浄することが困難である。

【0007】

本技術は、このような状況に鑑みてなされたものであり、車両に搭載されたセンサの中の、汚れ等の不具合があるセンサの位置を、ユーザが容易に認識することができるようにするものである。

【課題を解決するための手段】

【0008】

本技術の一側面の情報処理装置は、車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部とを備え、前記表示制御部は、前記車両を俯瞰した前記車両画像に、前記車両に対する情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示する俯瞰表示と、前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)に、前記不具合画像を合成した前記合成画像を表示するVR(Virtual Reality)表示と、前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像に、前記不具合画像を合成した前記合成画像を表示するAR(Augmented Reality)表示とを切り替え、前記情報処理装置の位置から、前記不具合があるセンサが見えない場合、前記俯瞰表示を行い、前記情報処理装置の位置から、前記不具合があるセンサが見える場合、前記VR表示又は前記AR表示を行う情報処理装置である。

【0009】

本技術の一側面の情報処理方法は、車両に対する相対的な位置又は方向に関する位置関連情報を取得することと、前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させることを含み、前記不具合画像を合成した合成画像は、前記車両を俯瞰した前記車両画像に、前記車両に対する情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示する俯瞰表示と、前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)に、前記不具合画像を合成した前記合成画像を表示するVR(Virtual Reality)表示と、前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像に、前記不具合画像を合成した前記合成画像を表示するAR(Augmented Reality)表示とに切り替えて表示され、前記情報処理装置の位置から、前記不具合があるセンサが見えない場合、前記俯瞰表示が行われ、前記情報処理装置の位置から、前記不具合があるセンサが見える場合、前記VR表示又は前記AR表示が行われる情報処理方法である。

【0010】

本技術の一側面の情報処理システムは、車両に搭載されるセンサと、前記センサの不具合を検出する不具合検出部と、画像を表示する表示部と、前記車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部とを備え、前記表示制御部は、前記車両を俯瞰した前記車両画像に、前記車両に対する情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示する俯瞰表示と、前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)に、前記不具合画像を合成した前記合成画像を表示するVR(Virtual Reality)表示と、前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像に、前記不具合画像を合成した前記合成画像を表示するAR(Augmented Reality)表示とを切り替え、前記情報処理装置の位置から、前記不具合があるセンサが見えない場合、前記俯瞰表示を行い、前記情報処理装置の位置から、前記不具合があるセンサが見える場合、前記VR表示又は前記AR表示を行う情報処理システムである。

【0011】

本技術の一側面においては、車両に対する相対的な位置又は方向に関する位置関連情報が取得され、前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像が表示され、前記車両を俯瞰した前記車両画像に、前記車両に対する情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示する俯瞰表示と、前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)に、前記不具合画像を合成した前記合成画像を表示するVR(Virtual Reality)表示と、前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像に、前記不具合画像を合成した前記合成画像を表示するAR(Augmented Reality)表示とが切り替えられ、前記情報処理装置の位置から、前記不具合があるセンサが見えない場合、前記俯瞰表示が行われ、前記情報処理装置の位置から、前記不具合があるセンサが見える場合、前記VR表示又は前記AR表示が行われる。

【0012】

なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

【0013】

また、情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

【発明の効果】

【0014】

本技術によれば、車両に搭載されたセンサの中の不具合があるセンサの位置を、ユーザが容易に認識することができる。

【0015】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0016】

【図1】本技術を適用した情報処理システムとしての車両制御システムの一実施の形態の概要を示す図である。

【図2】車両１の電気的構成例を示すブロック図である。

【図3】車外端末４０の電気的構成例を示すブロック図である。

【図4】合成画像の第１の表示例としてのAR(Augmented Reality)表示を説明する図である。

【図5】合成画像の第２の表示例としてのVR(Virtual Reality)表示を説明する図である。

【図6】合成画像の第３の表示例としての俯瞰表示を説明する図である。

【図7】報知処理に同期した車両１の設備の制御の例を説明する図である。

【図8】車両制御装置１０の報知処理を説明するフローチャートである。

【図9】車外端末４０の報知処理を説明するフローチャートである。

【図10】汚れの位置を表す画像を含む不具合画像の表示の表示例を示す図である。

【図11】発光部を有するセンサ３０_ｉの構成例を示す断面図及び平面図である。

【図12】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0017】

＜本技術を適用した情報処理システムの一実施の形態＞

【0018】

図１は、本技術を適用した情報処理システムとしての車両制御システムの一実施の形態の概要を示す図である。

【0019】

図１において、車両制御システムは、車両１及び車外端末４０を有する。

【0020】

車両１は、例えば、4輪の乗用車あり、車両制御装置１０を内蔵している。さらに、車両１は、ヘッドライト、テールライト、その他、LED(Light Emitting Diode)やランプ等の車両１に装備された発光部としての車載ライト２０_１及び２０_２、並びに、カメラ等のセンサ３０_１，３０_２，３０_３，３０_４、及び、３０_５等を、車外に搭載している。

【0021】

車両制御装置１０は、センサ３０_ｉ（本実施の形態では、ｉ＝１，２，３，４，５）から供給されるセンサ情報に応じて、運転支援等のための各種の制御を行う。また、車両制御装置１０は、車載ライト２０_１及び２０_２の点灯や消灯等の制御を行う。

【0022】

さらに、車両制御装置１０は、車外端末４０との間で、無線通信を行い、各種の情報をやりとりする。

【0023】

例えば、車両制御装置１０は、センサ３０_ｉからのセンサ情報に応じて、センサ３０_ｉの不具合を検出し、その不具合があるセンサ３０_ｉの（車両１上の）位置等を含む不具合情報を生成して、車外端末４０に送信する。また、車両制御装置１０は、車外端末４０から送信されてくる位置関連情報や清掃終了通知を受信する。

【0024】

車両制御装置１０は、車外端末４０からの位置関連情報に応じて、不具合があるセンサ３０_ｉに近い車載ライト２０_ｊ（本実施の形態では、ｊ＝１，２）を点灯させる。また、車両制御装置１０は、車外端末４０からの清掃終了通知に応じて、車載ライト２０_ｊを消灯させる。

【0025】

車外端末４０は、例えば、スマートフォン等のユーザ（例えば、車両１の運転者等）が携帯可能な携帯端末等の情報処理装置であり、車両制御装置１０との間で、無線通信を行い、各種の情報をやりとりする。

【0026】

例えば、車外端末４０は、車両に対する車外端末４０の相対的な位置又は方向に関する位置関連情報を取得し、車両制御装置１０に送信する。また、車外端末４０は、ユーザの操作に応じて、センサ３０_ｉの不具合としての、例えば、汚れの清掃が終了した旨の清掃終了通知を、車両制御装置１０に送信する。

【0027】

さらに、車外端末４０は、車両制御装置１０から送信されてくる不具合情報を受信する。車外端末４０は、車両制御装置１０からの不具合情報から、不具合があるセンサ３０_ｉの位置を表す不具合画像を生成し、位置関連情報に応じて、車両１が映る車両画像に、不具合画像を合成する。そして、車外端末４０は、車両画像に不具合画像を合成した合成画像を、表示部１４５に表示させる。

【0028】

図１では、車外端末４０において、車両１上の不具合があるセンサ３０_ｉの位置を表す黒で塗りつぶされた円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とが、不具合画像として、その不具合画像が車両画像に合成（重畳）された合成画像が表示されている。

【0029】

以上のように、図１の車両制御システムでは、車外端末４０において、車両１が映る車両画像に、車両１に搭載された不具合があるセンサ３０_ｉの位置を表す不具合画像を合成した合成画像が表示されるので、ユーザは、車外に車外端末４０を携帯して、合成画像を見ることにより、車両１に搭載されたセンサ３０_１ないし３０_５の中の不具合があるセンサ３０_ｉの位置を容易に認識することができる。

【0030】

ここで、車外にセンサ３０_ｉが搭載された車両１において、センサ３０_ｉに汚れがあること等の不具合が、車両制御装置１０により検出された場合、ユーザ自身が車外に出て、センサ３０_ｉを清掃する必要があるケースがある。例えば、車両１が、センサ３０_ｉを、水や洗浄液、エア等で自動洗浄する洗浄システムを搭載していない場合や、洗浄システムを搭載していても、洗浄システムによってセンサ３０_ｉの汚れを取りきれない場合には、ユーザが車外に出て、センサ３０_ｉを清掃する必要がある。

【0031】

ユーザが車外に出て、センサ３０_ｉを清掃する場合、ユーザが、汚れがあるセンサ３０_ｉの車両１上の位置や、必要に応じて、汚れの状況を認識する必要がある。センサ３０_ｉの汚れの情報が、車両１の車内のディスプレイに表示されるだけの場合、ユーザは、ディスプレイの表示を見て、汚れがあるセンサ３０_ｉの位置や汚れの状況を記憶し、さらに、車外に出て、汚れがあるセンサ３０_ｉを見つけて、清掃する必要がある。また、汚れがあるセンサ３０_ｉの清掃後、センサ３０_ｉの汚れが除去され、センサ３０_ｉが問題ない状態になったと、車両制御装置１０が判定するかどうか、すなわち、センサ３０_ｉについて、汚れが検出されない状態になったかどうかを、ユーザは、車外から車内に戻って確認する必要がある。

【0032】

さらに、将来的には、車両１が自動運転車両として実現された場合、センシングのロバスト性を向上させるために、車両１に搭載されるセンサ３０_ｉの数が多くなり、しかも、センサ３０_ｉが小型化されることが予想される。そして、自動運転車両が普及した世の中では、自動配車されるタクシーや、カーシェアの自動車等の、自分の所有物ではない車両を使用する機会が多くなることが予想される。このように、車両１が、自分の所有物ではない車両である場合には、車両１を使用するユーザは、センサ３０_ｉが搭載されている車両１上の位置や、センサ３０_ｉの搭載の状態を把握していないため、汚れがあるセンサ３０_ｉを見つけるのに、時間を要することが予想される。

【0033】

そこで、例えば、汚れがあるセンサ３０_ｉに近い位置のライト（例えば、車載ライト２０_ｊ等）を点滅させることや、汚れがあるセンサ３０_ｉに近い位置で音を出力することで、ユーザに、汚れがあるセンサ３０_ｉの位置を認識させる方法が考えられる。

【0034】

しかしながら、上述のように、車両１に搭載されるセンサ３０_ｉの数が多くなった場合、ライトの近くに、多数のセンサ３０_ｉが存在することがある。この場合、汚れがあるセンサ３０_ｉに近い位置のライトを点滅させても、ユーザが、汚れがあるセンサ３０_ｉの位置を容易に認識することが困難であることがある。

【0035】

そこで、図１の車両制御システムでは、上述のように、携帯可能な車外端末４０において、車両１が映る車両画像に、車両１に搭載された不具合があるセンサ３０_ｉの位置を表す不具合画像を合成した合成画像が表示される。この場合、ユーザは、車外に車外端末４０を携帯して、合成画像を見ることにより、車両１に搭載されたセンサ３０_１ないし３０_５の中で、汚れ等の不具合があるセンサ３０_ｉの位置を容易に認識することができる。

【0036】

なお、車両１としては、4輪の乗用車の他、トラクタ等の農業用の車両や、ショベルカー等の建設用の車両、戦車、その他の任意の車両を採用することができる。また、車両１に代えて、ドローンや、飛行機、ロボット、その他のセンサが搭載される任意の装置を採用することができる。

【0037】

さらに、センサ３０_ｉの不具合には、ゴミや、虫、泥等の汚れ（センシングの障害になる障害物）の付着の他、センサ３０_ｉの故障、その他の任意の不具合が含まれる。以下では、センサ３０_ｉの不具合として、汚れ（の付着）を採用することとする。

【0038】

また、センサ３０_ｉとしては、カメラ（ステレオカメラを含む）や、測距センサ（ToF(Time of Flight)センサ、LIDAR(Light Detection and Ranging)センサ、ミリ波センサ等）、加速度センサ、温度センサ、その他の任意のセンサを採用することができる。

【0039】

さらに、図１では、５個のセンサ３０_１ないし３０_５が、車両１に搭載されているが、車両１に搭載されるセンサ３０_ｉの数は、５個に限定されるものではない。

【0040】

また、車両制御装置１０と車外端末４０との間で行われる（双方向）無線通信の方式としては、例えば、無線LAN(Local Area Network)やBluetooth（登録商標）等の任意の方式を採用することができる。

【0041】

さらに、車両制御装置１０と車外端末４０との間の無線通信は、ピアトゥピアで行ってもよいし、インターネット等のネットワーク経由で行ってもよい。

【0042】

また、車外端末４０は、例えば、専用端末により実現することもできるし、スマートフォン等の汎用の情報処理装置にアプリケーションを実行させることにより実現することもできる。さらに、車外端末４０は、車両制御装置１０の着脱可能な１つのブロックとして構成することもできる。

【0043】

＜車両１の電気的構成例＞

【0044】

図２は、図１の車両１の電気的構成例を示すブロック図である。

【0045】

車両１は、図１で説明したように、車両制御装置１０、車載ライト２０_１及び２０_２、並びに、カメラ等のセンサ３０_１ないし３０_５を有する。

【0046】

車両制御装置１０は、表示部１１１、入力部１１２、情報処理部１１３、通信部１１４、及び、１１５を有する。

【0047】

表示部１１１は、情報処理部１１３の制御に従い、各種の情報を表示する。

【0048】

入力部１１２は、ユーザによって操作され、ユーザの操作に対応する入力情報を、情報処理部１１３に供給する。入力情報が入力部１１２から情報処理部１１３に供給されると、情報処理部１１３は、入力部１１２からの入力情報に応じた処理を行う。

【0049】

なお、表示部１１１及び入力部１１２は、例えば、タッチパネル等を用いて、一体的に構成することができる。

【0050】

情報処理部１１３は、車両制御装置１０を構成する各ブロックの制御、その他各種の処理を行う。

【0051】

通信部１１４は、車載ライト２０_ｊやセンサ３０_ｉ等との間で、有線通信を行う。

【0052】

例えば、通信部１１４は、情報処理部１１３から供給されるライト制御情報を、車載ライト２０_ｊに送信する。車載ライト２０_ｊは、通信部１１４からのライト制御情報に従い、点灯し、点滅し、若しくは、消灯し、又は、発光の向きや強度を変更する。

【0053】

また、例えば、通信部１１４は、センサ３０_ｉから送信されてくるセンサ情報を受信し、情報処理部１１３に供給する。センサ３０_ｉのセンサ情報には、そのセンサ３０_ｉで行われたセンシングのセンシング結果（例えば、カメラの撮影により得られるRGB(Red, Green, Blue)等を画素値として有する撮影画像や、測距センサの測距により得られる距離を画素値として有する距離画像等）と、センサ３０_ｉの不具合としての汚れの汚れ状況等とが含まれる。情報処理部１１３は、通信部１１４からのセンサ３０_ｉのセンサ情報に応じて、センサ３０_ｉの不具合としての汚れを検出し、センサ３０_ｉについて、汚れがあるかどうかを表す不具合情報を生成する。さらに、情報処理部１１３は、センサ３０_ｉの不具合情報に、そのセンサ３０_ｉの（車両１上の）位置を表すセンサ位置情報を含め、通信部１１５に供給して、車外端末４０に送信させる。

【0054】

通信部１１５は、車外端末４０等との間で、無線通信を行う。

【0055】

例えば、通信部１１５は、情報処理部１１３から供給されるセンサ３０_ｉの不具合情報を、車外端末４０に送信する。

【0056】

また、例えば、通信部１１５は、車外端末４０から送信されてくる位置関連情報や清掃終了通知を受信し、情報処理部１１３に供給する。

【0057】

車外端末４０から送信されてくる位置関連情報は、車外端末４０の、車両１に対する相対的な位置又は方向に関する情報であり、情報処理部１１３は、位置関連情報から、車外端末４０の、車両１に対する相対的な位置（以下、単に、相対位置ともいう）を求める。すなわち、位置関連情報が、車外端末４０の、車両１に対する相対的な位置を表す場合、情報処理部１１３は、位置関連情報が表す相対的な位置を、車外端末４０の相対位置として採用する。また、位置関連情報が、車外端末４０の、車両１に対する相対的な方向を表す場合、情報処理部１１３は、例えば、位置関連情報が表す相対的な方向の、車両１から所定の距離の位置を、車外端末４０の相対位置として求める。そして、情報処理部１１３は、車外端末４０の相対位置等に応じて、車載ライト２０_ｊを制御するライト制御情報を、通信部１１４に供給して、車載ライト２０_ｊに送信させることで、車載ライト２０_ｊを制御する。

【0058】

車外端末４０から送信されてくる清掃終了通知は、汚れがあるセンサ３０_ｉの清掃が終了した旨の通知であり、情報処理部１１３は、通信部１１５から清掃終了通知が供給されると、情報処理部１１３は、再び、通信部１１４からのセンサ３０_ｉのセンサ情報に応じて、センサ３０_ｉの不具合としての汚れ（の有無）を検出し、不具合情報を生成することを繰り返す。

【0059】

＜車外端末４０の電気的構成例＞

【0060】

図３は、図１の車外端末４０の電気的構成例を示すブロック図である。

【0061】

車外端末４０は、通信部１４１、情報処理部１４２、カメラ１４４、及び、表示部１４５を有する。

【0062】

通信部１４１は、車両制御装置１０等との間で、無線通信を行う。

【0063】

例えば、通信部１４１は、情報処理部１４２（の制御部１５５）から供給される位置関連情報や清掃終了通知を、車両制御装置１０に送信する。また、通信部１４１は、車両制御装置１０（の通信部１１５）から送信されてくる不具合情報を受信し、情報処理部１４２（の制御部１５５）に供給する。

【0064】

情報処理部１４２は、車両制御装置１０を構成する各ブロックの制御、その他各種の処理を行う。

【0065】

情報処理部１４２は、画像処理部１５１、位置関連情報取得部１５２、画像生成部１５３、表示制御部１５４、及び、制御部１５５を有する。

【0066】

画像処理部１５１には、カメラ１４４で撮影された撮影画像が供給される。画像処理部１５１は、カメラ１４４からの撮影画像が、車両１が映る車両画像である場合、その車両画像である撮影画像を、位置関連情報取得部１５２に供給するとともに、必要に応じて、表示制御部１５４に供給する。

【0067】

また、画像処理部１５１は、車両画像である撮影画像から、車両１のCG(Computer Graphics)を生成し、そのCGとしての車両画像を、表示制御部１５４に供給する。

【0068】

位置関連情報取得部１５２は、画像処理部１５１からの車両画像である撮影画像等を用い、例えば、SLAM(Simultaneous Localization and Mapping)によって、車外端末４０の、車両１に対する相対的な位置又は方向に関する位置関連情報を推定することにより取得し、画像生成部１５３、及び、制御部１５５に供給する。

【0069】

ここで、位置関連情報取得部１５２では、SLAMにより、車外端末４０の位置関連情報を取得することとしたが、車外端末４０の位置関連情報は、その他の任意の方法で取得することができる。

【0070】

例えば、車外端末４０の位置関連情報は、車両画像である撮影画像に映る車両１の形状から推定することができる。また、車両１に所定のマーカを設けておき、車両画像である撮影画像に映る車両１上のマーカから、車外端末４０の位置関連情報を推定することができる。さらに、車両１から指向性の強い電波を送信し、その電波の、車外端末４０での受信状況から、車外端末４０の位置関連情報を推定することができる。また、車両１及び車外端末４０にGPS(Global Positioning System)機能が搭載されている場合には、そのGPS機能により得られる車両１及び車外端末４０の位置から、車外端末４０の位置関連情報を推定することができる。さらに、車両１のセンサ３０_ｉが測距のための赤外線を発する場合や、車両１に可視光を発するLEDが設けられている場合には、その赤外線や可視光の、車外端末４０での受光状況から、車外端末４０の位置関連情報を推定することができる。

【0071】

以上は、車外端末４０において位置関連情報を求める方法であるが、車外端末４０の位置関連情報は、車外端末４０ではなく、車両１で求めることができる。そして、車両１で求められた位置関連情報を、車両１から車外端末４０に送信し、車外端末４０において、車両１からの位置関連情報を受信することにより取得することができる。

【0072】

車両１では、例えば、カメラとしてのセンサ３０_ｉによって、車外端末４０を所持して、車外にいるユーザを撮影し、その撮影により得られる撮影画像に映るユーザを認識することにより、ユーザの位置関連情報を、車外端末４０の位置関連情報として求めることができる。また、例えば、１つのセンサ３０_ｉとして人感センサを採用し、その人感センサのセンシング結果から、ユーザの位置関連情報を、車外端末４０の位置関連情報として求めることができる。さらに、車外端末４０から指向性の強い電波を送信し、その電波の、車両１での受信状況から、車外端末４０の位置関連情報を求める（推定する）ことができる。また、車外端末４０が赤外線や可視光を発することができる場合には、その赤外線や可視光の、車両１での受光状況から、車外端末４０の位置関連情報を求めることができる。

【0073】

その他、車外端末４０の位置関連情報は、上述の方法を複数組み合わせて求め、ロバスト性を向上させることができる。

【0074】

画像生成部１５３には、位置関連情報取得部１５２から、車外端末４０の位置関連情報が供給される他、制御部１５５から、車両制御装置１０から送信されてくる不具合情報が供給される。画像生成部１５３は、位置関連情報取得部１５２からの位置関連情報、及び、制御部１５５からの不具合情報に応じて、汚れがあるセンサ３０_ｉの位置を表す不具合画像を生成し、表示制御部１５４に供給する。

【0075】

表示制御部１５４は、各種の画像を表示部１４５に供給して表示させる表示制御を行う。また、表示制御部１５４は、画像処理部１５１から供給される撮影画像の車両画像、又は、CGの車両画像に、画像生成部１５３からの不具合画像を合成し、合成画像を生成する。そして、表示制御部１５４は、合成画像を、表示部１４５に供給して表示させる。

【0076】

制御部１５５は、情報処理部１４２の各ブロックの制御、その他各種の処理を行う。

【0077】

例えば、制御部１５５は、入力部１４３の操作に応じて、清掃終了通知を生成し、通信部１４１に供給して送信させる。また、制御部１５５は、位置関連情報取得部１５２から供給される位置関連情報を、通信部１４１に供給して送信させる。さらに、制御部１５５は、通信部１４１から供給される、車両制御装置１０から送信されてくる不具合情報を、画像生成部１５３に供給する。

【0078】

入力部１４３は、ユーザによって操作され、ユーザの操作に対応する入力情報を、制御部１５５に供給する。

【0079】

カメラ１４４は、例えば、車両１等の被写体を撮影し、その撮影により得られる撮影画像を、画像処理部１５１に供給する。

【0080】

表示部１４５は、表示制御部１５４の表示制御に従い、表示制御部１５４から供給される合成画像等の画像を表示する。

【0081】

なお、入力部１４３及び表示部１４５は、例えば、タッチパネル等を用いて、一体的に構成することができる。

【0082】

図２の車両１及び図３の車外端末４０で構成される図１の車両制御システムでは、例えば、車両１の車両制御装置１０が起動し、かつ、車両１が安全な場所で停車している状態の、あらかじめ決められたタイミングで、センサ３０_ｉの不具合としての汚れを、ユーザに報知する報知処理が開始される。あらかじめ決められたタイミングとしては、例えば、ユーザが車両１に近づいたとき（車両１の所定の範囲内に入ったとき）や、ユーザが車外から車両１のロック（キー）を解除したとき、ユーザが車両１のエンジンをかけたとき等を採用することができる。

【0083】

なお、車両制御装置１０において十分な電力を使用することができるように、報知処理は、車両１のエンジンがかかっている状態で行うことが望ましい。但し、車両１が電気自動車である場合には、車両１のエンジンをかけなくても、車両制御装置１０において十分な電力を使用することができるので、報知処理は、車両１のエンジンがかかっていない状態で行ってもよい。

【0084】

また、車両１の走行中に、車外端末４０に合成画像等が表示されても、車両１の運転をしているユーザは、車外端末４０に表示された合成画像等を見ることができないため、車両１の走行中には、車外端末４０に合成画像等を表示しないこととする。

【0085】

車両制御装置１０（図２）において報知処理が開始されると、センサ３０_ｉは、そのセンサ３０_ｉの不具合としての汚れの汚れ状況を取得し、センサ情報に含めて送信する。センサ３０_ｉが送信するセンサ情報は、通信部１１４で受信され、情報処理部１１３に供給される。なお、センサ３０_ｉの汚れ状況の取得の方法としては、任意の方法を採用することができる。また、センサ３０_ｉの汚れ状況は、報知処理を開始したときの他、任意のタイミングで取得することができる。例えば、車両１が走行しているときや、停車しているとき等に、センサ３０_ｉの汚れ状況を取得して、車両制御装置１０やセンサ３０_ｉの図示せぬメモリに記憶しておくことができる。そして、その後に行われる報知処理において、メモリに記憶されたセンサ３０_ｉの汚れ状況を用いることができる。

【0086】

情報処理部１１３は、通信部１１４からのセンサ情報（に含まれる汚れ状況）から、不具合としての汚れがあるセンサ３０_ｉを検出する（センサ３０_ｉの汚れを検出する）。汚れがあるセンサ３０_ｉが検出された場合、情報処理部１１３は、センサ３０_ｉが汚れている旨等の情報を、表示部１１１に表示させる。さらに、情報処理部１１３は、汚れがあるセンサ３０_ｉの位置や汚れの状況（状態）等を、表示部１１１に表示させる。

【0087】

また、情報処理部１１３は、センサ３０_ｉについて、汚れがあるかどうかを表す不具合情報を生成する。さらに、情報処理部１１３は、センサ３０_ｉの不具合情報に、そのセンサ３０_ｉの位置を表すセンサ位置情報を含め、通信部１１５に供給して、車外端末４０に送信させる。

【0088】

車両１の車内にいるユーザは、表示部１１１の表示を見て、センサ３０_ｉに汚れがあることを認識した場合、汚れがあるセンサ３０_ｉの清掃を行う。

【0089】

汚れがあるセンサ３０_ｉの清掃にあたり、ユーザは、車外端末４０を所持して、車外に出て、車外端末４０によって、汚れがあるセンサ３０_ｉを確認する。そのため、ユーザは、車外に出て、車外端末４０としてのスマートフォンの表示部１４５を、自分側に向け、表示部１４５の反対側（表示部１４５が設けられている側を表側とすると、裏面側）に設けられたカメラ１４４で、車両１を撮影するような姿勢をとる。

【0090】

車外端末４０（図３）において報知処理が開始されると、カメラ１４４は撮影を開始する。

【0091】

これにより、カメラ１４４では、車外端末４０の位置（ユーザの位置）から見た車両１が映る車両画像としての撮影画像が撮影され、画像処理部１５１に供給される。画像処理部１５１は、カメラ１４４からの車両画像としての撮影画像を、位置関連情報取得部１５２に供給する。

【0092】

さらに、画像処理部１５１は、カメラ１４４からの車両画像としての撮影画像を、表示制御部１５４に供給する。又は、画像処理部１５１は、カメラ１４４からの車両画像としての撮影画像から、車外端末４０の位置から見た車両１のCGを生成し、そのCGとしての車両画像を、表示制御部１５４に供給する。

【0093】

表示制御部１５４は、画像処理部１５１からの車両画像を、表示部１４５に表示させる。

【0094】

一方、位置関連情報取得部１５２は、画像処理部１５１からの車両画像としての撮影画像を用い、車外端末４０の、車両１に対する相対的な位置又は方向に関する位置関連情報を推定することにより取得し、画像生成部１５３、及び、制御部１５５に供給する。制御部１５５に供給された位置関連情報は、通信部１４１を介して、車両制御装置１０に送信され、必要に応じて、車載ライト２０_ｊの制御等に用いられる。

【0095】

また、車外端末４０（図３）では、通信部１４１が、車両制御装置１０の通信部１１５から送信されてくる不具合情報を受信し、制御部１５５に供給する。制御部１５５は、通信部１４１からの不具合情報を、画像生成部１５３に供給する。

【0096】

画像生成部１５３は、位置関連情報取得部１５２からの位置関連情報、及び、制御部１５５からの不具合情報に応じて、汚れがあるセンサ３０_ｉの位置を表す不具合画像を生成し、表示制御部１５４に供給する。

【0097】

表示制御部１５４は、画像生成部１５３から不具合画像が供給されると、画像処理部１５１から供給される、車外端末４０の位置から見た車両１が映る車両画像（撮影画像又はCG）に、画像生成部１５３からの不具合画像を合成し、合成画像を生成する。そして、表示制御部１５４は、合成画像を、表示部１４５に供給して表示させる。

【0098】

合成画像は、車外端末４０の位置、すなわち、ユーザの位置から見た車両１が映る車両画像に、不具合があるセンサ３０_ｉの位置を表す不具合画像が合成された画像であるので、ユーザは、合成画像を見ることにより、車両１に搭載されたセンサ３０_１ないし３０_５の中の不具合としての汚れがあるセンサ３０_ｉの位置を、容易に認識することができる。すなわち、ユーザは、車外端末４０の表示部１４５に表示された合成画像を見ることで、車両制御装置１０の表示部１１１に表示された汚れがあるセンサ３０_ｉの位置を見るために車内に戻ることなく、汚れがあるセンサ３０_ｉの位置を認識することができる。その結果、ユーザの利便性を向上することができる。

【0099】

汚れがあるセンサ３０_ｉの位置を認識したユーザは、そのセンサ３０_ｉに近寄って清掃する。センサ３０_ｉの清掃を終了したユーザは、清掃終了通知を通知するように、入力部１４３を操作する。制御部１５５は、入力部１４３の操作に応じて、清掃終了通知を、通信部１４１に送信させる。

【0100】

通信部１４１が送信した清掃終了通知は、車両制御装置１０の通信部１１５で受信され、情報処理部１１３に供給される。情報処理部１１３は、清掃終了通知に応じて、再度、通信部１１４からのセンサ情報から、不具合としての汚れがあるセンサ３０_ｉを検出する。そして、汚れがあるセンサ３０_ｉが検出された場合、上述した場合と同様の処理が繰り返される。

【0101】

一方、汚れがあるセンサ３０_ｉが検出されなかった場合、車両制御装置１０及び車外端末４０の報知処理は終了する。

【0102】

なお、ここでは、清掃終了通知を、車両制御装置１０の情報処理部１１３に通知するために、車外端末４０の入力部１４３を操作することとしたが、その他、車両制御装置１０の入力部１１２を操作することにより、清掃終了通知を、情報処理部１１３に通知することができる。

【0103】

また、表示制御部１５４では、車外端末４０の位置から見た車両１が映る車両画像に不具合画像を合成した合成画像の他、車両１を俯瞰した俯瞰画像に不具合画像を合成した合成画像を生成して、表示部１４５に表示させることができる。

【0104】

＜合成画像の表示例＞

【0105】

図４は、合成画像の第１の表示例としてのAR(Augmented Reality)表示を説明する図である。

【0106】

AR表示では、車外端末４０の位置から車両１をカメラ１４４で撮影した車両画像としての撮影画像に、不具合画像を合成した合成画像が表示される。

【0107】

図４では、車両１上の汚れがあるセンサ３０_ｉの位置を表す円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とを、不具合画像として、その不具合画像が車両画像としての撮影画像に合成された合成画像が、表示部１４５に表示されている。

【0108】

なお、図４では、車外端末４０を所持したユーザが、車両１の後方に位置している場合と、車両１の（前方に向って）左側のやや後方に位置している場合とにおいて、表示部１４５に表示される合成画像が示されている。

【0109】

AR表示によれば、ユーザ（が所持している車外端末４０）の位置から見た車両１の車両画像と、汚れがあるセンサ３０_ｉの位置を表す不具合画像とが表示されるので、ユーザは、汚れがあるセンサ３０_ｉの位置を、容易に認識することができる。

【0110】

図５は、合成画像の第２の表示例としてのVR(Virtual Reality)表示を説明する図である。

【0111】

VR表示では、車外端末４０の位置から車両１をカメラ１４４で撮影した車両画像から3D(dimensional)モデル等を用いて生成された、車外端末４０の位置から見た車両１が映る車両画像としてのCGに、不具合画像を合成した合成画像が表示される。

【0112】

図５では、車両１上の汚れがあるセンサ３０_ｉの位置を表す円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とを、不具合画像として、その不具合画像が車両画像としてのCGに合成された合成画像が、表示部１４５に表示されている。

【0113】

なお、図５では、図４の場合と同様に、車外端末４０を所持したユーザが、車両１の後方に位置している場合と、車両１の左側のやや後方に位置している場合とにおいて、表示部１４５に表示される合成画像が示されている。

【0114】

VR表示によれば、AR表示と同様に、ユーザ（が所持している車外端末４０）の位置から見た車両１の車両画像と、汚れがあるセンサ３０_ｉの位置を表す不具合画像とが表示されるので、ユーザは、汚れがあるセンサ３０_ｉの位置を、容易に認識することができる。

【0115】

ここで、AR表示とVR表示とは、車外端末４０の位置から車両１を見た車両画像に、不具合画像を合成した合成画像が表示される点で共通する。但し、AR表示の車両画像は、カメラ１４４で撮影された撮影画像であるのに対して、VR表示の車両画像は、CGである点で、AR表示とVR表示とは異なる。

【0116】

図６は、合成画像の第３の表示例としての俯瞰表示を説明する図である。

【0117】

俯瞰表示では、車両１を俯瞰した車両画像（以下、俯瞰画像ともいう）に、不具合画像と、車外端末４０の相対位置を表す相対位置画像とを合成した合成画像が表示される。

【0118】

図６では、車両１上の汚れがあるセンサ３０_ｉの位置を表す円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とを、不具合画像とするとともに、車外端末４０の相対位置を表す円形状の画像と、その相対位置がユーザの位置であることを表すメッセージ「現在地」とを、相対位置画像として、不具合画像及び相対位置画像が俯瞰画像に合成された合成画像が、表示部１４５に表示されている。

【0119】

俯瞰画像としては、例えば、パーキングアシストシステム用の、車両１を俯瞰した画像等を使用することができる。

【0120】

俯瞰表示によれば、車両１を俯瞰した俯瞰画像、汚れがあるセンサ３０_ｉの位置を表す不具合画像、及び、ユーザ（が所持している車外端末４０）の相対位置（現在地）を表す相対位置画像が表示されるので、ユーザは、汚れがあるセンサ３０_ｉの位置を、容易に認識することができる。

【0121】

以上説明したAR表示、VR表示、及び、俯瞰表示は、必要に応じて切り替えることができる。

【0122】

例えば、AR表示、VR表示、及び、俯瞰表示は、ユーザの操作に応じて切り替えることができる。

【0123】

その他、AR表示、VR表示、及び、俯瞰表示の切り替えは、以下のように行うことができる。

【0124】

例えば、ユーザの位置、すなわち、車外端末４０の位置から、汚れがあるセンサ３０_ｉが見えない場合には、車外端末４０では、俯瞰表示を行うことができる。

【0125】

また、車外端末４０の位置から、汚れがあるセンサ３０_ｉが見える場合には、車外端末４０では、AR表示又はVR表示を行うことができる。

【0126】

この場合、車外端末４０の位置から、汚れがあるセンサ３０_ｉが見えないときには、俯瞰表示によって、汚れがあるセンサ３０_ｉが見える位置への移動を、ユーザに促すことができる。そして、ユーザが、汚れがあるセンサ３０_ｉが見える位置に移動した後は、AR表示又はVR表示によって、ユーザは、汚れがあるセンサ３０_ｉの位置を、容易に認識することができる。

【0127】

また、車外端末４０では、例えば、カメラ１４４で撮影された車両画像の明るさに応じて、AR表示又はVR表示を行うことができる。例えば、車両画像の輝度の平均値が閾値以上である場合には、AR表示を行い、車両画像の輝度の平均値が閾値以上でない場合には、VR表示を行うことができる。

【0128】

例えば、夜間においては、カメラ１４４で撮影された車両画像が暗く、その車両画像に映る車両１が視認しにくいことがある。この場合、その車両画像に不具合画像を合成した合成画像でも、その合成画像に映る車両１が視認しにくくなる。

【0129】

そこで、カメラ１４４で撮影された車両画像が暗く、例えば、車両画像の輝度の平均値が閾値以上でない場合には、車両１のCGを表示するVR表示を行うことで、合成画像に映る車両１が視認しにくくなることを防止することができる。

【0130】

なお、ここでは、カメラ１４４で撮影された車両画像の明るさ（車両画像が暗いかどうか）を、車両画像の輝度の平均値によって判定することとしたが、カメラ１４４で撮影された車両画像の明るさは、その他、例えば、照度計により計測される照度等によって判定することができる。

【0131】

また、合成画像を生成するのに用いる不具合画像としては、上述した汚れがあるセンサ３０_ｉの位置を表す画像の他、汚れがあるセンサ３０_ｉの位置を分かりやすく表示する任意のGUI(Graphical User Interface)を採用することができる。

【0132】

＜報知処理に同期した車両１の設備の制御＞

【0133】

図７は、報知処理に同期した車両１の設備の制御の例を説明する図である。

【0134】

車両制御装置１０では、報知処理が行われるのに同期して（報知処理と並行して）、汚れがあるセンサ３０_ｉの位置を、ユーザが容易に認識することを補助するために、車両１の設備を制御することができる。

【0135】

汚れがあるセンサ３０_ｉの位置を、ユーザが容易に認識することを補助するために、車両制御装置１０が行う車両１の設備の制御を、補助制御ということとすると、車両制御装置１０では、車外端末４０から送信されてくる、車外端末４０の位置関連情報や、周囲の明るさ等に応じて、補助制御を行うことができる。

【0136】

例えば、車両制御装置１０では、周囲の明るさに応じて、周囲の明るさが暗い場合には、図７に示すように、情報処理部１１３が、通信部１１４を介して、汚れがあるセンサ３０_ｉに近い車載ライト２０_ｊ（汚れがあるセンサ３０_ｉの周辺の車載ライト２０_ｊ）を制御することにより、その車載ライト２０_ｊを、所定の明るさで点灯させることができる。この場合、例えば、夜間において、汚れがあるセンサ３０_ｉに近い車載ライト２０_ｊが点灯するので、ユーザが、汚れがあるセンサ３０_ｉを見つけることや、汚れがあるセンサ３０_ｉの洗浄作業を補助することができる。

【0137】

また、車両制御装置１０では、車外端末４０から送信されてくる、車外端末４０の位置関連情報が、通信部１１５で受信され、情報処理部１１３に供給される。情報処理部１１３では、通信部１１５からの位置関連情報から、車外端末４０の相対位置が求められる。情報処理部１１３では、車外端末４０の相対位置を用いて、汚れがあるセンサ３０_ｉが、車外端末４０の位置、すなわち、ユーザの位置から見えるかどうかを判定することができる。そして、情報処理部１１３では、周囲の明るさが暗く、かつ、汚れがあるセンサ３０_ｉが、車外端末４０の位置から見える場合に、上述のように、汚れがあるセンサ３０_ｉに近い車載ライト２０_ｊを制御して点灯させることができる。

【0138】

なお、周囲が暗いかどうかは、カメラ１４４で撮影される撮影画像の明るさ（輝度）や、照度計により計測される照度等により判定することができる。

【0139】

情報処理部１１３では、その他、車外端末４０の相対位置に応じて、車載ライト２０_ｊを制御して点滅又は点灯させることができる。

【0140】

例えば、ユーザ（が所持する車外端末４０）が、汚れがあるセンサ３０_ｉから離れている場合には、情報処理部１１３は、汚れがあるセンサ３０_ｉに近い車載ライト２０_ｊを制御して点滅させることができる。この場合、点滅する車載ライト２０_ｊによって、ユーザは、汚れがあるセンサ３０_ｉのおおよその位置を認識することができる。

【0141】

また、例えば、ユーザが、汚れがあるセンサ３０_ｉに近くに位置している場合には、情報処理部１１３は、汚れがあるセンサ３０_ｉに近い車載ライト２０_ｊを制御して、比較的高い光強度で点灯させることができる。この場合、例えば、汚れがあるセンサ３０_ｉのおおよその位置を認識したユーザが、その汚れがあるセンサ３０_ｉに近づいたときに、汚れがあるセンサ３０_ｉの近くが明るく照らされるので、ユーザは、汚れがあるセンサ３０_ｉの汚れ具合を確認することや、夜間におけるセンサ３０_ｉの洗浄作業を補助することができる。

【0142】

なお、情報処理部１１３は、車載ライト２０_ｊを点灯又は点滅させた場合、ユーザの操作等に応じて、又は、清掃終了通知が通知されるのを待って、車載ライト２０_ｊを消灯させることができる。

【0143】

＜報知処理＞

【0144】

図８は、図２の車両制御装置１０の報知処理を説明するフローチャートである。

【0145】

ステップＳ１１において、車両制御装置１０の情報処理部１１３は、通信部１１４を介して、各センサ３０_ｉから、センサ３０_ｉのセンサ情報を取得し、処理は、ステップＳ１２に進む。

【0146】

ステップＳ１２では、情報処理部１１３が、各センサ３０_ｉのセンサ情報を用いて、汚れがあるセンサ３０_ｉがあるかどうか判定する。ここで、ステップＳ１２の処理を行う情報処理部１１３は、センサ３０_ｉの不具合としての汚れを検出する不具合検出部として機能するということができる。

【0147】

ステップＳ１２において、汚れがあるセンサ３０_ｉがないと判定された場合、処理は、ステップＳ１３に進み、情報処理部１１３は、不具合としての汚れがない旨の不具合情報を生成し、通信部１１５から、車外端末４０に送信させ、車両制御装置１０の報知処理は終了する。

【0148】

一方、ステップＳ１２において、汚れがあるセンサ３０_ｉがあると判定された場合、処理は、ステップＳ１４に進み、情報処理部１１３は、不具合としての汚れがある旨の不具合情報を生成する。さらに、情報処理部１１３は、不具合情報に、汚れがあるセンサ３０_ｉそれぞれの位置を表すセンサ位置情報を含め、通信部１１５から、車外端末４０に送信させ、処理は、ステップＳ１４からステップＳ１５に進む。

【0149】

ステップＳ１５では、情報処理部１１３は、車外端末４０から清掃終了通知を受信したかどうかを判定する。ステップＳ１５において、清掃終了通知を受信していないと判定された場合、処理は、ステップＳ１６に進み、情報処理部１１３は、必要に応じて、車外端末４０の位置関連情報等に応じ、通信部１１４を介して、車載ライト２０_ｊを制御することにより、例えば、汚れがあるセンサ３０_ｉに近い車載ライト２０_ｊを点灯させる。そして、処理は、ステップＳ１６からステップＳ１５に戻り、以下、同様の処理が繰り返される。

【0150】

また、ステップＳ１５において、清掃終了通知を受信したと判定された場合、すなわち、例えば、ユーザが、汚れがあるセンサ３０_ｉの清掃を行い、その後、清掃終了通知を通知するように、車外端末４０を操作することにより、車外端末４０から車両制御装置１０に、清掃終了通知が送信された場合、処理は、ステップＳ１７に進む。

【0151】

ステップＳ１７では、ステップＳ１６で車載ライト２０_ｊが点灯された場合に、情報処理部１１３が、通信部１１４を介して、車載ライト２０_ｊを制御することにより消灯させ、処理は、ステップＳ１１に戻る。したがって、ユーザが、汚れがあるセンサ３０_ｉの清掃を行い、不具合としての汚れが解消された（と一応推測される）場合、点灯していた車載ライト２０_ｊは消灯する。

【0152】

そして、ステップＳ１１では、上述のように、情報処理部１１３が、各センサ３０_ｉのセンサ情報を取得し、以下、ステップＳ１２において、汚れがあるセンサ３０_ｉがないと判定されるまで、同様の処理が繰り返される。

【0153】

図９は、図３の車外端末４０の報知処理を説明するフローチャートである。

【0154】

ステップＳ２１において、車外端末４０の制御部１５５は、車両制御装置１０からの不具合情報を取得し、処理は、ステップＳ２２に進む。すなわち、通信部１４１は、車両制御装置１０から不具合情報が送信されてくるのを待って、その不具合情報を受信し、制御部１５５に供給する。制御部１５５は、そのようにして通信部１４１から供給される不具合情報を取得する。

【0155】

ステップＳ２２では、制御部１５５は、ステップＳ２１で取得した車両制御装置１０からの不具合情報を用いて、汚れのあるセンサ３０_ｉがあるかどうかを判定する。

【0156】

ステップＳ２２において、汚れのあるセンサ３０_ｉがあると判定された場合、すなわち、車両制御装置１０からの不具合情報が、汚れがある旨を表し、その汚れがあるセンサ３０_ｉのセンサ位置情報を含む場合、制御部１５５は、車両制御装置１０からの不具合情報を、画像生成部１５３に供給して、処理は、ステップＳ２３に進む。

【0157】

ステップＳ２３では、制御部１５５は、清掃終了通知を通知するように、入力部１４３が操作されたかどうかを判定する。

【0158】

ステップＳ２３において、清掃終了通知を通知するように、入力部１４３が操作されていないと判定された場合、処理は、ステップＳ２４に進み、位置関連情報取得部１５２は、車外端末４０の位置関連情報を取得し、制御部１５５及び画像生成部１５３に供給して、処理は、ステップＳ２５に進む。

【0159】

ステップＳ２５では、画像生成部１５３は、位置関連情報取得部１５２からの位置関連情報、及び、制御部１５５からの不具合情報に応じて、汚れがあるセンサ３０_ｉの位置を表す不具合画像を生成し、表示制御部１５４に供給する。

【0160】

表示制御部１５４は、画像処理部１５１から供給される車両画像、又は、車両１を俯瞰した車両画像に、画像生成部１５３からの不具合画像を合成し、合成画像を生成する。そして、表示制御部１５４は、合成画像を、表示部１４５に供給して表示させる。

【0161】

また、制御部１５５は、位置関連情報取得部１５２からの位置関連情報を、通信部１４１から車両制御装置１０に送信させ、処理は、ステップＳ２５からステップＳ２３に戻る。

【0162】

ここで、以上のようにして、通信部１４１から車両制御装置１０に送信される位置関連情報が、図８のステップＳ１６の処理に用いられる。

【0163】

一方、ステップＳ２３において、清掃終了通知を通知するように、入力部１４３が操作されたと判定された場合、処理は、ステップＳ２６に進み、制御部１５５は、清掃終了通知を、通信部１４１から車両制御装置１０に送信させ、処理は、ステップＳ２１に戻る。

【0164】

ステップＳ２１では、上述したように、車両制御装置１０からの不具合情報が取得され、処理は、ステップＳ２２に進む。

【0165】

そして、ステップＳ２２において、汚れのあるセンサ３０_ｉがないと判定された場合、すなわち、車両制御装置１０からの不具合情報が、汚れがない旨を表す場合、車外端末４０の報知処理は終了する。

【0166】

＜汚れの位置を表す画像を含む不具合画像の表示＞

【0167】

図１０は、汚れの位置を表す画像を含む不具合画像の表示の表示例を示す図である。

【0168】

例えば、センサ３０_ｉが比較的大きなサイズのカメラである場合に、そのセンサ３０_ｉとしてのカメラのレンズの一部が汚れており、その汚れの（レンズ上の）位置を、車両制御装置１０で検出することができるときには、不具合情報には、センサ３０_ｉとしてのカメラの汚れの位置（範囲）を表す汚れ位置情報を含めることができる。

【0169】

この場合、車外端末４０（図３）の画像生成部１５３は、汚れがあるセンサ３０_ｉの汚れの位置を表す画像を含む不具合画像を生成することができる。

【0170】

図１０は、車外端末４０の位置から車両１を見た車両画像に、汚れがあるセンサ３０_ｉの汚れの位置を表す画像を含む不具合画像を合成した合成画像の表示例を示している。

【0171】

図１０では、汚れがあるセンサ３０_ｉの位置を表す円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とが、不具合画像として表示されている。さらに、図１０では、汚れがあるセンサ３０_ｉとしてのカメラを模した画像上に汚れとしての影を付した画像を、汚れの位置を表す汚れ位置画像として、その汚れ位置画像を含む不具合画像が表示されている。

【0172】

以上のように、汚れ位置画像を表示する場合には、ユーザは、汚れがあるセンサ３０_ｉ上のどの位置が汚れているのかを、容易に認識することができる。

【0173】

なお、汚れ位置画像において、汚れの位置は、例えば、画像の色を変更することや、点滅させること等により表すことができる。

【0174】

また、ユーザが、汚れがあるセンサ３０_ｉを清掃し、汚れがなくなった場合には、車外端末４０において、不具合画像の表示を、汚れがなくなったことを表す画像の表示に変更することできる。

【0175】

図１０では、汚れがなくなったことを表す画像として、汚れがあったセンサ３０_ｉの位置を表す円形状の画像と、メッセージ「汚れが落ちました」が記載された吹き出しの画像とが表示されている。さらに、図１０では、汚れがなくなったことを表す画像として、汚れがないセンサ３０_ｉとしてのカメラを模した画像が表示されている。

【0176】

＜発光部を有するセンサ３０_ｉの構成例＞

【0177】

図１１は、発光部を有するセンサ３０_ｉの構成例を示す断面図及び平面図である。

【0178】

車両１においては、センサ３０_ｉの周辺の位置（近い位置）に、車載ライト２０_ｊが装備されているとは限らない。センサ３０_ｉの周辺の位置に、車載ライト２０_ｊが装備されていない場合、汚れがあるセンサ３０_ｉの最も近い位置の車載ライト２０_ｊが、図７で説明したように点灯されても、汚れがあるセンサ３０_ｉから大きく離れた車載ライト２０_ｊが点灯されることがある。このように、汚れがあるセンサ３０_ｉから大きく離れた車載ライト２０_ｊが点灯されることは、汚れがあるセンサ３０_ｉの位置を、ユーザが容易に認識することを補助することにならず、却って妨げとなることがあり得る。

【0179】

そこで、車両１に搭載されるセンサ３０_ｉとしては、発光部を有するセンサ３０_ｉを採用することができる。

【0180】

図１１において、センサ３０_ｉは、例えば、カメラで、イメージセンサ等で構成される光学センサ２００を有する。光学センサ２００の受光面側には、レンズ２０１が設けられている。さらに、光学センサ２００の周囲には、円環状の基板２０２が設けられ、その基板２０２上には、光学センサ２００（レンズ２０１）を囲むように、複数の発光部２０３が設けられている。

【0181】

ここで、発光部２０３は、LED等で構成することができる。また、図１１では、８個の発光部２０３が設けられているが、センサ３０_ｉに設ける発光部２０３の数は、１個でも良いし、８個以外の複数個でも良い。

【0182】

以上のように、センサ３０_ｉが発光部２０３を有する場合には、車載ライト２０_ｊに代えて、汚れがあるセンサ３０_ｉが有する発光部２０３を点灯又は点滅させることができる。汚れがあるセンサ３０_ｉが有する発光部２０３を点灯又は点滅させる場合には、汚れがあるセンサ３０_ｉの周辺の車載ライト２０_ｊを点灯又は点滅させる場合に比較して、汚れがあるセンサ３０_ｉのより正確な位置を、ユーザが容易に認識することができる。

【0183】

なお、不具合画像や合成画像は、車外端末４０で生成する他、車両制御装置１０やクラウド上のコンピュータで生成し、車外端末４０に供給することができる。

【0184】

＜本技術を適用したコンピュータの説明＞

【0185】

次に、上述した車両制御装置１０や車外端末４０の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

【0186】

図１２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

【0187】

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。

【0188】

あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

【0189】

なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

【0190】

コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。

【0191】

CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。

【0192】

これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。

【0193】

なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

【0194】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0195】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0196】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0197】

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0198】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0199】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0200】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0201】

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【0202】

なお、本技術は、以下の構成をとることができる。

【0203】

＜１＞
車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部と
を備える情報処理装置。
＜２＞
前記表示制御部は、前記位置関連情報に応じて、前記車両を俯瞰した前記車両画像に、前記車両に対する前記情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示させる
＜１＞に記載の情報処理装置。
＜３＞
前記表示制御部は、前記位置関連情報に応じて、前記情報処理装置の位置から前記車両を見た前記車両画像に、前記不具合画像を合成した前記合成画像を表示させる
＜１＞に記載の情報処理装置。
＜４＞
前記車両画像は、前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)、又は、前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像である
＜３＞に記載の情報処理装置。
＜５＞
前記表示制御部は、
前記車両を俯瞰した前記車両画像に、前記車両に対する前記情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示する俯瞰表示と、
前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)に、前記不具合画像を合成した前記合成画像を表示するVR(Virtual Reality)表示と、
前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像に、前記不具合画像を合成した前記合成画像を表示するAR(Augmented Reality)表示と
を切り替える
＜１＞に記載の情報処理装置。
＜６＞
前記表示制御部は、
前記情報処理装置の位置から、前記不具合があるセンサが見えない場合、前記俯瞰表示を行い、
前記情報処理装置の位置から、前記不具合があるセンサが見える場合、前記VR表示又は前記AR表示を行う
＜５＞に記載の情報処理装置。
＜７＞
前記表示制御部は、前記撮影画像の明るさに応じて、前記VR表示又は前記AR表示を行う
＜５＞に記載の情報処理装置。
＜８＞
前記車両は、前記不具合があるセンサの周辺の発光部を点灯させる
＜１＞ないし＜７＞のいずれかに記載の情報処理装置。
＜９＞
前記車両は、前記不具合があるセンサの不具合が解消された場合に、前記発光部を消灯させる
＜８＞に記載の情報処理装置。
＜１０＞
前記センサは、前記発光部を有する
＜８＞又は＜９＞に記載に情報処理装置。
＜１１＞
前記センサは、カメラである
＜１＞ないし＜１０＞のいずれかに記載の情報処理装置。
＜１２＞
前記不具合は、前記センサの汚れである
＜１＞ないし＜１１＞のいずれかに記載の情報処理装置。
＜１３＞
前記不具合画像は、前記汚れがあるセンサの前記汚れの位置を表す画像を含む
＜１２＞に記載の情報処理装置。
＜１４＞
携帯端末である
＜１＞ないし＜１３＞のいずれかに記載の情報処理装置。
＜１５＞
車両に対する相対的な位置又は方向に関する位置関連情報を取得することと、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させることと
を含む情報処理方法。
＜１６＞
車両に搭載されるセンサと、
前記センサの不具合を検出する不具合検出部と、
画像を表示する表示部と、
前記車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部と
を備える情報処理システム。

【符号の説明】

【0204】

１ 車両， １０ 車両制御装置， ２０_１，２０_２ 車載ライト， ３０_１ないし３０_５ センサ， ４０ 車外端末， １１１ 表示部， １１２ 入力部， １１３ 情報処理部， １１４，１１５，１４１ 通信部， １４２ 情報処理部， １４３ 入力部， １４４ カメラ， １４５ 表示部， １５１ 画像処理部， １５２ 位置関連情報取得部， １５３ 画像生成部， １５４ 表示制御部， １５５ 制御部， ２００ 光学センサ， ２０１ レンズ， ２０２ 基板， ２０３ 発光部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】