ホーム > 特許ランキング > 公立大学法人広島市立大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024085831
(43)【公開日】2024-06-27
(54)【発明の名称】運転補助装置
(51)【国際特許分類】
G08G 1/16 20060101AFI20240620BHJP
A61G 5/10 20060101ALI20240620BHJP
H04N 7/18 20060101ALI20240620BHJP
【ＦＩ】
G08G1/16 C
A61G5/10
H04N7/18 J
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2022200588
(22)【出願日】2022-12-15
(71)【出願人】
【識別番号】510108951
【氏名又は名称】公立大学法人広島市立大学
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100138955
【弁理士】
【氏名又は名称】末次 渉
(74)【代理人】
【識別番号】100162259
【弁理士】
【氏名又は名称】末富 孝典
(72)【発明者】
【氏名】李 仕剛
【テーマコード（参考）】
5C054
5H181
【Ｆターム（参考）】
5C054CC05
5C054CE00
5C054FC12
5C054FE02
5C054FE25
5C054FE28
5C054HA30
5H181AA01
5H181AA05
5H181AA23
5H181BB13
5H181BB20
5H181CC04
5H181LL01
5H181LL02
5H181LL07
5H181LL08
(57)【要約】
【課題】安全性を向上することができる運転補助装置を提供する。
【解決手段】運転補助装置１は、周囲から視認可能な高さで車椅子に取り付けられ、車椅子の周囲の全天周画像を撮像する第１撮像部２０と、車椅子に取り付けられ、車椅子の運転者の目を含む顔画像を撮像する第２撮像部２１と、第１撮像部２０で撮像された全天周画像と、第２撮像部２１で撮像された顔画像と、に基づいて、運転者の視線の方向、車椅子の運転の状況及び車椅子の周囲の状況を検出する検出部２２と、検出部２２で検出された視線の方向、運転の状況及び周囲の状況の少なくとも１つに基づいて、運転者に第１情報を提示する第１情報提示部と、を備える。
【選択図】図２
【解決手段】運転補助装置１は、周囲から視認可能な高さで車椅子に取り付けられ、車椅子の周囲の全天周画像を撮像する第１撮像部２０と、車椅子に取り付けられ、車椅子の運転者の目を含む顔画像を撮像する第２撮像部２１と、第１撮像部２０で撮像された全天周画像と、第２撮像部２１で撮像された顔画像と、に基づいて、運転者の視線の方向、車椅子の運転の状況及び車椅子の周囲の状況を検出する検出部２２と、検出部２２で検出された視線の方向、運転の状況及び周囲の状況の少なくとも１つに基づいて、運転者に第１情報を提示する第１情報提示部と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
周囲から視認可能な高さで移動体に取り付けられ、前記移動体の周囲の全天周画像を撮像する第１撮像部と、
前記移動体に取り付けられ、前記移動体の運転者の目を含む顔画像を撮像する第２撮像部と、
前記第１撮像部で撮像された全天周画像と、前記第２撮像部で撮像された顔画像に基づいて、前記運転者の視線の方向、前記移動体の運転の状況及び前記移動体の周囲の状況を検出する検出部と、
前記検出部で検出された前記視線の方向、前記運転の状況及び前記周囲の状況の少なくとも１つに基づいて、前記運転者に第１情報を提示する第１情報提示部と、
を備える運転補助装置。
前記移動体に取り付けられ、前記移動体の運転者の目を含む顔画像を撮像する第２撮像部と、
前記第１撮像部で撮像された全天周画像と、前記第２撮像部で撮像された顔画像に基づいて、前記運転者の視線の方向、前記移動体の運転の状況及び前記移動体の周囲の状況を検出する検出部と、
前記検出部で検出された前記視線の方向、前記運転の状況及び前記周囲の状況の少なくとも１つに基づいて、前記運転者に第１情報を提示する第１情報提示部と、
を備える運転補助装置。
【請求項2】
周囲から視認可能な高さで移動体に取り付けられ、前記移動体の周囲の全天周画像を撮像する第１撮像部と、
前記移動体に取り付けられ、前記移動体の運転者の目を含む顔画像を撮像する第２撮像部と、
前記第１撮像部で撮像された全天周画像と、前記第２撮像部で撮像された顔画像に基づいて、前記運転者の視線の方向、前記移動体の運転の状況及び前記移動体の周囲の状況を検出する検出部と、
前記検出部で検出された前記視線の方向、前記運転の状況及び前記周囲の状況の少なくとも１つに基づいて、前記移動体の周囲に第２情報を提示する第２情報提示部と、
を備える運転補助装置。
前記移動体に取り付けられ、前記移動体の運転者の目を含む顔画像を撮像する第２撮像部と、
前記第１撮像部で撮像された全天周画像と、前記第２撮像部で撮像された顔画像に基づいて、前記運転者の視線の方向、前記移動体の運転の状況及び前記移動体の周囲の状況を検出する検出部と、
前記検出部で検出された前記視線の方向、前記運転の状況及び前記周囲の状況の少なくとも１つに基づいて、前記移動体の周囲に第２情報を提示する第２情報提示部と、
を備える運転補助装置。
【請求項3】
前記検出部は、前記第１撮像部で撮像された全天周画像に基づいて、前記移動体の運転の状況としての前記移動体の移動の有無及び移動方向を検出し、
前記第１情報提示部は、前記検出部で前記移動体の移動が検出された場合、前記全天周画像から、前記移動体の移動方向に対応する画像を前記第１情報として前記運転者に提示する、
請求項１に記載の運転補助装置。
前記第１情報提示部は、前記検出部で前記移動体の移動が検出された場合、前記全天周画像から、前記移動体の移動方向に対応する画像を前記第１情報として前記運転者に提示する、
請求項１に記載の運転補助装置。
【請求項4】
前記第１情報提示部は、
前記検出部で前記移動体の停止が検出された場合、前記全天周画像における前記移動体を中心とする画像を前記第１情報として前記運転者に提示する、
請求項３に記載の運転補助装置。
前記検出部で前記移動体の停止が検出された場合、前記全天周画像における前記移動体を中心とする画像を前記第１情報として前記運転者に提示する、
請求項３に記載の運転補助装置。
【請求項5】
前記検出部は、前記第１撮像部で撮像された全天周画像に基づいて、前記移動体の運転の状況としての前記移動体の移動の有無及び移動方向を検出し、
前記第２情報提示部は、前記検出部で前記移動体の移動が検出された場合、前記移動体が移動中であることを示す情報を前記第２情報として周囲に提示する、
請求項２に記載の運転補助装置。
前記第２情報提示部は、前記検出部で前記移動体の移動が検出された場合、前記移動体が移動中であることを示す情報を前記第２情報として周囲に提示する、
請求項２に記載の運転補助装置。
【請求項6】
前記検出部は、検出された前記視線の方向、前記運転の状況及び前記周囲の状況の少なくとも１つに基づいて、前記移動体の状態が、危険性の高い状態を示す条件を満たしているか否かを判定し、
前記第１情報提示部は、前記移動体の状態が、危険性の高い状態を示す条件を満たしていると判定された場合、その状態に関する情報を前記運転者に前記第１情報として提示する、
請求項１に記載の運転補助装置。
前記第１情報提示部は、前記移動体の状態が、危険性の高い状態を示す条件を満たしていると判定された場合、その状態に関する情報を前記運転者に前記第１情報として提示する、
請求項１に記載の運転補助装置。
【請求項7】
前記移動体の移動方向に障害物が検出されることが、危険性の高い状態を示す条件に含まれる、
請求項６に記載の運転補助装置。
請求項６に記載の運転補助装置。
【請求項8】
前記運転者の視線が前記移動方向を向いていないことが、危険性の高い状態を示す条件に含まれる、
請求項６に記載の運転補助装置。
請求項６に記載の運転補助装置。
【請求項9】
前記移動体が横断歩道を横断中であることが、危険性の高い状態を示す条件に含まれる、
請求項６に記載の運転補助装置。
請求項６に記載の運転補助装置。
【請求項10】
前記検出部は、検出された前記視線の方向、前記運転の状況及び前記周囲の状況の少なくとも１つに基づいて、前記移動体の状態が、危険性の高い状態を示す条件を満たしているか否かを判定し、
前記第２情報提示部は、前記移動体の状態が、危険性の高い状態を示す条件を満たしていると判定された場合、その状態に関する情報を前記移動体の周囲に前記第２情報として提示する、
請求項２に記載の運転補助装置。
前記第２情報提示部は、前記移動体の状態が、危険性の高い状態を示す条件を満たしていると判定された場合、その状態に関する情報を前記移動体の周囲に前記第２情報として提示する、
請求項２に記載の運転補助装置。
【請求項11】
前記検出部で前記移動体の周囲が暗いことが、危険性の高い状態を示す条件に含まれる、
請求項１０に記載の運転補助装置。
請求項１０に記載の運転補助装置。
【請求項12】
前記第２情報提示部は、
前記移動体の周囲を照明する照明手段又は音声出力手段を有し、
前記照明手段を点灯させるか前記音声出力手段で報知することにより、前記移動体の位置を示す光情報又は音情報を前記第２情報として周囲に提示可能である、
請求項１０に記載の運転補助装置。
前記移動体の周囲を照明する照明手段又は音声出力手段を有し、
前記照明手段を点灯させるか前記音声出力手段で報知することにより、前記移動体の位置を示す光情報又は音情報を前記第２情報として周囲に提示可能である、
請求項１０に記載の運転補助装置。
【請求項13】
前記第１撮像部は、成人の平均身長と同じ高さに取り付けられている、
請求項１から１２のいずれか一項に記載の運転補助装置。
請求項１から１２のいずれか一項に記載の運転補助装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転補助装置に関する。
【背景技術】
【0002】
ユーザの安全性および利便性を改善した様々な車椅子が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１８４１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
車椅子を巻き込んだ交通事故が多発している。車椅子では、座ったままの移動となり、搭乗者の視線が低いため、周囲の状況を把握しにくいうえ、周囲からも気づかれにくくなっている。このことが、車椅子での移動の安全性を低下させる要因の１つとなっている。
【0005】
本発明は、上記実情の下になされたものであり、安全性を向上することができる運転補助装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の第１の観点に係る運転補助装置は、
周囲から視認可能な高さで移動体に取り付けられ、前記移動体の周囲の全天周画像を撮像する第１撮像部と、
前記移動体に取り付けられ、前記移動体の運転者の目を含む顔画像を撮像する第２撮像部と、
前記第１撮像部で撮像された全天周画像と、前記第２撮像部で撮像された顔画像に基づいて、前記運転者の視線の方向、前記移動体の運転の状況及び前記移動体の周囲の状況を検出する検出部と、
前記検出部で検出された前記視線の方向、前記運転の状況及び前記周囲の状況の少なくとも１つに基づいて、前記運転者に第１情報を提示する第１情報提示部と、
を備える。
周囲から視認可能な高さで移動体に取り付けられ、前記移動体の周囲の全天周画像を撮像する第１撮像部と、
前記移動体に取り付けられ、前記移動体の運転者の目を含む顔画像を撮像する第２撮像部と、
前記第１撮像部で撮像された全天周画像と、前記第２撮像部で撮像された顔画像に基づいて、前記運転者の視線の方向、前記移動体の運転の状況及び前記移動体の周囲の状況を検出する検出部と、
前記検出部で検出された前記視線の方向、前記運転の状況及び前記周囲の状況の少なくとも１つに基づいて、前記運転者に第１情報を提示する第１情報提示部と、
を備える。
【0007】
本発明の第２の観点に係る運転補助装置は、
周囲から視認可能な高さで移動体に取り付けられ、前記移動体の周囲の全天周画像を撮像する第１撮像部と、
前記移動体に取り付けられ、前記移動体の運転者の目を含む顔画像を撮像する第２撮像部と、
前記第１撮像部で撮像された全天周画像と、前記第２撮像部で撮像された顔画像に基づいて、前記運転者の視線の方向、前記移動体の運転の状況及び前記移動体の周囲の状況を検出する検出部と、
前記検出部で検出された前記視線の方向、前記運転の状況及び前記周囲の状況の少なくとも１つに基づいて、前記移動体の周囲に第２情報を提示する第２情報提示部と、
を備える。
周囲から視認可能な高さで移動体に取り付けられ、前記移動体の周囲の全天周画像を撮像する第１撮像部と、
前記移動体に取り付けられ、前記移動体の運転者の目を含む顔画像を撮像する第２撮像部と、
前記第１撮像部で撮像された全天周画像と、前記第２撮像部で撮像された顔画像に基づいて、前記運転者の視線の方向、前記移動体の運転の状況及び前記移動体の周囲の状況を検出する検出部と、
前記検出部で検出された前記視線の方向、前記運転の状況及び前記周囲の状況の少なくとも１つに基づいて、前記移動体の周囲に第２情報を提示する第２情報提示部と、
を備える。
【0008】
前記検出部は、前記第１撮像部で撮像された全天周画像に基づいて、前記移動体の運転の状況としての前記移動体の移動の有無及び移動方向を検出し、
前記第１情報提示部は、前記検出部で前記移動体の移動が検出された場合、前記全天周画像から、前記移動体の移動方向に対応する画像を前記第１情報として前記運転者に提示する、
こととしてもよい。
前記第１情報提示部は、前記検出部で前記移動体の移動が検出された場合、前記全天周画像から、前記移動体の移動方向に対応する画像を前記第１情報として前記運転者に提示する、
こととしてもよい。
【0009】
前記第１情報提示部は、
前記検出部で前記移動体の停止が検出された場合、前記全天周画像における前記移動体を中心とする画像を前記第１情報として前記運転者に提示する、
こととしてもよい。
前記検出部で前記移動体の停止が検出された場合、前記全天周画像における前記移動体を中心とする画像を前記第１情報として前記運転者に提示する、
こととしてもよい。
【0010】
前記検出部は、前記第１撮像部で撮像された全天周画像に基づいて、前記移動体の運転の状況としての前記移動体の移動の有無及び移動方向を検出し、
前記第２情報提示部は、前記検出部で前記移動体の移動が検出された場合、前記移動体が移動中であることを示す情報を前記第２情報として周囲に提示する、
こととしてもよい。
前記第２情報提示部は、前記検出部で前記移動体の移動が検出された場合、前記移動体が移動中であることを示す情報を前記第２情報として周囲に提示する、
こととしてもよい。
【0011】
前記検出部は、検出された前記視線の方向、前記運転の状況及び前記周囲の状況の少なくとも１つに基づいて、前記移動体の状態が、危険性の高い状態を示す条件を満たしているか否かを判定し、
前記第１情報提示部は、前記移動体の状態が、危険性の高い状態を示す条件を満たしていると判定された場合、その状態に関する情報を前記運転者に前記第１情報として提示する、
こととしてもよい。
前記第１情報提示部は、前記移動体の状態が、危険性の高い状態を示す条件を満たしていると判定された場合、その状態に関する情報を前記運転者に前記第１情報として提示する、
こととしてもよい。
【0012】
前記移動体の移動方向に障害物が検出されることが、危険性の高い状態を示す条件に含まれる、
こととしてもよい。
こととしてもよい。
【0013】
前記運転者の視線が前記移動方向を向いていないことが、危険性の高い状態を示す条件に含まれる、
こととしてもよい。
こととしてもよい。
【0014】
前記移動体が横断歩道を横断中であることが、危険性の高い状態を示す条件に含まれる、
こととしてもよい。
こととしてもよい。
【0015】
前記検出部は、検出された前記視線の方向、前記運転の状況及び前記周囲の状況の少なくとも１つに基づいて、前記移動体の状態が、危険性の高い状態を示す条件を満たしているか否かを判定し、
前記第２情報提示部は、前記移動体の状態が、危険性の高い状態を示す条件を満たしていると判定された場合、その状態に関する情報を前記移動体の周囲に前記第２情報として提示する、
こととしてもよい。
前記第２情報提示部は、前記移動体の状態が、危険性の高い状態を示す条件を満たしていると判定された場合、その状態に関する情報を前記移動体の周囲に前記第２情報として提示する、
こととしてもよい。
【0016】
前記検出部で前記移動体の周囲が暗いことが、危険性の高い状態を示す条件に含まれる、
こととしてもよい。
こととしてもよい。
【0017】
前記第２情報提示部は、
前記移動体の周囲を照明する照明手段又は音声出力手段を有し、
前記照明手段を点灯させるか前記音声出力手段で報知することにより、前記移動体の位置を示す光情報又は音情報を前記第２情報として周囲に提示可能である、
こととしてもよい。
前記移動体の周囲を照明する照明手段又は音声出力手段を有し、
前記照明手段を点灯させるか前記音声出力手段で報知することにより、前記移動体の位置を示す光情報又は音情報を前記第２情報として周囲に提示可能である、
こととしてもよい。
【0018】
前記第１撮像部は、成人の平均身長と同じ高さに取り付けられている、
こととしてもよい。
こととしてもよい。
【発明の効果】
【0019】
本発明によれば、安全性を向上することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施の形態に係る車椅子の構成を示す模式図である。
【図3】（Ａ）は、第１撮像部の構成を示す模式図である。（Ｂ）は、第１撮像部に関して規定される座標系を示す模式図である。
【図4】（Ａ）は、第２撮像部で撮像された画像の一例を示す図である。（Ｂ）は、第１撮像部で撮像された画像の一例を示す図である。
【図6】検出部の機能構成を示すブロック図である。
【図7】（Ａ）は、運動パターン検出部の入出力データを示す図である。（Ｂ）は、特徴点の移動を示す模式図である。（Ｃ）は、車椅子の前進／後退／停止を決定するテーブルである。
【図8】物体検出部の入出力データを示すブロック図である。
【図9】シーン検出部の入出力データを示すブロック図である。
【図10】視線検出部の入出力データを示すブロック図である。
【図11】危険性の高い状態を示す条件のテーブルである。
【図13】情報生成処理のフローチャートである。
【発明を実施するための形態】
【0021】
以下、本発明の実施の形態について図面を参照して詳細に説明する。各図面においては、同一又は同等の部分に同一の符号を付す。
【0022】
図１に示すように、本実施の形態に係る運転補助装置１は、車椅子１０に実装される。運転補助装置１は、上部ユニット１１と、前部ユニット１２と、情報処理ユニット１３と、を備える。上部ユニット１１は、車椅子１０の後部中央上部に取り付けられている。前部ユニット１２は、車椅子１０に搭乗する運転者Ｐの視界に収まる位置に取り付けられている。情報処理ユニット１３は、運転者Ｐの邪魔にならない位置、例えば車椅子１０の背もたれの後面に取り付けられている。
【0023】
図２に示すように、運転補助装置１は、第１撮像部２０と、第２撮像部２１と、検出部２２と、第１情報提示部２３と、第２情報提示部２４と、を備える。第１撮像部２０及び第２情報提示部２４は、上部ユニット１１に収容され、第２撮像部２１及び第１情報提示部２３は、前部ユニット１２に収容され、検出部２２は、情報処理ユニット１３に格納される。
【0024】
［第１撮像部］
上部ユニット１１に収容された第１撮像部２０は、周囲から視認可能な高さで車椅子１０に取り付けられている。第１撮像部２０が取り付けられる高さは、運転者Ｐの頭部より高ければよい。理想的には、第１撮像部２０は、成人の平均身長と同じ又は同程度の高さに取り付けられるのが望ましい。平均身長は、性別や年齢によって大きく異なるが、日本人男性の平均身長は、１ｍ７０ｃｍ程度であり、日本人女性の平均身長は、１ｍ６０ｃｍ程度である。したがって、この高さを、１ｍ６０ｃｍ以上１ｍ７０ｃｍ以下とすることができる。第１撮像部２０の高さを成人の平均身長程度とすれば、日本国内の街中については、第１撮像部２０が移動の障害になる可能性を極力少なくすることができる。海外であっても、第１撮像部２０の高さをその国の成人の平均身長の高さとすれば、第１撮像部２０が移動の障害になる可能性を低くすることができる。
上部ユニット１１に収容された第１撮像部２０は、周囲から視認可能な高さで車椅子１０に取り付けられている。第１撮像部２０が取り付けられる高さは、運転者Ｐの頭部より高ければよい。理想的には、第１撮像部２０は、成人の平均身長と同じ又は同程度の高さに取り付けられるのが望ましい。平均身長は、性別や年齢によって大きく異なるが、日本人男性の平均身長は、１ｍ７０ｃｍ程度であり、日本人女性の平均身長は、１ｍ６０ｃｍ程度である。したがって、この高さを、１ｍ６０ｃｍ以上１ｍ７０ｃｍ以下とすることができる。第１撮像部２０の高さを成人の平均身長程度とすれば、日本国内の街中については、第１撮像部２０が移動の障害になる可能性を極力少なくすることができる。海外であっても、第１撮像部２０の高さをその国の成人の平均身長の高さとすれば、第１撮像部２０が移動の障害になる可能性を低くすることができる。
【0025】
図３（Ａ）に示すように、第１撮像部２０は、魚眼カメラ３０Ａ、３０Ｂを備える。魚眼カメラ３０Ａ、３０Ｂは、それぞれ半球以上の広い視野を有する広角レンズを有するカメラである。魚眼カメラ３０Ａ、３０Ｂは、それぞれの視野が互いに逆向きとなるように設置される。本実施の形態では、車椅子１０の前方に向かって、魚眼カメラ３０Ａは右向き（紙面左）に設置され、魚眼カメラ３０Ｂは左向き（紙面右）に設置される。
【0026】
魚眼カメラ３０Ａ、３０Ｂは、同期しながら所定のサンプリングで撮像を行う。同じタイミングで撮像された魚眼カメラ３０Ａで撮像される画像と魚眼カメラ３０Ｂで撮像される画像とは合成されて、正距円筒図法で表現される全天周画像３１となる。全天周画像３１とは、ある点を中心とする円球全面を視野とする画像である。第１撮像部２０は、このようにして、車椅子１０の周囲の全天周画像３１を撮像する。
【0027】
魚眼カメラ３０Ａ及び魚眼カメラ３０Ｂで撮像される画像の座標系は、図３（Ｂ）に示すように球面座標系となる一方、第１撮像部２０で撮像される全天周画像３１の座標系は、正距円筒図法で表現された平面座標系となる。検出部２２における処理のため、魚眼カメラ３０Ａ，３０Ｂで撮像される画像の各画素（例えばＰ１、Ｐ２）が、第１撮像部２０で撮像される全天周画像３１のどの画素に対応するかを予め把握しておく必要がある。したがって、検出部２２は、魚眼カメラ３０Ａ、３０Ｂの各画素と全天周画像３１の各画素とを一対一で対応付けるルックアップテーブルＬＵＴ０を有している。
【0028】
さらに、検出部２２における処理のため、図３（Ｂ）に示すように、全天周画像３１の画素が、車椅子１０を中心とする球面座標系のどの点に対応するかについても予め把握しておく必要がある。検出部２２は、全天周画像３１の各画素と車椅子１０を中心とする実空間の球面座標系の点とを一対一で対応付けるルックアップテーブルＬＵＴ１を有している。
【0029】
また、後述するように、必要に応じて、全天周画像３１から、車椅子１０の前方の画像である前方画像ＦＶと、車椅子１０の後方の画像である後方画像ＲＶと、車椅子１０を上から俯瞰的に見る車椅子１０を中心とする画像である車椅子中心画像ＴＶと、が抽出される。このため、検出部２２は、全天周画像３１の各画素と前方画像ＦＶの各画素とを一対一で対応付けるルックアップテーブルＬＵＴ－Ｆと、全天周画像３１の各画素と後方画像ＲＶの各画素とを一対一で対応付けるルックアップテーブルＬＵＴ－Ｒと、全天周画像３１の各画素と車椅子中心画像ＴＶの各画素とを一対一で対応付けるルックアップテーブルＬＵＴ－Ｔと、を有している。ルックアップテーブルＬＵＴ０、ＬＵＴ１、ＬＵＴ－Ｆ、ＬＵＴ－Ｒ、ＬＵＴ－Ｔは、運転補助装置１の運用に先立って後述の前処理１、２により生成される。
【0030】
［第２撮像部］
図２に戻り、前部ユニット１２に収容された第２撮像部２１は、車椅子１０に取り付けられ、運転者Ｐの目を含む顔画像を撮像するカメラである。第２撮像部２１は、運転者Ｐがどこを見ているか、すなわち視線方向を推定するために設けられている。第２撮像部２１は、車椅子１０の前方に１つだけ設けられていてもよいし、車椅子１０の右前方と、左前方とに１つずつ設けられるようにしてもよい。本実施の形態では、第２撮像部２１は、１つであるものとする。
図２に戻り、前部ユニット１２に収容された第２撮像部２１は、車椅子１０に取り付けられ、運転者Ｐの目を含む顔画像を撮像するカメラである。第２撮像部２１は、運転者Ｐがどこを見ているか、すなわち視線方向を推定するために設けられている。第２撮像部２１は、車椅子１０の前方に１つだけ設けられていてもよいし、車椅子１０の右前方と、左前方とに１つずつ設けられるようにしてもよい。本実施の形態では、第２撮像部２１は、１つであるものとする。
【0031】
第２撮像部２１は、所定のサンプリング間隔で車椅子１０の運転者Ｐの目を含む顔画像を撮像する。図４（Ａ）には、撮像された顔画像３２の一例が示されている。本実施の形態では、顔画像３２に基づいて、運転者Ｐの視線方向を示す視線ベクトルＶが推定され、その視線ベクトルＶに対応する全天周画像３１の座標系における注視点ＶＰが検出される。したがって、第２撮像部２１で撮像される画像から推定される視線ベクトルＶのベクトル空間と、図４（Ｂ）に示す全天周画像３１の座標系との間が一致するように、すなわち視線ベクトルＶ上に注視点ＶＰがくるように、キャリブレーション（深層学習器の事前学習）を行っておく必要がある。このキャリブレーションは、後述する前処理３で行われる。
【0032】
［検出部］
図２に戻り、検出部２２は、第１撮像部２０で撮像された全天周画像３１と、第２撮像部２１で撮像された運転者Ｐの顔画像３２と、を入力し、運転者Ｐ又は車椅子１０の周囲に提示する情報を生成して、第１情報提示部２３及び第２情報提示部２４に出力する。
図２に戻り、検出部２２は、第１撮像部２０で撮像された全天周画像３１と、第２撮像部２１で撮像された運転者Ｐの顔画像３２と、を入力し、運転者Ｐ又は車椅子１０の周囲に提示する情報を生成して、第１情報提示部２３及び第２情報提示部２４に出力する。
【0033】
検出部２２は、例えば、図５に示すハードウエア構成を有するコンピュータがソフトウエアプログラムを実現することにより実現される。具体的には、検出部２２は、装置全体の制御を司るＣＰＵ（Central Processing Unit）４１と、ＣＰＵ４１の作業領域等として動作する主記憶部４２と、ＣＰＵ４１のプログラム４６を記憶する外部記憶部４３と、入出力部４４と、これらを接続する内部バス４５と、を備える。
【0034】
主記憶部４２は、ＲＡＭ（Random Access Memory）等から構成されている。主記憶部４２には、ＣＰＵ４１が実行するプログラム４６が外部記憶部４３からロードされる。また、主記憶部４２は、ＣＰＵ４１の作業領域（データの一時記憶領域）としても用いられる。
【0035】
外部記憶部４３は、フラッシュメモリ、ハードディスク等の不揮発性メモリから構成される。外部記憶部４３には、ＣＰＵ４１に実行させるプログラム４６が予め記憶されている。
【0036】
入出力部４４は、第１撮像部２０、第２撮像部２１、第１情報提示部２３及び第２情報提示部２４とのデータ送受信を行う入出力インターフェイスである。入出力部４４を介して、第１撮像部２０及び第２撮像部２１から撮像された画像のデータが入力され、第１情報提示部２３及び第２情報提示部２４に対して提示すべき情報を出力する。
【0037】
上述のようなハードウエア構成を有する検出部２２は、ＣＰＵ４１がプログラム４６を第１撮像部２０で撮像された全天周画像３１と、第２撮像部２１で撮像された運転者Ｐの顔画像３２と、に基づいて、運転者Ｐの視線の方向、車椅子１０の運転の状況及び車椅子１０の周囲の状況を検出する。
【0038】
検出部２２で検出される検出内容には以下の４つがある。
（１）車椅子１０の運動パターンの検出
（２）車椅子１０の周囲の物体の検出
（３）車椅子１０の周辺のシーン（環境）の検出
（４）運転者Ｐの視線の検出
検出部２２は、（１）、（２）、（３）については、全天周画像３１に基づいて検出を行い、（４）については、全天周画像３１及び顔画像３２に基づいて検出を行う。（１）～（４）の検出を行うため、図６に示すように、検出部２２は、運動パターン検出部２２ａと、物体検出部２２ｂと、シーン検出部２２ｃと、視線検出部２２ｄと、を備える。検出部２２は、（１）～（４）の検出結果に基づいて、第１情報提示部２３又は第２情報提示部２４によって提示される情報を生成する情報生成部２２ｅを備える。
（１）車椅子１０の運動パターンの検出
（２）車椅子１０の周囲の物体の検出
（３）車椅子１０の周辺のシーン（環境）の検出
（４）運転者Ｐの視線の検出
検出部２２は、（１）、（２）、（３）については、全天周画像３１に基づいて検出を行い、（４）については、全天周画像３１及び顔画像３２に基づいて検出を行う。（１）～（４）の検出を行うため、図６に示すように、検出部２２は、運動パターン検出部２２ａと、物体検出部２２ｂと、シーン検出部２２ｃと、視線検出部２２ｄと、を備える。検出部２２は、（１）～（４）の検出結果に基づいて、第１情報提示部２３又は第２情報提示部２４によって提示される情報を生成する情報生成部２２ｅを備える。
【0039】
（１）車椅子１０の運動パターンの検出
運動パターン検出部２２ａは、図７（Ａ）に示すように、第１撮像部２０で撮像された全天周画像３１に基づいて、車椅子１０の運転の状況としての車椅子１０の移動の有無及び移動方向を検出する。例えば、運動パターン検出部２２ａは、車椅子１０が前進しているのか、後退しているのか、停止しているのかを検出する。
運動パターン検出部２２ａは、図７（Ａ）に示すように、第１撮像部２０で撮像された全天周画像３１に基づいて、車椅子１０の運転の状況としての車椅子１０の移動の有無及び移動方向を検出する。例えば、運動パターン検出部２２ａは、車椅子１０が前進しているのか、後退しているのか、停止しているのかを検出する。
【0040】
車椅子１０の移動の有無及び移動方向の検出は、全天周画像３１における前方画像ＦＶ及び後方画像ＲＶに基づいて行われる。運動パターン検出部２２ａは、例えば前方画像ＦＶ及び後方画像ＲＶにおける複数の特徴点が、時間が経過するにつれて中心となる特徴点に対して近づいているか、遠ざかっているかを検出する。
【0041】
図７（Ｂ）に示すように、複数の特徴点が、時間が経つにつれて中心となる特徴点に対して近づいている状態を、ＰｏＣ（Point of Contraction）という。また、複数の特徴点が、時間が経つにつれて中心となる特徴点から遠ざかっている状態を、ＰｏＥ（Point of Expansion）という。
【0042】
運動パターン検出部２２ａは、全天周画像３１から抽出された前方画像ＦＶ及び後方画像ＲＶが、ＰｏＣであるか、ＰｏＥであるか、そのいずれかでもないかを算出して、車椅子１０の前進（Forward）／後退（Backward）／停止（Stop）を検出する。例えば、図７（Ｃ）に示すように、前方画像ＦＶでＰｏＥが検出され、後方画像ＲＶでＰｏＣが検出された場合、車椅子１０は、前進していると判定される。また、前方画像ＦＶでＰｏＣが検出され、後方画像ＲＶでＰｏＥが検出された場合、車椅子１０は、後退していると判定される。また、前方画像ＦＶも後方画像ＲＶも、ＰｏＣでも、ＰｏＥでもない場合、車椅子１０は、停止していると判定される。この他の組み合わせも停止していると判定される。
【0043】
なお、運動パターン検出部２２ａは、全天周画像３１を入力して、車椅子１０の運動パターンを推定する深層学習器で構成されていてもよい。この深層学習器は、各時刻における車椅子１０の運動を表す並進成分と回転成分を推定する。そして、推定された並進成分に基づいて、運動パターンを停止、前進、後退のいずれかに分類する。本実施の形態では、全天周画像３１に基づいて、車椅子１０の運動パターンを推定できる深層学習器であれば、その種類に特に制限はない。
【0044】
（２）車椅子１０の周囲の物体の検出
図８に示すように、物体検出部２２ｂは、全天周画像３１に基づいて、車椅子１０の周辺にある物体の位置情報及び距離情報、すなわち周囲の３次元情報を検出する深層学習器である。検出される物体には、人の他、あらゆる物体が含まれる。図８では、検出された物体として、物体ＯＢ１、ＯＢ２、ＯＢ３を示すＢｏｕｎｄｉｎｇ Ｂｏｘの位置情報及び距離情報が検出される様子が示されている。距離情報は、Ｂｏｕｎｄｉｎｇ Ｂｏｘの中心領域の平均距離情報とすることができる。周囲の物体の位置情報及び距離情報を検出できるもの、すなわち画像から深度推定が可能で、深度の時間変化を推定可能な学習器であれば、深層学習器の種別（例えばＹＯＬＯ（You Only Look Once）など）は特に限定されない。
図８に示すように、物体検出部２２ｂは、全天周画像３１に基づいて、車椅子１０の周辺にある物体の位置情報及び距離情報、すなわち周囲の３次元情報を検出する深層学習器である。検出される物体には、人の他、あらゆる物体が含まれる。図８では、検出された物体として、物体ＯＢ１、ＯＢ２、ＯＢ３を示すＢｏｕｎｄｉｎｇ Ｂｏｘの位置情報及び距離情報が検出される様子が示されている。距離情報は、Ｂｏｕｎｄｉｎｇ Ｂｏｘの中心領域の平均距離情報とすることができる。周囲の物体の位置情報及び距離情報を検出できるもの、すなわち画像から深度推定が可能で、深度の時間変化を推定可能な学習器であれば、深層学習器の種別（例えばＹＯＬＯ（You Only Look Once）など）は特に限定されない。
【0045】
（３）車椅子１０の周辺のシーン（環境）の検出
図９に示すように、シーン検出部２２ｃは、全天周画像３１を入力して、車椅子１０の周囲の環境（シーン）を分類する深層学習器である。分類されるカテゴリには、様々なものを採用することができる。例えば、車椅子１０の周囲の明るさでシーンを分類することができるし、車椅子１０の周囲が室内か室外かでシーンを分類することができる。また、車椅子１０が歩道に居るか横断歩道に居るかでシーンを分類することができる。このように分類される内容は特に限定されず、様々なものを採用することが可能である。例えば、図書館にいるか、ショッピングモールに居るか、など、より具体的にシーンを分類することが可能である。
図９に示すように、シーン検出部２２ｃは、全天周画像３１を入力して、車椅子１０の周囲の環境（シーン）を分類する深層学習器である。分類されるカテゴリには、様々なものを採用することができる。例えば、車椅子１０の周囲の明るさでシーンを分類することができるし、車椅子１０の周囲が室内か室外かでシーンを分類することができる。また、車椅子１０が歩道に居るか横断歩道に居るかでシーンを分類することができる。このように分類される内容は特に限定されず、様々なものを採用することが可能である。例えば、図書館にいるか、ショッピングモールに居るか、など、より具体的にシーンを分類することが可能である。
【0046】
（４）運転者Ｐの視線の検出
図１０に示すように、視線検出部２２ｄは、顔画像３２に基づいて、運転者Ｐの視線方向を示す視線ベクトルＶを推定し、全天周画像３１における視線ベクトルＶが示す球面座標系における注視点などを推定する深層学習器である。このような深層学習器としては、運転者Ｐの顔の向きが視線の向きとほぼ同じであると仮定して、顔の向きを検出するものであってもよい。この深層学習器も、運転者Ｐの視線を推定可能なものであれば、特にその処理内容には限定されない。このような深層学習器として、例えばリカレントニューラルネットワーク（ＲＮＮ）、特にＬＳＴＭ（Long Short-Term Memory）を含む学習器を用いることができる。
図１０に示すように、視線検出部２２ｄは、顔画像３２に基づいて、運転者Ｐの視線方向を示す視線ベクトルＶを推定し、全天周画像３１における視線ベクトルＶが示す球面座標系における注視点などを推定する深層学習器である。このような深層学習器としては、運転者Ｐの顔の向きが視線の向きとほぼ同じであると仮定して、顔の向きを検出するものであってもよい。この深層学習器も、運転者Ｐの視線を推定可能なものであれば、特にその処理内容には限定されない。このような深層学習器として、例えばリカレントニューラルネットワーク（ＲＮＮ）、特にＬＳＴＭ（Long Short-Term Memory）を含む学習器を用いることができる。
【0047】
図６に戻り、情報生成部２２ｅは、運動パターン検出部２２ａで車椅子１０の移動が検出された場合、全天周画像３１から、車椅子１０の移動方向に対応する画像を生成して、第１情報提示部２３に出力する。例えば、運動パターン検出部２２ａによって車椅子１０の前進が検出された場合、情報生成部２２ｅは、ルックアップテーブルＬＵＴ－Ｆを参照して全天周画像３１から、車椅子１０の前方画像ＦＶ（図３（Ｂ）参照）を抽出し、この前方画像ＦＶを平面画像に変換して第１情報提示部２３に出力する。また、運動パターン検出部２２ａによって車椅子１０の後退が検出された場合、情報生成部２２ｅは、全天周画像３１から、ルックアップテーブルＬＵＴ－Ｒを参照して車椅子１０の後方画像ＲＶ（図３（Ｂ）参照）を抽出し、この後方画像ＲＶを平面画像に変換して第１情報提示部２３に出力する。さらに、運動パターン検出部２２ａによって車椅子１０の停止が検出された場合、情報生成部２２ｅは、ルックアップテーブルＬＵＴ－Ｔを参照して、全天周画像３１から、車椅子中心画像ＴＶ（図３（Ｂ）参照）を抽出し、これを平面画像に変換して第１情報提示部２３に出力する。
【0048】
検出部２２は、検出された視線の方向、運転の状況及び周囲の状況の少なくとも１つに基づいて、車椅子１０の状態が、危険性の高い状態を示す条件を満たしているか否かを判定する。危険性の高い状態を示す条件には、例えば、図１１のテーブルに示すように、車椅子１０が後退していること、車椅子１０の移動方向に障害物（物体）が検出されること、運転者Ｐの視線が車椅子１０の移動方向を向いていないこと、車椅子１０が横断歩道を横断中であること、周囲が暗いことなどが含まれる。情報生成部２２ｅは、車椅子１０の状態が、危険性の高い状態を示す条件を満たしていると判定した場合、その状態に関する情報を、提示する情報として第１情報提示部２３又は第２情報提示部２４に送る。
【0049】
なお、車椅子１０の移動方向については、後退だけでなく、前進の場合も危険性の高い状態を示す条件に含めるようにしてもよい。基本的には、車椅子１０が移動していることが検出されること、車椅子１０の近くに物体が検出されること、車椅子１０が何かと衝突し易い環境に存在することが検出されること、運転者Ｐの視線方向が移動方向を向いていないこと、を危険度の高い状態を示す条件とすることができる。運転者Ｐの視線方向が移動方向を向いていないことには、運転者Ｐが眠気を催し、目をつぶっている場合も含まれるようにすることができる。
【0050】
情報生成部２２ｅは、これらの条件が１つでも該当すれば、運転者Ｐ又は車椅子１０の周囲に、注意を促す情報を提示すべきか否かを判定することができる。
【0051】
また、検出部２２は、第１撮像部２０、第２撮像部２１、第１情報提示部２３及び第２情報提示部２４の制御を行う。
【0052】
［第１情報提示部］
図２に戻り、第１情報提示部２３は、第２撮像部２１とともに前部ユニット１２に収容されている。第１情報提示部２３は、検出部２２から出力された情報を運転者Ｐに対して提示する。第１情報提示部２３は、例えば、ディスプレイを有する。このディスプレイは、運転者Ｐが視認可能な位置に取り付けられている。第１情報提示部２３は、検出部２２で検出された運転者Ｐの視線の方向、車椅子１０の運転の状況及び車椅子１０の周囲の状況の少なくとも１つに基づいて、運転者Ｐに提示すべき情報（第１情報）を提示する。
図２に戻り、第１情報提示部２３は、第２撮像部２１とともに前部ユニット１２に収容されている。第１情報提示部２３は、検出部２２から出力された情報を運転者Ｐに対して提示する。第１情報提示部２３は、例えば、ディスプレイを有する。このディスプレイは、運転者Ｐが視認可能な位置に取り付けられている。第１情報提示部２３は、検出部２２で検出された運転者Ｐの視線の方向、車椅子１０の運転の状況及び車椅子１０の周囲の状況の少なくとも１つに基づいて、運転者Ｐに提示すべき情報（第１情報）を提示する。
【0053】
例えば、第１情報提示部２３は、検出部２２で車椅子１０の移動が検出された場合、全天周画像３１から、車椅子１０の移動方向に対応する画像を検出部２２の情報生成部２２ｅから入力し、第１情報として運転者Ｐに提示する。すなわち、車椅子１０が前進している場合、第１情報提示部２３は、前方画像ＦＶ（平面画像）をディスプレイ上に表示する。車椅子１０が後退している場合、第１情報提示部２３は、後方画像ＲＶ（平面画像）をディスプレイ上に表示する。また、第１情報提示部２３は、検出部２２で車椅子１０の停止が検出された場合、車椅子中心画像ＴＶ（平面画像）を第１情報としてディスプレイに表示することにより、運転者Ｐに提示する。
【0054】
なお、第１情報提示部２３は、タブレット型のコンピュータであってもよい。第１情報提示部２３は、ディスプレイだけでなく、スピーカ又はバイブレータなど、運転者Ｐへの他の情報の提示手段を有していてもよい。
【0055】
また、第１情報提示部２３は、検出部２２で運転者Ｐの視線の方向、運転の状況及び周囲の状況の少なくとも１つに基づいて、車椅子１０の状態が、危険性の高い状態を示す条件を満たしていると判定された場合、検出部２２から、状態に関する情報を入力し、その情報を、運転者Ｐに第１情報として提示する。例えば、第１情報提示部２３は、車椅子１０が移動していること、車椅子１０の近くに物体が存在すること、車椅子１０が衝突を起こし易い環境に存在すること、運転者Ｐの視線方向が移動方向を向いていないことを第１情報として提示する。
【0056】
［第２情報提示部］
図２に戻り、第２情報提示部２４は、第１撮像部２０とともに上部ユニット１１に収容され、第１撮像部２０とほぼ同じ高さに設置されている。第２情報提示部２４は、検出部２２から出力された情報を、車椅子１０の周囲に提示する。
図２に戻り、第２情報提示部２４は、第１撮像部２０とともに上部ユニット１１に収容され、第１撮像部２０とほぼ同じ高さに設置されている。第２情報提示部２４は、検出部２２から出力された情報を、車椅子１０の周囲に提示する。
【0057】
第２情報提示部２４は、車椅子１０の周囲を照明する照明手段又は音声出力手段を有する。第２情報提示部２４は、照明手段を点灯させるか音声出力手段で報知することにより、車椅子１０の位置を示す光情報又は音情報を第２情報として周囲に提示可能である。
【0058】
第２情報提示部２４は、検出部２２で検出された車椅子１０の運転の状況及び車椅子１０の周囲の状況の少なくとも１つに基づいて、車椅子１０の周囲に情報（第２情報）を提示する。例えば、検出部２２は、第１撮像部２０で撮像された全天周画像３１に基づいて、車椅子１０の運転の状況としての車椅子１０の移動の有無及び移動方向を検出する。第２情報提示部２４は、検出部２２で車椅子１０の移動が検出された場合、車椅子１０が移動中であることを示す情報を第２情報として周囲に提示するようにしてもよい。
【0059】
また、検出部２２は、検出された視線の方向、運転の状況及び周囲の状況の少なくとも１つに基づいて、車椅子１０の状態が、危険性の高い状態を示す条件を満たしているか否かを判定する。第２情報提示部２４は、車椅子１０の状態が、危険性の高い状態を示す条件を満たしていると判定された場合、その状態に関する情報を車椅子１０の周囲に第２情報として提示する。
【0060】
例えば、第２情報提示部２４は、車椅子１０が移動している場合、車椅子１０の近くに物体が存在する場合、車椅子１０の周囲が暗い場合、車椅子１０が衝突を起こし易い環境に存在する場合、運転者Ｐの視線方向が移動方向を向いていない場合、照明手段を点灯させるか、音声出力手段で報知することによって、光又は音を第２情報として周囲に提示して、車椅子１０の存在を周囲に知らせる動作を行う。
【0061】
［運転補助装置の動作］
次に、本実施の形態に係る運転補助装置１の動作について説明する。運転補助装置１を使用するにあたっては、まず、以下の前処理１～３を行う必要がある。前処理１～３は、調整者が行うものである。調整者は、運転者Ｐであってもよいし、その他の運転補助装置１の調整を行う者であってもよい。
次に、本実施の形態に係る運転補助装置１の動作について説明する。運転補助装置１を使用するにあたっては、まず、以下の前処理１～３を行う必要がある。前処理１～３は、調整者が行うものである。調整者は、運転者Ｐであってもよいし、その他の運転補助装置１の調整を行う者であってもよい。
【0062】
［前処理１］
まず、第１撮像部２０がまだ車椅子１０に取り付けられていない段階で、前処理１を行う。前処理１では、図３（Ｂ）に示すルックアップテーブルＬＵＴ０が生成される。ルックアップテーブルＬＵＴ０は、魚眼カメラ３０Ａ，３０Ｂそれぞれの光学特性（焦点距離、ひずみ）を表す内部パラメータと、魚眼カメラ３０Ａ，３０Ｂの間の相対姿勢を表す外部パラメータとを用いた光学シミュレーション又は実際の撮像結果に基づいて図３（Ｂ）に示す魚眼カメラ３０Ａ，３０Ｂの球面座標系と、全天周画像３１の座標系との間の関係を規定することにより決定される。生成されたルックアップテーブルＬＵＴ０は検出部２２に記憶される。これにより、前処理１が終了する。
まず、第１撮像部２０がまだ車椅子１０に取り付けられていない段階で、前処理１を行う。前処理１では、図３（Ｂ）に示すルックアップテーブルＬＵＴ０が生成される。ルックアップテーブルＬＵＴ０は、魚眼カメラ３０Ａ，３０Ｂそれぞれの光学特性（焦点距離、ひずみ）を表す内部パラメータと、魚眼カメラ３０Ａ，３０Ｂの間の相対姿勢を表す外部パラメータとを用いた光学シミュレーション又は実際の撮像結果に基づいて図３（Ｂ）に示す魚眼カメラ３０Ａ，３０Ｂの球面座標系と、全天周画像３１の座標系との間の関係を規定することにより決定される。生成されたルックアップテーブルＬＵＴ０は検出部２２に記憶される。これにより、前処理１が終了する。
【0063】
［前処理２］
前処理１が完了した後、前処理２を行う。前処理２では、図３（Ｂ）に示すルックアップテーブルＬＵＴ１、ＬＵＴ－Ｆ、ＬＵＴ－Ｒ、ＬＵＴ－Ｔが生成される。ルックアップテーブルＬＵＴ１、ＬＵＴ－Ｆ、ＬＵＴ－Ｒ、ＬＵＴ－Ｔは、以下の手順で生成される。
前処理１が完了した後、前処理２を行う。前処理２では、図３（Ｂ）に示すルックアップテーブルＬＵＴ１、ＬＵＴ－Ｆ、ＬＵＴ－Ｒ、ＬＵＴ－Ｔが生成される。ルックアップテーブルＬＵＴ１、ＬＵＴ－Ｆ、ＬＵＴ－Ｒ、ＬＵＴ－Ｔは、以下の手順で生成される。
【0064】
（手順１）図１に示すように、第１撮像部２０を車椅子１０に取り付け、第１撮像部２０による撮像を行って、第１撮像部２０によって撮像された全天周画像３１から抽出された前方画像ＦＶを、第１情報提示部２３を構成するディスプレイに表示させる。
【0065】
（手順２）ディスプレイに表示された前方画像ＦＶを確認しながら、全天周画像３１の垂直線が鉛直方向と一致し、第１撮像部２０で撮像されるマーカ又は車椅子１０の押しハンドルの位置が、全天周画像３１の中心を挟んで左右対称の位置に映るように、第１撮像部２０の位置及び姿勢を調整する。
【0066】
（手順３）調整後、車椅子１０の前方の実際の景色の見え方とディスプレイに映る前方画像ＦＶでの景色の見え方とが一致するように、ディスプレイに映る前方画像ＦＶを見ながら、図３（Ｂ）に示す全天周画像３１と車椅子１０を中心とする実空間の球面座標系との関係を示すルックアップテーブルＬＵＴ１を調整する。そして、両者が一致すると判断された状態まで調整されたルックアップテーブルＬＵＴ１及びルックアップテーブルＬＵＴ－Ｆを検出部２２に保存する。
【0067】
（手順４）さらに、この状態で、車椅子１０を中心とする後方画像ＲＶをディスプレイに表示し、車椅子１０の後方の景色の見え方とディスプレイに映る後方画像ＲＶでの景色の見え方とが一致するように、ディスプレイに映る後方画像ＲＶを見ながら、ルックアップテーブルＬＵＴ－Ｒを調整する。そして、両者が一致すると判断された状態まで調整されたルックアップテーブルＬＵＴ－Ｒを検出部２２に保存する。車椅子中心画像ＴＶについても同様の処理を行い、ルックアップテーブルＬＵＴ－Ｔを検出部２２に保存する。これにより、前処理２が終了する。
【0068】
［前処理３］
前処理２終了後、前処理３を行う。前処理３では、検出部２２における深層学習器の事前学習が行われる。図６に示す物体検出部２２ｂ、シーン検出部２２ｃ及び視線検出部２２ｄについて事前学習が行われる。運動パターン検出部２２ａが深層学習器である場合、この事前学習も行われる。事前学習は、それぞれの深層学習器に対する公知の学習方法（例えばマーカを用いた学習、教師付き学習）で行うことができる。
前処理２終了後、前処理３を行う。前処理３では、検出部２２における深層学習器の事前学習が行われる。図６に示す物体検出部２２ｂ、シーン検出部２２ｃ及び視線検出部２２ｄについて事前学習が行われる。運動パターン検出部２２ａが深層学習器である場合、この事前学習も行われる。事前学習は、それぞれの深層学習器に対する公知の学習方法（例えばマーカを用いた学習、教師付き学習）で行うことができる。
【0069】
また、視線検出部２２ｄでは、顔画像３２に基づいて推定される視線ベクトルＶが示す点と、全天周画像３１における注視点ＶＰとが一致するような事前学習が行われる必要がある。この場合、マーカを置いて、運転者Ｐにそのマーカを注視させた状態で、顔画像３２に基づいて推定される視線ベクトルＶがマーカの位置を指すように調整されるような事前学習を行うようにすればよい。
【0070】
［運転補助処理］
前処理１～３が終了すると、図１２に示す運転補助処理が実行可能となる。運転補助処理では、まず、検出部２２は、第１撮像部２０及び第２撮像部２１による撮像を開始させる（ステップＳ１）。続いて、検出部２２は、運動パターン検出部２２ａによる運動パターンの検出（ステップＳ２）、物体検出部２２ｂによる物体の検出（ステップＳ３）、シーン検出部２２ｃによるシーンの検出（ステップＳ４）、視線検出部２２ｄによる視線の検出（ステップＳ５）を行う。これらは同時に行ってもよいし、順番に行ってもよい。ステップＳ２～Ｓ５を行う順番は任意とすることができる。
前処理１～３が終了すると、図１２に示す運転補助処理が実行可能となる。運転補助処理では、まず、検出部２２は、第１撮像部２０及び第２撮像部２１による撮像を開始させる（ステップＳ１）。続いて、検出部２２は、運動パターン検出部２２ａによる運動パターンの検出（ステップＳ２）、物体検出部２２ｂによる物体の検出（ステップＳ３）、シーン検出部２２ｃによるシーンの検出（ステップＳ４）、視線検出部２２ｄによる視線の検出（ステップＳ５）を行う。これらは同時に行ってもよいし、順番に行ってもよい。ステップＳ２～Ｓ５を行う順番は任意とすることができる。
【0071】
続いて、検出部２２の情報生成部２２ｅは、情報生成処理を行う（ステップＳ６）。情報生成処理において、情報生成部２２ｅは、図１３に示すように、車椅子１０の運動パターンに応じた画像の生成、出力を行う（ステップＳ１１）。ここでは、前進している場合、前方画像ＦＶが生成され、後退している場合、後方画像ＲＶが生成され、停止している場合、車椅子中心画像ＴＶが生成される。
【0072】
続いて、情報生成部２２ｅは、車椅子１０が移動中であるか否かを判定する（ステップＳ１２）。移動中である場合（ステップＳ１２；Ｙｅｓ）、情報生成部２２ｅは、移動中を示す情報を生成し、出力する（ステップＳ１３）。
【0073】
ステップＳ１３実行後、又は、移動中でない場合（ステップＳ１２；Ｎｏ）、情報生成部２２ｅは、危険度条件チェックを行う（ステップＳ１４）。この危険度チェックは、運動パターン検出部２２ａ、物体検出部２２ｂ、シーン検出部２２ｃ及び視線検出部２２ｄから出力された検出結果が、例えば図１１に示すテーブルの条件を満たすか否かにより行われる。すなわち、情報生成部２２ｅは、図１１に示すように、車椅子１０が後退している場合、移動方向に障害物が検出された場合、視線が移動方向を向いていない場合、横断歩道横断中の場合、周囲が暗い場合などに、危険性の高い状態を示す条件を満たしているものと判定する。
【0074】
危険度の高い状態を示す条件を満たすと判定された場合（ステップＳ１５；Ｙｅｓ）、情報生成部２２ｅは、危険度が高い状態に関する情報を生成し、出力する（ステップＳ１６）。例えば、情報生成部２２ｅは、車椅子１０が後退している場合、後方画像ＲＶ及び車椅子１０が後退している旨の情報を第１情報提示部２３及び第２情報提示部２４に送る。第１情報提示部２３は、後方画像ＲＶを表示するとともに、第２情報提示部２４は、車椅子１０が後退していることを音声出力する。このように、情報生成部２２ｅは、危険度の高い状態を示す条件を満たすと判定された場合（ステップＳ１５；Ｙｅｓ）、第１情報提示部２３に、運転者Ｐに注意を促す第１情報を提示させるとともに、第２情報提示部２４に、車椅子１０の周囲に注意を促す第２情報を提示させる（ステップＳ１６）。
【0075】
危険度の高い状態を示す条件を満たすと判定されていない場合（ステップＳ１５；Ｎｏ）又はステップＳ１６実行後、情報生成部２２ｅは、ステップＳ６の情報生成処理を終了する。
【0076】
図１２に戻り、ステップＳ６終了後、検出部２２は、終了するか否かを判定する（ステップＳ７）。車椅子１０の使用を終了する場合、この判定が肯定される。終了せず、運転補助処理を継続する場合（ステップＳ７；Ｎｏ）、ステップＳ２～ステップＳ５が再び実行された後、ステップＳ６が実行される。
【0077】
以降、終了と判定されない限り（ステップＳ７；Ｎｏ）、ステップＳ２～ステップＳ５→ステップＳ６が繰り返される。終了と判定されると（ステップＳ７；Ｙｅｓ）、検出部２２は、運転補助処理を終了する。
【0078】
以上詳細に説明したように、本実施の形態に係る運転補助装置１によれば、運転者Ｐの視線の方向、車椅子１０の運転の状況及び車椅子１０の周囲の状況を検出し、それらの検出結果に応じて、運転者Ｐ及び車椅子１０の周囲に注意を促せるようになるので、車椅子１０の運転時の安全性を向上することができる。
【0079】
本実施の形態では、検出部２２では、車椅子１０の運動パターンの検出と、物体の検出と、車椅子１０の周囲のシーンの検出と、運転者Ｐの視線方向の検出と、を別々の処理で行った。しかしながら、これには限られない。例えば、これらの検出処理の一部を共通の深層学習器で行うようにしてもよい。
【0080】
また、本実施の形態に係る運転補助装置１は、第１情報提示部２３と、第２情報提示部２４とを両方備え、危険度が高いと判定された場合、基本的には、第１情報提示部２３と、第２情報提示部２４とを両方で情報を提示している。しかしながら、これには限られない。危険度が高いと判定された場合、第１情報提示部２３と、第２情報提示部２４とのいずれか一方で、注意を促す情報を提示するようにしてもよい。この場合、第１情報提示部２３と、第２情報提示部２４と、より効果が高い方を選択して、情報を提示するようにしてもよい。
【0081】
また、本実施の形態に係る運転補助装置１は、第１情報提示部２３と、第２情報提示部２４とを両方備える。しかしながら、これには限られない。第１情報提示部２３と、第２情報提示部２４とのいずれかはなくてもよい。
【0082】
運転支援装置１が設置されるのは、車椅子１０には限られない。カート、キックボード（登録商標）、自転車、自動二輪車、自動車などの他の車両であってもよい。
【0083】
その他、検出部２２のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
【0084】
ＣＰＵ４１、主記憶部４２、外部記憶部４３、入出力部４４及び内部バス４５などから構成される検出部２２の処理を行う中心となる部分は、上述のように、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する検出部２２を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで検出部２２を構成してもよい。
【0085】
コンピュータの機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【0086】
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【0087】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【0088】
本発明は、車両の運転の補助に適用することができる。
【符号の説明】
【0089】
１ 運転補助装置、１０ 車椅子（移動体）、１１ 上部ユニット、１２ 前部ユニット、１３ 情報処理ユニット、２０ 第１撮像部、２１ 第２撮像部、２２ 検出部、２２ａ 運動パターン検出部、２２ｂ 物体検出部、２２ｃ シーン検出部、２２ｄ 視線検出部、２２ｅ 情報生成部、２３ 第１情報提示部、２４ 第２情報提示部、３０Ａ，３０Ｂ 魚眼カメラ、３１ 全天周画像、３２ 顔画像、４１ ＣＰＵ、４２ 主記憶部、４３ 外部記憶部、４４ 入出力部、４５ 内部バス、４６ プログラム、Ｐ 運転者、ＬＵＴ０，ＬＵＴ１，ＬＵＴ－Ｆ，ＬＵＴ－Ｒ、ＬＵＴ－Ｔ ルックアップテーブル、ＦＶ 前方画像、ＲＶ 後方画像、ＴＶ 車椅子中心画像、ＯＢ１，ＯＢ２，ＯＢ３ 物体、Ｐ１，Ｐ２ 画素、Ｖ 視線ベクトル、ＶＰ 注視点
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】