(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-26
(45)【発行日】2024-10-04
(54)【発明の名称】移動支援装置、及び、移動支援方法
(51)【国際特許分類】
G08G 1/16 20060101AFI20240927BHJP
G16Y 10/40 20200101ALI20240927BHJP
G16Y 20/40 20200101ALI20240927BHJP
G16Y 40/20 20200101ALI20240927BHJP
【FI】
G08G1/16 D
G16Y10/40
G16Y20/40
G16Y40/20
(21)【出願番号】P 2021572118
(86)(22)【出願日】2020-01-20
(86)【国際出願番号】 JP2020001641
(87)【国際公開番号】W WO2021149095
(87)【国際公開日】2021-07-29
【審査請求日】2021-12-01
【審判番号】
【審判請求日】2023-06-09
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】柴田 博彬
【合議体】
【審判長】山本 信平
【審判官】河端 賢
【審判官】北村 亮
(56)【参考文献】
【文献】特開2019-105891(JP,A)
【文献】国際公開第2012/033173(WO,A1)
【文献】特開2004-46426(JP,A)
【文献】国際公開第2020/003392(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
G16Y 10/00-40/60
(57)【特許請求の範囲】
【請求項1】
移動体に備えられたセンサである移動体センサが出力する移動体センサ情報を取得する移動体センサ情報取得部と、
前記移動体センサ情報取得部が取得する前記移動体センサ情報に基づいて、前記移動体センサの死角領域を示す死角領域情報を取得する死角領域取得部と、
前記死角領域取得部が取得する前記死角領域情報が示す前記死角領域に存在する1以上の物体のそれぞれの位置又は種別を示す死角物体情報を取得する死角物体取得部と、
前記死角物体取得部が取得する前記死角物体情報に基づいて、前記死角領域に存在する1以上の前記物体のうち、前記移動体が移動した際に前記移動体が接触する可能性がある前記物体を特定する接触物体特定部と、
前記接触物体特定部が特定する前記物体に対応する前記死角物体情報を学習済モデルに入力し、当該学習済モデルが推論結果として出力する情報であって、前記移動体が当該物体に接触することを回避するための情報である移動支援情報を取得する移動支援情報取得部と、
前記移動支援情報取得部が取得した前記移動支援情報を出力する移動支援情報出力部と、
を備え、
前記移動支援情報は、前記移動体の操舵制御量を示す情報、前記移動体のブレーキ制御量を示す情報、前記移動体のアクセル制御量を示す情報、前記移動体の警笛制御を示す情報、前記移動体が走行する道路の道幅方向における前記移動体の位置を指示する情報、前記移動体が走行する速度を指示する情報、又は、前記移動体の警笛を鳴らすことを指示する情報であること
を特徴とする移動支援装置。
【請求項2】
前記死角物体取得部は、前記死角領域取得部が取得する前記死角領域情報が示す前記死角領域に存在する1以上の前記物体のそれぞれの位置及び種別を示す前記死角物体情報を取得し、
前記接触物体特定部は、前記死角物体取得部が取得する前記死角物体情報が示す前記死角領域に存在する1以上の前記物体のそれぞれの位置又は種別に基づいて、前記死角領域に存在する1以上の前記物体のうち、前記移動体が移動した際に前記移動体が接触する可能性がある前記物体を特定し、
前記移動支援情報取得部は、前記学習済モデルに前記接触物体特定部が特定する前記物体に対応する前記死角物体情報を入力し、当該学習済モデルが推論結果として出力する前記移動支援情報を取得すること
を特徴とする請求項1記載の移動支援装置。
【請求項3】
前記移動体が移動している道路の状態を示す道路状態情報を取得する道路状態取得部を備え、
前記接触物体特定部は、前記死角物体情報に加えて、前記道路状態取得部が取得する前記道路状態情報に基づいて、前記死角領域に存在する1以上の前記物体のうち、前記移動体が移動した際に前記移動体が接触する可能性がある前記物体を特定すること
を特徴とする請求項1記載の移動支援装置。
【請求項4】
前記移動体が移動している道路の状態を示す道路状態情報を取得する道路状態取得部を備え、
前記移動支援情報取得部は、前記接触物体特定部が特定する前記物体に対応する前記死角物体情報に加えて、前記道路状態取得部が取得する前記道路状態情報を前記学習済モデルに入力し、当該学習済モデルが推論結果として出力する前記移動支援情報を取得すること
を特徴とする請求項1記載の移動支援装置。
【請求項5】
前記移動体以外の物体に設けられたセンサである物体センサが出力する物体センサ情報を取得する物体センサ情報取得部を備え、
前記死角物体取得部は、前記物体センサ情報取得部が取得する前記物体センサ情報に基づいて、前記死角領域情報が示す前記死角領域に存在する1以上の前記物体のそれぞれの位置又は種別を示す前記死角物体情報を取得すること
を特徴とする請求項1記載の移動支援装置。
【請求項6】
前記移動支援情報取得部は、複数の前記学習済モデルのうち、前記接触物体特定部が特定する前記物体に対応する前記死角物体情報が示す死角物体の位置又は種別に対応する前記学習済モデルに、当該物体に対応する前記死角物体情報を入力し、当該学習済モデルが推論結果として出力する前記移動支援情報を取得すること
を特徴とする請求項1記載の移動支援装置。
【請求項7】
移動体センサ情報取得部が、移動体に備えられたセンサである移動体センサが出力する移動体センサ情報を取得する移動体センサ情報取得ステップと、
死角領域取得部が、前記移動体センサ情報取得部が取得する前記移動体センサ情報に基づいて、前記移動体センサの死角領域を示す死角領域情報を取得する死角領域取得ステップと、
死角物体取得部が、前記死角領域取得部が取得する前記死角領域情報が示す前記死角領域に存在する1以上の物体のそれぞれの位置又は種別を示す死角物体情報を取得する死角物体取得ステップと、
接触物体特定部が、前記死角物体取得部が取得する前記死角物体情報に基づいて、前記死角領域に存在する1以上の前記物体のうち、前記移動体が移動した際に前記移動体が接触する可能性がある前記物体を特定する接触物体特定ステップと、
移動支援情報取得部が、前記接触物体特定部が特定する前記物体に対応する前記死角物体情報を学習済モデルに入力し、当該学習済モデルが推論結果として出力する情報であって、前記移動体が当該物体に接触することを回避するための情報である移動支援情報を取得する移動支援情報取得ステップと、
移動支援情報出力部が、前記移動支援情報取得部が取得した前記移動支援情報を出力する移動支援情報出力ステップと、
を備え、
前記移動支援情報は、前記移動体の操舵制御量を示す情報、前記移動体のブレーキ制御量を示す情報、前記移動体のアクセル制御量を示す情報、前記移動体の警笛制御を示す情報、前記移動体が走行する道路の道幅方向における前記移動体の位置を指示する情報、前記移動体が走行する速度を指示する情報、又は、前記移動体の警笛を鳴らすことを指示する情報であること
を特徴とする移動支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、移動支援装置、移動支援学習装置、及び、移動支援方法に関するものである。
【背景技術】
【0002】
車両の走行中に死角となる領域の状況を考慮して運転支援を行う技術がある。
例えば、特許文献1には、車両走行における交通環境情報を取得する交通環境情報取得手段と、障害物が形成する死角領域を検出する死角領域検出手段と、交通環境取得手段により取得された交通環境情報から死角領域の危険度に寄与する動的情報を抽出する動的情報抽出手段と、検出された死角領域の危険度に寄与する動的情報に基づいて死角領域の危険度を設定する危険度算出手段と、を備える危険度算出装置が出力する死角領域の危険度に基づいて、運転支援を行う運転支援装置が開示されている。
特許文献1に記載された従来の運転支援装置(以下「従来の運転支援装置」という。)は、死角領域から移動体が飛び出してくる確率を死角領域の状況に応じて積算することにより求めた危険度に基づいて、運転支援を行うものである。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の運転支援装置は、積算して求めた危険度のみに基づいて運転支援を行うものであったため、危険度に基づく単純な警告、又は、危険度に基づく速度制御等の単純な運転制御等の運転支援しか行うことができず、走行方向の変更等の高度な運転支援を行うことができないという問題点があった。
【0005】
本発明は、上述の問題点を解決するためのもので、走行中の車両を含む移動中の移動体から見て死角となる領域の状況を考慮して、当該移動体に対して高度な移動支援を行うことが可能な移動支援装置を提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明に係る移動支援装置は、移動体に備えられた移動体センサが出力する移動体センサ情報を取得する移動体センサ情報取得部と、移動体センサ情報取得部が取得する移動体センサ情報に基づいて、移動体センサの死角領域を示す死角領域情報を取得する死角領域取得部と、死角領域取得部が取得する死角領域情報が示す死角領域に存在する1以上の物体のそれぞれの位置又は種別を示す死角物体情報を取得する死角物体取得部と、死角物体取得部が取得する死角物体情報に基づいて、死角領域に存在する1以上の物体のうち、移動体が移動した際に当該移動体が接触する可能性がある物体を特定する接触物体特定部と、接触物体特定部が特定する物体に対応する死角物体情報を学習済モデルに入力し、当該学習済モデルが推論結果として出力する情報であって、当該移動体が当該物体に接触することを回避するための情報である移動支援情報を取得する移動支援情報取得部と、移動支援情報取得部が取得した移動支援情報を出力する移動支援情報出力部と、を備え、移動支援情報は、移動体の操舵制御量を示す情報、移動体のブレーキ制御量を示す情報、移動体のアクセル制御量を示す情報、移動体の警笛制御を示す情報、移動体が走行する道路の道幅方向における移動体の位置を指示する情報、移動体が走行する速度を指示する情報、又は、移動体の警笛を鳴らすことを指示する情報であるものである。
【発明の効果】
【0007】
本発明によれば、走行中の車両を含む移動中の移動体から見て死角となる領域の状況を考慮して、当該移動体に対して高度な移動支援を行うことができる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施の形態1に係る移動支援システムの要部の構成の一例を示すブロック図である。
【
図2】
図2は、実施の形態1に係る移動支援装置の要部の構成の一例を示すブロック図である。
【
図3】
図3は、実施の形態1に係る死角物体の種別毎に予め定められた危険度の一例を示す図である。
【
図4】
図4A及び
図4Bは、実施の形態1に係る移動支援装置のハードウェア構成の要部の一例を示す図である。
【
図5】
図5は、実施の形態1に係る移動支援装置の処理の一例を説明するフローチャートである。
【
図6】
図6は、実施の形態1に係る移動支援学習システムの要部の一例を示すブロック図である。
【
図7】
図7は、実施の形態1に係る移動支援学習装置の要部の構成の一例を示すブロック図である。
【
図8】
図8は、実施の形態1に係る移動支援学習装置の処理の一例を説明するフローチャートである。
【
図9】
図9は、実施の形態2に係る移動支援システムの要部の一例を示すブロック図である。
【
図10】
図10は、実施の形態2に係る移動支援装置の要部の構成の一例を示すブロック図である。
【
図11】
図11は、実施の形態2に係る移動支援装置の処理の一例を説明するフローチャートである。
【
図12】
図12は、実施の形態2に係る移動支援学習システムの要部の一例を示すブロック図である。
【
図13】
図13は、実施の形態2に係る移動支援学習装置の要部の構成の一例を示すブロック図である。
【
図14】
図14は、実施の形態2に係る移動支援学習装置の処理の一例を説明するフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【0010】
実施の形態1.
図1から
図5を参照して、実施の形態1に係る移動支援装置100について説明する。また、
図6から
図8を参照して、実施の形態1に係る移動支援学習装置200について説明する。
実施の形態1に係る移動支援装置100及び移動支援学習装置200は、一例として、移動体として車両10に適用したものである。
実施の形態1において、移動体は、車両10であるものとして説明するが、移動体は、車両10に限定されるものではない。例えば、移動体は、歩行者、自転車、自動二輪車、又は、自走可能なロボット等であっても良い。
【0011】
図1を参照して、実施の形態1に係る移動支援装置100を適用した移動支援システム1の要部の構成について説明する。
図1は、実施の形態1に係る移動支援装置100を適用した移動支援システム1の要部の構成の一例を示すブロック図である。
実施の形態1に係る移動支援システム1は、移動支援装置100、車両10、移動体センサ20、移動体位置出力装置30、記憶装置40、自動移動制御装置50、表示制御装置60、音声出力制御装置70、ネットワーク80、及び、物体センサ90を備える。
【0012】
車両10は、エンジン又はモータ等を搭載した自走可能な自動車等の移動体である。
移動支援装置100は、移動支援情報を取得し、当該移動支援情報を出力する。移動支援装置100は、車両10内に設置されたものであっても、車両10外の所定の場所に設置されたものであっても良い。実施の形態1では、移動支援装置100は、車両10外の所定の場所に設置されているものとして説明する。
移動支援装置100の詳細については後述する。
【0013】
移動体センサ20は、移動体である車両10に備えられたセンサである。具体的には、例えば移動体センサ20は、デジタルスチルカメラ、デジタルビデオカメラ、赤外線カメラ、若しくは、点群カメラ等の撮像装置、又は、ソナー、ミリ波レーダ、若しくは、レーザレーダ等の測距用センサである。移動体センサ20は、車両10の外側の撮影又は計測を行う。移動体センサ20は、移動体センサ20が撮影した画像を示す画像情報、又は、移動体センサ20が計測した結果を示すセンサ信号等を移動体センサ情報として出力する。
移動体が自転車、自動二輪車、又は、自走可能なロボット等である場合、移動体センサ20は、例えば、移動体に備えられた撮像装置又は測距用センサである。移動体が歩行者である場合、移動体センサ20は、例えば、移動体である歩行者が携える撮像装置若しくは測距用センサ、又は、歩行者が携えるメガネ、衣服、鞄、若しくは杖等の物品に備えられた撮像装置若しくは測距用センサである。
【0014】
移動体位置出力装置30は、移動体である車両10の位置を示す移動体位置情報を出力する。移動体位置出力装置30は、例えば、車両10内に設置され、GNSS(Global Navigation Satellite System)等の航法システムを用いて車両10の位置を推定することにより、車両10の位置を示す移動体位置情報を生成して、生成した移動体位置情報を出力する。
なお、航法システム等を用いて位置を推定する方法は、公知であるため説明を省略する。
移動体が自転車、自動二輪車、又は、自走可能なロボット等である場合、移動体位置出力装置30は、例えば、移動体に設置される。移動体が歩行者である場合、移動体位置出力装置30は、例えば、移動体である歩行者が携えるスマートフォン等の携帯端末の一機能として実現される。
【0015】
記憶装置40は、移動支援装置100が必要な情報を保存するための装置である。記憶装置40は、当該情報を保存するための、SSD(Solid State Drive)又はHDD(Hard Disk Drive)等の記憶媒体を備える。記憶装置40は、外部からの読み出し又は書き込みの要求を受けて、要求に応じた情報の入出力を行う。
【0016】
自動移動制御装置50は、例えば、車両10内に設置され、移動支援情報に基づいて、操舵制御、ブレーキ制御、アクセル制御、又は、警笛制御等の車両制御を車両10に対して行う。
移動支援情報は、操舵制御量を示す情報、ブレーキ制御量を示す情報、アクセル制御量を示す情報、又は、警笛制御を示す情報等である。移動支援情報は、車両10が走行する道路の道幅方向における車両10の位置を指示する情報、車両10が走行する速度を指示する情報、又は、車両10の警笛を鳴らすことを指示する情報等であっても良い。
自動移動制御装置50は、例えば、移動体が自転車、自動二輪車、又は、自走可能なロボット等である場合において、移動体に設置される。
【0017】
表示制御装置60は、例えば、車両10内に設置され、移動支援情報に基づく表示画像信号を生成する。表示制御装置60は、車両10等に備えられた不図示の表示装置に、表示制御装置60が生成した表示画像信号を出力することにより、当該表示装置に表示画像信号が示す表示画像を表示させる。表示装置に表示される表示画像信号が示す表示画像は、例えば、車両10の移動者に、ハンドル、ブレーキ、若しくは、アクセルの操作を促すための画像、又は、警笛を鳴らすことを促すための画像等である。
表示制御装置60は、例えば、移動体が自転車又は自動二輪車等である場合において、移動体に設置される。表示制御装置60は、例えば、移動体が歩行者である場合、移動体である歩行者が携えるスマートフォン等の携帯端末の一機能として実現される。
【0018】
音声出力制御装置70は、例えば、車両10内に設置され、移動支援情報に基づく音声信号を生成する。音声出力制御装置70は、車両10等に備えられた不図示の音声出力装置に、音声出力制御装置70が生成した音声信号を出力することにより、当該音声出力装置に音声信号が示す音声を出力させる。音声出力装置から出力される音声信号が示す音声は、例えば、車両10の移動者に、ハンドル、ブレーキ、若しくは、アクセルの操作を促すための音声、又は、警笛を鳴らすことを促すための音声等である。
音声出力制御装置70は、例えば、移動体が自転車又は自動二輪車等である場合において、移動体に設置される。音声出力制御装置70は、例えば、移動体が歩行者である場合、移動体である歩行者が携えるスマートフォン等の携帯端末の一機能として実現される。
【0019】
ネットワーク80は、有線又は無線による情報通信網である。移動支援装置100は、ネットワーク80を介して、移動支援装置100が動作に必要な情報を取得する。また、移動支援装置100は、ネットワーク80を介して、移動支援装置100が取得した移動支援情報を自動移動制御装置50、表示制御装置60、又は、音声出力制御装置70等に出力する。
【0020】
物体センサ90は、例えば、撮像装置又は測距用センサ等のセンサである。物体センサ90は、例えば、移動体である車両10が走行中の道路、又は、当該道路の接する道路等を走行する車両10以外の車両又は自動二輪車等に設置されている。また、例えば、物体センサ90は、移動体である車両10が走行中の道路、若しくは、当該道路の接する道路等に設置された信号機等の構造物、又は、車両10が走行中の道路、若しくは、当該道路の接する道路等に隣接する位置に存在する家屋、塀、又は、建物等の構造物等に設置されている。物体センサ90は、移動体センサ20の死角となる領域である死角領域を含む領域の撮影又は計測を行う。
【0021】
図2を参照して、実施の形態1に係る移動支援装置100の要部の構成について説明する。
図2は、実施の形態1に係る移動支援装置100の要部の構成の一例を示すブロック図である。
実施の形態1に係る移動支援装置100は、移動体センサ情報取得部110、死角領域取得部111、移動体位置取得部120、物体センサ情報取得部121、死角物体取得部130、道路状態取得部150、接触物体特定部160、移動支援情報取得部170、及び、移動支援情報出力部180を備える。
【0022】
移動体センサ情報取得部110は、移動体である車両10に備えられたセンサである移動体センサ20が出力する移動体センサ情報を取得する。
具体的には、移動体センサ情報取得部110は、ネットワーク80を介して、移動体センサ20が出力する移動体センサ情報を取得する。
【0023】
死角領域取得部111は、移動体センサ情報取得部110が取得する移動体センサ情報に基づいて、移動体センサ20の死角となる領域である死角領域を示す死角領域情報を取得する。
具体的には、例えば、死角領域取得部111は、移動体センサ情報を用いて死角領域を算出することにより、死角領域情報を取得する。
移動体センサ20の死角領域とは、例えば、移動体センサ20が撮像装置である場合、移動体センサ20とある領域との間に存在する障害物により、移動体センサ20が撮影した画像に当該領域に存在する物体が写らない領域のことである。また、例えば、移動体センサ20の死角領域とは、移動体センサ20が測距用センサである場合、移動体センサ20とある領域との間に存在する障害物により、移動体センサ20が出力した探査波が当該領域に存在する物体まで到達しない領域のことである。
障害物は、例えば、車両10が走行中の道路に設置された看板、電信柱、若しくは、信号機等の構造物、車両10が走行中の道路に隣接する位置に存在する家屋、塀、若しくは、建物等の構造物、又は、車両10が走行中の道路に存在する走行中若しくは停止中の他の車両等である。
【0024】
死角領域取得部111が取得する死角領域情報は、車両10における予め定められた位置を基準とする相対位置により示される領域を示す情報である。実施の形態1では、基準となる車両10における予め定められた位置は、車両10に設置された移動体センサ20の車両10における位置であるものとして説明する。
なお、撮像装置又は測距用センサ等である移動体センサ20が出力する移動体センサ情報を用いて移動体センサ20の死角領域を算出する方法は、公知であるため説明を省略する。
【0025】
移動体位置取得部120は、走行中の車両10の位置を示す移動体位置情報を取得する。
具体的には、例えば、移動体位置取得部120は、ネットワーク80を介して、移動体位置出力装置30が出力する移動体位置情報を取得する。
【0026】
物体センサ情報取得部121は、移動体である車両10以外の物体に設けられたセンサである物体センサ90が出力する物体センサ情報を取得する。
具体的には、例えば、物体センサ情報取得部121は、ネットワーク80を介して、物体センサ90が出力する物体センサ情報を物体センサ90から取得する。物体センサ90が出力する物体センサ情報が記憶装置40に記憶されている場合、物体センサ情報取得部121は、ネットワーク80を介して、記憶装置40に記憶された物体センサ情報を記憶装置40から読み出すことにより、物体センサ情報を取得しても良い。
【0027】
死角物体取得部130は、死角領域取得部111が取得する死角領域情報が示す死角領域に存在する1以上の物体のそれぞれの位置又は種別を示す死角物体情報を取得する。以下、死角領域に存在する物体を「死角物体」という。
死角物体取得部130が取得する死角物体情報は、1以上の死角物体のそれぞれに対応する情報である。
死角物体の種別とは、歩行者、自転車、自動二輪車、乗用車等の小型車両、又は、バス若しくはトラック等の大型車両等の移動可能な移動物体、及び、看板等の設置物、又は、柱等の構造物等の移動することのない静止物体である。
【0028】
死角物体取得部130が1以上の死角物体のそれぞれの位置を示す死角物体情報を取得する方法の一例について説明する。
死角物体取得部130は、まず、物体センサ情報取得部121が取得する物体センサ情報を用いて演算することにより、物体センサ情報である画像情報が示す画像に写る物体の位置、又は、物体センサ90の探査範囲に存在する物体の位置を取得する。
なお、撮像装置又は測距用センサ等である物体センサ90が出力する物体センサ情報を用いて、物体センサ情報である画像情報が示す画像に写る物体の位置を取得する方法、又は、物体センサ90の探査範囲に存在する物体の位置を取得する方法は、公知であるため説明を省略する。また、死角物体取得部130が、物体センサ情報を用いて物体の位置を取得する場合、物体センサ情報は、物体センサ情報を出力する物体センサ90の位置を示す情報、並びに、物体センサ90が撮影する方向、若しくは、物体センサ90の探査波を出力する方向を示す情報を含むものとする。
【0029】
死角物体取得部130は、移動体位置取得部120が取得する移動体位置情報を用いて、死角物体取得部130が算出した物体の位置を、移動体位置情報が示す車両10の位置から算出可能な移動体センサ20の位置を基準とする相対位置に変換することにより、物体センサ情報である画像情報が示す画像に写る物体、又は、物体センサ90の探査範囲に存在する物体の相対位置を求める。
次に、死角物体取得部130は、死角物体取得部130が求めた物体の相対位置と、死角領域の位置とを比較することにより、1以上の死角物体を特定する。
次に、死角物体取得部130は、死角物体取得部130が特定した1以上の死角物体のそれぞれの相対位置を示す情報を、1以上の死角物体のそれぞれに対応する死角物体情報とすることより、死角物体情報を取得する。
【0030】
死角物体取得部130は、死角物体の位置に加えて、死角物体の移動速度、移動方向、又は、加速度等を取得し、死角物体の位置を示す情報と、死角物体の移動速度、移動方向、又は、加速度等を示す情報とを含めて死角物体情報を生成するものであっても良い。
具体的には、例えば、死角物体取得部130は、互いに異なる複数の時点における死角物体の位置に基づいて、死角物体の移動速度、移動方向、又は、加速度等を算出することにより、死角物体の移動速度、移動方向、又は、加速度等を取得する。死角物体取得部130は、死角物体取得部130が取得した死角物体の位置、並びに、移動速度、移動方向、若しくは、加速度等に基づいて、死角物体情報を生成する。
なお、互いに異なる複数の時点における物体の位置に基づいて、物体の移動速度、移動方向、又は、加速度等を算出する方法は、公知であるため説明を省略する。
【0031】
死角物体取得部130は、例えば、ネットワーク80を介して、記憶装置40に予め記憶された物体の位置を示す情報を記憶装置40から読み出し、記憶装置40から読み出した物体の位置を示す情報が示す位置を相対位置に変換することにより、物体の相対位置を求めても良い。
また、死角物体取得部130は、例えば、ネットワーク80を介して、記憶装置40に予め記憶された物体の位置を示す情報、並びに、当該物体の移動速度、移動方向、若しくは、加速度等を示す情報を記憶装置40から読み出すことにより、物体の位置、並びに、移動速度、移動方向、若しくは、加速度等を示す死角物体情報を生成しても良い。
【0032】
死角物体取得部130が1以上の死角物体のそれぞれの種別を示す死角物体情報を取得する方法の一例について説明する。
死角物体取得部130が取得する死角物体情報は、1以上の死角物体のそれぞれに対応する情報である。
死角物体情報が示す死角物体の種別とは、歩行者、自転車、自動二輪車、乗用車等の小型車両、バス若しくはトラック等の大型車両、又は、静止物体等である。
例えば、死角物体取得部130は、まず、1以上の死角物体を特定する。死角物体取得部130が1以上の死角物体を特定する方法は、上述のとおりである。死角物体取得部130は、死角物体取得部130が特定した1以上の死角物体について、物体センサ情報取得部121が取得する物体センサ情報を用いて、物体センサ情報である画像情報が示す画像に写る死角物体の種別を特定する。
具体的には、例えば、死角物体取得部130は、物体センサ情報を用いて、パターンマッチング技術等により死角物体の種別を特定する。
なお、パターンマッチング技術等により、物体センサ情報を用いて物体の種別を特定する方法は、公知であるため説明を省略する。
【0033】
次に、死角物体取得部130は、死角物体取得部130が特定した1以上の死角物体のそれぞれに対応付けて、死角物体取得部130が特定した1以上の死角物体のそれぞれの種別を示す死角物体情報を生成することより、死角物体情報を取得する。
【0034】
死角物体取得部130は、例えば、ネットワーク80を介して、記憶装置40に予め記憶された物体の種別を示す情報を記憶装置40から読み出し、記憶装置40から読み出した物体の種別を示す情報が示す情報に基づいて、死角物体の種別を特定しても良い。
なお、死角物体取得部130が、記憶装置40から読み出すことにより物体の位置を示す情報を取得する場合、又は、死角物体取得部130が、記憶装置40から読み出すことにより物体の種別を示す情報を取得する場合、物体センサ情報取得部121は、移動支援装置100において、必須の構成ではない。
【0035】
死角物体取得部130は、1以上の死角物体のそれぞれの位置及び種別を示す死角物体情報を取得するものであっても良い。
【0036】
道路状態取得部150は、車両10が走行している道路の状態を示す道路状態情報を取得する。
具体的には、例えば、道路状態取得部150は、ネットワーク80を介して、記憶装置40に予め記憶された道路状態情報を記憶装置40から読み出すことにより、道路状態情報を取得する。
道路状態取得部150が取得する道路状態情報は、例えば、車両10が走行する道路、すなわち、移動体が移動する道路の道路幅、車線数、道路種別、歩道の有無、ガードレールの有無、当該道路と当該道路に接続する道路との接続地点及び接続状態、又は、路面が濡れているか否か、若しくは、路面が舗装されているか否か等の路面状態等の車両10が走行している道路の状態を示す情報である。道路状態取得部150が取得する道路状態情報は、車両10が走行する道路における交通事故が発生している地点、又は、道路工事を実施している地点等の車両10が走行している道路の状態を示す情報等を含んでいても良い。
道路種別とは、一般道、自動車専用道路、又は、高速道路等である。
なお、道路状態取得部150は、移動支援装置100において、必須の構成ではない。
【0037】
接触物体特定部160は、死角物体取得部130が取得する死角物体情報に基づいて、1以上の死角物体のうち、走行する車両10が接触する可能性がある死角物体(以下「特定死角物体」という。)を特定する。
具体的には、例えば、接触物体特定部160は、死角物体情報に基づいて、死角物体取得部130が特定した1以上の死角物体のうち、走行する車両10が接触する可能性が最も高い死角物体を特定死角物体として特定する。
【0038】
死角物体情報が死角物体の位置を示す情報である場合、例えば、接触物体特定部160は、移動体である車両10が走行を予定する経路から死角物体の位置までの距離を算出し、算出した当該距離に基づいて、死角物体取得部130が特定した1以上の死角物体のうち、最も当該距離が短い死角物体を特定死角物体として特定する。
また、死角物体情報が死角物体の位置、並びに、移動速度、移動方向、若しくは、加速度等を示す情報である場合、例えば、接触物体特定部160は、移動体である車両10が走行を予定する経路から死角物体の位置までの距離を算出し、算出した当該距離、並びに、移動速度、移動方向、若しくは、加速度等に基づいて、死角物体取得部130が特定した1以上の死角物体のうち、走行する車両10が接触する可能性が最も高い死角物体を特定死角物体として特定しても良い。
【0039】
また、死角物体情報が死角物体の種別を示す情報である場合、例えば、接触物体特定部160は、死角物体の種別毎に予め定められた危険度に基づいて、死角物体取得部130が特定した1以上の死角物体のうち、最も危険度が高い種別の死角物体を特定死角物体として特定する。なお、死角物体の種別毎に予め定められた危険度を示す情報は、接触物体特定部160が予め保持していても良く、また、接触物体特定部160が記憶装置40から当該情報を読み出すことにより取得しても良い。
【0040】
図3は、実施の形態1に係る死角物体の種別毎に予め定められた危険度の一例を示す図である。
例えば、死角物体取得部130が第1の死角物体及び第2の死角物体の2つの死角物体を特定し、死角物体取得部130が取得する第1の死角物体に対応する死角物体情報が示す種別が自転車であり、死角物体取得部130が取得する第2の死角物体に対応する死角物体情報が示す種別が歩行者である場合、接触物体特定部160は、死角物体の種別に対応する危険度が、第2の死角物体である歩行者に比べて高い自転車である第1の死角物体を特定死角物体として特定する。
【0041】
移動支援装置100が道路状態取得部150を備える場合、接触物体特定部160は、死角物体情報に加えて、道路状態取得部150が取得する道路状態情報に基づいて、特定死角物体を特定しても良い。
【0042】
道路状態情報が、車両10が走行中の道路にガードレールがあることを示す情報であり、1以上の死角物体のうちのある死角物体の位置が、当該ガードレールに対して車両10が走行を予定する経路の反対側である場合がある。
このような場合、接触物体特定部160は、死角物体の位置が当該ガードレールに対して車両10が走行を予定する経路の反対側である死角物体以外の1以上の死角物体のうちから特定死角物体を特定する。
このように構成することにより、移動支援装置100は、特定死角物体を高精度に特定することができる。
【0043】
また、死角物体取得部130が取得する死角物体に対応する死角物体情報が示す種別が、パターンマッチング技術等により誤った種別に特定される場合がある。
具体的には、例えば、接触物体特定部160は、道路状態情報が示す車両10が走行中の道路の道路種別が、自動車専用道路又は高速道路等の歩行者又は自転車が存在しない道路である場合、死角物体取得部130が取得する死角物体に対応する死角物体情報が示す種別が、歩行者又は自転車である死角物体以外の死角物体のうちから特定死角物体を特定する。
このように構成することにより、移動支援装置100は、特定死角物体を高精度に特定することができる。
【0044】
また、例えば、接触物体特定部160は、道路状態情報が示す道路種別を示す車両10が走行中の道路の道路種別が、自動車専用道路又は高速道路等の歩行者又は自転車が存在しない道路であるが、道路状態情報が示す車両10が走行する道路における道路工事を実施している地点等の近くである場合、死角物体取得部130が取得する死角物体に対応する死角物体情報が示す種別が、歩行者又は自転車である死角物体も含めた1以上の死角物体のうちから特定死角物体を特定する。
このように構成することにより、移動支援装置100は、特定死角物体を高精度に特定することができる。
【0045】
死角物体取得部130が取得する死角物体情報が、1以上の死角物体のそれぞれの位置及び種別を示す情報である場合、接触物体特定部160は、死角物体情報が示す1以上の死角物体のそれぞれの位置及び種別に基づいて、特定死角物体を特定しても良い。
具体的には、例えば、接触物体特定部160は、死角物体取得部130が第1の死角物体及び第2の死角物体の2つの死角物体を特定し、死角物体取得部130が取得する第1の死角物体に対応する死角物体情報が示す種別と、死角物体取得部130が取得する第2の死角物体に対応する死角物体情報が示す種別とが同じである場合、死角物体取得部130が取得する第1の死角物体に対応する死角物体情報が示す第1の死角物体の位置と、死角物体取得部130が取得する第2の死角物体に対応する死角物体情報が示す第2の死角物体の位置とを比較して、車両10が走行を予定する経路から死角物体の位置までの距離がより短い死角物体が特定死角物体であると特定する。
【0046】
移動支援情報取得部170は、接触物体特定部160が特定する物体に対応する死角物体情報に基づいて、車両10が特定死角物体に接触することを回避するための移動支援情報を取得する。
車両10が特定死角物体に接触することを回避するための移動支援は、特定死角物体の位置毎又は種別毎に異なる。
【0047】
例えば、車両10が走行中の道路を走行中の他の車両により生じた死角領域に存在する特定死角物体が、車両10が走行する予定の経路上に存在する場合と、車両10が走行する予定の道路の端に存在する場合とでは、車両10が特定死角物体に接触することを回避するための移動支援が異なる。具体的には、例えば、車両10が走行する予定の経路上に存在する特定死角物体に車両10が接触することを回避するためには、車両10が走行する予定の道路の端に存在する特定死角物体に車両10が接触することを回避する場合と比較して、大きくハンドルを切って車両10に走行させるような移動支援を行う必要等がある。
また、例えば、特定死角物体が車両10から比較的近い位置に存在する場合、特定死角物体が車両10から比較的遠い位置に存在する場合と比較して、車両10が特定死角物体に接触することを回避する期間が短い。したがって、特定死角物体が車両10から比較的近い位置に存在する場合、特定死角物体が車両10から比較的遠い位置に存在する場合と比較して、例えば、車両10が走行する速度を減速する割合を高くするような移動支援を行う必要、又は、車両10が走行する方向を変更する割合を高くするような移動支援を行う必要等がある。
【0048】
例えば、自動二輪車又は自転車は、小型車両又は大型車両と比較して、移動方向を変更する自由度が高い。したがって、特定死角物体の種別が自動二輪車又は自転車である場合、車両10が特定死角物体に接触することを回避するためには、特定死角物体の種別が小型車両又は大型車両である場合に比べて、例えば、特定死角物体から離れた位置を車両10に走行させるような移動支援を行う必要、又は、速度を十分に落として車両10に走行させるような移動支援を行う必要等がある。
【0049】
また、例えば、自動二輪車は、自転車と比較して移動速度を変更する自由度が高い。したがって、特定死角物体の種別が自動二輪車である場合、車両10が特定死角物体に接触することを回避するためには、特定死角物体の種別が自転車である場合に比べて、例えば、特定死角物体から離れた位置を車両10に走行させるような移動支援を行う必要、又は、速度を十分に落として車両10に走行させるような移動支援を行う必要等がある。
【0050】
また、車両10が特定死角物体に接触することを回避するための移動支援は、特定死角物体の位置及び種別によっても異なる。
例えば、特定死角物体が同じ種別であっても、特定死角物体の位置によって、車両10が特定死角物体に接触することを回避するために必要な移動支援が異なるためである。
【0051】
移動支援情報取得部170は、特定死角物体に対応する死角物体情報を学習済モデルに入力し、当該学習済モデルが推論結果として出力する移動支援情報を取得する。例えば、移動支援情報取得部170は、予め記憶装置40に記憶された学習済モデルを示す学習済モデル情報を、記憶装置40から読み出すことにより学習済モデル情報を取得する。移動支援情報取得部170は、予め学習済モデルを保持するものであっても良い。
このように構成することにより、移動支援装置100は、特定死角物体の位置又は種別に応じた移動支援情報を取得することができる。
【0052】
また、死角物体取得部130が1以上の死角物体のそれぞれの位置及び種別を示す死角物体情報を取得する場合、移動支援情報取得部170は、特定死角物体に対応する死角物体情報を学習済モデルに入力し、当該学習済モデルが推論結果として出力する移動支援情報を取得することにより、移動支援装置100は、特定死角物体の位置及び種別に応じた移動支援情報を取得することができる。
【0053】
また、移動支援装置100が道路状態取得部150を備える場合、移動支援情報取得部170は、特定死角物体に対応する死角物体情報に加えて、道路状態取得部150が取得する道路状態情報を学習済モデルに入力し、当該学習済モデルが推論結果として出力する移動支援情報を取得するようにしても良い。
車両10が特定死角物体に接触することを回避するための移動支援は、車両10が走行する道路の状態によっても異なる。
具体的には、例えば、車両10が特定死角物体に接触することを回避するための移動支援は、車両10が走行する道路の道路幅等によって異なる。
例えば、車両10が走行する道路の道路幅が比較的狭い場合、車両10が走行する道路の道路幅が比較的広い場合と比較して、特定死角物体から十分に離れて車両10が走行できないことがある。したがって、車両10が走行する道路の道路幅が比較的狭い場合、車両10が走行する道路の道路幅が比較的広い場合と比較して、例えば、車両10が走行する方向を変更するような移動支援よりも車両10が走行する速度を減速するような移動支援を優先して行う必要がある。
【0054】
移動支援情報取得部170が、特定死角物体に対応する死角物体情報に加えて、道路状態取得部150が取得する道路状態情報に基づいて、車両10が特定死角物体に接触することを回避するための移動支援情報を取得することにより、移動支援装置100は、特定死角物体の位置又は種別だけでなく、車両10が走行する道路の状態に応じた移動支援情報を取得することができる。
【0055】
移動支援情報出力部180は、移動支援情報取得部170が取得した移動支援情報を出力する。
具体的には、例えば、移動支援情報出力部180は、ネットワーク80を介して、移動支援情報を自動移動制御装置50、表示制御装置60、又は、音声出力制御装置70等に出力する。
例えば、自動移動制御装置50は、移動支援情報出力部180が出力する移動支援情報を受けて、当該移動支援情報に基づいて、操舵制御、ブレーキ制御、アクセル制御、又は、警笛制御等の車両制御を車両10に対して行う。
例えば、表示制御装置60は、移動支援情報出力部180が出力する移動支援情報を受けて、当該移動支援情報に基づく表示画像信号を生成し、生成した表示画像信号を不図示の表示装置に出力する。
例えば、音声出力制御装置70は、移動支援情報出力部180が出力する移動支援情報を受けて、移動支援情報に基づく音声信号を生成し、生成した音声信号を不図示の音声出力装置に出力する。
【0056】
図4A及び
図4Bを参照して、実施の形態1に係る移動支援装置100の要部のハードウェア構成について説明する。
図4A及び
図4Bは、実施の形態1に係る移動支援装置100のハードウェア構成の要部の一例を示す図である。
【0057】
図4Aに示す如く、移動支援装置100はコンピュータにより構成されており、当該コンピュータはプロセッサ401及びメモリ402を有している。メモリ402には、当該コンピュータを、移動体センサ情報取得部110、死角領域取得部111、移動体位置取得部120、物体センサ情報取得部121、死角物体取得部130、道路状態取得部150、接触物体特定部160、移動支援情報取得部170、及び、移動支援情報出力部180として機能させるためのプログラムが記憶されている。メモリ402に記憶されているプログラムをプロセッサ401が読み出して実行することにより、移動体センサ情報取得部110、死角領域取得部111、移動体位置取得部120、物体センサ情報取得部121、死角物体取得部130、道路状態取得部150、接触物体特定部160、移動支援情報取得部170、及び、移動支援情報出力部180が実現される。
【0058】
また、
図4Bに示す如く、移動支援装置100は処理回路403により構成されても良い。この場合、移動体センサ情報取得部110、死角領域取得部111、移動体位置取得部120、物体センサ情報取得部121、死角物体取得部130、道路状態取得部150、接触物体特定部160、移動支援情報取得部170、及び、移動支援情報出力部180の機能が処理回路403により実現されても良い。
【0059】
また、移動支援装置100はプロセッサ401、メモリ402及び処理回路403により構成されても良い(不図示)。この場合、移動体センサ情報取得部110、死角領域取得部111、移動体位置取得部120、物体センサ情報取得部121、死角物体取得部130、道路状態取得部150、接触物体特定部160、移動支援情報取得部170、及び、移動支援情報出力部180の機能のうちの一部の機能がプロセッサ401及びメモリ402により実現されて、残余の機能が処理回路403により実現されるものであっても良い。
【0060】
プロセッサ401は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)を用いたものである。
【0061】
メモリ402は、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、メモリ402は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、SSD、又はHDDなどを用いたものである。
【0062】
処理回路403は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)、SoC(System-on-a-Chip)又はシステムLSI(Large-Scale Integration)を用いたものである。
【0063】
図5を参照して、実施の形態1に係る移動支援装置100の動作について説明する。
図5は、実施の形態1に係る移動支援装置100の処理の一例を説明するフローチャートである。
移動支援装置100は、車両10の走行中に、当該フローチャートを繰り返して実行する。
【0064】
まず、ステップST501にて、移動体位置取得部120は、移動体位置情報を取得する。
次に、ステップST502にて、移動体センサ情報取得部110は、移動体センサ情報を取得する。
次に、ステップST511にて、死角領域取得部111は、死角領域が存在するか否かを判定する。
ステップST511にて、死角領域取得部111が、死角領域が存在しないと判定した場合、移動支援装置100は、当該フローチャートの処理を終了する。移動支援装置100は、当該フローチャートの処理を終了後に、ステップST501の処理に戻って、繰り返し当該フローチャートの処理を実行する。
【0065】
ステップST511にて、死角領域取得部111が、死角領域が存在すると判定した場合、ステップST503にて、死角領域取得部111は、死角領域情報を取得する。
ステップST503の後、ステップST504にて、物体センサ情報取得部121は、物体センサ情報を取得する。
ステップST504の後、ステップST512にて、死角物体取得部130は、死角物体が存在するか否かを判定する。
ステップST512にて、死角物体取得部130が、死角物体が存在しないと判定した場合、移動支援装置100は、当該フローチャートの処理を終了する。移動支援装置100は、当該フローチャートの処理を終了後に、ステップST501の処理に戻って、繰り返し当該フローチャートの処理を実行する。
【0066】
ステップST512にて、死角物体取得部130が、死角物体が存在すると判定した場合、ステップST505にて、死角物体取得部130は、死角物体情報を取得する。
ステップST505の後、ステップST506にて、道路状態取得部150は、道路状態情報を取得する。
ステップST506の後、ステップST507にて、接触物体特定部160は、1以上の死角物体のうち、走行する車両10が接触する可能性がある死角物体を特定する。
ステップST507の後、ステップST508にて、移動支援情報取得部170は、移動支援情報を取得する。
ステップST508の後、ステップST509にて、移動支援情報出力部180は、移動支援情報を出力する。
【0067】
ステップST509の処理の後、移動支援装置100は、当該フローチャートの処理を終了する。移動支援装置100は、当該フローチャートの処理を終了後に、ステップST501の処理に戻って、繰り返し当該フローチャートの処理を実行する。
なお、ステップST501の処理は、ステップST505の処理が処理される前であれば、任意のタイミングでの処理が可能である。
また、ステップST504の処理は、ステップST505の処理が処理される前であれば、任意のタイミングでの処理が可能である。
また、ステップST506の処理は、ステップST507又はステップST508の処理が処理される前であれば、任意のタイミングでの処理が可能である。
また、移動支援装置100が物体センサ情報取得部121を備えていない場合、ステップST504の処理は省略される。
また、移動支援装置100が道路状態取得部150を備えていない場合、ステップST506の処理は省略される。
【0068】
移動支援情報取得部170が移動支援情報を取得する際に用いる学習済モデルは、例えば、移動支援学習装置200により生成される。
図6から
図8を参照して実施の形態1に係る移動支援学習装置200について説明する。
図6は、実施の形態1に係る移動支援学習装置200を適用した移動支援学習システム2の要部の一例を示すブロック図である。
実施の形態1に係る移動支援学習システム2は、移動支援学習装置200、車両10、移動体センサ20、移動体位置出力装置30、記憶装置40、ネットワーク80、及び、物体センサ90を備える。
実施の形態1に係る移動支援学習システム2の構成において、実施の形態1に係る移動支援システム1と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、
図1に記載した符号と同じ符号を付した
図6の構成については、説明を省略する。
【0069】
移動支援学習装置200は、移動体である車両10が物体に接触することを回避するための移動支援情報を出力可能な学習済モデルを生成する。
移動支援学習装置200は、例えば、深層学習による学習させることにより、予め用意されたニューラルネットワークにより構成される学習モデルが有するパラメータを変更して学習済モデルを生成する。
移動支援学習装置200は、車両10内に設置されたものであっても、車両10外の所定の場所に設置されたものであっても良い。実施の形態1では、移動支援学習装置200は、車両10外の所定の場所に設置されているものとして説明する。
【0070】
図7を参照して、実施の形態1に係る移動支援学習装置200の要部の構成について説明する。
図7は、実施の形態1に係る移動支援学習装置200の要部の構成の一例を示すブロック図である。
実施の形態1に係る移動支援学習装置200は、物体取得部210、学習部230、及び、学習済モデル出力部240を備える。
【0071】
物体取得部210は、物体の位置又は種別を示す物体情報を取得する。物体情報が示す物体の位置とは、例えば、車両10における予め定められた位置を基準とする相対位置である。また、物体情報が示す物体の種別とは、例えば、歩行者、自転車、自動二輪車、乗用車等の小型車両、又は、バス若しくはトラック等の大型車両等の移動可能な移動物体、及び、看板等の設置物、又は、柱等の構造物等の移動することのない静止物体である。
具体的には、例えば、物体取得部210は、ネットワーク80を介して、予め記憶された物体情報を記憶装置40から読み出すことにより、物体情報を取得する。
【0072】
物体取得部210は、移動体センサ20が出力する移動体センサ情報、又は、物体センサ90が出力する物体センサ情報を取得して、当該移動体センサ情報又は当該物体センサ情報を用いて車両10の周辺における予め定められた領域に存在する物体の位置又は種別を特定することにより物体情報を取得しても良い。また、例えば、物体取得部210は、移動体センサ20が出力する移動体センサ情報、又は、物体センサ90が出力する物体センサ情報を取得して、当該移動体センサ情報又は当該物体センサ情報を用いて車両10の周辺における予め定められた領域に存在する物体の位置又は種別を特定することにより物体情報を取得しても良い。
【0073】
物体取得部210が物体の位置を示す物体情報を取得する場合、例えば、物体取得部210は、移動体位置出力装置30が出力する移動体位置情報を取得して、移動体センサ情報又は物体センサ情報等を用いて取得した物体の位置を、当該移動体位置情報を用いて車両10における予め定められた位置を基準とする相対位置に変換することにより物体情報を取得する。
なお、移動体センサ情報又は物体センサ情報を用いて物体の位置を特定する方法、及び、移動体センサ情報又は物体センサ情報を用いて物体の種別を特定する方法は、公知であるため説明を省略する。
【0074】
学習部230は、物体取得部210が取得する物体情報に基づいて、移動体である車両10が当該物体に接触することを回避するための移動支援情報を出力可能な学習済モデルを生成する。
具体的には、例えば、学習部230は、物体情報を学習データとして学習させることにより、学習済モデルを生成する。
より具体的には、例えば、学習部230は、物体情報を学習データとして学習させることにより、学習モデルが有するパラメータを変更して学習済モデルを生成する。
このように構成することよりに、移動支援学習装置200は、物体の位置毎又は種別毎に対応する学習済モデルを生成することができる。
なお、初期の学習モデルは、例えば、予め記憶装置40に記憶されており、学習部230は、ネットワーク80を介して記憶装置40かから初期の学習モデルを読み出すことにより、初期の学習モデルを取得する。
【0075】
学習済モデル出力部240は、学習部230が生成した学習済モデルを出力する。
具体的には、例えば、学習済モデル出力部240は、学習部230が生成した学習済モデルを、ネットワーク80を介して記憶装置40に出力して、記憶装置40に記憶させる。
【0076】
移動支援学習装置200が、車両10の周辺における予め定められた領域に存在する物体の位置を示す物体情報を学習データとして学習させることにより学習済モデルを生成する場合、例えば、移動支援装置100は、当該学習済モデルに、死角物体の位置を示す死角物体情報を入力して、当該学習済モデルが推論結果として出力する移動支援情報を取得する。
また、移動支援学習装置200が、車両10の周辺における予め定められた領域に存在する物体の種別を示す物体情報を学習データとして学習させることにより学習済モデルを生成する場合、例えば、移動支援装置100は、当該学習済モデルに、死角物体の種別を示す死角物体情報を入力して、当該学習済モデルが推論結果として出力する移動支援情報を取得する。
【0077】
なお、これまで説明した学習部230は、車両10の周辺における予め定められた領域に存在する物体の位置又は種別を示す物体情報を学習データとして学習させることにより、学習済モデルを生成するものであった。
学習部230は、車両10の周辺における予め定められた領域に存在する物体の位置に加えて、当該物体の移動速度、移動方向、又は、加速度等を示す物体情報を学習データとして学習させることにより、学習済モデルを生成するものであっても良い。
学習部230が、車両10の周辺における予め定められた領域に存在する物体の位置に加えて、当該物体の移動速度、移動方向、又は、加速度等を示す物体情報を学習データとして学習させる場合、物体取得部210は、車両10の周辺における予め定められた領域に存在する物体の位置に加えて、当該物体の移動速度、移動方向、又は、加速度等を示す物体情報を取得する。
【0078】
学習部230が、車両10の周辺における予め定められた領域に存在する物体の位置に加えて、当該物体の移動速度、移動方向、又は、加速度等を示す物体情報を学習データとして学習させることにより、学習部230は、より精度の高い移動支援が可能な学習済モデルを生成することができる。
【0079】
移動支援学習装置200が、車両10の周辺における予め定められた領域に存在する物体の位置に加えて、当該物体の移動速度、移動方向、又は、加速度等を示す物体情報を学習データとして学習させることにより学習済モデルを生成する場合、例えば、移動支援装置100は、当該学習済モデルに、死角物体の位置に加えて、当該死角物体の移動速度、移動方向、又は、加速度等を示す死角物体情報を入力して、当該学習済モデルが推論結果として出力する移動支援情報を取得する。
このように構成することにより、移動支援装置100は、より精度の高い移動支援を行うための移動支援情報を取得することができる。
【0080】
また、これまで説明した学習部230は、車両10に備えられた移動体センサ20の死角領域に存在する物体である否かに関わらず、車両10の周辺における予め定められた領域に存在する物体について、当該物体の位置又は種別を示す物体情報を学習データとして学習させることにより、学習済モデルを生成するものであった。
学習部230は、車両10に備えられた移動体センサ20の死角領域に存在する物体、すなわち、死角物体について、当該死角物体の位置又は種別を示す物体情報を学習データとして学習させることにより、学習済モデルを生成するものであっても良い。
学習部230が死角物体の位置又は種別を示す物体情報を学習データとして学習させることにより、学習部230は、より精度の高い移動支援が可能な学習済モデルを生成することができる。
【0081】
移動支援学習装置200が、死角物体の位置又は種別を示す物体情報を学習データとして学習させることにより、学習済モデルを生成する場合、移動支援学習装置200が備える物体取得部210は、例えば、移動支援装置100が備える死角物体取得部130と同等の機能を有するものである。
また、当該場合、移動支援学習装置200は、例えば、移動支援装置100が備える移動体センサ情報取得部110、死角領域取得部111、物体センサ情報取得部121、及び、接触物体特定部160のそれぞれが有する機能を備えた手段を有する。
移動支援学習装置200が、死角物体の位置又は種別を示す物体情報を学習データとして学習させることにより、学習済モデルを生成することにより、移動支援装置100は、より精度の高い移動支援を行うための移動支援情報を取得することができる。
【0082】
また、移動支援学習装置200は、車両10が走行する道路の道路幅、車線数、道路種別、歩道の有無、又は、当該道路と当該道路に接続する道路との接続地点及び接続状態等の車両10が走行している道路の状態を示す道路状態情報を取得する手段を備え、学習部230は、物体情報に加えて、道路状態情報を学習データとして学習させることにより、学習済モデルを生成しても良い。
移動支援学習装置200が物体情報及び道路状態情報を学習データとして学習させることにより学習済モデルを生成する場合、例えば、移動支援装置100は、当該学習済モデルに死角物体情報及び道路状態情報を入力して、当該学習済モデルが推論結果として出力する移動支援情報を取得する。
このように構成することにより、移動支援装置100は、より精度の高い移動支援を行うための移動支援情報を取得することができる。
【0083】
学習部230が学習モデルに学習させる学習方法について説明する。
例えば、学習部230は、教師あり学習により学習済モデルを生成する。
例えば、学習部230が教師あり学習に用いる教師データは、物体の種別毎、又は、物体の位置毎に予め用意された適切な移動支援を示す教師用移動支援情報である。
学習部230が教師あり学習により学習済モデルを生成する場合、学習部230は、学習モデルが出力する推論結果である移動支援情報と、教師データである教師用移動支援情報とを比較することにより、学習モデルが有するパラメータを変更して学習済モデルを生成する。
当該場合、例えば、学習部230は、ネットワーク80を介して、記憶装置40に予め記憶されている教師データを読み出すことにより、教師あり学習に用いる教師データを取得する。
【0084】
学習部230は、強化学習により学習済モデルを生成しても良い。
学習部230が強化学習により学習済モデルを生成する場合、学習部230は、学習モデルが出力する推論結果により、車両10が、学習モデルに入力した物体情報に対応する物体に接触することを回避できた場合に正の報酬を与え、車両10が、当該物体に接触することを回避できなかった場合に負の報酬を与える。学習部230は、上述の学習を繰り返すことにより、学習モデルが有するパラメータを変更して学習済モデルを生成する。
【0085】
また、学習部230は、逆強化学習により学習済モデルを生成しても良い。
学習部230が逆強化学習により学習済モデルを生成する場合、学習部230は、物体の種別毎、又は、物体の位置毎に予め用意された複数の適切な移動支援情報の集合である成功移動支援情報を用いて、学習モデルが出力する推論結果である移動支援情報と、成功移動支援情報の要素である複数の適切な移動支援情報とを比較することにより、与える報酬を推定する。学習部230は、上述の学習を繰り返すことにより、学習モデルが有するパラメータを変更して学習済モデルを生成する。
当該場合、例えば、学習部230は、ネットワーク80を介して、記憶装置40に予め記憶されている成功移動支援情報を読み出すことにより、逆強化学習に用いる成功移動支援情報を取得する。
【0086】
また、移動支援学習装置200が備える物体取得部210、学習部230、及び、学習済モデル出力部240の各機能は、移動支援装置100のハードウェア構成と同様に、
図4A及び
図4Bに一例を示したハードウェア構成におけるプロセッサ401及びメモリ402により実現されるものであっても良く、又は処理回路403により実現されるものであっても良い。
【0087】
図8を参照して、実施の形態1に係る移動支援学習装置200の動作について説明する。
図8は、実施の形態1に係る移動支援学習装置200の処理の一例を説明するフローチャートである。
移動支援学習装置200は、学習済モデルを生成するまでの間、車両10の走行中に、当該フローチャートを繰り返して実行することにより、学習済モデルを生成する。
【0088】
まず、ステップST811にて、物体取得部210は、車両10の周辺における予め定められた領域に物体が存在するか否かを判定する。
ステップST811にて、物体取得部210が、車両10の周辺における予め定められた領域に物体が存在しないと判定した場合、移動支援学習装置200は、当該フローチャートの処理を終了する。移動支援学習装置200は、当該フローチャートの処理を終了後、ステップST811の処理に戻って、繰り返し当該フローチャートの処理を実行する。
ステップST811にて、物体取得部210が、車両10の周辺における予め定められた領域に物体が存在すると判定した場合、ステップST801にて、物体取得部210は、物体情報を取得する。
次に、ステップST802にて、学習部230は、物体情報を学習モデルに入力し、学習モデルに学習させる。
【0089】
次に、ステップST812にて、学習部230は、学習モデルに学習させることを完了したか否かを判定する。具体的には、例えば、学習部230は、予め決められた数の学習を学習モデルに学習させたか否かを判定することにより、学習モデルに学習させることを完了したか否かを判定する。また、例えば、学習部230は、不図示の入力装置を介してユーザが学習完了を示す操作を行ったか否かを判定することにより、学習モデルに学習させることを完了したか否かを判定する。
ステップST812にて、学習部230は、学習モデルに学習させることを完了していない判定した場合、移動支援学習装置200は、当該フローチャートの処理を終了する。移動支援学習装置200は、当該フローチャートの処理を終了後に、ステップST811の処理に戻って、繰り返し当該フローチャートの処理を実行する。
ステップST812にて、学習部230は、学習モデルに学習させることを完了した判定した場合、ステップST803にて、学習部230は、学習モデルを学習済モデルとすることにより学習済モデルを生成する。
【0090】
ステップST803の処理の後、ステップST804にて、学習済モデル出力部240は、学習済モデルを出力する。
ステップST804の処理の後、移動支援学習装置200は、当該フローチャートの処理を終了する。
【0091】
以上のように、移動支援装置100は、移動体に備えられたセンサである移動体センサ20が出力する移動体センサ情報を取得する移動体センサ情報取得部110と、移動体センサ情報取得部110が取得する移動体センサ情報に基づいて、移動体センサ20の死角領域を示す死角領域情報を取得する死角領域取得部111と、死角領域取得部111が取得する死角領域情報が示す死角領域に存在する1以上の物体のそれぞれの位置又は種別を示す死角物体情報を取得する死角物体取得部130と、死角物体取得部130が取得する死角物体情報に基づいて、死角領域に存在する1以上の物体のうち、移動体が移動した際に当該移動体が接触する可能性がある物体を特定する接触物体特定部160と、接触物体特定部160が特定する物体に対応する死角物体情報を学習済モデルに入力し、当該学習済モデルが推論結果として出力する情報であって、当該移動体が当該物体に接触することを回避するための情報である移動支援情報を取得する移動支援情報取得部170と、移動支援情報取得部170が取得した移動支援情報を出力する移動支援情報出力部180と、を備えた。
【0092】
このように構成することで、移動支援装置100は、走行中の車両10を含む移動中の移動体から見て死角となる領域の状況を考慮して、高度な移動支援を行うことができる。
また、このように構成することで、移動支援装置100は、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の位置を考慮して、当該物体の種別に対応した高度な移動支援を行うことができる。
また、このように構成することで、移動支援装置100は、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の種別を考慮して、当該物体の種別に対応した高度な移動支援を行うことができる。
また、このように構成することで、移動支援装置100は、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の位置に加えて、当該物体の移動方向、移動速度、又は、加速度等を考慮して、当該物体の位置、及び、移動方向、移動速度、又は、加速度等に対応した高度な移動支援を行うことができる。
【0093】
また、移動支援装置100は、上述の構成において、死角物体取得部130は、死角領域取得部111が取得する死角領域情報が示す死角領域に存在する1以上の物体のそれぞれの位置及び種別を示す死角物体情報を取得し、接触物体特定部160は、死角物体取得部130が取得する死角物体情報が示す死角領域に存在する1以上の物体のそれぞれの位置又は種別に基づいて、死角領域に存在する1以上の物体のうち、移動体が移動した際に移動体が接触する可能性がある物体を特定し、移動支援情報取得部170は、学習済モデルに接触物体特定部160が特定する物体に対応する死角物体情報を入力し、学習済モデルが推論結果として出力する移動支援情報を取得するように構成した。
このように構成することで、移動支援装置100は、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の位置及び種別を考慮して、当該物体の位置及び種別に対応した高度な移動支援を行うことができる。
【0094】
また、移動支援装置100は、上述の構成に加えて、車両10が走行している道路の状態を示す道路状態情報を取得する道路状態取得部150を備え、接触物体特定部160は、死角物体情報に加えて、道路状態取得部150が取得する道路状態情報に基づいて、死角領域に存在する1以上の物体のうち、移動体が移動した際に当該移動体が接触する可能性がある物体を特定するように構成した。
このように構成ことで、移動支援装置100は、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する1以上の物体のうち、移動体が接触する可能性がある物体を高精度に特定することができるため、当該移動体の位置又は種別を考慮して、当該物体の位置又は種別に対応した高度な移動支援を高精度に行うことができる。
【0095】
また、移動支援装置100は、上述の構成に加えて、車両10が走行している道路の状態を示す道路状態情報を取得する道路状態取得部150を備え、移動支援情報取得部170は、接触物体特定部160が特定する物体に対応する死角物体情報に加えて、道路状態取得部150が取得する道路状態情報を学習済モデルに入力し、当該学習済モデルが推論結果として出力する移動支援情報を取得するように構成した。
このように構成することで、移動支援装置100は、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の位置又は種別に加えて、車両10が走行している道路の状態を考慮して、当該物体の位置若しくは種別、並びに、車両10が走行している道路の状態に対応した高度な移動支援を行うことができる。
【0096】
また、移動支援装置100は、上述の構成に加えて、車両10以外の物体に設けられたセンサである物体センサ90が出力する物体センサ情報を取得する物体センサ情報取得部121を備え、死角物体取得部130は、物体センサ情報取得部121が取得する物体センサ情報に基づいて、死角領域情報が示す死角領域に存在する1以上の物体のそれぞれの位置又は種別を示す死角物体情報を取得するように構成した。
このように構成することで、移動支援装置100は、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する1以上の物体の位置又は種別を示す情報が予め用意されていない場合であっても、死角領域に存在する1以上の物体の位置及び種別を取得することができため、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の種別を考慮して、当該物体の種別に対応した高度な移動支援を行うことができる。
【0097】
また、以上のように、移動支援学習装置200は、物体の位置又は種別を示す物体情報を取得する物体取得部210と、物体取得部210が取得する物体情報を学習データとして学習させることにより、当該移動体が当該物体に接触することを回避するための移動支援情報を出力可能な学習済モデルを生成する学習部230と、を備えた。
【0098】
このように構成することで、移動支援学習装置200は、移動支援装置100が、走行中の車両10を含む移動中の移動体から見て死角となる領域の状況を考慮して、高度な移動支援を行うことを可能にする学習済モデルを提供することができる。
また、このように構成することで、移動支援学習装置200は、移動支援装置100が、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の位置を考慮して、当該物体の位置に対応した高度な移動支援を行うことを可能にする学習済モデルを提供することができる。
また、このように構成することで、移動支援学習装置200は、移動支援装置100が、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の種別を考慮して、当該物体の種別に対応した高度な移動支援を行うことを可能にする学習済モデルを提供することができる。
【0099】
また、移動支援学習装置200は、上述の構成において、物体取得部210は、物体の位置及び種別を示す物体情報を取得し、学習部230は、物体情報を学習データとして学習させることにより、学習済モデルを生成するように構成した。
また、このように構成することで、移動支援学習装置200は、移動支援装置100が、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の位置及び種別を考慮して、当該物体の位置及び種別に対応した高度な移動支援を行うことを可能にする学習済モデルを提供することができる。
【0100】
実施の形態2.
図9から
図11を参照して、実施の形態2に係る移動支援装置100aについて説明する。また、
図12から
図14を参照して、実施の形態2に係る移動支援学習装置200aについて説明する。
実施の形態2に係る移動支援装置100a及び移動支援学習装置200aは、一例として、移動体として車両10に適用したものである。
実施の形態2において、移動体は、車両10であるものとして説明するが、移動体は、実施の形態1と同様に、車両10に限定されるものではない。例えば、移動体は、実施の形態1と同様に、歩行者、自転車、自動二輪車、又は、自走可能なロボット等であっても良い。
図9は、実施の形態2に係る移動支援装置100aを適用した移動支援システム1aの要部の一例を示すブロック図である。
実施の形態2に係る移動支援システム1aは、移動支援装置100a、車両10、移動体センサ20、移動体位置出力装置30、記憶装置40、自動移動制御装置50、表示制御装置60、音声出力制御装置70、ネットワーク80、及び、物体センサ90を備える。
実施の形態2に係る移動支援システム1aは、実施の形態1に係る移動支援システム1と比較して、移動支援装置100が、移動支援装置100aに変更されたものである。
実施の形態2に係る移動支援システム1aの構成において、実施の形態1に係る移動支援システム1と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、
図1に記載した符号と同じ符号を付した
図9の構成については、説明を省略する。
【0101】
移動支援装置100aは、移動支援情報を取得し、当該移動支援情報を出力する。
具体的には、移動支援装置100aは、学習済モデルが推論結果として出力する移動支援情報を取得し、当該移動支援情報を出力するものである。
より具体的には、移動支援装置100aは、複数の学習済モデルのうち、死角物体の位置に対応する学習済モデルに、当該死角物体の位置を示す死角物体情報を入力し、当該学習済モデルが推論結果として出力する移動支援情報を取得する。又は、移動支援装置100aは、複数の学習済モデルのうち、死角物体の種別に対応する学習済モデルに、当該死角物体の種別を示す死角物体情報を入力し、当該学習済モデルが推論結果として出力する移動支援情報を取得する。
移動支援装置100aが推論結果として移動支援情報を取得する学習済モデルは、例えば、ニューラルネットワークにより構成されたものである。
移動支援装置100aは、車両10内に設置されたものであっても、車両10外の所定の場所に設置されたものであっても良い。実施の形態2では、移動支援装置100aは、車両10外の所定の場所に設置されているものとして説明する。
【0102】
図10を参照して、実施の形態2に係る移動支援装置100aの要部の構成について説明する。
図10は、実施の形態2に係る移動支援装置100aの要部の構成の一例を示すブロック図である。
実施の形態2に係る移動支援装置100aは、移動体センサ情報取得部110、死角領域取得部111、移動体位置取得部120、物体センサ情報取得部121、死角物体取得部130、道路状態取得部150、接触物体特定部160、移動支援情報取得部170a、及び、移動支援情報出力部180を備える。
実施の形態2に係る移動支援装置100aは、実施の形態1に係る移動支援装置100と比較して、移動支援情報取得部170が、移動支援情報取得部170aに変更されたものである。
実施の形態2に係る移動支援装置100aの構成において、実施の形態1に係る移動支援装置100と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、
図2に記載した符号と同じ符号を付した
図10の構成については、説明を省略する。
【0103】
移動支援情報取得部170aは、接触物体特定部160が特定する物体である特定死角物体に対応する死角物体情報に基づいて、車両10が当該特定死角物体に接触することを回避するための移動支援情報を取得する。
具体的には、移動支援情報取得部170aは、学習済モデルに特定死角物体に対応する死角物体情報を入力し、当該学習済モデルが推論結果として出力する移動支援情報を取得する。
より具体的には、移動支援情報取得部170aは、複数の学習済モデルのうち、特定死角物体に対応する死角物体情報が示す特定死角物体の位置又は種別に対応する学習済モデルに、特定死角物体に対応する死角物体情報を入力し、当該学習済モデルが推論結果として出力する移動支援情報を取得する。
【0104】
例えば、移動支援情報取得部170aは、まず、ネットワーク80を介して、予め記憶装置40に記憶された機械学習による学習結果に対応する複数の学習済モデルを、記憶装置40から読み出すことにより、当該複数の学習済モデルを取得する。
実施に形態1に係る移動支援情報取得部170は、1つの学習済モデルを取得するものであったのに対して、移動支援情報取得部170aは、複数の学習済モデルを取得するものである。移動支援情報取得部170aは、予め当該複数の学習済モデルを有していても良い。
【0105】
次に、移動支援情報取得部170aは、移動支援情報取得部170aが取得した当該複数の学習済モデルのうち、特定死角物体に対応する死角物体情報が示す位置又は種別に対応する学習済モデルを選択する。
すなわち、当該複数の学習済モデルのそれぞれは、物体の位置毎又は種別毎に対応する学習済モデルである。
【0106】
物体の位置毎に対応する学習済モデルとは、例えば、移動体である車両10が走行する方向における車両10からの距離、又は、車両10が走行を予定する経路からの距離において、予め定められた複数の距離範囲のそれぞれに対応する学習済モデルである。複数の距離範囲とは、5m(メートル)未満、5m以上15m未満、15m以上30m未満、及び、30m以上等の範囲である。上述の距離範囲は、あくまで一例であり、これに限定されるものではない。
死角物体情報が死角物体の位置を示す情報である場合、例えば、移動支援情報取得部170aは、移動支援情報取得部170aが取得した当該複数の学習済モデルのうち、特定死角物体に対応する死角物体情報が示す位置が含まれる距離範囲に対応する学習済モデルを選択する。
【0107】
物体の種別毎に対応する学習済モデルとは、例えば、予め定められた物体の複数の種別群のそれぞれに対応する学習済モデルである。複数の種別群とは、エンジン若しくはモータ等に動力により走行する自動車若しくは自動二輪車等の動力移動体群、人力により移動する自転車若しくは歩行者等の人力移動体群、及び、設置物若しくは構造物等の静止物体群等である。上述の種別群は、あくまで一例であり、これに限定されるものではない。
死角物体情報が死角物体の種別を示す情報である場合、例えば、移動支援情報取得部170aは、移動支援情報取得部170aが取得した当該複数の学習済モデルのうち、特定死角物体に対応する死角物体情報が示す種別が含まれる種別群に対応する学習済モデルを選択する。
【0108】
次に、移動支援情報取得部170aは、学習済モデルに特定死角物体に対応する死角物体情報を入力する。
次に、移動支援情報取得部170aは、学習済モデルが、推論結果として出力する移動支援情報を取得することにより、移動支援情報を取得する。
移動支援情報取得部170aが、学習済モデルが推論結果として出力する移動支援情報を取得することにより取得する移動支援情報は、特定死角物体の位置又は種別に対応する移動支援情報である。
このように構成することにより、移動支援装置100aは、特定死角物体の位置又は種別に応じた移動支援情報を取得することができる。
【0109】
死角物体取得部130が1以上の死角物体のそれぞれの位置及び種別を示す死角物体情報を取得する場合、移動支援情報取得部170aは、移動支援情報取得部170aが取得した当該複数の学習済モデルのうち、特定死角物体に対応する死角物体情報が示す位置又は種別に対応する学習済モデルを選択しても、特定死角物体に対応する死角物体情報が示す位置及び種別に対応する学習済モデルを選択しても良い。
物体の位置及び種別に対応する学習済モデルとは、例えば、予め定められた複数の距離範囲のそれぞれに対応し、且つ、予め定められた物体の複数の種別群のそれぞれに対応する学習済モデルである。
このように構成することにより、移動支援装置100aは、特定死角物体の位置及び種別に応じた移動支援情報を取得することができる。
【0110】
また、移動支援装置100aが道路状態取得部150を備える場合、移動支援情報取得部170aは、特定死角物体に対応する死角物体情報に加えて、道路状態取得部150が取得する道路状態情報を学習済モデルに入力し、当該学習済モデルが推論結果として出力する移動支援情報を取得するようにしても良い。
このように構成することにより、移動支援装置100aは、特定死角物体の位置又は種別だけでなく、車両10が走行する道路の状態に応じた移動支援情報を取得することができる。
【0111】
なお、移動支援装置100aが備える移動体センサ情報取得部110、死角領域取得部111、移動体位置取得部120、物体センサ情報取得部121、死角物体取得部130、道路状態取得部150、接触物体特定部160、移動支援情報取得部170a、及び、移動支援情報出力部180の各機能は、
図4A及び
図4Bに一例を示したハードウェア構成におけるプロセッサ401及びメモリ402により実現されるものであっても良く、又は処理回路403により実現されるものであっても良い。
【0112】
図11を参照して、実施の形態2に係る移動支援装置100aの動作について説明する。
図11は、実施の形態1に係る移動支援装置100aの処理の一例を説明するフローチャートである。
移動支援装置100aは、車両10の走行中に、当該フローチャートを繰り返して実行する。
【0113】
まず、ステップST1101にて、移動体位置取得部120は、移動体位置情報を取得する。
次に、ステップST1102にて、移動体センサ情報取得部110は、移動体センサ情報を取得する。
次に、ステップST1111にて、死角領域取得部111は、死角領域が存在するか否かを判定する。
ステップST1111にて、死角領域取得部111が、死角領域が存在しないと判定した場合、移動支援装置100aは、当該フローチャートの処理を終了する。移動支援装置100aは、当該フローチャートの処理を終了後に、ステップST1101の処理に戻って、繰り返し当該フローチャートの処理を実行する。
【0114】
ステップST1111にて、死角領域取得部111が、死角領域が存在すると判定した場合、ステップST1103にて、死角領域取得部111は、死角領域情報を取得する。
ステップST1103の後、ステップST1104にて、物体センサ情報取得部121は、物体センサ情報を取得する。
ステップST1104の後、ステップST1112にて、死角物体取得部130は、死角物体が存在するか否かを判定する。
ステップST1112にて、死角物体取得部130が、死角物体が存在しないと判定した場合、移動支援装置100aは、当該フローチャートの処理を終了する。移動支援装置100aは、当該フローチャートの処理を終了後に、ステップST1101の処理に戻って、繰り返し当該フローチャートの処理を実行する。
【0115】
ステップST1112にて、死角物体取得部130が、死角物体が存在すると判定した場合、ステップST1105にて、死角物体取得部130は、死角物体情報を取得する。
ステップST1105の後、ステップST1106にて、道路状態取得部150は、道路状態情報を取得する。
ステップST1106の後、ステップST1107にて、接触物体特定部160は、1以上の死角物体のうち、走行する車両10が接触する可能性がある死角物体を特定する。
ステップST1107の後、ステップST1108-1にて、移動支援情報取得部170aは、学習済モデルを選択する。
ステップST1108-1の後、ステップST1108-2にて、移動支援情報取得部170aは、移動支援情報を取得する。
ステップST1108-2の後、ステップST1109にて、移動支援情報出力部180は、移動支援情報を出力する。
【0116】
ステップST1109の処理の後、移動支援装置100aは、当該フローチャートの処理を終了する。移動支援装置100aは、当該フローチャートの処理を終了後に、ステップST1101の処理に戻って、繰り返し当該フローチャートの処理を実行する。
なお、ステップST1101の処理は、ステップST1105の処理が処理される前であれば、任意のタイミングでの処理が可能である。
また、ステップST1104の処理は、ステップST1105の処理が処理される前であれば、任意のタイミングでの処理が可能である。
また、ステップST1106の処理は、ステップST1107又はステップST1108-2の処理が処理される前であれば、任意のタイミングでの処理が可能である。
また、移動支援装置100aが物体センサ情報取得部121を備えていない場合、ステップST1104の処理は省略される。
また、移動支援装置100aが道路状態取得部150を備えていない場合、ステップST1106の処理は省略される。
【0117】
移動支援情報取得部170aが移動支援情報を取得する際に用いる学習済モデルは、例えば、移動支援学習装置200aにより生成される。
図12から
図14を参照して実施の形態2に係る移動支援学習装置200aについて説明する。
図12は、実施の形態2に係る移動支援学習装置200aを適用した移動支援学習システム2aの要部の一例を示すブロック図である。
実施の形態2に係る移動支援学習システム2aは、移動支援学習装置200a、車両10、移動体センサ20、移動体位置出力装置30、記憶装置40、ネットワーク80、及び、物体センサ90を備える。
実施の形態2に係る移動支援学習システム2aの構成において、実施の形態1に係る移動支援学習システム2と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、
図6に記載した符号と同じ符号を付した
図12の構成については、説明を省略する。
【0118】
移動支援学習装置200aは、移動体である車両10が物体に接触することを回避するための移動支援情報を出力可能な複数の学習済モデルを生成する。
より具体的には、移動支援学習装置200aは、複数の位置のそれぞれ、又は、複数の種別のそれぞれに対応する学習済モデルを生成する。
移動支援学習装置200aは、例えば、深層学習による学習させることにより、予め用意されたニューラルネットワークにより構成される学習モデルが有するパラメータを変更して学習済モデルを生成する。
移動支援学習装置200aは、車両10内に設置されたものであっても、車両10外の所定の場所に設置されたものであっても良い。実施の形態2では、移動支援学習装置200aは、車両10外の所定の場所に設置されているものとして説明する。
【0119】
図13を参照して、実施の形態2に係る移動支援学習装置200aの要部の構成について説明する。
図13は、実施の形態2に係る移動支援学習装置200aの要部の構成の一例を示すブロック図である。
実施の形態2に係る移動支援学習装置200aは、物体取得部210、学習部230a、及び、学習済モデル出力部240を備える。
実施の形態2に係る移動支援学習装置200aは、実施の形態1に係る移動支援学習装置200と比較して、学習部230が、学習部230aに変更されたものである。
実施の形態2に係る移動支援学習装置200aの構成において、実施の形態1に係る移動支援学習装置200と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、
図7に記載した符号と同じ符号を付した
図13の構成については、説明を省略する。
【0120】
学習部230aは、物体取得部210が取得する物体情報に基づいて、移動体である車両10が当該物体に接触することを回避するための移動支援情報を出力可能な学習済モデルを生成する。
具体的には、例えば、学習部230aは、物体情報を学習データとして学習させることにより、それぞれの学習済モデルを生成する。
より具体的には、例えば、学習部230aは、物体情報が示す物体の位置又は種別に基づいて、距離範囲毎又は種別群毎に予め用意された複数の学習モデルのうち、学習させる学習モデルを選択する。学習部230aは、物体情報を学習データとして、選択した学習モデルに学習させることにより、当該学習モデルが有するパラメータを変更する。学習部230aは、全ての学習モデルに対して繰り返して学習させることにより、複数の距離範囲のそれぞれに対応する学習済モデル、又は、複数の種別群のそれぞれに対応する学習済モデルを生成する。
【0121】
例えば、物体情報が物体の位置を示す情報である場合、学習部230aは、物体情報が示す物体の位置が含まれる距離範囲に対応する学習モデルを選択し、物体情報を学習データとして選択した当該学習モデルに学習させる。
また、例えば、物体情報が物体の種別を示す情報である場合、学習部230aは、物体情報が示す物体の種別が含まれる種別群に対応する学習モデルを選択し、物体情報を学習データとして選択した当該学習モデルに学習させる。
このように構成することよりに、移動支援学習装置200aは、複数の距離範囲のそれぞれに対応する学習済モデル、又は、複数の種別群のそれぞれに対応する学習済モデルを生成することができる。
【0122】
物体情報が物体の位置及び種別を示す情報である場合、学習部230aは、物体情報を学習データとして学習させる学習モデルを選択する際に、物体情報が示す物体の位置が含まれる距離範囲に対応する学習モデル、又は、物体情報が示す物体の種別が含まれる種別群に対応する学習モデルを選択しても良く、また、物体情報が示す物体の位置が含まれる距離範囲に対応し、且つ、物体情報が示す物体の種別が含まれる種別群に対応する学習モデルを選択しても良い。
【0123】
学習済モデル出力部240は、学習部230aが生成した複数の学習済モデルを出力する。
具体的には、例えば、学習済モデル出力部240は、学習部230aが生成した複数の学習済モデルを、ネットワーク80を介して記憶装置40に出力して、記憶装置40に記憶させる。
【0124】
なお、これまで説明した学習部230aは、車両10の周辺における予め定められた領域に存在する物体の位置又は種別を示す物体情報を学習データとして学習させることにより、学習済モデルを生成するものであった。
学習部230aは、車両10の周辺における予め定められた領域に存在する物体の位置に加えて、当該物体の移動速度、移動方向、又は、加速度等を示す物体情報を学習データとして学習させることにより、学習済モデルを生成するものであっても良い。
学習部230aが、車両10の周辺における予め定められた領域に存在する物体の位置に加えて、当該物体の移動速度、移動方向、又は、加速度等を示す物体情報を学習データとして学習させることにより、学習部230aは、より精度の高い移動支援が可能な学習済モデルを生成することができる。
【0125】
移動支援学習装置200aが、車両10の周辺における予め定められた領域に存在する物体の位置に加えて、当該物体の移動速度、移動方向、又は、加速度等を示す物体情報を学習データとして学習させることにより学習済モデルを生成する場合、例えば、移動支援装置100aは、当該学習済モデルに、死角物体の位置に加えて、当該死角物体の移動速度、移動方向、又は、加速度等を示す死角物体情報を入力して、当該学習済モデルが推論結果として出力する移動支援情報を取得する。
このように構成することにより、移動支援装置100aは、より精度の高い移動支援を行うための移動支援情報を取得することができる。
【0126】
また、これまで説明した学習部230aは、車両10に備えられた移動体センサ20の死角領域に存在する物体である否かに関わらず、車両10の周辺における予め定められた領域に存在する物体について、当該物体の位置又は種別を示す物体情報を学習データとして学習させることにより、学習済モデルを生成するものであった。
学習部230aは、車両10に備えられた移動体センサ20の死角領域に存在する物体、すなわち、死角物体について、当該死角物体の位置又は種別を示す物体情報を学習データとして学習させることにより、学習済モデルを生成するものであっても良い。
学習部230aが死角物体の位置又は種別を示す物体情報を学習データとして学習させることにより、学習部230aは、より精度の高い移動支援が可能な学習済モデルを生成することができる。
【0127】
移動支援学習装置200aが、死角物体の位置又は種別を示す物体情報を学習データとして学習させることにより、学習済モデルを生成する場合、移動支援学習装置200aが備える物体取得部210は、例えば、移動支援装置100aが備える死角物体取得部130と同等の機能を有するものである。
また、当該場合、移動支援学習装置200aは、例えば、移動支援装置100aが備える移動体センサ情報取得部110、死角領域取得部111、物体センサ情報取得部121、及び、接触物体特定部160のそれぞれが有する機能を備えた手段を有する。
移動支援学習装置200aが、死角物体の位置又は種別を示す物体情報を学習データとして学習させることにより、学習済モデルを生成することにより、移動支援装置100aは、より精度の高い移動支援を行うための移動支援情報を取得することができる。
【0128】
また、移動支援学習装置200aは、車両10が走行する道路の道路幅、車線数、道路種別、歩道の有無、又は、当該道路と当該道路に接続する道路との接続地点及び接続状態等の車両10が走行している道路の状態を示す道路状態情報を取得する手段を備え、学習部230aは、物体情報に加えて、道路状態情報を学習データとして学習させることにより、学習済モデルを生成しても良い。
移動支援学習装置200aが物体情報及び道路状態情報を学習データとして学習させることにより学習済モデルを生成する場合、例えば、移動支援装置100aは、当該学習済モデルに死角物体情報及び道路状態情報を入力して、当該学習済モデルが推論結果として出力する移動支援情報を取得する。
このように構成することにより、移動支援装置100aは、より精度の高い移動支援を行うための移動支援情報を取得することができる。
【0129】
学習部230aが複数の学習モデルのそれぞれに学習させる学習方法は、実施に形態1に係る学習部230が学習モデルに学習させる学習方法と同様であるため、説明を省略する。
【0130】
移動支援学習装置200aが備える物体取得部210、学習部230a、及び、学習済モデル出力部240の各機能は、移動支援装置100aのハードウェア構成と同様に、
図4A及び
図4Bに一例を示したハードウェア構成におけるプロセッサ401及びメモリ402により実現されるものであっても良く、又は処理回路403により実現されるものであっても良い。
【0131】
図14を参照して、実施の形態2に係る移動支援学習装置200aの動作について説明する。
図14は、実施の形態2に係る移動支援学習装置200aの処理の一例を説明するフローチャートである。
移動支援学習装置200aは、例えば、複数の学習済モデルの全てを生成するまでの間、車両10の走行中に、当該フローチャートを繰り返して実行することにより、複数の学習済モデルを生成する。
【0132】
まず、ステップST1411にて、物体取得部210は、車両10の周辺における予め定められた領域に物体が存在するか否かを判定する。
ステップST1411にて、物体取得部210が、車両10の周辺における予め定められた領域に物体が存在しないと判定した場合、移動支援学習装置200aは、物体取得部210が、車両10の周辺における予め定められた領域に物体が存在すると判定するまで、ステップST1411の処理を繰り返し実行する。
ステップST1411にて、物体取得部210が、車両10の周辺における予め定められた領域に物体が存在すると判定した場合、ステップST1401にて、物体取得部210は、物体情報を取得する。
次に、ステップST1402-1にて、学習部230aは、物体情報が示す物体の位置又は種別に基づいて、学習させる学習モデルを選択する。
次に、ステップST1402-2にて、学習部230aは、選択した学習モデルに学習させることにより、当該学習モデルが有するパラメータを変更する。
【0133】
次に、ステップST1412にて、学習部230aは、全ての学習モデルに学習させることを完了したか否かを判定する。具体的には、例えば、学習部230aは、予め決められた数の学習を全ての学習モデルに学習させたか否かを判定することにより、全ての学習モデルに学習させることを完了したか否かを判定する。また、例えば、学習部230aは、不図示の入力装置を介してユーザが学習完了を示す操作を行ったか否かを判定することにより、全ての学習モデルに学習させることを完了したか否かを判定する。
ステップST1412にて、学習部230aは、全ての学習モデルに学習させることを完了していない判定した場合、移動支援学習装置200aは、当該フローチャートの処理を終了する。移動支援学習装置200aは、当該フローチャートの処理を終了後に、ステップST1411の処理に戻って、繰り返し当該フローチャートの処理を実行する。
ステップST1412にて、学習部230aは、全ての学習モデルに学習させることを完了した判定した場合、ステップST1403にて、学習部230aは、学習モデルを学習済モデルとすることにより学習済モデルを生成する。
【0134】
ステップST1403の処理の後、ステップST1404にて、学習済モデル出力部240は、学習済モデルを出力する。
ステップST1404の処理の後、移動支援学習装置200aは、当該フローチャートの処理を終了する。
【0135】
以上のように、移動支援装置100aは、移動体に備えられたセンサである移動体センサ20が出力する移動体センサ情報を取得する移動体センサ情報取得部110と、移動体センサ情報取得部110が取得する移動体センサ情報に基づいて、移動体センサ20の死角領域を示す死角領域情報を取得する死角領域取得部111と、死角領域取得部111が取得する死角領域情報が示す死角領域に存在する1以上の物体のそれぞれの位置又は種別を示す死角物体情報を取得する死角物体取得部130と、死角物体取得部130が取得する死角物体情報に基づいて、死角領域に存在する1以上の物体のうち、移動体が移動した際に当該移動体が接触する可能性がある物体を特定する接触物体特定部160と、接触物体特定部160が特定する物体に対応する死角物体情報を学習済モデルに入力し、当該学習済モデルが推論結果として出力する情報であって、当該移動体が当該物体に接触することを回避するための情報である移動支援情報を取得する移動支援情報取得部170aと、移動支援情報取得部170aが取得した移動支援情報を出力する移動支援情報出力部180と、を備え、移動支援情報取得部170aは、複数の学習済モデルのうち、接触物体特定部160が特定する物体に対応する死角物体情報が示す物体の位置又は種別に対応する学習済モデルに、当該物体に対応する死角物体情報を入力し、当該学習済モデルが推論結果として出力する移動支援情報を取得するように構成した。
【0136】
このように構成することで、移動支援装置100aは、走行中の車両10を含む移動中の移動体から見て死角となる領域の状況を考慮して、高度な移動支援を行うことができる。
また、このように構成することで、移動支援装置100aは、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の位置を考慮して、当該物体の種別に対応した高度な移動支援を行うことができる。
また、このように構成することで、移動支援装置100aは、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の種別を考慮して、当該物体の種別に対応した高度な移動支援を行うことができる。
また、このように構成することで、移動支援装置100aは、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の位置に加えて、当該物体の移動方向、移動速度、又は、加速度等を考慮して、当該物体の位置、及び、移動方向、移動速度、又は、加速度等に対応した高度な移動支援を行うことができる。
【0137】
また、移動支援装置100aは、上述の構成において、死角物体取得部130は、死角領域取得部111が取得する死角領域情報が示す死角領域に存在する1以上の物体のそれぞれの位置及び種別を示す死角物体情報を取得し、接触物体特定部160は、死角物体取得部130が取得する死角物体情報が示す死角領域に存在する1以上の物体のそれぞれの位置又は種別に基づいて、死角領域に存在する1以上の物体のうち、移動体が移動した際に移動体が接触する可能性がある物体を特定し、移動支援情報取得部170aは、接触物体特定部160が特定する物体に対応する死角物体情報が示す位置若しくは種別に対応する学習済モデル、又は、接触物体特定部160が特定する物体に対応する死角物体情報が示す位置及び種別に対応する学習済モデルに、当該物体に対応する死角物体情報を入力し、学習済モデルが推論結果として出力する移動支援情報を取得するように構成した。
このように構成することで、移動支援装置100aは、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の位置及び種別を考慮して、当該物体の位置及び種別に対応した高度な移動支援を行うことができる。
【0138】
また、移動支援装置100aは、上述の構成に加えて、車両10が走行している道路の状態を示す道路状態情報を取得する道路状態取得部150を備え、接触物体特定部160は、死角物体情報に加えて、道路状態取得部150が取得する道路状態情報に基づいて、死角領域に存在する1以上の物体のうち、移動体が移動した際に当該移動体が接触する可能性がある物体を特定するように構成した。
このように構成ことで、移動支援装置100aは、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する1以上の物体のうち、移動体が接触する可能性がある物体を高精度に特定することができるため、当該移動体の位置又は種別を考慮して、当該物体の位置又は種別に対応した高度な移動支援を高精度に行うことができる。
【0139】
また、移動支援装置100aは、上述の構成に加えて、車両10が走行している道路の状態を示す道路状態情報を取得する道路状態取得部150を備え、移動支援情報取得部170aは、接触物体特定部160が特定する物体に対応する死角物体情報に加えて、道路状態取得部150が取得する道路状態情報を、当該物体に対応する死角物体情報が示す位置又は種別に対応する学習済モデルに入力し、当該学習済モデルが推論結果として出力する移動支援情報を取得するように構成した。
このように構成することで、移動支援装置100aは、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の位置又は種別に加えて、車両10が走行している道路の状態を考慮して、当該物体の位置若しくは種別、並びに、車両10が走行している道路の状態に対応した高度な移動支援を行うことができる。
【0140】
また、移動支援装置100aは、上述の構成に加えて、車両10以外の物体に設けられたセンサである物体センサ90が出力する物体センサ情報を取得する物体センサ情報取得部121を備え、死角物体取得部130は、物体センサ情報取得部121が取得する物体センサ情報に基づいて、死角領域情報が示す死角領域に存在する1以上の物体のそれぞれの位置又は種別を示す死角物体情報を取得するように構成した。
このように構成することで、移動支援装置100aは、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する1以上の物体の位置又は種別を示す情報が予め用意されていない場合であっても、死角領域に存在する1以上の物体の位置及び種別を取得することができため、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の種別を考慮して、当該物体の種別に対応した高度な移動支援を行うことができる。
【0141】
また、以上のように、移動支援学習装置200aは、物体の位置又は種別を示す物体情報を取得する物体取得部210と、物体取得部210が取得する物体情報を学習データとして学習させることにより、当該移動体が当該物体に接触することを回避するための移動支援情報を出力可能な学習済モデルを生成する学習部230aと、を備え、学習部230aは、複数の位置のそれぞれ、又は、複数の種別のそれぞれに対応する複数の学習済モデルを生成するものであって、物体情報を学習データとして学習させることにより、物体情報が示す位置又は種別に対応する学習済モデルを生成するように構成した。
【0142】
このように構成することで、移動支援学習装置200aは、移動支援装置100aが、走行中の車両10を含む移動中の移動体から見て死角となる領域の状況を考慮して、高度な移動支援を行うことを可能にする学習済モデルを提供することができる。
また、このように構成することで、移動支援学習装置200aは、移動支援装置100aが、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の位置を考慮して、当該物体の位置に対応した高度な移動支援を行うことを可能にする学習済モデルを提供することができる。
また、このように構成することで、移動支援学習装置200aは、移動支援装置100aが、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の種別を考慮して、当該物体の種別に対応した高度な移動支援を行うことを可能にする学習済モデルを提供することができる。
【0143】
また、移動支援学習装置200aは、上述の構成において、物体取得部210は、物体の位置及び種別を示す物体情報を取得し、学習部230aは、物体情報を学習データとして学習させることにより、複数の学習済モデルを生成するように構成した。
また、このように構成することで、移動支援学習装置200aは、移動支援装置100aが、走行中の車両10を含む移動中の移動体から見て死角となる領域に存在する物体の位置及び種別を考慮して、当該物体の位置及び種別に対応した高度な移動支援を行うことを可能にする学習済モデルを提供することができる。
【0144】
なお、実施の形態1に係る移動支援システム1及び移動支援学習システム2において、移動支援装置100と移動支援学習装置200とは、互いに異なる装置であるものとして説明したが、この限りではない。例えば、移動支援装置100は、移動支援学習装置200が備える各部を備え、移動支援学習装置200が備える各部を備えた移動支援装置100は、車両10の走行中、すなわち、移動体の移動中において、学習済モデルの生成を行うものであっても良い。
同様に、実施の形態2に係る移動支援システム1a及び移動支援学習システム2aにおいて、移動支援装置100aと移動支援学習装置200aとは、互いに異なる装置であるものとして説明したが、この限りではない。移動支援装置100aは、移動支援学習装置200aが備える各部を備え、移動支援学習装置200aが備える各部を備えた移動支援装置100aは、車両10の走行中、すなわち、移動体の移動中において、学習済モデルの生成を行うものであっても良い。
【0145】
また、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【0146】
本発明に係る移動支援装置は、移動支援システム等に適用することができる。また、本発明に係る移動支援学習装置は、移動支援学習システム又は移動支援装置等に適用することができる。
【符号の説明】
【0147】
1,1a 移動支援システム、10 車両、20 移動体センサ、30 移動体位置出力装置、40 記憶装置、50 自動移動制御装置、60 表示制御装置、70 音声出力制御装置、80 ネットワーク、90 物体センサ、100,100a 移動支援装置、110 移動体センサ情報取得部、111 死角領域取得部、120 移動体位置取得部、121 物体センサ情報取得部、130 死角物体取得部、150 道路状態取得部、160 接触物体特定部、170,170a 移動支援情報取得部、180 移動支援情報出力部、2,2a 移動支援学習システム、200,200a 移動支援学習装置、210 物体取得部、230,230a 学習部、240 学習済モデル出力部、401 プロセッサ、402 メモリ、403 処理回路。