(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】予測装置、予測システム、予測装置の予測方法およびプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20241001BHJP
G06V 10/70 20220101ALI20241001BHJP
G06V 20/58 20220101ALI20241001BHJP
G06T 7/00 20170101ALI20241001BHJP
B60W 30/095 20120101ALI20241001BHJP
B60W 40/02 20060101ALI20241001BHJP
【ＦＩ】
G08G1/16 C
G06V10/70
G06V20/58
G06T7/00 650B
B60W30/095
B60W40/02
【請求項の数】
10
(21)【出願番号】P 2023111998
(22)【出願日】2023-07-07
【審査請求日】2023-07-07
(73)【特許権者】
【識別番号】000227205
【氏名又は名称】ＮＥＣプラットフォームズ株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】熊田 博文
【審査官】上野 博史
(56)【参考文献】
【文献】特開２００９－１９３１３５（ＪＰ，Ａ）
【文献】特開２０２１－１４４４３５（ＪＰ，Ａ）
【文献】国際公開第２０１９／０７８２６６（ＷＯ，Ａ１）
【文献】特開２０１８－０３６９２０（ＪＰ，Ａ）
【文献】特開２００７－３１０８１１（ＪＰ，Ａ）
【文献】特開２０１０－２７１８７６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／１６
Ｇ０６Ｖ １０／７０
Ｇ０６Ｖ ２０／５８
Ｇ０６Ｔ ７／００
Ｂ６０Ｗ ３０／０９５
Ｂ６０Ｗ ４０／０２
(57)【特許請求の範囲】
【請求項1】
移動体の前方を撮影した映像から検出された検出対象物の移動速度を特定する検出対象物検出手段と、
前記映像から死角領域を検出する
死角領域検出手段と、
前記検出対象物が前記死角領域に進入した際の前記移動速度を基準として、
前記死角領域内における前記検出対象物の予測進行速度を複数設定し、
前記予測進行速度に応じて、前記死角領域における前記検出対象物の予測位置を複数予測し、
それぞれの前記予測位置に前記検出対象物が存在する存在確率を設定する
予測手段と、
前記存在確率の高さに応じた表示方法で
前記検出対象物の前記予測位置を示す表示情報を含む出力情報を生成し、
生成した前記出力情報を出力する
出力情報生成手段と
を備える、予測装置。
【請求項2】
前記出力情報は、前記死角領域を含む領域を切り出した画像と、
前記画像に重畳してそれぞれの前記予測位置に表示されるアイコンと
をさらに含み、
前記アイコンは、前記存在確率の高さに応じた表示方法で表示される、
請求項１に記載の予測装置。
【請求項3】
前記出力情報は、前記存在確率を示す表示情報をさらに含む、請求項２に記載の予測装置。
【請求項4】
前記出力情報は、ルート案内の地図と、
前記地図に重畳して、前記死角領域から前記検出対象物が出現する可能性のある地点に表示されるアイコンと
をさらに含む、
請求項１に記載の予測装置。
【請求項5】
前記アイコンは、前記存在確率の値に応じて異なる表示色で表示される、
請求項２に記載の予測装置。
【請求項6】
前記予測手段は、前記検出対象物が前記死角領域の領域外の位置に出現する出現時刻を複数予測し、
それぞれの前記出現時刻に前記検出対象物が出現する出現確率を設定し、
前記出力情報生成手段は、
前記出力情報として移動体を制御するための制御信号を生成する、
請求項１に記載の予測装置。
【請求項7】
前記予測手段は、前記死角領域の領域外に位置する前記予測位置に対応する前記存在確率を０に設定する、
請求項１に記載の予測装置。
【請求項8】
請求項１乃至７のいずれか一項に記載の予測装置と、前記移動体の前方を撮影するカメラと
を備える、予測システム。
【請求項9】
コンピュータが、移動体の前方を撮影した映像から検出された検出対象物の移動速度を特定し、
前記映像から死角領域を検出し、
前記検出対象物が前記死角領域に進入した際の前記移動速度を基準として、
前記死角領域内における前記検出対象物の予測進行速度を複数設定し、
前記予測進行速度に応じて、前記死角領域における前記検出対象物の予測位置を複数予測し、
それぞれの前記予測位置に前記検出対象物が存在する存在確率を設定し、
前記存在確率の高さに応じた表示方法で
前記検出対象物の前記予測位置を示す表示情報を含む出力情報を生成し、
生成した前記出力情報を出力する、
予測装置の予測方法。
【請求項10】
請求項９に記載の予測方法を予測装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、予測装置、予測システム、予測方法およびプログラムに関する。
【背景技術】
【0002】
運転支援や自動運転の分野においては、歩行者等の検出対象物を正しく検出することが求められる。特許文献１に記載の周辺監視装置は、識別器を用いて車載カメラによって撮影された画像を解析することで、検出対象物を検出する。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０２３／２８６５４０号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示された技術では、歩行者等の検出対象物が死角領域に進入した場合に、検出対象物を検出することができない。
【0005】
本開示の目的は、死角領域に進入した検出対象物の位置を予測する予測装置、予測システム、予測方法およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示の一態様の予測装置は、移動体の前方を撮影した映像から検出された検出対象物の移動速度を特定する検出対象物検出手段と、映像から死角領域を検出する死角領域検出手段と、死角領域に進入した検出対象物の移動速度を用いて、死角領域における検出対象物の予測位置を複数予測し、それぞれの予測位置に検出対象物が存在する存在確率を設定する予測手段と、予測手段の予測結果に応じた出力情報を生成し、生成した出力情報を出力する出力情報生成手段とを備える。
【0007】
本開示の一態様の画面制御方法においては、移動体の前方を撮影した映像から検出された検出対象物の移動速度を特定し、映像から死角領域を検出し、死角領域に進入した検出対象物の移動速度を用いて、死角領域における検出対象物の予測位置を複数予測し、それぞれの予測位置に検出対象物が存在する存在確率を設定し、予測位置および存在確率に応じた出力情報を生成し、生成した出力情報を出力する。
【0008】
本開示の一態様のプログラムは、コンピュータに、移動体の前方を撮影した映像か検出された検出対象物の移動速度を特定する処理と、映像から死角領域を検出する処理と、死角領域に進入した検出対象物の移動速度を用いて、死角領域における検出対象物の予測位置を複数予測し、それぞれの予測位置に検出対象物が存在する存在確率を設定する処理と、予測位置および存在確率に応じた出力情報を生成する処理と、生成した出力情報を出力する処理とを実行させる。
【発明の効果】
【0009】
本開示によれば、死角領域に進入した検出対象物の位置を予測する予測装置、予測システム、予測方法およびプログラムを提供することができる。
【図面の簡単な説明】
【0010】
【図1】本開示に係る予測装置について説明するための概念図である。
【図2】本開示に係る予測装置について説明するための概念図である。
【図3】本開示に係る予測装置について説明するための概念図である。
【図4】本開示に係る予測システムの構成の一例を示すブロック図である。
【図5】死角領域における検出対象物の予測位置を予測する手順を説明するための概念図である。
【図6】予測位置が死角領域の外へ出た場合の処理を説明するための概念図である。
【図7】予測位置を再予測する手順を説明するための概念図である。
【図8】出力情報の一例を示す図である。
【図9】出力情報の一例を示す図である。
【図10】本開示に係る予測装置の動作の一例を示すフローチャートである。
【図11】本開示に係る予測装置の予測処理における動作の一例を示すフローチャートである。
【図12】本開示に係る予測システムの構成の一例を示すブロック図である。
【図13】本開示に係る予測装置の動作の一例を示すフローチャートである。
【図14】本開示に係る予測装置の予測処理における動作の一例を示すフローチャートである。
【図15】本開示に係る予測装置の構成の一例を示すブロック図である。
【図16】本開示に係る予測装置の動作の一例を示すフローチャートである。
【図17】本開示に係る予測装置の構成の一例を示すブロック図である。
【図18】本開示に係る予測装置の動作の一例を示すフローチャートである。
【図19】各実施形態に係る制御や処理を実行するハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【0011】
以下に、本開示に係る実施形態について図面を参照しながら詳細に説明する。以下に述べる実施形態には、本開示を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。
【0012】
［第１実施形態］
【0013】
（概要）
本実施形態の予測装置１０は、死角領域に進入した検出対象物の位置を予測し、予測された位置を用いた出力情報を、移動体ＭＢの備える表示装置へ出力する。図１～図３は、本開示に係る予測システム１について説明するための概念図である。最初に、図１～図３を参照して、予測システム１の概要について説明する。
本実施形態の予測装置１０は、死角領域に進入した検出対象物の位置を予測し、予測された位置を用いた出力情報を、移動体ＭＢの備える表示装置へ出力する。図１～図３は、本開示に係る予測システム１について説明するための概念図である。最初に、図１～図３を参照して、予測システム１の概要について説明する。
【0014】
例えば、予測装置１０は、移動体ＭＢに搭載される。本実施形態において、移動体ＭＢは、自動車、バス、オートバイ、建設機械等の車両である。移動体ＭＢは、カメラ６０を搭載する。カメラ６０は、移動体ＭＢの進行方向である方向Ｖ１を含む範囲を撮影する。予測装置１０は、カメラ６０によって撮影された撮影映像Ｐを既知の手法で解析することで、撮影映像Ｐから検出対象物Ｔを検出する。検出対象物Ｔは、移動体ＭＢの進路上に位置するおそれのある対象物である。例えば、検出対象物Ｔは、歩行者、動物、移動体ＭＢ以外の車両等の対象物である。図１に示す例において、移動体ＭＢの進行方向が方向Ｖ１であるとすると、障害物Ｏの後方の領域Ｅ１は、移動体ＭＢにとって死角領域である。検出対象物Ｔは、方向Ｖ２に向かって進行すると、移動体ＭＢの死角領域である領域Ｅ１へ突入する。
【0015】
図２は、図１の状況からｔ秒後の状況を示す概念図である。図２に示す例において、検出対象物Ｔは、移動体ＭＢの死角領域である領域Ｅ１へ突入する。そのため、カメラ６０が撮影した撮影映像Ｐからは検出対象物Ｔが検出されない。
【0016】
図３は、図２の状況において移動体ＭＢが方向Ｖ１へｔ’秒間進行した場合の状況を示す概念図である。移動体ＭＢの運転者が検出対象物Ｔに気付いていない場合、移動体ＭＢの死角領域である領域Ｅ１から検出対象物Ｔが突如飛び出してくる。このような状況においては、移動体ＭＢと検出対象物Ｔとが衝突する可能性がある。また、衝突を避けるために、移動体ＭＢが急制動をしなくてはいけない可能性がある。本実施形態の予測装置１０は、これらを未然に防ぐべく、死角領域に進入した検出対象物の位置を予測する。さらに、予測装置１０は、予測された位置を用いた出力情報を運転者に提示する。例えば、本実施形態の予測装置１０は、車載の表示装置（図１～図３には図示せず）に出力情報を表示させる。
【0017】
（構成）
図４は、本開示に係る予測システムの構成の一例を示すブロック図である。予測システム１は、図４に示すように、予測装置１０、カメラ６０、測距センサ７０、および表示装置８０を備える。予測装置１０は、カメラ６０、測距センサ７０および表示装置８０のそれぞれと通信可能に接続されている。
図４は、本開示に係る予測システムの構成の一例を示すブロック図である。予測システム１は、図４に示すように、予測装置１０、カメラ６０、測距センサ７０、および表示装置８０を備える。予測装置１０は、カメラ６０、測距センサ７０および表示装置８０のそれぞれと通信可能に接続されている。
【0018】
カメラ６０は、移動体ＭＢに搭載される車載カメラである。カメラ６０は、移動体ＭＢの前方の映像を取得する。カメラ６０の撮影範囲には、移動体ＭＢの斜め前方が含まれる。カメラ６０は、単眼カメラであってもよいし、ステレオカメラであってもよい。カメラ６０が取得する映像は、予め決められたフレームレートで撮影された画像から構成される動画像である。カメラ６０によって撮影された映像は、予測装置１０へ送信される。
【0019】
測距センサ７０は、移動体ＭＢと検出対象物との距離を測定するためのセンサである。測距センサ７０は、移動体ＭＢの前方に位置する物体までの距離の計算に用いられるセンサデータを取得する。例えば、測距センサ７０は、超音波センサ、赤外線センサ、ＬｉＤＡＲ（Light Detection And Ranging）、ミリ波レーダー等によって実現される。カメラ６０によって撮影された画像から距離を測定可能な場合、予測システム１は測距センサ７０を備えなくてもよい。
【0020】
表示装置８０は、予測装置１０によって生成された出力情報を表示する表示部を有する。例えば、表示装置８０は、ディスプレイ等の表示装置によって実現される。表示装置８０は、移動体ＭＢが搭載するカーナビゲーション装置の表示部によって実現されてもよい。表示装置８０がカーナビゲーション装置の表示部によって実現される場合、予測装置１０はカーナビゲーション装置にインストールされたアプリケーションによって実現されてもよい。
【0021】
〔予測装置〕
次に、図４を参照して、予測装置１０について説明する。例えば、予測装置１０は車載装置である。予測装置１０は、移動体ＭＢに搭載されたカーナビゲーション装置等の車載装置にインストールされたアプリケーションによって実現されてもよい。あるいは、予測装置１０は、移動体ＭＢの運転者の所持する携帯端末にインストールされたアプリケーションによって実現されてもよい。予測装置１０は、取得部１１、検出対象物検出部１２、死角領域検出部１３、予測部１４、および出力情報生成部１５を備える。
次に、図４を参照して、予測装置１０について説明する。例えば、予測装置１０は車載装置である。予測装置１０は、移動体ＭＢに搭載されたカーナビゲーション装置等の車載装置にインストールされたアプリケーションによって実現されてもよい。あるいは、予測装置１０は、移動体ＭＢの運転者の所持する携帯端末にインストールされたアプリケーションによって実現されてもよい。予測装置１０は、取得部１１、検出対象物検出部１２、死角領域検出部１３、予測部１４、および出力情報生成部１５を備える。
【0022】
取得部１１は、移動体ＭＢの前方を撮影した映像およびセンサデータを取得する。取得部１１は、カメラ６０によって撮影された映像を取得する。取得部１１は、測距センサ７０によって得られたセンサデータを取得する。
【0023】
検出対象物検出部１２は、取得部１１が取得した映像から検出対象物Ｔを検出する。検出対象物検出部１２は、検出した検出対象物Ｔの移動速度および移動方向を特定する。検出対象物Ｔは、前述の通り、移動体ＭＢの進路上に位置するおそれのある対象物である。例えば、検出対象物Ｔは、歩行者、動物、移動体ＭＢ以外の車両等である。
【0024】
検出対象物検出部１２は、映像に含まれるフレーム画像から検出対象物Ｔを検出する。例えば、検出対象物検出部１２は、映像に含まれるフレーム画像に対して、検出対象物Ｔを識別するための識別器を用いたパターンマッチングを行うことで、検出対象物Ｔを検出してもよい。他の例では、検出対象物検出部１２は、複数の連続するフレーム画像を用いて背景画像を作成し、背景画像と現在のフレーム画像とを比較した差分を検出対象物Ｔとして検出してもよい。検出対象物検出部１２は、映像を構成する１枚のフレーム画像で検出された検出対象物Ｔを他のフレーム画像でトラッキングする。例えば、検出対象物検出部１２は、既知のオブジェクトトラッキングの技術を用いて、検出対象物Ｔをトラッキングする。つまり、検出対象物検出部１２は、複数の連続するフレーム画像それぞれについて、検出対象物Ｔを検出する。検出対象物検出部１２による検出対象物Ｔの検出方法は、ここであげた例に限定されない。
【0025】
検出対象物検出部１２はさらに、検出された検出対象物Ｔの移動速度および移動方向を特定する。例えば、検出対象物検出部１２は、検出された検出対象物Ｔのフレーム間差分を用いて、検出対象物Ｔの移動速度および移動方向を特定する。他の例では、検出対象物検出部１２は、取得部１１が取得したセンサデータを用いて、検出対象物Ｔの移動速度および移動方向を特定する。検出対象物検出部１２による検出対象物Ｔの移動速度および移動方向の特定方法は、ここであげた例に限定されない。
【0026】
以下、取得部１１が取得したセンサデータを用いて、検出対象物検出部１２が移動速度および移動方向を特定する手順の一例を説明する。まず、検出対象物検出部１２は、取得部１１が取得したセンサデータを用いて、移動体ＭＢから検出された検出対象物Ｔまでの距離を測定する。次に、検出対象物検出部１２は、現在のフレームと１つ前のフレームとを比較する。検出対象物Ｔの１フレームにおける移動距離を算出する。検出対象物Ｔの移動速度は、検出対象物Ｔの移動距離を１フレームの秒数で除することにより算出される。また、検出対象物Ｔの移動方向は、例えばオプティカルフローにより算出される。
【0027】
死角領域検出部１３は、取得部１１が取得した映像から死角領域を検出する。例えば、死角領域検出部１３は、以下に示す手順で死角領域を検出する。まず、死角領域検出部１３は、検出対象物検出部１２によって検出された検出対象物Ｔのトラッキングが外れたフレームを特定する。次に、死角領域検出部１３は、トラッキングが外れたフレームの１つ前のフレーム画像および該フレーム画像に対応するセンサデータを参照する。死角領域検出部１３は、検出対象物Ｔの障害物となっている物体の領域を特定する。具体的には、死角領域検出部１３は、センサデータを用いて、検出対象物Ｔの手前に位置する物体の領域を特定する。死角領域検出部１３は、特定した物体の領域を死角領域として検出する。死角領域検出部１３による死角領域の検出方法は、ここであげた例に限定されない。
【0028】
予測部１４は、死角領域における検出対象物Ｔの予測位置を複数予測する。予測部１４は、さらに、それぞれの予測位置に検出対象物Ｔが存在する存在確率を設定する。予測部１４は、以下に示す手順で死角領域における検出対象物Ｔの予測位置を予測する。まず、予測部１４は、検出対象物Ｔが死角領域へ進入した際の移動速度（以下、進入速度とも記す）を取得する。検出対象物Ｔが死角領域へ進入した際の移動速度とは、すなわち、検出対象物Ｔのトラッキングが外れる直前の、検出対象物Ｔの移動速度である。次に、予測部１４は、進入した際の移動速度を基準として、死角領域内の検出対象物Ｔの予測進行速度を複数設定する。予測部１４は、予測した予測進行速度に応じた予測位置を複数算出する。予測部１４は、検出対象物が死角へ進入してからの経過時間、予測進行速度、および死角領域の大きさを用いて、検出対象物Ｔの予測位置を複数予測する。
【0029】
図５を参照して、予測部１４が死角領域における検出対象物Ｔの位置を予測する具体例を説明する。図５の例において、予測部１４は、検出対象物Ｔの進入速度を基準（１００％）として、死角領域内の予測進行速度を－４０％、－２０％、±０％、＋２０％の４つに設定する。予測部１４は、予測進行速度に応じた検出対象物Ｔの予測位置を４つ（予測位置ＰＴ１～ＰＴ４）算出する。具体的には、予測部１４は、検出対象物が死角へ進入してからの経過時間、予測進行速度、および死角領域の大きさを用いて、検出対象物Ｔの予測位置を複数予測する。尚、上述の予測進行速度の値は一例であり、予測進行速度は他の値に設定されてもよい。また、予測進行速度および予測位置ＰＴの数は４つに限定されず、他の値でもよい。
【0030】
予測部１４は、さらに、予測位置ＰＴ１～ＰＴ４の各々に検出対象物Ｔが存在する存在確率を算出する。存在確率は、進入速度と予測進行速度との差分の絶対値が小さいほど高くなるように設定される。予測部１４は、進入速度と同一の速度で進行していると仮定された予測位置の存在確率を一番高く設定する。予測部１４は、進入速度と予測進行速度との差分の絶対値が大きくなるほど、存在確率を低く設定する。図５の例において、予測部１４は、予測位置ＰＴ３の存在確率を５０％とし、予測位置ＰＴ２および予測位置ＰＴ４の存在確率を２０％とし、予測位置ＰＴ１の存在確率を１０％とする。尚、上述の存在確率の値は一例であり、設定される存在確率の値は他の値でもよい。
【0031】
次に、図６を参照して、予測位置が死角領域の外へ出た場合の処理を説明する。図６は、図５に示すフレーム画像からｎフレーム後（ｎは自然数）の画像における検出対象物Ｔの予測位置を示す図である。予測部１４は、フレーム画像を新たに取得する都度、予測位置ＰＴ１～ＰＴ４を更新する。図６に示すように、予測位置を更新し始めてからｎフレーム後（ｎは自然数）には、予測位置が死角領域の外へ出る。ｎフレーム後の画像において検出対象物Ｔが検出されていない場合、予測部１４は、死角領域の外へ出た予測位置の存在確率を０％へ変更する。図６に示す例では、予測位置ＰＴ４が死角領域の外へ出ている。さらに、図６に示す例では、検出対象物Ｔが検出されないため、予測部１４は、予測位置ＰＴ４の存在確率を０％へ変更する。予測部１４は、存在確率が０％である予測位置については、予測処理を更新しない。予測部１４は、全ての予測位置の存在確率が０％になるまで、予測位置ＰＴ１～ＰＴ４の更新処理を続ける。検出対象物検出部１２によって検出対象物Ｔが検出されると、予測部１４は、予測処理を終了する。
【0032】
次に、図７を参照して、予測位置を再予測する手順を説明する。全ての予測位置の存在確率が０％になっても、検出対象物Ｔが検出対象物検出部１２によって検出されない場合、予測部１４は、予測位置を再予測する。例えば、図７に示すように、予測部１４は、さらに遅い予測進行速度を設定する。予測部１４は、予測進行速度に対応する予測位置ＰＴ５～ＰＴ８を予測する。予測部１４は、さらに、予測位置ＰＴ５～ＰＴ８の存在確率についても、再設定を行う。
【0033】
出力情報生成部１５は、予測部１４の予測結果に応じた出力情報を生成する。出力情報生成部１５は、生成した出力情報を出力する。
【0034】
図８は、出力情報生成部１５が生成する出力情報の一例である。図８に示す出力情報は、少なくとも、死角領域を含む領域を切り出した画像Ｐ１と、画像Ｐ１に重畳して表示するアイコンＩＣ１とを含む。アイコンＩＣ１は、検出対象物Ｔの予測位置に表示されるアイコンである。図８に示す例では、アイコンＩＣ１は人型のアイコンであるが、他のアイコンが用いられてもよい。また、アイコンＩＣ１は、検出対象物Ｔの種類に応じて変更されてもよい。例えば、検出対象物Ｔが動物であれば、動物のアイコンが用いられてもよい。また、アイコンＩＣ１は、存在確率の高さに応じた表示方法で表示されてもよい。例えば、図８に示すように、アイコンＩＣ１は存在確率の高さに応じてグラデーション表示されてもよい。図８の例においては、表示の色が濃いほど存在確率が高い。例えば、アイコンＩＣ１は存在確率に応じて色分けされてもよい。図８に示す出力情報は、この他にも、各予測位置における存在確率を示す表示情報Ｗ１を含んでもよい。また、図８に示す出力情報は、移動体ＭＢの運転者へ注意を促す内容を含む表示情報Ｗ２を含んでもよい。例えば、表示情報Ｗ１に加えて、移動体ＭＢの運転者への注意を促す内容を含む音声が出力されてもよい。例えば、検出対象物Ｔに対する注意を促す音が出力されてもよい。
【0035】
図９は、出力情報生成部１５が生成する出力情報の他の例である。図９に示す例は、表示装置８０がカーナビゲーション装置の表示部によって実現される場合の出力情報を想定している。出力情報生成部１５が生成する出力情報は、図９のように、カーナビゲーション装置が提供するルート案内の地図Ｍに重畳して表示されてもよい。例えば、出力情報生成部１５は、死角領域から検出対象物Ｔが出現する可能性が生じると、該可能性が生じている地点にアイコンＩＣ３を表示させる。図９に示す出力情報は、この他にも、移動体ＭＢの運転者へ注意を促すような表示情報Ｗ３を含んでもよい。
【0036】
【0037】
まず、取得部１１は、移動体ＭＢの前方を撮影した映像をカメラ６０から取得する。さらに、取得部１１は、移動体ＭＢの前方のセンサデータを取得する（ステップＳ１１）。移動体ＭＢの前方には、移動体ＭＢの斜め前方も含まれる。
【0038】
次に、検出対象物検出部１２は、取得部１１が取得した映像から検出対象物Ｔを検出する（ステップＳ１２）。検出対象物検出部１２は、映像に含まれるフレーム画像から検出対象物Ｔを検出する。検出対象物検出部１２は、検出した検出対象物Ｔをトラッキングする。
【0039】
次に、検出対象物検出部１２は、検出した検出対象物の移動速度および移動方向を特定する（ステップＳ１３）。予測システム１が測距センサ７０を備えない場合、検出対象物検出部１２は、取得した映像のフレーム間差分を用いて、ステップＳ１２およびステップＳ１３の処理を行う。予測システム１が測距センサ７０を備える場合、検出対象物検出部１２は、取得した映像のフレーム間差分および取得したセンサデータを用いて、ステップＳ１２およびステップＳ１３の処理を行う。
【0040】
次に、死角領域検出部１３は、取得部１１が取得した映像から死角領域を検出する（ステップＳ１４）。死角領域検出部１３は、検出対象物Ｔのトラッキングが外れた１つ前のフレーム画像を用いて、検出対象物Ｔの手前にある物体を特定する。死角領域検出部１３は、特定した物体によって死角となる領域を死角領域として検出する。
【0041】
【0042】
まず、予測部１４は、取得部１１が取得した映像からフレーム画像を取得する（ステップＳ１５１）。
【0043】
次に、予測部１４は、検出対象物Ｔの死角領域への進入速度を用いて、検出対象物Ｔの位置を複数予測する（ステップＳ１５２）。検出対象物Ｔの進入速度は、検出対象物Ｔのトラッキングが外れる直前における検出対象物Ｔの移動速度である。すなわち、検出対象物Ｔの進入速度は、ステップＳ１３で特定される。予測部１４は、検出対象物Ｔが死角領域に進入した際の移動速度を基準として、死角領域内における検出対象物Ｔの予測進行速度を複数設定する。予測部１４は、予測した予測進行速度に応じた予測位置を複数算出する。
【0044】
次に、予測部１４は、それぞれの予測位置に検出対象物Ｔが存在する存在確率を設定する（ステップＳ１５３）。存在確率は、進入速度と予測進行速度との差分の絶対値が小さいほど高くなるように設定される。
【0045】
次に、予測部１４は、複数予測した予測位置のうちで死角領域の領域外に位置する予測位置があるか否かを判定する（ステップＳ１５４）。予測部１４は、死角領域の領域外に位置する予測位置がない場合（ステップＳ１５４でＮｏ）、ステップＳ１５６の処理へ進む。予測部１４は、死角領域の領域外に位置する予測位置がある場合（ステップＳ１５４でＹｅｓ）、死角領域から出た予測位置の存在確率を０％に設定する（ステップＳ１５５）。また、予測部１４は、死角領域内に位置する予測位置があるか否かを判定する（ステップＳ１５６）。死角領域内に位置する予測位置がある場合（ステップＳ１５６でＹｅｓ）、一連の予測処理を終了する。死角領域内に位置する予測位置がない場合（ステップＳ１５６でＮｏ）、予測部１４はステップＳ１５１の処理へ戻り、予測位置を再設定する。
【0046】
上述した一連の予測処理を終了すると、予測装置１０は、図１０のステップＳ１６の処理へ進む。出力情報生成部１５は、ステップＳ１５の予測結果に応じた出力情報を生成する。出力情報生成部１５は、生成した出力情報を表示装置８０へ出力する（ステップＳ１６）。例えば、出力情報生成部１５は、図８または図９に示すような出力情報を生成する。
【0047】
予測装置１０は、検出対象物検出部１２によって、検出対象物Ｔが死角領域から出現したと検出されるまで、ステップＳ１５～ステップＳ１６の処理を繰り返す（ステップＳ１７でＮｏ）。
【0048】
死角領域から検出対象物Ｔが出現した場合（ステップＳ１７でＹｅｓ）、予測装置１０は、所定の終了条件を満たすか否かを判定する（ステップＳ１８）。所定の終了条件を満たさない場合（ステップＳ１８でＮｏ）、ステップＳ１１～ステップＳ１７の処理を繰り返す。例えば、所定の終了条件は、予測装置１０の電源が切られることや、移動体ＭＢの運転者から処理中止の命令があること等を含む。予測装置１０は、所定の終了条件を満たすと（ステップＳ１８でＹｅｓ）、上述した一連の処理を終了する。
【0049】
以上のように、本実施形態の予測装置は、取得部、検出対象物検出部、死角領域検出部、予測部、および出力情報生成部を備える。取得部は、移動体の前方を撮影した映像およびセンサデータを取得する。検出対象物検出部は、取得部が取得した映像から検出された検出対象物Ｔの移動速度および移動方向を特定する。死角領域検出部は、取得部が取得した映像から死角領域を検出する。予測部は、死角領域に進入した検出対象物の移動速度を用いて、死角領域における検出対象物の位置を複数予測する。予測部は、それぞれの予測位置に検出対象物が存在する存在確率を設定する。出力情報生成部は、予測部１４の予測結果に応じた出力情報を生成し、生成した出力情報を出力する。本実施形態の予測装置は、上記構成により、検出対象物が死角領域に進入し、取得した映像から検出対象物が検出されない場合であっても、検出対象物の予測位置を得ることができる。換言すれば、本実施形態の予測装置によれば、死角領域に進入した検出対象物の位置を予測することができる。
【0050】
本実施形態の予測装置が備える予測部は、検出対象物が死角領域に進入した際の移動速度を基準として、死角領域内における検出対象物の予測進行速度を複数設定する。予測部は、予測進行速度に応じて、死角領域における検出対象物の予測位置を複数予測する。また、予測部は、死角領域から検出対象物が出現するまで、上述の予測処理を繰り返す。本実施形態の予測装置によれば、移動体の運転者は、検出対象物が死角領域内で減速または加速した場合であっても、検出対象物の位置を予測することができる。
【0051】
本実施形態の予測装置が備える予測部は、それぞれの予測位置に検出対象物が存在する存在確率を設定する。存在確率は、進入速度と予測進行速度との差分の絶対値が小さいほど高くなるように設定される。出力情報生成部により生成される出力情報に存在確率を示す情報が含まれる場合、移動体の運転者は、該予測位置に検出対象物が存在する確率を把握できる。これにより、運転者は、存在確率に応じて移動体の制御を変更することができる。例えば、死角領域付近を通過する際に死角領域の出口付近に存在確率の高い予測位置がない場合、運転者は移動体を減速させるのみに止める。一方で、死角領域付近を通過する際に死角領域の出口付近に存在確率の高い予測位置がある場合、運転者は移動体を一時停止させる。このように、検出対象物の存在確率を出力情報に含めることによって、運転者は、存在確率に応じて移動体の制御を変更することができる。
【0052】
本実施形態の予測装置が備える出力情報生成部は、予測部の予測結果に応じた出力情報を生成し、移動体の備える表示装置へ出力する。一例として、出力情報は、死角領域を含む領域を切り出した画像と、切り出した画像に重畳して予測位置に表示されるアイコンとを含む。アイコンは、存在確率の高さに応じた表示方法で表示される。例えば、アイコンは、存在確率の高さに応じてグラデーション表示される。他の例では、出力情報は、ルート案内の地図と、地図に重畳して表示されるアイコンとを含む。アイコンは、死角領域から検出対象物が出現する可能性のある地点に表示される。また、出力情報は、移動体の運転者へ注意を促すような表示情報を含んでもよい。これらの出力情報が表示装置へ出力されることにより、運転者は、直感的に、動物体の飛び出しに注意すべき地点およびタイミングを把握することができる。
【0053】
本実施形態の予測装置が備える予測部は、死角領域の領域外に位置する予測位置に対応する存在確率を０に設定する。予測部は、存在確率が０である予測位置については、予測処理を更新しない。これにより、本実施形態の予測装置は、死角領域の外に位置する予測位置については予測処理を更新せずに済むため、計算コストを削減することができる。
【0054】
［第２実施形態］
【0055】
（構成）
次に、本実施形態に係る予測システム２および予測装置２０について、図面を参照しながら説明する。以降の説明において、第１実施形態と同一の部分については、適宜説明を省略する。第１実施形態の予測システム１は、予測結果に応じた出力情報を、移動体ＭＢの備える表示装置へ出力する。本実施形態の予測システム２は、自動運転が行われる移動体ＭＢに対して、予測結果に応じた制御信号を生成し、移動体ＭＢの制御を行う制御部へ出力する点において、第１実施形態の予測装置１０とは異なる。換言すれば、予測システム１は移動体ＭＢの運転者へ注意喚起することを目的としており、予測システム２は自動運転の移動体ＭＢを安全に制御することを目的としている点において、両者は異なる。本実施形態における移動体ＭＢは、自動運転が行われる移動体である。具体的には、移動体ＭＢは、自動運転が行われる自動車、バス、オートバイ、建設機械等の車両の他、ロボットやドローン等の移動体であってもよい。
次に、本実施形態に係る予測システム２および予測装置２０について、図面を参照しながら説明する。以降の説明において、第１実施形態と同一の部分については、適宜説明を省略する。第１実施形態の予測システム１は、予測結果に応じた出力情報を、移動体ＭＢの備える表示装置へ出力する。本実施形態の予測システム２は、自動運転が行われる移動体ＭＢに対して、予測結果に応じた制御信号を生成し、移動体ＭＢの制御を行う制御部へ出力する点において、第１実施形態の予測装置１０とは異なる。換言すれば、予測システム１は移動体ＭＢの運転者へ注意喚起することを目的としており、予測システム２は自動運転の移動体ＭＢを安全に制御することを目的としている点において、両者は異なる。本実施形態における移動体ＭＢは、自動運転が行われる移動体である。具体的には、移動体ＭＢは、自動運転が行われる自動車、バス、オートバイ、建設機械等の車両の他、ロボットやドローン等の移動体であってもよい。
【0056】
図１２は、本開示に係る予測システムの構成の一例を示すブロック図である。予測システム２は、予測装置２０、制御部５０、カメラ６０および測距センサ７０を備える。カメラ６０および測距センサ７０は、第１実施形態におけるカメラ６０および測距センサ７０と同一であるため、説明を省略する。
【0057】
制御部５０は、移動体ＭＢの制御を行う制御部（コントローラ）である。制御部５０は、制御信号によって、移動体ＭＢの制御を行う。例えば、制御部５０は、移動体ＭＢの走行速度や、移動方向、移動ルートの制御を行う。
【0058】
〔予測装置〕
次に、図１２を参照して、予測装置２０について説明する。予測装置２０は、取得部２１、検出対象物検出部２２、死角領域検出部２３、予測部２４および出力情報生成部２５を備える。取得部２１、検出対象物検出部２２、および死角領域検出部２３の各々は、第１実施形態における取得部１１、検出対象物検出部１２、および死角領域検出部１３の各々と同一であるため、説明を省略する。
次に、図１２を参照して、予測装置２０について説明する。予測装置２０は、取得部２１、検出対象物検出部２２、死角領域検出部２３、予測部２４および出力情報生成部２５を備える。取得部２１、検出対象物検出部２２、および死角領域検出部２３の各々は、第１実施形態における取得部１１、検出対象物検出部１２、および死角領域検出部１３の各々と同一であるため、説明を省略する。
【0059】
予測部２４は、検出対象物Ｔが死角領域外の位置に出現する出現時刻を複数予測する。予測部２４は、検出対象物が死角領域に進入した時刻、予測進行速度、および死角領域の大きさを用いて、検出対象物Ｔが死角領域外の位置に出現する出現時刻を複数予測する。予測部２４は、それぞれの出現時刻について、検出対象物が出現する確率である出現確率を設定する。
【0060】
予測部２４は、現在時刻を過ぎた予測時刻の出現確率を０％へ変更する。例えば、予測部２４が予測時刻を１０時１０分１０秒と予測していた場合、１０時１０分１１秒になっても検出対象物が出現しなかった場合、該予測時刻の出現確率を０％へ変更する。また、予測部２４は、全ての予測時刻の出現確率が０％になっても、検出対象物Ｔが検出対象物検出部１２によって検出されない場合、予測時刻を再予測する。予測部２４は、検出対象物Ｔが検出対象物検出部２２によって検出されると、予測処理を終了する。
【0061】
出力情報生成部２５は、予測結果に応じた制御信号を生成する。出力情報生成部２５は、生成した制御信号を制御部５０へ出力する。出力情報生成部２５は、予測部２４が予測した予測時刻を用いて、移動体ＭＢが衝突または急制動をせずに済むような制御信号を生成する。具体的には、出力情報生成部２５は、予測時刻を用いて、走行速度および停止タイミングの制御を行う。出力情報生成部２５は、出現確率に応じて、制御信号の内容を変更してもよい。例えば、移動体ＭＢが死角領域付近を通過する時刻に死角領域からの出現確率が低い場合、出力情報生成部２５は、移動体ＭＢを減速させる制御信号を生成する。一方で、移動体ＭＢが死角領域付近を通過する時刻に死角領域からの出現確率が高い場合、出力情報生成部２５は、移動体ＭＢを徐々に減速させた後に一時停止させる制御信号を生成する。
【0062】
【0063】
まず、取得部２１は、移動体ＭＢの前方を撮影した映像をカメラ６０から取得する。さらに、取得部２１は、移動体ＭＢの前方のセンサデータを取得する（ステップＳ２１）。移動体ＭＢの前方には、移動体ＭＢの斜め前方が含まれる。
【0064】
次に、検出対象物検出部２２は、取得部２１が取得した映像から検出対象物Ｔを検出する（ステップＳ２２）。検出対象物検出部２２は、映像に含まれるフレーム画像から検出対象物Ｔを検出する。検出対象物検出部２２は、検出した検出対象物Ｔをトラッキングする。次に、検出対象物検出部１２は、検出した検出対象物の移動速度および移動方向を特定する（ステップＳ２３）。
【0065】
次に、死角領域検出部２３は、取得部２１が取得した映像から死角領域を検出する（ステップＳ２４）。死角領域検出部２３は、検出対象物検出部２２によって検出対象物Ｔのトラッキングが外れると、１つ前のフレーム画像を用いて、検出対象物Ｔの手前にある物体を特定する。死角領域検出部２３は、特定した物体によって死角になる領域を死角領域として検出する。
【0066】
【0067】
まず、予測部２４は、取得部２１が取得した映像からフレーム画像を取得する（ステップＳ２５１）。
【0068】
次に、予測部２４は、検出対象物Ｔの死角領域への進入速度を用いて、検出対象物Ｔの予測進行速度を複数予測する（ステップＳ２５２）。検出対象物Ｔの進入速度は、検出対象物Ｔのトラッキングが外れる直前における検出対象物Ｔの移動速度である。すなわち、検出対象物Ｔの進入速度は、ステップＳ２３で特定される。
【0069】
次に、予測部２４は、予測進行速度を用いて、検出対象物Ｔが死角領域外の位置に出現する出現時刻を予測する（ステップＳ２５３）。さらに、予測部２４は、それぞれの出現時刻に検出対象物が出現する出現確率を設定する（ステップＳ２５４）。
【0070】
次に、予測部２４は、複数予測した出現時刻のうちで、現在時刻を過ぎた出現時刻があるか否かを判定する（ステップＳ２５５）。予測部２４は、現在時刻を過ぎた出現時刻がない場合（ステップＳ２５５でＮｏ）、ステップＳ２５７の処理へ進む。予測部２４は、現在時刻を過ぎた出現時刻がある場合（ステップＳ２５５でＹｅｓ）、現在時刻を過ぎた出現時刻の出現確率を０％に設定する（ステップＳ２５６）。また、予測部２４は、現在時刻より前の出現時刻があるか否かを判定する（ステップＳ２５７）。現在時刻より前の出現時刻がある場合（ステップＳ２５７でＹｅｓ）、一連の予測処理を終了する。現在時刻より前の出現時刻がない場合（ステップＳ２５７でＮｏ）、予測部１４はステップＳ２５１の処理へ戻り、予測時刻を再設定する。
【0071】
上述した一連の予測処理を終了すると、予測装置２０は、図１３のステップＳ２６の処理へ進む。出力情報生成部２５は、ステップＳ２５の予測結果に応じた移動体ＭＢの制御信号を生成する。出力情報生成部２５は、生成した制御信号を移動体ＭＢの制御部５０へ出力する（ステップＳ２６）。
【0072】
予測装置２０は、検出対象物検出部２２によって、検出対象物Ｔが死角領域外の位置に出現したと検出されるまで、ステップＳ２５～ステップＳ２６の処理を繰り返す（ステップＳ２７でＮｏ）。
【0073】
死角領域外の位置に検出対象物Ｔが出現した場合（ステップＳ２７でＹｅｓ）、予測装置２０は、所定の終了条件を満たすか否かを判定する（ステップＳ２８）。所定の終了条件を満たさない場合（ステップＳ２８でＮｏ）、ステップＳ２１～ステップＳ２７の処理を繰り返す。例えば、所定の終了条件は、予測装置２０または移動体ＭＢの電源が切られること等を含む。予測装置２０は、所定の終了条件を満たすと（ステップＳ２８でＹｅｓ）、上述した一連の処理を終了する。
【0074】
以上のように、本実施形態の予測装置は、取得部、検出対象物検出部、死角領域検出部、予測部および出力情報生成部を備える。予測部は、検出対象物Ｔが死角領域外の位置に出現する出現時刻を複数予測する。換言すれば、本実施形態の予測装置は、死角領域に進入した検出対象物の位置を予測する。予測部は、さらに、それぞれの出現時刻について、検出対象物が出現する確率である出現確率を設定する。出力情報生成部は、予測結果に応じた制御信号を生成し、生成した制御信号を制御部へ出力する。これにより、本実施形態の予測装置は、移動体が検出対象物と衝突したり、移動体を急制動させたりすることを防ぐ制御信号を生成することができる。換言すれば、本実施形態の予測装置によれば、自動運転の移動体を安全に制御することが可能になる。
【0075】
［第３実施形態］
【0076】
【0077】
図１５に示すように、予測装置３０は、検出対象物検出部３２、死角領域検出部３３、予測部３４、および出力情報生成部３５を備える。
【0078】
検出対象物検出部３２は、移動体ＭＢの前方を撮影した映像から検出された検出対象物Ｔの移動速度を特定する検出対象物検出手段の一例である。
【0079】
死角領域検出部３３は、移動体ＭＢの前方を撮影した映像から死角領域を検出する死角領域検出手段の一例である。
【0080】
予測部３４は、死角領域に進入した検出対象物Ｔの移動速度を用いて、死角領域における検出対象物Ｔの位置を複数予測し、それぞれの位置に検出対象物Ｔが存在する存在確率を設定する予測手段の一例である。検出対象物Ｔの移動速度は、検出対象物検出部３１によって特定される。
【0081】
出力情報生成部３５は、予測結果に応じた出力情報を生成し、生成した出力情報を出力する出力情報生成手段の一例である。
【0082】
（動作）
次に、本開示に係る予測装置３０の動作の一例について、図１６を参照して説明する。
次に、本開示に係る予測装置３０の動作の一例について、図１６を参照して説明する。
【0083】
まず、検出対象物検出部３２は、移動体ＭＢの前方を撮影した映像から検出された検出対象物Ｔの移動速度および移動方向を特定する（ステップＳ３１）。
【0084】
次に、死角領域検出部３３は、移動体ＭＢの前方を撮影した映像から死角領域を検出する（ステップＳ３２）。
【0085】
次に、予測部３４は、死角領域に進入した検出対象物Ｔの移動速度を用いて、死角領域における検出対象物Ｔの位置を複数予測し、それぞれの位置に検出対象物Ｔが存在する存在確率を設定する（ステップＳ３３）。
【0086】
次に、出力情報生成部３５は、予測結果に応じた出力情報を生成し、生成した出力情報を出力する（ステップＳ３４）。
【0087】
本実施形態の予測装置によれば、第１実施形態の予測装置と同様の効果作用を得ることができる。
【0088】
［第４実施形態］
【0089】
【0090】
図１７に示すように、予測装置３０は、検出対象物検出部４２、死角領域検出部４３、予測部４４、および出力情報生成部４５を備える。検出対象物検出部４２、死角領域検出部４３、および出力情報生成部４５は、第３実施形態の検出対象物検出部３２、死角領域検出部３３、および出力情報生成部３５と同一である。
【0091】
予測部４４は、検出対象物Ｔが死角領域の領域外の位置に出現する出現時刻を複数予測する。予測部４４は、それぞれの出現時刻に検出対象物Ｔが出現する出現確率を設定する。
【0092】
（動作）
次に、本開示に係る予測装置４０の動作の一例について、図１８を参照して説明する。
次に、本開示に係る予測装置４０の動作の一例について、図１８を参照して説明する。
【0093】
まず、検出対象物検出部４２は、移動体ＭＢの前方を撮影した映像から検出された検出対象物Ｔの移動速度および移動方向を特定する（ステップＳ４１）。
【0094】
次に、死角領域検出部４３は、移動体ＭＢの前方を撮影した映像から死角領域を検出する（ステップＳ４２）。
【0095】
次に、予測部４４は、死角領域に進入した検出対象物Ｔの移動速度を用いて検出対象物Ｔが死角領域の領域外の位置に出現する出現時刻を複数予測し、それぞれの出現時刻に検出対象物Ｔが出現する出現確率を設定する（ステップＳ４３）。
【0096】
次に、出力情報生成部３５は、予測結果に応じた出力情報を生成し、生成した出力情報を出力する（ステップＳ４４）。
【0097】
本実施形態の予測装置によれば、第２実施形態の予測装置と同様の効果作用を得ることができる。
【0098】
［ハードウェア構成］
以上説明した本開示の各実施形態における各構成要素は、その機能をハードウェア的に実現することは勿論、プログラム制御に基づくコンピュータ装置、ファームウェアによって実現することができる。
以上説明した本開示の各実施形態における各構成要素は、その機能をハードウェア的に実現することは勿論、プログラム制御に基づくコンピュータ装置、ファームウェアによって実現することができる。
【0099】
図１９は、本開示における日程調整装置を、プロセッサを含むコンピュータ装置９０で実現したハードウェア構成の一例を示す図である。各実施形態の画面共有制御装置は、コンピュータ装置９０によって実現される。コンピュータ装置９０は、図１９に示すように、ＣＰＵ（Central Processing Unit）９１、メモリ９２、プログラムを格納するハードディスク等の記憶装置９３、入力装置および出力装置接続用の入出力インタフェース９４、およびネットワーク接続用の通信インタフェース９５を含む。
【0100】
ＣＰＵ９１は、オペレーティングシステムを動作させて、本開示の予測装置を制御する。例えば、ＣＰＵ９１は、ドライブ装置等に装着された記憶媒体からメモリ９２にプログラムやデータを読み出す。また、ＣＰＵ９１は、例えば、本開示の予測装置１０における取得部１１、検出対象物検出部１２、死角領域検出部１３、予測部１４、および出力情報生成部１５の一部として機能し、プログラムに基づいて処理または命令を実行する。
【0101】
記憶装置９３は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、または半導体メモリ等である。記憶装置の一部の記憶媒体は、不揮発性記憶装置であり、そこにプログラムを記録する。また、プログラムは、通信網に接続されている外部コンピュータ（図示せず）からダウンロードされてもよい。
【0102】
入出力インタフェース９４に接続される入力装置は、例えばマウスやキーボード等により実現され、入力操作に用いられる。同様に、入出力インタフェース９４に接続される出力装置は、例えばディスプレイ等によって実現され、出力結果の表示および確認に用いられる。
【0103】
以上、各実施形態を参照して本開示について説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。例えば、複数の動作をフローチャートの形式で順番に記載してあるが、その記載の順番は複数の動作を実行する順番を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の順番は、内容に支障がない範囲で変更することができる。
【0104】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得る。
【0105】
（付記１）
移動体の前方を撮影した映像から検出された検出対象物の移動速度を特定する検出対象物検出手段と、
前記映像から死角領域を検出する死角領域検出手段と、
前記死角領域に進入した前記検出対象物の前記移動速度を用いて、前記死角領域における前記検出対象物の予測位置を複数予測し、それぞれの前記予測位置に前記検出対象物が存在する存在確率を設定する予測手段と、
前記予測手段の予測結果に応じた出力情報を生成し、生成した前記出力情報を出力する出力情報生成手段と
を備える、予測装置。
移動体の前方を撮影した映像から検出された検出対象物の移動速度を特定する検出対象物検出手段と、
前記映像から死角領域を検出する死角領域検出手段と、
前記死角領域に進入した前記検出対象物の前記移動速度を用いて、前記死角領域における前記検出対象物の予測位置を複数予測し、それぞれの前記予測位置に前記検出対象物が存在する存在確率を設定する予測手段と、
前記予測手段の予測結果に応じた出力情報を生成し、生成した前記出力情報を出力する出力情報生成手段と
を備える、予測装置。
【0106】
（付記２）
前記出力情報は、前記死角領域を含む領域を切り出した画像と、前記画像に重畳してそれぞれの前記予測位置に表示されるアイコンとを含み、
前記アイコンは、前記存在確率の高さに応じた表示方法で表示される、付記１に記載の予測装置。
前記出力情報は、前記死角領域を含む領域を切り出した画像と、前記画像に重畳してそれぞれの前記予測位置に表示されるアイコンとを含み、
前記アイコンは、前記存在確率の高さに応じた表示方法で表示される、付記１に記載の予測装置。
【0107】
（付記３）
前記出力情報は、前記存在確率を示す表示情報をさらに含む、付記２に記載の予測装置。
前記出力情報は、前記存在確率を示す表示情報をさらに含む、付記２に記載の予測装置。
【0108】
（付記４）
前記出力情報は、ルート案内の地図と、前記地図に重畳して、前記死角領域から前記検出対象物が出現する可能性のある地点に表示されるアイコンとを含む、付記１に記載の予測装置。
前記出力情報は、ルート案内の地図と、前記地図に重畳して、前記死角領域から前記検出対象物が出現する可能性のある地点に表示されるアイコンとを含む、付記１に記載の予測装置。
【0109】
（付記５）
前記予測手段は、
前記検出対象物が前記死角領域に進入した際の前記移動速度を基準として、前記死角領域内における前記検出対象物の予測進行速度を複数設定し、
前記予測進行速度に応じて、前記予測位置を予測する、付記１に記載の予測装置。
前記予測手段は、
前記検出対象物が前記死角領域に進入した際の前記移動速度を基準として、前記死角領域内における前記検出対象物の予測進行速度を複数設定し、
前記予測進行速度に応じて、前記予測位置を予測する、付記１に記載の予測装置。
【0110】
（付記６）
前記予測手段は、
前記検出対象物が前記死角領域の領域外の位置に出現する出現時刻を複数予測し、
それぞれの前記出現時刻に前記検出対象物が出現する出現確率を設定し、
前記出力情報生成手段は、
前記出力情報として移動体を制御するための制御信号を生成する、付記１に記載の予測装置。
前記予測手段は、
前記検出対象物が前記死角領域の領域外の位置に出現する出現時刻を複数予測し、
それぞれの前記出現時刻に前記検出対象物が出現する出現確率を設定し、
前記出力情報生成手段は、
前記出力情報として移動体を制御するための制御信号を生成する、付記１に記載の予測装置。
【0111】
（付記７）
前記予測手段は、前記死角領域の領域外に位置する前記予測位置に対応する前記存在確率を０に設定する、付記１に記載の予測装置。
前記予測手段は、前記死角領域の領域外に位置する前記予測位置に対応する前記存在確率を０に設定する、付記１に記載の予測装置。
【0112】
（付記８）
付記１乃至７のいずれか一つに記載の予測装置と、
前記移動体の前方を撮影するカメラと
を備える、予測システム。
付記１乃至７のいずれか一つに記載の予測装置と、
前記移動体の前方を撮影するカメラと
を備える、予測システム。
【0113】
（付記９）
コンピュータが、
移動体の前方を撮影した映像から検出された検出対象物の移動速度を特定し、
前記映像から死角領域を検出し、
前記死角領域に進入した前記検出対象物の前記移動速度を用いて、前記死角領域における前記検出対象物の予測位置を複数予測し、
それぞれの前記予測位置に前記検出対象物が存在する存在確率を設定し、
前記予測位置および前記存在確率に応じた出力情報を生成し、
生成した前記出力情報を出力する、予測方法。
コンピュータが、
移動体の前方を撮影した映像から検出された検出対象物の移動速度を特定し、
前記映像から死角領域を検出し、
前記死角領域に進入した前記検出対象物の前記移動速度を用いて、前記死角領域における前記検出対象物の予測位置を複数予測し、
それぞれの前記予測位置に前記検出対象物が存在する存在確率を設定し、
前記予測位置および前記存在確率に応じた出力情報を生成し、
生成した前記出力情報を出力する、予測方法。
【0114】
（付記１０）
前記出力情報は、前記死角領域を含む領域を切り出した画像と、前記画像に重畳してそれぞれの前記予測位置に表示されるアイコンとを含み、
前記アイコンは、前記存在確率の高さに応じた表示方法で表示される、付記９に記載の予測方法。
前記出力情報は、前記死角領域を含む領域を切り出した画像と、前記画像に重畳してそれぞれの前記予測位置に表示されるアイコンとを含み、
前記アイコンは、前記存在確率の高さに応じた表示方法で表示される、付記９に記載の予測方法。
【0115】
（付記１１）
前記出力情報は、前記存在確率を示す表示情報をさらに含む、付記１０に記載の予測方法。
前記出力情報は、前記存在確率を示す表示情報をさらに含む、付記１０に記載の予測方法。
【0116】
（付記１２）
前記出力情報は、ルート案内の地図と、前記地図に重畳して、前記死角領域から前記検出対象物が出現する可能性のある地点に表示されるアイコンとを含む、付記９に記載の予測方法。
前記出力情報は、ルート案内の地図と、前記地図に重畳して、前記死角領域から前記検出対象物が出現する可能性のある地点に表示されるアイコンとを含む、付記９に記載の予測方法。
【0117】
（付記１３）
前記予測において、
コンピュータが、
前記検出対象物が前記死角領域に進入した際の前記移動速度を基準として、前記死角領域内における前記検出対象物の予測進行速度を複数設定し、
前記予測進行速度に応じて、前記予測位置を予測する、付記９に記載の予測方法。
前記予測において、
コンピュータが、
前記検出対象物が前記死角領域に進入した際の前記移動速度を基準として、前記死角領域内における前記検出対象物の予測進行速度を複数設定し、
前記予測進行速度に応じて、前記予測位置を予測する、付記９に記載の予測方法。
【0118】
（付記１４）
前記予測において、
コンピュータが、
前記検出対象物が前記死角領域の領域外の位置に出現する出現時刻を複数予測し、
それぞれの前記出現時刻に前記検出対象物が出現する出現確率を設定し、
前記生成の方法では、前記出力情報として移動体を制御するための制御信号を生成する、付記９に記載の予測方法。
前記予測において、
コンピュータが、
前記検出対象物が前記死角領域の領域外の位置に出現する出現時刻を複数予測し、
それぞれの前記出現時刻に前記検出対象物が出現する出現確率を設定し、
前記生成の方法では、前記出力情報として移動体を制御するための制御信号を生成する、付記９に記載の予測方法。
【0119】
（付記１５）
前記予測において、コンピュータが、前記死角領域の領域外に位置する前記予測位置に対応する前記存在確率を０に設定する、付記９に記載の予測方法。
前記予測において、コンピュータが、前記死角領域の領域外に位置する前記予測位置に対応する前記存在確率を０に設定する、付記９に記載の予測方法。
【0120】
（付記１６）
コンピュータに、
移動体の前方を撮影した映像から検出された検出対象物の移動速度を特定する処理と、
前記映像から死角領域を検出する処理と、
前記死角領域に進入した前記検出対象物の前記移動速度を用いて、前記死角領域における前記検出対象物の予測位置を複数予測し、それぞれの前記予測位置に前記検出対象物が存在する存在確率を設定する処理と、
前記予測位置および前記存在確率に応じた出力情報を生成する処理と、
生成した前記出力情報を出力する処理と、を実行させる、プログラム。
コンピュータに、
移動体の前方を撮影した映像から検出された検出対象物の移動速度を特定する処理と、
前記映像から死角領域を検出する処理と、
前記死角領域に進入した前記検出対象物の前記移動速度を用いて、前記死角領域における前記検出対象物の予測位置を複数予測し、それぞれの前記予測位置に前記検出対象物が存在する存在確率を設定する処理と、
前記予測位置および前記存在確率に応じた出力情報を生成する処理と、
生成した前記出力情報を出力する処理と、を実行させる、プログラム。
【0121】
（付記１７）
前記出力情報は、前記死角領域を含む領域を切り出した画像と、前記画像に重畳してそれぞれの前記予測位置に表示されるアイコンとを含み、
前記アイコンは、前記存在確率の高さに応じた表示方法で表示される、付記１６に記載のプログラム。
前記出力情報は、前記死角領域を含む領域を切り出した画像と、前記画像に重畳してそれぞれの前記予測位置に表示されるアイコンとを含み、
前記アイコンは、前記存在確率の高さに応じた表示方法で表示される、付記１６に記載のプログラム。
【0122】
（付記１８）
前記出力情報は、前記存在確率を示す表示情報をさらに含む、付記１７に記載のプログラム。
前記出力情報は、前記存在確率を示す表示情報をさらに含む、付記１７に記載のプログラム。
【0123】
（付記１９）
前記出力情報は、ルート案内の地図と、前記地図に重畳して、前記死角領域から前記検出対象物が出現する可能性のある地点に表示されるアイコンとを含む、付記１６に記載のプログラム。
前記出力情報は、ルート案内の地図と、前記地図に重畳して、前記死角領域から前記検出対象物が出現する可能性のある地点に表示されるアイコンとを含む、付記１６に記載のプログラム。
【0124】
（付記２０）
前記予測する処理において、
前記検出対象物が前記死角領域に進入した際の前記移動速度を基準として、前記死角領域内における前記検出対象物の予測進行速度を複数設定する処理と、
前記予測進行速度に応じて、前記予測位置を予測する処理と、をコンピュータに実行させる付記１６に記載のプログラム。
前記予測する処理において、
前記検出対象物が前記死角領域に進入した際の前記移動速度を基準として、前記死角領域内における前記検出対象物の予測進行速度を複数設定する処理と、
前記予測進行速度に応じて、前記予測位置を予測する処理と、をコンピュータに実行させる付記１６に記載のプログラム。
【0125】
（付記２１）
前記予測する処理において、
前記検出対象物が前記死角領域の領域外の位置に出現する出現時刻を複数予測する処理と、
それぞれの前記出現時刻に前記検出対象物が出現する出現確率を設定する処理と、
前記生成する処理において、前記出力情報として移動体を制御するための制御信号を生成する処理と、をコンピュータに実行させる付記１６に記載のプログラム。
前記予測する処理において、
前記検出対象物が前記死角領域の領域外の位置に出現する出現時刻を複数予測する処理と、
それぞれの前記出現時刻に前記検出対象物が出現する出現確率を設定する処理と、
前記生成する処理において、前記出力情報として移動体を制御するための制御信号を生成する処理と、をコンピュータに実行させる付記１６に記載のプログラム。
【0126】
（付記２２）
前記予測する処理において、前記死角領域の領域外に位置する前記予測位置に対応する前記存在確率を０に設定する処理をコンピュータに実行させる付記１６に記載のプログラム。
前記予測する処理において、前記死角領域の領域外に位置する前記予測位置に対応する前記存在確率を０に設定する処理をコンピュータに実行させる付記１６に記載のプログラム。
【符号の説明】
【0127】
１、２、３、４ 予測システム
１０、２０、３０、４０ 予測装置
１１、２１ 取得部
１２、２２、３２、４２ 検出対象物検出部
１３、２３、３３、４３ 死角領域検出部
１４、２４、３４、４４ 予測部
１５、２５、３５、４５ 出力情報生成部
５０ 制御部
６０ カメラ
７０ 測距センサ
８０ 表示装置
９０ コンピュータ装置
９１ ＣＰＵ（Central Processing Unit）
９２ メモリ
９３ 記憶装置
９４ 入出力インタフェース
９５ 通信インタフェース
１０、２０、３０、４０ 予測装置
１１、２１ 取得部
１２、２２、３２、４２ 検出対象物検出部
１３、２３、３３、４３ 死角領域検出部
１４、２４、３４、４４ 予測部
１５、２５、３５、４５ 出力情報生成部
５０ 制御部
６０ カメラ
７０ 測距センサ
８０ 表示装置
９０ コンピュータ装置
９１ ＣＰＵ（Central Processing Unit）
９２ メモリ
９３ 記憶装置
９４ 入出力インタフェース
９５ 通信インタフェース
【要約】
【課題】死角領域に進入した検出対象物の位置を予測する。
【解決手段】予測装置は、検出対象物検出部、死角領域検出部、予測部、および出力情報生成部を備える。検出対象物検出部は、移動体の前方を撮影した映像から検出された検出対象物の移動速度を特定する。死角領域検出部は、移動体の前方を撮影した映像から死角領域を検出する。予測部は、死角領域に進入した検出対象物の移動速度を用いて、死角領域における検出対象物の予測位置を複数予測し、それぞれの予測位置に検出対象物が存在する存在確率を設定する。出力情報生成部は、予測部の予測結果に応じた出力情報を生成し、生成した出力情報を出力する。
【選択図】 図１５
【解決手段】予測装置は、検出対象物検出部、死角領域検出部、予測部、および出力情報生成部を備える。検出対象物検出部は、移動体の前方を撮影した映像から検出された検出対象物の移動速度を特定する。死角領域検出部は、移動体の前方を撮影した映像から死角領域を検出する。予測部は、死角領域に進入した検出対象物の移動速度を用いて、死角領域における検出対象物の予測位置を複数予測し、それぞれの予測位置に検出対象物が存在する存在確率を設定する。出力情報生成部は、予測部の予測結果に応じた出力情報を生成し、生成した出力情報を出力する。
【選択図】 図１５
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】