ホーム > 特許ランキング > ソフトバンク株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024007608
(43)【公開日】2024-01-19
(54)【発明の名称】車両、サーバ及び車両制御方法
(51)【国際特許分類】
G08G 1/16 20060101AFI20240112BHJP
G08G 1/09 20060101ALI20240112BHJP
G01C 21/34 20060101ALI20240112BHJP
H04N 7/18 20060101ALI20240112BHJP
G16Y 10/40 20200101ALI20240112BHJP
G16Y 40/10 20200101ALI20240112BHJP
【ＦＩ】
G08G1/16 A
G08G1/09 F
G01C21/34
H04N7/18 J
G16Y10/40
G16Y40/10
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022108780
(22)【出願日】2022-07-06
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】榎本 光洋
(72)【発明者】
【氏名】高橋 康宏
(72)【発明者】
【氏名】宇野 淳
【テーマコード（参考）】
2F129
5C054
5H181
【Ｆターム（参考）】
2F129AA02
2F129AA03
2F129BB03
2F129BB20
2F129BB21
2F129CC03
2F129EE17
2F129EE43
2F129EE52
2F129EE65
2F129EE67
2F129EE78
2F129EE82
2F129EE85
2F129FF02
2F129FF20
2F129FF26
2F129FF32
2F129FF57
2F129FF62
2F129FF66
2F129FF73
2F129FF75
2F129GG09
2F129GG11
2F129GG17
2F129GG18
2F129HH02
2F129HH04
2F129HH12
5C054CA04
5C054CC02
5C054FC01
5C054FE28
5C054HA30
5H181AA01
5H181AA22
5H181BB04
5H181BB15
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181FF04
5H181FF13
5H181FF33
5H181LL01
5H181LL07
5H181LL08
5H181LL09
5H181MC19
(57)【要約】
【課題】複数の異なるセンサによる複数の認識結果を互いに比較することなく、動的物体を迅速に検出すること。
【解決手段】
センサを有する車両は、所定タイミングにおける前記車両の位置及び進行方向に関する情報を、デジタルツインサーバに対して送信する送信部と、前記位置及び前記進行方向に関する情報に基づいて生成される、前記所定タイミングより後の一つ又は複数のタイミングにおいて前記センサによる取得が予測される一つ又は複数の予測情報を、前記デジタルツインサーバから受信する受信部と、前記センサにより検出された検出情報を取得する取得部と、前記予測情報の少なくとも一つと前記検出情報との比較結果に基づいて、前記車両の進行方向に存在する動的物体を検出する制御部と、を備える。
【選択図】図２
【解決手段】
センサを有する車両は、所定タイミングにおける前記車両の位置及び進行方向に関する情報を、デジタルツインサーバに対して送信する送信部と、前記位置及び前記進行方向に関する情報に基づいて生成される、前記所定タイミングより後の一つ又は複数のタイミングにおいて前記センサによる取得が予測される一つ又は複数の予測情報を、前記デジタルツインサーバから受信する受信部と、前記センサにより検出された検出情報を取得する取得部と、前記予測情報の少なくとも一つと前記検出情報との比較結果に基づいて、前記車両の進行方向に存在する動的物体を検出する制御部と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
センサを有する車両であって、
所定タイミングにおける前記車両の位置及び進行方向に関する情報を、サーバに対して送信する送信部と、
前記位置及び前記進行方向に関する情報に基づいて生成される、前記所定タイミングより後の一つ又は複数のタイミングにおいて前記センサによる取得が予測される一つ又は複数の予測情報を、前記サーバから受信する受信部と、
前記予測情報の少なくとも一つと前記センサにより取得された情報との比較結果に基づいて、前記車両の進行方向に存在する動的物体を検出する制御部と、
を備える車両。
所定タイミングにおける前記車両の位置及び進行方向に関する情報を、サーバに対して送信する送信部と、
前記位置及び前記進行方向に関する情報に基づいて生成される、前記所定タイミングより後の一つ又は複数のタイミングにおいて前記センサによる取得が予測される一つ又は複数の予測情報を、前記サーバから受信する受信部と、
前記予測情報の少なくとも一つと前記センサにより取得された情報との比較結果に基づいて、前記車両の進行方向に存在する動的物体を検出する制御部と、
を備える車両。
【請求項2】
前記送信部は、前記車両の経路及び／又は速度に関する情報を、前記サーバに送信し、
前記受信部は、前記経路及び／又は前記速度に関する情報に基づいて生成された前記予測情報を、前記サーバから受信する、
請求項１記載の車両。
前記受信部は、前記経路及び／又は前記速度に関する情報に基づいて生成された前記予測情報を、前記サーバから受信する、
請求項１記載の車両。
【請求項3】
前記センサは、第１センサ及び第２センサを含み、
前記予測情報は、前記一つ又は複数のタイミングにおいて前記第１センサによる取得が予測される一つ又は複数の第１予測情報と、前記一つ又は複数のタイミングにおいて前記第２センサによる取得が予測される一つ又は複数の第２予測情報と、を含み、
前記センサによって取得された前記情報は、前記第１センサにより取得された第１情報と前記第２センサにより取得された第２情報と、を含み、
前記制御部は、前記第１予測情報の少なくとも一つと前記第１情報との比較結果が所定の条件を満たす場合、前記動的物体を検出する、
請求項１又は請求項２記載の車両。
前記予測情報は、前記一つ又は複数のタイミングにおいて前記第１センサによる取得が予測される一つ又は複数の第１予測情報と、前記一つ又は複数のタイミングにおいて前記第２センサによる取得が予測される一つ又は複数の第２予測情報と、を含み、
前記センサによって取得された前記情報は、前記第１センサにより取得された第１情報と前記第２センサにより取得された第２情報と、を含み、
前記制御部は、前記第１予測情報の少なくとも一つと前記第１情報との比較結果が所定の条件を満たす場合、前記動的物体を検出する、
請求項１又は請求項２記載の車両。
【請求項4】
前記制御部は、前記第１予測情報の少なくとも一つと前記第１情報との比較結果が所定の条件を満たさない場合、前記第２予測情報の少なくとも一つと前記第２情報との比較結果に基づいて、前記動的物体を検出する、
請求項３記載の車両。
請求項３記載の車両。
【請求項5】
前記第１センサはカメラであり、前記第１予測情報は前記カメラにより取得が予測される一つ又は複数の予測画像に関し、前記第１情報は前記カメラにより撮像された撮像画像に関し、
前記第２予測情報は前記第２センサにより取得が予測される一つ又は複数の深度に関し、前記第２情報は前記第２センサによる検出された深度に関する、
請求項４に記載の車両。
前記第２予測情報は前記第２センサにより取得が予測される一つ又は複数の深度に関し、前記第２情報は前記第２センサによる検出された深度に関する、
請求項４に記載の車両。
【請求項6】
前記制御部は、前記動的物体が検出された場合、前記動的物体が検出されたことを示す情報を前記車両内で音声出力又は表示させる、又は、前記動的物体が検出されたことを示す情報を自動運転プログラムに入力させる、
請求項１に記載の車両。
請求項１に記載の車両。
【請求項7】
センサを有する車両とネットワークを介して通信するサーバであって、
所定タイミングにおける前記車両の位置及び進行方向に関する情報を、前記車両から受信する受信部と、
前記位置及び前記進行方向に関する情報に基づいて、前記所定タイミングより後の一つ又は複数のタイミングにおいて前記センサによる取得が予測される一つ又は複数の予測情報を生成する生成部と、
前記予測情報を前記車両に対して送信する送信部と、を備え、
前記予測情報の少なくとも一つは、前記センサにより取得された情報と比較され、前記車両の進行方向に存在する動的物体の検出に用いられる、
を備えるサーバ。
所定タイミングにおける前記車両の位置及び進行方向に関する情報を、前記車両から受信する受信部と、
前記位置及び前記進行方向に関する情報に基づいて、前記所定タイミングより後の一つ又は複数のタイミングにおいて前記センサによる取得が予測される一つ又は複数の予測情報を生成する生成部と、
前記予測情報を前記車両に対して送信する送信部と、を備え、
前記予測情報の少なくとも一つは、前記センサにより取得された情報と比較され、前記車両の進行方向に存在する動的物体の検出に用いられる、
を備えるサーバ。
【請求項8】
センサを有する車両を制御する車両制御方法であって、
所定タイミングにおける前記車両の位置及び進行方向に関する情報を、サーバに対して送信する工程と、
前記位置及び前記進行方向に関する情報に基づいて生成される、前記所定タイミングより後の一つ又は複数のタイミングにおいて前記センサによる取得が予測される一つ又は複数の予測情報を、前記サーバから受信する工程と、
前記予測情報の少なくとも一つと前記センサにより取得された情報との比較結果に基づいて、前記車両の進行方向に存在する動的物体を検出する工程と、
を有する車両制御方法。
所定タイミングにおける前記車両の位置及び進行方向に関する情報を、サーバに対して送信する工程と、
前記位置及び前記進行方向に関する情報に基づいて生成される、前記所定タイミングより後の一つ又は複数のタイミングにおいて前記センサによる取得が予測される一つ又は複数の予測情報を、前記サーバから受信する工程と、
前記予測情報の少なくとも一つと前記センサにより取得された情報との比較結果に基づいて、前記車両の進行方向に存在する動的物体を検出する工程と、
を有する車両制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両、サーバ及び車両制御方法に関する。
【背景技術】
【0002】
従来、車両に搭載されたセンサ（例えば、カメラ）により取得された情報（例えば、撮像画像）に基づいて歩行者等の物体を認識する技術が知られている。例えば、特許文献１には、車両に搭載されたカメラにより撮像された車両側画像と、インフラ側に設けられた路側カメラにより撮像及び補正された路側画像と、の比較に基づいて、障害物を認識する障害物認識システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－２３６０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の技術によれば、障害物の存在を車両に通知するためには、複数の異なるカメラでそれぞれ撮像された車両側画像と路側画像とを比較し、それらの被写体が同一の障害物であるか否かを判定するステップが必要となる。
【0005】
本開示は、複数の異なるセンサによる複数の認識結果を互いに比較することなく、動的物体を迅速に検出することを目的の一つとする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る車両は、センサを有する車両であって、所定タイミングにおける前記車両の位置及び進行方向に関する情報を、サーバに対して送信する送信部と、前記位置及び前記進行方向に関する情報に基づいて生成される、前記所定タイミングより後の一つ又は複数のタイミングにおいて前記センサによる取得が予測される一つ又は複数の予測情報を、前記サーバから受信する受信部と、前記予測情報の少なくとも一つと前記センサにより取得された情報との比較結果に基づいて、前記車両の進行方向に存在する動的物体を検出する制御部と、を備える。
【0007】
本開示の他の態様に係るサーバは、センサを有する車両とネットワークを介して通信するサーバであって、所定タイミングにおける前記車両の位置及び進行方向に関する情報を、前記車両から受信する受信部と、前記位置及び前記進行方向に関する情報に基づいて、前記所定タイミングより後の一つ又は複数のタイミングにおいて前記センサによる取得が予測される一つ又は複数の予測情報を生成する生成部と、前記予測情報を前記車両に対して送信する送信部と、を備え、前記予測情報の少なくとも一つは、前記センサにより取得された情報と比較され、前記車両の進行方向に存在する動的物体の検出に用いられる。
【発明の効果】
【0008】
本開示によれば、複数の異なるセンサによる複数の認識結果を互いに比較することなく、車両の進行方向に存在する動的物体を迅速に検出できる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
（概要）
図１（Ａ）及び（Ｂ）は、物体認識の一例を示す図である。図１（Ａ）及び（Ｂ）では、それぞれ、車両１０に搭載されたセンサにより取得された情報（以下、「センサ情報」という）としての画像（例えば、カメラにより撮像された画像、以下、「撮像画像」という）ＤＩＡ及びＤＩＢが示される。
図１（Ａ）及び（Ｂ）は、物体認識の一例を示す図である。図１（Ａ）及び（Ｂ）では、それぞれ、車両１０に搭載されたセンサにより取得された情報（以下、「センサ情報」という）としての画像（例えば、カメラにより撮像された画像、以下、「撮像画像」という）ＤＩＡ及びＤＩＢが示される。
【0011】
図１（Ａ）では、車両１０の進行方向に動的物体ＭＯ（例えば、子供）が存在するが、画角Ａ内の動的物体ＭＯの特徴部分（例えば、顔や胴体等）が壁Ｗ１により遮られるため、画角Ａの撮像画像ＤＩＡから動的物体ＭＯの特徴部分を認識することができない。一方、図１（Ｂ）では、車両１０の進行方向に動的物体ＭＯは存在しないが、壁Ｗ２に描かれた静的物体ＳＯの一部が画角Ａに入るため、画角Ａの撮像画像ＤＩＢは、撮像画像ＤＩＡと同等の画像として判断されてしまう。
【0012】
このように、図１（Ａ）に示される撮像画像ＤＩＡに基づいて画像認識（例えば、ＤＮＮ（Deep Neural Network））や肉眼により動的物体ＭＯを検出しようとしても、動的物体ＭＯの全ての特徴部分がセンサに対しオクルージョンしている場合、撮像画像ＤＩＡから動的物体ＭＯを検出することは困難である。しかしながら、動的物体ＭＯの特徴部分の露出を待ってから車両１０を制御する場合、例えば、当該車両１０と当該動的物体ＭＯとの衝突を回避できないなど、当該車両１０を適切に制御できない恐れがある。
【0013】
ところで、近年、デジタルツインを用いた車両１０の制御が知られている。デジタルツインとは、現実空間Ｒに存在する車両１０の動作を、仮想空間Ｖにおいてシミュレーションすることである。デジタルツインでは、現実空間Ｒにおける車両１０のセンサの画角Ａを、車両１０に対応する仮想車両１０Ｖの画角Ａとして仮想空間Ｖにおいて再現することも可能である。
【0014】
【0015】
図２に示すように、車両１０は、タイミングＴにおいて検出された車両１０の位置に関する情報（以下、「位置情報」という）及び車両１０の進行方向に関する情報（以下、「方向情報」という）を、サーバ２０に対して送信する。位置情報は、例えば、ＧＰＳ（Global Positioning System）センサによって検出される情報であってもよいし、自己位置推定によって得られる情報であっても良い。また、車両１０は、車両１０の速度に関する情報（以下、「速度情報」という）及び／又は車両１０の経路に関する情報（以下、「経路情報」という）を、サーバ２０に対して送信してもよい。また、車両１０は、仮想空間Ｖの形成に用いられる種々の情報をサーバ２０に対して送信してもよい。
【0016】
サーバ２０は、車両１０から受信した位置情報及び方向情報に基づいて、タイミングＴより後の一つ又は複数のタイミングＴ＋ｎ（ｎ＞０）において車両１０のセンサによって検出されると予測される一つ又は複数の画像（以下、「予測画像」という）ＰＩを生成する。例えば、サーバ２０は、仮想空間Ｖ上の仮想車両１０ＶのセンサのタイミングＴ＋ｎ（ｎ＞０）の画角ＡＶを予測し、予測された画角ＡＶに対応する一つ又は複数の予測画像ＰＩを生成してもよい。サーバ２０は、生成された予測画像ＰＩを車両１０に送信する。
【0017】
車両１０は、サーバ２０から受信された予測画像ＰＩの少なくとも一つと、タイミングＴ＋ｎにおける撮像画像ＤＩとを比較し、比較結果に基づいて、車両１０の進行方向に存在する動的物体ＭＯを検出する。具体的には、車両１０は、予測画像ＰＩの少なくとも一つと撮像画像ＤＩとの差分が所定の閾値を超える（又は、所定の閾値以上である）場合、動的物体ＭＯを検出してもよい。例えば、図２では、タイミングＴ＋ｎにおける撮像画像ＤＩと予測画像ＰＩとの差分が所定の閾値を超えるので、車両１０は、当該差分（例えば、図２では、黒点群）を動的物体ＭＯとして検出する。
【0018】
図２に示すように、仮想空間Ｖには、仮想車両１０Ｖの進行方向に存在する静的物体（例えば、壁Ｗ１及びＷ２）が少なくとも再現される。このため、仮想空間Ｖの情報に基づいて生成される予測画像ＰＩから、タイミングＴ＋ｎにおいて現実空間Ｒの車両１０の進行方向に存在すると予測される静的物体を検出できる。仮想空間Ｖの情報に基づく予測画像ＰＩで少なくとも静的物体が検出されるとすると、予測画像ＰＩと対応するタイミングＴ＋ｎの撮像画像ＤＩにおいて、静的物体を除いた差分を動的物体ＭＯとして仮定できる。
【0019】
このように、本実施形態に係る車両制御システム１では、タイミングＴ＋ｎにおいて検出されるべき静的物体が撮像画像ＤＩから予測画像ＰＩと同程度に認識されないこと、即ち、撮像画像ＤＩと予測画像ＰＩとの間で、所定の範囲以上の領域で周辺のピクセル値の差が閾値以上又は閾値より大きいことをトリガーに、動的物体ＭＯの存在を仮定できる。動的物体ＭＯが存在すると仮定される場合、撮像画像ＤＩから動的物体ＭＯの特徴部分が認識可能となる前であっても動的物体ＭＯを検出できる。この結果、動的物体ＭＯと車両１０との衝突等を早期に回避するなど、車両１０を適切に制御することが可能となる。
【0020】
以下、本実施形態に係る車両制御システム１では、車両１０に搭載されたセンサにより取得されたセンサ情報がカメラにより撮像された撮像画像ＤＩである場合を想定するが、センサ情報は画像に限られず、センサにより取得されたどのような情報であってもよい。例えば、当該センサ情報は、例えば、ＬｉＤＡＲ（Light Detection And Ranging又はLaser Imaging Detection And Ranging）センサによって取得される深度に関する情報等であってもよい。また、以下では、予測情報が予測画像ＰＩである場合を想定するが、予測情報は画像に限られず、どのようなセンサにより取得された情報及び取得が予測される情報であってもよい。
【0021】
また、本実施形態に係る車両制御システム１は、デジタルツインクライアントとしての車両１０と、デジタルツインサーバとしてのサーバ２０を含み、デジタルツインサーバで形成される仮想空間Ｖを用いて予測画像ＰＩが生成されるものとするが、これに限られない。本実施形態に係る予測画像ＰＩは、仮想空間Ｖを用いずに予測される画像であってもよい。
【0022】
（構成）
＜物理構成＞
図３は、本実施形態に係る車両の物理構成の一例を示す図である。図３に示すように、車両１０は、プロセッサ１０ａ、メモリ１０ｂ、一つ又は複数のセンサのセット（以下、「センサセット」という）１０ｃ、通信ユニット１０ｄ、電子制御ユニット（Electronic Control Unit、以下、「ＥＣＵ」という）１０ｅ、入出力デバイス１０ｆを含む。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図３で示す構成は一例であり、車両１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。また、少なくとも二つの構成が一体化されてもよい。
＜物理構成＞
図３は、本実施形態に係る車両の物理構成の一例を示す図である。図３に示すように、車両１０は、プロセッサ１０ａ、メモリ１０ｂ、一つ又は複数のセンサのセット（以下、「センサセット」という）１０ｃ、通信ユニット１０ｄ、電子制御ユニット（Electronic Control Unit、以下、「ＥＣＵ」という）１０ｅ、入出力デバイス１０ｆを含む。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図３で示す構成は一例であり、車両１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。また、少なくとも二つの構成が一体化されてもよい。
【0023】
プロセッサ１０ａは、例えば、ＣＰＵ（Central Processing Unit）である。プロセッサ１０ａは、メモリ１０ｂに記憶されているプログラムを実行することにより、車両１０における各種処理を制御する制御部である。プロセッサ１０ａは、他の構成と、プログラムとの協働により、種々の機能を実現し、処理の実行を制御する。プログラムは、メモリ１０ｂに記憶されていてもよいし、通信ユニット１０ｄを介して他の装置から提供されてもよい。なお、プロセッサ１０ａが実行するプログラムにより、デジタルツインクライアントとしての動作や、ＡＤＡＳ（Advanced Driver-Assistance Systems）の動作が実現されてもよい。
【0024】
メモリ１０ｂは、例えば、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等、各種処理に必要なデータ及び処理結果のデータを記憶する記憶部である。メモリ１０ｂは、例えば、半導体記憶素子で構成されてもよい。また、車両１０は、メモリ１０ｂ以外に、ハードディスクドライブ等の大容量の記憶部を備えてもよい。
【0025】
センサセット１０ｃは、一つ又は複数のセンサを含む。例えば、センサセット１０ｃは、カメラ（例えば、２次元カメラ又は３次元カメラ）、ＬｉＤＡＲ（Light Detection And Ranging又はLaser Imaging Detection And Ranging）センサ、超音波センサ、レーダーセンサ、ＧＰＳ（Global Positioning System）センサ、及び、速度センサ等の少なくとも一つを含んでもよい。
【0026】
通信ユニット１０ｄは、車両１０がネットワークを介してサーバ２０と通信するための送信部及び／又は受信部である。通信ユニット１０ｄは、例えば、ＴＣＵ（Telematics Control Unit）と呼ばれてもよい。
【0027】
ＥＣＵ１０ｅは、車両１０の各機能を制御する制御装置であり、例えば、エンジン制御用のＥＣＵ、ブレーキ制御用のＥＣＵ、ステアリング制御用のＥＣＵ、カーナビゲーション用のＥＣＵ、マルチメディア用のＥＣＵ等であってもよい。
【0028】
入出力デバイス１０ｆは、ユーザからデータや音声の入力又は出力を受け付けるためのデバイスや、情報を入力するためのデバイスや、プロセッサ１０ａによる制御に従って、情報を表示するデバイス等である。入出力デバイス１０ｆは、例えば、キーボード、タッチパネル、マイク、スピーカー、ＬＣＤ（Liquid Crystal Display）等の少なくとも一つを含んでよい。
【0029】
図４は、本実施形態に係るサーバの物理構成の一例を示す図である。図４に示すように、サーバ２０は、プロセッサ２０ａ、メモリ２０ｂ、通信ユニット２０ｃ、入出力デバイス２０ｄを含む。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図４で示す構成は一例であり、車両１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。また、少なくとも二つの構成が一体化されてもよい。図４では、図３との相違点を中心に説明する。
【0030】
プロセッサ２０ａは、メモリ２０ｂに記憶されているプログラムを実行することにより、サーバ２０における各種処理を制御する制御部である。プロセッサ２０ａが実行するプログラムにより、デジタルツインサーバとしての動作や、ＡＤＡＳの動作が実現されてもよい。メモリ２０ｂ、通信ユニット２０ｃ及び入出力デバイス２０ｄは、メモリ１０ｂ、通信ユニット１０ｄ及び入出力デバイス１０ｆと同様であるため、説明を省略する。
【0031】
＜機能構成＞
図５は、本実施形態に係る車両１０及びサーバ２０の機能構成の一例を示す図である。図５に示すように、車両１０は、取得部１０１、送信部１０２、受信部１０３及び制御部１０４を備える。なお、取得部１０１及び制御部１０４は、例えば、プロセッサ１０ａ及び／又はＥＣＵ１０ｅによって構成されてもよい。送信部１０２及び受信部１０３は通信ユニット１０ｄによって構成されてもよい。
図５は、本実施形態に係る車両１０及びサーバ２０の機能構成の一例を示す図である。図５に示すように、車両１０は、取得部１０１、送信部１０２、受信部１０３及び制御部１０４を備える。なお、取得部１０１及び制御部１０４は、例えば、プロセッサ１０ａ及び／又はＥＣＵ１０ｅによって構成されてもよい。送信部１０２及び受信部１０３は通信ユニット１０ｄによって構成されてもよい。
【0032】
取得部１０１は、センサセット１０ｃにおいて検出された種々の情報を取得する。具体的には、取得部１０１は、タイミングＴにおける車両１０の位置情報及び方向情報を取得する。また、取得部１０１は、車両１０の経路情報及び／又は速度情報を取得してもよい。また、取得部１０１は、デジタルツインサーバとしてのサーバ２０における仮想空間Ｖの形成に用いられる情報を取得してもよい。なお、タイミングＴは、所定周期のタイミングであってもよい。
【0033】
また、取得部１０１は、センサセット１０ｃに含まれるカメラにより検出された撮像画像ＤＩを取得する。当該撮像画像ＤＩは、例えば、カラー画像、モノクロ画像、グレースケール画像又は二値画像等であってもよい。また、当該撮像画像ＤＩは、２次元画像に限られず、深度に関する情報（以下、「深度情報」という）を含む３次元画像であってもよい。
【0034】
送信部１０２は、タイミングＴにおける車両１０の位置情報及び方向情報をサーバ２０に対して送信する。また、送信部１０２は、タイミングＴにおける車両１０の経路情報及び／又は速度情報をサーバ２０に対して送信してもよい。また、送信部１０２は、デジタルツインサーバとしてのサーバ２０に対して、仮想空間Ｖの形成に用いられる情報を送信してもよい。
【0035】
受信部１０３は、送信部１０２によって送信された位置情報及び方向情報に基づいて生成される、タイミングＴよりも後の一つ又は複数のタイミングＴ＋ｎ（ｎ＞０）においてカメラによる取得が予測される一つ又は複数の予測画像ＰＩを、サーバ２０から受信する。予測画像ＰＩは、撮像画像ＤＩに対応する精度であればよく、当該予測画像ＰＩは、例えば、カラー画像、モノクロ画像、グレースケール画像又は二値画像等であってもよい。また、予測画像ＰＩは、２次元画像に限られず、深度情報を含む３次元画像であってもよい。また、当該予測画像ＰＩは、送信部１０２によって送信された位置情報及び方向情報と、経路情報及び／又は速度情報とに基づいて生成されてもよい。
【0036】
制御部１０４は、取得部１０１によって取得された撮像画像ＤＩと、受信部１０３によって受信される少なくとも一つの予測画像ＰＩと、の比較結果に基づいて、車両１０の進行方向に存在する動的物体ＭＯを検出する。具体的には、制御部１０４は、撮像画像ＤＩと少なくとも一つの予測画像ＰＩとの比較結果が所定の条件を満たす場合に、動的物体ＭＯを検出してもよい。当該所定の条件は、例えば、撮像画像ＤＩと少なくとも一つの予測画像ＰＩとの差分が所定の閾値を超えること（又は、当該差分が所定の閾値以上であること）であってもよい。なお、撮像画像ＤＩと予測画像ＰＩとの比較は、車両が両者を取得又は受信したタイミング以降に行ってよく、一例として、予測画像ＰＩの受信後に撮像画像ＤＩを取得し、撮像画像ＤＩを取得したタイミングで比較を行ってよい。
【0037】
また、制御部１０４は、動的物体ＭＯの検出結果に応じて、車両１０の動作を制御してもよい。例えば、制御部１０４は、動的物体ＭＯが検出された場合、ＥＣＵ１０ｅを用いて動的物体ＭＯとの衝突を回避するように動作させてもよい。
【0038】
また、制御部１０４は、動的物体ＭＯが検出された場合、動的物体ＭＯが検出されたことを示す情報（以下、「動的物体検出情報」という）を車両１０内で音声出力又は表示させてもよい。また、制御部１０４は、当該動的物体検出情報を、自動運転プログラムに入力させてもよい。
【0039】
また、制御部１０４は、センサセット１０ｃに含まれるどのセンサが取得した情報に基づいて動的物体ＭＯが検出されたかによって、当該動的物体検出情報の内容を変更してもよい。例えば、カメラによる撮像画像ＤＩに基づいて動的物体ＭＯが検出された場合には、制御部１０４は、当該動的物体検出情報として、「前方に人がいる可能性があります」という音声を出力させたり、「前方に人がいる可能性があります」という文字や画像を表示させたり、又は、自動運転プログラムに入力させてもよい。また、Ｌｉｄａｒセンサによって取得された情報に基づいて動的物体ＭＯが検出された場合には、制御部１０４は、例えば、「５ｍ先に人がいる可能性があります」等、動的物体ＭＯとの間の距離を示す情報を含む動的物体検出情報を、音声出力、表示又は自動運転プログラムに入力させてもよい。これにより、運転者または自動運転車両に対して、動的物体との衝突を避けるように走行することを促すことができる。
【0040】
サーバ２０は、受信部２０１、制御部２０２、生成部２０３及び送信部２０４を備える。なお、受信部２０１及び送信部２０４は、通信ユニット２０ｃによって構成されてもよい。制御部２０２及び生成部２０３は、プロセッサ２０ａによって構成されてもよい。
【0041】
受信部２０１は、所定タイミングＴにおける車両１０の位置情報及び方向情報を車両１０から受信する。また、受信部２０１は、タイミングＴにおける車両１０の経路情報及び／又は速度情報を車両１０から受信してもよい。また、受信部２０１は、デジタルツインクライアントとしての車両１０から、仮想空間Ｖの形成に用いられる情報を受信してもよい。
【0042】
制御部２０２は、サーバ２０に関する種々の制御を行う。具体的には、受信部２０１で受信された情報に基づいて、車両１０に対応する仮想車両１０Ｖが動作する仮想空間Ｖを形成する。また、制御部２０２は、生成部２０３による予測画像ＰＩの生成を制御する。また、制御部２０２は、デジタルツインサーバとしての種々の制御を行ってもよい。
【0043】
生成部２０３は、受信部２０１で受信された位置情報及び方向情報に基づいて、タイミングＴより後の一つ又は複数のタイミングＴ＋ｎ（ｎ＞０）において、車両１０のカメラによる取得が予測される一つ又は複数の予測画像ＰＩを生成する。また、生成部２０３は、当該位置情報及び方向情報に加えて、車両１０の経路情報及び／又は速度情報に基づいて、一つ又は複数のタイミングＴ＋ｎに対応する一つ又は複数の予測画像ＰＩを生成してもよい。
【0044】
送信部２０４は、生成部２０３によって生成された一つ又は複数の予測画像ＰＩを車両１０に対して送信する。
【0045】
【0046】
ステップＳ１０１において、車両１０は、タイミングＴにおける位置情報及び方向情報をサーバ２０に対して送信する。車両１０は、タイミングＴにおける経路情報及び／又は速度情報をサーバ２０に対して送信してもよい。
【0047】
ステップＳ１０２において、車両１０は、ステップＳ１０１で送信された位置情報及び方向情報に基づいて生成される、タイミングＴ＋ｎ（ｎ＞０）において車両１０のカメラによる取得が予測される一つ又は複数の予測画像ＰＩを、サーバ２０から受信する。なお、当該一つ又は複数の予測画像ＰＩは、位置情報及び方向情報と、経路情報及び／又は速度情報とに基づいて生成されてもよい。
【0048】
ステップＳ１０３において、車両１０は、車両１０のカメラにより検出された撮像画像ＤＩを取得する。
【0049】
ステップＳ１０４において、車両１０は、ステップＳ１０３で取得された撮像画像ＤＩとステップＳ１０２で検出された少なくとも一つの予測画像ＰＩとを比較し、比較結果が所定の条件を満たすか否かを判定する。撮像画像ＤＩと予測画像ＰＩとの比較結果が所定の条件を満たさない場合（ステップＳ１０４；ＮＯ）、本動作はステップＳ１０１に戻る。当該所定の条件は、例えば、撮像画像ＤＩと少なくとも一つの予測画像ＰＩとの差分が所定の閾値を超えること（又は、当該差分が所定の閾値以上であること）であってもよい。
【0050】
撮像画像ＤＩと予測画像ＰＩとの比較結果が所定の条件を満たす場合（ステップＳ１０４；ＹＥＳ）、ステップＳ１０５において、車両１０は、動的物体ＭＯを検出する。例えば、図２では、撮像画像ＤＩと予測画像ＰＩとの差分が所定の閾値を超える（又は所定の閾値以上である）ので、車両１０は動的物体ＭＯを検出してもよい。
【0051】
以上のように、本実施形態に係る車両制御システム１によれば、車両１０は撮像画像ＤＩと予測画像ＰＩとの比較結果に基づいて動的物体ＭＯを検出するので、撮像画像ＤＩから物体の特徴部分が認識可能となる前に動的物体ＭＯを検出でき、車両１０をフェールセーフに動作させることができる。
【0052】
（変形例）
次に、本実施形態に係る車両制御システム１の変形例について説明する。なお、変形例では上記実施形態との相違点を中心に説明する。上記実施形態で説明したように、車両１０は、撮像画像ＤＩと予測画像ＰＩとを比較するだけでは、動的物体ＭＯの検出に失敗する場合も想定される。
次に、本実施形態に係る車両制御システム１の変形例について説明する。なお、変形例では上記実施形態との相違点を中心に説明する。上記実施形態で説明したように、車両１０は、撮像画像ＤＩと予測画像ＰＩとを比較するだけでは、動的物体ＭＯの検出に失敗する場合も想定される。
【0053】
図７は、本実施形態に係る動的物体ＭＯの検出の失敗の一例を示す図である。図７に示すように、壁Ｗ２に静的物体ＳＯが描かれている状態が示される。図７では、サーバ２０で生成される予測画像ＰＩと、車両１０のカメラの検出結果に基づいて生成される撮像画像ＤＩとを比較しても、十分な差分がなく、動的物体ＭＯを検出できない恐れがある。
【0054】
そこで、変形例では、第１センサ（例えば、カメラ）により取得された第１情報（以下、「第１センサ情報」という、例えば、撮像画像ＤＩ）と第１センサによる取得が予測される第１予測情報（例えば、予測画像ＰＩ）だけでなく、第２センサ（例えば、ＬｉＤＡＲセンサ、深度センサ等）により取得された第２情報（以下、「第２センサ情報」という、例えば、深度情報）と第２センサによる取得が予測される第２予測情報（例えば、深度情報）に基づいて、動的物体ＭＯを検出する。
【0055】
以下、本実施形態に係る車両制御システム１では、第１センサ情報及び第１予測情報がそれぞれ撮像画像ＤＩ及び予測画像ＰＩである場合を想定するが、第１センサ情報及び第１予測情報はそれぞれ画像に限られず、どのようなセンサにより取得された情報及び取得が予測される情報であってもよい。また、第２センサ情報及び第２予測情報はそれぞれ、車両１０に搭載されたＬｉＤＡＲセンサにより取得された深度情報（以下、「検出深度情報」という）及び当該ＬｉＤＡＲセンサにより取得が予測される深度情報（以下、「予測深度情報」という）であるものとするが、それぞれ深度情報に限られず、どのようなセンサにより取得された情報及び取得が予測される情報であってもよい。
【0056】
＜変形例に係る構成＞
変形例に係る車両１０及びサーバ２０の物理構成は、上記図３及び４で説明した通りである。変形例に係る車両１０及びサーバ２０の機能構成について、上記図５との相違点を中心に以下に説明する。
変形例に係る車両１０及びサーバ２０の物理構成は、上記図３及び４で説明した通りである。変形例に係る車両１０及びサーバ２０の機能構成について、上記図５との相違点を中心に以下に説明する。
【0057】
車両１０の取得部１０１は、撮像画像ＤＩに加えて、検出深度情報を取得する。受信部１０３は、タイミングＴよりも後の一つ又は複数のタイミングＴ＋ｎ（ｎ＞０）において取得が予測される一つ又は複数の予測画像ＰＩ及び一つ又は複数の予測深度情報を、サーバ２０から受信する。
【0058】
制御部１０４は、取得部１０１によって取得された撮像画像ＤＩと、受信部１０３によって受信される少なくとも一つの予測画像ＰＩとの比較結果が所定の条件を満たさない場合に、取得部１０１によって取得された検出深度情報と、受信部１０３によって受信された少なくとも一つの予測深度情報と、の比較結果に基づいて、動的物体ＭＯを検出してもよい。当該所定の条件は、例えば、撮像画像ＤＩと少なくとも一つの予測画像ＰＩとの差分が所定の閾値を超えること（又は、当該差分が所定の閾値以上であること）であってもよい。
【0059】
制御部１０４は、撮像画像ＤＩと予測画像ＰＩとの比較結果が所定の条件を満たさなくとも、検出深度情報と予測深度情報との比較結果が所定の条件を満たす場合、動的物体ＤＯを検出してもよい。当該所定の条件は、検出深度情報が示す特定の領域（例えば、撮像画像ＤＩ内の特定の画素）に関する深度が、予測深度情報が示す特定の領域（例えば、予測画像ＤＩ内の特定の画素）の深度よりも車両１０に近いことであってもよい。
【0060】
サーバ２０の生成部２０３は、受信部２０１で受信されたセンサ情報に基づいて、タイミングＴより後の一つ又は複数のタイミングＴ＋ｎ（ｎ＞０）において、車両１０のカメラによる取得が予測される一つ又は複数の予測画像ＰＩと、車両１０の深度センサによる取得が予測される一つ又は複数の予測深度情報と、を生成する。
【0061】
具体的には、生成部２０３は、タイミングＴにおける車両１０の位置情報及び方向情報に基づいて、一つ又は複数のタイミングＴ＋ｎにおける予測画像ＰＩ及び予測深度情報を生成する。また、生成部２０３は、当該位置情報及び方向情報に加えて、車両１０の経路情報及び／又は速度情報に基づいて、一つ又は複数のタイミングＴ＋ｎにおける予測画像ＰＩ及び予測深度情報を生成してもよい。
【0062】
送信部２０４は、生成部２０３によって生成された一つ又は複数の予測画像ＰＩ及び予測深度情報を車両１０に対して送信する。
【0063】
＜変形例に係る動作＞
図８は、本実施形態の変形例に係るの車両１０の動作の一例を示すフローチャートである。なお、図８は、図６との相違点を中心に説明する。図８のステップＳ２０１は、図６のステップＳ１０１と同様である。
図８は、本実施形態の変形例に係るの車両１０の動作の一例を示すフローチャートである。なお、図８は、図６との相違点を中心に説明する。図８のステップＳ２０１は、図６のステップＳ１０１と同様である。
【0064】
ステップＳ２０２において、車両１０は、位置情報及び方向情報に基づいて生成される、一つ又は複数のタイミングＴ＋ｎ（ｎ＞０）に対応する一つ又は複数の予測画像ＰＩ及び予測深度情報を、サーバ２０から受信する。なお、当該一つ又は複数の予測画像ＰＩ及び予測深度情報は、位置情報及び方向情報と、経路情報及び／又は速度情報とに基づいて生成されてもよい。
【0065】
ステップＳ２０３において、車両１０は、車両１０のカメラにより検出された撮像画像ＤＩを取得する。また、車両１０は、車両のＬｉＤＡＲセンサにより検出された検出深度情報を取得する。
【0066】
ステップＳ２０４において、車両１０は、ステップＳ２０３で取得された撮像画像ＤＩとステップＳ２０２で受信された少なくとも一つの予測画像ＰＩとを比較し、比較結果が所定の条件を満たすか否かを判定する。撮像画像ＤＩと予測画像ＰＩとの比較結果が所定の条件を満たす場合（ステップＳ２０４；ＹＥＳ）、ステップＳ２０６において、車両１０は、動的物体ＭＯを検出する。例えば、図２に示すように、撮像画像ＤＩと予測画像ＰＩとの差分が所定の閾値を超える（又は所定の閾値以上である）場合、車両１０は、動的物体ＭＯを検出してもよい。
【0067】
一方、撮像画像ＤＩと予測画像ＰＩとの比較結果が所定の条件を満たさない場合（ステップＳ２０４；ＮＯ）、ステップＳ２０５において、車両１０は、ステップＳ２０３で取得された検出深度情報とステップＳ２０２で受信された少なくとも一つの予測深度情報と、を比較し、比較結果が所定の条件を満たすか否かを判定する。検出深度情報と予測深度情報との比較結果が所定の条件を満たす場合（ステップＳ２０５；ＹＥＳ）、ステップＳ２０６において、車両１０は、動的物体ＭＯを検出する。例えば、図７に示すように、検出深度情報及び予測深度情報の比較結果が、撮像画像ＤＩ内の点群ＰＧ１が予測画像ＰＩ内の点群ＰＧ２（すなわち、壁Ｗ２）よりも車両１０に近いことを示す場合、車両１０は、動的物体ＭＯを検出してもよい。
【0068】
以上のように、本実施形態の変形例に係る車両制御システム１によれば、車両１０は撮像画像ＤＩと予測画像ＰＩとの比較結果だけでなく、検出深度情報と予測深度情報との比較結果に基づいて動的物体ＭＯを検出するので、複数の異なるセンサによる複数の認識結果を互いに比較することなく、車両の進行方向に存在する動的物体を迅速に検出できる。また、撮像画像ＤＩから物体の特徴部分が認識可能となる前に動的物体ＭＯをより高い精度で検出でき、車両１０をフェールセーフに動作させることができる。
【0069】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【0070】
また、本開示によれば、車両に迅速に歩行者等の動的物体を通知することができるので、交通事故による死傷者を減少させることに寄与し、ＳＤＧs目標３「すべての人に健康と福祉を」の達成に貢献できる。
【符号の説明】
【0071】
１…車両制御システム、１０…車両、２０…サーバ、１０ａ…プロセッサ、１０ｂ…メモリ、１０ｃ…センサセット、１０ｄ…通信ユニット、１０ｅ…ＥＣＵ、１０ｆ…入出力デバイス、２０ａ…プロセッサ、２０ｂ…メモリ、２０ｃ…通信ユニット、２０ｄ…入出力デバイス、１０１…取得部、１０２…送信部、１０３…受信部、１０４…制御部、２０１…受信部、２０２…制御部、２０３…生成部、２０４…送信部、Ｒ…現実空間、Ｖ…仮想区間、１０Ｖ…仮想車両、ＭＯ…動的物体、ＳＯ…静的物体、ＤＩ…撮像画像、ＰＩ…予測画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】