(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-06
(54)【発明の名称】車両から落下した物体の検出を容易にするための車両及び方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20240730BHJP
G06T 7/00 20170101ALI20240730BHJP
G06V 20/58 20220101ALI20240730BHJP
G06V 20/56 20220101ALI20240730BHJP
G08G 1/09 20060101ALI20240730BHJP
G08G 1/16 20060101ALI20240730BHJP
B60W 50/14 20200101ALI20240730BHJP
【FI】
H04N7/18 J
G06T7/00 650Z
G06T7/00 350C
G06V20/58
G06V20/56
G08G1/09 H
G08G1/16 A
H04N7/18 K
B60W50/14
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023578842
(86)(22)【出願日】2022-06-28
(85)【翻訳文提出日】2023-12-20
(86)【国際出願番号】 EP2022067716
(87)【国際公開番号】W WO2023275043
(87)【国際公開日】2023-01-05
(32)【優先日】2021-06-29
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】322007626
【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
(74)【代理人】
【識別番号】100069556
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【氏名又は名称】石田 大成
(74)【代理人】
【識別番号】100191938
【氏名又は名称】高原 昭典
(72)【発明者】
【氏名】トーマル・アジャイ・シン
(72)【発明者】
【氏名】パディリ・バーヌ・プラカシュ
【テーマコード(参考)】
3D241
5C054
5H181
5L096
【Fターム(参考)】
3D241BA59
3D241BA60
3D241CE05
3D241DC33Z
5C054CA04
5C054CC02
5C054FC12
5C054FE28
5C054FF06
5C054HA30
5H181AA01
5H181BB04
5H181BB20
5H181CC04
5H181DD07
5H181FF04
5H181FF13
5H181FF22
5H181FF25
5H181FF27
5H181FF33
5H181FF35
5H181LL01
5H181LL07
5H181LL08
5H181MB06
5L096AA06
5L096BA02
5L096BA04
5L096CA04
5L096CA05
5L096DA01
5L096DA03
5L096HA11
5L096KA04
(57)【要約】
本発明は、道路にある物体の検出を容易にするための車両及び方法に関し、詳細には、車両から落下した物体の検出を容易にするための車両及び方法に関する。本発明の態様によれば、車両から落下した物体の検出を容易にするための車両であって、物体が車両に積み込まれるときに事前情報を記憶するために物体の画像を取得し、車両の走行時に車両の前方周囲の画像と車両の後方周囲の画像とを取得するように動作可能なカメラと、信号を出力するように動作可能な出力ユニットと、事前情報を用いて前方周囲の画像から物体を及び後方周囲の画像から物体を検出し、前方周囲の画像からの検出された物体と後方周囲の画像からの検出された物体とを比較して、前方周囲の画像からは検出されないが、後方周囲の画像から検出された物体が存在するかどうかを確認するように動作可能な制御ユニットとを備え、前方周囲の画像からは検出されないが、後方周囲の画像から検出された物体が存在する場合、制御ユニットは、車両からの落下物が存在すると判定し、信号を出力するように出力ユニットを制御するように動作可能であることを特徴とする、車両が存在する。
【特許請求の範囲】
【請求項1】
車両から落下した物体の検出を容易にするための車両であって、
前記物体が前記車両に積み込まれるときに事前情報を記憶するために物体の画像を取得し、前記車両の走行時に前記車両の前方周囲の画像と前記車両の後方周囲の画像とを取得するように動作可能なカメラと、
信号を出力するように動作可能な出力ユニットと、
前記事前情報を用いて前記前方周囲の前記画像から物体を及び前記後方周囲の前記画像から物体を検出し、前記前方周囲の前記画像からの前記検出された物体と前記後方周囲の前記画像からの前記検出された物体とを比較して、前記前方周囲の前記画像からは検出されないが、前記後方周囲の前記画像から検出された物体が存在するかどうかを確認するように動作可能な制御ユニットと
を備え、
前記前方周囲の前記画像からは検出されないが、前記後方周囲の前記画像から検出された前記物体が存在する場合、前記制御ユニットは、前記車両からの前記落下物が存在すると判定し、前記信号を出力するように前記出力ユニットを制御するように動作可能であることを特徴とする、車両。
【請求項2】
前記制御ユニットは、前記前方周囲の前記画像を再構成して前記前方周囲の前記画像から前記物体を検出するように動作可能である、請求項1に記載の車両。
【請求項3】
前記制御ユニットは、前記物体が前記車両に積み込まれるときに取得された前記画像から前記物体を検出し、前記画像からの前記検出された物体を前記事前情報として記憶するように動作可能である、請求項1又は2に記載の車両。
【請求項4】
前記画像からの前記物体は、ニューラルネットワークによって検出される、請求項3に記載の車両。
【請求項5】
前記制御ユニットは、前記物体の前記画像が前記前方周囲の前記画像からの前記検出された物体及び/又は前記後方周囲の前記画像からの前記検出された物体との関連付けのために使用されるように、前記物体の前記画像を前記事前情報として記憶するように動作可能である、請求項1又は2に記載の車両。
【請求項6】
前記車両からの前記落下物が存在すると判定された場合、前記出力ユニットは、音声情報、映像情報、及びステアリングホイールへの触覚フィードバックのうちの少なくとも1つを用いて前記車両の運転者に警報を発するように動作可能である、請求項1~5のいずれか一項に記載の車両。
【請求項7】
前記車両からの前記落下物が存在すると判定された場合、前記制御ユニットは、前記車両の近傍の別の車両に無線通信を介して前記落下物の存在を知らせるように動作可能である、請求項1~6のいずれか一項に記載の車両。
【請求項8】
前記車両からの前記落下物が存在すると判定された場合、前記制御ユニットは、前記車両の車両動特性を監視し、前記落下物を回収するために前記車両の経路を修正するように動作可能である、請求項1~7のいずれか一項に記載の車両。
【請求項9】
前記制御ユニットが前記車両の前記経路を修正する場合、前記出力ユニットは、前記修正経路を表示するように動作可能である、請求項8に記載の車両。
【請求項10】
前記制御ユニットが前記車両の前記経路を修正する場合、前記制御ユニットは、前記車両の近傍の別の車両に無線通信を介して前記車両の前記修正経路を知らせるように動作可能である、請求項8又は9に記載の車両。
【請求項11】
車両から落下した物体の検出を容易にするための方法であって、
前記物体が前記車両に積み込まれるときに事前情報を記憶するために物体の画像を取得するステップと、
前記車両の走行時に前記車両の前方周囲の画像と前記車両の後方周囲の画像とを取得するステップと、
前記事前情報を用いて前記前方周囲の前記画像から物体を検出するステップと、
前記事前情報を用いて前記後方周囲の前記画像から物体を検出するステップと、
前記前方周囲の前記画像からの前記検出された物体と前記後方周囲の前記画像からの前記検出された物体とを比較して、前記前方周囲の前記画像からは検出されないが、前記後方周囲の前記画像から検出された物体が存在するかどうかを確認するステップと
を含み、
前記方法は、前記前方周囲の前記画像からは検出されないが、前記後方周囲の前記画像から検出された前記物体が存在する場合、前記車両からの前記落下物が存在すると判定するステップと、信号を出力するように出力ユニットを制御するステップとを更に含むことを特徴とする、方法。
【請求項12】
前記前方周囲の前記画像を再構成して前記前方周囲の前記画像から前記物体を検出するステップを更に含む、請求項11に記載の方法。
【請求項13】
前記物体が前記車両に積み込まれるときに取得された前記画像から前記物体を検出するステップと、前記画像からの前記検出された物体を前記事前情報として記憶するステップとを更に含む、請求項11又は12に記載の方法。
【請求項14】
前記物体の前記画像が前記前方周囲の前記画像からの前記検出された物体及び/又は前記後方周囲の前記画像からの前記検出された物体との関連付けのために使用されるように、前記物体の前記画像を前記事前情報として記憶するステップを更に含む、請求項11又は12に記載の方法。
【請求項15】
前記車両からの前記落下物が存在すると判定された場合、音声情報、映像情報、及びステアリングホイールへの触覚フィードバックのうちの少なくとも1つを用いて前記車両の運転者に警報を発するステップを更に含む、請求項11~14のいずれか一項に記載の方法。
【請求項16】
前記車両からの前記落下物が存在すると判定された場合、前記車両の近傍の別の車両に無線通信を介して前記落下物の存在を知らせるステップを更に含む、請求項11~15のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道路にある物体の検出を容易にするための車両及び方法に関し、詳細には、車両から落下した物体の検出を容易にするための車両及び方法に関する。
【背景技術】
【0002】
背景の以下の考察は、単に本発明の理解を容易にするために意図されている。この考察は、言及した材料のいずれかが、本発明の優先日に公表されていたこと、公知であったこと、又は任意の法域内における当業者の一般的な常識の一部であったことを承認する又は認めるものではないことが認識され得る。
【0003】
車両は、人又は物品をある場所から別の場所に輸送するために用いられる機器である。車両は、自動二輪車、乗用車、バス、及びトラックなどの自動車、電車などの有軌道車両、並びにボート及び船舶などの船を含むが、これらに限定されない。
【0004】
車両の普及に伴って、車両の運転者にとっての安全性及び利便性の必要が高まっている。この傾向に従って、運転者にとっての安全性及び利便性を高めるために、様々なセンサ及び電子デバイスが開発されている。
【0005】
例えば、車両が高速道路を走行するときに、障害物などの物体が車両の走行ルートに存在することがある。車両は、カメラによって取得された画像及び/又は赤外線センサによって取得された信号を用いて障害物を検出し、障害物との衝突を避けるために車両の速度を変化させ得る。
【0006】
しかしながら、車両から落下した障害物を特定し、次いで車両の運転者及び/又は車両の近傍の別の車両に関連情報を通知できる技術はこれまで存在しなかった。
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記を考慮すると、上述の必要性を少なくとも部分的に満たす解決策を提供する必要がある。
【課題を解決するための手段】
【0008】
本明細書を通じて、文脈上別段の求めがない限り、「備える(comprise)」という語又は「備える(comprises)」若しくは「備える(comprising)」などの変化形は、記載された整数又は整数の群を含むが、任意の他の整数又は整数の群を除外しないことを暗に意味するものと理解される。
【0009】
更に、本明細書を通じて、文脈上別段の求めがない限り、「含む(include)」という語又は「含む(includes)」若しくは「含む(including)」などの変化形は、記載された整数又は整数の群を含むが、任意の他の整数又は整数の群を除外しないことを暗に意味するものと理解される。
【0010】
本発明は、前述の必要性に少なくとも部分的に対応する車両及び方法を提供することを目指す。
【0011】
この技術的解決策は、車両から落下した物体の検出を容易にするための車両及び方法の形態で提供される。車両は、物体が車両に積み込まれるときに事前情報を記憶するために物体の画像を取得し、車両の走行時に車両の前方周囲の画像と車両の後方周囲の画像とを取得するように動作可能なカメラを備える。車両は、事前情報を用いて前方周囲の画像から物体を及び後方周囲の画像から物体を検出し、前方周囲の画像からの検出された物体と後方周囲の画像からの検出された物体とを比較して、前方周囲の画像からは検出されないが、後方周囲の画像から検出された物体が存在するかどうかを確認するように動作可能な制御ユニットを更に備える。そうである場合、制御ユニットは、車両からの落下物が存在すると判定し、運転者に警報を発するための信号を出力するように出力ユニットを制御するように動作可能である。
【0012】
それゆえ、本発明による車両及び方法は、車両から落下した物体を特定し、車両の運転者及び/又は車両の近傍の少なくとも1台の別の車両に落下物の情報を通知することができる。したがって、車両の運転者は、物体を車両に持ち帰ることができる。加えて、車両の近傍の少なくとも1台の別の車両は、物体及び/又は車両を回避することができる。
【0013】
本発明の態様によれば、車両から落下した物体の検出を容易にするための車両であって、物体が車両に積み込まれるときに事前情報を記憶するために物体の画像を取得し、車両の走行時に車両の前方周囲の画像と車両の後方周囲の画像とを取得するように動作可能なカメラと、信号を出力するように動作可能な出力ユニットと、事前情報を用いて前方周囲の画像から物体を及び後方周囲の画像から物体を検出し、前方周囲の画像からの検出された物体と後方周囲の画像からの検出された物体とを比較して、前方周囲の画像からは検出されないが、後方周囲の画像から検出された物体が存在するかどうかを確認するように動作可能な制御ユニットとを備え、前方周囲の画像からは検出されないが、後方周囲の画像から検出された物体が存在する場合、制御ユニットは、車両からの落下物が存在すると判定し、信号を出力するように出力ユニットを制御するように動作可能であることを特徴とする、車両が存在する。
【0014】
いくつかの実施形態では、制御ユニットは、前方周囲の画像を再構成して前方周囲の画像から物体を検出するように動作可能である。
【0015】
いくつかの実施形態では、制御ユニットは、物体が車両に積み込まれるときに取得された画像から物体を検出し、画像からの検出された物体を事前情報として記憶するように動作可能である。
【0016】
いくつかの実施形態では、画像からの物体は、ニューラルネットワークによって検出される。
【0017】
いくつかの実施形態では、制御ユニットは、物体の画像が前方周囲の画像からの検出された物体及び/又は後方周囲の画像からの検出された物体との関連付けのために使用されるように、物体の画像を事前情報として記憶するように動作可能である。
【0018】
いくつかの実施形態では、車両からの落下物が存在すると判定された場合、出力ユニットは、音声情報、映像情報、及びステアリングホイールへの触覚フィードバックのうちの少なくとも1つを用いて車両の運転者に警報を発するように動作可能である。
【0019】
いくつかの実施形態では、車両からの落下物が存在すると判定された場合、制御ユニットは、車両の近傍の別の車両に無線通信を介して落下物の存在を知らせるように動作可能である。
【0020】
いくつかの実施形態では、車両からの落下物が存在すると判定された場合、制御ユニットは、車両の車両動特性を監視し、落下物を回収するために車両の経路を修正するように動作可能である。
【0021】
いくつかの実施形態では、制御ユニットが車両の経路を修正する場合、出力ユニットは、修正経路を表示するように動作可能である。
【0022】
いくつかの実施形態では、制御ユニットが車両の経路を修正する場合、制御ユニットは、車両の近傍の別の車両に無線通信を介して車両の修正経路を知らせるように動作可能である。
【0023】
本発明の別の態様によれば、車両から落下した物体の検出を容易にするための方法であって、物体が車両に積み込まれるときに事前情報を記憶するために物体の画像を取得するステップと、車両の走行時に車両の前方周囲の画像と車両の後方周囲の画像とを取得するステップと、事前情報を用いて前方周囲の画像から物体を検出するステップと、事前情報を用いて後方周囲の画像から物体を検出するステップと、前方周囲の画像からの検出された物体と後方周囲の画像からの検出された物体とを比較して、前方周囲の画像からは検出されないが、後方周囲の画像から検出された物体が存在するかどうかを確認するステップとを含み、方法は、前方周囲の画像からは検出されないが、後方周囲の画像から検出された物体が存在する場合、車両からの落下物が存在すると判定するステップと、信号を出力するように出力ユニットを制御するステップとを更に含むことを特徴とする、方法が存在する。
【0024】
いくつかの実施形態では、方法は、前方周囲の画像を再構成して前方周囲の画像から物体を検出するステップを更に含む。
【0025】
いくつかの実施形態では、方法は、物体が車両に積み込まれるときに取得された画像から物体を検出するステップと、画像からの検出された物体を事前情報として記憶するステップとを更に含む。
【0026】
いくつかの実施形態では、方法は、物体の画像が前方周囲の画像からの検出された物体及び/又は後方周囲の画像からの検出された物体との関連付けに使用されるように、物体の画像を事前情報として記憶するステップを更に含む。
【0027】
いくつかの実施形態では、方法は、車両からの落下物が存在すると判定された場合、音声情報、映像情報、及びステアリングホイールへの触覚フィードバックのうちの少なくとも1つを用いて車両の運転者に警報を発するステップを更に含む。
【0028】
いくつかの実施形態では、方法は、車両からの落下物が存在すると判定された場合、車両の近傍の別の車両に無線通信を介して落下物の存在を知らせるステップを更に含む。
【0029】
本発明の他の態様は、本発明の具体的な実施形態の以下の説明を添付の図面と併せて検討すれば当業者には明らかになるであろう。
【0030】
ここで、添付の図面を参照して、本発明を単なる例として説明する。
【図面の簡単な説明】
【0031】
【
図2】本発明の別の実施形態によるブロック図である。
【
図3】本発明の実施形態によるフローチャートである。
【発明を実施するための形態】
【0032】
本発明の他の構成も可能であり、したがって、添付の図面の詳細を本発明の前述の説明の一般性に取って代わるものと理解するべきではない。
【0033】
図1は、本発明の実施形態によるブロック図である。
図1に示すように、車両100が存在する。車両100は、人又は物品をある場所から別の場所に輸送するために用いられる機器である。車両100は、自動二輪車、乗用車、バス、及びトラックなどの自動車、電車などの有軌道車両、並びにボート及び船舶などの船を含むが、これらに限定されない。いくつかの実施形態では、車両100は、物体を積載することが可能である。
【0034】
車両100は、カメラ110と、制御ユニット120と、出力ユニット130とを含むが、これらに限定されない。
【0035】
カメラ110は、外部環境の画像を撮影し得る。撮像画像は、静止画像(「静止画」とも称される)及び動画像(「動画」又は「映像」とも称される)の少なくとも一方であり得る。カメラ110は、生データを生成し得る。その後、制御ユニット120は、カメラ110から生データを受信して処理し、例えば解釈し、画像を取得し得る。取得された画像は、メモリ(図示せず)に記憶され得る。メモリは、車両110の内部メモリ及び/又はクラウドなどの外部メモリを含み得るが、これらに限定されない。
【0036】
いくつかの実施形態では、車両100は、複数のカメラ110を含み得る。例えば、カメラ110は、前方カメラ、SV(サラウンドビュー)カメラ、及びRVS(リアビュー)カメラ(「後方カメラ」とも称される)のうちの少なくとも1つを含む。SVカメラは、より広い視野をカバーするための、超広角レンズである魚眼レンズが含む。RVSカメラは、魚眼レンズ又は通常レンズの少なくとも一方を含む。
【0037】
いくつかの実施形態では、車両100は、前方カメラ111と後方カメラ112とを含み得る。前方カメラ111が車両100の前側に設置され得るとともに後方カメラ112が車両100の後側に設置され得ることが認識され得る。いくつかの実施形態では、車両100は、複数の前方カメラ111及び/又は複数の後方カメラ112を含み得る。いくつかの実施形態では、車両100は、車両100のサイドミラーに設置された少なくとも1つの側方カメラを更に含み得る。
【0038】
カメラ110は、物体が車両100に積み込まれるときに、物体の画像を取得するように動作可能である。例えば、物体は、段ボール箱、スーツケース、自転車、ペットなどを含み得る。
【0039】
制御ユニット120は、車両制御ユニットと称されることがある。車両制御ユニットは、車両100内の複数の電気システム又はサブシステムのうちの1つ又は複数を制御する自動車用電子機器における組み込み型システムである。車両制御ユニットは、車両100のエンジンを制御するように動作可能なエンジン制御ユニット(「ECU」とも称される)を含み得る。
【0040】
制御ユニット120は、物体が車両100に積み込まれるときに取得された画像から物体を検出し、画像からの検出された物体を事前情報として記憶するように動作可能である。いくつかの実施形態では、画像からの物体は、ニューラルネットワーク、例えば人工ニューラルネットワークによって検出され得る。事前情報は、メモリ(図示せず)に記憶され得る。このように、制御ユニット120は、車両100内にどのような物体が載置されているかを知ることができる。
【0041】
いくつかの実施形態では、制御ユニット120は、物体の画像が車両100の前方周囲の画像からの検出された物体及び/又は車両100の後方周囲の画像からの検出された物体との関連付けのために使用されるように、物体の画像を事前情報として記憶するように動作可能である。
【0042】
カメラ110は更に、車両100の走行時に車両100の前方周囲の画像と車両100の後方周囲の画像とを取得するように動作可能である。いくつかの実施形態では、前方カメラ111は、車両100の前方周囲の画像を取得するように動作可能であり、後方カメラ112は、車両100の後方周囲の画像を取得するように動作可能である。
【0043】
出力ユニット130は、信号、例えば視覚信号、音声信号、及び触覚信号を出力するように動作可能である。出力ユニット130は、ディスプレイ131、スピーカ132、及び触覚デバイス133のうちの少なくとも1つを含み得るが、これらに限定されない。
【0044】
ディスプレイ131は、制御ユニット120によって処理された情報を表示するように動作可能である。例えば、ディスプレイ131は、計器クラスタに設置されたディスプレイを含み得る。複数のディスプレイが設けられ得ることが認識され得る。例えば、情報は、計器クラスタに設置されたディスプレイ及びヘッドアップディスプレイに表示され得る。
【0045】
スピーカ132は、音声信号を出力するように動作可能である。複数のスピーカが設けられ得ることが認識され得る。
【0046】
触覚デバイス133は、偏心回転質量アクチュエータ及び/又は圧電アクチュエータなどのアクチュエータを含み得、触覚信号、例えば振動をステアリングホイールに出力するように動作可能である。
【0047】
このように、出力ユニット130は、音声情報、映像情報、及びステアリングホイールへの触覚フィードバックのうちの少なくとも1つを用いて車両100の運転者に警報を発するように動作可能である。
【0048】
制御ユニット120は、車両100の走行時に取得された車両100の前方周囲の画像から事前情報を用いて物体を検出するように動作可能である。いくつかの実施形態では、制御ユニット120は、車両100の前方周囲の画像を再構成して前方周囲の画像から物体を検出するように動作可能である。いくつかの実施形態では、前方カメラ111が魚眼レンズを含む場合、前方カメラ111によって取得された画像は補正され得る。
【0049】
制御ユニット120は更に、車両100の走行時に取得された車両100の後方周囲の画像から事前情報を用いて物体を検出するように動作可能である。いくつかの実施形態では、後方カメラ112が魚眼レンズを含む場合、後方カメラ112によって取得された画像は補正され得る。
【0050】
次に、制御ユニット120は、前方周囲の画像からの検出された物体と後方周囲の画像からの検出された物体とを比較して、前方周囲の画像からは検出されないが、後方周囲の画像から検出された物体が存在するかどうかを確認するように動作可能である。
【0051】
いくつかの実施形態では、制御ユニット120は、狭い領域における(例えば、道路の外側ではなく道路上の)物体を確認し得る。いくつかの実施形態では、制御ユニット120は、時間「T-X」(Xは車両100の速度によって決まる)において前方カメラ111から取得された画像からの物体のフレーム又は物体の数と、時間「T」において後方カメラ112から取得された画像からの物体のフレーム又は物体の数とを比較し得る。検出された物体を車両100が越えたときに、制御ユニット120は、前方カメラビューと後方カメラビューとを比較し得る。
【0052】
このように、制御ユニット120は、画像関連付け技術によって又は検出された対象物の数(例えば、段ボール箱、荷物、スーツケースなどの、車両100に積み込まれた物体の種類)によって、前方周囲の画像からの検出された物体と後方周囲の画像からの検出された物体とを比較し得る。車両が常に道路上に存在し、フロントビューの数とリアビューの数とが互いに異なるため、制御ユニット120が車両を物体とみなさない場合があることが認識され得る。
【0053】
車両100の前方周囲の画像からは検出されないが、車両100の後方周囲の画像から検出された物体が存在する場合、制御ユニット120は、車両100からの落下物が存在すると判定するように動作可能である。加えて、制御ユニット120は、信号を出力するように出力ユニット130を制御するように動作可能である。
【0054】
いくつかの実施形態では、物体が車両100の前方を移動している場合(例えば、段ボール箱が別の車両に縛り付けられており、車両100が別の車両に追従している場合)、新たな物体が、前方周囲の画像から検出され、後方周囲からは検出されない場合がある。車両100は、後方カメラ112ではなく、前方カメラ111を通じて物体を認識する場合がある。
【0055】
車両100からの落下物が存在すると判定された場合、出力ユニット130は、音声情報、視覚情報、及びステアリングホイールへの触覚フィードバックのうちの少なくとも1つを用いて車両100の運転者に警報を発するように動作可能である。いくつかの実施形態では、警報の種類は、運転者によって設定され得る。例えば、運転者が視覚信号による警報を受けるように設定している場合には、落下物の存在の情報が車両100のディスプレイ131に表示される。
【0056】
車両100からの落下物が存在すると判定された場合、制御ユニット120は、車両100の近傍の別の車両200に無線通信を介して落下物の存在を知らせるように動作可能である。実施形態を
図2に関して説明する。
【0057】
図2は、本発明の別の実施形態によるブロック図である。
【0058】
図2に示すように、車両100は、カメラ110と、制御ユニット120と、出力ユニット130と、通信ユニット140とを含む。通信ユニット140は、通信ネットワークを通じて別の車両200と通信し得る。通信ユニット140が通信ネットワークを通じて外部デバイス(例えば、モバイルデバイス)と通信し得ることが認識され得る。
【0059】
通信ユニット140は、チャネルアクセス方式、例えば符号分割多元接続(CDMA)又は時分割多元接続(TDMA)を用いて情報を送信及び/又は受信し得る。いくつかの実施形態では、通信ユニット140は、別の車両200及び/又は外部デバイスと通信するために無線インターネットアクセスをサポートし得る。無線インターネットアクセスは、無線LAN(例えば、Wi-Fi)、無線ブロードバンド(Wi-bro)、及び世界規模相互運用マイクロ波アクセス(Wi-max)を含み得るが、これらに限定されない。いくつかの実施形態では、通信ユニット140は、別の車両200及び/又は外部デバイスと通信するために近距離通信をサポートし得る。近距離通信は、Bluetooth、超広帯域(UWB)、無線周波数識別(RFID)、及びZigBeeを含み得るが、これらに限定されない。
【0060】
いくつかの実施形態では、別の車両200は、カメラ210と、制御ユニット220と、出力ユニット230と、通信ユニット240とを含み得る。通信ユニット240は、通信ネットワークを通じて車両100の通信ユニット140と通信し得る。通信ユニット140が通信ネットワークを通じて外部デバイス(例えば、モバイルデバイス)と通信し得ることが認識され得る。
【0061】
車両100(以下、「第1の車両」と称される)の制御ユニット120は、第1の車両100からの落下物が存在すると判定した場合、車両100の近傍の別の車両200(以下、「第2の車両」と称される)に無線通信を介して落下物の存在を知らせるように動作可能である。
【0062】
いくつかの実施形態では、第1の車両100の制御ユニット120は、第1の車両100からの落下物が存在すると判定した場合、第1の車両100の車両動特性を監視し、落下物を回収するために第1の車両100の経路を修正するように動作可能である。車両動特性は、速度、GPS位置、及び加速度を含み得るが、これらに限定されない。
【0063】
第1の車両100の制御ユニット120が第1の車両100の経路を修正する場合、第1の車両100の出力ユニット130は、第1の車両100の運転者に修正経路を知らせるように動作可能である。例えば、制御ユニット120は、修正経路をディスプレイ131に表示するように動作可能である。
【0064】
いくつかの実施形態では、第1の車両100の制御ユニット120が車両100の経路を修正する場合、制御ユニット120は、第1の車両100の近傍の第2の車両200に通信ユニット140を介して第1の車両100の修正経路を知らせるように動作可能である。このように、第2の車両200の運転者は、第1の車両100によって引き起こされるいかなる混乱又は衝突も回避することができる。
【0065】
図3は、本発明の実施形態によるフローチャートである。
【0066】
図3に示すように、車両100のカメラ110は、物体が車両100に積み込まれるときに、事前情報を記憶するために物体の画像を取得する(S110)。車両100が静止位置にあるときに、物体が車両100に入れられる又は積み込まれる。物体は、物体(例えば、段ボール箱、スーツケース、自転車、ペットなど)として特定及び/又は検出されるように、少なくとも1つの前方カメラ111と、少なくとも1つの後方カメラ112と、少なくとも1つの側方カメラとを含むが、これらに限定されない、カメラ110によって走査される。この手順は、車両100内にどのような物体が載置されているかをアルゴリズムが知るのに役立ち得る。いくつかの実施形態では、この検出は、一般的な物体を検出するためにニューラルネットワークによって行われ得る。いくつかの実施形態では、物体画像は、後に、検出された落下物と関連付けのために使用され得る。
【0067】
カメラ110は、車両100の走行時に、車両100の前方周囲の画像と車両100の後方周囲の画像とを取得する(S120)。少なくとも1つの前方カメラ111と、少なくとも1つの後方カメラ112と、少なくとも1つの側方カメラとを含むが、これらに限定されない、カメラ110は、車両100が走行しているときに、車両100の周囲の画像を取得する。
【0068】
制御ユニット120は、事前情報を用いて前方周囲の画像から物体を及び後方周囲の画像から物体を検出する(S130)。いくつかの実施形態では、制御ユニット120は、車両100の前方周囲の画像を再構成して、前方周囲の画像から物体を検出する。このように、制御ユニット120は、車両100の近傍に何らかの物体があるかどうかを検出し得る。いくつかの実施形態では、制御ユニット120は、主に車両100内の積載物の事前情報に関して検出するために、後方周囲の画像を用いて物体を検出する。
【0069】
制御ユニット120は、前方周囲の画像からの検出された物体と後方周囲の画像からの検出された物体とを比較する(S140)。いくつかの実施形態では、制御ユニット120は、狭い領域における(例えば、道路の外側ではなく道路上の)物体を確認し得る。いくつかの実施形態では、制御ユニット120は、時間「T-X」(Xは車両100の速度によって決まる)において前方カメラ111から取得された画像からの物体のフレーム又は物体の数と、時間「T」において後方カメラ112から取得された画像からの物体のフレーム又は物体の数とを比較し得る。検出された物体を車両100が越えたときに、制御ユニット120は、前方周囲の画像からの検出された物体と後方周囲の画像からの検出された物体とを比較し得る。
【0070】
制御ユニット120は、前方周囲の画像からは検出されないが、後方周囲の画像から検出された物体が存在するかどうかを確認する(S150)。前方周囲の画像からは検出されず、後方周囲の画像から検出された物体が存在する場合、制御ユニット120は、車両100からの落下物が存在すると判定する(S160)。
【0071】
S140のこの比較によって、制御ユニット120は、後方カメラ112に新たな物体が発見されたかどうかを判定し得る。これは、車両100から落下した物体を特定するためである。いくつかの実施形態では、物体の種類が分からない場合、落下物を検出するために、物体が車両100に積み込まれたときに取得された入力画像が後方周囲の画像と関連付けられ得る。アルゴリズムの結果は、制御ユニット120、例えばECUへの入力として使用され得る。
【0072】
制御ユニット120は、信号を出力するように出力ユニット130を制御する(S170)。出力ユニット120は、音声情報、映像情報、及びステアリングホイールへの触覚フィードバックのうちの少なくとも1つを用いて車両100の運転者に警報を発する。
【0073】
いくつかの実施形態では、車両100が、落下物を拾い上げるために停止又は停車しようとしているときに、車両100の近傍の他の車両は、この起こり得る状況に対処する必要がある場合がある。車両100が他の車両及び/又は交通システムと通信することを可能にする技術である、V2X(vehicle-to-everything)が有効にされている場合、落下物及び起こり得る状況について警報を発するために、車両100の近傍の他の車両に警報信号が送信され得る。
【0074】
いくつかの実施形態では、物体が(例えば、夜間に)落下した時点で、アルゴリズムは、車両100の速度、GPS位置、加速度などを含むが、これらに限定されない、車両動特性を追跡し、物体が落下した経路を再構成し得る。再構成された経路に関するこの情報は、運転者が落下物を回収するためにどのように遡ることができるかを車両100の運転者に示唆するために、車両100のダッシュボードに表示され得る。この情報は、車両100の近傍の他の車両と共有されてもよく、その結果、他の車両は、かなり前方の再構成された経路に関連する車線を回避することができる。
【0075】
それゆえ、車両100は、車両100から落下した物体を特定し、車両100の運転者及び/又は車両100の近傍の少なくとも1台の別の車両200に落下物の情報を通知することができる。したがって、車両100の運転者は、物体を車両100に持ち帰ることができる。加えて、車両100近傍の少なくとも1台の別の車両200は、物体及び/又は車両200を回避することができる。
【0076】
特に、本発明の例示的な実施形態を参照して本発明を示し説明してきたが、添付の特許請求の範囲によって定義される本発明の趣旨及び範囲から逸脱することなく、形態及び詳細の様々な変更が本発明に加えられ得ることが当業者によって理解されるであろう。しかしながら、これは単に例示的な実施形態に過ぎず、当業者であれば、上記の実施形態に照らして様々な修正形態及び均等物が考えられることを認識するであろう。
【符号の説明】
【0077】
100 車両
110 カメラ
111 前方カメラ
112 後方カメラ
120 制御ユニット
130 出力ユニット
131 ディスプレイ
132 スピーカ
140 通信ユニット
200 別の車両
210 カメラ
221 前方カメラ
222 後方カメラ
220 制御ユニット
230 出力ユニット
231 ディスプレイ
232 スピーカ
240 通信ユニット
【手続補正書】
【提出日】2023-12-20
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0076
【補正方法】変更
【補正の内容】
【0076】
特に、本発明の例示的な実施形態を参照して本発明を示し説明してきたが、添付の特許請求の範囲によって定義される本発明の趣旨及び範囲から逸脱することなく、形態及び詳細の様々な変更が本発明に加えられ得ることが当業者によって理解されるであろう。しかしながら、これは単に例示的な実施形態に過ぎず、当業者であれば、上記の実施形態に照らして様々な修正形態及び均等物が考えられることを認識するであろう。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
1.
車両から落下した物体の検出を容易にするための車両であって、
前記物体が前記車両に積み込まれるときに事前情報を記憶するために物体の画像を取得し、前記車両の走行時に前記車両の前方周囲の画像と前記車両の後方周囲の画像とを取得するように動作可能なカメラと、
信号を出力するように動作可能な出力ユニットと、
前記事前情報を用いて前記前方周囲の前記画像から物体を及び前記後方周囲の前記画像から物体を検出し、前記前方周囲の前記画像からの前記検出された物体と前記後方周囲の前記画像からの前記検出された物体とを比較して、前記前方周囲の前記画像からは検出されないが、前記後方周囲の前記画像から検出された物体が存在するかどうかを確認するように動作可能な制御ユニットと
を備え、
前記前方周囲の前記画像からは検出されないが、前記後方周囲の前記画像から検出された前記物体が存在する場合、前記制御ユニットは、前記車両からの前記落下物が存在すると判定し、前記信号を出力するように前記出力ユニットを制御するように動作可能であることを特徴とする、車両。
2.
前記制御ユニットは、前記前方周囲の前記画像を再構成して前記前方周囲の前記画像から前記物体を検出するように動作可能である、上記1に記載の車両。
3.
前記制御ユニットは、前記物体が前記車両に積み込まれるときに取得された前記画像から前記物体を検出し、前記画像からの前記検出された物体を前記事前情報として記憶するように動作可能である、上記1又は2に記載の車両。
4.
前記画像からの前記物体は、ニューラルネットワークによって検出される、上記3に記載の車両。
5.
前記制御ユニットは、前記物体の前記画像が前記前方周囲の前記画像からの前記検出された物体及び/又は前記後方周囲の前記画像からの前記検出された物体との関連付けのために使用されるように、前記物体の前記画像を前記事前情報として記憶するように動作可能である、上記1又は2に記載の車両。
6.
前記車両からの前記落下物が存在すると判定された場合、前記出力ユニットは、音声情報、映像情報、及びステアリングホイールへの触覚フィードバックのうちの少なくとも1つを用いて前記車両の運転者に警報を発するように動作可能である、上記1~5のいずれか一つに記載の車両。
7.
前記車両からの前記落下物が存在すると判定された場合、前記制御ユニットは、前記車両の近傍の別の車両に無線通信を介して前記落下物の存在を知らせるように動作可能である、上記1~6のいずれか一つに記載の車両。
8.
前記車両からの前記落下物が存在すると判定された場合、前記制御ユニットは、前記車両の車両動特性を監視し、前記落下物を回収するために前記車両の経路を修正するように動作可能である、上記1~7のいずれか一つに記載の車両。
9.
前記制御ユニットが前記車両の前記経路を修正する場合、前記出力ユニットは、前記修正経路を表示するように動作可能である、上記8に記載の車両。
10.
前記制御ユニットが前記車両の前記経路を修正する場合、前記制御ユニットは、前記車両の近傍の別の車両に無線通信を介して前記車両の前記修正経路を知らせるように動作可能である、上記8又は9に記載の車両。
11.
車両から落下した物体の検出を容易にするための方法であって、
前記物体が前記車両に積み込まれるときに事前情報を記憶するために物体の画像を取得するステップと、
前記車両の走行時に前記車両の前方周囲の画像と前記車両の後方周囲の画像とを取得するステップと、
前記事前情報を用いて前記前方周囲の前記画像から物体を検出するステップと、
前記事前情報を用いて前記後方周囲の前記画像から物体を検出するステップと、
前記前方周囲の前記画像からの前記検出された物体と前記後方周囲の前記画像からの前記検出された物体とを比較して、前記前方周囲の前記画像からは検出されないが、前記後方周囲の前記画像から検出された物体が存在するかどうかを確認するステップと
を含み、
前記方法は、前記前方周囲の前記画像からは検出されないが、前記後方周囲の前記画像から検出された前記物体が存在する場合、前記車両からの前記落下物が存在すると判定するステップと、信号を出力するように出力ユニットを制御するステップとを更に含むことを特徴とする、方法。
12.
前記前方周囲の前記画像を再構成して前記前方周囲の前記画像から前記物体を検出するステップを更に含む、上記11に記載の方法。
13.
前記物体が前記車両に積み込まれるときに取得された前記画像から前記物体を検出するステップと、前記画像からの前記検出された物体を前記事前情報として記憶するステップとを更に含む、上記11又は12に記載の方法。
14.
前記物体の前記画像が前記前方周囲の前記画像からの前記検出された物体及び/又は前記後方周囲の前記画像からの前記検出された物体との関連付けのために使用されるように、前記物体の前記画像を前記事前情報として記憶するステップを更に含む、上記11又は12に記載の方法。
15.
前記車両からの前記落下物が存在すると判定された場合、音声情報、映像情報、及びステアリングホイールへの触覚フィードバックのうちの少なくとも1つを用いて前記車両の運転者に警報を発するステップを更に含む、上記11~14のいずれか一つに記載の方法。
16.
前記車両からの前記落下物が存在すると判定された場合、前記車両の近傍の別の車両に無線通信を介して前記落下物の存在を知らせるステップを更に含む、上記11~15のいずれか一つに記載の方法。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
車両から落下した物体の検出を容易にするための車両であって、
前記物体が前記車両に積み込まれるときに事前情報を記憶するために物体の画像を取得し、前記車両の走行時に前記車両の前方周囲の画像と前記車両の後方周囲の画像とを取得するように動作可能なカメラと、
信号を出力するように動作可能な出力ユニットと、
前記事前情報を用いて前記前方周囲の前記画像から物体を及び前記後方周囲の前記画像から物体を検出し、前記前方周囲の前記画像からの前記検出された物体と前記後方周囲の前記画像からの前記検出された物体とを比較して、前記前方周囲の前記画像からは検出されないが、前記後方周囲の前記画像から検出された物体が存在するかどうかを確認するように動作可能な制御ユニットと
を備え、
前記前方周囲の前記画像からは検出されないが、前記後方周囲の前記画像から検出された前記物体が存在する場合、前記制御ユニットは、前記車両からの前記落下物が存在すると判定し、前記信号を出力するように前記出力ユニットを制御するように動作可能であることを特徴とする、車両。
【請求項2】
前記制御ユニットは、前記前方周囲の前記画像を再構成して前記前方周囲の前記画像から前記物体を検出するように動作可能である、請求項1に記載の車両。
【請求項3】
前記制御ユニットは、前記物体が前記車両に積み込まれるときに取得された前記画像から前記物体を検出し、前記画像からの前記検出された物体を前記事前情報として記憶するように動作可能である、請求項1又は2に記載の車両。
【請求項4】
前記画像からの前記物体は、ニューラルネットワークによって検出される、請求項3に記載の車両。
【請求項5】
前記制御ユニットは、前記物体の前記画像が前記前方周囲の前記画像からの前記検出された物体及び/又は前記後方周囲の前記画像からの前記検出された物体との関連付けのために使用されるように、前記物体の前記画像を前記事前情報として記憶するように動作可能である、請求項1又は2に記載の車両。
【請求項6】
前記車両からの前記落下物が存在すると判定された場合、前記出力ユニットは、音声情報、映像情報、及びステアリングホイールへの触覚フィードバックのうちの少なくとも1つを用いて前記車両の運転者に警報を発するように動作可能である、請求項1
又は2に記載の車両。
【請求項7】
前記車両からの前記落下物が存在すると判定された場合、前記制御ユニットは、前記車両の近傍の別の車両に無線通信を介して前記落下物の存在を知らせるように動作可能である、請求項1
又は2に記載の車両。
【請求項8】
前記車両からの前記落下物が存在すると判定された場合、前記制御ユニットは、前記車両の車両動特性を監視し、前記落下物を回収するために前記車両の経路を修正するように動作可能である、請求項1
又は2に記載の車両。
【請求項9】
前記制御ユニットが前記車両の前記経路を修正する場合、前記出力ユニットは、前記修正経路を表示するように動作可能である、請求項8に記載の車両。
【請求項10】
前記制御ユニットが前記車両の前記経路を修正する場合、前記制御ユニットは、前記車両の近傍の別の車両に無線通信を介して前記車両の前記修正経路を知らせるように動作可能である、請求項
8に記載の車両。
【請求項11】
車両から落下した物体の検出を容易にするための方法であって、
前記物体が前記車両に積み込まれるときに事前情報を記憶するために物体の画像を取得するステップと、
前記車両の走行時に前記車両の前方周囲の画像と前記車両の後方周囲の画像とを取得するステップと、
前記事前情報を用いて前記前方周囲の前記画像から物体を検出するステップと、
前記事前情報を用いて前記後方周囲の前記画像から物体を検出するステップと、
前記前方周囲の前記画像からの前記検出された物体と前記後方周囲の前記画像からの前記検出された物体とを比較して、前記前方周囲の前記画像からは検出されないが、前記後方周囲の前記画像から検出された物体が存在するかどうかを確認するステップと
を含み、
前記方法は、前記前方周囲の前記画像からは検出されないが、前記後方周囲の前記画像から検出された前記物体が存在する場合、前記車両からの前記落下物が存在すると判定するステップと、信号を出力するように出力ユニットを制御するステップとを更に含むことを特徴とする、方法。
【請求項12】
前記前方周囲の前記画像を再構成して前記前方周囲の前記画像から前記物体を検出するステップを更に含む、請求項11に記載の方法。
【請求項13】
前記物体が前記車両に積み込まれるときに取得された前記画像から前記物体を検出するステップと、前記画像からの前記検出された物体を前記事前情報として記憶するステップとを更に含む、請求項11又は12に記載の方法。
【請求項14】
前記物体の前記画像が前記前方周囲の前記画像からの前記検出された物体及び/又は前記後方周囲の前記画像からの前記検出された物体との関連付けのために使用されるように、前記物体の前記画像を前記事前情報として記憶するステップを更に含む、請求項11又は12に記載の方法。
【請求項15】
前記車両からの前記落下物が存在すると判定された場合、音声情報、映像情報、及びステアリングホイールへの触覚フィードバックのうちの少なくとも1つを用いて前記車両の運転者に警報を発するステップを更に含む、請求項11
又は12に記載の方法。
【請求項16】
前記車両からの前記落下物が存在すると判定された場合、前記車両の近傍の別の車両に無線通信を介して前記落下物の存在を知らせるステップを更に含む、請求項11
又は12に記載の方法。
【国際調査報告】