特表 2024-520192 電気自動車のソケットの位置および向きを判断するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-22

(54)【発明の名称】電気自動車のソケットの位置および向きを判断するための方法および装置

(51)【国際特許分類】

   H02J 7/00 20060101AFI20240515BHJP

   B60L 53/14 20190101ALI20240515BHJP

   G06T 7/70 20170101ALI20240515BHJP

【ＦＩ】

H02J7/00 301A

B60L53/14

H02J7/00 P

G06T7/70 Z

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2023567217

(86)(22)【出願日】2022-05-06

(85)【翻訳文提出日】2023-12-28

(86)【国際出願番号】 EP2022062233

(87)【国際公開番号】W WO2022234059

(87)【国際公開日】2022-11-10

(31)【優先権主張番号】2028169

(32)【優先日】2021-05-06

(33)【優先権主張国・地域又は機関】NL

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

(71)【出願人】

【識別番号】521468682

【氏名又は名称】ロクシス ビー．ヴイ．

【氏名又は名称原語表記】ＲＯＣＳＹＳ Ｂ．Ｖ．

【住所又は居所原語表記】Ｄｅｌｆｔｗｅｇ ６５，２２８９ ＢＡ Ｒｉｊｓｗｉｊｋ，ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】ファン ドゥールツェン カンター

(72)【発明者】

【氏名】ファン デア ヴェイデ ヨハネス オーステン

【テーマコード（参考）】

5G503

5H125

5L096

【Ｆターム（参考）】

5G503AA01

5G503BA01

5G503BB01

5G503FA01

5G503FA06

5H125AA01

5H125AC12

5H125AC24

5H125FF11

5L096BA04

5L096CA02

5L096DA02

5L096FA67

5L096FA69

(57)【要約】

電気自動車のソケットの位置および向きを判断するための方法および装置であって、ソケットは、一つの固有の挿し込み向きを有する一つの固有の挿し込み位置、及び、一つの固有の挿し込み方向における、充電コネクタの挿し込みに適合するものであり、視覚的な重心を有する前方平面および／または、基準マーカーを有する。方法は、２Ｄカメラに電気自動車の充電場所に対する視野を提供するステップであって、２Ｄカメラは、複数の視野線を備えるカメラ視野を有し、各視野線は、カメラピンホールを起点とする中央視野線の周囲に、中央視野線の周囲の最大角度偏差内で延在し、中央視野線に垂直な焦点面の２Ｄ画像の提供に適合している、ステップと、電気自動車の充電コネクタを挿し込むためのソケットを、カメラ視野内に移動させるステップと、ソケット上の視覚的な重心を通る視野線を視線として定義するステップと、ソケットをカメラで視認して２Ｄ画像を取得するステップと、３Ｄ姿勢推定アルゴリズムによって２Ｄ画像を分析することでカメラピンホールに対するソケットの位置および／または向きを取得するステップと、を含み、車両とカメラは、視線が挿し込み方向と角度をなすように、相互に位置決めされる。

【特許請求の範囲】

【請求項1】

電気自動車のソケットの位置および向きを判断するための方法であって、前記ソケットは、一つの固有の挿し込み向きを有する一つの固有の挿し込み位置、及び、一つの固有の挿し込み方向における、充電コネクタの挿し込みに適合するものであり、前記ソケットは、視覚的な重心を有する前方平面を有し、前記方法は、
２Ｄカメラに電気自動車の充電場所に対する視野を提供するステップであって、前記２Ｄカメラは、複数の視野線を備えるカメラ視野を有し、各視野線は、カメラピンホールを起点とする中央視野線の周囲に、前記中央視野線の周囲の最大角度偏差内で延在し、前記２Ｄカメラは、２Ｄ画像の提供に適合している、ステップと、
前記電気自動車の充電コネクタを挿し込むための前記ソケットを前記カメラ視野内に移動させるステップと、
前記ソケット上の前記視覚的な重心を通る視野線を視線として定義するステップと、
前記ソケットを前記カメラで視認して２Ｄ画像を取得するステップと、
前記カメラピンホールに対する前記ソケットの位置および／または向きを取得するために、３Ｄ姿勢推定アルゴリズムによって前記２Ｄ画像を分析するステップと、
を備え、
前記車と前記カメラは、前記２Ｄ画像を取得する前に前記視線が前記挿し込み方向と角度をなすように、意図的に相互に位置決めされ、その角度は前記２Ｄ画像を取得する間、維持される、
ことを特徴とする、方法。

【請求項2】

請求項１に記載の方法であって、前記ソケット上の前記視覚的な重心は、少なくとも一つの、目的に合うまたは目的を持つ基準マーカーに基づいて決定される、方法。

【請求項3】

請求項２に記載の方法であって、前記基準マーカーは、前記ソケットの少なくとも一部および／またはＱＲコードなどの目的を持つマーカーにより形成されるものであって、前記目的を持つマーカーは、前記前方平面と実質的に平行な平面上に配置される、方法。

【請求項4】

先行する請求項のいずれかに記載の方法であって、前記視覚的な重心は、認識されるべき特徴の凸包の重心である、方法。

【請求項5】

先行する請求項のいずれかに記載の方法であって、前記視線が前記挿し込み方向と角度をなすように、前記電気自動車の充電コネクタを挿し込むための前記ソケットを前記カメラ視野内に移動させるステップは、
前記車を所定の位置および／または向きに位置決めすること、および／または、
前記車の推定位置および／または推定向きに基づいて前記車を移動すること、および／または、
前記車の推定位置および／または推定向きに基づいて前記カメラを移動すること、
の少なくとも一つを含む、方法。

【請求項6】

請求項５に記載の方法であって、前記視線が前記挿し込み方向と角度をなすように、前記電気自動車の充電コネクタを挿し込むための前記ソケットを前記カメラ視野内に移動させるステップは、前記車の推定位置および／または推定向きに基づいて、実質的に直線状に前記カメラを移動することを含む、方法。

【請求項7】

先行する請求項のいずれかに記載の方法であって、前記角度は５度から６０度の間であり、さらに具体的には７度から４５度であり、最も好ましくは１５度である、方法。

【請求項8】

先行する請求項のいずれかに記載の方法であって、前記ソケットの位置および／または向きを判断するために、単一の２Ｄ記録が用いられる、方法。

【請求項9】

請求項１～７のいずれかに記載の方法であって、前記ソケットと前記カメラの両方が同じ相互位置にある状態で撮影された複数の２Ｄ画像に基づいて、前記ソケットの平均的な位置および／または向きを判断することを含む、方法。

【請求項10】

請求項５に記載の方法であって、前記視線が前記挿し込み方向と角度をなすように、前記電気自動車の充電コネクタを挿し込むための前記ソケットを前記カメラ視野内に移動させるステップは、前記ソケットの推定位置および／または推定向きに基づいて前記カメラを移動することを含み、前記方法はさらに、前記ソケットと前記カメラの双方が異なる相互位置にある状態で撮影された複数の２Ｄ画像に基づいて、ソケットの位置および向きを繰り返し判断することを含み、特に、一つの２Ｄ画像についての前記カメラの位置および向きは、少なくとも意図された角度を得るために、先行する２Ｄ画像から得られる情報に基づいて変更される、方法。

【請求項11】

請求項１０に記載の方法であって、前記２Ｄカメラと前記ソケットとの間の距離は、繰り返しの間に減少する、方法。

【請求項12】

先行する請求項のいずれかに記載の方法であって、前記ソケットを照らすことを含む、方法。

【請求項13】

先行する請求項のいずれかに記載の方法であって、前記２Ｄ画像はさらに、衝突なくコネクタを挿し込むために、前記ソケットの周辺領域の衝突監視に用いられる、方法。

【請求項14】

先行する請求項のいずれかに記載の方法であって、前記ソケットと、前記カメラまたはコネクタのような基準点との間の距離を測定することを含む、方法。

【請求項15】

電気自動車を充電するためのコネクタをソケットに接続するための装置であって、
電気自動車の充電場所に対する視野を有するよう位置決めされた、少なくとも一つの２Ｄカメラであって、
複数の視野線を備えるカメラ視野を有し、各視野線は、カメラピンホールを起点とする中央視野線の周囲に、前記中央視野線の周囲の最大角度偏差内で延在し、
２Ｄ画像の提供、特に、前記中央視野線に垂直な平面上に焦点を有する２Ｄ画像の提供に適合している、
２Ｄカメラと、
処理手段であって、
充電器コネクタ用ソケットを有する車が前記カメラ視野内に位置する場合に、前記ソケット上の視覚的な重心を通る前記視野線である視線を定義し、
位置決めされたソケットを前記カメラで視認して２Ｄ画像を取得し、
３Ｄ姿勢推定アルゴリズムによって前記２Ｄ画像を分析することで前記カメラピンホールに対する前記ソケットの位置および／または向きを取得する、ように構成されている、
処理手段と、を備え、
前記処理手段は、車と前記カメラが、前記視線が前記挿し込み方向と角度をなすように、意図的に相互に位置決めされているかどうかを判断するように構成されている、
ことを特徴とする、装置。

【請求項16】

請求項１５に記載の装置であって、駐車地点のマークや、または物理的なストッパー、ブロック、くぼみ、もしくは車の移動を同様に制限するもの、駐車指示を出すために前記車と直接通信する通信手段、または、前記車のドライバーと通信する通信手段といった、前記電気自動車の充電コネクタを挿し込むための前記ソケットを前記カメラ視野内に移動させるための手段を備える、装置。

【請求項17】

請求項１５または１６に記載の装置であって、充電コネクタを接続するための車の前記ソケットを前記カメラ視野内に位置決めする前記手段は、前記カメラを移動する手段を備える、装置。

【請求項18】

請求項１５～１７のいずれかに記載の装置であって、充電コネクタと、前記コネクタを位置決めするための手段を備える、装置。

【請求項19】

請求項１５～１８のいずれかに記載の装置であって、前記カメラは、前記コネクタを位置決めする前記手段と機械的に結合している、装置。

【請求項20】

請求項１５～１９のいずれかに記載の装置であって、前記カメラは、前記コネクタに対して移動可能である、装置。

【請求項21】

請求項１５～２０のいずれかに記載の装置であって、前記カメラは前記充電場所に対して堅固に配置されている、および／または、前記処理手段は運転または位置決め指示を車に送信する通信手段を備えている、装置。

【請求項22】

請求項１５～２１のいずれかに記載の装置であって、光源またはスポットといった、前記ソケットを照らすための照射手段を備えている、装置。

【請求項23】

請求項１５～２２のいずれかに記載の装置であって、衝突なくコネクタを挿し込むために、前記２Ｄ画像を使用して前記ソケットの周辺領域の衝突監視を行うように構成されている、装置。

【請求項24】

請求項１５～２３のいずれかに記載の装置であって、前記ソケットと、前記カメラまたはコネクタといった基準点との間の距離を判断するための距離センサを備えている、装置。

【発明の詳細な説明】

【発明の詳細な説明】

【0001】

本発明は、電気自動車のソケットの位置および向きを判断するための方法および装置に関する。より具体的には、本発明は、車両のソケットに充電コネクタを自動的に接続する目的をもって、自動化された方法でそのようにするための方法および装置に関する。

【0002】

電気自動車の充電に関するすべての取り扱いを自動化することが常に目指されている。ワイヤレス充電システムについて様々な試みがなされたが、技術的な簡便さとエネルギー効率の理由から、導電性充電が依然として好まれている。しかし、充電器コネクタを車両のソケットに接続することは、未だに面倒と考えられているかもしれない。特に大型フリート車の所有者の場合、車両の物理的な接続が自動的に行われると有益だと考えられるかもしれない。

【0003】

この物理的な接続を行う際の課題は、コネクタを中に挿し込む前に、コネクタをソケット内で正確に位置決めすることである。これは数ミリメートルより小さい範囲の精度で行われなければならない。すなわち、この精度は、コネクタを中に挿し込むための装置によって満たされるものであって、車両によって満たされるものではないことを暗に示す。現在のところ、車両を数センチメートルの精度で自動的に位置決めすることはできない。

【0004】

適正な速度で車両を接続するためには、充電器はできるだけ迅速に位置決めする必要があるが、安全な条件下で、かつ、車両に損傷を与えずに行う必要がある。そのためには、ソケットの位置および向きを詳細に判断する必要がある。６自由度（６ＤＯＦ）における位置および向きの判断は、複数のカメラまたは３Ｄビューイング技術を用いて行われることが通常である。しかし、これらは通常、場所を取り、かつ、経済面で必ずしも実現可能とは限らない。

【0005】

単独の２Ｄカメラを用いた解決策もある。しかし、ソケットの位置および向きを所望の精度で常に判断することを確実に行うことは、依然として課題である。
２０１９年１２月６日発行のＩＥＥＥ議事録、２９５８－２９６３ページに掲載された論文「Ａ ｒｏｂｏｔｉｃ ｃｈａｒｇｉｎｇ ｓｃｈｅｍｅ ｆｏｒ ｅｌｅｃｔｒｉｃ ｖｅｈｉｃｌｅｓ ｂａｓｅｄ ｏｎ ｍｏｎｏｃｕｌａｒ ｖｉｓｉｏｎ ａｎｄ ｆｏｒｃｅ ｐｅｒｃｅｐｔｉｏｎ（単眼視と力知覚に基づく、電気自動車のためのロボット充電スキーム）」は、カメラとコネクタがロボットのエンドエフェクタに堅固に接続されたシステムを開示している。カメラ画像からの姿勢推定に基づいて、コネクタが「接近位置」へＬ字運動することに言及している。これはまさに、画像を撮影するためには、カメラがソケットに対する相対位置（論文はこれを開始位置と呼ぶ）を有する必要があることを意味するが、この相対位置が何であるかについては言及されておらず、画像を記録する前のソケットの位置または向きに関する事前知識を使用する一方で、カメラまたはソケットの位置決めをすることについて言及がない。画像分析後に、コネクタをソケットに位置合わせする。

【0006】

したがって、本発明とは対照的に、この論文では、ソケットに対するカメラの位置決め（またはその逆）については何ら明示的に言及されておらず、ソケットに対するカメラの位置合わせまたは意図的な位置ずれも言及されておらず、特に、カメラ移動によってであることも、画像解析のような、事前に得られた情報に基づいてであることも、言及されていない。

【0007】

米国特許出願公開第２０２１／０８６６４３号明細書は、挿し込み方向と、認識されるべき基準特徴（フィデューシャル特徴）の平面を貫く直交軸とが揃う必要のないシステムを開示している。さらに、２Ｄ画像を取得するときに、カメラがソケット上の視野を有する必要もない。

【0008】

本発明の目的は、先行技術の不利益を取り除くこと、および／または、先行技術に代わる有用な代替技術を提供することである。
それに対し本発明が提案するのは、電気自動車のソケットの位置および向きを判断するための方法であって、ソケットは、一つの固有の挿し込み向きを有する一つの固有の挿し込み位置、及び、一つの固有の挿し込み方向における、充電コネクタの挿し込みに適合するものであり、ソケットは、視覚的な重心を有する前方平面を有し、
方法は、
２Ｄカメラに電気自動車の充電場所に対する視野を提供するステップであって、２Ｄカメラは、複数の視野線を備えるカメラ視野を有し、各視野線は、カメラピンホールを起点とする中央視野線の周囲に、中央視野線の周囲の最大角度偏差内で延在し、２Ｄカメラは、２Ｄ画像の提供に適合している、ステップと、
電気自動車の充電コネクタを挿し込むためのソケットを、カメラ視野内に移動させるステップと、
ソケットの視覚的な重心を通る視野線を視線として定義するステップと、
ソケットをカメラで視認して２Ｄ画像を取得するステップと、
３Ｄ姿勢推定アルゴリズムによって２Ｄ画像を分析することで、カメラピンホールに対するソケットの位置および／または向きを取得するステップと、
を備え、
車両とカメラは、２Ｄ画像を取得する前に視線が挿し込み方向と角度をなすように、意図的に相互に位置決めされ、その角度は２Ｄ画像を取得する間維持される、方法である。

【0009】

本発明による方法は、視線が、挿し込み方向と既知のおよび／または所定の角度をなすように、車両とカメラを位置決めすることを含んでもよい。
３Ｄ姿勢推定アルゴリズムは、目的に合うまたは目的を持つ基準マーカー（フィデューシャルマーカー）を検出するための特徴認識アルゴリズムと、基準マーカーの、認識された基準特徴（フィデューシャル特徴）を前提として、姿勢を推定するアルゴリズムとの組み合わせを含んでもよい。この説明は、参照によって本明細書に援用されるオランダ特許出願ＮＬ２０３０４５８号においてもなされている。

【0010】

特徴認識アルゴリズムとは、例えば、畳み込みニューラルネットワークアルゴリズム、または、「Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（見るのは一度だけ）」（ＹＯＬＯ）モデルに基づくアルゴリズムでもよい。姿勢推定アルゴリズムとは、例えば、Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ（ＰｎＰ）アルゴリズム（ＳｏｌｖｅＰｎＰ等）、または、ランダムサンプルコンセンサス（ｒａｎｓａｃ）アルゴリズムでもよい。一般的には、基準マーカーは、一つまたは複数の基準特徴から構成されるものであり、基準特徴は、その形状、コントラスト、色などによって認識可能である。適切な特徴は、通常、勾配または急な遷移（エッジ）であって、それらは、線、曲線もしくは角、または他の複雑な視覚的特徴を構成してもよい。

【0011】

目的を持つ基準マーカーとは、例えば、ＱＲコード、エイプリルタグなど、または、認識されることを主目的とする幾何学的特徴でもよい。
目的に合う基準マーカーとは、本明細書では、ソケットの接続機能性でもよいし、その一部を形成するものでもよい。ソケットの接続機能性は、例えばＩＥＣ６２１９６などの国際規格や別の設計仕様において定義された、文書化された形状を持つ充電ソケットの特徴を備えていてもよく、その特徴は、記録で視認可能なものである。接続機能性は、電気的に、および／または、機械的に、および／または、物理的に、コネクタを結合するためのソケットの部分により形成されてもよく、そういったソケットの部分を備えてもよい。電気絶縁部品も備えられてもよい。一般に、コネクタを受けるための（逆）形状は、具体的には導電性ピン、および非導電性の本体と同様、接続機能性とみなしてもよい。

【0012】

ソケットの姿勢を推定するために２Ｄカメラを使用し、そして、記録された画像において、視線と直交する少なくとも一つの軸の周囲でソケットの前方平面が効果的に角度をなすように、意図的にカメラとソケットを設置するとき、その軸の周囲の角度の推定は向上する。

【0013】

これを意図的に行うということは、ソケットの位置および／または向きの事前知識に基づいて、視線が挿し込み方向と角度をなすように、電気自動車の充電コネクタを挿し込むためのソケットをカメラ視野内へ目的をもって移動させることを意味する。この事前知識とは、先行記録、カメラ以外のセンサ（例えば、距離センサ）からのデータ、または、車両とインフラストラクチャ（例えば、線、ブロック、柵等を用いて、カメラに対して特定の車両を特定の位置および向きに強制的に駐車させること）の設計であってもよい。

【0014】

実際には、ソケット、すなわち、大部分においては特にその表面と接する平面は、そのように得られた画像において、視線と直交する少なくとも一つの軸の周囲で回転させることが好ましい。視線の周囲で回転するだけでは、有益ではない。代替的な前方平面または代替的な基準マーカーを使用することも可能である。特に、汎用基準マーカー（ソケットそのものを含む）を使用するとき、前方平面は、２Ｄ画像において、基準マーカーの特徴がもっとも視認可能な平面として定義される。言い換えれば、平坦な表面上の２Ｄ基準マーカーにとって、前方平面は、その表面と平行な面、または、その表面と一致する面である。

【0015】

特に、ソケットを基準マーカーとして使用するとき、前方平面と直交する軸は、挿し込み方向と実質的に平行である。
つまり、本発明によれば、前方平面の２Ｄ画像を撮影するとき、カメラから視覚的な重心までの視野線は、前方平面と直交する軸に対して角度を有する。

【0016】

どの場合でも、前方平面と直交する軸は挿し込み方向と実質的に平行であるべきである。このことが意味するのは、これら２つの軸間の角度は、好ましくは１５度より小さく、さらに好ましくは７度より小さく、最も好ましくは５度より小さくすべきということである。これらの軸を実質的に平行とすることは、ソケットが車両のサイドボディ（またはフロントやリア）に位置しているとき、本方法を適用するのに有益である。

【0017】

本発明による方法を適用するとき、位置の大まかな推定は前もってなし得ること、および／または、カメラを移動させるなどして、ソケットをカメラ視野内に移動させる手段があることが想定される。留意すべきは、中央視野線の周囲の最大の角度偏差は、一定角度である必要はないことである。結果として、角度の「束」の合計は、円錐形である必要はない。楕円形または長方形の断面を有していてもよい。

【0018】

実際、視覚的な重心はランダムに選択し得るが、論理的な選択としては、例えばソケットのピンの凸包内など、認識されるべき特徴の凸包内であってもよく、例えばＣＣＳ－２ソケットでは、ソケットの前方平面の、２つのＤＣ接触器間の中心点、またはＡＣコネクタの中心の（データ）ピンである。認識に使用される特徴のタイプによって、選択は左右される。特に、視覚的な重心は、認識されるべき特徴の凸包の重心であり、特に、ソケットの複数のピンの凸包の重心である。

【0019】

上述したようなソケット上の視覚的な重心の選択は、少なくとも一つの、目的に合うまたは目的を持つ基準マーカーに基づいて判断してもよく、特に、基準マーカーは、ソケットの少なくとも一部もしくはソケットの凸包内の点、および／または、ＱＲコードなどの目的を持つマーカーもしくはソフトウェアで比較的容易に認識するための任意のその他の手段により形成され、目的を持つマーカーは、前方平面と実質的に平行な平面上に配置されている。このマーカーは、特にこの目的のためにソケットに付してもよいが、例えば、一定のパターンで、かつ、互いに既知の距離にあるピンや穴によって、ソケットに元々存在してもよい。視覚的な重心は、認識されるべき特徴の凸包の重心であってもよい。

【0020】

充電器コネクタ用ソケットを有する車両を、視線が挿し込み方向と角度をなすように、カメラ視野内に位置決めするステップは、可能な限り正確に、車両を所定の位置に位置決めすることによって行ってもよい。これは、特にフリート車、例えばバスやタクシーなどの既知の車両にとって、または、接近する車両に基づきガイダンスが適用される場合に、最も有用である。これを可能にするために、インフラストラクチャは、充電コネクタおよび／または充電コネクタの近傍に配置された２Ｄカメラに対して、意図した位置にかつ意図した向きで、電気自動車を駐車し得るまたは電気自動車が自らを駐車するような案内機能を備えていてもよい。このような充電コネクタは、一定のエリア内で自動的に移動可能であってもよい。

【0021】

あるいは、充電器コネクタ用ソケットを有する車両を、視線が挿し込み方向と角度をなすように、カメラ視野内に位置決めするステップは、車両の推定位置および／または推定向きに基づいて、車両を移動することによって行ってもよい。例えば、車両の移動は、第一の推定位置に基づいて、車両に移動指示を送ることによって行い得る。この第一の推定は、上述したものと同様の手段で行うこともできるが、ソケットとインフラストラクチャ上の基準点との間の距離センサのような、他の検出方法に由来してもよい。これに対して本発明による方法は、車両自体を移動するために、車両に指示を送ることを備えていてもよい。これは、車両が（無線）通信するように構成されていれば、車両がこのフィードバックにおいて自発的に応答するときか、あるいは遠隔で操作可能なときに、可能となる。代替方法として、車両の運転手に指示を与えてもよい。

【0022】

しかし、好ましい実施形態では、車両の、既知のまたは推定位置および／または推定向きに基づいて、カメラを移動する。この実施形態では、充電器、および充電コネクタを車両のソケットに移動して中に挿し込む手段を備える駐車充電インフラストラクチャの近傍に、車両を駐車してもよい。電気自動車の充電コネクタを挿し込むためのソケットをカメラ視野内に移動させるには、ソケットが視野に入るように、または、カメラを移動することによってソケットが視野に入って来るように、電気自動車を駐車する。オプションとして、次に、ソケットの位置および／または向きを大まかに推定するために写真を撮影したり、またはソケットとインフラストラクチャ上の基準点との間の距離センサのような他の検出手段を用いたりする。次のステップでは、次に、その大まかな推定に基づいてカメラは移動されて、視線が挿し込み方向と角度をなすようにして、新しい、より正確な推定が得られるようにする。

【0023】

最も複雑にならずに現実的に実現させ続けるためには、効果的な移動は、好ましくは並進であり得る。一般的に、直線に沿ってカメラを移動することは、視線に沿って単に並進するのは例外として、挿し込み方向に対して視線を回転させる効果、および、それにより視野と、得られる２Ｄ画像を変化させる効果がある。構成された動きもオプションであって、回転と並進の組み合わせは所望の効果を発揮する。しかし、単に回転するだけでは、中央視野に対する視線は変化するが、視線と挿し込み方向との間の角度は変化しないため、所望の効果は得られない。

【0024】

精度を高めるには、角度は、好ましくは５度から６０度の間、さらに好ましくは７度から４５度の間、最も好ましくは１５度である。０度周辺の角度のわずかな変動は気づきにくいため、０度周辺の角度の推定はノイズの影響を受けやすい。しかし、９０度の角度では、ソケットの前面が視線と揃ってしまうため、２Ｄ画像では視認できなくなる。また、角度が大きくなるほど、２Ｄカメラ視野上の画素の単位では、ソケットは小さくなる。言い換えれば、角度を大きくするとき、前方平面上の表面の視認性は低下する。つまり、２Ｄ記録では、９０度に近づくとき、面は線へと収束する。とはいえ、９０度の角度では、表面の可視幅の勾配が最大となるため、姿勢推定アルゴリズムは最も敏感になる可能性がある。トレードオフの結果、実験的に最適と判断されたものとして前述の角度を提供するものである。

【0025】

上記の角度は、２Ｄ記録における認識可能な特徴の視認性（またはサイズ）と、ソケットの向きを判断する感度との間のトレードオフにおいて、最適を成すように、実験的に判断されたものである。

【0026】

並進によって角度を得る例として、５度の差は、挿し込み方向に５５ｃｍをやや超える位置にカメラを置いた状態で、挿し込み方向と直交して約５ｃｍ並進することに相当する。これは、ほぼＣＣＳソケットの幅であり、またはその高さの半分である。

【0027】

充電コネクタ挿し込み用のソケットの位置および向きは、好ましくは、単一の画像に基づいて判断してもよい。つまり、位置および向きの算出には、単一の画像が用いられるということである。しかし、車両やカメラの位置を変えずに、複数の２Ｄ画像が撮影されてもよいし、各２Ｄ画像がその後、ソケットの位置および向きを判断するために使用されてもよい。その後、平均的な向きと位置が判断される。これにより、状況によっては、より良い位置および向きを判断することにつながる可能性がある。

【0028】

本発明による方法はさらに、ソケットとカメラとが同じ相互位置および相互向きにある状態で２Ｄ画像を繰り返し取得してエラーを平均化するステップ、ソケットの位置を繰り返し推定してエラーを平均化するステップ、または、拡大された、または、光学的にもしくは物理的にズームインされた視野で２Ｄ画像を取得して、より高い精度で判断された位置および／または向きを得るステップ、のうち、少なくとも一つのステップを含んでもよい。

【0029】

代替的にまたは追加的に、本発明による方法は、ソケットとカメラとの相互位置および相互向きを変えつつ、２Ｄ画像を用いてソケットの位置および／または向きの判断を繰り返すことを含んでもよく、車両またはカメラは、画像を撮影する間に移動される。

【0030】

言い換えれば、視線が挿し込み方向と角度をなすように、電気自動車の充電コネクタを挿し込むためのソケットをカメラ視野内に移動させるステップは、ソケットの推定位置および／または推定向きに基づき、カメラを移動することを含むものであって、方法はさらに、ソケットとカメラの双方が異なる相互位置にある状態で撮影された複数の２Ｄ画像に基づいて、ソケットの位置および向きを繰り返し判断することを含み、特に、一つの２Ｄ画像についてのカメラの位置および向きは、先行する２Ｄ画像から得られる情報に基づいて変更される。コネクタをソケットに挿し込むとき、カメラはコネクタに結合していてもよいし、コネクタと同時に移動されてもよい。

【0031】

一実施形態における２Ｄカメラとソケットとの間の距離は、上述したような繰り返しの間、または一般的にはコネクタを挿し込む間、減少してもよい。ソケットに近づくことで、ソケットの位置および／または向きをより正確に判断できる可能性がある。

【0032】

ソケットの位置および／または向きの判断は、特に日陰や夜間の場合にソケットを照らすことによって、さらに改善できる可能性がある。
さらなる実施形態において、２Ｄ画像は、衝突なくコネクタを挿し込むために、ソケット周辺領域の衝突監視に使用してもよい。そうしないと、例えば、側面でヒンジ留めされることのあるソケットの蓋、またはソケットの近傍の他の物体もしくは車両部品と衝突してしまう可能性がある。

【0033】

本発明による方法は、ソケットと、カメラまたはコネクタのような基準点との間の距離を、距離センサを用いて測定することをさらに含んでもよい。そういったセンサから得られた情報は、ソケットの位置および向きを、より正確にかつ、可能性としてより迅速に判断する助けとなる。

【0034】

また、本発明は、電気自動車を充電するためのコネクタをソケットに接続するための装置に関するものであり、電気自動車の充電場所に対する視野を有するように位置決めされた、少なくとも一つの２Ｄカメラであって、２Ｄカメラは、複数の視野線を備えるカメラ視野を有し、各視野線は、カメラピンホールを起点とする中央視野線の周囲に、中央視野線の周囲の最大角度偏差内で延在し、２Ｄ画像の提供、特に中央視野線に垂直な平面上に焦点を有する２Ｄ画像の提供に適合している、２Ｄカメラと、処理手段であって、充電器コネクタ用ソケットを有する車両がカメラ視野内に位置する場合に、ソケット上の視覚的な重心を通る視野線である視線を定義し、位置決めされたソケットをカメラで視認して２Ｄ画像を取得し、３Ｄ姿勢推定アルゴリズムによって２Ｄ画像を分析することでカメラピンホールに対するソケットの位置および／または向きを取得する、ように構成されている処理手段と、を備え、処理手段は、車両とカメラが、視線が挿し込み方向と角度をなすように、相互に位置決めされているかどうかを判断するように構成されている、ことを特徴とする、装置に関する。

【0035】

本発明による装置は、電気自動車の充電コネクタを挿し込むためのソケットをカメラ視野内に移動させる手段をさらに備えてもよい。それは、例えば、駐車地点のマーク、または物理的なストッパー、ブロック、くぼみ、もしくは車両の動きに対する同様のリミッターであってもよく、駐車指示を出すために車両と直接通信する通信手段、または、車両のドライバーと通信する通信手段であってもよい。

【0036】

充電器コネクタ用ソケットを有する車両をカメラ視野内に位置決めする手段は、カメラを移動する手段を含んでいてもよい。装置は、充電コネクタと、コネクタを位置決めする手段をさらに備えていてもよい。カメラは、コネクタを位置決めする手段と機械的に結合していてもよいし、特に車両の運転方向において、コネクタに対して移動可能であってもよい。あるいは、カメラは充電場所に対して堅固に設置されていてもよいし、処理手段は、運転または位置決め指示を車両に送信する通信手段を含んでいてもよい。

【0037】

本発明による装置は、光源やスポットといった、ソケットを照らすための照射手段をさらに備えていてもよい。あるいは、車両が、ソケットを照らすためのライトを備えていてもよい。

【0038】

また、装置は、衝突なくコネクタを挿し込むために、２Ｄ画像を使用することでソケット周辺領域の衝突監視するように構成されていてもよい。そうでない場合、例えば、ソケットの蓋もしくは車両の他の突出部、またはその周辺領域と衝突してしまう可能性がある。

【0039】

本発明による装置は、ソケットと、カメラまたはコネクタのようなインフラストラクチャ上の基準点との間の距離を判断するための距離センサをさらに備えていてもよい。

【図面の簡単な説明】

【0040】

ここで、以下の図面を参照して、本発明をより詳細に説明する。

【図1a】充電コネクタ用ソケットの外観を示す。

【図1b】充電コネクタ用ソケットの外観を示す。

【図2a】本発明によらない、ソケットとカメラの相互の向きを概略的に示す。

【図2b】本発明によらない、ソケットとカメラの相互の向きを概略的に示す。

【図2c】本発明によらない、ソケットとカメラの相互の向きを概略的に示す。

【図3a】本発明による、ソケットとカメラの相互の向きを概略的に示す。

【図3b】本発明による、ソケットとカメラの相互の向きを概略的に示す。

【図3c】本発明による、ソケットとカメラの相互の向きを概略的に示す。

【図4a】本発明による方法のステップを概略的に示す。

【図4b】本発明による方法のステップを概略的に示す。

【図4c】本発明による方法のステップを概略的に示す。

【発明を実施するための形態】

【0041】

図１ａは、充電コネクタを受けるための車両ソケット１の正面図を示す。車両ソケットは、カメラ画像上で認識できる形状と特徴を有する。カメラによって得られる実際の画像は、カメラに対するソケットの位置および向きに左右される。図１ａでは、ＤＣ充電用の２つのコネクタ穴間の距離Ａと、ＤＣ充電用のコネクタ穴のうちの一つとＡＣ充電用のコネクタ穴のうちの一つとの間の距離Ｂとが示される。また、ＡＣ充電用の穴からデータ接続用の穴への２本の仮想交差線間の角度αと、挿し込み方向Ｐ（用紙にまっすぐ挿し込まれる）および回転軸Ｃが示される。その回転軸Ｃの周囲を、同じソケット１がある角度だけ回転した様子が、図１ｂで描かれている。

【0042】

図１ｂは、回転軸Ｃの周囲である角度だけ回転した同一のソケット１を示しており、図１ａに対して回転せず、ピンホールが同じ位置のままのカメラから見たものである。図１ｂでは、ＤＣ充電用の２つのコネクタ穴間の距離Ａ’と、ＤＣ充電用のコネクタ穴のうちの一つとＡＣ充電用のコネクタ穴のうちの一つとの間の距離Ｂ’とが示される。また、ＡＣ充電用の穴からデータ接続用の穴への２本の仮想交差線間の角度α’と、挿し込み方向Ｐ（用紙に対して角度を持つ）および回転軸Ｃとが示される。カメラから見ると、距離Ａ’は距離Ａよりずっと短く、距離Ｂ’はＢよりわずかに小さく（回転した結果、間に距離Ｂを示すコネクタ穴がカメラから少し遠くなっているため）、角度αがより大きくなっている。充電器用ソケットの既知の寸法を前提に、３Ｄ姿勢推定アルゴリズムを用いると、カメラピンホールに対するソケットの位置および／または向きを判断することができる。

【0043】

図１ａおよび図１ｂにおいて、例えば、交差Ｘの中心または矢印Ａと軸Ｃとの交点は、視覚的な重心として選択されてもよい。
図２ａ～図２ｃはそれぞれ、２Ｄカメラ２０を示しており、２Ｄカメラ２０は複数の視野線を備えるカメラ視野２１を有するものであり、各視野線は、カメラピンホール２７を起点とする中央視野線２６の周囲に、中央視野線２６の周囲の最大角度βの偏差内で延在し、中央視野線に垂直な焦点面の２Ｄ画像の提供に適合するものである。中央視野線２６と、カメラピンホール２７からソケット上の視覚的な重心２８への視線との間のカメラ角度γは、あらゆる状況で異なるが、視線２２は、充電コネクタをソケットに挿し込むための挿し込み方向２４と常に平行である。

【0044】

図３ａ～図３ｃは同様の状況を示しているが、視線２６と挿し込み方向２４との間の角度δを得る向きを有している。この状況は図１ｂと同等であり、３Ｄ姿勢推定アルゴリズムによって、ソケットの位置および向きを判断することを可能にする。

【0045】

図４ａ～図４ｃは、電気自動車３１のソケット３０の位置および向きを判断するための本発明による方法の後続ステップと、視覚的な重心３５を有する前方と、を示しており、ソケット３１は、一つの固有の挿し込み向きを有する一つの固有の挿し込み位置３３、及び、一つの固有の挿し込み方向３４における、充電コネクタ３２の挿し込みに適合している。２Ｄカメラ３６には、電気自動車３１の充電場所Ｌに対する視野が提供される。２Ｄカメラは複数の視野線を備えるカメラ視野を有し、各視野線は、カメラピンホールを起点とする中央視野線の周囲に、中央視野線の周囲の最大角度偏差内で延在し（用語の定義については図２ａ、図２ｂ、図２ｃ、および図３ａ、図３ｂ、図３ｃを参照。当該用語の定義は図４ａ～図４ｃに図示される状況にも適用可能。）、中央視野線に垂直な平面上に焦点を有する２Ｄ画像の提供に適合している。車両３１を方向３７に移動させることで、ソケット３０は、カメラ視野内に導かれる。次のステップとして、カメラ３６を矢印方向４０に移動して、ソケット上の視覚的な重心を通る視野線３８、３９（視線）が、挿し込み方向３４と角度をなすようにする。図４ｂにおいて、視線３８はまだそうなっていないが、図４ｃにおいて、カメラを方向４０に移動した後、視線３９はそうなっている。次のステップとして、３Ｄ姿勢推定アルゴリズムによる分析を行ってカメラピンホール４１に対するソケットの位置および／または向きを取得するために、ソケット３０はカメラ３６によって視認され、２Ｄ画像が取得される。次のステップとして、判断された向きと位置に基づいて、充電コネクタ３２は、ソケット３０内に自動的に挿し込まれることが可能になる。

【0046】

上述した実施形態は例示にすぎず、以下の特許請求の範囲に定義される本発明の保護範囲を限定するものではない。

【図1a】

【図1b】

【図2a】

【図2b】

【図2c】

【図3a】

【図3b】

【図3c】

【図4a】

【図4b】

【図4c】

【手続補正書】

【提出日】2023-03-06

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

電気自動車のソケットの位置および向きを判断するための方法であって、前記ソケットは、一つの固有の挿し込み向きを有する一つの固有の挿し込み位置、及び、一つの固有の挿し込み方向における、充電コネクタの挿し込みに適合するものであり、前記ソケットは、視覚的な重心を有する前方平面を有し、前記方法は、
２Ｄカメラに電気自動車の充電場所に対する視野を提供するステップであって、前記２Ｄカメラは、複数の視野線を備えるカメラ視野を有し、各視野線は、カメラピンホールを起点とする中央視野線の周囲に、前記中央視野線の周囲の最大角度偏差内で延在し、前記２Ｄカメラは、２Ｄ画像の提供に適合している、ステップと、
前記電気自動車の充電コネクタを挿し込むための前記ソケットを前記カメラ視野内に移動させるステップと、
前記ソケット上の前記視覚的な重心を通る視野線を視線として定義するステップと、
前記ソケットを前記カメラで視認して２Ｄ画像を取得するステップと、
前記カメラピンホールに対する前記ソケットの位置および／または向きを取得するために、３Ｄ姿勢推定アルゴリズムによって前記２Ｄ画像を分析するステップと、
を備え、
前記車と前記カメラは、前記２Ｄ画像を取得する前に前記視線が前記挿し込み方向と角度をなすように、意図的に相互に位置決めされ、その角度は前記２Ｄ画像を取得する間、維持される、
ことを特徴とする、方法。

【請求項2】

請求項１に記載の方法であって、前記角度は５度から６０度の間である、方法。

【請求項3】

請求項１に記載の方法であって、前記ソケット上の前記視覚的な重心は、少なくとも一つの、目的に合うまたは目的を持つ基準マーカーに基づいて決定される、方法。

【請求項4】

請求項３に記載の方法であって、前記基準マーカーは、前記ソケットの少なくとも一部および／またはＱＲコードなどの目的を持つマーカーにより形成されるものであって、前記目的を持つマーカーは、前記前方平面と実質的に平行な平面上に配置される、方法。

【請求項5】

先行する請求項のいずれかに記載の方法であって、前記視覚的な重心は、認識されるべき特徴の凸包の重心であり、前記認識されるべき特徴は、前記ソケットのピンである、方法。

【請求項6】

先行する請求項のいずれかに記載の方法であって、前記視線が前記挿し込み方向と角度をなすように、前記電気自動車の充電コネクタを挿し込むための前記ソケットを前記カメラ視野内に移動させるステップは、
前記車を所定の位置および／または向きに位置決めすること、および／または、
前記車の推定位置および／または推定向きに基づいて前記車を移動すること、および／または、
前記車の推定位置および／または推定向きに基づいて前記カメラを移動すること、
の少なくとも一つを含む、方法。

【請求項7】

請求項６に記載の方法であって、前記視線が前記挿し込み方向と角度をなすように、前記電気自動車の充電コネクタを挿し込むための前記ソケットを前記カメラ視野内に移動させるステップは、前記車の推定位置および／または推定向きに基づいて、実質的に直線状に前記カメラを移動することを含む、方法。

【請求項8】

先行する請求項のいずれかに記載の方法であって、前記角度は７度から４５度であり、最も好ましくは１５度である、方法。

【請求項9】

先行する請求項のいずれかに記載の方法であって、前記ソケットの位置および／または向きを判断するために、単一の２Ｄ記録が用いられる、方法。

【請求項10】

請求項１～８のいずれかに記載の方法であって、前記ソケットと前記カメラの両方が同じ相互位置にある状態で撮影された複数の２Ｄ画像に基づいて、前記ソケットの平均的な位置および／または向きを判断することを含む、方法。

【請求項11】

請求項６に記載の方法であって、前記視線が前記挿し込み方向と角度をなすように、前記電気自動車の充電コネクタを挿し込むための前記ソケットを前記カメラ視野内に移動させるステップは、前記ソケットの推定位置および／または推定向きに基づいて前記カメラを移動することを含み、前記方法はさらに、前記ソケットと前記カメラの双方が異なる相互位置にある状態で撮影された複数の２Ｄ画像に基づいて、ソケットの位置および向きを繰り返し判断することを含み、特に、一つの２Ｄ画像についての前記カメラの位置および向きは、少なくとも意図された角度を得るために、先行する２Ｄ画像から得られる情報に基づいて変更される、方法。

【請求項12】

請求項１１に記載の方法であって、前記２Ｄカメラと前記ソケットとの間の距離は、繰り返しの間に減少する、方法。

【請求項13】

先行する請求項のいずれかに記載の方法であって、前記ソケットを照らすことを含む、方法。

【請求項14】

先行する請求項のいずれかに記載の方法であって、前記２Ｄ画像はさらに、衝突なくコネクタを挿し込むために、前記ソケットの周辺領域の衝突監視に用いられる、方法。

【請求項15】

先行する請求項のいずれかに記載の方法であって、前記ソケットと、前記カメラまたはコネクタのような基準点との間の距離を測定することを含む、方法。

【請求項16】

電気自動車を充電するためのコネクタをソケットに接続するための装置であって、
電気自動車の充電場所に対する視野を有するよう位置決めされた、少なくとも一つの２Ｄカメラであって、
複数の視野線を備えるカメラ視野を有し、各視野線は、カメラピンホールを起点とする中央視野線の周囲に、前記中央視野線の周囲の最大角度偏差内で延在し、
２Ｄ画像の提供、特に、前記中央視野線に垂直な平面上に焦点を有する２Ｄ画像の提供に適合している、
２Ｄカメラと、
処理手段であって、
充電器コネクタ用ソケットを有する車が前記カメラ視野内に位置する場合に、前記ソケット上の視覚的な重心を通る前記視野線である視線を定義し、
位置決めされたソケットを前記カメラで視認して２Ｄ画像を取得し、
３Ｄ姿勢推定アルゴリズムによって前記２Ｄ画像を分析することで前記カメラピンホールに対する前記ソケットの位置および／または向きを取得する、ように構成されている、
処理手段と、を備え、
前記処理手段は、車と前記カメラが、前記視線が前記挿し込み方向と角度をなすように、意図的に相互に位置決めされているかどうかを判断するように構成されている、
ことを特徴とする、装置。

【請求項17】

請求項１６に記載の装置であって、駐車地点のマークや、または物理的なストッパー、ブロック、くぼみ、もしくは車の移動を同様に制限するもの、駐車指示を出すために前記車と直接通信する通信手段、または、前記車のドライバーと通信する通信手段といった、前記電気自動車の充電コネクタを挿し込むための前記ソケットを前記カメラ視野内に移動させるための手段を備える、装置。

【請求項18】

請求項１６または１７に記載の装置であって、充電コネクタを接続するための車の前記ソケットを前記カメラ視野内に位置決めする前記手段は、前記カメラを移動する手段を備える、装置。

【請求項19】

請求項１６～１８のいずれかに記載の装置であって、充電コネクタと、前記コネクタを位置決めするための手段を備える、装置。

【請求項20】

請求項１６～１９のいずれかに記載の装置であって、前記カメラは、前記コネクタを位置決めする前記手段と機械的に結合している、装置。

【請求項21】

請求項１６～２０のいずれかに記載の装置であって、前記カメラは、前記コネクタに対して移動可能である、装置。

【請求項22】

請求項１６～２１のいずれかに記載の装置であって、前記カメラは前記充電場所に対して堅固に配置されている、および／または、前記処理手段は運転または位置決め指示を車に送信する通信手段を備えている、装置。

【請求項23】

請求項１６～２２のいずれかに記載の装置であって、光源またはスポットといった、前記ソケットを照らすための照射手段を備えている、装置。

【請求項24】

請求項１６～２３のいずれかに記載の装置であって、衝突なくコネクタを挿し込むために、前記２Ｄ画像を使用して前記ソケットの周辺領域の衝突監視を行うように構成されている、装置。

【請求項25】

請求項１６～２４のいずれかに記載の装置であって、前記ソケットと、前記カメラまたはコネクタといった基準点との間の距離を判断するための距離センサを備えている、装置。

【国際調査報告】