特開 2025-20862 移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025020862

(43)【公開日】2025-02-13

(54)【発明の名称】移動体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250205BHJP

【ＦＩ】

G06T7/00 650A

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023124485

(22)【出願日】2023-07-31

(71)【出願人】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】篠田 圭介

(72)【発明者】

【氏名】川坂 亘史

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA04

5L096CA02

5L096CA17

5L096DA01

5L096FA69

5L096JA11

(57)【要約】

【課題】カメラによる撮影画像と地図データとの照合の精度を向上できるようにする。
【解決手段】移動体は、路面の画像を撮影する路面撮影装置を備える。路面撮影装置は、路面を臨むように配置されたカメラと、カメラの撮影領域に光を照射する少なくとも１つの光源と、事前に撮影された路面の画像を地図データとして記憶する記憶装置と、地図データとカメラにより撮影された画像とを照合し、移動体の自己位置を推定するプロセッサと、を含む。少なくとも１つの光源は、照射した光のうち反射光がカメラによって撮影されるように配置されている。路面撮影装置は、撮影領域を外部光から遮断するようにカメラ及び光源の周囲に配置された遮光板をさらに備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

路面の画像を撮影する路面撮影装置を備える移動体であって、
前記路面撮影装置は、
路面を臨むように配置されたカメラと、
前記カメラの撮影領域に光を照射する少なくとも１つの光源と、
事前に撮影された路面の画像を地図データとして記憶する記憶装置と、
前記地図データと前記カメラにより撮影された画像とを照合し、前記移動体の自己位置を推定するプロセッサと、
を含み、
前記少なくとも１つの光源は、照射した光のうち反射光が前記カメラによって撮影されるように配置され、
前記路面撮影装置は、前記撮影領域を外部光から遮断するように前記カメラ及び前記光源の周囲に配置された遮光板をさらに備える
ことを特徴とする移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、移動体の自己位置を推定する技術に関する。

【背景技術】

【0002】

特許文献１は、路面画像を用いて自律走行車の自己位置を推定する技術を開示している。この技術によれば、自己位置は、カメラによって撮影された車体下方の路面の画像から抽出された特徴と、予め撮影された地図画像（地図データ）から抽出された特徴とを比較することによって推定される。自律走行車は、カメラの撮影領域に光を照射する光源群における輝度が低いエリアに対応する光源を制御して当該エリアを明るくする調整部を備える。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０２９７０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術によれば、各光源の配置又は明るさの強弱のばらつきにより、カメラにより撮影された路面の画像内に明るさのばらつきが発生し得る。その結果、実際の路面には存在しない特徴点を取得してしまう可能性がある。

【0005】

本開示は、上述のような課題に鑑みてなされたものであり、カメラによる撮影画像と地図データとの照合の精度を向上できるようにした移動体を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る移動体は、路面の画像を撮影する路面撮影装置を備える。路面撮影装置は、路面を臨むように配置されたカメラと、カメラの撮影領域に光を照射する少なくとも１つの光源と、事前に撮影された路面の画像を地図データとして記憶する記憶装置と、地図データとカメラにより撮影された画像とを照合し、移動体の自己位置を推定するプロセッサと、を含む。少なくとも１つの光源は、照射した光のうち反射光がカメラによって撮影されるように配置されている。路面撮影装置は、撮影領域を外部光から遮断するようにカメラ及び光源の周囲に配置された遮光板をさらに備える。

【発明の効果】

【0007】

本開示によれば、反射光が画像撮影のための光源として用いられる。これにより、カメラによる撮影画像の輝度ムラの発生を抑制できる。また、上述の遮光板を備えたことにより、太陽光及び照明光等の外部光が撮影領域に入射することに起因する撮影画像の輝度ムラの発生も抑制できる。このため、カメラによる撮影画像と地図データとの照合の精度を向上できる。

【図面の簡単な説明】

【0008】

【図1】実施の形態に係る移動体の構成及び自己位置推定方法を説明するための図である。

【図2】図１に示す路面撮影装置の構成を表した図である。

【図3】実施の形態に係る光源配置の他の例の構成を表した図である。

【図4】実施の形態に係る遮光板の他の例の構成を表した図である。

【図5】実施の形態に係る光源の光量調整方法の第１の例を説明するための図である。

【図6】実施の形態に係る光源の光量調整方法の第２の例を説明するための図である。

【図7】実施の形態に係る光源の光量調整方法の第３の例を説明するための図である。

【図8】実施の形態に係る光源の光量調整方法の第４の例を説明するための図である。

【発明を実施するための形態】

【0009】

添付図面を参照して、本開示の実施の形態を説明する。

【0010】

１．路面撮影装置を備える移動体の構成
図１は、実施の形態に係る移動体１の構成及び自己位置推定方法を説明するための図である。図２は、図１に示す路面撮影装置１０の構成を表した図である。移動体１は、路面２の上を移動する。移動体１は、例えば車両である。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。また、本開示に係る「移動体」は、例えば、物流ロボット等のロボットであってもよい。

【0011】

移動体１は、路面撮影装置１０を備える。路面撮影装置１０は、路面２の画像を撮影し、撮影された画像を利用して移動体１の自己位置Ｐを推定する。路面撮影装置１０は、カメラ１２と、光源１４と、電子制御ユニット（ＥＣＵ）１６とを含む。

【0012】

カメラ１２は、図２に示すように路面２を臨むように配置されている。路面撮影装置１０は天板１８を有する。天板１８は、例えば、移動体１の底面に固定されている。カメラ１２は、例えば、天板１８に取り付けられている。天板１８は、例えば白色の樹脂板である。図２に示す撮影領域Ｒ（撮影面）は、カメラ１２によって撮影される路面２の領域に相当する。

【0013】

光源１４は、カメラ１２の撮影領域Ｒに光を照射するように配置されている。光源１４の数は限定されず、１つでもよいし、あるいは複数であってもよい。より詳細には、一例として、四角形形状（後述の図７（Ａ）参照）の天板１８を有する場合、光源１４は、天板１８の各辺に対応して配置されてもよい。図２には、このように配置された４つの光源１４のうちの２つが表されている。光源１４は、例えばＬＥＤ（Light Emission Diode)）である。より詳細には、ＬＥＤは、例えばテープＬＥＤである。

【0014】

ＥＣＵ１６は、路面撮影装置１０を用いた自己位置Ｐの推定に関する制御を行う。ＥＣＵ１６は、プロセッサ２０と記憶装置２２とを含む。プロセッサ２０は、当該制御に関する各種処理を実行する。記憶装置２２は、プロセッサ２０による各種処理に必要な各種情報を格納する。また、図２に示すように、路面撮影装置１０は、照度センサ２４を含む。照度センサ２４は、後述の光量調整に用いられる。

【0015】

自己位置Ｐの推定のために、記憶装置２２は、事前に撮影された路面２のカメラ画像を地図データとして記憶している。地図データ（地図画像）は、事前に撮影されたカメラ画像から抽出された点群（特徴点；図１参照）を地図空間上に予めマッピングして得られたデータである。プロセッサ２０は、当該地図データと、移動体１の走行中にカメラ１２により撮影された画像とを照合し、自己位置Ｐを推定する。より詳細には、プロセッサ２０は、カメラ画像から抽出された点群（移動体周辺の特徴点；図１参照）と、地図データの特徴点とを比較することにより、自己位置Ｐを推定する。なお、特徴点の抽出方法等の自己位置Ｐの推定方法の概要は、例えば、特許文献１に記載されている。

【0016】

上述の方法で自己位置Ｐを正確に推定するためには、カメラ画像の品質の均一化が求められる。そして、カメラ画像の品質の均一化のためには、撮影領域Ｒの全体が均一且つ十分な光量で照らされていることが望ましい。

【0017】

この点に鑑み、本実施形態では、光源１４のそれぞれは、照射した光のうち「反射光」がカメラ１２によって撮影されるように配置されている。すなわち、光源１４のそれぞれは、直接光が路面２に入射されないような向きで配置されている。なお、ここでいう反射光は、鏡面反射（正反射）と拡散反射（乱反射）のそれぞれによる反射光を含む。

【0018】

上述の光源１４の配置を実現するために、図２に示す例では、光源１４のそれぞれは、斜め上方を向くように配置されている。さらに、光源１４のそれぞれは、各光源１４から照射された光のうち直接光は撮影領域Ｒに入射せずに、天板１８等の筐体内部を反射した光が撮影領域Ｒに入射する場所に配置されている。より具体的には、路面撮影装置１０の筐体２６は、天板１８と後述の遮光板２８とを含んで構成されている。各光源１４は、一例として遮光板２８に取り付けられており、筐体の外側から内側に向けて光を照射する。

【0019】

さらに、本実施形態では、路面撮影装置１０は、遮光板２８を含む。図２に示すように、遮光板２８は、撮影領域Ｒを外部光から遮断するようにカメラ１２及び各光源１４の周囲に配置されている。外部光は、例えば、太陽光、及び外部の照明光を含む。より詳細には、遮光板２８は、例えば、天板１８の各辺から下方に延びるように形成されている。換言すると、遮光板２８は、撮影領域Ｒを囲む（覆う）ように形成されている。

【0020】

以上説明したように、本実施形態に係る路面撮影装置１０を備える移動体１は、あえて光源１４を直接的に路面２に向けずに反射光のみを画像撮影のための光源として用いるように構成されている。これにより、カメラ画像の輝度ムラの発生を抑制できる。また、遮光板２８を備えたことにより、太陽光及び照明光等の外部光が撮影領域Ｒに入射することに起因するカメラ画像の輝度ムラの発生も抑制できる。より詳細には、外界の照明強度が変化する環境であっても、カメラ画像の輝度ムラの発生を好適に抑制できる。

【0021】

上述のように、本実施形態によれば、カメラ画像の輝度ムラの発生を好適に抑制できる。その結果、カメラ画像と地図データとの照合の精度を向上できるようになる。このことは、自己位置の推定精度の向上につながる。

【0022】

また、ＬＥＤは、安価で消費電力も少ないことから路面撮影の光源１４として好適である。その一方、ＬＥＤは、一般に指向性が強い。このため、直接光が路面２の撮影領域Ｒに入射すると、反射によりＬＥＤの配置痕が輝度ムラとしてカメラ画像に生じる可能性がある。この点に関し、本実施形態の光源配置によれば、撮影領域Ｒに入射される光は、筐体内を反射・拡散した光である。このため、カメラ画像のムラを抑制できる。

【0023】

２．光源配置の他の例
図３（Ａ）～図３（Ｃ）は、それぞれ、実施の形態に係る光源配置の他の例の構成を表した図である。

【0024】

まず、図３（Ａ）に示す例では、各光源１４は、遮光板２８ではなく、筐体２６内のカメラ１２の周囲に設けられた固定部３０に取り付けられている。より詳細には、固定部３０は、天板１８から下方に延びるように形成され、カメラ１２の先端の周囲を覆っている。各光源１４は、カメラ１２に面する側の反対側において固定部３０に取り付けられている。そして、この例においても、直接光が撮影領域Ｒに入射しないようにするために、各光源１４は、筐体２６の内側から外側を向くように（筐体２６の側面方向を向くように）、且つ斜め上方を向くように配置されている。

【0025】

次に、図３（Ｂ）に示す例では、各光源１４は、図２に示す例と同様に遮光板２８に取り付けられている。そのうえで、この例では、図３（Ｂ）に示すように、各光源１４から照射される光を拡散する拡散板３２が備えられている。拡散板３２は、例えば、各光源１４の発光面に取り付けられている。拡散板３２としては、例えば、アクリル樹脂等の拡散作用の強い板が用いられる。この例によれば、拡散板３２の設置に起因して全体の光量は減少するが、より高い光拡散効果が期待できる。

【0026】

次に、図３（Ｃ）に示す例では、各光源１４は、図３（Ａ）に示す例と同様に固定部３０に取り付けられている。そのうえで、この例では、図３（Ｃ）に示すように、各光源１４と路面２との間に介在するように拡散板３４が配置されている。拡散板３４は、図示しない支持部材によって支持されている。この例によっても、拡散板３２の設置に起因して全体の光量は減少するが、より高い光拡散効果が期待できる。

【0027】

３．遮光板の他の例
上述した図２に示す例では、路面撮影装置１０の遮光板（遮光部）は、遮光板２８のみを用いて実現されている。遮光板が路面２と接触した際の衝撃で路面撮影装置１０が破損することを防ぐために、遮光板は、例えば次のように構成されてもよい。図４（Ａ）及び図４（Ｂ）は、それぞれ、実施の形態に係る遮光板の他の例の構成を表した図である。

【0028】

まず、図４（Ａ）に示す例では、遮光板３６は、上下方向（鉛直方向）において硬度の異なる上部３８と下部４０とによって構成されている。具体的には、路面２から遠い方の上部３８は、アルミニウム複合板等の高い硬度を有する素材を用いて形成されている。各光源１４は、この上部３８に取り付けられている。一方、路面２に近い方の下部４０は、ゴム又は布等の柔軟素材を用いて形成されている。

【0029】

上述のように構成された遮光板３６によれば、路面２に近い部分は、柔軟素材の下部４０によって遮光を行う。これにより、遮光板３６が路面２と接触した際の衝撃に起因する路面撮影装置１０の破損を防ぎつつ、撮影領域Ｒへの外部光の入射を抑制できる。なお、ここで説明される例における遮光板（遮光部）は、上下方向において硬度の異なる３つ以上の素材を用いて構成されてもよい。

【0030】

また、図４（Ｂ）に示す例のように、移動体１の外装部品である柔軟素材のカバー４２が、遮光板の一部（下部）として用いられてもよい。

【0031】

４．光源の光量調整

【0032】

４－１．光量調整方法の第１の例
図５（Ａ）及び図５（Ｂ）は、実施の形態に係る光源１４の光量調整方法の第１の例を説明するための図である。路面２の素材によって、路面２からの反射強度に違いがある。このため、路面撮影装置１０は、撮影領域Ｒ内の明るさ調整を行う機能を有していることが望ましい。より具体的には、移動体１の移動に伴ってコンクリートからアスファルトへの変化等のように反射性の異なる路面領域を路面撮影装置１０がまたいだ際には、路面２の反射強度の違いによって撮影領域Ｒ内の明るさが変化してしまう。カメラ画像の品質を安定的に保つためには、このような明るさの変化を抑制するための光量調整が速やかに完了することが望ましい。この点に鑑み、第１の例では、次のような光量のフィードバック制御が実行される。

【0033】

既に説明されたように、路面撮影装置１０は、照度センサ２４を備える。図５（Ａ）に示すように、照度センサ２４は、路面２の撮影領域Ｒを臨むように天板１８に取り付けられている。照度センサ２４の具体的な配置例については、図７（Ａ）とともに後述される。照度センサ２４は、筐体２６内の撮影領域Ｒの照度の計測に用いられる。第１の例に係るフィードバック制御は、カメラ１２のフレームレート（例えば、約６０Ｈｚ）より早い時間で明るさを調整するために、当該フレームレートの周期と比べて計測周期の短い照度センサ２４を用いて実行される。具体的には、図５（Ｂ）に示すように、予め設定された目標光量と照度センサ２４により検出される照度に応じた光量との制御偏差が算出される。そして、光量コントローラは、制御偏差が小さくなるように、例えば光源１４の電流制御によって光源１４の強度を制御する。これにより、路面撮影装置１０が反射性の異なる路面領域をまたいだ際であっても、路面２の撮影領域Ｒの照度の変化が抑制されるように路面２の光の反射（光量）を速やかに調整できるようになる。

【0034】

４－２．光量調整方法の第２の例
図６（Ａ）及び図６（Ｂ）は、それぞれ、実施の形態に係る光源１４の光量調整方法の第２の例を説明するための図である。第２の例は、光源１４から照射される光を照度センサ２４が直接拾うことを抑制するための対策に関する。

【0035】

具体的には、図６（Ａ）に示すように、筐体２６内の照度センサ２４の周囲を覆うように遮光板４４が設けられてもよい。遮光板４４は、光源１４と照度センサ２４との間に介在するように天板１８から下方に延びるように形成されている。遮光板４４を追加的に備えることにより、真下からの光のみが照度センサ２４によって拾われるように各光源１４からの直接光を遮断できる。

【0036】

また、図６（Ｂ）に示すように、照度センサ２４の表面（検出面）に偏光板４６が取り付けられてもよい。偏光板４６は、真下からの光のみを透過させるように構成されている。偏光板４６を追加的に備えることによっても、真下からの光のみが照度センサ２４によって拾われるように各光源１４からの直接光を遮断できる。

【0037】

４－３．光量調整方法の第３の例
図７（Ａ）及び図７（Ｂ）は、実施の形態に係る光源１４の光量調整方法の第３の例を説明するための図である。図７（Ａ）は、筐体２６内の光源１４及び照度センサ２４の配置の具体例を表した図である。この例では、図７（Ａ）に示すように、光源１４及び照度センサ２４の４つの組み合わせが、カメラ１２の中心位置を基準として点対称に、換言すると、四角形形状を有する天板１８の４つの辺にそれぞれ対応して配置されている。光源１４及び照度センサ２４の個々の組み合わせは、４つに区分された領域Ａ１～Ａ４にそれぞれ対応する路面２の領域の光量調整を行う。ここで、各照度センサ２４によって受光される筐体２６内の照度Ｂ１～Ｂ４及び光源１４の強度（出力強度）の適正値は、光の拡散及び個体差等の要因により、陽に求めることはできず、フィードバック制御による自動調整が望ましい。この点に鑑み、第３の例では、図７（Ｂ）に示す光量のフィードバック制御が実行される。

【0038】

図７（Ｂ）に示す処理は、プロセッサ２０によって繰り返し実行される。まず、ステップＳ１００において、プロセッサ２０は、各照度センサ２４の値（実照度）Ｂｉ（例えば、ｉ＝１～４）を取得する。次いで、ステップＳ１０２において、プロセッサ２０は、事前に設定された目標照度Ｂｉ＿ｒｅｆに対する実照度Ｂｉの差Ｅｉを算出する。

【0039】

次いで、ステップＳ１０４において、プロセッサ２０は、算出した差Ｅｉが小さくなるように各光源１４の光量（強度）Ｌｉを増減する。次いで、ステップＳ１０６において、プロセッサ２０は、所定の終了条件が成立するか否かを判定する。終了条件は、例えば、差Ｅｉが十分に小さいこと、又は、光量Ｌｉが最大値若しくは最小値に達していることである。この判定結果がＮｏの場合には、処理はステップＳ１００に戻る。一方、当該判定結果がＹｅｓの場合には、処理はエンドに進む。

【0040】

上述した光量のフィードバック制御によれば、区分された領域毎に、筐体２６内の照度が目標範囲内に達するまで、光源１４の出力強度を自動的に調整（増減）することができる。

【0041】

４－４．光量調整方法の第４の例
図８（Ａ）及び図８（Ｂ）は、実施の形態に係る光源１４の光量調整方法の第４の例を説明するための図である。図８（Ａ）は、移動体１の移動経路の一例を示している。この例では、移動体１が走行する路面は、アスファルト、コンクリート、及び屋内の樹脂系路面の間で変化する。移動体１の走行中には、このように路面環境が異なり得ることが想定される。光源１４の光量調整に関し、このような路面環境の変化は、例えば次の課題を招く。すなわち、筐体２６内の照度を目標範囲内に収めるための光源１４の強度（出力強度）の適正値は、路面環境によって異なる。このため、急な路面変化（例えば、屋外のアスファルトから屋内の樹脂系路面）が生じると、光源１４の強度をフィードバック制御によって調整する際の調整過程のカメラ画像に白飛び等による品質低下が生じる可能性が高くなる。その結果、当該カメラ画像を己位置推定のための画像処理に用いることができなくなる可能性がある。したがって、光源１４の強度調整にかかる時間を短縮して筐体２６内の照度を早期に安定化させることが求められる。この点に鑑み、第４の例では、図８（Ｂ）に示す光量のフィードバック制御が実行される。

【0042】

図８（Ｂ）に示す処理は、移動体１の現在位置の更新に伴い、プロセッサ２０によって繰り返し実行される。まず、ステップＳ２００において、プロセッサ２０は、光源１４の強度の初期値Ｉを設定する。より具体的には、記憶装置２２は、移動体１の位置情報に対応する初期値Ｉのマップを記憶している。プロセッサ２０は、更新された現在位置に対応する初期値Ｉを当該初期値マップから読み出して今回の初期値Ｉとして設定する。

【0043】

次いで、ステップＳ２０２において、プロセッサ２０は、設定した初期値Ｉと一致するように光源１４の強度を調整する。次いで、ステップＳ２０４において、照度センサ値（実照度）と目標照度との差Ｅの絶対値が所定の閾値ＴＨ１未満であるか否かを判定する。その結果、この判定結果がＮｏの場合には、処理はステップＳ２０２に戻り、プロセッサ２０は、差Ｅの絶対値が小さくなるように光源１４の強度を調整する。

【0044】

一方、ステップＳ２０４の判定結果がＹｅｓの場合（すなわち、本フィードバック制御が収束した場合）には、処理はステップＳ２０６に進む。ステップＳ２０６において、プロセッサ２０は、光源１４の強度の前回値と今回値との差の絶対値が所定の閾値ＴＨ２より大きいか否かを判定する。ここでいう前回値とは、ステップＳ２００の処理によって設定された初期値Ｉであり、今回値とは、処理がステップＳ２０６に進んだ際に調整されている光源１４の強度の値である。ステップＳ２０６の処理によれば、このような前回値と今回値との乖離が小さい場合（Ｓ２０６；Ｎｏ）には、処理はエンドに進む。一方、当該乖離が大きい場合（Ｓ２０６；Ｙｅｓ）には、処理はステップＳ２０８に進み、プロセッサ２０は、現在位置に対応する初期値Ｉを上記の今回値によって更新する。すなわち、初期値マップに記憶される初期値Ｉが更新される。

【0045】

上述したように、本フィードバック制御によれば、本フィードバック制御が収束した際の適正な光源１４の強度が、移動体１の現在位置に対応付けられた状態で初期値マップに記憶される。そして、移動体１が同じ位置を走行する際には、当該位置に対応する適正な光源１４の強度が初期値マップから読み出されて、本フィードバック制御の初期値Ｉとして用いられる。このように過去の移動経路における光源１４の強度の適正値を記憶しておくことで、光量のフィードバック制御を早期に収束させる効果が期待できる。換言すると、次回以降の走行における光源１４の強度調整をより短時間に完了させられる効果が期待できる。以上のように、本フィードバック制御によれば、路面撮影装置１０の筐体２６内の照度を路面環境変化に素早く追従させることができ、筐体２６内の光源環境を均一に保つことが可能となる。

【符号の説明】

【0046】

１ 移動体、 ２ 路面、 １０ 路面撮影装置、 １２ カメラ、 １４ 光源、 １６ 電子制御ユニット（ＥＣＵ）、 １８ 天板、 ２０ プロセッサ、 ２２ 記憶装置、 ２４ 照度センサ、 ２６ 筐体、 ２８、３６、４４ 遮光板、 ３０ 固定部、 ３２、 ３４ 拡散板、 ３８ 遮光板の上部、 ４０ 遮光板の下部、 ４２ カバー、 ４６ 偏光板

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】