(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-26
(45)【発行日】2023-08-03
(54)【発明の名称】マーカー検出システム
(51)【国際特許分類】
G08G 1/16 20060101AFI20230727BHJP
G06T 7/00 20170101ALI20230727BHJP
B60Q 1/30 20060101ALI20230727BHJP
B60W 30/08 20120101ALI20230727BHJP
B60W 40/02 20060101ALI20230727BHJP
【FI】
G08G1/16 C
G06T7/00 650
B60Q1/30 Z
B60W30/08
B60W40/02
(21)【出願番号】P 2022533256
(86)(22)【出願日】2020-06-29
(86)【国際出願番号】 JP2020025437
(87)【国際公開番号】W WO2022003750
(87)【国際公開日】2022-01-06
【審査請求日】2022-08-04
(73)【特許権者】
【識別番号】000010076
【氏名又は名称】ヤマハ発動機株式会社
(74)【代理人】
【識別番号】110001841
【氏名又は名称】弁理士法人ATEN
(72)【発明者】
【氏名】山崎 章弘
【審査官】白石 剛史
(56)【参考文献】
【文献】特開平02-259900(JP,A)
【文献】特開平09-330495(JP,A)
【文献】特開2019-139655(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/16
G06T 7/00
B60Q 1/30
(57)【特許請求の範囲】
【請求項1】
発光するn個(nは
複数)の発光マーカーを有する発光装置を含むマーカー装置
と、
前記マーカー装置を撮像する撮像装置と、
前記撮像装置が取得した情報を取得する解析装置とを有するマーカー検出システムであって、
前記マーカー装置は、低反射部をさらに含み、
前記n個の発光マーカーは、前記マーカー装置の第1方向を向いた面に配置され、
前記低反射部は、前記第1方向と逆方向である第2方向に前記マーカー装置を見たときに、前記n個の発光マーカーの各々の縁の少なくとも一部に隣接するように配置され、且つ、前記低反射部に対して光が照射されたときに、前記低反射部で反射して前記第1方向に進行する反射光を抑えるように構成され
、
前記撮像装置は、発光する前記発光マーカーおよび前記低反射部に対して太陽光が照射されている状態で、前記n個の発光マーカーのうちの少なくとも1つの発光する発光マーカーおよび前記低反射部を撮像し、
前記解析装置は、前記撮像装置で撮像された画像中の前記少なくとも1つの発光する発光マーカーを検出し、
前記マーカー装置が設置された装置が水平面上に配置された第1使用状態または前記マーカー装置の絶対位置が固定された第2使用状態において、前記マーカー装置は前記第1方向が鉛直方向と平行でないように配置され、
前記第1使用状態または前記第2使用状態の前記マーカー装置を前記第2方向に見たときに、前記n個の発光マーカーの配置位置が水平方向または鉛直方向に平行な直線に対して線対称ではない位置であることを特徴とするマーカー
検出システム。
【請求項2】
前記低反射部が、前記低反射部に入射した光を、少なくとも吸収するかもしくは乱反射させることによって、前記第1方向に進行する反射光を抑えることを特徴とする請求項1
に記載のマーカー
検出システム。
【請求項3】
前記発光装置は、前記n個の発光マーカーが、発光する発光状態と発光しない非発光状態に切り換わるように制御され
、
前記発光マーカーの発光状態と非発光状態の切換えによって、前記撮像装置が設置された装置を制御することを特徴とする請求項1
または2に記載のマーカー
検出システム。
【請求項4】
前記マーカー装置は、前記第2方向に見て前記n個の発光マーカーのうちの少なくとも一部であるm個(mはn以下の整数)の第1発光マーカーを覆う位置と、前記第2方向に見て前記m個の第1発光マーカーを覆わない位置との間を移動可能な低反射可動カバーを含み、
前記低反射可動カバーは、前記m個の第1発光マーカーを覆う位置にある前記低反射可動カバーに対して光が照射されたときに、前記低反射可動カバーで反射して前記第1方向に進行する反射光を抑えるように構成されることを特徴とする請求項1~
3のいずれか1項に記載のマーカー
検出システム。
【請求項5】
前記n個の発光マーカーが、3つ以上の前記発光マーカーであることを特徴とする請求項1~
4のいずれか1項に記載のマーカー
検出システム。
【請求項6】
前記マーカー装置を前記第2方向に見たときに、前記n個の発光マーカーは、前記第2方向に直交する平面上のいずれの直線に対しても線対称ではないことを特徴とする請求項1~
5のいずれか1項に記載のマーカー
検出システム。
【請求項7】
前記解析装置が、前記撮像装置で撮像された画像から検出された前記少なくとも1つの
発光する発光マーカーに基づいて、前記撮像装置に対する前記マーカー装置の相対的な位置および姿勢の少なくとも一方を検出することを特徴とする請求項
1~6のいずれか1項に記載のマーカー検出システム。
【請求項8】
前記撮像装置が、車両に設置されることを特徴とする請求項
1~7のいずれか1項に記載のマーカー検出システム。
【請求項9】
前記撮像装置が、第1車両に設置され、前記マーカー装置が、第2車両に設置され、
前記マーカー装置は、前記n個の発光マーカーが前記第2車両の車両前後方向における後方向を向くように配置され、
前記撮像装置は、前記第2車両が前記第1車両に先行して走行するときに、前記第2車両の前記n個の発光マーカーを撮像できるような位置に配置されることを特徴とする請求項
8に記載のマーカー検出システム。
【請求項10】
前記マーカー装置が、静止物に設置されることを特徴とする請求項
8に記載のマーカー検出システム。
【請求項11】
前記撮像装置で撮像された画像から検出された前記少なくとも1つの
発光する発光マーカーに基づいて、前記撮像装置が設置された前記車両の走行が制御されることを特徴とする請求項
8~
10のいずれか1項に記載のマーカー検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、発光マーカーを有するマーカー装置を有するマーカー検出システムに関する。
【背景技術】
【0002】
従来、車両などの装置に設けられたマーカーを撮像装置で撮像し、撮像された画像中のマーカーを検出することによって、例えば、例えば車両などの装置の位置および/または姿勢を推定することが行われている。例えば特許文献1では、先行車両と後続車両との間の距離を推定するために、先行車両の後面に複数のマーカーが設置され、後続車両に、複数のマーカーを撮像するための撮像装置が設置されている。特許文献1のマーカーは、発光する発光マーカーである。そのため、昼間だけでなく夜間にも、撮像装置で撮像された画像中のマーカーを検出することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、先行車両の後面に対して太陽光が照射されたとき、先行車両の後面で太陽光が反射し、その反射光が後続車両の撮像装置に入射する場合がある。その場合、後続車両の撮像装置で撮像された画像において、発光マーカーの明るさと先行車両の後面の発光マーカー以外の部分の明るさとの違いが小さい。そのため、画像中の発光マーカーを検出することが難しい。
【0005】
本発明は、発光マーカーに対して光が照射されているときであっても、撮像された画像中の発光マーカーを検出しやすい、マーカー装置を有するマーカー検出システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
(1)本発明は、発光するn個(nは複数)の発光マーカーを有する発光装置を含むマーカー装置と、前記マーカー装置を撮像する撮像装置と、前記撮像装置が取得した情報を取得する解析装置とを有するマーカー検出システムである。
前記マーカー装置は、低反射部をさらに含む。
前記n個の発光マーカーは、前記マーカー装置の第1方向を向いた面に配置される。
前記低反射部は、前記第1方向と逆方向である第2方向に前記マーカー装置を見たときに、前記n個の発光マーカーの各々の縁の少なくとも一部に隣接するように配置され、且つ、前記低反射部に対して光が照射されたときに、前記低反射部で反射して前記第1方向に進行する反射光を抑えるように構成される。
前記撮像装置は、発光する前記発光マーカーおよび前記低反射部に対して太陽光が照射されている状態で、前記n個の発光マーカーのうちの少なくとも1つの発光する発光マーカーおよび前記低反射部を撮像する。
前記解析装置は、前記撮像装置で撮像された画像中の前記少なくとも1つの発光する発光マーカーを検出する。
前記マーカー装置が設置された装置が水平面上に配置された第1使用状態または前記マーカー装置の絶対位置が固定された第2使用状態において、前記マーカー装置は前記第1方向が鉛直方向と平行でないように配置され、前記第1使用状態または前記第2使用状態の前記マーカー装置を前記第2方向に見たときに、前記n個の発光マーカーの配置位置が水平方向または鉛直方向に平行な直線に対して線対称ではない位置である。
【0007】
この構成によると、発光する発光マーカーおよび低反射部に対して光が照射されていない状態で、発光マーカーおよび低反射部を撮像装置で撮像すると、撮像された画像中の発光マーカーを検出しやすい。
また、低反射部は、マーカー装置を第2方向に見たとき、発光マーカーの縁の少なくとも一部に隣接するように配置されている。そのため、撮像装置の光軸が第2方向または第2方向に近い方向となるように撮像された画像において、低反射部が各発光マーカーの縁の少なくとも一部に隣接する。さらに、低反射部は、低反射部に対して光が照射されたときに、第2方向と逆方向の第1方向に進行する反射光を抑えるように構成されている。そのため、発光する発光マーカーおよび低反射部に対して光が照射されている状態で、発光マーカーと低反射部を撮像装置で撮像すると、撮像された画像中の低反射部の明るさと発光マーカーの明るさとの違いが大きい。そのため、発光マーカーに対して光が照射されているときであっても、撮像された画像中の発光マーカーを検出しやすい。また、この構成によると、n個の発光マーカーが水平方向に平行な直線に対して線対称ではない場合、例えば水面に映る鏡像の誤検出を抑えることができる。n個の発光マーカーが鉛直方向に平行な直線に対して線対称ではない場合、例えば窓ガラスに映る鏡像の誤検出を抑えることができる。
【0008】
撮像装置で撮像された画像から検出された少なくとも1つの発光マーカーに基づいて、例えば、撮像装置に対するマーカー装置の相対的な位置と姿勢を推定することが可能である。つまり、マーカー装置を、撮像装置に対するマーカー装置の相対的な位置と姿勢の推定に用いることができる。
具体的には、例えば、撮像装置で撮像された複数の画像中の1つの発光マーカーの大きさの変化から、撮像装置とマーカー装置との間の距離の変化を推定することが可能である。
発光マーカーの形状によっては、例えば、撮像装置で撮像された複数の画像中の1つの発光マーカーの形状の変化から、撮像装置に対するマーカー装置の相対的な姿勢の変化を推定することが可能である。
また、例えば、撮像装置で撮像された複数の画像中の2つの発光マーカーの中心点の間の距離の変化から、撮像装置とマーカー装置との間の距離の変化を推定することが可能である。
マーカー装置の用途によっては、マーカー装置に対して撮像装置の光軸の方向が一定で、マーカー装置に対して撮像装置の光軸回りに回転する場合がある。そのような場合であっても、例えば、撮像装置で撮像された複数の画像中の2つの発光マーカーの中心点を結ぶ線分の方向の変化から、撮像装置に対するマーカー装置の相対的な姿勢の変化を推定することが可能である。
マーカー装置の用途によっては、マーカー装置に対して撮像装置の光軸の方向が変化する場合がある。そのような場合であっても、例えば、撮像装置で撮像された複数の画像中の3つの発光マーカーの中心点を結ぶ三角形の大きさと形状の変化から、撮像装置とマーカー装置との間の距離、および、撮像装置に対するマーカー装置の相対的な姿勢の変化を推定することが可能である。
【0009】
また、撮像装置で撮像された画像から検出された少なくとも1つの発光マーカーを、例えば、撮像装置が設置される装置(例えば、車両またはロボットなど)の制御に用いることができる。つまり、マーカー装置を、撮像装置が設置された装置(例えば、車両またはロボットなど)の制御に用いることができる。例えば、撮像装置で撮像された画像から発光マーカーが検出された場合に、撮像装置が設置された装置(例えば、車両またはロボットなど)が予め決められた動作を行うように制御されてもよい。
【0010】
本発明のマーカー検出システムは、さらに、以下の構成を有することが好ましい。
前記低反射部は、前記発光マーカーおよび前記低反射部に対して光が照射されたときに、前記低反射部で反射して前記第1方向に進行する反射光の光度が、前記発光マーカーで反射して前記第1方向に進行する反射光の光度よりも小さくなるように構成される。
【0011】
(2)本発明の1つの観点によると、本発明のマーカー検出システムは、上記(1)の構成に加えて、以下の構成を有することが好ましい。
前記低反射部が、前記低反射部に入射した光を、少なくとも吸収するかもしくは乱反射させることによって、前記第1方向に進行する反射光を抑える。
【0012】
(3)本発明の1つの観点によると、本発明のマーカー検出システムは、上記(1)または(2)の構成に加えて、以下の構成を有することが好ましい。
前記発光装置は、前記n個の発光マーカーが、発光する発光状態と発光しない非発光状態に切り換わるように制御される。前記発光マーカーの発光状態と非発光状態の切換えによって、前記撮像装置が設置された装置を制御する。
【0013】
この構成によると、発光マーカーの発光状態と非発光状態の切換えによって、例えば、撮像装置が設置された装置(例えば、車両またはロボットなど)を制御することができる。具体的には、例えば、発光マーカーが発光状態であって、撮像装置で撮像された画像から発光マーカーが検出された場合に、撮像装置が設置された装置(例えば、車両またはロボットなど)が予め決められた動作を行うように制御されてもよい。そして、発光マーカーが非発光状態であって、撮像装置で撮像された画像から発光マーカーが検出されない場合に、撮像装置が設置された装置(例えば、車両またはロボットなど)が上記動作を停止するように制御されてもよい。
【0014】
(4)本発明の1つの観点によると、本発明のマーカー検出システムは、上記(1)~(3)のいずれかの構成に加えて、以下の構成を有することが好ましい。
前記マーカー装置は、前記第2方向に見て前記n個の発光マーカーのうちの少なくとも一部であるm個(mはn以下の整数)の第1発光マーカーを覆う位置と、前記第2方向に見て前記m個の第1発光マーカーを覆わない位置との間を移動可能な低反射可動カバーを含む。
前記低反射可動カバーは、前記m個の第1発光マーカーを覆う位置にある前記低反射可動カバーに対して光が照射されたときに、前記低反射可動カバーで反射して前記第1方向に進行する反射光を抑えるように構成される。
【0015】
上記構成によると、発光するm個の第1発光マーカーが低反射可動カバーで覆われていない状態と、m個の第1発光マーカーが低反射可動カバーで覆われる状態とを切り換えることによって、例えば、撮像装置が設置される装置(例えば、車両またはロボットなど)を制御することができる。
低反射可動カバーは、第2方向に見てm個の第1発光マーカーを覆う。そのため、このときに撮像された画像からm個の第1発光マーカーは検出されない。しかも、低反射可動カバーは、低反射可動カバーに対して光が照射されたときに、第2方向と逆方向の第1方向に進行する反射光を抑えるように構成される。そのため、m個の第1発光マーカーを覆う低反射可動カバーに光が照射されても、撮像された画像中の低反射可動カバーは、第1発光マーカーとして誤検出されにくい。
仮に、低反射可動カバーが設けられず、発光マーカーを発光状態と非発光状態に切換えることによって、撮像装置が設置される装置(例えば、車両またはロボットなど)を制御する場合、以下の事象が生じる場合がある。非発光状態の発光マーカーに対して光が照射されると、発光マーカーで光が反射する。そのため、非発光状態の発光マーカーおよび低反射部に対して光が照射されているときに撮像装置で撮像すると、撮像された画像において、低反射部の明るさと発光マーカーの明るさとの違いが大きくなる場合がある。この場合、画像中の非発光状態の発光マーカーが、発光状態の発光マーカーとして誤検出されることがある。そこで、発光マーカーを非発光状態とする代わりに低反射可動カバーによって発光マーカーを覆うことによって、もしくは、発光マーカーを非発光状態とするときに低反射可動カバーによって発光マーカーを覆うことによって、非発光状態の発光マーカーでの光の反射の影響を受けずに、マーカー装置を使用できる。
【0016】
(5)本発明の1つの観点によると、本発明のマーカー検出システムは、上記(1)~(4)のいずれかの構成に加えて、以下の構成を有することが好ましい。
前記n個の発光マーカーが、3つ以上の前記発光マーカーである。
【0017】
この構成によると、マーカー装置に対して撮像装置の光軸の方向が変化する場合であっても、撮像装置で撮像した画像から検出された3つ以上の発光マーカーの相対位置の変化に基づいて、撮像装置とマーカー装置との間の距離、および、撮像装置に対するマーカー装置の相対的な姿勢を推定することが可能である。
【0020】
(6)本発明の1つの観点によると、本発明のマーカー検出システムは、上記(1)~(5)のいずれかの構成に加えて、以下の構成を有することが好ましい。
前記マーカー装置を前記第2方向に見たときに、前記n個の発光マーカーは、前記第2方向に直交する平面上のいずれの直線に対しても線対称ではない。
【0021】
この構成によると、マーカー装置がどのような向きに配置された場合であっても、例えば窓ガラスおよび水面に映る鏡像の誤検出を抑えることができる。
【0023】
(7)本発明の1つの観点によると、本発明のマーカー検出システムは、上記(1)~(6)のいずれかの構成に加えて、以下の構成を有することが好ましい。
前記解析装置が、前記撮像装置で撮像された画像から検出された前記少なくとも1つの前記発光マーカーに基づいて、前記撮像装置に対する前記マーカー装置の相対的な位置および姿勢の少なくとも一方を検出する。
【0024】
(8)本発明の1つの観点によると、本発明のマーカー検出システムは、上記(1)~(7)のいずれかの構成に加えて、以下の構成を有することが好ましい。
前記撮像装置が、車両に設置される。
【0025】
この構成によると、マーカー装置は、例えば建物の壁または路面などの静止物に設置されてもよく、他の車両などの移動体に設置されてもよい。車両に設置された撮像装置によって静止物または移動体に設置されたマーカー装置を撮像した場合、撮像された画像から検出された発光マーカーに基づいて、例えば、静止物または移動体に設置されたマーカー装置と車両との間の距離を推定することが可能である。また、撮像装置で撮像された画像から検出された発光マーカーを、例えば、撮像装置が設置された車両の走行の制御に用いることができる。
【0026】
(9)本発明の1つの観点によると、本発明のマーカー検出システムは、上記(8)の構成に加えて、以下の構成を有することが好ましい。
前記撮像装置が、第1車両に設置され、前記マーカー装置が、第2車両に設置される。
前記マーカー装置は、前記n個の発光マーカーが前記第2車両の車両前後方向における後方向を向くように配置される。
前記撮像装置は、前記第2車両が前記第1車両に先行して走行するときに、前記第2車両の前記n個の発光マーカーを撮像できるような位置に配置される。
【0027】
この構成によると、撮像装置で撮像された画像から検出された少なくとも1つの発光マーカーに基づいて、例えば、第1車両と第2車両との間の距離を推定することが可能である。また、撮像装置で撮像された画像から検出された発光マーカーを、例えば、第1車両を第2車両に追従させる制御に用いることができる。
【0028】
(10)本発明の1つの観点によると、本発明のマーカー検出システムは、上記(8)の構成に加えて、以下の構成を有することが好ましい。
前記マーカー装置が、静止物に設置される。
【0029】
(11)本発明の1つの観点によると、本発明のマーカー検出システムは、上記(8)~(10)のいずれかの構成に加えて、以下の構成を有することが好ましい。
前記撮像装置で撮像された画像から検出された前記少なくとも1つの発光マーカーに基づいて、前記撮像装置が設置された前記車両の走行が制御される。
【0030】
<用語の定義>
なお、本発明および本実施形態において、マーカー装置の第1方向を向いた面とは、マーカー装置を第1方向の逆方向である第2方向に見たときに見える面である。マーカー装置の第1方向を向いた面は、第2方向に見たときに常に全体が見えていてもよい。マーカー装置の第1方向を向いた面の少なくとも一部は、第2方向に見たときに一時的に見えなくてもよい。例えば、マーカー装置の第1方向を向いた面の少なくとも一部が、移動可能なカバーで覆われていてもよい。
なお、本発明および本実施形態において、マーカー装置の第1方向を向いた面に配置されるn個の発光マーカーは、マーカー装置を第2方向に見たときに見えるように配置される。n個の発光マーカーは、第2方向に見たときに常に見えていてもよい。n個の発光マーカーの少なくとも一部は、第2方向に見たときに一時的に見えなくてもよい。
【0031】
なお、本発明および本実施形態において、マーカー装置の第1方向を向いた面は、1つの平面であってもよく、1つの曲面であってもよく、少なくとも1つの平面と少なくとも1つの曲面の組み合わせで構成されていてもよく、複数の平面の組み合わせで構成されていてもよい。マーカー装置の第1方向を向いた面は、第1方向を向いていない面で連結された複数の面で構成されていてもよい。
【0032】
なお、本発明および本実施形態において、n個の発光マーカーがマーカー装置の第1方向を向いた面に配置されるとは、n個の発光マーカーがマーカー装置の第1方向を向いた面の一部であることを意味する。本発明および本実施形態において、発光マーカーは、1つの平面であってもよく、1つの曲面であってもよく、少なくとも1つの平面と少なくとも1つの曲面の組み合わせで構成されていてもよく、複数の平面の組み合わせで構成されていてもよい。発光マーカーは、例えば、凹凸を有する面であってもよい。本発明および本実施形態において、1つのマーカー装置が有するn個の発光マーカーの形状は、1種類であってもよく、複数種類であってもよい。本発明および本実施形態において、n個の発光マーカーは、n個の発光マーカーを1つの平面が通るように配置されてもよく、配置されなくてもよい。
【0033】
なお、本発明および本実施形態において、1つのマーカー装置に対して、第1方向となりえる方向は複数あってもよい。1つのマーカー装置に対して、第1方向となりえる方向は1つだけであってもよい。
【0034】
なお、本発明および本実施形態において、光度とは、光の明るさを表す物理量である。光度のSI基本単位は、カンデラである。
【0035】
なお、本発明および本実施形態において、鉛直方向とは重力方向である。鉛直方向は水平方向に直交する。
【0036】
なお、本発明および本実施形態において、マーカー装置の絶対位置が固定された第2使用状態とは、マーカー装置の使用中にマーカー装置の絶対位置が変化しないようなマーカー装置の使用状態である。具体的には、例えば、建物の壁などの移動不能の対象物にマーカー装置が設置された状態であってもよい。また、例えば、移動可能であってマーカー装置の使用中に移動しない対象物にマーカー装置が設置された状態であってもよい。第2使用状態は、第1使用状態を兼ねていてもよい。
【0037】
なお、本発明および本実施形態において、n個の発光マーカーが、水平方向または鉛直方向に平行な直線に対して線対称ではないとは、n個の発光マーカーが、水平方向に平行な直線に対して線対称ではなく、かつ、鉛直方向に平行な直線に対して線対称でない場合を除外する意図ではない。
【0038】
なお、本発明および本実施形態において、nが複数の場合、撮像装置がn個の発光マーカーを撮像できるような位置に配置されるとは、マーカー検出システムの使用時に、撮像装置がn個の発光マーカーの全てを1つの画像に撮像するかどうかは問わない。例えば、マーカー検出システムの使用時に、n個の発光マーカーのいずれかが必ず低反射可動カバーで覆われる場合、撮像装置はn個の発光マーカーを1つの画像に撮像することは不可能である。この場合において、撮像装置がn個の発光マーカーを撮像できるような位置に配置されるとは、仮に、n個の発光マーカーのいずれも低反射可動カバーで覆われなければ撮像装置がn個の発光マーカーを撮像できる位置に配置されることである。
【0039】
なお、本発明および本実施形態において、静止物とは、移動することなく静止している物体(object)である。静止物には、例えば路面も含まれる。
【0040】
なお、本発明および本実施形態において、車両の走行を制御するとは、例えば、車速を制御することを含んでもよい。車速の制御は、車両を停止させることを含む。車両の走行を制御するとは、車速を発進させることを含んでもよい。車両の走行を制御するとは、車両の進行方向を制御することを含んでもよい。
言い替えると、車両の操舵を制御することを含んでもよい。
【0041】
本発明および本実施形態において、Aおよび/またはBとは、AおよびBであってもよく、AまたはBであってもよいことを意味する。
【0042】
なお、本発明および実施の形態において「含む(including)、有する(comprising)、備える(having)およびこれらの派生語」は、列挙されたアイテム及びその等価物に加えて追加的アイテムをも包含することが意図されて用いられている。
なお、本発明および実施の形態において「取り付けられた(mounted)、接続された(connected)、結合された(coupled)、支持された(supported)という用語」は、広義に用いられている。具体的には、直接的な取付、接続、結合、支持だけでなく、間接的な取付、接続、結合および支持も含む。さらに、接続された(connected)および結合された(coupled)は、物理的又は機械的な接続/結合に限られない。それらは、直接的なまたは間接的な電気的接続/結合も含む。
【0043】
他に定義されない限り、本明細書および請求範囲で使用される全ての用語(技術用語および科学用語を含む)は、本発明が属する当業者によって一般的に理解されるのと同じ意味を有する。一般的に使用される辞書に定義された用語のような用語は、関連する技術および本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、理想化されたまたは過度に形式的な意味で解釈されることはない。
【0044】
なお、本発明および実施の形態において「好ましい」という用語は非排他的なものである。「好ましい」は、「好ましいがこれに限定されるものではない」ということを意味する。本明細書において、「好ましい」と記載された構成は、少なくとも、請求項1の構成により得られる上記効果を奏する。
また、本明細書において、「しても良い」という用語は非排他的なものである。「しても良い」は、「しても良いがこれに限定されるものではない」という意味である。本明細書において、「してもよい」は、「しない」場合があることを暗黙的に含む。本明細書において、「しても良い」と記載された構成は、少なくとも、請求項1の構成により得られる上記効果を奏する。
【0045】
本発明は、上述した好ましい構成を互いに組み合わせることを制限しない。本発明の実施形態を詳細に説明する前に、本発明は、以下の説明に記載されたまたは図面に図示された構成要素の構成および配置の詳細に制限されないことが理解されるべきである。本発明は、後述する実施形態以外の実施形態でも可能である。本発明は、後述する実施形態に様々な変更を加えた実施形態でも可能である。また、本発明は、後述する実施形態を適宜組み合わせて実施することができる。
【発明の効果】
【0046】
本発明のマーカー検出システムによると、発光マーカーに対して光が照射されているときであっても、撮像された画像中の発光マーカーを検出しやすい。
【図面の簡単な説明】
【0047】
【
図1】
図1は、本発明の第1実施形態のマーカー装置の複数の例を模式的に示す。
【
図2】
図2は、本発明の第2実施形態のマーカー装置の複数の例を模式的に示す。
【
図3】
図3は、本発明の第4実施形態のマーカー装置の複数の例を模式的に示す。
【
図4】
図4は、本発明の第5実施形態のマーカー装置の複数の例を模式的に示す。
【
図5】
図5は、本発明の第6実施形態のマーカー検出システムを模式的に示す。
【
図6】
図6は、本発明の第7実施形態のマーカー検出システムの複数の例を模式的に示す。
【
図7】
図7は、本発明の第7実施形態のマーカー検出システムの複数の例を模式的に示す。
【発明を実施するための形態】
【0048】
<第1実施形態>
本発明の第1実施形態のマーカー装置10について説明する。
図1は、第1実施形態のマーカー装置10の複数の例を示す。
図1(a)~
図1(d)は、マーカー装置10の模式的な断面図である。
図1(e)~
図1(g)は、マーカー装置10を後述する第2方向(Sc方向)に見た模式図である。
図1(a)が示すマーカー装置10は、
図1(e)~
図1(h)が示す4つのマーカー装置10のいずれかと対応していてもよく、対応していなくてもよい。
図1(b)~
図1(d)が示すマーカー装置10も同様である。
【0049】
第1実施形態のマーカー装置10は、発光装置11を含む。発光装置11は、発光するn個の発光マーカー12を有する。nは1以上の整数である。nは1であってもよい(例えば
図1(e)参照)。nは複数であってもよい(例えば
図1(f)~(g)参照)。n個の発光マーカー12は、マーカー装置10の第1方向を向いた面に配置される。図中の矢印Frは、第1方向の一例を示す。第1方向は図中のFr方向に限らない。マーカー装置10は、低反射部13をさらに含む。第1方向の逆方向である第2方向にマーカー装置10を見たときに、低反射部13は、n個の発光マーカー12の各々の縁の少なくとも一部に隣接するように配置される。図中の矢印Scは、第2方向の一例を示す。第2方向は図中のSc方向に限らない。低反射部13は、低反射部13に対して光が照射されたときに、低反射部13で反射して第1方向に進行する反射光を抑えるように構成される。このとき低反射部13に対して照射される光は、第2方向に対して傾斜する方向の光を含む。このとき低反射部13に対して照射される光は、第2方向の光を含まなくてもよく、含んでもよい。
【0050】
低反射部13は、n個の発光マーカー12の各々の縁の少なくとも一部に隣接していてもよく、隣接していなくてもよい。発光マーカー12の縁は、低反射部13の縁とつながっていてもよい(例えば
図1(a)、
図1(c)および
図1(d)参照)。発光マーカー12の縁は、低反射部13の縁とつながっていなくてもよい(例えば
図1(b)参照)。隣り合う2つの発光マーカー12の縁は、発光マーカー12ではない部分を介してつながっていてもよい(例えば
図1(c)参照)。隣り合う2つの発光マーカー12の縁は、つながっていなくてもよい(例えば
図1(d)参照)。
【0051】
マーカー装置10を第2方向に見たときに見える低反射部13の表面は、物理的に離れた複数の面で構成されていてもよい(例えば
図1(e)参照)。マーカー装置10を第2方向に見たときに見える低反射部13の表面は、つながった1つの面で構成されていてもよい(例えば
図1(f)~
図1(h)参照)。
【0052】
マーカー装置10の使用時、発光する発光マーカー12および低反射部13は、撮像装置(図示せず)によって撮像される。低反射部13を有することにより、発光マーカー12に対して光が照射されているときであっても、撮像された画像から発光マーカー12を検出しやすい。
【0053】
撮像装置で撮像された画像から検出された少なくとも1つの発光マーカー12に基づいて、例えば、撮像装置に対するマーカー装置10の相対的な位置と姿勢を推定することが可能である。
【0054】
具体的には、例えば、撮像装置で撮像された複数の画像中の1つの発光マーカー12の大きさの変化から、撮像装置とマーカー装置10との間の距離の変化を推定することが可能である。また、1つの発光マーカー12の大きさと、撮像装置とマーカー装置10との間の距離との関係を示す情報を予め取得していれば、1つの画像中の発光マーカー12の大きさから、撮像装置とマーカー装置10との間の距離を推定できる。
【0055】
発光マーカー12の形状によっては、例えば、撮像装置で撮像された複数の画像中の1つの発光マーカー12の形状の変化から、撮像装置に対するマーカー装置10の相対的な姿勢の変化を推定することが可能である。例えば、
図1(e)の発光マーカー12の場合にこれが可能である。また、1つの発光マーカー12の形状と、撮像装置に対するマーカー装置10の相対的な姿勢との関係を示す情報を予め取得していれば、1つの画像中の発光マーカー12の形状から、撮像装置に対するマーカー装置10の相対的な姿勢を推定できる。
【0056】
また、例えば、撮像装置で撮像された複数の画像中の2つの発光マーカー12の中心点の間の距離の変化から、撮像装置とマーカー装置10との間の距離の変化を推定することが可能である。また、2つの発光マーカー12の中心点の間の距離と、撮像装置とマーカー装置10との間の距離との関係を示す情報を予め取得していれば、1つの画像中の2つの発光マーカー12の中心点の間の距離から、撮像装置とマーカー装置10との間の距離を推定できる。このように、2つの発光マーカー12から撮像装置とマーカー装置10との間の距離を推定できるため、発光マーカー12の数は2つ以上が好ましい。
【0057】
マーカー装置10の用途によっては、マーカー装置10に対して撮像装置の光軸の方向が一定で、マーカー装置10に対して撮像装置の光軸回りに回転する場合がある。そのような場合であっても、例えば、撮像装置で撮像された複数の画像中の2つの発光マーカー12の中心点を結ぶ線分の方向の変化から、撮像装置に対するマーカー装置10の相対的な姿勢の変化を推定することが可能である。また、2つの発光マーカー12の中心点を結ぶ線分の方向と、撮像装置に対するマーカー装置10の相対的な姿勢との関係を示す情報を予め取得していれば、1つの画像中の2つの発光マーカー12の中心点を結ぶ線分の方向から、撮像装置に対するマーカー装置10の相対的な姿勢を推定できる。このように、2つの発光マーカー12から撮像装置に対するマーカー装置10の相対的な姿勢を推定できるため、発光マーカー12の数は2つ以上が好ましい。
【0058】
マーカー装置10の用途によっては、マーカー装置10に対して撮像装置の光軸の方向が変化する場合がある。そのような場合であっても、例えば、撮像装置で撮像された複数の画像中の3つの発光マーカー12の中心点を結ぶ三角形の大きさと形状の変化から、撮像装置とマーカー装置10との間の距離、および、撮像装置に対するマーカー装置10の相対的な姿勢の変化を推定することが可能である。また、3つの発光マーカー12の中心点を結ぶ三角形の大きさと、撮像装置とマーカー装置10との間の距離との関係を示す情報、および、3つの発光マーカー12の中心点を結ぶ三角形の形状と、撮像装置に対するマーカー装置10の相対的な姿勢との関係を示す情報を予め取得していれば、3つの発光マーカー12の中心点を結ぶ三角形の大きさと形状から、撮像装置とマーカー装置10との間の距離、および、撮像装置に対するマーカー装置10の相対的な姿勢を推定できる。このように、3つの発光マーカー12から、撮像装置とマーカー装置10との間の距離、および、撮像装置に対するマーカー装置10の相対的な姿勢を推定できるため、発光マーカー12の数は3つ以上が好ましい。
【0059】
また、撮像装置で撮像された画像から検出された少なくとも1つの発光マーカー12を、例えば、撮像装置が設置される装置(例えば、車両またはロボットなど)の制御に用いることができる。つまり、マーカー装置を、撮像装置が設置された装置(例えば、車両またはロボットなど)の制御に用いることができる。例えば、撮像装置で撮像された画像から発光マーカー12が検出された場合に、撮像装置が設置された装置(例えば、車両またはロボットなど)が予め決められた動作を行うように制御されてもよい。
【0060】
<第2実施形態>
次に、本発明の第2実施形態のマーカー装置10について説明する。
図2は、第2実施形態のマーカー装置10の1つの例を示す。第2実施形態のマーカー装置10は、第1実施形態の構成に加えて、以下の構成を有する。
低反射部13は、発光マーカー12および低反射部13に対して光が照射されたときに、低反射部13で反射して第1方向(Fr方向)に進行する反射光の光度が、発光マーカー12で反射して第1方向(Fr方向)に進行する反射光の光度よりも小さくなるように構成される。
【0061】
低反射部13は、低反射部13に入射した光を、少なくとも吸収するかもしくは乱反射させることによって、第1方向(Fr方向)に進行する反射光を抑えるように構成されてもよい。例えば、低反射部13の表面には、黒色塗料などの光吸収剤が塗布されていてもよい。また、例えば、低反射部13の表面は、光を乱反射させる粗面であってもよい。低反射部13は、光の吸収と乱反射の両方によって、第1方向(Fr方向)に進行する反射光を抑えるように構成されていてもよい。例えば、低反射部13の表面は、光吸収剤が塗布され、且つ、光を乱反射させる粗面であってもよい。また、例えば、低反射部13は、微細な凹凸または多孔を有する表面層を有し、この表面層の内部で光が反射を繰り返すことで、低反射部13に入射した光の一部が低反射部13に吸収されてもよい。低反射部13は、低反射部13に入射した光の一部を透過させてもよい。
【0062】
発光装置11は、電力で発光する光源を有する。光源は、例えばLED光源であってもよく、それ以外の光源であってもよい。マーカー装置10が有する光源の数は、発光マーカー12の数と同じであってもよく、それより少なくても多くてもよい。発光マーカー12の光は、可視光であってもよく、赤外光(赤外線)であってもよい。発光装置11は、配線で接続されており物理的に離れた複数の装置で構成されていてもよい。
【0063】
<第3実施形態>
次に、本発明の第3実施形態のマーカー装置10について説明する。第3実施形態のマーカー装置10は、第1実施形態または第2実施形態の構成に加えて、以下の構成を有する。
発光装置11は、n個の発光マーカー12が、発光する発光状態と発光しない非発光状態に切り換わるように制御される。つまり、マーカー装置10の電源をオンにしたまま、発光マーカー12を非発光状態とすることが可能である。この構成によると、発光マーカー12の発光状態と非発光状態の切換えによって、例えば、撮像装置が設置された装置(例えば、車両またはロボットなど)を制御することができる。
【0064】
発光マーカー12の発光状態と非発光状態の切り換えは、例えば、発光装置11が有するスイッチの切換えによって行われてもよい。マーカー装置10は、例えば、発光装置11を制御する発光制御部を有してもよい。nが複数の場合、n個の発光マーカー12は発光状態と非発光状態に個別に切り換え可能であってもよく、個別に切り換え不能であってもよい。発光装置11は、n個の発光マーカー12が点滅するように制御されてもよい。点滅の間隔は、撮像装置で撮像する間隔とずらすことが好ましい。
【0065】
<第4実施形態>
次に、本発明の第4実施形態のマーカー装置10について説明する。
図3は、第4実施形態のマーカー装置10の4つの例を示す。第4実施形態のマーカー装置10は、第1実施形態、第2実施形態、および第3実施形態の少なくとも1つの実施形態の構成に加えて、以下の構成を有する。
マーカー装置10は、低反射可動カバー14を含む。低反射可動カバー14は、第2方向(Sc方向)に見てn個の発光マーカー12のうちの少なくとも一部であるm個の第1発光マーカー12aを覆う位置と、第2方向(Sc方向)に見てm個の第1発光マーカー12aを覆わない位置との間を移動可能である(例えば
図3(a)参照)。mは、n以下の整数である。mはnと同じであってもよい(例えば
図3(b)参照)。mはnより小さい複数であってもよい(例えば
図3(c)、
図3(d)参照)。マーカー装置10は、低反射可動カバー14を移動させる移動機構(図示せず)を有してもよい。低反射可動カバー14は、m個の第1発光マーカー12aを覆う位置にある低反射可動カバー14に対して光が照射されたときに、低反射可動カバー14で反射して第1方向(Fr方向)に進行する反射光を抑えるように構成される。この構成によると、発光するm個の第1発光マーカー12aが低反射可動カバーで覆われていない状態と、m個の第1発光マーカー12aが低反射可動カバー14で覆われる状態とを切り換えることによって、例えば、撮像装置が設置された装置(例えば、車両またはロボットなど)を制御することができる。
【0066】
低反射可動カバー14は、m個の第1発光マーカー12aを覆う位置にある低反射可動カバー14に対して光が照射されたときに、低反射可動カバー14で反射して第1方向(Fr方向)に進行する反射光の光度が、発光マーカー12に対して同じ光が照射されたときに発光マーカー12で反射して第1方向(Fr方向)に進行する反射光の光度よりも小さくなるように構成されていてもよい。
低反射可動カバー14は、低反射可動カバー14に入射した光を、少なくとも吸収するかもしくは乱反射させることによって、第1方向(Fr方向)に進行する反射光を抑えるように構成されていてもよい。低反射可動カバー14が反射光を抑える仕組みは、低反射部13が反射光を抑える仕組みと同じであってもよく、異なっていてもよい。
例えば
図3(c)に示すように、低反射可動カバー14は、m個の第1発光マーカー12aを覆い、n個の発光マーカー12のうちの第1発光マーカー12aとは異なるp個の第2発光マーカー12bを覆わない位置と、m個の第1発光マーカー12aを覆わず、p個の第2発光マーカー12bを覆う位置とを移動可能であってもよい。pは1以上の整数である。
【0067】
例えば
図3(d)に示すように、マーカー装置10は、m個の第1発光マーカー12aを覆う低反射可動カバー14に加えて、n個の発光マーカー12のうちの第1発光マーカー12aとは異なる発光マーカー12を覆う少なくとも1つの低反射可動カバー14を有してもよい。つまり、マーカー装置10は、複数の低反射可動カバー14を有してもよい。複数の低反射可動カバー14が覆う発光マーカー12の数は、それぞれ、1つであってもよく、複数であってもよい。各低反射可動カバー14が覆う発光マーカー12の数は、同じであってもよく、異なっていてもよい。
【0068】
第4実施形態のマーカー装置10が第3実施形態の構成を有する場合、m個の第1発光マーカー12aは以下のように発光状態と非発光状態に切り換えられてもよい。低反射可動カバー14がm個の第1発光マーカー12aを覆うとき、m個の第1発光マーカー12aを非発光状態とし、低反射可動カバー14がm個の第1発光マーカー12aを覆わないとき、m個の第1発光マーカー12aを発光状態とする。
【0069】
<第5実施形態>
次に、本発明の第5実施形態のマーカー装置10について説明する。
図4(a)は、後述する第1使用状態の例を示し、
図4(b)は、後述する第2使用状態の例を示す。
図4(c)~
図4(k)は、第5実施形態のマーカー装置10の9つの例を示す。
図4(c)~
図4(k)は、第1使用状態または第2使用状態のマーカー装置10を第2方向(Sc方向)に見た図である。第5実施形態のマーカー装置10は、第1実施形態、第2実施形態、第3実施形態、および第4実施形態の少なくとも1つの実施形態の構成に加えて、以下の構成を有する。
第5実施形態のマーカー装置10は、第1使用状態および/または第2使用状態で使用される。第1使用状態は、マーカー装置10が設置された装置が水平面HS上に配置される使用状態である。第2使用状態は、マーカー装置10の絶対位置が固定される使用状態である。第1使用状態または第2使用状態において、マーカー装置10は第1方向(Fr方向)が鉛直方向と平行でないように配置される。図中の矢印Vは鉛直方向を示す。図中の両矢印Hは水平方向を示す。なお、第1使用状態における第1方向(Fr方向)と鉛直方向との関係は、
図4(a)に示す関係に限定されない。第2使用状態における第1方向(Fr方向)と鉛直方向との関係は、
図4(b)に示す関係に限定されない。第1使用状態または第2使用状態のマーカー装置10を第2方向(Sc方向)に見たときに、n個の発光マーカー12は、水平方向または鉛直方向に平行な直線に対して線対称ではない。つまり、第1使用状態または第2使用状態のマーカー装置10を第2方向(Sc方向)に見たときに、n個の発光マーカー12は、水平方向に平行な直線に対して線対称ではなく、および/または、鉛直方向に平行な直線に対して線対称ではない。この構成によると、例えば水面および/または窓ガラスに映る鏡像の誤検出を抑えることができる。
【0070】
第1使用状態または第2使用状態のマーカー装置10を第2方向(Sc方向)に見たときに、n個の発光マーカー12は、水平方向に平行な直線に対して線対称でなく、かつ、鉛直方向に平行な直線に対して線対称でなくてもよい(例えば
図4(i)~
図4(k)参照)。第1使用状態または第2使用状態のマーカー装置10を第2方向(Sc方向)に見たときに、n個の発光マーカー12は、水平方向に平行な直線に対して線対称でなく、かつ、鉛直方向に平行な直線に対して線対称であってもよい(例えば
図4(c)~
図4(e)参照)。第1使用状態または第2使用状態のマーカー装置10を第2方向(Sc方向)に見たときに、n個の発光マーカー12は、水平方向に平行な直線に対して線対称で、かつ、鉛直方向に平行な直線に対して線対称でなくてもよい(例えば
図4(f)~
図4(h)参照)。
【0071】
n個の発光マーカー12が水平方向または鉛直方向に平行な直線に対して線対称ではない形態とは、以下の形態のいずれであってもよい。nが複数の場合、n個の発光マーカー12の配置位置が水平方向または鉛直方向に平行な直線に対して線対称でない位置であってもよい(例えば
図4(c)、
図4(f)、
図4(i)および
図4(j)参照)。また、n個の発光マーカー12のうちの1つの発光マーカー12の形状が、水平方向または鉛直方向に平行な直線に対して線対称ではない形状であってもよい(例えば
図4(e)、
図4(h)および
図4(k)参照)。また、配置位置と形状の組み合わせによって、水平方向または鉛直方向に平行な直線に対して線対称ではない形態が実現されてもよい(例えば
図4(d)および
図4(g)参照)。
【0072】
マーカー装置10を第2方向(Sc方向)に見たときに、n個の発光マーカー12は、第2方向(Sc方向)に直交する平面上のいずれの直線に対しても線対称ではないことが好ましい(例えば
図4(i)、
図4(g)および
図4(k)参照)。具体的な形態は、水平方向または鉛直方向に平行な直線に対して線対称ではない形態の具体例と同様に、配置位置、形状、または、配置位置と形状の組み合わせのいずれで実現されてもよい。
【0073】
n個の発光マーカー12は、第2方向(Sc方向)に見て互いに直交する2つの方向の長さの比が1対2以上であるような形状の発光マーカー12を含むことが好ましい(例えば
図4(d)、
図4(e)、
図4(g)、
図4(h)、
図4(j)および
図4(k)参照)。撮像装置で撮像された画像には、例えば窓ガラスの反射光または街灯などの光の画像も含まれる場合がある。しかし、このような細長い形状の発光マーカー12の光は、街灯または窓ガラスの反射光などの一般的な光とは異なる。そのため、撮像された画像中の発光マーカー12を検出する処理を簡易化できる。
【0074】
第3実施形態の構成によると、マーカー装置10は、n個の発光マーカー12のうちのいずれかが必ず非発光状態となり、n個の発光マーカー12が同時に発光状態とならないように使用されることがある。この場合、n個の発光マーカー12のうち、同時に発光状態となる少なくとも1つの発光マーカー12が、水平方向または鉛直方向に平行な直線に対して線対称ではないことが好ましい。第2方向(Sc方向)に直交する平面上のいずれの直線に対しても線対称ではないことがより好ましい。
また、第4実施形態の構成によると、マーカー装置10は、n個の発光マーカー12のうちのいずれかが必ず低反射可動カバー14で覆われ、n個の発光マーカー12が同時に低反射可動カバー14で覆われない状態とならないように使用される場合がある。この場合、n個の発光マーカー12のうち、同時に低反射可動カバー14に覆われない状態となる少なくとも1つの発光マーカー12が、水平方向または鉛直方向に平行な直線に対して線対称ではないことが好ましい。第2方向(Sc方向)に直交する平面上のいずれの直線に対しても線対称ではないことがより好ましい。
【0075】
<第6実施形態>
次に、本発明の第6実施形態のマーカー検出システム1について
図5を参照しつつ説明する。第6実施形態のマーカー検出システム1は、第1~第5のいずれかのマーカー装置10に加えて、以下の構成を有する。
マーカー検出システム1は、撮像装置2と、解析装置3とを有する。撮像装置2は、n個の発光マーカー12のうちの少なくとも1つの発光マーカー12および低反射部13を撮像する。撮像装置2は、1回の撮像で、n個の発光マーカー12のうちの少なくとも1つの発光マーカー12を撮像する。撮像装置2は、n個の発光マーカー12のうち一部の発光マーカー12だけを撮像してもよく、n個の発光マーカー12の全てを撮像してもよい。解析装置3は、撮像装置2が取得した情報を取得する。解析装置3は、撮像装置2で撮像された画像中の少なくとも1つの発光マーカー12を検出する。
図5中の一点鎖線は、撮像装置2の光軸を示す。
図5は、撮像装置2の光軸の方向が第2方向(Sc方向)と平行である状態を示す。マーカー装置10を撮像するときの撮像装置2の光軸の方向は、第2方向(Sc方向)と平行でなくてもよい。
【0076】
撮像装置2は、レンズ機構を1つだけ有する単眼カメラであってもよく、複数のレンズ機構を有するステレオカメラ(複眼カメラ)であってもよい。発光マーカー12の光が可視光の場合、撮像装置2は、カラーセンサを有さないモノクロカメラであってもよく、カラーセンサを有するカラーカメラであってもよい。発光マーカー12の光が赤外光の場合、撮像装置2は、例えば、赤外線放射量を、画像の輝度または明度で表した画像を生成する赤外線カメラである。撮像装置2は、動画を撮像できるカメラであることが好ましい。撮像装置2は、静止画だけを撮像できるカメラであってもよい。
【0077】
解析装置3は、撮像装置2に無線または有線で接続される。解析装置3は、撮像装置2が設置される装置(図示せず)に設置されてもよく、撮像装置2が設置される装置とは異なる装置に設置されてもよい。解析装置3が画像中の発光マーカー12を検出する方法は特に限定されない。例えば公知の方法が採用されてもよい。解析装置3は、画像の輝度または明度を用いて、撮像装置2で撮像された画像中の発光マーカー12を検出してもよい。
【0078】
以下、画像の輝度または明度を用いて画像中の発光マーカー12を検出する方法の一例を説明する。解析装置3は、まず、画像中の輝度または明度が所定の値よりも高い領域(以下、明領域という)を検出する。その後、解析装置3は、検出された明領域の形状に基づいて、検出された明領域が発光マーカー12であるかを判定する。n個の発光マーカー12が、上述したような細長い形状の発光マーカー12を含む場合、明領域の形状から発光マーカー12を検出しやすい。n個の発光マーカー12のうちの1つの発光マーカー12が検出されると、予め記憶されたn個の発光マーカー12の位置関係に基づいて、他の発光マーカー12を容易に検出できる。解析装置3は、明領域を検出した後、明領域の中心位置を検出してもよい。発光マーカー12の数が3つ以上の場合、例えば、3つ以上の明領域の中心位置の配置に基づいて、これらの明領域が発光マーカー12であるか否かが判定されてもよい。
【0079】
撮像装置2で撮像された画像から検出された少なくとも1つの発光マーカー12に基づいて、撮像装置2に対するマーカー装置10の相対的な位置および姿勢の少なくとも一方が検出されてもよい。この処理は、解析装置3が行ってもよく、解析装置3以外の装置が行ってもよい。
【0080】
撮像装置2に対するマーカー装置10の相対的な位置および姿勢の少なくとも一方が検出される場合、マーカー検出システム1の使用前に、キャリブレーションを行うことが好ましい。キャリブレーションを行うことにより、撮像装置2に対するマーカー装置10の相対的な位置および姿勢の検出精度を高めることができる。
【0081】
<第7実施形態>
次に、本発明の第7実施形態のマーカー検出システム1について説明する。
図6は、第7実施形態のマーカー検出システム1の2つの例を示す。第7実施形態のマーカー検出システム1は、第6実施形態の構成に加えて、以下の構成を有する。
撮像装置2は、第1車両41に設置される。マーカー装置10は、第2車両42に設置される。マーカー装置10は、n個の発光マーカー12が第2車両42の車両前後方向における後方向を向くように配置される。撮像装置2は、第2車両42が第1車両41に先行して走行するときに、第2車両42のn個の発光マーカー12を撮像できるような位置に配置される。つまり、撮像装置2は、第1車両41の前方の対象物を撮像できるように設置される。
【0082】
第1車両41は、走行するための駆動源を有する。駆動源は、例えば、エンジンおよび/または電気モーターである。第1車両41は、第1車両41の走行を制御する制御装置50を有する。制御装置50は、オペレータの操作によらず第1車両41の車速を制御可能である。車速の制御は、車両を停止させることを含む。オペレータとは、乗員と遠隔操作する者を含む。第1車両41は、自動走行する車両であってもよく、自動する車両でなくてもよい。ここでの自動走行する車両とは、オペレータの操作によらず車速の変更と操舵を自動で行って目的地まで走行する車両である。制御装置50は、オペレータの操作によらず第1車両41の走行を開始するように制御可能であってもよい。第1車両41は、既定ルートを自動走行する車両であってもよい。第1車両41は、オペレータの操作によらずに車速が変更可能でありつつ、オペレータの操作によって車速が変更可能であってもよい。第1車両41は、オペレータの操作によらずに操舵可能でありつつ、オペレータの操作によって操舵可能であってもよい。
【0083】
第2車両42の構成は、第1車両41の構成と同じであってもよい。第1車両41に搭載される装置と第2車両42に搭載される装置は同じであってもよい。つまり、第1車両41と第2車両42にそれぞれ、撮像装置2とマーカー装置10の両方が設置されてもよい。第2車両42の構成は、第1車両41の構成と異なっていてもよい。
【0084】
第1車両41は、既定ルートを自動走行するゴルフカー(ゴルフカートともいう)であってもよい。この場合、第1車両41が走行する路面に、既定ルートに沿って電磁誘導線が埋設されていてもよい。第1車両41は、電磁誘導線からの磁力線を検出するセンサを有し、このセンサの検出結果に基づいて第1車両41の操舵が制御されてもよい。さらに、第1車両41が走行する路面に、複数の埋設マーカーが埋設されていてもよい。各埋設マーカーは、例えばRFIDタグまたは複数の磁石などで構成される。第1車両41は、埋設マーカーを検出するセンサを有し、このセンサの検出結果に基づいて第1車両41の車速が制御されてもよい。撮像装置2は、前方の障害物を検出するために使用されてもよい。第1車両41が既定ルートを自動走行するゴルフカーである場合、第2車両42も第1車両41と同じく既定ルートを自動走行するゴルフカーである。
【0085】
図6(a)に示すように、解析装置3は、第1車両41に設置されてもよい。第1車両41に設置された解析装置3は、第1車両41が有する制御装置50と一体化されていてもよい。解析装置3が第1車両41に設置される場合、解析装置3の検出結果が解析装置3から制御装置50に送られる。第1車両41の制御装置50は、解析装置3の検出結果に基づいて、第1車両41の走行を制御する。
図6(b)に示すように、解析装置3は、第1車両41に設置されず、第1車両41の走行を遠隔で制御する管理装置60に含まれてもよい。第1車両41は、管理装置60と無線で通信可能である。管理装置60は、解析装置3の検出結果に基づいて、走行を制御する信号を第1車両41に送信する。第1車両41の制御装置50は、管理装置60から送信された信号に基づいて、第1車両41の走行を制御する。したがって、解析装置3が第1車両41に設置される場合も設置されない場合も、制御装置50は、解析装置3の検出結果に基づいて、第1車両41の走行を制御する。つまり、撮像装置2で撮像された画像から検出された少なくとも1つの発光マーカー12に基づいて、第1車両41の走行が制御される。
【0086】
以下、画像から検出された少なくとも1つの発光マーカー12に基づいた第1車両41の走行の制御の例について説明する。
この走行制御の1つの例は、第2車両42が第1車両41に先行して走行するときに車間距離が維持されるように第1車両41の車速を制御することである。具体的には、例えば、画像から検出された少なくとも1つの発光マーカー12に基づいて、第1車両41と第2車両42の間の距離が検出され、検出される距離が所定の距離に維持されるように第1車両41の車速が制御されてもよい。このように、マーカー検出システム1を用いて車間距離を維持するように車速を制御できる。第1車両41および第2車両42が既定ルートを自動走行するゴルフカーである場合、例えば、車庫に入るときと車庫から出るときにマーカー検出システム1を使用できる。従来の既定ルートを自動走行するゴルフカーは、車庫に入るときと車庫から出るときに、複数台のゴルフカーがほぼ一定の間隔を空けて一列に並んだ状態で走行するように制御される場合がある。従来では、例えば電波の送受信機によって、車間距離を維持していた。この送受信機の代わりにマーカー検出システム1を使用できる。
この走行制御の他の例は、第1車両41が第2車両42に追従するように第1車両41の操舵を制御することである。具体的には、例えば、複数の画像から検出された少なくとも1つの発光マーカー12の形状または相対位置の変化に基づいて、第2車両42の操舵角が推定され、推定された操舵角と同じになるように第1車両41の操舵が制御されてもよい。
この走行制御のさらに他の例は、第1車両41が第2車両42に追従し且つ車間距離が維持されるように第1車両41の操舵と車速を制御することである。
【0087】
<第8実施形態>
次に、本発明の第8実施形態のマーカー検出システム1について説明する。
図7は、第8実施形態のマーカー検出システム1の3つの例を示す。第8実施形態のマーカー検出システム1は、第6実施形態の構成に加えて、以下の構成を有する。
撮像装置2は、第3車両43に設置される。第8実施形態の第3車両43の構成は、第7実施形態の第1車両41の構成と同じである。マーカー装置10は、静止物に設置される。例えば
図7(c)に示すように、マーカー装置10が設置される静止物は、路面であってもよい。この場合、撮像装置2は、路面を撮像できるように第3車両43に設置される。例えば
図7(a)および
図7(b)に示すように、マーカー装置10が設置される静止物は、例えば建物の壁または看板などであってもよい。この場合、撮像装置2は、第3車両43の前方の対象物を撮像できるように設置される。第3車両43の前方の対象物を撮像する撮像装置2は、路面を撮像する撮像装置2を兼ねていてもよい。第3車両43の前方の対象物を撮像する撮像装置2は、路面を撮像する撮像装置2とは異なってもよい。第3車両43は、第3車両43の前方の対象物を撮像する撮像装置2と、路面を撮像する撮像装置2の少なくとも一方を有する。第8実施形態の第3車両43に搭載される撮像装置2は、第7実施形態の撮像装置2を兼ねていてもよい。つまり、第8実施形態の第3車両43は、第7実施形態の第1車両41を兼ねていてもよい。
【0088】
図7(a)~
図7(c)に示すように、解析装置3は、第3車両43に設置されてもよい。第3車両43に設置された解析装置3は、第3車両43に設置された制御装置50と一体化されていてもよい。解析装置3が第3車両43に設置される場合、解析装置3の検出結果が解析装置3から制御装置50に送られる。第3車両43の制御装置50は、解析装置3の検出結果に基づいて、第3車両43の走行を制御する。解析装置3は、第3車両43に設置されず、第3車両43の走行を遠隔で制御する管理装置60(
図6参照)に含まれてもよい。第3車両43は、管理装置60と無線で通信可能である。管理装置60は、解析装置3の検出結果に基づいて、走行を制御する信号を第3車両43に送信する。第3車両43の制御装置50は、管理装置60から送信された信号に基づいて、第3車両43の走行を制御する。したがって、解析装置3が第3車両43に設置される場合も設置されない場合も、制御装置50は、解析装置3の検出結果に基づいて、第3車両43の走行を制御する。つまり、撮像装置2で撮像された画像から検出された少なくとも1つの発光マーカー12に基づいて、第3車両43の走行が制御される。
【0089】
以下、画像から検出された少なくとも1つの発光マーカー12に基づいた第3車両43の走行の制御の例について説明する。
この走行制御の1つの例は、第3車両43の走行を開始させることである。この場合、予め、マーカー装置10を撮像できるような位置で第3車両43を停止させる必要がある。また、この場合、マーカー装置10は、路面に設置されてもよく、路面以外の静止物に設置されてもよい。具体的には、例えば、画像から発光マーカー12が検出されたときに、第3車両43の走行が開始されず、発光マーカー12が非発光状態であるかもしくは低反射可動カバー14に覆われており、画像から発光マーカー12が検出されないときに、第3車両43の走行が開始されてもよい。また、この具体例とは逆に、発光マーカー12が検出されないときは、第3車両43の走行が開始されず、発光マーカー12が検出されたときに、第3車両43の走行が開始されてもよい。この2つの具体例は、マーカー検出システム1が第3実施形態または第4実施形態の構成を有する場合に実現される。このように、マーカー検出システム1を用いることで、第3車両43を遠隔操作することなく、第3車両43の走行開始のタイミングを自由に設定できる。
【0090】
この走行制御の他の例は、第3車両43の走行を停止させることである。この場合、マーカー装置10は、路面に設置されてもよく、路面以外の静止物に設置されてもよい。具体的には、例えば、画像から発光マーカー12が検出されたときに、第3車両43の走行が停止されず、発光マーカー12が非発光状態であるかもしくは低反射可動カバー14に覆われており、画像から発光マーカー12が検出されないときに、第3車両43の走行が停止されてもよい。また、この具体例とは逆に、発光マーカー12が検出されないときは、第3車両43の走行が停止されず、発光マーカー12が検出されたときに、第3車両43の走行が停止されてもよい。この2つの具体例は、マーカー検出システム1が第3実施形態または第4実施形態の構成を有する場合に実現される。他の具体例として、例えば、画像から検出された少なくとも1つの発光マーカー12に基づいて、第3車両43とマーカー装置10との間の距離が検出され、検出された距離が予め設定された値になったときに、第3車両43の走行が停止されてもよい。このように、マーカー検出システム1を用いることで、第3車両43を遠隔操作することなく1第3車両43の走行停止のタイミングを自由に設定できる。
【0091】
この走行制御のさらに他の例は、画像から検出された少なくとも1つの発光マーカー12に基づいた第3車両43の走行の停止の制御と、画像から検出された少なくとも1つの発光マーカー12に基づいた第3車両43の走行の開始の制御との組み合わせである。第3車両43が既定ルートを自動走行するゴルフカーである場合、例えば、車庫内で停止および発進するときにマーカー検出システム1を使用できる。上述したように、従来、既定ルートを自動走行するゴルフカーは、車庫に入るときと車庫から出るときに一列に並んで走行するように制御される場合がある。従来、列の先頭のゴルフカーは、例えば車庫内に埋設された埋設マーカーを検出することで所定の位置で停止する。先頭のゴルフカーが停止すると、後続のゴルフカーも停止する。従来では、埋設マーカーとして、電子制御によって発信する信号を切換え可能なものが用いられており、埋設マーカーから発信される信号が変わると、先頭のゴルフカーが発進する。従来の電子制御式の埋設マーカーの代わりに、マーカー装置10を用いることができる。マーカー装置10は埋設する必要がないため、設置および管理が容易である。
【0092】
この走行制御のさらに他の例は、第3車両43の操舵を制御することである。この場合、マーカー装置10は、路面に設置されてもよく、路面以外の静止物に設置されてもよい。具体的には、例えば、画像から検出された少なくとも1つの発光マーカー12に基づいて、第3車両43とマーカー装置10との間の距離が検出され、検出された距離が予め設定された値になったときに、第3車両43が予め設定された操舵角に制御されてもよい。このように、マーカー検出システム1を用いて第3車両43の操舵を制御できる。そのため、第3車両43が既定ルートを自動走行するゴルフカーである場合、電磁誘導線の代わりにマーカー装置10を使用して操舵を制御できる。この場合、マーカー装置10は、例えば
図7(c)に示すように、電磁誘導線がない領域Sを第3車両43が走行するときに第3車両43の撮像装置2で撮像できる位置に配置される。
【0093】
この走行制御のさらに他の例は、第3車両43の車速を制御することである。この場合、マーカー装置10は、路面に設置されてもよく、路面以外の静止物に設置されてもよい。具体的には、例えば、画像から検出された少なくとも1つの発光マーカー12に基づいて、第3車両43とマーカー装置10との間の距離が検出され、検出された距離が予め設定された値になったときに、第3車両43が予め設定された車速に制御されてもよい。このように、マーカー検出システム1を用いて第3車両43の車速を制御できる。そのため、第3車両43が既定ルートを自動走行するゴルフカーである場合、埋設マーカーの代わりにマーカー装置10を使用して操舵を制御できる。
【0094】
<実施形態の変更例>
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲に記載した限りにおいて様々な変更が可能である。以下、本発明の実施形態の変更例について説明する。
本発明のマーカー装置は、低反射可動カバーを有さなくてもよい。
本発明の発光装置は、n個の発光マーカーを発光状態と非発光状態に切り換えるように制御不能であってもよい。
本発明のn個の発光マーカーは、マーカー装置を第2方向に見たときに、第2方向に直交する平面上のいずれかの直線に対して線対称であってもよい。
本発明のn個の発光マーカーは、第1使用状態または第2使用状態のマーカー装置を第2方向に見たときに、水平方向または鉛直方向に平行な直線に対して線対称であってもよい。
本発明のマーカー装置の使用状態は、第1使用状態および/または第2使用状態に限らない。第1使用状態および第2使用状態において、マーカー装置は第1方向が鉛直方向と平行でないように配置される。しかし、本発明のマーカー装置は、第1方向が平行となるように配置されて使用されてもよい。本発明のマーカー装置が設置された装置が水平面上に配置された使用状態において、本発明のマーカー装置は第1方向が鉛直方向と平行となるように配置されてもよい。本発明のマーカー装置の絶対位置が固定される使用状態において、本発明のマーカー装置は第1方向が鉛直方向と平行となるように配置されてもよい。このような使用状態のマーカー装置を第2方向に見たときに、n個の発光マーカーは、第2方向に直交する平面上の少なくとも1つの直線に対して線対称でないことが好ましい。
本発明のマーカー装置は、マーカー装置の第1方向を向いた面に配置されたn個の発光マーカーに加えて、マーカー装置の第1方向を向いていない面に配置された発光マーカーを有してもよい。
本発明のマーカー検出システムの撮像装置は、車速が自動で制御されない車両に設置されてもよい。
本発明のマーカー検出システムのマーカー装置は、車速が自動で制御されない車両に設置されても良い。
【符号の説明】
【0095】
1 マーカー検出システム、2 撮像装置、3 解析装置、10 マーカー装置、11 発光装置、12 発光マーカー、13 低反射部、14 低反射可動カバー、41 第1車両(車両)、42 第2車両、43 第3車両(車両)、Fr 第1方向、Sc 第2方向