IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックオートモーティブシステムズ株式会社の特許一覧

特開2024-144100マーカー、エッジ検出装置、及び、エッジ検出方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144100
(43)【公開日】2024-10-11
(54)【発明の名称】マーカー、エッジ検出装置、及び、エッジ検出方法
(51)【国際特許分類】
   G01B 11/02 20060101AFI20241003BHJP
   G06T 7/13 20170101ALI20241003BHJP
【FI】
G01B11/02 H
G06T7/13
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023223571
(22)【出願日】2023-12-28
(31)【優先権主張番号】P 2023055374
(32)【優先日】2023-03-30
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】322003857
【氏名又は名称】パナソニックオートモーティブシステムズ株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】曹 芸芸
(72)【発明者】
【氏名】赤松 秀治
(72)【発明者】
【氏名】向井 裕人
(72)【発明者】
【氏名】辻岡 竣祐
(72)【発明者】
【氏名】柴田 修
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA12
2F065AA21
2F065BB28
2F065CC11
2F065JJ03
2F065JJ26
2F065QQ31
2F065SS03
2F065SS13
5L096BA04
5L096CA02
5L096GA07
5L096GA51
(57)【要約】
【課題】マーカーが有する複数の領域の境界の位置を精度よく特定されうるマーカーなどを提供する。
【解決手段】マーカー100は、所定方向に互いに隣接して並ぶN個(Nは、3以上の整数)の第1領域を有するマーカー100であって、N個の第1領域間の(N-1)個の第1境界のそれぞれでは、所定方向の位置に応じた、色の特性の変化量が第1閾値以上であり、N個の第1領域のそれぞれでは、所定方向の位置に応じた色の特性の変化量が第1閾値より小さい第2閾値以下であり、N個の第1領域では、所定方向の位置に応じた、色の特性の変化のパターンが互いに共通している。
【選択図】図2
【特許請求の範囲】
【請求項1】
所定方向に互いに隣接して並ぶN個(Nは、3以上の整数)の第1領域を有するマーカーであって、
前記N個の第1領域間の(N-1)個の第1境界のそれぞれでは、前記所定方向の位置に応じた、色の特性の変化量が第1閾値以上であり、
前記N個の第1領域のそれぞれでは、前記所定方向の位置に応じた前記色の特性の変化量が前記第1閾値より小さい第2閾値以下であり、
前記N個の第1領域では、前記所定方向の位置に応じた、前記色の特性の変化のパターンが互いに共通している
マーカー。
【請求項2】
前記N個の第1領域のそれぞれでは、前記所定方向の一端から他端までの前記色の特性が徐々に増加または減少している
請求項1に記載のマーカー。
【請求項3】
前記(N-1)個の第1境界のそれぞれでは、当該第1境界で隣接する2つの第1領域のうちの一方の第1領域において前記色の特性が最大である位置と、他方の第1領域において前記色の特性が最小である位置とが隣接している
請求項1または2に記載のマーカー。
【請求項4】
前記マーカーは、さらに、前記所定方向に並ぶM個(Mは、3以上の整数)の第2領域と、基準線とを有し、
前記基準線は、前記N個の第1領域と、前記M個の第2領域との間に位置し、カメラの光軸と交差するように配置され、
前記マーカーは、前記カメラに撮影される位置に配置され、
前記N個の第1領域は、前記基準線と前記光軸とが交差する基準位置の前記所定方向側に配置され、
前記M個の第2領域は、前記マーカーにおける前記基準位置の前記所定方向側とは反対側に配置され、
前記M個の第2領域間の(M-1)個の第2境界のそれぞれでは、前記所定方向の位置に応じた、前記色の特性の変化量が前記第1閾値以上であり、
前記M個の第2領域のそれぞれでは、前記所定方向の位置に応じた前記色の特性の変化量が前記第2閾値以下であり、
前記M個の第2領域では、前記所定方向の位置に応じた、前記色の特性の変化のパターンが互いに共通しており、
前記基準位置から遠ざかる方向における、前記N個の第1領域のそれぞれにおける前記色の特性の変化の第1パターンと、前記M個の第2領域のそれぞれにおける前記色の特性の変化の第2パターンとは互いに共通している
請求項1または2に記載のマーカー。
【請求項5】
さらに、
前記基準位置を中心とする径が異なる複数の円で区切られる複数の第3領域を有し、
前記複数の第3領域のそれぞれは、前記N個の第1領域のうち当該第3領域に対応する1つの第1領域と、前記M個の第2領域のうち当該第3領域に対応する1つの第2領域とを含む
請求項4に記載のマーカー。
【請求項6】
前記色の特性は、明度であり、
前記(N-1)個の第1境界のそれぞれ、及び、前記(M-1)個の第2境界のそれぞれでは、前記基準位置から遠ざかる方向に、最小明度である位置と最大明度である位置とが順に隣接している
請求項4に記載のマーカー。
【請求項7】
前記マーカーは、車両が備えるカメラのカメラ校正に用いられる
請求項1に記載のマーカー。
【請求項8】
前記マーカーは、さらに、前記所定方向に並ぶM個(Mは、3以上の整数)の第2領域と、前記N個の第1領域と、前記M個の第2領域との間に前記車両が通過するための通過領域を有する
請求項7に記載のマーカー。
【請求項9】
前記カメラは、前記車両の前方または後方を撮影するカメラであり、
前記所定方向は、前記車両の左右方向に沿っている
請求項7または8に記載のマーカー。
【請求項10】
前記カメラは、前記車両の側方を撮影するカメラであり、
前記所定方向は、前記車両の前後方向に沿っている
請求項7または8に記載のマーカー。
【請求項11】
前記マーカーは、前記車両が配置される床面に沿って配置されている
請求項9に記載のマーカー。
【請求項12】
前記マーカーは、前記車両が配置される床面に立設して配置されている
請求項9に記載のマーカー。
【請求項13】
前記カメラは、前記車両の前方または後方を撮影するカメラであり、
前記所定方向は、前記車両の前後方向に沿っており、
前記マーカーは、前記車両が配置される床面に立設して配置されている
請求項7または8に記載のマーカー。
【請求項14】
請求項1に記載のマーカーをカメラで撮影した画像を用いて、前記画像からエッジを検出するエッジ検出装置であって、
前記画像において隣接する2つの画素の色の特性の変化量が前記第1閾値以上である場合、前記2つの画素の間にエッジがあると判定し、
前記変化量が第2閾値以下である場合、前記2つの画素の間にエッジがないと判定する
エッジ検出装置。
【請求項15】
請求項1に記載のマーカーをカメラで撮影した画像を用いて、前記画像からエッジを検出するエッジ検出方法であって、
前記画像において隣接する2つの画素の色の特性の変化量が前記第1閾値以上である場合、前記2つの画素の間にエッジがあると判定し、
前記変化量が第2閾値以下である場合、前記2つの画素の間にエッジがないと判定する
エッジ検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、マーカー、エッジ検出装置、及び、エッジ検出方法に関する。
【背景技術】
【0002】
特許文献1には、長さが既知の複数の矩形が並ぶ長尺の帯からなるマーカーと共に被写体を撮影し、得られた画像上におけるマーカーの矩形を特定することで、被写体の実寸法を算出する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2015-227787号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の技術では、既知の長さの複数の矩形領域の境界を特定し、特定した境界と被写体の外形とを比較することで被写体の実寸法を算出している。
【0005】
しかしながら、特許文献1の技術では、マーカーにおける複数の領域の境界の位置を精度よく特定することが難しい。
【0006】
そこで、本開示は、マーカーが有する複数の領域の境界の位置を精度よく特定されうるマーカーなどを提供する。
【課題を解決するための手段】
【0007】
本開示の一態様に係るマーカーは、所定方向に互いに隣接して並ぶN個(Nは、3以上の整数)の第1領域を有するマーカーであって、前記N個の第1領域間の(N-1)個の第1境界のそれぞれでは、前記所定方向の位置に応じた、色の特性の変化量が第1閾値以上であり、前記N個の第1領域のそれぞれでは、前記所定方向の位置に応じた前記色の特性の変化量が前記第1閾値より小さい第2閾値以下であり、前記N個の第1領域では、前記所定方向の位置に応じた、前記色の特性の変化のパターンが互いに共通している。
【0008】
また、本開示の一態様に係るエッジ検出装置は、上記のマーカーをカメラで撮影した画像を用いて、前記画像からエッジを検出するエッジ検出装置であって、前記画像において隣接する2つの画素の色の特性の変化量が前記第1閾値以上である場合、前記2つの画素の間にエッジがあると判定し、前記変化量が第2閾値以下である場合、前記2つの画素の間にエッジがないと判定する。
【0009】
また、本開示の一態様に係るエッジ検出方法は、上記のマーカーをカメラで撮影した画像を用いて、前記画像からエッジを検出するエッジ検出方法であって、前記画像において隣接する2つの画素の色の特性の変化量が前記第1閾値以上である場合、前記2つの画素の間にエッジがあると判定し、前記変化量が第2閾値以下である場合、前記2つの画素の間にエッジがないと判定する。
【0010】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの非一時的な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび非一時的な記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0011】
本開示のマーカーは、当該マーカーが有する複数の領域の境界を精度よく特定されうる。また、エッジ検出装置及びエッジ検出方法は、マーカーが有する複数の領域の境界を精度よく特定することができる。
【図面の簡単な説明】
【0012】
図1図1は、実施の形態1に係る計測システムの概略構成の一例を示す図である。
図2図2は、実施の形態1に係るマーカーの構成の一例を示す図である。
図3図3は、実施の形態1に係る情報処理装置の構成の一例を示すブロック図である。
図4図4は、実施の形態1に係る情報処理装置の機能構成の一例を示すブロック図である。
図5図5は、実施の形態1に係るマーカー及び物体が撮影された画像の一例を示す図である。
図6図6は、実施の形態1に係るエッジ画像の一例を示す図である。
図7図7は、実施の形態1に係る情報処理装置の動作の一例を示すフローチャートである。
図8図8は、比較例のマーカーの課題を説明するための図である。
図9図9は、比較例のマーカーの白色の領域の両端の、所定方向の位置に応じた色の特性の変化量を示すグラフである。
図10図10は、実施の形態1に係るマーカーの複数の境界付近の領域の、所定方向に応じた輝度の一次微分値を示すグラフである。
図11図11は、実施の形態2に係るマーカーの構成の一例を示す図である。
図12図12は、実施の形態2に係る情報処理装置の構成の一例を示すブロック図である。
図13図13は、実施の形態2に係る情報処理装置の機能構成の一例を示すブロック図である。
図14図14は、実施の形態2に係る情報処理装置の動作の一例を示すフローチャートである。
図15図15は、実施の形態2の変形例1に係るマーカーの構成の一例を示す図である。
図16図16は、実施の形態2の変形例1に係る情報処理装置の構成の一例を示すブロック図である。
図17図17は、実施の形態2の変形例1に係る情報処理装置の機能構成の一例を示すブロック図である。
図18図18は、実施の形態2の変形例1に係る情報処理装置の動作の一例を示すフローチャートである。
図19図19は、実施の形態2の変形例2に係るマーカーの構成の一例を示す図である。
図20図20は、実施の形態2の変形例2に係るマーカーの構成の一例を示す図である。
図21図21は、実施の形態2の変形例3に係るマーカーの構成の一例を示す図である。
図22図22は、実施の形態2の変形例3に係るマーカーの構成の一例を示す図である。
図23図23は、実施の形態2の変形例3に係るマーカーの構成の他の一例を示す図である。
図24図24は、実施の形態2の変形例3に係るマーカーの構成の他の一例を示す図である。
図25図25は、実施の形態2の変形例4に係るマーカーの構成の一例を示す図である。
図26図26は、実施の形態2の変形例4に係るマーカーの構成の一例を示す図である。
図27図27は、実施の形態2の変形例4に係るマーカーの構成の他の一例を示す図である。
図28図28は、実施の形態2の変形例4に係るマーカーの構成の他の一例を示す図である。
図29図29は、実施の形態2の変形例5に係るマーカーの構成の一例を示す図である。
図30図30は、実施の形態2の変形例5に係るマーカーの構成の一例を示す図である。
図31図31は、実施の形態2の変形例5に係るマーカーの構成の他の一例を示す図である。
【発明を実施するための形態】
【0013】
本開示の第1態様に係るマーカーは、所定方向に互いに隣接して並ぶN個(Nは、3以上の整数)の第1領域を有するマーカーであって、前記N個の第1領域間の(N-1)個の第1境界のそれぞれでは、前記所定方向の位置に応じた、色の特性の変化量が第1閾値以上であり、前記N個の第1領域のそれぞれでは、前記所定方向の位置に応じた前記色の特性の変化量が前記第1閾値より小さい第2閾値以下であり、前記N個の第1領域では、前記所定方向の位置に応じた、前記色の特性の変化のパターンが互いに共通している。
【0014】
これによれば、マーカーが有するN個の第1領域において、N個の第1領域間の(N-1)個の第1境界では所定の方向に応じた色の特性の変化量が第1閾値以上であり、1つの第1領域内においては色の特性の変化量が第2閾値以下である。これにより、色の特性の変化量が第1閾値以上である位置を検出することで、(N-1)個の第1境界を特定することができる。また、N個の第1領域では、所定方向の位置に応じた、色の特性の変化のパターンが互いに共通しているため、N個の第1領域間の(N-1)個の第1境界における色の特性の変化の態様を共通化することができる。これにより、マーカーをカメラで撮影したときに当該カメラの光学系により生じた色収差の影響を受けた画像が得られたとしても、当該画像における色の特性の変化の態様を共通化することができるため、マーカーにおける(N-1)個の第1境界の位置を精度よく特定することができる。
【0015】
本開示の第2態様に係るマーカーは、第1態様に係るマーカーであって、前記N個の第1領域のそれぞれでは、前記所定方向の一端から他端までの前記色の特性が徐々に増加または減少している。
【0016】
このため、N個の第1領域のそれぞれの中において第1境界が誤検知されにくいようにすることができる。
【0017】
本開示の第3態様に係るマーカーは、第1態様または第2態様に係るマーカーであって、前記(N-1)個の第1境界のそれぞれでは、当該第1境界で隣接する2つの第1領域のうちの一方の第1領域において前記色の特性が最大である位置と、他方の第1領域において前記色の特性が最小である位置とが隣接している。
【0018】
(N-1)個の第1境界における色の特性の変化の態様を共通化するために、N個の第1領域のそれぞれでは、所定方向の位置に応じて色の特性を第2閾値以下で変化させる領域を設ける必要がある。このように、マーカーでは、所定方向の位置に応じて色の特性が第2閾値以下で変化させる領域が設けられているため、(N-1)個の第1境界において色の特性の変化量を最大にすることで、(N-1)個の第1境界を特定しやすくすることができる。よって、(N-1)個の第1境界の位置を精度よく特定することができる。
【0019】
本開示の第4態様に係るマーカーは、第1態様から第3態様のいずれか1つの態様に係るマーカーであって、前記マーカーは、さらに、前記所定方向に並ぶM個(Mは、3以上の整数)の第2領域と、基準線とを有し、前記基準線は、前記N個の第1領域と、前記M個の第2領域との間に位置し、カメラの光軸と交差するように配置され、前記マーカーは、前記カメラに撮影される位置に配置され、前記N個の第1領域は、前記基準線と前記光軸とが交差する基準位置の前記所定方向側に配置され、前記M個の第2領域は、前記マーカーにおける前記基準位置の前記所定方向側とは反対側に配置され、前記M個の第2領域間の(M-1)個の第2境界のそれぞれでは、前記所定方向の位置に応じた、前記色の特性の変化量が前記第1閾値以上であり、前記M個の第2領域のそれぞれでは、前記所定方向の位置に応じた前記色の特性の変化量が前記第2閾値以下であり、前記M個の第2領域では、前記所定方向の位置に応じた、前記色の特性の変化のパターンが互いに共通しており、前記基準位置から遠ざかる方向における、前記N個の第1領域のそれぞれにおける前記色の特性の変化の第1パターンと、前記M個の第2領域のそれぞれにおける前記色の特性の変化の第2パターンとは互いに共通している。
【0020】
マーカーをカメラで撮影したときに当該カメラの光学系により生じた色収差は、光学系の光軸に垂直な方向の一方側と他方側とで反対の傾向になる。よって、N個の第1領域とM個の第2領域とがカメラの光軸を基準に、光軸の両側になるように配置することで、撮影したときに得られた画像における、(N-1)個の第1境界と(M-1)個の第2境界とにおける色の特性の変化の態様を共通化することができる。これにより、マーカーをカメラで撮影したときに当該カメラの光学系により生じた色収差の影響を受けた画像が得られたとしても、当該画像における色の特性の変化の態様を共通化することができる。よって、マーカーにおける(N-1)個の第1境界の位置及び(M-1)個の第2境界の位置を精度よく特定することができる。
【0021】
本開示の第5態様に係るマーカーは、第4態様に係るマーカーであって、さらに、前記基準位置を中心とする径が異なる複数の円で区切られる複数の第3領域を有し、前記複数の第3領域のそれぞれは、前記N個の第1領域のうち当該第3領域に対応する1つの第1領域と、前記M個の第2領域のうち当該第3領域に対応する1つの第2領域とを含む。
【0022】
本開示の第6態様に係るマーカーは、第4態様または第5態様に係るマーカーであって、前記色の特性は、明度であり、前記(N-1)個の第1境界のそれぞれ、及び、前記(M-1)個の第2境界のそれぞれでは、前記基準位置から遠ざかる方向に、最小明度である位置と最大明度である位置とが順に隣接している。
【0023】
基準位置から遠ざかる方向に、最小明度である位置と最大明度である位置とが順に隣接することで構成される境界における、色の特性の変化量のピークを1つにすることができる。よって、より精度よく(N-1)個の第1境界の位置及び(M-1)個の第2境界の位置を特定することができる。
【0024】
本開示の第7態様に係るマーカーは、第1態様に係るマーカーであって、前記マーカーは、車両が備えるカメラのカメラ校正に用いられる。
【0025】
本開示の第8態様に係るマーカーは、第7態様に係るマーカーであって、前記マーカーは、さらに、前記所定方向に並ぶM個(Mは、3以上の整数)の第2領域と、前記N個の第1領域と、前記M個の第2領域との間に前記車両が通過するための通過領域を有する。
【0026】
本開示の第9態様に係るマーカーは、第7態様または第8態様に係るマーカーであって、前記カメラは、前記車両の前方または後方を撮影するカメラであり、前記所定方向は、前記車両の左右方向に沿っている。
【0027】
本開示の第10態様に係るマーカーは、第7態様または第8態様に係るマーカーであって、前記カメラは、前記車両の側方を撮影するカメラであり、前記所定方向は、前記車両の前後方向に沿っている。
【0028】
本開示の第11態様に係るマーカーは、第9態様に係るマーカーであって、前記マーカーは、前記車両が配置される床面に沿って配置されている。
【0029】
本開示の第12態様に係るマーカーは、第9態様に係るマーカーであって、前記マーカーは、前記車両が配置される床面に立設して配置されている。
【0030】
本開示の第13態様に係るマーカーは、第7態様または第8態様に係るマーカーであって、前記カメラは、前記車両の前方または後方を撮影するカメラであり、前記所定方向は、前記車両の前後方向に沿っており、前記マーカーは、前記車両が配置される床面に立設して配置されている。
【0031】
本開示の第14態様に係るエッジ検出装置は、第1態様から第6態様のいずれか1つの態様に係るマーカーをカメラで撮影した画像を用いて、前記画像からエッジを検出するエッジ検出装置であって、前記画像において隣接する2つの画素の色の特性の変化量が前記第1閾値以上である場合、前記2つの画素の間にエッジがあると判定し、前記変化量が第2閾値以下である場合、前記2つの画素の間にエッジがないと判定する。
【0032】
これにより、マーカーにおける(N-1)個の第1境界の位置を精度よく特定することができる。
【0033】
本開示の第15態様に係るエッジ検出方法は、上記のマーカーをカメラで撮影した画像を用いて、前記画像からエッジを検出するエッジ検出方法であって、前記画像において隣接する2つの画素の色の特性の変化量が前記第1閾値以上である場合、前記2つの画素の間にエッジがあると判定し、前記変化量が第2閾値以下である場合、前記2つの画素の間にエッジがないと判定する。
【0034】
これにより、マーカーにおける(N-1)個の第1境界の位置を精度よく特定することができる。
【0035】
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0036】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【0037】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0038】
(実施の形態1)
[1-1.構成]
図1は、実施の形態1に係る計測システムの概略構成の一例を示す図である。
【0039】
計測システム1は、マーカー100と共に計測対象となる物体10をカメラ200で撮影し、カメラ200で得られた画像50に対して情報処理装置300による画像処理を行うことで、物体10の外形の寸法を計測するシステムである。物体10は、本実施の形態では、オレンジである。物体10は、オレンジに限らずに、形状を有する物であればどのような物であってもよい。計測システム1は、マーカー100と、カメラ200と、情報処理装置300とを備える。
【0040】
マーカー100は、カメラ200の撮影範囲に配置され、カメラ200に対向して配置される。マーカー100は、カメラ200に正対するように、具体的には、カメラ200の光軸に垂直になるように配置される。また、マーカー100は、カメラ200までの距離を、寸法測定の対象である物体10からカメラ200までの距離とおおよそ同程度である。マーカー100の構成の詳細は、図2を用いて後述する。
【0041】
カメラ200は、マーカー100を含む撮影範囲を撮影し、撮影した結果としての画像50を生成する。図1に示すように、マーカー100を含む撮影範囲に物体10が配置された場合には、カメラ200は、マーカー100及び物体10を撮影し、マーカー100及び物体10を含む画像50を生成する。カメラ200は、レンズを含む光学系(図示せず)と、光学系により収束された光をデジタル信号に変換するイメージセンサ(図示せず)とを備える。イメージセンサは、複数の画素のそれぞれがRGBの各色を検出するサブ画素を備えるカラーイメージセンサであってもよいし、モノクロイメージセンサであってもよい。つまり、カメラ200は、カラーカメラであってもよいし、モノクロカメラであってもよい。
【0042】
情報処理装置300は、カメラ200により生成された画像50をカメラ200から取得し、画像50に対して所定の画像処理を行うことで、物体10の外形の寸法を算出する。なお、情報処理装置300は、物体10の外形にかかわらず、物体10の一部の外形を特定できれば、当該一部の外形の寸法を算出することもできる。
【0043】
図2は、実施の形態1に係るマーカーの構成の一例を示す図である。
【0044】
マーカー100は、所定方向(本実施の形態では水平方向)に互いに隣接して並ぶ6個の領域A11~A16を有する。マーカー100は、平面を形成しており、平面上に6個の領域A11~A16を有する。マーカー100は、例えば、表面が平面の部材(例えば、板状部材)の表面に複数の領域A11~A16が配置されている。なお、マーカー100が有する領域の数は、6個に限らずに、3個以上(つまり、N個(Nは、3以上の整数)であればよい。6個の領域A11~A16は、N個の第1領域の一例である。また、所定方向は、本実施の形態では水平方向であるが、縦方向であってもよいし、他の方向であってもよい。マーカー100は、カメラ200と正対して配置されるため、所定方向は、カメラ200により撮影されたときにカメラ200の光軸に対して交差する方向であればどのような方向であってもよい。
【0045】
6個の領域A11~A16は、所定方向において、互いに同じ大きさを有する。つまり、6個の領域A11~A16の所定方向における幅は、互いに同じである。そして、所定方向における幅は、規定の幅である。言い換えると、6個の領域A11~A16の所定方向における幅は、マーカー100に対して予め規定されている幅であり、既知の幅である。例えば、情報処理装置300は、マーカー100の6個の領域A11~A16の所定方向における幅の実寸法を示す寸法情報を記憶していてもよい。
【0046】
6個の領域A11~A16のそれぞれは、所定方向の位置に応じた、色の特性の変化のパターンを有する。色の特性は、本実施の形態では、明度である。なお、色の特性は、明度、色相、及び、彩度のうちの少なくとも1つであってもよい。
【0047】
6個の領域A11~A16では、所定方向の位置に応じた、色の特性の変化のパターンが互いに共通している。このため、以下では、領域A11について説明し、他の領域A12~A16の説明を省略する。
【0048】
領域A11は、所定方向に隣接する領域A12に近い位置ほど明度が低くなる、色の特性の変化のパターンを有する。つまり、領域A11は、所定方向に進んだ位置ほど明度が低くなる、色の特性の変化のパターンを有する。また、領域A11では、所定方向の位置に応じた明度の変化量が第1閾値より小さい第2閾値以下である。例えば、領域A11では、所定方向の一端から他端までの明度が徐々に減少している。また、領域A11は、所定方向のマイナス側の一端において最も明度が高く、所定方向のプラス側の他端において最も明度が低い。
【0049】
次に、6個の領域A11~A16間の5個の境界Bo11~Bo15について説明する。なお、5個の境界Bo11~Bo15は、(N-1)個の第1境界の一例である。
【0050】
6個の領域A11~A16間の5個の境界Bo11~Bo15のそれぞれでは、所定方向の位置に応じた、色または明度である特定の画質特性の変化量が第1閾値以上である。6個の領域A11~A16のそれぞれは、所定方向のマイナス側の一端において最も明度が高く、所定方向のプラス側の他端において最も明度が低い。このため、5個の境界Bo11~Bo15のそれぞれでは、当該境界で隣接する2つの領域のうちの一方の領域において明度が最大である位置と、他方の領域において明度が最小である位置とが隣接している。つまり、境界Bo11では、領域A12において明度が最大である位置と、領域A11において明度が最小である位置とが隣接している。また、境界Bo12では、領域A13において明度が最大である位置と、領域A12において明度が最小である位置とが隣接している。また、境界Bo13では、領域A14において明度が最大である位置と、領域A13において明度が最小である位置とが隣接している。また、境界Bo14では、領域A15において明度が最大である位置と、領域A14において明度が最小である位置とが隣接している。また、境界Bo15では、領域A16において明度が最大である位置と、領域A15において明度が最小である位置とが隣接している。
【0051】
次に、実施の形態1に係る情報処理装置300の構成について説明する。
【0052】
図3は、実施の形態1に係る情報処理装置の構成の一例を示すブロック図である。
【0053】
図3に示すように、情報処理装置300は、ハードウェア構成として、プロセッサ301と、メインメモリ302と、ストレージ303と、通信IF(Interface)304とを備える。情報処理装置300は、さらに、入力IF(Interface)305と、ディスプレイ306とを備えてもよい。情報処理装置300は、エッジ検出装置の一例である。
【0054】
プロセッサ301は、ストレージ303等に記憶されたプログラムを実行するプロセッサである。
【0055】
メインメモリ302は、プロセッサ301による処理の過程で生成されたデータを一時的に記憶させるために用いられたり、プロセッサ301がプログラムを実行するときに使用するワークエリアとして用いられたり、通信IF304により受信されたデータを一時的に記憶するために用いられたりする揮発性の記憶領域である。
【0056】
ストレージ303は、プログラムなどの各種データを保持する不揮発性の記憶領域である。ストレージ303は、例えば、プロセッサ301による処理の結果生成された各種データ、通信IF304により受信された画像50などを含む各種データを記憶する。また、ストレージ303は、マーカー100の特徴を示す特徴情報を記憶していてもよい。特徴情報は、例えば、マーカー100を構成する6個の領域A11~A16それぞれの幅を示す寸法情報であってもよいし、6個の領域A11~A16を区切る5個の境界Bo11~Bo15のマーカー100における位置(座標)を示す情報であってもよい。
【0057】
通信IF304は、カメラ200から画像50を受信するための通信インタフェースである。また、通信IF304は、スマートフォン、タブレット、PC(Personal
Computer)、サーバなどの外部機器との間でデータの伝送を行うための通信インタフェースであってもよい。通信IF304は、例えば、無線LANインタフェース、Bluetooth(登録商標)インタフェースなどの無線通信のためのインタフェースであってもよい。通信IF304は、USB(Universal Serial Bus)、有線LANインタフェースなどの有線通信のためのインタフェースであってもよい。
【0058】
入力IF305は、人からの入力を受け付けるためのインタフェースである。入力IF305は、マウス、タッチパッド、タッチパネル、トラックボールなどのポインティングデバイスであってもよいし、キーボードであってもよい。
【0059】
ディスプレイ306は、液晶ディスプレイ、有機ELディスプレイなどである。
【0060】
図4は、実施の形態1に係る情報処理装置の機能構成の一例を示すブロック図である。
【0061】
図4に示すように、情報処理装置300は、機能的には、取得部311と、物体境界検出部312と、マーカー境界検出部313と、サイズ算出部314と、出力部315とを備える。
【0062】
取得部311は、カメラ200から画像50を取得する。取得部311は、例えば、通信IF304などにより実現される。
【0063】
図5は、実施の形態1に係るマーカー及び物体が撮影された画像の一例を示す図である。
【0064】
物体境界検出部312は、画像50に所定のアルゴリズムによるエッジ検出処理を適用することで、エッジが強調されたエッジ画像51を生成する。
【0065】
図6は、実施の形態1に係るエッジ画像の一例を示す図である。なお、図6では、マーカーの領域は省略されており、マーカーのエッジは現れていない。
【0066】
例えば、エッジ画像51は、画素値として輝度変化量を含む画像である。エッジ画像51は、画素値が所定の閾値より大きい画素にエッジを有することを示す画像である。なお、エッジ画像51は、画像50と同じ画素数の配列を有する。具体的には、画像50及びエッジ画像51は、鉛直方向における画素数が互いに同じであり、水平方向における画素数が互いに同じである。
【0067】
物体境界検出部312は、エッジ画像51において、所定の閾値より高い輝度変化量を有する画素のうち、所定方向(本実施の形態では水平方向)の座標が最小である画素と、所定方向の座標が最大である画素とを物体10の所定方向における物体境界として特定する。言い換えると、物体境界検出部312は、エッジ画像51の所定方向マイナス側の端部を原点とした時に、所定の閾値より大きい画素値を有する画素のうち、原点に最も近い画素と、原点から最も遠い画素とを特定する。これにより、画像50における物体10の所定方向における最小位置P11の画素と、最大位置P12における画素とが特定される。なお、所定方向における最小位置P11とは、物体10の所定方向マイナス側の端部の位置を示し、所定方向における最大位置P12とは、物体10の所定方向プラス側の端部の位置を示す。物体境界は、所定方向における物体10の最小位置P11と、最大位置P12とを含む。
【0068】
なお、物体境界検出部312は、エッジ画像51のうち物体10が含まれる領域のみに対して上記の処理を行ってもよい。この場合、エッジ画像51のうち物体10が含まれる領域は、ユーザにより指定されてもよいし、予め設定されていてもよい。エッジ画像51のうち物体10が含まれる領域が予め設定される場合には、カメラ200が物体10を撮影するときに予め設定された領域に物体10が含まれるように、物体10を配置する必要がある。
【0069】
マーカー境界検出部313は、画像50のうちのマーカー100が含まれる領域を特定する。画像50のうちのマーカー100が含まれる領域は、ユーザにより指定されてもよいし、予め設定されてもよい。画像50のうちマーカー100が含まれる領域が予め設定される場合には、カメラ200がマーカー100を撮影するときに予め設定された領域にマーカー100が含まれるように、マーカー100とカメラ200との位置関係を決定する必要がある。
【0070】
そして、マーカー境界検出部313は、特定したマーカー100が含まれる領域のうちで、物体境界検出部312により特定された物体境界に対応するマーカー100の範囲を算出する。具体的には、マーカー境界検出部313は、物体10の所定方向における最小位置P11から最大位置P12までの範囲を、上記マーカー100の範囲として算出する。
【0071】
マーカー境界検出部313は、算出されたマーカー100の範囲に基づく探索範囲で、画像50からマーカー100の境界を検出(探索)する。探索範囲は、最小位置P11から最大位置P12までの範囲から両外側にあるマーカー100の境界を1つずつ検出するまでの範囲としてもよい。つまり、この探索により、最小位置P11から最大位置P12までの範囲内の境界Bo12~Bo14と、当該範囲の1つずつ外側の境界Bo11、Bo15とが検出される。
【0072】
なお、マーカー境界検出部313は、例えば、画像50のうちマーカー100が含まれる領域のうちの所定方向における境界に対応するマーカー100の範囲において、所定方向における輝度変化を一次微分で算出する。一次微分は、例えば、式1または式2で算出される。
【0073】
f’(x0)=|f(x0+1)-f(x0)|・・・(式1)
【0074】
f’(x0)=|f(x0+1)-f(x0-1)|・・・(式2)
【0075】
式1及び式2においてx0は、所定方向における位置を示す。f(x0)は、位置x0における画素が有する輝度を示す。輝度は、例えば、画像50がカラー画像の場合、RGBの各サブピクセルの画素値に基づいて算出され、画像50がモノクロ画像の場合、画素値である。
【0076】
そして、マーカー境界検出部313は、所定方向における位置に応じた、輝度の一次微分のグラフにおけるピーク位置をマーカー100の境界として検出してもよい。なお、マーカー境界検出部313は、ピーク位置における輝度の一次微分値が第1閾値以上であるか否かを判定してもよい。マーカー境界検出部313は、ピーク位置における輝度の一次微分値が第1閾値以上である場合、当該ピーク位置をマーカー100の境界として検出し、ピーク位置における輝度の一次微分値が第1閾値以上でない場合、当該ピーク位置をマーカー100の境界として検出しない。
【0077】
また、マーカー境界検出部313は、輝度の一次微分のグラフにおけるピーク位置を中心に、予め定められたウインドウサイズで算出した重心の位置をマーカー100の境界として検出してもよい。重心の位置は、例えば、下記の式3で算出される。
【0078】
【数1】
【0079】
ここで、xは所定方向におけるウインドウの基準位置(算出対象の位置)を示し、wはウインドウの半分の幅を示し、xは所定方向の位置を示す。
【0080】
このようにして、境界Bo11~境界Bo15の所定方向における位置P21~P25がそれぞれ特定される。
【0081】
サイズ算出部314は、境界Bo11~Bo15のうち、物体境界の最小位置P11に最も近い境界Bo11の位置P21を特定し、所定方向における最小位置P11と位置P21との間の第1画素数を算出する。ここで、境界Bo11は、最小位置P11から物体10に対して外側(図5では左側)の境界である。言い換えると、境界Bo11は、最小位置P11より小さい1以上の境界のうちで、最小位置P11に最も近い境界である。また、位置P21と位置P22との間の第2画素数を算出する。領域A12の幅Wは、既知であるため、幅Wを第2画素数で除すことで、領域A12の所定方向における画素当たりの長さLを算出できる。よって、長さLに第1画素数を乗ずることで位置P21から位置P11までの長さを算出でき、幅Wから算出した長さを減ずることで位置P11から位置P22までの長さを算出できる。
【0082】
同様にして、最大位置P12と、最大位置P12に最も近い境界Bo15の位置P25との間の長さを算出し、位置P24から位置P12までの長さを算出できる。ここで、境界Bo15は、最大位置P12から物体10に対して外側(図5では右側)_の境界である。言い換えると、境界Bo15は、最大位置P12より大きい1以上の境界のうちで、最大位置P12に最も近い境界である。
【0083】
そして、位置P22から位置P24までの長さは、領域2つ分の長さであるため幅Wに2を乗算することで算出でき、位置P11から位置P12までの長さは、位置P11から位置P22までの長さと、位置P22から位置P24までの長さと、位置P24から位置P12までの長さとを互いに加えることで、算出できる。
【0084】
このようにして、サイズ算出部314は、位置P11から位置P12までの長さを、物体10の所定方向における寸法として算出することができる。
【0085】
なお、物体境界検出部312、マーカー境界検出部313、及び、サイズ算出部314は、プロセッサ301、メインメモリ302及びストレージ303などにより実現される。
【0086】
出力部315は、サイズ算出部314により算出された寸法を出力する。出力部315は、寸法を示す情報を外部の機器に送信してもよいし、ディスプレイ306に寸法を表示してもよい。出力部315は、通信IF304により実現されてもよいし、ディスプレイ306により実現されてもよい。
【0087】
[1-2.動作]
図7は、実施の形態1に係る情報処理装置の動作の一例を示すフローチャートである。
【0088】
情報処理装置300は、カメラ200から画像50を取得する(S1)。ステップS1の処理は、取得部311による処理である。
【0089】
次に、情報処理装置300は、画像50にエッジ検出処理を適用することでエッジ画像51を生成する(S2)。ステップS2の処理は、物体境界検出部312による処理である。
【0090】
次に、情報処理装置300は、エッジ画像51において、物体10の所定方向における境界を算出する(S3)。ステップS3の処理は、物体境界検出部312による処理である。
【0091】
次に、情報処理装置300は、画像50において、物体10の境界に対応するマーカー100の範囲を算出する(S4)。ステップS4の処理は、マーカー境界検出部313による処理である。
【0092】
次に、情報処理装置300は、ステップS4で算出された範囲内のマーカー100の境界Bo11~Bo15を検出する(S5)。
【0093】
次に、情報処理装置300は、物体10の境界の位置P11、P12と、マーカー100上の境界Bo11~Bo15の位置P21~P25とを対応付ける(S6)。
【0094】
次に、情報処理装置300は、位置P11、P12、P21~P25と、既知の各領域の幅Wとに基づいて、物体10のサイズを算出する(S7)。
【0095】
[1-3.効果など]
ここで、従来技術の課題と合わせて、本実施の形態におけるマーカー100の効果について説明する。
【0096】
図8は、比較例のマーカーの課題を説明するための図である。
【0097】
比較例のマーカー101は、所定方向に互いに隣接して並ぶ、黒色の領域A101、A103、A105と、白色の領域A102、A104との2色の領域の組合せで構成される。黒色の領域A101、A103、A105と、白色の領域A102、A104との間には、明度の差が所定量以上であるものとする。
【0098】
このマーカー101において、例えば、白色の領域A102は、2つの黒色の領域A101、A103と隣接している。このため、白色の領域A102と、白色の領域A102と隣接している黒色の領域A101との境界、及び、白色の領域A102と、白色の領域A102と隣接している黒色の領域A103との境界では、所定方向における明度の変化量が第1閾値以上となり、マーカー101を撮影して得られた画像を解析することで境界の位置を検出できる。
【0099】
ところで、マーカー101が撮影されるときに、マーカー101を撮影するカメラ200では、カメラ200のレンズ201などの光学系で集光して、イメージセンサに受光される。白色の領域A102からの白色の光は、3原色、即ち、赤、緑、青が混合された光であり、レンズ201を通る時に波長により屈折率が異なるため、図8に示したように、レンズ201を通った後の赤、緑、青の3色の範囲が同じ位置ではなくなる。このため境界Bo101に近い領域A102からの白色光1は、例えば、赤色成分の光R1、緑色成分の光G1、及び、青色成分の光B1に分かれる。同様に、境界Bo102に近い領域A102からの白色光2は、例えば、赤色成分の光R2、緑色成分の光G2、及び、青色成分の光B2に分かれる。光1及び光2は、白色の領域A102の所定方向両端からの光であり、隣接する領域A101、A103は黒色で領域A101、A103からの光はほとんどないため、イメージセンサにおける、白色領域で検出される画素の両端の画素は、赤色成分及び黄色成分の光と、水色成分及び青色成分の光とをそれぞれ受光する。このように、白色の領域A102は、イメージセンサで受光されるときには、白色で検出される画素の領域の両端が、赤色成分及び黄色成分の領域と、水色成分及び青色成分の領域とで構成されるため、イメージセンサが生成する画像においても、赤色成分の領域、黄色成分の領域、白色の領域、水色成分の領域、及び青色成分の領域の順の領域が含まれる。このため、カメラ200で生成された画像では、マーカー101の境界Bo101付近の領域と、マーカー101の境界Bo102付近の領域とでは、色の特性の変化のパターンが異なってしまう。なお、波長の長い赤色成分及び黄色成分の領域は、白色の領域に対して、カメラ200の光軸Ax1に近い位置に屈折され、波長の短い水色成分及び青色成分の領域は、白色の領域に対して光軸Ax1から遠い位置に屈折される。
【0100】
図9は、比較例のマーカーの白色の領域の両端の、所定方向の位置に応じた色の特性の変化量を示すグラフである。色の特性の変化量は、例えば、輝度の一次微分値である。
【0101】
図9の(a)は、カメラ200で生成された、比較例のマーカー101の画像の概略を示す図である。上述したように、白色の領域の境界Bo101付近の領域では、赤色成分と黄色成分の領域となり、白色の領域の境界Bo102付近の領域では、水色成分と青色成分の領域となる。境界Bo101は、白色の領域に対してカメラ200の光軸Axに近い境界であり、境界Bo102は、白色の領域に対してカメラ200の光軸Axから遠い境界である。
【0102】
図9の(b)は、境界Bo101付近の領域の、所定方向の位置に応じた輝度の一次微分値を示すグラフである。図9の(c)は、境界Bo102付近の領域の、所定方向の位置に応じた輝度の一次微分値を示すグラフである。
【0103】
これらのグラフに示されるように、境界Bo101付近と、境界Bo102付近とでは、所定方向の位置に応じた輝度の一次微分値の変化のパターンが異なることが分かる。境界Bo101付近では、輝度の一次微分値のピークが1点に特定できる形状のグラフが得られるのに対し、境界Bo102付近では、輝度の一次微分値のピークが所定方向のある範囲にわたって存在し、輝度の一次微分値のピークを1点に特定するのが難しい形状のグラフが得られる。よって、境界Bo102付近では、ピークの重心を算出することで、境界を特定することが求められる。
【0104】
このように、比較例のマーカー101では、境界によって、所定方向の位置に応じた、色の特性の変化のパターンが異なることがあるため、単純な境界探索をしても、精度よく境界の位置を特定できないという課題がある。
【0105】
本実施の形態におけるマーカー100は、所定方向に互いに隣接して並ぶ6個の領域A11~A16を有する。6個の領域A11~A16間の5個の境界Bo11~Bo15のそれぞれでは、所定方向の位置に応じた、明度の変化量が第1閾値以上である。6個の第1領域のそれぞれでは、所定方向の位置に応じた明度の変化量が第1閾値より小さい第2閾値以下である。6個の第1領域では、所定方向の位置に応じた、明度の変化のパターンが互いに共通している。
【0106】
これによれば、マーカー100が有する6個の領域A11~A16において、6個の領域A11~A16間の5個の境界Bo11~Bo15では所定の方向に応じた明度の変化量が第1閾値以上であり、1つの第1領域内においては明度の変化量が第2閾値以下である。これにより、明度の変化量が第1閾値以上である位置を検出することで、5個の境界Bo11~Bo15を特定することができる。また、6個の領域A11~A16では、所定方向の位置に応じた、明度の変化のパターンが互いに共通しているため、6個の領域A11~A16間の5個の境界Bo11~Bo15における明度の変化の態様を共通化することができる。これにより、マーカー100をカメラで撮影したときに当該カメラの光学系により生じた色収差の影響を受けた画像が得られたとしても、当該画像における明度の変化の態様を共通化することができるため、マーカー100における5個の境界Bo11~Bo15の位置を精度よく特定することができる。
【0107】
図10は、実施の形態1に係るマーカーの複数の境界付近の領域の、所定方向に応じた輝度の一次微分値を示すグラフである。図10の(a)は、マーカー100の境界Bo11付近のグラフであり、図10の(b)は、境界Bo12付近のグラフであり、図10の(c)は、境界Bo13付近のグラフである。
【0108】
図10に示すように、これらの境界Bo11~Bo13において、それぞれ、ピークP1~P3を1点に定めることが容易なグラフが得られていることが分かる。このように、複数の境界Bo11~Bo13付近の明度の変化のパターンを共通化することができていることが分かる。
【0109】
本実施の形態におけるマーカー100において、6個の領域A11~A16のそれぞれでは、所定方向の一端から他端までの明度が徐々に増加または減少している。
【0110】
このため、6個の領域A11~A16のそれぞれの中において境界が誤検出されにくいようにすることができる。
【0111】
本実施の形態におけるマーカー100において、5個の境界Bo11~Bo15のそれぞれでは、当該境界で隣接する2つの領域のうちの一方の領域において明度が最大である位置と、他方の領域において明度が最小である位置とが隣接している。
【0112】
5個の境界Bo11~Bo15における明度の変化の態様を共通化するために、6個の領域A11~A16のそれぞれでは、所定方向の位置に応じて明度を第2閾値以下で変化させる領域を設ける必要がある。このように、マーカー100では、所定方向の位置に応じて明度が第2閾値以下で変化させる領域が設けられているため、5個の境界Bo11~Bo15において明度の変化量を最大にすることで、5個の境界Bo11~Bo15を特定しやすくすることができる。よって、5個の境界Bo11~Bo15の位置を精度よく特定することができる。
【0113】
(実施の形態2)
実施の形態1では、マーカー100は、物体10のサイズを測定するためのマーカーであるとしたが、実施の形態2に係るマーカー100Aは、カメラ200のカメラ校正に用いられる。
【0114】
[2-1.構成]
図11は、実施の形態2に係るマーカーの構成の一例を示す図である。
【0115】
マーカー100Aは、カメラ200の光軸Ax1の、カメラ200に撮影される位置に配置される。マーカー100Aは、所定方向(本実施の形態では水平方向)に互いに隣接して並ぶ6個の領域A21~A26と、6個の領域A31~A36と、基準線BL1を有する。マーカー100Aでは、基準線BL1がカメラ200の光軸Ax1と交差するように配置される。基準線BL1は、6個の領域A21~A26と、6個の領域A31~A36との間に位置し、カメラ200の光軸Ax1と交差するように配置される。ここで、基準線BL1とカメラ200の光軸Ax1とが交差する点を基準位置O1とする。6個の領域A21~A26は、マーカー100Aにおけるカメラ200の光軸Ax1上の基準位置O1の所定方向側に基準線BL1の延長線上に配置される。6個の領域A31~A36は、マーカー100Aにおける基準位置O1の所定方向側とは反対側に基準線BL1の延長線上に配置される。つまり、6個の領域A21~A26は、カメラ200の光軸Ax1と、基準位置O1を挟んで6個の領域A31~A36とは反対側に配置される。なお、6個の領域A21~A26は、N個の第1領域の一例であり、6個の領域A31~A36は、M個(Mは、3以上の整数)の第2領域の一例である。
【0116】
なお、6個の領域A21~A26は、マーカー100の6個の領域A11~A16と同じである。また、6個の領域A31~A36は、6個の領域A21~A26を基準位置O1に対して反転させた構成である。
【0117】
つまり、6個の領域A21~A26及び6個の領域A31~A36に対して以下のことが言える。6個の領域A31~A36間の5個の境界のそれぞれでは、所定方向の位置に応じた、明度の変化量が第1閾値以上である。6個の領域A31~A36のそれぞれでは、所定方向の位置に応じた明度の変化量が第2閾値以下である。6個の領域A21~A26は、マーカー100Aでは、所定方向の位置に応じた、明度の変化のパターンが互いに共通している。基準位置O1から遠ざかる方向における、6個の領域A21~A26のそれぞれにおける明度の変化の第1パターンと、6個の領域A31~A36のそれぞれにおける明度の変化の第2パターンとは互いに共通している。
【0118】
なお、6個の領域A21~A26の境界のそれぞれ、及び、6個の領域A31~A36の境界のそれぞれでは、基準位置O1から遠ざかる方向に、最小明度である位置と、最大明度である位置とが順に隣接している。
【0119】
次に、実施の形態2に係る情報処理装置300Aの構成について説明する。
【0120】
図12は、実施の形態2に係る情報処理装置の構成の一例を示すブロック図である。
【0121】
情報処理装置300Aのハードウェア構成は、情報処理装置300のハードウェア構成と同じであるため説明を省略する。
【0122】
図13は、実施の形態2に係る情報処理装置の機能構成の一例を示すブロック図である。
【0123】
図13に示すように、情報処理装置300Aは、機能的には、取得部311と、マーカー境界検出部313と、特徴点算出部316と、カメラ校正部317と、出力部315とを備える。
【0124】
取得部311は、カメラ200から画像を取得する。取得部311は、例えば、通信IF304などにより実現される。
【0125】
マーカー境界検出部313は、基準線BL1を検知し、検知した基準線BL1の方向を境界検知用の所定方向とし、実施の形態1と同様に、輝度変化を用い、マーカー100Aにおける6個の領域A21~A26の、基準線BL1延長線上の5個の境界、及び、基準位置O1の反対方向にある6個の領域A31~A36の、基準線BL1延長線上の5個の境界を検出する。なお、マーカー100Aとカメラ200との位置関係が固定であれば、マーカー境界検出部313は、特定の方向を、境界検知用の所定方向として設定してもよい。つまり、マーカー境界検出部313は、基準線BL1を検知しなくてもよい。
【0126】
特徴点算出部316は、マーカー100Aの特徴を示す特徴情報に基づいて、マーカー100Aの特徴点に対応するマーカー100Aにおける物理座標を取得し、マーカー境界検出部313で検出された計10個の境界の位置と、物理座標との対応付けを行う。特徴点は、マーカー100Aの境界の位置と一致する位置に設けられている。
【0127】
カメラ校正部317は、マーカー境界検出部313により検出された10個の境界の位置と、物理座標との対応付けの結果を用いて、カメラ200の外部パラメータ及び内部パラメータを算出する。カメラ校正部317は、例えば、Perspective camera model、Zhang方式、及び、Scaramuzza modelの少なくとも1つを用いて、外部パラメータ及び内部パ
ラメータを算出する。
【0128】
出力部315は、算出された外部パラメータ及び内部パラメータを出力する。出力部315は、通信IF304により実現されてもよいし、ディスプレイ306により実現されてもよい、また、ストレージ303に保存してもよい。
【0129】
なお、マーカー境界検出部313、特徴点算出部316、及び、カメラ校正部317は、プロセッサ301、メインメモリ302及びストレージ303などにより実現される。
【0130】
[2-2.動作]
図14は、実施の形態2に係る情報処理装置の動作の一例を示すフローチャートである。
【0131】
情報処理装置300Aは、カメラ200から画像を取得する(S11)。ステップS11の処理は、取得部311による処理である。
【0132】
次に、情報処理装置300Aは、基準線BL1を検知し、検知した基準線BL1の方向を境界検知用の所定方向とし、マーカー100Aにおける6個の領域A21~A26の5個の境界、及び、6個の領域A31~A36の5個の境界を検出する。(S12)。ステップS12の処理は、マーカー境界検出部313による処理である。
【0133】
次に、情報処理装置300Aは、マーカー100Aの特徴を示す特徴情報に基づいて、マーカー100Aの特徴点に対応するマーカー100Aにおける物理座標を取得し、マーカー境界検出部313で検出された計10個の境界の位置と、物理座標との対応付けを行う。(S13)。ステップS13の処理は、特徴点算出部316による処理である。
【0134】
次に、情報処理装置300Aは、カメラ200の外部パラメータ及び内部パラメータを算出する(S14)。ステップS14の処理は、カメラ校正部317による処理である。
【0135】
[2-3.効果など]
本実施の形態におけるマーカー100Aは、所定方向に並ぶ6個の領域A21~A26と、6個の領域A31~A36と、基準線BL1とを有する。マーカー100Aは、基準線BL1をカメラ200の光軸Ax1と交差するように、カメラ200に撮影される位置に配置される。6個の領域A21~A26は、マーカー100Aにおけるカメラ200の光軸Ax1上の基準位置O1の所定方向側に配置される。6個の領域A31~A36は、マーカー100Aにおける基準位置O1の所定方向側とは反対側に配置される。6個の領域A31~A36間の5個の境界のそれぞれでは、所定方向の位置に応じた、明度の変化量が第1閾値以上である。6個の領域A31~A36のそれぞれでは、所定方向の位置に応じた明度の変化量が第2閾値以下である。6個の領域A31~A36では、所定方向の位置に応じた、明度の変化のパターンが互いに共通している。基準位置O1から遠ざかる方向における、6個の領域A21~A26のそれぞれにおける明度の変化の第1パターンと、6個の領域A31~A36のそれぞれにおける明度の変化の第2パターンとは互いに共通している。
【0136】
マーカー100Aをカメラ200で撮影したときに当該カメラ200の光学系(レンズ)により生じた色収差は、光学系の光軸Ax1に垂直な方向の一方側と他方側とで反対の傾向になる。よって、6個の領域A21~A26と6個の領域A31~A36とがカメラ200の光軸Ax1上の基準位置O1を中心に両側になるように配置することで、マーカー100Aを撮影したときに得られた画像における、10個の境界における明度の変化の態様を共通化することができる。これにより、マーカー100Aをカメラ200で撮影したときに当該カメラ200の光学系により生じた色収差の影響を受けた画像が得られたとしても、当該画像における明度の変化の態様を共通化することができる。よって、マーカー100Aにおける10個の境界の位置を精度よく特定することができる。
【0137】
本実施の形態におけるマーカー100Aにおいて、色の特性は、明度である。10個の境界のそれぞれでは、基準位置O1から遠ざかる方向に、最小明度である位置と最大明度である位置とが順に隣接している。
【0138】
基準位置O1から遠ざかる方向に、最小明度である位置と最大明度である位置とが順に隣接することで構成される境界における、明度の変化量のピークを1つにすることができる。よって、より精度よく10個の境界の位置を特定することができる。
【0139】
[2-4.変形例1]
図15は、実施の形態2の変形例1に係るマーカーの構成の一例を示す図である。
【0140】
変形例1に係るマーカー100Bは、基準位置O2を中心とする径が異なる複数の円で区切られる複数の第3領域A41~A44を有する。複数の第3領域A41~A44のそれぞれは、実施の形態2で説明した6個の領域A21~A26の1つと同様の構成の領域と、6個の領域A31~A36の1つと同様の構成の領域とを含む。具体的には、複数の第3領域A41~A44のそれぞれは、基準位置O2から遠ざかる方向に明度が小さくなるように構成されている。つまり、第3領域A41は、基準位置O2の所定方向側の領域と、所定方向反対側の領域とは、基準位置O2に対して対称の構成になっている。これは、他の第3領域A42~A44に対しても同様に言える。よって、マーカー100Bは、マーカー100Aと同様の構成を含んでいると言える。また、マーカー100Bは、基準位置O2を十字状に通過する2本の基準線L01、L02を含む。なお、第3領域の数は4に限らず、N(N>3)であってもよい。また、第3領域のそれぞれは、基準位置O2から遠ざかる方向に明度が大きくなるように構成されてもよい。
【0141】
次に、実施の形態2の変形例1に係る情報処理装置300Bの構成について説明する。
【0142】
図16は、実施の形態2の変形例1に係る情報処理装置の構成の一例を示すブロック図である。
【0143】
情報処理装置300Bのハードウェア構成は、情報処理装置300のハードウェア構成と同じであるため説明を省略する。
【0144】
図17は、実施の形態2の変形例1に係る情報処理装置の機能構成の一例を示すブロック図である。
【0145】
図17に示すように、情報処理装置300Bは、機能的には、取得部311と、基準線検出部318と、特徴点算出部316と、特徴点物理座標算出部319と、カメラ校正部317と、出力部315とを備える。
【0146】
取得部311は、カメラ200から画像を取得する。取得部311は、例えば、通信IF304などにより実現される。
【0147】
基準線検出部318は、マーカー100B上の2本の基準線L01、L02を検出する。
【0148】
特徴点算出部316は、基準線検出部318で検出された基準線L01、L02に基づき、基準線L01の延長線である仮想線L1、基準線L02の延長線である仮想線L2を境界検知の方向(所定方向)に設定する。そして、特徴点算出部316は、設定した方向ごとに、マーカー境界検出部313と同様に、マーカー100Bにおける複数の領域A41~A44の同心円状の6個の境界を検出し、6個の境界と2本の仮想線L1、L2との交点を特徴点として検出する。特徴点算出部316は、2本の基準線L01、L02に基づいて、2本の仮想線L3、L4を生成し、2本の仮想線L3、L4と、上記の同心円状の6個の境界との交点を特徴点として検出する。2本の仮想線L3、L4は、2本の仮想線L1、L2を、基準位置O2を中心に45度回転させることで生成される。
【0149】
特徴点物理座標算出部319は、マーカー100Bの基準線L01、L02に基づき、マーカー100Bの特徴を示す特徴情報を取得し、特徴情報に基づいて、特徴点算出部316で算出されたマーカー100Bの特徴点に対応するマーカー100Bにおける物理座標を取得し、検出された複数の特徴点のそれぞれと、当該特徴点の物理座標との対応付けを行う。前記マーカー100Bの特徴を示す特徴情報は、例えば、基準線及びマーカーの第3領域のそれぞれのサイズと、基準位置O2との位置関係などの情報を含む。
【0150】
カメラ校正部317は、検出された複数の特徴点のそれぞれと、当該特徴点の物理座標との対応付けの結果を用いて、カメラ200の外部パラメータ及び内部パラメータを算出する。カメラ校正部317は、例えば、Perspective camera model、Zhang方式、及び、Scaramuzza modelの少なくとも1つを用いて、外部パラメータ及び内部パラメータを算出
する。
【0151】
出力部315は、算出された外部パラメータ及び内部パラメータを出力する。出力部315は、通信IF304により実現されてもよいし、ディスプレイ306により実現されてもよい、また、ストレージ303に保存してもよい。
【0152】
なお、基準線検出部318、特徴点算出部316、特徴点物理座標算出部319、カメラ校正部317は、プロセッサ301、メインメモリ302及びストレージ303などにより実現される。
【0153】
図18は、実施の形態2の変形例1に係る情報処理装置の動作の一例を示すフローチャートである。
【0154】
情報処理装置300Bは、カメラ200から画像を取得する(S21)。ステップS21の処理は、取得部311による処理である。
【0155】
次に、情報処理装置300Bは、マーカー100B上の2本の基準線L01、L02を検出する(S22)。ステップS22の処理は、基準線検出部318による処理である。
【0156】
次に、情報処理装置300Bは、検出された基準線L01、L02に基づく仮想線L1、L2で設定される境界検知の方向(所定方向)ごとに、実施の形態1の処理と同様に、マーカー100Bにおける複数の領域A41~A44の同心円状の6個の境界を検出し、6個の境界と2本の仮想線L1、L2との交点を特徴点として検出する(S23)。ステップS23の処理は、特徴点算出部316による処理である。
【0157】
次に、情報処理装置300Bは、2本の仮想線L1、L2に基づいて、さらに2本の仮想線L3、L4を生成し、2本の仮想線L3、L4で設定される境界検知の方向(所定方向)ごとに、実施の形態1の処理と同様に、上記の同心円状の6個の境界を検出し、6個の境界と2本の仮想線L3、L4との交点を特徴点として検出する(S24)。ステップS24の処理は、特徴点算出部316による処理である。
【0158】
次に、情報処理装置300Bは、マーカー100Bの基準線L01、L02に基づき、マーカー100Bの特徴を示す特徴情報を取得し、特徴情報に基づいて、マーカー100Bの特徴点に対応するマーカー100Bにおける物理座標を取得し、検出された複数の特徴点のそれぞれと、当該特徴点の物理座標との対応付けを行う(S25)。ステップS25の処理は、特徴点物理座標算出部319による処理である。
【0159】
次に、情報処理装置300Bは、カメラ200の外部パラメータ及び内部パラメータを算出する(S26)。ステップS26の処理は、カメラ校正部317による処理である。
【0160】
[2-5.変形例2]
実施の形態2に係るマーカー100Aは、単体のカメラ200のカメラ校正に用いられるとしたが、これに限らずに、車両400が備えるカメラ200のカメラ校正に用いられてもよい。カメラ200は、車両400の前方を撮影するカメラである。
【0161】
図19は、実施の形態2の変形例2に係るマーカーの構成の一例を示す図である。図19は、マーカー及び車両を上方から見た場合の平面図である。
【0162】
マーカー100Cは、マーカーAと同様に、所定方向(本実施の形態では水平方向)に互いに隣接して並ぶ6個の領域A21~A26と、6個の領域A31~A36とを有する。マーカー100Cは、6個の領域A21~A26と、6個の領域A31~A36との間に、車両400が通過するための通過領域A40が設けられている点で、マーカー100Aと異なる。通過領域A40は、車両400の前後方向に沿って延びる2本の直線L21、L22で規定されている。つまり、通過領域A40は、マーカー100Cにおける2本の直線L21、L22の間に設定される。
【0163】
また、マーカー100Cは、車両400の右側に配置される6個の領域A21~A26に近い位置に配置される基準線BL21と、車両400の左側に配置される6個の領域A31~A36に近い位置に配置される基準線BL22とを有する。基準線BL21、BL22は、所定方向(本実施の形態では水平方向)に平行な直線である。
【0164】
ここで、基準線BL21と直線L21とが交差する点を基準位置O21とし、基準線BL22と直線L22とが交差する点を基準位置O22とする。なお、基準線BL21、BL22は、一本の直線で構成されていてもよい。また、直線L21、L22の代わりにマーカー100Cの水平方向の中心を通り、かつ、車両400の前後方向に平行に延びる直線が設けられていてもよい。この場合、基準位置は、マーカー100Cの水平方向の中心を通る直線と、一本の直線との交点の位置に定められていてもよい。
【0165】
実施の形態2の変形例2に係るマーカー100Cは、例えば、車両400が配置されている床面に沿って配置されている。
【0166】
なお、マーカー100Cは、図20に示すように、車両400の後方を撮影するカメラ200の構成に用いられてもよい。図20は、マーカー及び車両を上方から見た場合の平面図である。
【0167】
[2-6.変形例3]
実施の形態2の変形例2では、マーカー100Cが、車両400が備えるカメラ200のカメラ校正に用いられるとしたが、これに限らない。図21に示すように、実施の形態2に係るマーカー100Aが、車両400の前方を撮影するカメラ200のカメラ校正に用いられてもよい。また、図22に示すように、実施の形態2に係るマーカー100Aが、車両400の後方を撮影するカメラ200のカメラ校正に用いられてもよい。図21及び図22は、マーカー及び車両を上方から見た場合の平面図である。
【0168】
また、図23及び図24に示すように、実施の形態2に係るマーカー100Aが、車両400の側方を撮影するカメラ200のカメラ校正に用いられてもよい。図23及び図24は、マーカー及び車両を上方から見た場合の平面図である。図23は車両400の左側側方にカメラ200が設置されている場合に、マーカー及び車両を上方から見た場合の平面図である。図24は車両400の右側側方にカメラ200が設置されている場合に、マーカー及び車両を上方から見た場合の平面図である。
【0169】
実施の形態2の変形例3に係るマーカー100Aは、例えば、車両400が配置されている床面に沿って配置されている。
【0170】
[2-7.変形例4]
実施の形態2の変形例2のマーカー100C、及び、実施の形態2の変形例3のマーカー100Aは、車両400が配置されている床面に沿って配置されているとしたが、これに限らない。図25及び図26に示すように、床面に対して立設されるマーカー100Dであってもよい。マーカー100Dは、車両400の前後方向に対して垂直になるように床面に対して立設されている板状部材500の車両400側の面に設けられている。変形例4のマーカー100Dでは、板状部材500の高さ方向に延びる2辺のうち車両400に近い方の辺の高さ方向の中心に基準位置O31、O32が定められていてもよい。
【0171】
図25は、マーカー及び車両を前後方向から見た場合の図である。図26は、マーカー及び車両を上方から見た場合の平面図である。
【0172】
なお、図26では、車両400の前方を撮影するカメラ200が例示されているが、これに限らずに、車両400の後方を撮影するカメラ200にも変形例4のマーカー100Dが適用されてもよい。
【0173】
また、車両400の側方を撮影するカメラ200にも変形例4のマーカー100Aが適用されてもよい。図27及び図28に示すように、車両400の前後方向に対して平行になるように床面に対して立設されていてもよい。
【0174】
[2-8.変形例5]
実施の形態2の変形例4のマーカー100Dが設けられた板状部材500は、車両400の前後方向に対して垂直になるように床面に対して立設されているとしたが、これに限らない。図29及び図30に示すように、車両400の前後方向に対して平行になるように床面に対して立設されていてもよい。変形例5のマーカー100Dでは、板状部材500の高さ方向に延びる2辺のうち車両400から遠い方の辺の高さ方向の中心に基準位置O31、O32が定められていてもよい。
【0175】
なお、図30では、車両400の前方を撮影するカメラ200が例示されているが、これに限らずに、車両400の後方を撮影するカメラ200にも変形例4のマーカー100Dが適用されてもよい。
【0176】
なお、車両400に車両の前方、左右側方及び後方を撮影するカメラ200が設置されている場合は、図31に示すように、車両400の前後に2つのマーカー100Cを配置し、車両400の左右に2つのマーカー100Aを配置してもよい。なお、車両400の前後に2つのマーカー100Cを配置する代わりに、2つのマーカー100Aを配置してもよい。
【0177】
なお、マーカーが設けられる平面は、路面であってもよいし、路面と並行であってもよい。また、マーカーが設けられた板状部材は、所定の床面に設置されてもよいし、立設されてもよい。また、マーカーが設けられた板状部材は、車両の前後方向と平行になるように車両の側方に立設されもよい。
【0178】
[3.その他]
上記実施の形態1では、色の特性の変化量として、明度の変化量を例示したが、これに限らずに、色相の変化量であってもよいし、彩度の変化量であってもよいし、明度、色相及び彩度の少なくとも2つの組合せの変化量であってもよい。
【0179】
上記実施の形態1では、所定方向に進むほど明度が低下するように各領域が構成されているとしたが、所定方向に進むほど明度が向上するように各領域が構成されていてもよい。実施の形態2においても、明度が低下する方向は、基準位置から遠ざかる方向に限らずに、基準位置に近づく方向であってもよい。
【0180】
上記実施の形態1では、マーカーの複数の領域の間の境界を検出するのに、共通する方法を用いるとしたが、これに限らずに、画像におけるカメラ200の光軸に対応する位置を境界として、境界の検出の仕方を変更してもよい。つまり、図9で説明したように、レンズの光軸の一方側と他方側とでは、所定方向に位置に応じた一次微分値の傾向が異なるため、この傾向に合わせ境界の検出方法に切り替えてもよい。これは、実施の形態1のように、マーカー100が光軸の位置にかかわらず複数の領域における明度のパターンが共通している場合に適用できる。つまり、図9の(b)の一次微分値のピークが検出されるパターンでは、ピークを検出する処理を実行することで境界を検出し、図9の(c)の一次微分値のピークが検出されるパターンでは、ピークに基づいてさらに重心を算出する処理を実行することで境界を検出するようにしてもよい。
【0181】
上記実施の形態1及び2では、マーカーは、床面、壁面、または、板状部材の表面に直接ペンキ等で描かれてもよい。
【0182】
上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0183】
また、各構成要素は、回路(または集積回路)でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
【0184】
また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの非一時的な記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及びコンピュータ読み取り可能な非一時的な記録媒体の任意な組み合わせで実現されてもよい。
【0185】
例えば、本開示は、エッジ検出装置(コンピュータまたはDSP)が実行するエッジ検出方法として実現されてもよいし、上記エッジ検出方法をコンピュータまたはDSPに実行させるためのプログラムとして実現されてもよい。
【0186】
また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、上記実施の形態において説明された制御システムの動作における複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。
【0187】
その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
【産業上の利用可能性】
【0188】
本開示は、マーカーが有する複数の領域の境界を精度よく特定されうるマーカー、マーカーが有する複数の領域の境界を精度よく特定することができるエッジ検出装置及びエッジ検出方法などとして有用である。
【符号の説明】
【0189】
1 計測システム
10 物体
50 画像
51 エッジ画像
100、100A~100D マーカー
200 カメラ
201 レンズ
300、300A、300B 情報処理装置
301 プロセッサ
302 メインメモリ
303 ストレージ
304 通信IF
305 入力IF
306 ディスプレイ
311 取得部
312 物体境界検出部
313 マーカー境界検出部
314 サイズ算出部
315 出力部
316 特徴点算出部
317 カメラ校正部
318 基準線検出部
319 特徴点物理座標算出部
400 車両
500 板状部材
A11~A16、A21~A26、A31~A36、A41~A44 領域
A40 通過領域
Bo11~Bo15 境界
BL1、BL21、BL22、L01、L02 基準線
L1、L2、L3、L4 仮想線
L21、L22 直線
O1、O2、O21、O22、O31、O32 基準位置
P11、P12、P21~P25 位置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31