特許 6369933 情報端末装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6369933

(24)【登録日】2018年7月20日

(45)【発行日】2018年8月8日

(54)【発明の名称】情報端末装置、方法及びプログラム

(51)【国際特許分類】

   G01C 21/26 20060101AFI20180730BHJP

   G08G 1/005 20060101ALI20180730BHJP

   G06T 7/60 20170101ALI20180730BHJP

   G01B 11/00 20060101ALI20180730BHJP

【ＦＩ】

   G01C21/26 P

   G08G1/005

   G06T7/60 150B

   G06T7/60 200H

   G01B11/00 H

【請求項の数】11

【全頁数】14

(21)【出願番号】特願2014-140475(P2014-140475)

(22)【出願日】2014年7月8日

(65)【公開番号】特開2016-17833(P2016-17833A)

(43)【公開日】2016年2月1日

【審査請求日】2017年1月30日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】加藤 晴久

【審査官】 橋本 敏行

(56)【参考文献】

【文献】 特開２０１１−０４７８３０（ＪＰ，Ａ）

【文献】 特開平０７−０９８２１４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ１１／００−１１／３０

Ｇ０１Ｃ２１／００−２１／３６

２３／００−２５／００

Ｇ０６Ｔ７／００−７／６０

Ｇ０８Ｇ１／００−９９／００

(57)【特許請求の範囲】

【請求項1】

撮像対象を撮像する撮像部を有する情報端末装置であって、
前記撮像部で撮像された画像より同一線上に配置された４つ以上の複数の点群をそれぞれ直接抽出し、点間の距離の比の比を複比情報として算出する算出部と、
所定対象より予め抽出された複比情報を、当該所定対象の配置位置としての又は当該所定対象の撮像可能範囲としての位置情報と紐付けて記憶する記憶部と、
前記算出部で算出された複比情報と前記記憶部で記憶された複比情報とを比較し、一致すると判定された複比情報に前記紐付いた位置情報を、前記撮像部で撮像がなされた際の位置情報であるものとして求める計測部と、を備えることを特徴とする情報端末装置。

【請求項2】

前記撮像対象及び前記所定対象は、同一線上に配置された光源及び／又は特徴点として構成されていることを特徴とする請求項１に記載の情報端末装置。

【請求項3】

前記算出部は、輝度値に応じた領域を抽出することにより、前記複数の点群を抽出することを特徴とする請求項１又は２に記載の情報端末装置。

【請求項4】

前記算出部は、前記抽出された領域が一定の範囲を有する場合、領域内の端または領域内の点より、前記複数の点群を抽出することを特徴とする請求項３に記載の情報端末装置。

【請求項5】

前記算出部は、同一線上の点群の算出に際し、任意の２つの領域を結ぶ直線が通過する他の領域を２つ以上選択し、改めて同一線上の４組以上の領域の座標から最小二乗法で直線の係数を求めることを特徴とする請求項３に記載の情報端末装置。

【請求項6】

前記算出部は、抽出された領域の４組以上の組み合わせが同一線分上に無い場合、当該組み合わせでの複比情報は算出しないことを特徴とした請求項３に記載の情報端末装置。

【請求項7】

前記算出部は、前記撮像部で撮像された画像より面を抽出し、当該抽出された面ごとに、複数の点群を抽出し、点間の距離の比の比を複比情報として算出することを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。

【請求項8】

前記算出部は、面の境界線を内分する一つ以上の線分を生成し、当該線分と交差する線分との交点を同一線上に配置された点群として抽出することを特徴とする請求項７に記載の情報端末装置。

【請求項9】

前記算出部は、前記抽出する複数の点群を、前記撮像部に対する空間的な近傍から選択することを特徴とした請求項１ないし８のいずれかに記載の情報端末装置。

【請求項10】

撮像対象を撮像する撮像部を有する情報端末装置によって実行される方法であって、
前記撮像部で撮像された画像より同一線上に配置された４つ以上の複数の点群をそれぞれ直接抽出し、点間の距離の比の比を複比情報として算出する算出段階と、
所定対象より予め抽出された複比情報を、当該所定対象の配置位置としての又は当該所定対象の撮像可能範囲としての位置情報と紐付けて記憶する記憶段階と、
前記算出段階で算出された複比情報と前記記憶段階で記憶された複比情報とを比較し、一致すると判定された複比情報に前記紐付いた位置情報を、前記撮像部で撮像がなされた際の位置情報であるものとして求める計測段階と、を備えることを特徴とする方法。

【請求項11】

コンピュータを請求項１ないし９のいずれかに記載の情報端末装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、位置を計測する情報端末装置に関し、特に、射影変換に不変な長さの比の比（複比）を利用して高速かつ高精度に位置計測できる情報端末装置、方法及びプログラムに関する。

【背景技術】

【0002】

位置を計測する方法としては、以下の方法が公開されている。

【0003】

GPS（全地球測位システム；Global Positioning System）による経路案内では、複数の衛星からの電波を受信することで現在位置を計測し、目的地までの経路情報を提供することが可能である。

【0004】

無線LANによる位置計測では、複数の無線アクセスポイントからの電波を受信し、三角測量などにより現在位置を計測することが可能である。

【0005】

特許文献１では、固定した場所に設置されたICタグを読み取ることで、端末の位置を知るとともに、携帯端末本体にもICタグを設置して、携帯端末同士の位置関係を取得できるようにすることを提案する。固定したICタグとの位置関係に加えて、移動する携帯端末同士の位置関係を分析することにより、携帯端末の位置をより高い精度で特定することができる。

【0006】

特許文献２では、看板や標識等の文字を画像認識することで、撮影対象のテキスト情報と、事前に登録されたテキスト情報に紐づく位置情報とに基づき、前記画像が撮影された地点を特定する方法を提案している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開2012-137296号公報

【特許文献2】特開2013-145176号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

GPSによる経路案内では、屋内等で衛星からの電波を受信できない場合、正確な現在位置を計測できないという問題がある。

【0009】

無線LANによる位置計測では、複数の無線アクセスポイントを設置することで屋内でも現在位置を計測することが可能であるため、GPSの問題を解決できる。しかし、複数の無線の電波干渉やマルチパスの影響がある場合に、正確な現在位置を計測することが困難であるという問題がある。また、無線アクセスポイントを設置するにあたり、電源供給の必要があるなど、設置コストがかかるという問題がある。

【0010】

特許文献１では、位置情報と紐付いたICタグを設置することで、GPSの問題を解決する。また、一般的にICタグは無線LANより通信範囲が狭いため、現在位置の計測精度が高く、無線LANの問題を一部解決できる。ただ、通信範囲が狭いためICタグを数多く設置する必要があり、設置コストがかかるという問題がある。特許文献１はICタグの設置コスト低減と計測の高精度化を両立させるため、固定したICタグの増幅器として携帯端末を利用するが、十分な数の携帯端末がICタグの近傍に存在しない状況では、位置を全く計測できないという問題がある。

【0011】

特許文献２は、既存の看板や標識などを利用するので、GPSの問題および特許文献１の設置コストに関する問題を解決できる。しかし、ランドマーク等の文字列を基準としているため、認識精度の問題から真正面から撮影しなければならない等、認識可能な範囲が極めて限定されるという問題がある。また、そもそも文字列が存在しない場合に対応できないという問題がある。

【0012】

本発明は上記従来技術の課題に鑑みて提案されたもので、情景画像から位置を計測する情報端末装置を提供することを目的とする。

【課題を解決するための手段】

【0013】

上記目的を達成するため、本発明は、撮像対象を撮像する撮像部を有する情報端末装置であって、前記撮像部で撮像された画像より同一線上に配置された４つ以上の複数の点群をそれぞれ直接抽出し、点間の距離の比の比を複比情報として算出する算出部と、所定対象より予め抽出された複比情報を、当該所定対象の配置位置としての又は当該所定対象の撮像可能範囲としての位置情報と紐付けて記憶する記憶部と、前記算出部で算出された複比情報と前記記憶部で記憶された複比情報とを比較し、一致すると判定された複比情報に前記紐付いた位置情報を、前記撮像部で撮像がなされた際の位置情報であるものとして求める計測部と、を備えることを特徴とする。

【0014】

また、本発明は、撮像対象を撮像する撮像部を有する情報端末装置によって実行される方法であって、前記撮像部で撮像された画像より同一線上に配置された４つ以上の複数の点群をそれぞれ直接抽出し、点間の距離の比の比を複比情報として算出する算出段階と、所定対象より予め抽出された複比情報を、当該所定対象の配置位置としての又は当該所定対象の撮像可能範囲としての位置情報と紐付けて記憶する記憶段階と、前記算出段階で算出された複比情報と前記記憶段階で記憶された複比情報とを比較し、一致すると判定された複比情報に前記紐付いた位置情報を、前記撮像部で撮像がなされた際の位置情報であるものとして求める計測段階と、を備えることを特徴とする。

【0015】

さらに、本発明は、コンピュータを前記情報端末装置として機能させるプログラムであることを特徴とする。

【発明の効果】

【0016】

本発明によれば、例えば人工物等を撮像対象とすることで、その撮像画像より複数の点群を抽出してその複比情報を算出し、複比情報より撮像がなされた際の位置情報を求めることができる。従って、GPS等の特定のハードウェアを必要とすることなく、また、特定の文字列等が無くとも、位置情報を求めることができる。さらに、複比情報の算出は処理負荷が小さいため、計算リソースが限定される端末でも動作が可能となる。

【図面の簡単な説明】

【0017】

【図1】一実施形態に係る情報端末措置の機能ブロック図である。

【図2】複比より場所を一意に定める模式的な例を示す図である。

【図3】図２の例における1次元的に定まる場所に対して、一意に定まる複比の模式的な例を示す図である。

【図4】撮像される風景の例として、両側の壁に扉が並んだ廊下を示す図である。

【図5】図４の例において点群の抽出手法を説明するための図である。

【図6】複比が共円となる点からも算出可能であることを説明するための図である。

【発明を実施するための形態】

【0018】

図１は、一実施形態に係る情報端末装置の機能ブロック図である。情報端末装置10は、撮像部1、算出部2、記憶部3及び計測部4を備える。情報端末装置10にはスマートフォンその他の携帯端末を利用することができるが、携帯端末に限られるものではなく、撮像部1を備えたものであればどのような情報端末装置でもよく、例えば、一般的なパーソナルコンピュータ(PC)などでもよい。図１の各部の概要は以下の通りである。

【0019】

撮像部1は、情景としての撮像対象を撮像して、当該撮像画像を算出部2へ出力する。ここで特に、撮像対象には、情景内に存在している同一線上に配置された点群を用いることができる。

【0020】

算出部2は、撮像部1から出力された撮像画像を入力し、撮像画像から撮像対象の点群を4つ以上抽出し、同一線上に配置された点群から点間の距離の比の比を複比情報として算出し、計測部4に出力する。

【0021】

記憶部3は、位置を測定する対象となる環境において事前に上記の算出部2で算出するのと同様の複比情報を算出しておき、同環境における位置情報（地図上における位置の情報）と紐付けておいたものを記録しておくことで、当該記憶しておく互いに紐付けられた複比情報及び位置情報を計測部4からの参照に供する。

【0022】

計測部4は、上記のように記憶部3に蓄積された互いに紐付けられた位置情報及び複比情報のうち、その複比情報が上記の算出部2で算出された複比情報に一致していると判定できるものに紐付いた位置情報を検索し、当該見つかった位置情報を、上記の撮像部1において撮像した地点に該当するものとして出力する。具体的には、記憶部3に記憶されている一連の複比情報と算出部で算出された複比情報とを比較して、最も一致する箇所の位置情報を出力する。

【0023】

なお、算出部2では複数の撮像対象よりそれぞれ算出されることにより、複比情報が複数算出される場合もある。この場合、記憶部3においても各位置情報に1つ以上の複比情報を紐付けて記憶しておき、当該複数の複比情報が一致していると判定される箇所に対応する位置情報を、撮像された地点のものであるとして出力する。

【0024】

以上の概要のように、本発明においては、複比情報より位置情報を求める。その考え方・原理は次の通りである。

【0025】

すなわち、情景画像から位置を計測することを考えた場合、通常のユーザが普通のマニュアル操作でカメラ撮像するような一般的な撮像時には、同じカメラ位置で撮像してもそのカメラ姿勢は様々に変動しうることより、射影変換による歪みが発生するため、射影変換の影響を受けない情報が必要となる。ここで、長さの比の比で算出される複比は射影変換に対する不変量として知られているので、カメラ姿勢の変動による射影変換の影響を受けない情報となっている。しかし、複比を算出する対象は、同一直線上に存在している必要がある。

【0026】

一方、人工物は直線で構成されていることが多いため、同直線からカメラ姿勢による射影変換の影響を受けず、カメラ位置のみによって定まる複比を算出できる。さらに、特定場所において特定対象より算出される複比が一意であり、その他の場所にあるその他の対象から算出される複比と区別可能であれば、当該特定対象に対応する場所と複比とを紐付けておくことで、位置を計測することが可能となる。

【0027】

図２は、当該複比より場所を一意に定める模式的な例を示す図である。図２では、上段側に示す(1)に、情報端末装置10を有するユーザUが移動しつつ撮像を行うことで、これに沿った1次元的な位置としての位置を定める対象となる廊下C1と、当該廊下C1沿いに存在し位置を定めるための撮像の対象となる扉D11〜D32が存在する壁W1と、を示している。

【0028】

図２では、上段側の(1)の廊下上に示す9か所の位置L11〜L33において撮像した撮像画像が、下段側の(2)にそれぞれ対応する参照符号（数字部分が共通）を付した画像P11〜P33として示され、また、これらよりそれぞれ複比の値CR(L11)〜CR(L33)が定まることが示されている。

【0029】

場所L11, L12, L13においては(1)に示すように扉D11,D12の上端側の領域R10を含んで撮像が行われるようにしており、(2)に示すようにその画像がP11, P12, P13として示されている。領域R10においては、扉D11の上端の線分と、扉D12の上端の線分とが存在し、扉D11,D12が同じ高さであることから当該両線分は共線の関係にあり、且つ両線分の端点をそれぞれ抽出することで、合計4点の共通の直線上にある点が抽出可能となっている。従って、画像P11, P12, P13においては当該4点を抽出することでそれぞれ複比CR(L11), CR(L12), CR(L13)が算出可能となる。

【0030】

そして、当該扉D11,D12の上端側の領域R10内の共線の4点から算出される複比は、射影変換に不変であるので、当該共線の4点が撮像できてさえいれば、どの位置姿勢から撮像した画像から算出してもそれらの値は等しい。従って、「CR(L11) = CR(L12) = CR(L13)」の関係がある。なお、図３の画像P11, P12, P13はそれぞれの位置にて特定の姿勢で撮像した例であるが、同位置で姿勢を変えて当該共線の4点を撮像した画像より複比を算出しても、やはり同じ値となる。

【0031】

同様に、場所L21, L22, L23においては扉D21, D22の上端側の領域R20から共線の4点を抽出可能であり、画像P21, P22, P23において当該4点を抽出することで各場所にてそれぞれ複比CR(L21), CR(L22), CR(L23)が算出可能である。また、場所L31, L32, L33においては扉D31, D32の上端側の領域R30から共線の4点を抽出可能であり、画像P31, P32, P33において当該4点を抽出することで各場所にてそれぞれ複比CR(L31), CR(L32), CR(L33)が算出可能である。

【0032】

そして同様に、領域R20における当該共線の4点は射影変換に不変な複比を与え、どのような位置姿勢から撮像された画像より算出してもその値は変わらず、「CR(L21) = CR(L22) = CR(L23)」の関係がある。また、領域R30における当該共線の4点も射影変換に不変であり、同様に、「CR(L31) = CR(L32) = CR(L33)」の関係がある。

【0033】

以上、領域R10,R20,R30内のそれぞれにおける2つのドア上端という所定対象について、抽出される共線の4点から算出可能な複比はどのような位置姿勢から撮像してもその値が等しい。従って、算出される複比が所定対象ごとに異なるように当該ドアその他の対象物を予め配置しておき、当該配置された対象物の位置情報を予め与えておくことで、複比から逆に位置情報を求めることが可能となる。

【0034】

図３は、図２の例に対して、その複比から位置情報を求める模式的な例を示す図である。すなわち、図２の廊下C1に沿った直線上の位置xについて、各位置xから廊下C1の壁W1に配置された直近のドアを撮像することで、いずれかの領域R10,R20,R30より抽出される共線の4点から算出される複比の値のグラフを、図３は与えている。

【0035】

図３に示すように、ドアD11,D12が撮像される位置L11,L12,L13を含む範囲F10においては、領域R10より抽出される共線の4点から複比が算出され、一定の値CR[R10]を与える。同様に、ドアD21,D22が撮像される位置L21,L22,L23を含む範囲F20においては、領域R20より抽出される共線の4点から複比が算出され、一定の値CR[R20]を与える。ドアD31,D32が撮像される位置L31,L32,L33を含む範囲F30においては、領域R30より抽出される共線の4点から複比が算出され、一定の値CR[R30]を与える。

【0036】

そして、当該位置xの各範囲F10,F20,F30において撮像してそれぞれ得られる複比の値CR[R10],CR[R20],CR[R30]は、図示するように互いに異なる。（前述のように算出される複比が当該互いに異なるように、当該ドア等の所定対象が予め配置されている。）従って、記憶部3に当該図３のグラフのような情報、すなわち、互いに異なる所定の複比の値を与えるような共線の4点を抽出可能な構造を有している所定対象が所定位置にそれぞれ配置されていることを前提に、当該所定対象を撮像可能な範囲の情報と、当該所定対象より得られる複比の値と、を記憶しておき、計測部4で当該情報を参照することにより、位置情報を決定することが可能となる。

【0037】

なお、記憶部3に記憶しておき計測部4で出力する位置情報は、複比を算出した所定対象の位置情報そのもの（例えば、位置L12等で代表させたドアD11,D12の位置）としてもよいし、当該所定対象が撮像されうる一連の範囲（撮像可能範囲）としての位置情報（例えば、ドアD11,D12について、範囲F10）としてもよい。前者は、撮像部1で撮像した所定対象の位置情報を意味しており、後者は、所定対象を撮像した撮像部1の位置情報を意味している。一般に、対象物が見える範囲が狭く限定される屋内等の測位であれば、当該両者は概ね一致し、経路案内等の用途においては、一致しているとみなして差支えない。また、記憶部3に記憶し計測部4で出力する位置情報の粒度（地図上で位置を特定する単位メッシュのサイズ）をある程度大きく設定しても、当該両者は一致する。

【0038】

また、位置情報の定義が当該両者のいずれである場合であっても、計測部4では、「撮像部1で撮像がなされた際の位置情報」としての位置情報を出力することができる。

【0039】

なお、位置L13,L21間では領域F10,F20の重複部分があり、当該部分においては領域R10,R20が同時撮像可能である。この場合、R10,R20のいずれかが撮像されていれば、撮像された方の位置情報を与えるようにしてもよいし、両方が撮像されていれば、領域F10,F20の中間領域あるいは領域R10,R20の両位置の中間位置を位置情報としてもよい。位置L23,L31間における領域F20,F30の重複部分についても同様である。

【0040】

なお、図２，３の例では、理解を促す観点から位置情報を廊下C1に沿った1次元的な位置xとして説明したが、本発明は位置情報を2次元的な位置(x, y)や3次元的な位置(x, y, z)で与える場合も全く同様に実施可能である。すなわち、図２，３の例における範囲F10,F20,F30等が2次元あるいは3次元の範囲として定まることで、全く同様の説明が成立する。

【0041】

以下、以上のような概要動作を実現する図１の各部1,2,3の詳細につき説明する。なお、計測部4については前述のように、該当する複比情報に対応する位置情報を撮像部1で撮像がなされた際の位置情報であるものとして出力するものであり、以下では主に、このような位置情報を出力させることを可能にしている、撮像部1、算出部2及び記憶部3の詳細を説明する。当該説明に際して関連事項がある場合、計測部4も説明する。

【0042】

撮像部1は、前述のように、撮像対象を撮像して、当該撮像画像を算出部2へ出力する。撮像対象は、同一線上に配置された点群を用いる。点群には、LED(発光ダイオード)等の光源や、人工物におけるコーナーや交点等の特徴点が利用できる。例えば、図４のような風景（両側の壁に扉が並んだ廊下）を撮像した際、扉は同一形状であるため、複数の扉の端点は自ずと同一線上に並んでいる。なお、当該扉の例は前述の図２，３でも用いた。

【0043】

上記の例でも明らかなように、実際には線分が存在しない場合でも、同一の高さに配置された点群等、仮想的な同一線上に配置されていればよい。例えば、LED、蛍光灯等の光源（それぞれが点としてその画像上における位置を求めることが可能）を撮像対象として利用する場合、このような仮想的な同一線上に配置されていればよい。

【0044】

あるいは、共線の条件を満たす点群を明示的に配置しても良い。この場合、配置から位置を一意に特定できるようにするには、規則的に配置しないことが求められる。

【0045】

例えば、前述の図２の例は、6個の扉D11〜D32において、撮像対象となる領域R10, R20, R30における扉D11,D12間、扉D21,D22間、及び扉D31, D32間の距離等をそれぞれ異なるように配置しておくことで、領域R10, R20, R30がそれぞれ異なる配置を形成するようにして、規則的な配置を避けている例となっている。これらの配置のうち互いに等しい（あるいは所定基準で近いと判定できる）ものがあると、対応する図３で示した複比の値CR[R10],CR[R20],CR[R30]の中に互いに等しいものが現れてしまい、範囲F10,F20,F30等を区別することによる位置情報の特定ができなくなってしまう。従って上記のように、規則的に配置しないことが求められる。

【0046】

撮像部1としては携帯端末に標準装備されるデジタルカメラを用いることができる。あるいは、ステレオカメラや赤外線カメラ等を利用しても良い。

【0047】

算出部2は、前述のように、撮像部1から出力された撮像画像を入力し、撮像画像から撮像対象の点群を4つ以上抽出し、同一線上に配置された点群から点間の距離の比の比を複比情報として算出し、計測部4に出力する。

【0048】

ここで、算出部2における第一処理として、点群の抽出は撮像対象に応じた種々の実施形態が可能である。以下、複数の実施形態を説明するが、これら以外にも撮像対象に応じた任意の手法が可能である。

【0049】

一実施形態として、同一線上に配置された点群としてLED等の光源を利用する場合は、次のようにすればよい。まず、光源の輝度値に応じた領域抽出で光源を抽出する。当該抽出した光源が点として抽出され共線となる４点となっている場合、抽出は完了である。点として抽出されたか否かは、抽出された際のサイズに関する所定の閾値条件で判定すればよい。

【0050】

一方、抽出された領域が一定の範囲を有する場合（上記閾値条件では点として抽出されたと判定されなかった場合）であって、当該範囲が線分として構成されている場合（例えば、蛍光灯における蛍光管のような場合）は、光源領域内の線分の両端を点とする。例えば、蛍光管が２本並んでいる場合のように、光源領域が２本の線分として形成され、且つ共線となっていれば、当該両線分の端点を合計で4点抽出すればよい。３本以上線分があれば、共線となる４点を選択すればよい。

【0051】

あるいは、その輝度値の及ぶ範囲が点ではなく一定サイズの領域を形成している場合は、光源領域内から本来の点光源の位置を特定するために、以下のようにしてもよい。なお、一定サイズの領域を形成する例としては、光源が本来は点（とみなせる小さいサイズ）として形成されているが、画像におけるピントのぼけ等の影響がある場合や、実際に光源が所定サイズの球形等をしている場合などを挙げることができる。

【0052】

すなわち、領域の重心を求め、任意の2つの領域の重心を結ぶ直線が通過する他の領域を2つ以上選択する。改めて同一線上の4組以上の領域の座標（重心等）から最小二乗法で直線の係数を求め、各領域内の線分の重心を点とする。なお、当該直線が一つ以上の領域を通過しない場合は、抽出された領域が同一線分上に無いと判断し、当該組み合わせでの複比情報は算出しない。

【0053】

なお、上記手法においては、画像内の複数の領域から上記任意の２つの領域として選択する全ての候補について上記処理を行い、４組以上が共線となるものを探索すればよい。当該探索の際に、上記抽出された領域が同一線分上にないと判断された候補は、共線ではないものとして順次除外されていくこととなる。すなわち、抽出された領域の４組以上の組み合わせが同一線分上に無い場合、当該組み合わせでの複比情報は算出されないこととなる。

【0054】

また、上記手法は、最初から領域ではなく点が抽出されている場合に、４点以上が共線となっているものを見つけ出す際にも同様に適用することができる。すなわち、上記手法における「重心」を抽出された「点」であるものとして読み替えて、同様に実施すればよい。また、上記手法は、線分の両端を点として抽出する際に、他の共線となっている線分を見つけ出す際にも同様に適用することができる。

【0055】

また、別の一実施形態として、同一線上に配置された点群として、図４のような環境下における扉等の端点、すなわち、壁等の所定の面上にある線分の端点、を利用する場合は、次のようにすることができる。

【0056】

図５は、図４の例に対して（図２，３等の例と同様の2つのドアの上端部に形成される共線の4点としての）抽出対象の点群A, B, C, Dや点群A', B', C', D'と、これらを抽出する際に利用する構造とを示した図である。図５を参照して、当該抽出処理を説明する。

【0057】

まず領域抽出で床や壁、天井の面を抽出する。領域抽出にはWatershedやFlood Fill等の周知技術を利用すればよい。また、消失点を基準として面を分離してもよい。図５では点P10が消失点である。また、領域抽出にて得られる境界に、さらに近似形状を適用することで頑健性を高めても良い。例えば、該境界を包含する外接多角形で表現することもできる。こうして、図５の例では、両側の壁、床及び天井という4つの面が領域抽出により抽出され、その境界線として床と左側壁の境界線L1、左側壁と天井の境界線L3、天井と右側壁の境界線L4及び右側壁と床の境界線L6が定まる。

【0058】

続いて、面の境界線L1,L3,L4,L6を内分する一つ以上の線分S1を生成し、当該線分S1と交差する線分S2との交点を同一線上に配置された点群A, B, C, D及び点群A', B', C', D'として抽出する。該線分は単一でも複数でも利用できる。光源および端点を併用して精度を高めることも可能である。

【0059】

すなわち、例えば境界線L1,L3を内分する線分S1としては、両境界線L1,L3間の左側壁の領域を通り消失点P1を通る任意の線分が該当するが、このうち、当該線分上に実際に所定量のエッジ成分がある線分として、ドアの上端を通る線L2が生成される。一方、交差する線分S2としては、当該内分する線分以外のものを両境界線L1,L3間の左側壁の領域から検出することで、垂直方向のドア境界をなす線分LA, LB, LC, LDを検出することができる。こうして、内分する線分L2と、これに交差する線分LA, LB, LC, LDとの交点として、点群A, B, C, Dを抽出することができる。

【0060】

同様に、右側壁の面の境界線L4,L6を内分する線分S1として線L5を生成し、これと交差する線分S2として垂直方向のドア境界の線LA', LB', LC', LD'を検出し、交点として点群A', B', C', D'を検出することができる。なお、以上において線分S1,S2の検出には、Hough変換(ハフ変換)等の周知の線分検出手法を利用すればよい。

【0061】

また当該線分の端点を利用する実施形態では、逆に、線分を先に抽出してから、線分上の特徴点を決定することもできる。具体的には、まずHough変換(ハフ変換)等の線分検出手法によって線分を検出し、予め設定した閾値以上の長さを有する線分のみを選別する。次に、当該選別された線分と他の線分との交点を特徴点として検出する。あるいは、近傍の線分を延長した交点を特徴点としてもよい。最後に、同一線分上に特徴点が４点以上存在する場合、当該特徴点を点群として利用する。

【0062】

次に、算出部2における第二処理として、複比情報（複比の値の情報）の算出は、次のようにすればよい。複比情報は、4点の組み合わせからなる4つの線分長の比の比で構成される。4点ABCDの組み合わせ数は24通りあるが、同一および逆数の関係を除くと以下の式(1), (2), (3)に示す3 通りになる。

【0063】

【数1】

【0064】

なお、上記各式(1), (2), (3)における記号として、|XY|は、XY点間の長さを表す。各式(1), (2), (3)のうちのどの複比を用いてもよいが、いずれかに統一しておく必要がある。ここで、当該式(1), (2), (3)のいずれを用いるか予め決めたうえで算出すれば、抽出された4点に対して当該式における点A,B,C,Dをどのように割り当てても、共通の値として複比を算出することができる。

【0065】

同一線上の点群からなる複比は、撮像部1で撮像された画像の画角や姿勢に依存せず、一定値が得られるため、事前登録時と異なる画角や姿勢で撮像しても同一の場所からは同一の値が得られ、頑健性に優れる。

【0066】

なお、同一線上から抽出された点群は、誤差を低減するため撮像部1に対する空間的な近傍から4点を選択することが望ましい。例えば、点群算出処理において複数組の共線となっている4点が算出された場合、遠方に小さく見えているものは精度が悪いと考えられるので、このようなものを排除すべく、形成される各線分が画像上において閾値以上の長さを有しているもののみを選別するようにすればよい。

【0067】

あるいは、図５の線L1〜L6等の交点としての消失点P10のように、消失点が画像内に写っていれば、当該消失点からの距離が離れているほど、撮像部1に対する空間的なより近い近傍であるものとしてもよい。さらに、消失点が写っていない場合であっても、複数の線分を延長した先の画像範囲外において消失点を求め、当該画像範囲外の消失点からの距離が離れているほど、撮像部1に対するより近い空間的な近傍としてよい。

【0068】

記憶部3は、前述のように、位置を測定する対象となる環境において事前に上記の算出部2で算出するのと同様の複比情報を算出しておき、同環境における位置情報（地図上の位置の情報）と紐付けておいたものを記録しておくことで、当該記憶しておく互いに紐付けられた複比情報及び位置情報を計測部4からの参照に供する。

【0069】

ここで、複比情報から位置情報を一意に決定可能なように記憶しておく実施形態には、以下のような種々のものが可能である。

【0070】

一実施形態では、図４の環境（廊下の両側の壁に複比情報を算出する撮像対象がある環境）のように、複比情報を算出する撮像対象が複数の面に配置されている場合、当該面ごとの区別をさらに紐付けたうえで、複比情報及び位置情報の組み合わせを記憶しておいてよい。

【0071】

すなわち、図３に例示した、図２の１つの壁W1における撮像対象についての複比情報及び位置情報の対応付けを、当該壁W1とは反対の壁W2（不図示）に関しても記憶しておくことができる。壁W2には、図２のD11〜D32と同様に、位置情報を一意に算出可能なように扉等の撮像対象を配置しておく。さらに、3つ以上の面について同様に記憶しておいてもよい。例えば、壁W1, W2に加えて天井W3及び／又は廊下C1に、位置情報を一意に算出可能な所定の撮像対象を配置しておき、その複比情報・位置情報の対応付けを記憶しておいてもよい。

【0072】

以上のように、複数の面から複比情報を算出する場合は、面毎に対応付けておくことで、計測部4における計測の精度を向上させることができる。また、同一の情景画像から複数の複比情報を算出・記録・比較することで、計測の精度を向上させることができる。

【0073】

なお、上記の面ごとに撮像対象を配置して面ごとに複比情報を算出する場合は、算出部2において、撮像画像内のどの面が、記憶部3で区別されて複比情報が記憶されているどの面に対応するかを識別しておき、計測部4において当該識別された情報を利用することが好ましい。当該識別はユーザがマニュアルで与えてもよい。識別を与えられない場合は、計測部4において、面の識別について可能な組み合わせと、実際の複比情報とで、整合するものを探索すればよい。

【0074】

例えば、壁W1には赤色の扉を複比情報の算出対象として設定しておき、これと向かいの壁W2には青色の扉と複比情報の算出対象として設定しておく、といったように、抽出対象の色情報による区別などで、面の識別を与えるようにしてもよい。あるいは同様に、壁W1, W2で色情報、輝度情報、テクスチャ情報などに区別があれば、これによって識別してもよい。

【0075】

また、以上の説明では、複比情報は共線となる４点から算出するものを記憶部3において記憶しておくものとしたが、図６に例示するように、共円となる４点から算出するものを記憶部3において記憶しておいてもよい。図６では、ある円C2の円周上に4点P1, P2, P3, P4が乗っており、当該4点は共円である。

【0076】

共円となる4点から算出される複比情報も、以上説明してきた共線の4点から算出される複比情報と同様の性質、すなわち、射影変換に対してその値が不変である性質を有するので、以上の説明におけるような共線の4点における複比情報により位置情報を特定したのと同様の手法が利用可能である。

【0077】

ただし、記憶部3にて記憶しておく場合には、共線として算出される複比情報であるか、共円として算出される複比情報であるかを区別して記憶しておく必要がある。また、撮像部1の取得した撮像画像より共円の4点を抽出する場合は、対応する手法で抽出する必要がある。

【0078】

例えば、図６の円C2のような円（平面上に円として描かれているので、一般に傾いた姿勢で撮像すると歪んだ円状となる）に所定の色特徴等を設けておき、当該円C2を抽出してから、その円周状に予め配置された所定点P1, P2, P3, P4を抽出してもよい。あるいは、円C2上にあることが既知の所定点P1, P2, P3, P4自体に、所定の色特徴等を設けておくことで、直接抽出するようにしてもよい。

【0079】

以上、本発明によれば、屋内外において人工物等の直線性および配置の不規則性を利用することで、人工物等が含まれる撮像対象を撮像部1で撮像するだけで端末の位置を測定することが可能となる。また、撮像部1にて撮像する画像から人工物等の直線性をもとに複比情報を算出し位置を測定するので、ソフトウェアで実現可能であり、GPS等の特別なハードウェアを情報端末装置10に組み込む必要がない。

【0080】

さらに、複比情報は情景画像から算出されるので、特定のランドマークや文字列等が無い状況でも位置を計測することが可能となる。合わせて、複比情報の算出は処理負荷が小さいため、計算リソースが限定される端末でも動作が可能となる。

【0081】

なお、本発明は、コンピュータを情報端末装置10として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種の入出力I/F等を備えた、通常のハードウェア構成のものを利用でき、CPUがその他のハードウェアと連動して図１の各部に対応する処理を担うこととなる。

【符号の説明】

【0082】

10…情報端末装置、1…撮像部、2…算出部、3…記憶部、4…計測部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】