特許 6040804 対象物識別システム、対象物識別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6040804

(24)【登録日】2016年11月18日

(45)【発行日】2016年12月7日

(54)【発明の名称】対象物識別システム、対象物識別方法

(51)【国際特許分類】

   G06T 7/60 20060101AFI20161128BHJP

   G06T 1/00 20060101ALI20161128BHJP

【ＦＩ】

   G06T7/60 150B

   G06T1/00 450B

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2013-33254(P2013-33254)

(22)【出願日】2013年2月22日

(65)【公開番号】特開2014-164407(P2014-164407A)

(43)【公開日】2014年9月8日

【審査請求日】2015年4月22日

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100100549

【弁理士】

【氏名又は名称】川口 嘉之

(74)【代理人】

【識別番号】100085006

【弁理士】

【氏名又は名称】世良 和信

(74)【代理人】

【識別番号】100113608

【弁理士】

【氏名又は名称】平川 明

(74)【代理人】

【識別番号】100123319

【弁理士】

【氏名又は名称】関根 武彦

(74)【代理人】

【識別番号】100123098

【弁理士】

【氏名又は名称】今堀 克彦

(74)【代理人】

【識別番号】100143797

【弁理士】

【氏名又は名称】宮下 文徳

(74)【代理人】

【識別番号】100138357

【弁理士】

【氏名又は名称】矢澤 広伸

(72)【発明者】

【氏名】本多 真

(72)【発明者】

【氏名】岡田 広毅

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１２−１８１７０１（ＪＰ，Ａ）

【文献】 特開２０１１−１５８９５９（ＪＰ，Ａ）

【文献】 特開２０１１−１３３９４３（ＪＰ，Ａ）

【文献】 特開２００８−０７３２１１（ＪＰ，Ａ）

【文献】 特開２００２−１３３５９８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−７／６０

(57)【特許請求の範囲】

【請求項1】

カメラを備えた携帯端末と、管理サーバと、からなり、
互いに相対的に略固定して配置された複数の対象物のうち、カメラで撮像された対象物を識別する対象物識別システムであって、
前記携帯端末は、
自端末が、前記複数の対象物に対して予め設定された単一の基準位置にあることを判定する基準位置判定手段と、
自端末の、前記基準位置からの変位を検出する変位検出手段と、
を有し、
前記管理サーバは、
前記基準位置に対する前記対象物の位置関係を表す情報である配置情報を記憶する対象物記憶手段と、
前記変位検出手段が検出した変位と、前記配置情報と、前記カメラが撮像した画像に基づいて対象物を識別する対象物識別手段と、
を有する、対象物識別システム。

【請求項2】

前記携帯端末は、３軸加速度センサをさらに有し、
前記変位検出手段は、前記加速度センサが検出した加速度に基づいて前記基準位置からの変位を検出する、
請求項１に記載の対象物識別システム。

【請求項3】

前記基準位置判定手段は、利用者からの入力操作を取得する入力取得手段をさらに有し、
前記入力操作に基づいて、前記携帯端末が基準位置にあると判定する、
請求項１または２に記載の対象物識別システム。

【請求項4】

前記基準位置判定手段は、基準位置を表すマーカーが前記カメラによって撮像された場合に、前記携帯端末が基準位置にあると判定する、
請求項１または２に記載の対象物識別システム。

【請求項5】

前記携帯端末は、自端末の傾きを検出する傾斜センサをさらに有し、
前記対象物識別手段は、前記傾斜センサが検出した傾きをさらに用いて対象物を識別する、
請求項１から４のいずれかに記載の対象物識別システム。

【請求項6】

カメラを備えた携帯端末と、管理サーバと、からなり、
互いに相対的に略固定して配置された複数の対象物のうち、カメラで撮像された対象物についての情報を提供する情報提供システムであって、
前記携帯端末は、
自端末が、前記複数の対象物に対して予め設定された単一の基準位置にあることを判定する基準位置判定手段と、
自端末の、前記基準位置からの変位を検出する変位検出手段と、
を有し、
前記管理サーバは、
前記基準位置に対する前記対象物の位置関係を表す情報である配置情報を記憶する対象物記憶手段と、
前記対象物についての情報を対象物ごとに記憶する対象物情報記憶手段と、
前記変位検出手段が検出した変位と、前記配置情報と、前記カメラが撮像した画像に基づいて対象物を識別する対象物識別手段と、
前記識別した対象物についての情報を取得し、前記携帯端末に送信する情報提供手段と、
を有する、情報提供システム。

【請求項7】

カメラを備えた携帯端末と、管理サーバと、からなり、
互いに相対的に略固定して配置された複数の対象物のうち、カメラで撮像された対象物を識別する対象物識別システムが行う対象物識別方法であって、
前記携帯端末が、
自端末が、前記複数の対象物に対して予め設定された単一の基準位置にあることを判定する基準位置判定ステップと、
自端末の、前記基準位置からの変位を検出する変位検出ステップと、
を実行し、
前記管理サーバが、
前記基準位置に対する前記対象物の位置関係を表す情報である配置情報を記憶する対象物記憶ステップと、
前記変位検出ステップにて検出した変位と、前記配置情報と、前記カメラが撮像した画像に基づいて対象物を識別する対象物識別ステップと、
を実行する、対象物識別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、空間内にある対象物を識別する技術に関する。

【背景技術】

【0002】

コンピュータの普及により、従来紙媒体で作成されていた、操作説明書や作業手順書といったマニュアルの電子化が進んでいる。電子マニュアルは、単に紙の説明書を電子文書化しただけのものが主流であったが、近年、コンピュータ上でインタラクティブな動作を行える電子マニュアルが登場している。

【0003】

例えば、特許文献１には、内蔵されたカメラで対象の機器を撮影すると、画像を解析して対象物を判別し、当該機器に適合する電子マニュアルを表示する装置が記載されている。当該装置を用いると、機種名を用いてライブラリを検索するなどの手間をかけることなく、簡単な操作で電子マニュアルを取得することができる。

【0004】

また、機器に対する操作説明を、ＡＲ（Augmented Reality、拡張現実）技術を用いて
行う電子マニュアルも考案されている。例えば、非特許文献１には、カメラを通して、バーコードを貼付した対象物を検出し、撮影した画像に、当該対象物についての操作説明をオーバーレイ表示するシステムが記載されている。

【0005】

このようなシステムを利用すると、利用者は、カメラを対象の装置に向けるだけで、当該装置に対応する操作説明を取得することができる。また、利用者への情報の提示は、画像や動画によって行うため、紙媒体を用いたマニュアルと比較して大量の情報を伝達することができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１１−１５８９５９号公報

【非特許文献】

【0007】

【非特許文献1】“ＡＲによる業務支援システム”，［online］，新日鉄ソリューションズ，［平成２５年１月２３日検索］、インターネット＜URL：http://www.ipros.jp/advertising/detail/24553/＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

従来の電子マニュアルは、画像認識技術を用いて対象物を判別している。例えば、特許文献１に記載の装置は、利用者が撮影した画像と、あらかじめ記憶した画像とをパターンマッチングさせることによって対象物を判別している。

【0009】

しかし、画像を用いて対象物の判別を行う場合、環境によって認識精度が低くなるという問題がある。例えば、自動車の車内で電子マニュアルを利用する場合、時間帯や場所によっては鮮明な画像が得られず、画像認識に失敗する可能性が高くなる。特に、夜間や屋内駐車場などでは、室内灯を点灯させても、画像認識のための十分な明るさを得ることができないことが多い。
一方、非特許文献１に記載のシステムでは、装置に貼り付けられた二次元バーコードを読み取ることで対象物を判別しているため、画像同士をマッチングさせる方式に比べて高い認識精度が得られる。しかし、マニュアルで参照されているあらゆる部位にバーコード
を貼付するのは、見た目の問題もあり現実的ではない。

【0010】

本発明は上記の課題を考慮してなされたものであり、対象物を精度良く識別する対象物識別システムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記課題を解決するために、本発明に係る対象物識別システムは、画像による対象物の判別処理に加え、対象物の位置を検出する処理を実行することで、対象物の候補を絞り込むという構成をとった。

【0012】

本発明に係る対象物識別システムは、カメラを備えた携帯端末と、管理サーバと、からなり、互いに相対的に略固定して配置された複数の対象物のうち、カメラで撮像された対象物を識別する対象物識別システムである。

【0013】

対象物とは、相対的に固定して配置された物品であり、例えば、自動車の車室内に配置されたレバーやボタンなどである。対象物の大きさおよび範囲は任意とすることができる。例えば、自動車の車内を考えた場合、対象物はエアコンやナビゲーション装置などであってもよいし、温度調整ボタンや縮尺指定ボタンなどであってもよい。相対的な位置が変化しなければ、対象物はどのようなものであってもよい。また、対象物は、おおよその位置が定まっていれば可動するものであってもよい。例えば、上下に可動するウインカーレバーなどであってもよい。

【0014】

また、前記携帯端末は、自端末が、予め定められた位置である基準位置にあることを検出する基準位置検出手段と、自端末の、前記基準位置からの変位を検出する変位検出手段と、を有する。

【0015】

基準位置検出手段は、携帯端末が基準位置にあることを検出する手段である。基準位置とは、対象物の配置位置を表す基準となる地点である。例えば、対象物が自動車の車内に配置されている場合、基準位置は車内の一地点である。対象物との位置関係が変わることがなければ、基準位置はどこに設けてもよい。
基準位置の検出は、例えば、利用者が携帯端末を基準位置に置いてボタンを押下することで行ってもよいし、基準位置に配置されたマーカー等をセンサやカメラで検知することで行ってもよい。
また、変位検出手段は、携帯端末の、基準位置からの変位量を検出する手段である。変位量は、例えばＸ，Ｙ，Ｚ軸それぞれについての基準位置からの移動距離で表すことができる。

【0016】

また、前記管理サーバは、前記対象物の配置を表す情報である配置情報を記憶する対象物記憶手段と、前記変位検出手段が検出した変位と、前記配置情報と、前記カメラが撮像した画像に基づいて対象物を識別する対象物識別手段と、を有する。

【0017】

対象物記憶手段は、対象物が空間内のどこに配置されているかを表す情報（配置情報）を記憶する手段である。配置情報は、基準位置を基準として対象物の位置を表したものであればよく、必ずしも当該対象物自体の座標である必要はない。例えば、対象物を観測する地点（観測点）を定め、当該観測点の座標を配置情報としてもよいし、当該観測点から対象物を観測した際の仰角や方位角等などを加えたものであってもよい。

【0018】

対象物識別手段は、カメラが撮像した画像に加えて、携帯端末の基準位置からの変位と、記憶した配置情報とを用いて対象物を識別する手段である。配置情報は、基準位置を基準として対象物の位置を表した情報であるため、携帯端末の基準位置からの変位と比較す
ることで、携帯端末の近傍にある対象物を絞り込むことができる。

【0019】

このように、本発明に係る管理サーバは、画像に基づいた識別処理に加え、携帯端末の変位をさらに用いて対象物を識別する。画像のみに依拠せずに対象物を識別するため、暗い場所など、画像によるマッチングが正確に行えない環境下であっても、対象物を識別することができる。

【0020】

また、前記携帯端末は、３軸加速度センサをさらに有し、前記変位検出手段は、前記加速度センサが検出した加速度に基づいて前記基準位置からの変位を検出することを特徴としてもよい。

【0021】

３軸加速度センサとは、３次元の各軸方向について加速度をそれぞれ取得できるセンサである。取得した加速度から速度を得ることができ、速度から移動距離を得ることができるため、変位検出手段は、センサ情報に基づいて３軸それぞれの変位を算出することができる。

【0022】

また、前記基準位置検出手段は、利用者からの入力操作を取得する入力取得手段をさらに有し、前記入力操作に基づいて、前記携帯端末が基準位置にあると判断することを特徴としてもよい。

【0023】

携帯端末が基準位置にあることは、利用者の入力操作に基づいて判断してもよい。例えば、利用者が携帯端末を基準位置に置いた状態でボタンを押下することで、携帯端末が基準位置にあることを示すようにしてもよい。

【0024】

また、前記基準位置検出手段は、基準位置を表すマーカーが前記カメラによって撮像された場合に、前記携帯端末が基準位置にあると判断することを特徴としてもよい。

【0025】

このように、基準位置を検出するためのマーカーを付し、カメラを用いて自動的に基準位置を検出するようにしてもよい。このようにすることで、携帯端末を一旦置く必要がなくなるため、端末を置く場所を設けることができない場合であっても、本発明に係る対象物識別システムを利用することができる。

【0026】

また、前記携帯端末は、自端末の傾きを検出する傾斜センサをさらに有し、前記対象物識別手段は、前記傾斜センサが検出した傾きをさらに用いて対象物を識別することを特徴としてもよい。

【0027】

携帯端末の変位に加え、携帯端末の傾きに関する情報をさらに管理サーバに送信することで、管理サーバは、携帯端末の方向ベクトルを特定することができる。すなわち、携帯端末のカメラがどこを向いているのかがわかるようになるため、対象物をさらに絞り込むことができ、対象物の識別精度を向上させることができる。なお、傾斜センサは、傾きを検出することができるセンサであれば、どのようなものであってもよい。例えば加速度センサであってもよいし、ジャイロセンサ等であってもよい。

【0028】

また、本発明に係る対象物識別システムは、対象物についての情報を提供する情報提供システムとして特定することもできる。

【0029】

例えば、前記管理サーバに、対象物の取扱説明書や作業手順書など、対象物についての関連情報をさらに記憶させ、識別した対象物に関連付いた情報を携帯端末に送信するようにしてもよい。このようにすることで、本発明に係る対象物識別システムは、情報提供システムとして利用することができる。例えば、携帯端末で撮像した部位に対応する電子マ
ニュアルを取得するといったことが可能になる。

【0030】

なお、本発明は、上記手段の少なくとも一部を含む対象物識別システムとして特定することができる。また、本発明は、上記処理の少なくとも一部を含む対象物識別方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

【発明の効果】

【0031】

本発明によれば、相対的に固定された対象物を精度良く識別する対象物識別システムを提供することができる。

【図面の簡単な説明】

【0032】

【図1】自動車の車内を表した図である。

【図2】第一の実施形態に係る携帯端末のシステム構成図である。

【図3】第一の実施形態に係る管理サーバのシステム構成図である。

【図4】第一の実施形態に係る部位情報の例である。

【図5】基準位置に携帯端末を置いた状態を表した図である。

【図6】第一の実施形態に係る処理フローチャートである。

【図7】第一の実施形態において携帯端末に表示される画面の例である。

【図8】第一の実施形態の変形例に係る部位情報の例である。

【図9】第二の実施形態において携帯端末に表示される画面の例である。

【図10】第二の実施形態における基準位置を説明する図である。

【図11】変形例において携帯端末に表示される画面の例である。

【発明を実施するための形態】

【0033】

（第一の実施形態）
<システムの概要>
第一の実施形態に係る電子マニュアルシステムは、自動車の取扱説明書である電子データ（以下、電子マニュアル）を利用者に提供するシステムであり、利用者が携帯する携帯端末１０と、管理サーバ２０からなる。
管理サーバ２０は、電子マニュアルが蓄積されたサーバであり、携帯端末１０は、管理サーバ２０から電子マニュアルを取得して表示するための、カメラが内蔵された端末である。図１〜図３を用いて、利用者が希望するマニュアルを管理サーバ２０から取得する方法について説明する。

【0034】

携帯端末１０は、利用者が欲している電子マニュアルが、車両内のどの部位に関するものであるかを示す情報を管理サーバ２０に送信し、管理サーバ２０は、当該情報に基づいて対象の部位を特定し、記憶している電子マニュアルから、対応するものを抽出して携帯端末１０に送信する。
具体的な例を挙げる。図１は、自動車の車内を表した図である。例えば、利用者が、シフトノブ（符号１０１）についてマニュアルを参照したいと考えたとする。この場合、シフトノブを特定するための情報を、携帯端末１０から管理サーバ２０に送信する必要がある。

【0035】

従来の電子マニュアル装置では、カメラで対象部位を撮影することで画像を取得し、当該画像（以下、撮影画像）を用いて部位の照合を行っていた。本実施形態では、撮影画像に加えて、携帯端末１０が、当該画像を撮影した際のカメラの位置および傾きを表す情報を管理サーバ２０に送信する。これにより、管理サーバは、カメラがどの位置からどの方向を見ているのかを知ることができる。すなわち、管理サーバが、車内における各部位の位置情報を有していれば、両者を比較することで、カメラが捉えている部位を推定するこ
とができるため、これを画像認識と併用することで、識別精度を向上させることができる。

【0036】

より具体的に説明する。本実施形態に係る携帯端末１０は、撮影画像と共に、以下の二つの情報を管理サーバ２０に送信する。これらの情報を指示情報と称する。
（１）撮影時における、基準位置に対する携帯端末の変位量（各軸方向の移動距離）
（２）撮影時における、携帯端末の傾き（方向ベクトル）
基準位置とは、車両内における基準となる位置である。図１の例の場合、小物入れ上に設けられた領域（符号１０２）を基準位置とし、当該基準位置に対して端末がＸ，Ｙ，Ｚ軸それぞれについてどの程度ずれているかを示す情報を生成して送信する。また、端末の姿勢を示す情報（方向ベクトル）を生成して送信する。情報を生成するタイミングは、いずれも利用者が対象部位を撮影したタイミングである。

【0037】

このように、本実施形態に係る携帯端末は、撮影画像に加え、上記（１）および（２）からなる指示情報を管理サーバに送信し、管理サーバが、当該指示情報に基づいて利用者が指し示している部位を絞り込む。以降の説明において、上記（１）をカメラ位置情報、（２）をカメラ向きベクトルと称する。携帯端末１０がそれぞれを取得する方法と、管理サーバが指示情報に基づいて対象物を絞り込む方法については後述する。

【0038】

<システム構成>
次に、携帯端末１０および管理サーバ２０のシステム構成について、図２を参照しながら説明する。
携帯端末１０は、典型的には携帯電話やスマートフォンなどの携帯情報端末である。携帯端末１０は、ＣＰＵ、主記憶装置、補助記憶装置を有しており、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって図２に図示した各手段が機能する（ＣＰＵ、主記憶装置、補助記憶装置はいずれも不図示）。

【0039】

通信部１１は、管理サーバ２０と通信を行うための通信手段である。３ＧやＬＴＥ等の移動体通信サービスを利用して、ネットワーク経由で管理サーバ２０と通信を行うことができる。
カメラ１２は、静止画を撮影するための手段である。利用者は、電子マニュアルを希望する車両内の部位を、カメラ１２を用いて撮影する。
加速度センサ１３は、３方向（Ｘ，Ｙ，Ｚ軸）に加わった加速度をそれぞれ測定し、センサ情報として出力する手段である。なお、加速度センサ１３は、重力加速度の成分を含んだ値と、含まない値の双方を出力することができる。重力加速度の成分を含まない場合、携帯端末が静止している状態においては、各軸についての加速度は０となる。

【0040】

入出力部１４は、利用者が行った入力操作を受け付け、利用者に対して情報を提示する手段である。タッチスクリーン等の手段によって、情報の入出力を行うことができる。入出力部１４が、本発明における入力取得手段および情報提供手段である。
制御部１５は、携帯端末１０の動作を制御する手段である。具体的には、加速度センサ１３から取得した情報から指示情報を生成し、カメラ１２から取得した撮影画像とともに管理サーバ２０に送信する処理と、管理サーバ２０から送信された電子マニュアルを受信し、入出力部１４を通して利用者に提示する処理とを実行する。
なお、制御部１５が、本発明における基準位置検出手段、変位検出手段、対象物識別手段である。

【0041】

次に、管理サーバ２０のシステム構成について、図３を参照しながら説明する。第一の実施形態に係る管理サーバ２０は、車両内の各部位に対応する複数の電子マニュアルと、当該各部位の位置に関する情報を記憶しており、携帯端末１０から要求を受信した場合に
、対応する電子マニュアルを取得し、送信するコンピュータである。

【0042】

管理サーバ２０も、携帯端末１０と同様に、ＣＰＵ、主記憶装置、補助記憶装置を有しており、記憶されたプログラムが実行されることによって図３に図示した各手段が機能する。なお、管理サーバ２０は、単一のコンピュータであってもよいし、複数台のコンピュータが連携したものであってもよい。

【0043】

通信部２１は、ネットワーク経由で携帯端末１０と通信を行う手段である。
また、記憶部２２は、複数の電子マニュアルと、当該電子マニュアルに対応する部位が車内のどこにあるかを表した情報（本発明における配置情報。以下、部位情報）を記憶する手段である。
図４は、記憶部２２に記憶される部位情報の例である。本実施形態では、部位情報は、部位の識別子および名称、カメラ位置情報、カメラ向きベクトルと、電子マニュアルのデータを特定する情報を含む。

【0044】

部位情報に含まれるカメラ位置情報とは、利用者が対象部位を携帯端末で撮影した場合の、当該端末の基準位置からの変位量を予め記憶したものであり、部位情報に含まれるカメラ向きベクトルとは、利用者が対象部位を携帯端末で撮影した場合の、当該端末の方向ベクトルを予め記憶したものである。管理サーバ２０は、受信した指示情報に含まれるカメラ位置情報およびカメラ向きベクトルと、記憶部２２に記憶されたカメラ位置情報およびカメラ向きベクトルを照合することで、携帯端末１０のカメラが向けられている部位を推定する。
なお、ここでは図示していないが、記憶部２２には、各部位に対応する電子マニュアル（動画、電子文書、画像など）と、撮影画像とのマッチングを行うためのテンプレート画像が別途記憶されている。記憶部２２が、本発明における対象物記憶手段および対象物情報記憶手段である。

【0045】

制御部２３は、受信した指示情報および撮影画像と、記憶部２２に記憶された情報とを照合することで、対象部位の識別処理を行う手段である。処理の詳細な内容については後述する。

【0046】

<指示情報の生成方法>
次に、携帯端末１０が指示情報を生成する方法について説明する。指示情報は、前述したように、カメラ位置情報およびカメラ向きベクトルからなる。

【0047】

まず、カメラ位置情報、すなわち基準位置に対する携帯端末の変位量を求める方法について説明する。図５は、基準位置（図１における符号１０２）に携帯端末を置いた状態を表した図である。この状態では、携帯端末の変位量は各軸ともに０である。ここで、カメラ位置情報を（ｘ_camera，ｙ_camera，ｚ_camera）とする。また、携帯端末１０を基準位置に配置した時刻をｔ₀とする。
そして、利用者が、対象部位が撮影できる位置まで携帯端末を移動させ、撮影を行う。撮影を行った時刻をｔ₁とする。時刻ｔ₀からｔ₁までに取得した加速度を、それぞれα_x（ｔ）、α_y（ｔ）、α_z（ｔ）とおくと、カメラ位置情報（ｘ_camera，ｙ_camera，ｚ_camera）は、数式１によって求めることができる。なお、積分区間はｔ₀からｔ₁までであり、α_x（ｔ）、α_y（ｔ）、α_z（ｔ）は、重力加速度の成分を含まない値である。

【数1】

【0048】

次に、カメラ向きベクトル、すなわち携帯端末の方向ベクトルを求める方法について説明する。利用者が、対象部位をカメラで撮影したタイミングで取得した加速度を、それぞれα_x0、α_y0、α_z0とおくと、携帯端末のＸ，Ｙ，Ｚ軸に対する傾き（θ_x，θ_y，θ_z）
は、数式２によって求めることができる。なお、α_x0、α_y0、α_z0は、重力加速度の成分を含む値である。

【数2】

【0049】

以上のようにして求めた傾き（θ_x，θ_y，θ_z）から、数式３によってカメラ向きベク
トルＲを求めることができる。

【数3】

【0050】

携帯端末１０は、以上のようにして求めた情報を指示情報として管理サーバ２０に送信する。これにより、管理サーバ２０は、対象部位を撮影した時点での携帯端末の位置と向きベクトルを取得することができる。

【0051】

<処理フローチャート>
次に、本実施形態例に係る電子マニュアルシステムが行う識別処理について、処理フローチャートである図６、および、携帯端末１０に表示される画面の例である図７を参照しながら具体的に説明する。

【0052】

ステップＳ１１〜Ｓ１３、およびステップＳ１９は、携帯端末１０が行う処理であり、ステップＳ１４〜Ｓ１８は、管理サーバ２０が行う処理である。
ステップＳ１１では、まず、制御部１５が、電子マニュアルの検索を開始する旨の画面を表示し、利用者に対して、端末を基準位置に置いて画面上のボタンを押下するよう促す（図７（ａ））。利用者が端末を基準位置（例えば図１における符号１０２の領域）に配置し、ボタンを押下すると、制御部１５が、加速度センサ１３から周期的に加速度の取得を開始する。

【0053】

ステップＳ１２では、制御部１５がカメラ１２を起動し、撮影を行う旨の画面を表示して、対象部位の撮影を促す。図７（ｂ）は、利用者がワイパーレバーを撮影する場合の例である。撮影ボタンが押下されると、制御部１５がカメラ１２を通して画像を取得する。そして、加速度センサ１３からの加速度の取得を終了し、取得した加速度を一時的に記憶して、ステップＳ１３へ遷移する。

【0054】

ステップＳ１３は、制御部１５が、加速度センサ１３から取得した加速度を元に、指示情報を生成するステップである。まず、数式１を用いて、基準位置からの変位量を取得する。なお、本例では、加速度は周期的に取得された離散値であるため、積分ではなく、周期的に取得した加速度の総和を求めることで速度および変位を取得する。これにより、カメラ位置情報が生成される。また、数式２および３を用いて、カメラ向きベクトルを生成する。そして、生成した情報を、撮影画像とともに通信部１１を通して管理サーバ２０に送信する。

【0055】

ステップＳ１４では、制御部２３が、通信部２１を通して、送信された指示情報および撮影画像を取得する。

【0056】

ステップＳ１５は、制御部２３が、取得した指示情報に含まれているカメラ位置情報と、記憶部２２に記憶された各部位のカメラ位置情報を比較し、類似度が高い部位を抽出する処理である。カメラ位置情報は、Ｘ、Ｙ、Ｚ軸それぞれにおける、基準位置からの移動距離であるため、距離の自乗をとることで類似度を評価することができる。例えば、指示情報に含まれるカメラ位置情報が（ｘ_cam，ｙ_cam，ｚ_cam）であり、部位情報に含まれる
カメラ位置情報が（ｘ_ref，ｙ_ref，ｚ_ref）である場合、類似度ｒ_{camera_place}は、数式
４で表すことができる。
ステップＳ１５では、部位情報が有する全レコードに対してｒ_{camera_place}を演算し、類似度が高い順（すなわちｒ_{camera_place}が小さい順）に所定個のレコードを抽出し、対応する部位を特定する。

【数4】

【0057】

ステップＳ１６は、指示情報に含まれているカメラ向きベクトルと、記憶部２２に記憶された各部位のカメラ向きベクトルを比較し、類似度が高い部位を抽出する処理である。カメラ向きベクトルは、携帯端末の方向ベクトルであるため、ベクトルの内積を演算することで類似度を評価することができる。例えば、指示情報に含まれるカメラ向きベクトルの成分が（Ｘ_cam，Ｙ_cam，Ｚ_cam）であり、部位情報に含まれるカメラ向きベクトルの成
分が（Ｘ_ref，Ｙ_ref，Ｚ_ref）である場合、類似度ｒ_{lens_vector}は、数式５で表すことができる。
ステップＳ１６では、部位情報が有する全レコードに対してｒ_{lens_vector}を演算し、
類似度が高い順（すなわちｒ_{lens_vector}が小さい順）に所定個のレコードを抽出し、対
応する部位を特定する。

【数5】

【0058】

ステップＳ１７では、ステップＳ１５およびＳ１６で取得した複数の部位に対応する画像を記憶部２２からそれぞれ取得し、ステップＳ１４で取得した撮影画像とのマッチングを行う。マッチングは、例えばパターンマッチングなどの任意の手法で行うことができる。この結果、最も類似度が高い画像に対応する部位が特定される。

【0059】

ステップＳ１８では、ステップＳ１７で特定した部位に対応する電子マニュアルを記憶部２２から取得し、通信部２１を通して携帯端末１０に送信する。
そして、ステップＳ１９で、携帯端末１０が、受信した電子マニュアルを表示する。受信した電子マニュアルは、そのまま画面に表示してもよいし、カメラを通して得られた画像に重ね合わせて表示してもよい。

【0060】

このように、第一の実施形態では、従来用いられていた画像によるマッチングに加え、基準位置からの端末の変位と、端末の傾きをさらに用いてマッチングを行う。これにより、画像のみによって部位を特定することが困難な環境であっても、利用者が示した部位を特定することができる。

【0061】

（第一の実施形態の変形例）
第一の実施形態では、カメラ位置情報およびカメラ向きベクトルを管理サーバに記憶させ、携帯端末から送信された指示情報との照合を行うことで部位を推定した。しかし、この方法では、同じ部位を撮影した場合であっても、カメラのアングルによって類似度が変わってしまうおそれがある。例えば、運転者がシフトノブを撮影した場合と、助手席の同乗者がシフトノブを撮影した場合とで、結果が異なってしまうことが考えられる。本変形例は、これを防ぐため、対象部位自体の座標を管理サーバに記憶させ、座標による照合を行う実施形態である。本変形例に係る携帯端末１０および管理サーバ２０のシステム構成は、以下に説明する点を除いて、第一の実施形態と同様である。

【0062】

本変形例では、対象部位の位置についての情報が、カメラ位置およびカメラ向きベクトルではなく、当該部位の座標によって記憶される。図８は、本変形例に係る部位情報の例である。また、本変形例では、ステップＳ１５〜Ｓ１６の処理が、以下に示す処理に置き換わる。

【0063】

携帯端末が対象部位を撮影した際のカメラの視線は、直線によって表すことができる。本変形例では、当該直線をカメラ視線と称する。
まず、制御部２３が、取得したカメラ位置情報およびカメラ向きベクトルから、カメラ視線を表す数式を生成する。指示情報に含まれるカメラ位置情報が（ｘ_cam，ｙ_cam，ｚ_cam）であり、カメラ向きベクトルの成分が（Ｘ_cam，Ｙ_cam，Ｚ_cam）である場合、カメラ視線は、ｘ＝ｘ_cam＋ｔＸ_cam、ｙ＝ｙ_cam＋ｔＹ_cam、ｚ＝ｚ_cam＋ｔＺ_camと媒介変数を用いて表すことができる。

【0064】

次に、制御部２３が、部位情報に記憶されている各部位の座標と、カメラ視線との最短距離ｄ_minを、記憶されている部位ごとに演算する。対象部位の座標を（Ｘ_trgt，Ｙ_trgt
，Ｚ_trgt）とおくと、当該座標からカメラ視線へ向かうベクトルは、（ｘ_cam＋ｔＸ_cam−Ｘ_trgt，ｙ_cam＋ｔＹ_cam−Ｙ_trgt，ｚ_cam＋ｔＺ_cam−Ｚ_trgt）と表すことができる。すな
わち、当該ベクトルとカメラ向きベクトルの内積が０になるｔを求めれば、最短距離ｄ_minを求めることができる。この方法は公知であるため、詳細な数式については省略する。

【0065】

そして、制御部２３が、類似度が高い順（すなわちｄ_minが小さい順）に所定個のレコ
ードを抽出し、対応する部位を特定する。ステップＳ１７以降の処理は、第一の実施形態と同様である。なお、最短距離ｄ_minは、例示した方法以外の方法を用いて演算してもよ
い。

【0066】

本変形例によると、カメラ視線が対象部位に向いているほど類似度ｄ_minが大きくなる
ため、撮影する際のカメラアングルによって類似度が変わることを防ぐことができ、より精度良く対象部位の判定を行うことができる。

【0067】

（第二の実施形態）
第一の実施形態では、利用者がボタンを押下することで、携帯端末１０が基準位置に配置されたことを明示した。これに対し、第二の実施形態は、基準位置を表すマーカーをカメラを通して検出し、自端末が基準位置にあることを自動的に認識する形態である。第二の実施形態に係る携帯端末１０および管理サーバ２０のシステム構成図は、図２および図３と同様である。

【0068】

第二の実施形態では、ステップＳ１１の処理のみが第一の実施形態と相違する。
図９は、ステップＳ１１における携帯端末１０の画面例である。第二の実施形態では、図７（ａ）の画面のかわりに図９の画面が表示される。当該画面には、マーカー（本例では、ハンドル中央にあるロゴマーク）の位置ガイドが表示され、利用者は、当該位置ガイドと、ロゴマークが一致する位置に携帯端末１０を移動させる。そして、位置が一致したと制御部１５が判定した場合、以降の処理を続行する。すなわち、位置ガイドと、ロゴマークが画面上で一致する携帯端末の位置（図１０）が基準位置となる。位置ガイドとロゴマークが一致したか否かは、例えばロゴマークの画像を事前に記憶し、カメラを通して取得した画像とのパターンマッチングを行うことで判定することができる。

【0069】

第一の実施形態では、基準位置を検出するために携帯端末を置くスペースが必要であったが、本実施形態のように、カメラを通して基準位置の検出を行うことで、スペースを確保することができないような場合であっても、本発明に係る電子マニュアルシステムを利用することができる。

【0070】

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。例えば、実施形態の説明では、携帯端末および管理サーバからなるシステムを例示したが、単一の装置に全ての機能を持たせてもよい。
また、電子マニュアル以外の情報を提供する情報提供システムとして実施してもよいし、単なる対象物識別システムとして実施してもよい。

【0071】

また、実施形態の説明では、車種が一つであるものとしたが、部位情報は車種によって異なるため、車種ごとに部位情報を分けて記憶するようにしてもよい。この場合、指示情報に、車種を表す情報を含ませ、管理サーバ側で判別すればよい。
また、カメラ向きベクトルは必ずしも用いる必要は無い。カメラ位置情報のみを利用した場合であっても、対象部位の識別精度を向上させるという本発明の目的は達成することができる。

【0072】

また、実施形態の説明では、加速度センサを用いて携帯端末の傾きを取得したが、ジャイロセンサをはじめとする傾斜センサを用いて傾きを取得するようにしてもよい。ジャイ
ロセンサは、角速度を取得するセンサであるため、ステップＳ１１で基準位置を検出してから、ステップＳ１２で撮影を行うまでに取得した角速度をＸ，Ｙ，Ｚ軸それぞれについて積分することで、加速度センサを用いた場合と同様に、携帯端末の傾きを取得することができる。

【0073】

また、実施形態の説明では、最も類似度が高い部位に対応する電子マニュアルを送信するようにしたが、類似度が高い順に複数の候補を提示し、利用者に選択させるようにしてもよい（図１１（ａ））。また、同じ部位に対応する電子マニュアルが複数ある場合、利用者に選択させるようにしてもよい（図１１（ｂ））。

【符号の説明】

【0074】

１０ 携帯端末
１１，２１ 通信部
１２ カメラ
１３ 加速度センサ
１４ 入出力部
１５，２３ 制御部
２２ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】