知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025001127
(43)【公開日】2025-01-08
(54)【発明の名称】探索案内システム
(51)【国際特許分類】
B65G 1/137 20060101AFI20241225BHJP
G06T 7/70 20170101ALI20241225BHJP
【ＦＩ】
B65G1/137 F
G06T7/70 Z
【審査請求】有
【請求項の数】31
【出願形態】ＯＬ
(21)【出願番号】P 2023100547
(22)【出願日】2023-06-20
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ２０２２年１１月１０日に、安来市役所において販売の申し出を行った。 ２０２２年１１月２１日に、宇都宮市役所において販売の申し出を行った。 ２０２２年１２月１２日に、松江市役所において販売の申し出を行った。 ２０２３年２月３日に、流山市役所において販売の申し出を行った。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ２０２２年５月１０日～５月１２日に、ＥＤＩＸ東京において発表した。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ２０２２年１１月１日～１２月１６日に、２０２２年図書館総合展において発表した。
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ２０２２年３月３１日に、ローカル５Ｇ×スマートシティＹＯＫＫＡＩＣＨＩ Ｇｒｅａｔ Ｅｘｐｏにおいて発表した。
(71)【出願人】
【識別番号】596100812
【氏名又は名称】京セラコミュニケーションシステム株式会社
(74)【代理人】
【識別番号】100092956
【弁理士】
【氏名又は名称】古谷 栄男
(74)【代理人】
【識別番号】100101018
【弁理士】
【氏名又は名称】松下 正
(72)【発明者】
【氏名】長野 伸幸
(72)【発明者】
【氏名】内田 貴之
(72)【発明者】
【氏名】西 晃史郎
(72)【発明者】
【氏名】門脇 良太
(72)【発明者】
【氏名】向後 良亮
(72)【発明者】
【氏名】川井 凌太郎
(72)【発明者】
【氏名】要谷 貴則
(72)【発明者】
【氏名】上籠 宏明
【テーマコード（参考）】
3F522
5L096
【Ｆターム（参考）】
3F522AA05
3F522BB13
3F522BB24
3F522CC01
3F522DD05
3F522DD22
3F522DD33
3F522FF02
3F522FF03
3F522FF37
3F522GG03
3F522GG09
3F522GG23
3F522GG32
3F522GG34
3F522GG44
3F522GG48
3F522HH19
3F522LL33
5L096AA06
5L096AA09
5L096CA04
5L096DA01
5L096FA09
5L096FA67
5L096FA69
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】効率のよい探索案内システムを提供する。
【解決手段】利用者は、探索案内端末装置のカメラ２によって対象領域を撮像する。探索案内端末装置は、撮像画像取得処理４において、カメラ２によって撮像された撮像画像を取得する。探索案内装置は、位置・方向特定処理１２において、特定用三次元モデル１４を参照し、取得した撮像画像が、対象領域のいずれの場所からいずれの方向に撮像されたものであるかを特定する。探索案内装置は、経路指示作成処理１６において、位置・方向特定処理によって特定した場所から、所望の対象物が載置されている場所までの経路を、経路用三次元モデル１８を参照して生成する。探索案内装置は、経路案内表示処理８において、カメラ２によって現在撮像されている撮像画像に経路を重畳し、ディスプレイ６に表示する。
【選択図】図１
【解決手段】利用者は、探索案内端末装置のカメラ２によって対象領域を撮像する。探索案内端末装置は、撮像画像取得処理４において、カメラ２によって撮像された撮像画像を取得する。探索案内装置は、位置・方向特定処理１２において、特定用三次元モデル１４を参照し、取得した撮像画像が、対象領域のいずれの場所からいずれの方向に撮像されたものであるかを特定する。探索案内装置は、経路指示作成処理１６において、位置・方向特定処理によって特定した場所から、所望の対象物が載置されている場所までの経路を、経路用三次元モデル１８を参照して生成する。探索案内装置は、経路案内表示処理８において、カメラ２によって現在撮像されている撮像画像に経路を重畳し、ディスプレイ６に表示する。
【選択図】図１
【特許請求の範囲】
【請求項1】
カメラとディスプレイとを備え、
対象領域の特定用三次元モデルおよび経路用モデルにアクセス可能に構成されており、
カメラによって撮像した対象領域の撮像画像に基づいて、前記特定用三次元モデルを参照して、対象領域における撮像位置を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、前記経路用モデルに基づいて生成し、
生成した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示することを特徴とする探索案内装置。
対象領域の特定用三次元モデルおよび経路用モデルにアクセス可能に構成されており、
カメラによって撮像した対象領域の撮像画像に基づいて、前記特定用三次元モデルを参照して、対象領域における撮像位置を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、前記経路用モデルに基づいて生成し、
生成した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示することを特徴とする探索案内装置。
【請求項2】
探索案内装置をコンピュータによって実現するための探索案内プログラムであって、前記探索案内プログラムは、
カメラによって撮像した対象領域の撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成し、
生成した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示するための命令を備えた探索案内プログラム。
カメラによって撮像した対象領域の撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成し、
生成した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示するための命令を備えた探索案内プログラム。
【請求項3】
請求項１の装置または請求項２のプログラムにおいて、
前記特定用三次元モデルは、対象領域を撮像した画像に基づいて生成した三次元特徴点データであり、
前記経路用モデルは、少なくとも通路と非通路を区別可能なデータであることを特徴とする装置またはプログラム。
前記特定用三次元モデルは、対象領域を撮像した画像に基づいて生成した三次元特徴点データであり、
前記経路用モデルは、少なくとも通路と非通路を区別可能なデータであることを特徴とする装置またはプログラム。
【請求項4】
請求項１の装置または請求項２のプログラムにおいて、
前記案内は、
カメラによって撮像した対象領域の撮像画像に基づいて前記特定用三次元モデルを参照してリアルタイムに特定された対象領域における撮像位置と撮像方向を取得し、
前記経路用モデルに基づいて生成した経路指示が、前記撮像位置における撮像方向においてどのように二次元表示されるかを決定し、
当該経路指示の二次元表示を、前記カメラによって撮像した撮像画像に重畳させて表示するものであることを特徴とする装置またはプログラム。
前記案内は、
カメラによって撮像した対象領域の撮像画像に基づいて前記特定用三次元モデルを参照してリアルタイムに特定された対象領域における撮像位置と撮像方向を取得し、
前記経路用モデルに基づいて生成した経路指示が、前記撮像位置における撮像方向においてどのように二次元表示されるかを決定し、
当該経路指示の二次元表示を、前記カメラによって撮像した撮像画像に重畳させて表示するものであることを特徴とする装置またはプログラム。
【請求項5】
請求項１の装置または請求項２のプログラムにおいて、
所望の対象物が載置されている場所に到達したと判断すると、カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した対象物である対象物品の物品表示の領域マーク情報に基づいて、カメラによって撮像した複数物品の複数物品表示画像に重ねて領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、
探索案内端末装置から受信した複数物品表示撮像画像中から、対象物品の物品表示の領域を抽出し、
抽出した対象物品の物品表示の領域を示す領域マーク情報を対象物抽出端末装置に送信することを特徴とする装置またはプログラム。
所望の対象物が載置されている場所に到達したと判断すると、カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した対象物である対象物品の物品表示の領域マーク情報に基づいて、カメラによって撮像した複数物品の複数物品表示画像に重ねて領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、
探索案内端末装置から受信した複数物品表示撮像画像中から、対象物品の物品表示の領域を抽出し、
抽出した対象物品の物品表示の領域を示す領域マーク情報を対象物抽出端末装置に送信することを特徴とする装置またはプログラム。
【請求項6】
請求項５の装置またはプログラムにおいて、
前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴とする装置またはプログラム。
前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴とする装置またはプログラム。
【請求項7】
探索案内端末装置と前記探索案内端末装置と通信可能に設けられた探索案内サーバ装置とを備えた探索案内システムであって、
前記探索案内端末装置は、
カメラとディスプレイとを備え、
カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、
前記探索案内サーバ装置から受信した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示し、
前記探索案内サーバ装置は、
対象領域の特定用三次元モデルおよび経路用モデルにアクセス可能に構成されており、
前記探索案内端末装置から受信した撮像画像に基づいて、前記特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、前記経路用モデルに基づいて生成して前記探索案内端末装置に送信することを特徴とする探索案内システム。
前記探索案内端末装置は、
カメラとディスプレイとを備え、
カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、
前記探索案内サーバ装置から受信した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示し、
前記探索案内サーバ装置は、
対象領域の特定用三次元モデルおよび経路用モデルにアクセス可能に構成されており、
前記探索案内端末装置から受信した撮像画像に基づいて、前記特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、前記経路用モデルに基づいて生成して前記探索案内端末装置に送信することを特徴とする探索案内システム。
【請求項8】
探索案内サーバ装置と通信可能に設けられた探索案内端末装置であって、
カメラとディスプレイとを備え、
カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、
前記探索案内端末装置から受信した撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成した探索案内サーバ装置から前記経路を受信し、当該経路に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示することを特徴とする端末装置。
カメラとディスプレイとを備え、
カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、
前記探索案内端末装置から受信した撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成した探索案内サーバ装置から前記経路を受信し、当該経路に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示することを特徴とする端末装置。
【請求項9】
探索案内端末装置をコンピュータによって実現するための探索案内端末プログラムであって、前記プログラムは、
カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、
前記探索案内端末装置から受信した撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成した探索案内サーバ装置から前記経路を受信し、当該経路に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示するための命令を備えていることを特徴とする探索案内端末プログラム。
カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、
前記探索案内端末装置から受信した撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成した探索案内サーバ装置から前記経路を受信し、当該経路に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示するための命令を備えていることを特徴とする探索案内端末プログラム。
【請求項10】
探索案内端末装置と通信可能に設けられた探索案内サーバ装置であって、
対象領域の三次元モデルにアクセス可能に構成されており、
前記探索案内端末装置から受信した対象領域の撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成して前記探索案内端末装置に送信することを特徴とする探索案内サーバ装置。
対象領域の三次元モデルにアクセス可能に構成されており、
前記探索案内端末装置から受信した対象領域の撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成して前記探索案内端末装置に送信することを特徴とする探索案内サーバ装置。
【請求項11】
請求項７～１０のいずれかのシステム、装置またはプログラムにおいて、
前記特定用三次元モデルは、対象領域を撮像した画像に基づいて生成した三次元特徴点データであり、
前記経路用モデルは、少なくとも通路と非通路を区別可能なデータであることを特徴とするシステム、装置またはプログラム。
前記特定用三次元モデルは、対象領域を撮像した画像に基づいて生成した三次元特徴点データであり、
前記経路用モデルは、少なくとも通路と非通路を区別可能なデータであることを特徴とするシステム、装置またはプログラム。
【請求項12】
請求項７～１０のいずれかのシステム、装置またはプログラムにおいて、
前記探索案内端末装置における前記案内は、
カメラによって撮像した対象領域の撮像画像に基づいて前記特定用三次元モデルを参照してリアルタイムに特定された対象領域における撮像位置と撮像方向を取得し、
前記経路用モデルに基づいて生成した経路指示が、前記撮像位置における撮像方向においてどのように二次元表示されるかを決定し、
当該経路指示の二次元表示を、前記カメラによって撮像した撮像画像に重畳させて表示するものであることを特徴とするシステム、装置またはプログラム。
前記探索案内端末装置における前記案内は、
カメラによって撮像した対象領域の撮像画像に基づいて前記特定用三次元モデルを参照してリアルタイムに特定された対象領域における撮像位置と撮像方向を取得し、
前記経路用モデルに基づいて生成した経路指示が、前記撮像位置における撮像方向においてどのように二次元表示されるかを決定し、
当該経路指示の二次元表示を、前記カメラによって撮像した撮像画像に重畳させて表示するものであることを特徴とするシステム、装置またはプログラム。
【請求項13】
請求項７～１０のいずれかのシステム、装置またはプログラムにおいて、
前記探索案内端末装置は、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、
対象物抽出端末装置から受信した複数物品表示撮像画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴とする探索案内システム。
前記探索案内端末装置は、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、
対象物抽出端末装置から受信した複数物品表示撮像画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴とする探索案内システム。
【請求項14】
請求項１３のシステム、装置またはプログラムにおいて、
前記探索案内端末装置は、
前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴とするシステム、装置またはプログラム。
前記探索案内端末装置は、
前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴とするシステム、装置またはプログラム。
【請求項15】
請求項１、２、７～１０のいずれかのシステム、装置またはプログラムにおいて、
前記対象領域は、書籍を載置した書棚であることを特徴とするシステム、装置またはプログラム。
前記対象領域は、書籍を載置した書棚であることを特徴とするシステム、装置またはプログラム。
【請求項16】
対象物抽出端末装置と前記対象物抽出端末装置と通信可能に設けられた対象物抽出サーバ装置とを備えた対象物抽出システムであって、
前記対象物抽出端末装置は、
カメラとディスプレイとを備え、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、
対象物抽出端末装置から受信した複数物品表示撮像画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴とする対象物抽出システム。
前記対象物抽出端末装置は、
カメラとディスプレイとを備え、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、
対象物抽出端末装置から受信した複数物品表示撮像画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴とする対象物抽出システム。
【請求項17】
対象物抽出サーバ装置と通信可能に設けられた対象物抽出端末装置であって、
カメラとディスプレイとを備え、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
当該複数物品表示撮像画像に基づいて対象物品を特定するための対象物品特定用情報を生成した対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示することを特徴とする対象物抽出端末装置。
カメラとディスプレイとを備え、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
当該複数物品表示撮像画像に基づいて対象物品を特定するための対象物品特定用情報を生成した対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示することを特徴とする対象物抽出端末装置。
【請求項18】
対象物抽出端末装置をコンピュータによって実現するための対象物抽出端末プログラムであって、前記プログラムは、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
当該複数物品表示撮像画像に基づいて対象物品を特定するための対象物品特定用情報を生成した対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示することを特徴とする対象物抽出端末プログラム。
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
当該複数物品表示撮像画像に基づいて対象物品を特定するための対象物品特定用情報を生成した対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示することを特徴とする対象物抽出端末プログラム。
【請求項19】
対象物抽出端末装置と通信可能に設けられた対象物抽出サーバ装置であって、
対象物端末装置から複数物品表示撮像画像を受信し、
前記対象物抽出端末装置において対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示できるように、前記対象物端末装置から受信した複数物品表示撮像画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴とする対象物抽出サーバ装置。
対象物端末装置から複数物品表示撮像画像を受信し、
前記対象物抽出端末装置において対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示できるように、前記対象物端末装置から受信した複数物品表示撮像画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴とする対象物抽出サーバ装置。
【請求項20】
請求項１６～１９のいずれかのシステム、装置またはプログラムにおいて、
前記対象物抽出サーバ装置は、前記対象物品特定用情報として前記複数物品表示撮像画像に含まれる各物品の画像位置情報と識別情報とを含む対応情報を生成して、対象物抽出端末装置に送信し、
前記対象物抽出端末装置は、前記対象物抽出サーバ装置から受信した前記対応情報に基づいて、前記対象物品の識別情報に合致する画像位置情報を、前記対象物品の画像位置情報として特定し、
当該画像位置情報に基づいて、前記領域マークを表示することを特徴とするシステム、装置またはプログラム。
前記対象物抽出サーバ装置は、前記対象物品特定用情報として前記複数物品表示撮像画像に含まれる各物品の画像位置情報と識別情報とを含む対応情報を生成して、対象物抽出端末装置に送信し、
前記対象物抽出端末装置は、前記対象物抽出サーバ装置から受信した前記対応情報に基づいて、前記対象物品の識別情報に合致する画像位置情報を、前記対象物品の画像位置情報として特定し、
当該画像位置情報に基づいて、前記領域マークを表示することを特徴とするシステム、装置またはプログラム。
【請求項21】
請求項２０のシステム、装置またはプログラムにおいて、
前記対象物抽出サーバ装置は、前記複数物品表示画像に基づいて各物品の物品表示画像を抽出して各物品の画像位置情報を推定し、抽出された各物品表示画像に基づいて対応する物品の識別情報を推定することを特徴とするシステム、装置またはプログラム。
前記対象物抽出サーバ装置は、前記複数物品表示画像に基づいて各物品の物品表示画像を抽出して各物品の画像位置情報を推定し、抽出された各物品表示画像に基づいて対応する物品の識別情報を推定することを特徴とするシステム、装置またはプログラム。
【請求項22】
請求項１６～１９のいずれかのシステム、装置またはプログラムにおいて、
前記対象物抽出端末装置は、対象物品の識別情報を対象物抽出サーバ装置に送信し、
前記対象物抽出サーバ装置は、受信した対象物品の識別情報に基づいて対象物品表示画像を取得し、前記複数物品表示画像中から対象物品表示画像を特定してその画像位置情報を推定し、当該画像位置情報を前記対象物品特定用情報として前記対象物抽出端末装置に送信し、
前記対象物抽出端末装置は、受信した画像位置情報に基づいて、前記領域マークを表示することを特徴とするシステム、装置またはプログラム。
前記対象物抽出端末装置は、対象物品の識別情報を対象物抽出サーバ装置に送信し、
前記対象物抽出サーバ装置は、受信した対象物品の識別情報に基づいて対象物品表示画像を取得し、前記複数物品表示画像中から対象物品表示画像を特定してその画像位置情報を推定し、当該画像位置情報を前記対象物品特定用情報として前記対象物抽出端末装置に送信し、
前記対象物抽出端末装置は、受信した画像位置情報に基づいて、前記領域マークを表示することを特徴とするシステム、装置またはプログラム。
【請求項23】
請求項１６～１９のいずれかのシステム、装置またはプログラムにおいて、
前記対象物抽出端末装置は、
前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴とするシステム、装置またはプログラム。
前記対象物抽出端末装置は、
前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴とするシステム、装置またはプログラム。
【請求項24】
請求項１６～１９のいずれかのシステム、装置またはプログラムにおいて、
前記物品は書籍であり、
前記複数物品表示画像は、複数並べられた前記書籍の背表紙を撮像した複数背表紙画像であることを特徴とするシステム、装置またはプログラム。
前記物品は書籍であり、
前記複数物品表示画像は、複数並べられた前記書籍の背表紙を撮像した複数背表紙画像であることを特徴とするシステム、装置またはプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、書籍などの対象物の探索と、書棚など対象物のある場所への案内や複数の物品中から対象物品を抽出して示すシステムに関するものである。
【背景技術】
【0002】
図書館や書店などにおいて対象物である書籍の位置を提示するシステムが運用されている。
【0003】
たとえば、特許文献１には、利用者が書籍の検索を行うと、当該書籍が収納されている棚の場所を出力する端末装置が示されている。これにより、利用者は目的とする書籍を効率よく探し出すことができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００３－７２９１９
【特許文献2】特許７０２３３３８
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１のような従来技術では、利用者が書籍の収納された棚を探し出さなければならず、効率的でなかった。
【0006】
また、目的とする書籍が収納されている棚は判明したとしても、棚の中のどの位置に書籍があるかは、利用者が自力で探し出す必要があった。この点、特許文献２には、在庫管理の際に、棚に並べられた書籍群を撮像すると在庫照合をしようとする書籍に枠を付して表示するシステムが開示されている。これを利用者による書籍探しに適用した場合、書籍群を撮像したカメラの撮像位置や方向が固定されていないと、目的とする書籍に対して枠が正しく表示されない可能性があった。撮像時にマーカを同時に撮像して位置を補正することでこの問題は解決するが、マーカを用意しておかなければならないという問題があった。
【0007】
上記のような問題点は、対象物が書籍である場合に限らず、商品や部品などにおいても生じていた。
【0008】
この発明は、上記のいずれかの問題点を解決して、効率のよい探索案内システムや対象物抽出システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
この発明の独立して適用可能ないくつかの特徴を列挙する。
【0010】
(1)(2)この発明に係る探索案内装置は、カメラとディスプレイとを備え、対象領域の特定用三次元モデルおよび経路用モデルにアクセス可能に構成されており、カメラによって撮像した対象領域の撮像画像に基づいて、前記特定用三次元モデルを参照して、対象領域における撮像位置を特定し、特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、前記経路用モデルに基づいて生成し、生成した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示することを特徴としている。
【0011】
したがって、撮像画像に基づいて撮像位置を特定し、所望の対象物が載置されている位置までの経路を示すことができるので、簡易な構成で効果的な経路案内をすることができる。
【0012】
(3)この発明に係る探索案内装置は、特定用三次元モデルが、対象領域を撮像した画像に基づいて生成した三次元特徴点データであり、経路用モデルが、少なくとも通路と非通路を区別可能なデータであることを特徴としている。
【0013】
したがって、特定用三次元モデル、経路用モデルの生成が容易である。
【0014】
(4)この発明に係る探索案内装置は、案内が、カメラによって撮像した対象領域の撮像画像に基づいて前記特定用三次元モデルを参照してリアルタイムに特定された対象領域における撮像位置と撮像方向を取得し、前記経路用モデルに基づいて生成した経路指示が、前記撮像位置における撮像方向においてどのように二次元表示されるかを決定し、当該経路指示の二次元表示を、前記カメラによって撮像した撮像画像に重畳させて表示するものであることを特徴としている。
【0015】
したがって、利用者が現在見ている周囲の状況を表す画像上に経路指示が表示されるので、利用者はいずれの方向に行けばよいかを容易に知ることができる。
【0016】
(5)この発明に係る探索案内装置は、所望の対象物が載置されている場所に到達したと判断すると、カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、対象物抽出サーバ装置から受信した対象物である対象物品の物品表示の領域マーク情報に基づいて、カメラによって撮像した複数物品の複数物品表示画像に重ねて領域マークをディスプレイに表示し、前記対象物抽出サーバ装置は、探索案内端末装置から受信した複数物品表示撮像画像中から、対象物品の物品表示の領域を抽出し、抽出した対象物品の物品表示の領域を示す領域マーク情報を対象物抽出端末装置に送信することを特徴としている。
【0017】
したがって、対象物品の具体的な場所まで特定することができる。
【0018】
(6)この発明に係る探索案内装置は、複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴としている。
【0019】
したがって、別途マーカを用意しなくとも、利用者による撮像位置の変動に応じて、目的とする対象物品に重ねて領域マークを表示することができる。
【0020】
(7)-(10)この発明に係る探索案内システムは、探索案内端末装置と前記探索案内端末装置と通信可能に設けられた探索案内サーバ装置とを備えた探索案内システムであって、
前記探索案内端末装置は、カメラとディスプレイとを備え、カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、前記探索案内サーバ装置から受信した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示し、
前記探索案内サーバ装置は、対象領域の特定用三次元モデルおよび経路用モデルにアクセス可能に構成されており、前記探索案内端末装置から受信した撮像画像に基づいて、前記特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、前記経路用モデルに基づいて生成して前記探索案内端末装置に送信することを特徴としている。
前記探索案内端末装置は、カメラとディスプレイとを備え、カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、前記探索案内サーバ装置から受信した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示し、
前記探索案内サーバ装置は、対象領域の特定用三次元モデルおよび経路用モデルにアクセス可能に構成されており、前記探索案内端末装置から受信した撮像画像に基づいて、前記特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、前記経路用モデルに基づいて生成して前記探索案内端末装置に送信することを特徴としている。
【0021】
したがって、撮像画像に基づいて撮像位置を特定し、所望の対象物が載置されている位置までの経路を示すことができるので、簡易な構成で効果的な経路案内をすることができる。
【0022】
(11)この発明に係る探索案内システムは、特定用三次元モデルが、対象領域を撮像した画像に基づいて生成した三次元特徴点データであり、経路用モデルが、少なくとも通路と非通路を区別可能なデータであることを特徴としている。
【0023】
したがって、特定用三次元モデル、経路用モデルの生成が容易である。
【0024】
(12)この発明に係る探索案内システムは、探索案内端末装置における前記案内が、カメラによって撮像した対象領域の撮像画像に基づいて前記特定用三次元モデルを参照してリアルタイムに特定された対象領域における撮像位置と撮像方向を取得し、前記経路用モデルに基づいて生成した経路指示が、前記撮像位置における撮像方向においてどのように二次元表示されるかを決定し 当該経路指示の二次元表示を、前記カメラによって撮像した撮像画像に重畳させて表示するものであることを特徴としている。
【0025】
したがって、利用者が現在見ている周囲の状況を表す画像上に経路指示が表示されるので、利用者はいずれの方向に行けばよいかを容易に知ることができる。
【0026】
(13)この発明に係る探索案内システムは、探索案内端末装置が、対象物品の識別情報を取得し、カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示し、前記対象物抽出サーバ装置は、対象物抽出端末装置から受信した複数物品表示撮像画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴としている。
【0027】
したがって、対象物品の具体的な場所まで特定することができる。
【0028】
(14)この発明に係る探索案内システムは、探索案内端末装置が、複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴としている。
【0029】
したがって、特別なマーカを別途用意しなくとも、利用者による撮像位置の変動があっても、目的とする対象物品に重ねて領域マークを表示することができる。
【0030】
(15)この発明に係る探索案内システムは、対象領域は、書籍を載置した書棚であることを特徴としている。
【0031】
したがって、目的とする書棚までの経路を案内することができる。
【0032】
(16)-(19)この発明に係る対象物抽出システムは、対象物抽出端末装置と前記対象物抽出端末装置と通信可能に設けられた対象物抽出サーバ装置とを備えた対象物抽出システムであって、
前記対象物抽出端末装置は、カメラとディスプレイとを備え、対象物品の識別情報を取得し、カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、対象物抽出端末装置から受信した複数物品表示撮像画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴としている。
前記対象物抽出端末装置は、カメラとディスプレイとを備え、対象物品の識別情報を取得し、カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、対象物抽出端末装置から受信した複数物品表示撮像画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴としている。
【0033】
前記対象物抽出サーバ装置は、対象物抽出端末装置から受信した複数物品表示撮像画像中から、対象物品の物品表示の領域を抽出し、抽出した対象物品の物品表示の領域を示す領域マーク情報を対象物抽出端末装置に送信することを特徴としている。
【0034】
したがって、多数の対象物品の中から所望の物品を探し出すことができる。
【0035】
(20)この発明に係る対象物抽出システムは、対象物抽出サーバ装置は、前記対象物品特定用情報として前記複数物品表示撮像画像に含まれる各物品の画像位置情報と識別情報とを含む対応情報を生成して、対象物抽出端末装置に送信し、対象物抽出端末装置は、前記対象物抽出サーバ装置から受信した前記対応情報に基づいて、前記対象物品の識別情報に合致する画像位置情報を、前記対象物品の画像位置情報として特定し、当該画像位置情報に基づいて、前記領域マークを表示することを特徴としている。
【0036】
したがって、多数の対象物品の中から所望の物品を探し出すことができる。
【0037】
(21)この発明に係る対象物抽出システムは、対象物抽出サーバ装置が、前記複数物品表示画像に基づいて各物品の物品表示画像を抽出して各物品の画像位置情報を推定し、抽出された各物品表示画像に基づいて対応する物品の識別情報を推定することを特徴としている。
【0038】
したがって、より正確に識別情報を推定することができる。
【0039】
(22)この発明に係る対象物抽出システムは、対象物抽出端末装置は、対象物品の識別情報を対象物抽出サーバ装置に送信し、対象物抽出サーバ装置は、受信した対象物品の識別情報に基づいて対象物品表示画像を取得し、前記複数物品表示画像中から対象物品表示画像を特定してその画像位置情報を推定し、当該画像位置情報を前記対象物品特定用情報として前記対象物抽出端末装置に送信し、前記対象物抽出端末装置は、受信した画像位置情報に基づいて、前記領域マークを表示することを特徴としている。
【0040】
したがって、多数の対象物品の中から所望の物品を探し出すことができる。
【0041】
(23)この発明に係る対象物抽出システムは、対象物抽出端末装置が、前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴としている。
【0042】
したがって、特別なマーカを別途用意しなくとも、利用者による撮像位置の変動があっても、目的とする対象物品に重ねて領域マークを表示することができる。
【0043】
(24)この発明に係る対象物抽出システムは、物品が書籍であり、複数物品表示画像が、複数並べられた前記書籍の背表紙を撮像した複数背表紙画像であることを特徴としている。
【0044】
したがって、目的とする書籍を容易に探し出すことができる。
【0045】
「装置」とは、１台のコンピュータによって構成されるものだけでなく、ネットワークなどを介して接続された複数のコンピュータによって構成されるものも含む概念である。したがって、本発明の手段（あるいは手段の一部でもよい）が複数のコンピュータに分散されている場合、これら複数のコンピュータが装置に該当する。
【0046】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム、オペレーティングシステムと協働してその機能を発揮するプログラム等を含む概念である。
【図面の簡単な説明】
【0047】
【図1】この発明の一実施形態による探索案内装置の機能的構成である。
【図2】探索案内装置を用いた探索案内システムのシステム構成である。
【図3】探索案内装置のハードウエア構成である。
【図4】サーバ装置のハードウエア構成である。
【図5】探索案内処理のフローチャートである。
【図7】撮像画像と特徴点を示す図である。
【図8】経路用モデルを用いた経路設定を示す図である。
【図9】スマートフォンＳＰに表示された経路指示を示す図である。
【図10】他の実施形態による探索案内システムの機能的構成である。
【図11】他の実施形態による探索案内システムのフローチャートである。
【図12】第２の実施形態による対象物抽出システムの機能的構成である。
【図13】対象物抽出処理のフローチャートである。
【図14】複数背表紙画像（基準画像）の例である。
【図15】抽出した背表紙画像と画像位置情報の例である。
【図16】画像位置情報の座標および特定方法を示す図である。
【図18】背表紙画像と推定したＩＳＢＮコードとを示す図である。
【図19】学習データをとしての、背表紙画像とＩＳＢＮコードを示す図である。
【図20】対応データの例である。
【図21a】領域マークＭの付された撮像画像を示す図である。
【図21b】領域マークＭの付された撮像画像を示す図である。
【図22】他の例による対象物抽出システムの機能的構成である。
【図23】他の例による対象物抽出処理のフローチャートである。
【図24】背表紙画像とＩＳＢＮコードの対応テーブルを示す図である。
【図25】背表紙画像を示す図である。
【発明を実施するための形態】
【0048】
１．第１の実施形態
1.1機能的構成
図１に、この発明の一実施形態による探索案内装置の機能的構成を示す。利用者は、探索案内端末装置Ｔのカメラ２によって対象領域を撮像する。探索案内端末装置Ｔは、撮像画像取得処理４において、カメラ２によって撮像された撮像画像を取得する。
1.1機能的構成
図１に、この発明の一実施形態による探索案内装置の機能的構成を示す。利用者は、探索案内端末装置Ｔのカメラ２によって対象領域を撮像する。探索案内端末装置Ｔは、撮像画像取得処理４において、カメラ２によって撮像された撮像画像を取得する。
【0049】
探索案内装置には、対象領域を三次元モデル化した特定用三次元モデル１４が記録されている。特定用三次元モデル１４は、少なくとも対象領域の特徴点を含む三次元モデルである。
【0050】
位置・方向特定処理１２において、特定用三次元モデル１４を参照し、取得した撮像画像が、対象領域のいずれの場所からいずれの方向に撮像されたものであるかを特定する。
【0051】
探索案内装置には、経路指示を生成するために用いる経路用モデル１８も記録されている。経路用モデル１８は、少なくとも通路と非通路を区別可能に構成されたモデルである。
【0052】
探索案内装置は、経路指示作成処理１６において、位置・方向特定処理によって特定した場所から、所望の対象物が載置されている場所までの経路を、経路用三次元モデル１８を参照して生成する。探索案内装置は、経路案内表示処理８において、カメラ２によって現在撮像されている撮像画像に経路を重畳し、ディスプレイ６に表示する。
【0053】
以上のように、特定用三次元モデルを用いて、撮像画像に基づいて現在の位置を特定して、対象物のある位置までの経路を生成し、これを撮像画像に重ねて表示するようにしている。したがって、対象物までの経路案内を正確に分かりやすく行うことができる。
【0054】
1.2システム構成およびハードウエア構成
図２に、探索案内装置を用いた探索案内システムのシステム構成を示す。この例では、探索案内装置としてスマートフォンＳＰを用いている。スマートフォンＳＰは、インターネットを介して、サーバ装置Ｓと通信可能に設けられている。
図２に、探索案内装置を用いた探索案内システムのシステム構成を示す。この例では、探索案内装置としてスマートフォンＳＰを用いている。スマートフォンＳＰは、インターネットを介して、サーバ装置Ｓと通信可能に設けられている。
【0055】
図３に、スマートフォンＳＰのハードウエア構成を示す。ＣＰＵ２０には、メモリ２２、タッチディスプレイ２４、不揮発性メモリ２６、カメラ２８、通信回路３０が接続されている。なお、通話回路などは省略している。
【0056】
通信回路３０はインターネットに接続するための回路である。不揮発性メモリ２６には、オペレーティングシステム３４、探索案内プログラム３６が記録されている。探索案内プログラム３６は、オペレーティングシステム３４と協働してその機能を発揮するものである。
【0057】
図４に、サーバ装置Ｓのハードウエア構成を示す。ＣＰＵ４０には、メモリ４２、ＳＳＤ４４、通信回路４６が接続されている。
【0058】
通信回路４６はインターネットに接続するための回路である。ＳＳＤ４４には、オペレーティングシステム４８、サーバプログラム５０が記録されている。サーバプログラム５０は、オペレーティングシステム４８と協働してその機能を発揮するものである。
【0059】
1.3探索案内処理
以下、スマートフォンＳＰを持つ利用者が、図書館において所望の書籍が置かれている棚を探し出す場合について説明する。
以下、スマートフォンＳＰを持つ利用者が、図書館において所望の書籍が置かれている棚を探し出す場合について説明する。
【0060】
図５に、探索案内処理のフローチャートを示す。サーバ装置ＳのＣＰＵ４０（以下サーバ装置Ｓと省略することがある）は、図書館の三次元特徴点データおよび経路用モデルを、スマートフォンＳＰに送信する（ステップＳ２１）。
【0061】
三次元特徴点データは、図書館の館内を異なる場所から撮像した（一部重畳させながらずらせて撮像した）多数の撮像画像に基づいて、その特徴点（頂点など）を三次元的に構築したデータである。したがって、三次元特徴点データは、図６Ａに示すように、館内の特徴点を三次元で示したデータとなっている。三次元特徴点データの生成には、immersal社のマッピングアプリimmersal（商標）を用いることができる。
【0062】
経路用モデルは、図６Ｃに示すように、館内の平面図として、人が移動可能な通路と、人が移動可能でない非通路とを区別して示すものである。この実施形態においては、図６Ｂに示すような三次元モデルに基づいて、経路用モデルが形成されている。前記三次元特徴点データと前記三次元モデルの形状に基づいて両者が重畳され、当該三次元モデルの床部を抽出して経路用モデルが生成されているので、三次元特徴点データと経路用モデルの座標上における位置は合致している。なお、経路用モデルには、棚の識別符号が、当該棚の配置されている位置に対応づけて記録されている。
【0063】
スマートフォンＳＰのＣＰＵ２０（スマートフォンＳＰと省略することがある）は、この三次元特徴点データ、経路用モデルを受信し、不揮発性メモリ２６に記録する（ステップＳ１）。
【0064】
続いて、スマートフォンＳＰは、所望の書籍が配架されている目的の棚の識別符号を取得する（ステップＳ２）。たとえば、利用者が図書館に設置されている書籍検索システムを使って書籍を検索して得た、配架棚の識別符号を、利用者がスマートフォンＳＰに入力することで実現することができる。また、書籍検索システムのディスプレイに表示された配架棚の識別符号を含むＱＲコード（商標）を読み取ることによって実現してもよい。
【0065】
次に、利用者は、スマートフォンＳＰのカメラ２８を操作し、周囲を撮像する。なお、ここにいう撮像は、スマートフォンＳＰのカメラアプリケーションを起動して、撮像を行うものであり、シャッターを押す必要はないものである（シャッターを押してもよい）。探索案内プログラムを起動すると自動的にカメラアプリケーションが起動するので、カメラ２８による撮像は継続してなされ、利用者がスマートフォンＳＰの向きなどにより撮像画像は刻々変化する。スマートフォンＳＰは、この撮像画像を取得する（ステップＳ３）。次に，スマートフォンＳＰは、図７に示すように、この二次元撮像画像における特徴点（オブジェクトの頂点など、オブジェクトの特徴を示す点）ＦＴを算出する（ステップＳ４）。この特徴点の算出は、前述の三次元特徴点データ生成の時の算出方法と同じものを用いることが好ましい。なお、周囲を撮像しているので、異なる方向における二次元撮像画像と特徴点を得ることができる。
【0066】
続いて、スマートフォンＳＰは、周囲の二次元撮像画像の特徴点に基づいて、三次元特徴点データを参照し、利用者のいる位置（撮像位置）および方向（撮像方向）を特定する（ステップＳ５）。三次元特徴点データのある位置が、利用者の位置（撮像位置）と合致している場合には、三次元特徴点データの当該位置から周囲を見たときの特徴点データが、ステップＳ４で生成した特徴点データと合致する。したがって、スマートフォンＳＰは、利用者のいる位置を特定することができる。このような位置特定は、前述のimmersal（商標）を用いて実現することができる。
【0067】
次に、スマートフォンＳＰは、棚の識別符号に基づいて、経路用モデルを参照し、当該棚の位置を特定する（ステップＳ６）。前述のように、経路用モデルには、各棚の識別符号によってその位置が示されているので、容易に棚の位置を特定することができる。
【0068】
スマートフォンＳＰは、経路用モデルを参照し、ステップＳ５において特定した現在位置から、所望の棚の位置までの経路（通路をたどる最短経路）を算出し、当該経路に沿った経路指示を生成する（ステップＳ７）。たとえば、図８に示すように、現在位置ＣＰから棚の位置ＴＰに向かう経路が算出される。なお、この処理は、Unity Technologies社のNavMeshを用いることで実現することができる。
【0069】
スマートフォンＳＰは、カメラ２８の撮像画像を取得し（ステップＳ８）、この撮像画像に経路指示を重ねて表示する。この際、ステップＳ４、Ｓ５と同じようにして、現在位置と方向を特定し、経路指示を重畳させる（ステップＳ９）。これにより、スマートフォンＳＰのタッチディスプレイ２４には、図９に示すように、撮像画像に重畳させて経路指示ＧＬが表示される。
【0070】
スマートフォンＳＰは、利用者の現在位置が目的の棚の場所に到達したかどうかを判断する（ステップＳ１０）。到達していなければ、ステップＳ４～Ｓ９を繰り返して実行し、リアルタイムに経路表示を更新する。到達すれば、案内処理を終了する。
【0071】
以上のようにして、所望の書籍がある棚までの案内を、利用者に提示することができる。
【0072】
なお、利用者が撮像した方向とは異なる方向（たとえば反対方向）に経路がある場合には、撮像画像上に経路表示を行うことができない。この場合には、「向きを変えてください」「反対方向を向いてください」などの指示をテキストや矢印などでスマートフォンＳＰに表示するようにすればよい。
【0073】
1.4変形例（その他）
(1)上記実施形態では、棚に収納された書籍を対象として説明を行った。しかし、商品など書籍以外のものを対象物にしてもよい。すなわち、図書館や書店を対象領域としたが、工場・倉庫や商店などを対象領域としてもよい。また、棚だけでなく台など複数の対象物を載置できる物を用いてもよい。
(1)上記実施形態では、棚に収納された書籍を対象として説明を行った。しかし、商品など書籍以外のものを対象物にしてもよい。すなわち、図書館や書店を対象領域としたが、工場・倉庫や商店などを対象領域としてもよい。また、棚だけでなく台など複数の対象物を載置できる物を用いてもよい。
【0074】
(2)上記実施形態では、対象領域の撮像画像に基づいて三次元特徴点データを生成するようにしている。しかし、Lidarなどを用いて三次元点群データを得て、これに基づいて三次元特徴点データを生成するようにしてもよい。
【0075】
(3)上記実施形態では、経路用モデルに棚の識別子を記録しておき、目的とする棚の識別子を取得することで、棚の位置を特定するようにしている。しかし、棚の位置を座標として取得して、特定するようにしてもよい。
【0076】
(4)上記実施形態では、特定用三次元モデル、経路モデルを、サーバ装置ＳからスマートフォンＳＰにダウンロードするようにしている。しかし、ダウンロードせずに、その都度、サーバ装置Ｓにアクセスして参照するようにしてもよい。
【0077】
(5)上記実施形態では、スマートフォンＳＰで撮像した撮像画像にリアルタイムに経路指示を重畳することで経路案内を行うようにしている。しかし、目的の棚までの経路を示す地図などを、スマートフォンＳＰに表示するようにしてもよい。
【0078】
(6)上記実施形態では、図書館に備え付けの検索端末装置（ＯＰＡＣ端末など）にて書籍の検索を行って、その書籍が収納されている棚の識別符号を、ＱＲコード（商標）等（二次元バーコード、バーコードなどのコード化符号でもよい）でスマートフォンＳＰに読み込むようにしている。
【0079】
この際、コード化符号に当該検索端末装置が置かれている位置を含めておけば、スマートフォンＳＰがステップＳ５において位置と方向を特定する際に、その特定が容易・迅速となる。
【0080】
(7)上記実施形態では、三次元特徴点データに基づいて現在の位置を特定するようにしている。しかし、ＧＰＳやＷｉｆｉなどによって得た現在情報を参照することにより、三次元特徴点データによる位置特定が容易となる。
【0081】
また、書棚に場所を特定するための符号を記述したＱＲコード（商標）を貼り付けておき、これをスマートフォンで撮像し、当該符号を取得して現在位置を特定するようにしてもよい。この場合、三次元特徴点データを用いなくとも現在位置の特定を行うことができる。
【0082】
(8)上記実施形態では、図書館に備え付けの検索端末装置（ＯＰＡＣ端末など）にて書籍の検索を行って、その書籍が収納されている棚の識別符号を、ＱＲコード（商標）等でスマートフォンＳＰに読み込むようにしている。
【0083】
しかし、スマートフォンＳＰから検索サーバ装置に接続して書籍の検索を行い、収納棚の識別符号を取得するようにしてもよい。このようにすれば、利用者による識別符号の入力やＱＲコード（商標）の読取りを省くことができる。
【0084】
(9)上記実施形態では、図５のステップＳ１～Ｓ１０の処理をスマートフォンＳＰにおいて行うようにしている。しかし、その一部又は全部をサーバ装置において実行し、処理結果をスマートフォンＳＰが受信して表示するようにしてもよい。
【0085】
このように一部の処理をサーバ装置Ｓにて実行した場合のシステムの機能的構成を、一例として図１０に示す。
【0086】
利用者は、スマートフォンＳＰなどの探索案内端末装置Ｔのカメラ２によって対象領域を撮像する。探索案内端末装置Ｔは、撮像画像送信処理４において、カメラ２によって撮像された撮像画像を、探索案内サーバ装置Ｓに送信する。
【0087】
探索案内サーバ装置Ｓは、この撮像画像を受信する。探索案内サーバ装置Ｓには、対象領域を三次元モデル化した特定用三次元モデル１４が記録されている。特定用三次元モデル１４は、少なくとも対象領域の特徴点を含む三次元モデルである。
【0088】
探索案内サーバ装置Ｓは、位置・方向特定処理１２において、特定用三次元モデル１４を参照し、受信した撮像画像が、対象領域のいずれの場所からいずれの方向に撮像されたものであるかを特定する。
【0089】
探索案内サーバ装置Ｓには、経路指示を生成するために用いる経路用三次元モデル１８が記録されている。経路用三次元モデル１８は、少なくとも通路と非通路を区別可能に構成された三次元モデルである。
【0090】
探索案内サーバ装置Ｓは、経路指示作成処理１６において、位置・方向特定処理によって特定した場所から、所望の対象物が載置されている場所までの経路を、経路用三次元モデル１８を参照して生成する。探索案内サーバ装置Ｓは、生成した経路を端末装置Ｔに送信する。
【0091】
探索案内端末装置Ｔは、この経路を受信する。探索案内端末装置Ｔは、経路案内表示処理８において、カメラ２によって現在撮像されている撮像画像に経路を重畳し、ディスプレイ６に表示する。
【0092】
図１０に示すシステムの処理フローチャートを図１１に示す。ステップＳ３１、Ｓ８においてスマートフォンＳＰから撮像画像を送信し、サーバ装置Ｓにおいて位置、方向を特定し、経路指示を生成して、スマートフォンＳＰに返送するようにしている。
【0093】
なお、スマートフォンＳＰから送信する撮像画像は、撮像画像自体であってもよいし、特徴点のみを抽出した撮像画像であってもよい。
【0094】
また、図１１に示すスマートフォンＳＰおよびサーバ装置Ｓにおける処理分担は一例であり、任意の処理分担とすることができる。
【0095】
(10)上記実施形態では、スマートフォンＳＰを用いたがこれに代えて、タブレットコンピュータ、ＰＤＡなどの携帯用ＰＣや、スマートグラスなどのウエアラブルデバイスを用いてもよい。
【0096】
(11)上記実施形態およびその変形例は、互いに組み合わせて実施可能である。また、他の実施形態や変形例とも組み合わせて実施可能である。
【0097】
２．第２の実施形態
2.1機能的構成
図１２に、第２の実施形態による対象物抽出システムの機能構成を示す。利用者は、端末装置Ｔのカメラ１０２を用いて複数の物品が並べられた状態（たとえば、棚に並べられた複数の書籍の背表紙）を、複数物品表示画像として撮像する。端末装置Ｔは、撮像画像送信処理１０４において、カメラ１０２によって撮像された複数物品表示画像を、サーバ装置Ｓに送信する。
2.1機能的構成
図１２に、第２の実施形態による対象物抽出システムの機能構成を示す。利用者は、端末装置Ｔのカメラ１０２を用いて複数の物品が並べられた状態（たとえば、棚に並べられた複数の書籍の背表紙）を、複数物品表示画像として撮像する。端末装置Ｔは、撮像画像送信処理１０４において、カメラ１０２によって撮像された複数物品表示画像を、サーバ装置Ｓに送信する。
【0098】
サーバ装置Ｓは、複数物品表示画像を受信し、対応情報生成処理１１２において、推定モデル１１４を用いて、当該複数物品表示画像に含まれる各物品表示画像を抽出し、当該各物品表示画像によって示される物品の識別情報を推定する。さらに、複数物品表示画像中における各物品表示画像の画像上での位置情報（画像位置情報）を生成し、これに各物品の識別情報を対応付けた対応情報を対象物品特定用情報として端末装置Ｔに送信する。この実施形態では、対応情報生成処理１１２、対応情報送信処理１１６、推定モデル１１４によって対象物品特定用情報生成送信処理１１１が構成されている。
【0099】
ここで、推定モデル１１４としては、複数物品表示画像に基づいて個々の物品表示画像を抽出するように機械学習された学習済モデルと、物品表示画像に基づいて物品の識別情報を推定するように機械学習された学習済モデルとを用いることができる。
【0100】
各物品の画像位置情報と識別情報を対応付けた対応情報を受信した端末装置Ｔは、領域マーク重畳表示処理１０８において、当該対応情報中に、識別情報取得処理１０９によって取得した対象物品の識別情報が含まれていれば、これに対応する画像位置情報を特定する。この対象物品の画像位置情報に基づいて、前記複数物品表示画像の目的とする物品に、領域マークを重畳させる。この重畳画像は、ディスプレイ１０６において表示される。
【0101】
以上のように、撮像された複数物品表示画像に目的とする物品の領域マークが重ねて表示されるので、利用者は容易に目的とする物品を探し出すことができる。
【0102】
2.2システム構成およびハードウエア構成
システム構成およびハードウエア構成は、第１の実施形態における図２～図４と同じである。ただし、スマートフォンＳＰの不揮発性メモリ２６には、探索案内プログラム３６に代えてあるいは加えて、対象物抽出端末プログラムが記録されている。また、サーバ装置ＳのＳＳＤ４４には、サーバプログラム５０に代えてあるいは加えて、対象物抽出サーバプログラムが記録されている。
システム構成およびハードウエア構成は、第１の実施形態における図２～図４と同じである。ただし、スマートフォンＳＰの不揮発性メモリ２６には、探索案内プログラム３６に代えてあるいは加えて、対象物抽出端末プログラムが記録されている。また、サーバ装置ＳのＳＳＤ４４には、サーバプログラム５０に代えてあるいは加えて、対象物抽出サーバプログラムが記録されている。
【0103】
2.3対象物抽出処理
図１３に、対象物抽出処理のフローチャートを示す。この実施形態では、複数段の本棚に収納されている書籍を探し出す場合について説明する。
図１３に、対象物抽出処理のフローチャートを示す。この実施形態では、複数段の本棚に収納されている書籍を探し出す場合について説明する。
【0104】
利用者は、スマートフォンＳＰに探し出す書籍のＩＳＢＮコードを対象書籍の識別情報として入力する。目的とする書籍のＩＳＢＮコードは、たとえば、利用者が図書館に設置されている書籍検索システムを使って書籍を検索して得たものである。また、書籍検索システムのディスプレイに表示された書籍のＩＳＢＮコードを含むＱＲコード（商標）を読み取ることによって実現してもよい。上記のようにして、スマートフォンＳＰは、書籍のＩＳＢＮコードを取得する（ステップＳ１０１）。
【0105】
利用者は、目的とする書籍が置かれている棚の前まで行く。棚までの経路については、第１の実施形態による案内（他の手法による案内）を用いてもよいし、利用者が自ら探し出すようにしてもよい。
【0106】
棚の前に来た利用者は、棚の一段分をスマートフォンＳＰのカメラ２８にて撮像する。なお、ここにいう撮像は、スマートフォンＳＰのカメラアプリケーションを起動して、撮像を行うものであり、シャッターを押す必要はないものである（シャッターを押してもよい）。対象物抽出プログラムを起動すると自動的にカメラアプリケーションが起動するので、カメラ２８による撮像は継続してなされ、利用者がスマートフォンＳＰの向きなどにより撮像画像は刻々変化する。この撮像画像には、棚に並べられた複数の書籍の背表紙が映し出されている（複数背表紙表示画像）。撮像された複数背表紙画像（複数物品表示画像）は、サーバ装置Ｓに送信される（ステップＳ１０２）。また、スマートフォンＳＰは、この時の複数背表紙画像を基準画像として記録する（ステップＳ１０３）。
【0107】
サーバ装置Ｓは、複数背表紙画像を受信し、これを基準画像として記録する（ステップＳ１２３）。図１６に、複数背表紙画像（基準画像）の例を示す。
【0108】
サーバ装置Ｓは、ステップＳ１２２において取得した複数背表紙画像に基づいて、個々の書籍の背表紙画像およびその画像位置（画像上の位置座標）を抽出する（ステップＳ１２２）。
【0109】
抽出結果を、図１５に示す。複数背表紙画像から抽出した個々の書籍の背表紙画像と、その画像位置が記録されている。画像位置は、図１６に示すように、複数背表紙画像の左下を原点Ｏとし、横軸をＸ、縦軸をＹとして、背表紙画像の４隅の点Ａ、Ｂ、Ｃ、Ｄの座標を表したものである。なお、異なる座標の取り方をしてもよいし、また、背表紙画像の２点（たとえば、ＡとＣ）によって特定するようにしてもよい。
【0110】
図１５に示すような抽出結果を得るために、この実施形態では、学習済の推定モデルを用いている。
【0111】
この推定モデルの学習は、以下のようにして行ったものである。学習に用いる学習データの例を、図１７に示す。図１７Ａが入力データであり、図１７Ｂが正解データ（背表紙を特定するためのデータ（たとえば、４隅の座標によって示されるデータ））である。なお、図１７では、図１４と同じ複数背景画像を示しているが、実際には、異なる書籍の複数背景画像を用いる。このような学習データを様々な書籍について多数用意し、推定モデルを学習させる。このように学習したモデルに、複数背表紙画像を入力すれば、各書籍の背表紙を抽出することができる。なお、推定モデルとしては、ＣＮＮやVision Transformerを用いることが好ましい。
【0112】
【0113】
次に、サーバ装置Ｓは、個々の書籍の背表紙画像に基づいて、その書籍のＩＳＢＮコードを推定する（ステップＳ１２３）。
【0114】
推定結果を、図１８に示す。図１５の各書籍の背表紙画像に対応付けて、各書籍のＩＳＢＮコードが示されている。図１８に示すように、各背表紙画像に対応付けてＩＳＢＮコードを推定するために、この実施形態では、学習済の推定モデル（ステップＳ１２２で用いた学習済推定モデルとは異なる学習済推定モデル）を用いている。
【0115】
この推定モデルの学習は、以下のようにして行ったものである。学習に用いる学習データの例を、図１９に示す。図１９の各書籍の背表紙画像が入力データであり、ＩＳＢＮコードが正解データである。このような学習データを様々な書籍について多数用意し、推定モデルを学習させる。このように学習したモデルに、背表紙画像を入力すれば、当該書籍のＩＳＢＮコードを推定することができる。なお、推定モデルとしては、ＣＮＮを用いることが好ましい。
【0116】
【0117】
次に、サーバ装置Ｓは、図１５および図１８の結果に基づいて、図２０に示すように、基準画像（複数背表紙画像）に含まれる各書籍の画像位置とＩＳＢＮコードを対応付けた対応情報を生成する（ステップＳ１２４）。サーバ装置Ｓは、生成した対応情報を、対象物品特定用情報としてスマートフォンＳＰに送信する（ステップＳ１２５）。
【0118】
スマートフォンＳＰは、対応情報を受信する（ステップＳ１０４）。そして、この対応情報の中に、目的とする書籍のＩＳＢＮコードがあるかどうかを判断する（ステップＳ１０５）。なければ、ステップＳ１０２において撮像した書籍群の中に、目的とする書籍がないということである。この場合、ステップＳ１０２に戻り、次の棚の複数背表紙画像を撮像し、サーバ装置Ｓに送信する。以下、上記と同様の処理を行う。
【0119】
また、送られてきた対応情報の中に、目的とする書籍のＩＳＢＮコードが含まれていれば、スマートフォンＳＰは、図２１ａに示すように、目的とする書籍に領域マークＭを重ねて表示する。この処理は以下のようにして行われる。まず、対応データ中の目的とする書籍のＩＳＢＮコードに対応する画像位置を取得する。この画像位置は、複数背表紙画像における目的書籍の背表紙の位置を示している。したがって、スマートフォンＳＰは、この画像位置に領域マークＭを重畳させて表示する。
【0120】
ただし、利用者は、スマートフォンＳＰを棚に向けているものの、その角度や位置は完全に固定されていないため撮像画像は、刻々と変化する。したがって、上記の画像位置に領域マークＭを表示すると、当該領域マークＭは、目的書籍の背表紙画像から外れてしまうことになる。そこで、この実施形態では、基準画像をマーカとして用いて（基準画像中の特徴点を用いて）、現在のスマートフォンＳＰにて撮像されている複数背表紙画像の位置や角度の変化を推定し（基準画像の特徴点と現在の複数背表紙画像の特徴点を比較して推定し）、これに合わせて領域マークＭが正しく目的書籍の背表紙画像上に表示されるように制御している（ステップＳ１０６、Ｓ１０７）。
【0121】
たとえば、スマートフォンＳＰの向きが変化して、図２１ｂに示すような撮像画像となっても、目的書籍の背表紙に領域マークが表示されることになる。
【0122】
したがって、特別なマーカを書棚に用意しなくとも、スマートフォンＳＰの向きの変化などに対応して、領域マークＭを正しく表示することができる。
【0123】
以上のようにして、書棚における目的書籍の位置を利用者に分かりやすく伝えることができる。
【0124】
なお、図１２に示す端末装置Ｔ、サーバ装置Ｓの各処理をいずれにて実行するかは一例であり、その処理分担は任意である。
【0125】
2.4変形例（その他）
(1)上記実施形態では、図２３に示すように、スマートフォンＳＰとサーバ装置Ｓとにおいて処理を分担している。しかし、スマートフォンＳＰにおいて行っている処理の一部または全部をサーバ装置Ｓにおいて行うようにしてもよい。また、サーバ装置Ｓにおいて行っている処理の一部または全部をスマートフォンＳＰにおいて行うようにしてもよい。
(1)上記実施形態では、図２３に示すように、スマートフォンＳＰとサーバ装置Ｓとにおいて処理を分担している。しかし、スマートフォンＳＰにおいて行っている処理の一部または全部をサーバ装置Ｓにおいて行うようにしてもよい。また、サーバ装置Ｓにおいて行っている処理の一部または全部をスマートフォンＳＰにおいて行うようにしてもよい。
【0126】
上記実施形態では、サーバ装置Ｓが複数背表紙画像（基準画像）に含まれる各書籍の画像位置とＩＳＢＮコードを対応付けた対応情報を生成し、これをスマ－トフォンＳＰに送信している。スマートフォンＳＰは、この対応情報に基づいて、目的とする書籍のＩＳＢＮコードに対応する画像位置を得るようにしている。
【0127】
しかし、サーバ装置Ｓの側で、目的とする書籍のＩＳＢＮコードに対応する画像位置を特定するようにしてもよい。たとえば、以下のようにしてこれを実現することができる。スマートフォンＳＰが、基準画像をサーバ装置Ｓに送信する際（図１３のステップＳ１０２）に、対象書籍の識別情報も送信する。サーバ装置Ｓにおいては、対応情報を生成した後、対象書籍の識別情報に基づいて、目的とする書籍の画像位置を特定する。サーバ装置Ｓは、目的とする書籍の画像位置を対象物品特定用情報としてスマートフォンＳＰに送信する。この実施形態では、目的とする書籍の画像位置が対象物品特定用情報となる。
【0128】
(2)上記実施形態では、対象物品特定用情報である対応情報に基づいて、スマートフォンＳＰにおいて目的書籍の画像位置を特定して領域マークＭを生成するようにしている。しかし、以下のような処理によってサーバ装置Ｓにおいて、目的書籍の画像位置を特定し、これを対象物品特定用情報としてスマートフォンＳＰに送信するようにしてもよい。
【0129】
この場合の、システムの機能構成を図２２に示す。利用者は、端末装置Ｔのカメラ１０２を用いて複数の物品が並べられた状態（たとえば、棚に並べられた複数の書籍の背表紙）を、複数物品表示画像として撮像する。端末装置Ｔは、撮像画像送信処理１０４において、カメラ１０２によって撮像された複数物品表示画像を、サーバ装置Ｓに送信する。
【0130】
端末装置Ｔは、識別情報取得処理１０９において、目的とする書籍の識別情報を取得し、サーバ装置Ｓに送信する。
【0131】
サーバ装置Ｓは、複数物品表示画像を受信し、対象物品領域抽出処理１１７において、推定モデル１１９を用いて、複数物品表示画像の中から目的とする物品を抽出する。ここで、推定モデル１１９としては、複数物品の画像中から目的とする物品を推定して特定するように機械学習した学習済モデルを用いることができる。
【0132】
サーバ装置Ｓは、目的とする物品が特定されると画像位置情報送信処理１１８において、当該物品の複数物品表示画像中における画像位置情報を端末装置Ｔに送信する。この実施形態では、対応物品領域抽出処理１１７、画像位置情報送信処理１１８、推定モデル１１９によって対象物品特定用情報生成送信処理１１１が構成されている
画像位置情報を受信した端末装置Ｔは、領域マーク重畳表示処理１０８において、カメラによって撮像した複数物品表示画像の目的とする物品に、画像位置情報に基づいて領域マークを重畳させる。この重畳画像は、ディスプレイ１０６において表示される。
画像位置情報を受信した端末装置Ｔは、領域マーク重畳表示処理１０８において、カメラによって撮像した複数物品表示画像の目的とする物品に、画像位置情報に基づいて領域マークを重畳させる。この重畳画像は、ディスプレイ１０６において表示される。
【0133】
以上のように、撮像された複数物品表示画像に目的とする物品の領域マークが重ねて表示されるので、利用者は容易に目的とする物品を探し出すことができる。
【0134】
図２３に、上記処理のフローチャートを示す。利用者は、スマートフォンＳＰに探し出す書籍のＩＳＢＮコードを入力する。スマートフォンＳＰは、取得した書籍のＩＳＢＮコードを、サーバ装置Ｓに送信する（ステップＳ１０１）。
【0135】
サーバ装置Ｓは、書籍のＩＳＢＮコードを受信する（ステップＳ１３１）。サーバ装置Ｓには、予め、図２４に示すような、書籍のＩＳＢＮコードと背表紙の画像とを対応付けたテーブルが記録されている。サーバ装置Ｓは、受信したＩＳＢＮコードに対応する背表紙画像を、当該テーブルから取得する（ステップＳ１３２）。ここでは、図２５に示すような、目的とする書籍の背表紙画像を得たものとする。
【0136】
棚の前に来た利用者は、棚の一段分をスマートフォンＳＰのカメラ２８にて撮像する。撮像された画像（複数物品表示画像）は、サーバ装置Ｓに送信される（ステップＳ１０２）。また、スマートフォンＳＰは、この時の撮像画像を基準画像として記録する（ステップＳ１０３）。
【0137】
サーバ装置Ｓは、撮像画像を受信し、これを基準画像（図１４参照）として記録する（ステップＳ１３３）。
【0138】
サーバ装置Ｓは、ステップＳ１３２において取得した背表紙画像が、基準画像中にあれば、これを抽出する（ステップＳ１３４）。この処理は、この実施形態では、学習済の推定モデルを用いて行うようにしている。
【0139】
この推定モデルの学習は、以下のようにして行ったものである。学習に用いる学習データの例を、図２６に示す。図２６Ａ、図２６Ｂが入力データであり、図２６Ｃが正解データ（枠体を特定するための座標データ（図１６参照））である。図２６Ｃの正解データは、図２６Ｂの入力データが、図２６Ａの入力データ中のいずれの位置にあるかを示すものである。なお、図２６における学習データは、図１４と同じものを示しているが、実際には異なる書籍の画像を用いる。
【0140】
このような学習データを様々な書籍について多数用意し、推定モデルの学習を行う。このように学習したモデルに、背表紙画像と、撮像画像（複数書籍が一列に並んだ背表紙画像）を入力すれば、撮像画像中からこれに含まれる背表紙画像を抽出することができる。なお、推定モデルとしては、例えばYOLOを用いることができる。
【0141】
サーバ装置Ｓは、この学習済推定モデルに、図１４の基準画像と図２５の背表紙画像を入力する（ステップＳ１３４）。背表紙画像が基準画像中に含まれていれば、当該背表紙の基準画像中における座標（画像位置）を、対象物品特定用情報としてスマートフォンＳＰに送信する（ステップＳ１３６、Ｓ１３８）。また、基準画像中に背表紙画像が含まれてなければ、サーバ装置Ｓは特定不成功を、結果情報として（ステップＳ１３７）、スマートフォンＳＰに送信する（ステップＳ１３８）。
【0142】
スマートフォンＳＰは、サーバ装置Ｓから結果情報を受信する（ステップＳ１０４）。結果情報として、特定が成功し、画像位置が含まれていれば、この座標に基づいて領域マークを生成し、撮像画像に重畳させて、タッチディスプレイ２４に表示する。これにより、図２１に示すように、目的とする書籍の背表紙が領域マークＭで囲われた画像を、ディスプレイ２４に表示することができる。したがって、利用者は、目の前の本棚が撮像されているこの画像を見て、目的とする書籍の位置を容易に知ることができる。この際に、基準画像をマーカとして領域マークＭを追従させる点は前記と同じである。
【0143】
一方、スマートフォンＳＰは、ステップＳ１０４において受信した結果情報が、特定不成功であれば、撮像した段には目的の書籍がないことがわかる。この場合、スマートフォンＳＰは、別の段を撮像するようにタッチディスプレイ２４に指示を表示する。これを受けて、利用者が書棚の次の段を撮像すると、スマートフォンＳＰはこれをサーバ装置Ｓに送信する（ステップＳ１０２）。
【0144】
以後、この撮像画像を基準画像として、ステップＳ１０２以下を繰り返して実行する。
【0145】
以上のようにして、書棚における目的書籍の位置を利用者に分かりやすく伝えることができる。
【0146】
なお、図２２に示す端末装置Ｔ、サーバ装置Ｓの各処理をいずれにて実行するかは一例であり、その処理分担は任意である。
【0147】
(3)上記実施形態では、目的とする書棚までの移動について、利用者が経路を考えて到達するようにしている。
【0148】
しかし、書棚までの経路を、第１の実施形態の探索案内処理を用いて、スマートフォンＳＰに表示するようにしてもよい。この場合、サーバ装置Ｓは、利用者が目的の書棚に到達したことを判定すると、書棚を撮像するように促すメッセージ（たとえば、「スマートフォンを横にして棚の一段を撮像してください」など）をタッチディスプレイ２４に表示するとよい。
【0149】
(4)上記実施形態では、書籍を探し出す場合について説明したが、商品などの対象物一般を探し出す場合に適用することができる。この場合、商品収納箱の背面などの画像に基づいて対象とする商品を探し出すようにすればよい。
【0150】
また、上記実施形態では、書籍の識別情報としてＩＳＢＮコードを用いているが、書籍タイトル・著者名・出版社名等の組み合わせを識別情報として用いるようにしてもよい。なお、商品などについては、製造番号などを識別番号として用いることができる。
【0151】
(5)上記実施形態では、書籍の背表紙に基づいて対象とする書籍を探し出すようにしている。しかし、書籍が平置きされているような場合では、書籍の表紙や裏表紙に基づいて対象とする書籍を探し出すようにしてもよい。
【0152】
(6)上記実施形態では、複数段の書棚のいずれに目的の書籍があるか分からないため、各段を順番に撮像していく場合について説明した。しかし、いずれの段にあるかが判明している場合には、当該段のみを撮像すればよい。
【0153】
(7)上記実施形態では、書棚の格段ごとに撮像を行うようにしている。しかし、初段の複数段（例えば、全段）を撮像し、その中から目的の書籍を探し出すようにしてもよい。
【0154】
(8)上記実施形態では、背表紙の画像に基づいて学習済推定モデルを用いて、目的の書籍の背表紙を特定するようにしている。しかし、背表紙の文字をテキスト化して、撮像画像に含まれる文字をテキスト化したものとの合致性を判断して、目的の書籍の背表紙を特定するようにしてもよい。
【0155】
(9)上記実施形態では、領域マークＭを背表紙全体を取り囲むように枠として表示している。しかし、領域マークＭは目的とする書籍の背表紙領域がいずれであるかが分かる形態で表示すればよい。たとえば、背表紙の上部や下部に領域マークとして矢印を表示するようにしてもよい。
【0156】
(10)上記実施形態では、見いだした書籍の背表紙に領域マークＭを表示するようにしている。これに加えて、スマートフォンＳＰにおいて詳細表示ボタン（たとえば当該領域マークＭを用いることができる）をクリックすると、見いだした書籍の詳細（出版社、著者、概要など）を示すウエブサイトのページを表示するようにしてもよい。
【0157】
サーバ装置Ｓにおいて、予め、各書籍のＩＳＢＮコードなどに対応付けて書籍の詳細を示す上記ページのＵＲＬを記録しておき、領域マークＭをスマートフォンＳＰに送信する際に、このＵＲＬを送信するようにすればよい。ＵＲＬを受け取ったスマートフォンＳＰは、当該ＵＲＬを用いて詳細表示ボタンにリンクを形成するようにすればよい。
【0158】
(11)上記実施形態では、ステップＳ１２３において、機械学習モデルを用いて背表紙画像からＩＳＢＮを推定するようにしている。しかし、予め、多くの書籍の背表紙画像とＩＳＢＮを対応付けたテーブルを用意しておき、目的とする書籍の背表紙画像を画像処理によってテーブルの背表紙画像とマッチングさせ、対応するＩＳＢＮコードを得るようにしてもよい。
【0159】
(12)上記実施形態およびその変形例は、互いに組み合わせて実施可能である。また、他の実施形態や変形例とも組み合わせて実施可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21a】
【図21b】
【図22】
【図23】
【図24】
【図25】
【図26】
【手続補正書】
【提出日】2024-04-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
カメラとディスプレイとを備え、
対象領域の特定用三次元モデルおよび経路用モデルにアクセス可能に構成されており、
カメラによって撮像した対象領域の撮像画像に基づいて、前記特定用三次元モデルを参照して、対象領域における撮像位置を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、前記経路用モデルに基づいて生成し、
生成した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示することを特徴とする探索案内装置。
対象領域の特定用三次元モデルおよび経路用モデルにアクセス可能に構成されており、
カメラによって撮像した対象領域の撮像画像に基づいて、前記特定用三次元モデルを参照して、対象領域における撮像位置を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、前記経路用モデルに基づいて生成し、
生成した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示することを特徴とする探索案内装置。
【請求項2】
探索案内装置をコンピュータによって実現するための探索案内プログラムであって、前記探索案内プログラムは、
カメラによって撮像した対象領域の撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成し、
生成した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示するための命令を備えた探索案内プログラム。
カメラによって撮像した対象領域の撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成し、
生成した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示するための命令を備えた探索案内プログラム。
【請求項3】
請求項１の装置または請求項２のプログラムにおいて、
前記特定用三次元モデルは、対象領域を撮像した画像に基づいて生成した三次元特徴点データであり、
前記経路用モデルは、少なくとも通路と非通路を区別可能なデータであることを特徴とする装置またはプログラム。
前記特定用三次元モデルは、対象領域を撮像した画像に基づいて生成した三次元特徴点データであり、
前記経路用モデルは、少なくとも通路と非通路を区別可能なデータであることを特徴とする装置またはプログラム。
【請求項4】
請求項１の装置または請求項２のプログラムにおいて、
前記案内は、
カメラによって撮像した対象領域の撮像画像に基づいて前記特定用三次元モデルを参照してリアルタイムに特定された対象領域における撮像位置と撮像方向を取得し、
前記経路用モデルに基づいて生成した経路指示が、前記撮像位置における撮像方向においてどのように二次元表示されるかを決定し、
当該経路指示の二次元表示を、前記カメラによって撮像した撮像画像に重畳させて表示するものであることを特徴とする装置またはプログラム。
前記案内は、
カメラによって撮像した対象領域の撮像画像に基づいて前記特定用三次元モデルを参照してリアルタイムに特定された対象領域における撮像位置と撮像方向を取得し、
前記経路用モデルに基づいて生成した経路指示が、前記撮像位置における撮像方向においてどのように二次元表示されるかを決定し、
当該経路指示の二次元表示を、前記カメラによって撮像した撮像画像に重畳させて表示するものであることを特徴とする装置またはプログラム。
【請求項5】
請求項１の装置または請求項２のプログラムにおいて、
所望の対象物が載置されている場所に到達したと判断すると、カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した対象物である対象物品の物品表示の領域マーク情報に基づいて、カメラによって撮像した複数物品の複数物品表示画像に重ねて領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、
探索案内端末装置から受信した複数物品表示撮像画像中から、対象物品の物品表示の領域を抽出し、
抽出した対象物品の物品表示の領域を示す領域マーク情報を対象物抽出端末装置に送信することを特徴とする装置またはプログラム。
所望の対象物が載置されている場所に到達したと判断すると、カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した対象物である対象物品の物品表示の領域マーク情報に基づいて、カメラによって撮像した複数物品の複数物品表示画像に重ねて領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、
探索案内端末装置から受信した複数物品表示撮像画像中から、対象物品の物品表示の領域を抽出し、
抽出した対象物品の物品表示の領域を示す領域マーク情報を対象物抽出端末装置に送信することを特徴とする装置またはプログラム。
【請求項6】
請求項５の装置またはプログラムにおいて、
前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴とする装置またはプログラム。
前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴とする装置またはプログラム。
【請求項7】
探索案内端末装置と前記探索案内端末装置と通信可能に設けられた探索案内サーバ装置とを備えた探索案内システムであって、
前記探索案内端末装置は、
カメラとディスプレイとを備え、
カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、
前記探索案内サーバ装置から受信した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示し、
前記探索案内サーバ装置は、
対象領域の特定用三次元モデルおよび経路用モデルにアクセス可能に構成されており、
前記探索案内端末装置から受信した撮像画像に基づいて、前記特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、前記経路用モデルに基づいて生成して前記探索案内端末装置に送信することを特徴とする探索案内システム。
前記探索案内端末装置は、
カメラとディスプレイとを備え、
カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、
前記探索案内サーバ装置から受信した経路指示に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示し、
前記探索案内サーバ装置は、
対象領域の特定用三次元モデルおよび経路用モデルにアクセス可能に構成されており、
前記探索案内端末装置から受信した撮像画像に基づいて、前記特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、前記経路用モデルに基づいて生成して前記探索案内端末装置に送信することを特徴とする探索案内システム。
【請求項8】
探索案内サーバ装置と通信可能に設けられた探索案内端末装置であって、
カメラとディスプレイとを備え、
カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、
前記探索案内端末装置から受信した撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成した探索案内サーバ装置から前記経路を受信し、当該経路に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示することを特徴とする端末装置。
カメラとディスプレイとを備え、
カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、
前記探索案内端末装置から受信した撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成した探索案内サーバ装置から前記経路を受信し、当該経路に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示することを特徴とする端末装置。
【請求項9】
探索案内端末装置をコンピュータによって実現するための探索案内端末プログラムであって、前記プログラムは、
カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、
前記探索案内端末装置から受信した撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成した探索案内サーバ装置から前記経路を受信し、当該経路に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示するための命令を備えていることを特徴とする探索案内端末プログラム。
カメラによって撮像した対象領域の撮像画像を探索案内サーバ装置に送信し、
前記探索案内端末装置から受信した撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成した探索案内サーバ装置から前記経路を受信し、当該経路に基づいて、所望の対象物が載置されている場所までの案内をディスプレイに表示するための命令を備えていることを特徴とする探索案内端末プログラム。
【請求項10】
探索案内端末装置と通信可能に設けられた探索案内サーバ装置であって、
対象領域の三次元モデルにアクセス可能に構成されており、
前記探索案内端末装置から受信した対象領域の撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成して前記探索案内端末装置に送信することを特徴とする探索案内サーバ装置。
対象領域の三次元モデルにアクセス可能に構成されており、
前記探索案内端末装置から受信した対象領域の撮像画像に基づいて、特定用三次元モデルを参照して、対象領域における撮像位置と撮像方向を特定し、
特定した撮像位置から所望の対象物が載置されている場所までの経路指示を、経路用モデルに基づいて生成して前記探索案内端末装置に送信することを特徴とする探索案内サーバ装置。
【請求項11】
請求項７～１０のいずれかのシステム、装置またはプログラムにおいて、
前記特定用三次元モデルは、対象領域を撮像した画像に基づいて生成した三次元特徴点データであり、
前記経路用モデルは、少なくとも通路と非通路を区別可能なデータであることを特徴とするシステム、装置またはプログラム。
前記特定用三次元モデルは、対象領域を撮像した画像に基づいて生成した三次元特徴点データであり、
前記経路用モデルは、少なくとも通路と非通路を区別可能なデータであることを特徴とするシステム、装置またはプログラム。
【請求項12】
請求項７～１０のいずれかのシステム、装置またはプログラムにおいて、
前記探索案内端末装置における前記案内は、
カメラによって撮像した対象領域の撮像画像に基づいて前記特定用三次元モデルを参照してリアルタイムに特定された対象領域における撮像位置と撮像方向を取得し、
前記経路用モデルに基づいて生成した経路指示が、前記撮像位置における撮像方向においてどのように二次元表示されるかを決定し、
当該経路指示の二次元表示を、前記カメラによって撮像した撮像画像に重畳させて表示するものであることを特徴とするシステム、装置またはプログラム。
前記探索案内端末装置における前記案内は、
カメラによって撮像した対象領域の撮像画像に基づいて前記特定用三次元モデルを参照してリアルタイムに特定された対象領域における撮像位置と撮像方向を取得し、
前記経路用モデルに基づいて生成した経路指示が、前記撮像位置における撮像方向においてどのように二次元表示されるかを決定し、
当該経路指示の二次元表示を、前記カメラによって撮像した撮像画像に重畳させて表示するものであることを特徴とするシステム、装置またはプログラム。
【請求項13】
請求項７～１０のいずれかのシステム、装置またはプログラムにおいて、
前記探索案内端末装置は、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、
対象物抽出端末装置から受信した複数物品表示撮像画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴とする探索案内システム。
前記探索案内端末装置は、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、
対象物抽出端末装置から受信した複数物品表示撮像画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴とする探索案内システム。
【請求項14】
請求項１３のシステム、装置またはプログラムにおいて、
前記探索案内端末装置は、
前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴とするシステム、装置またはプログラム。
前記探索案内端末装置は、
前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴とするシステム、装置またはプログラム。
【請求項15】
請求項１、２、７～１０のいずれかのシステム、装置またはプログラムにおいて、
前記対象領域は、書籍を載置した書棚であることを特徴とするシステム、装置またはプログラム。
前記対象領域は、書籍を載置した書棚であることを特徴とするシステム、装置またはプログラム。
【請求項16】
対象物抽出端末装置と前記対象物抽出端末装置と通信可能に設けられた対象物抽出サーバ装置とを備えた対象物抽出システムであって、
前記対象物抽出端末装置は、
カメラとディスプレイとを備え、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、
対象物抽出端末装置から受信した複数物品表示画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴とする対象物抽出システム。
前記対象物抽出端末装置は、
カメラとディスプレイとを備え、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示し、
前記対象物抽出サーバ装置は、
対象物抽出端末装置から受信した複数物品表示画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴とする対象物抽出システム。
【請求項17】
対象物抽出サーバ装置と通信可能に設けられた対象物抽出端末装置であって、
カメラとディスプレイとを備え、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
当該複数物品表示画像に基づいて対象物品を特定するための対象物品特定用情報を生成した対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示することを特徴とする対象物抽出端末装置。
カメラとディスプレイとを備え、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
当該複数物品表示画像に基づいて対象物品を特定するための対象物品特定用情報を生成した対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示することを特徴とする対象物抽出端末装置。
【請求項18】
対象物抽出端末装置をコンピュータによって実現するための対象物抽出端末プログラムであって、前記プログラムは、
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
当該複数物品表示画像に基づいて対象物品を特定するための対象物品特定用情報を生成した対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示することを特徴とする対象物抽出端末プログラム。
対象物品の識別情報を取得し、
カメラによって撮像した複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
当該複数物品表示画像に基づいて対象物品を特定するための対象物品特定用情報を生成した対象物抽出サーバ装置から受信した対象物品特定用情報に基づいて対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示することを特徴とする対象物抽出端末プログラム。
【請求項19】
対象物抽出端末装置と通信可能に設けられた対象物抽出サーバ装置であって、
対象物端末装置から複数物品表示撮像画像を受信し、
前記対象物抽出端末装置において対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示できるように、前記対象物端末装置から受信した複数物品表示画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴とする対象物抽出サーバ装置。
対象物端末装置から複数物品表示撮像画像を受信し、
前記対象物抽出端末装置において対象物品を特定し、カメラによって撮像した複数物品の複数物品表示画像に重ねて、対象物品に対する領域マークをディスプレイに表示できるように、前記対象物端末装置から受信した複数物品表示画像に基づいて、対象物品を特定するための対象物品特定用情報を生成して、対象物抽出端末装置に送信することを特徴とする対象物抽出サーバ装置。
【請求項20】
請求項１６～１９のいずれかのシステム、装置またはプログラムにおいて、
前記対象物抽出サーバ装置は、前記対象物品特定用情報として前記複数物品表示画像に含まれる各物品の画像位置情報と識別情報とを含む対応情報を生成して、対象物抽出端末装置に送信し、
前記対象物抽出端末装置は、前記対象物抽出サーバ装置から受信した前記対応情報に基づいて、前記対象物品の識別情報に合致する画像位置情報を、前記対象物品の画像位置情報として特定し、
当該画像位置情報に基づいて、前記領域マークを表示することを特徴とするシステム、装置またはプログラム。
前記対象物抽出サーバ装置は、前記対象物品特定用情報として前記複数物品表示画像に含まれる各物品の画像位置情報と識別情報とを含む対応情報を生成して、対象物抽出端末装置に送信し、
前記対象物抽出端末装置は、前記対象物抽出サーバ装置から受信した前記対応情報に基づいて、前記対象物品の識別情報に合致する画像位置情報を、前記対象物品の画像位置情報として特定し、
当該画像位置情報に基づいて、前記領域マークを表示することを特徴とするシステム、装置またはプログラム。
【請求項21】
請求項２０のシステム、装置またはプログラムにおいて、
前記対象物抽出サーバ装置は、前記複数物品表示画像に基づいて各物品の物品表示画像を抽出して各物品の画像位置情報を推定し、抽出された各物品表示画像に基づいて対応する物品の識別情報を推定することを特徴とするシステム、装置またはプログラム。
前記対象物抽出サーバ装置は、前記複数物品表示画像に基づいて各物品の物品表示画像を抽出して各物品の画像位置情報を推定し、抽出された各物品表示画像に基づいて対応する物品の識別情報を推定することを特徴とするシステム、装置またはプログラム。
【請求項22】
請求項１６～１９のいずれかのシステム、装置またはプログラムにおいて、
前記対象物抽出端末装置は、対象物品の識別情報を対象物抽出サーバ装置に送信し、
前記対象物抽出サーバ装置は、受信した対象物品の識別情報に基づいて対象物品表示画像を取得し、前記複数物品表示画像中から対象物品表示画像を特定してその画像位置情報を推定し、当該画像位置情報を前記対象物品特定用情報として前記対象物抽出端末装置に送信し、
前記対象物抽出端末装置は、受信した画像位置情報に基づいて、前記領域マークを表示することを特徴とするシステム、装置またはプログラム。
前記対象物抽出端末装置は、対象物品の識別情報を対象物抽出サーバ装置に送信し、
前記対象物抽出サーバ装置は、受信した対象物品の識別情報に基づいて対象物品表示画像を取得し、前記複数物品表示画像中から対象物品表示画像を特定してその画像位置情報を推定し、当該画像位置情報を前記対象物品特定用情報として前記対象物抽出端末装置に送信し、
前記対象物抽出端末装置は、受信した画像位置情報に基づいて、前記領域マークを表示することを特徴とするシステム、装置またはプログラム。
【請求項23】
請求項１６～１９のいずれかのシステム、装置またはプログラムにおいて、
前記対象物抽出端末装置は、
前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴とするシステム、装置またはプログラム。
前記対象物抽出端末装置は、
前記複数物品表示画像をマーカとして用い、カメラによって撮像された現在の複数物品表示画像が変動しても、前記領域マークが対象物品の物品表示に重なって表示されるように制御することを特徴とするシステム、装置またはプログラム。
【請求項24】
請求項１６～１９のいずれかのシステム、装置またはプログラムにおいて、
前記物品は書籍であり、
前記複数物品表示画像は、複数並べられた前記書籍の背表紙を撮像した複数背表紙画像であることを特徴とするシステム、装置またはプログラム。
前記物品は書籍であり、
前記複数物品表示画像は、複数並べられた前記書籍の背表紙を撮像した複数背表紙画像であることを特徴とするシステム、装置またはプログラム。
【請求項25】
対象物抽出端末装置と前記対象物抽出端末装置と通信可能に設けられた対象物抽出サーバ装置とを備えた対象物抽出システムであって、
前記対象物抽出端末装置は、
ディスプレイを備え、
対象物品の識別情報を取得し、
複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した少なくとも前記対象物品に対する領域マークを含む情報に基づいて、前記対象物品に対する領域マークの付された複数物品表示画像をディスプレイに表示し、
前記対象物抽出サーバ装置は、
対象物抽出端末装置から受信した複数物品表示画像、対象物品の識別情報に基づいて生成した前記対象物品に対する領域マークを少なくとも含む情報を、対象物抽出端末装置に送信することを特徴とする対象物抽出システム。
前記対象物抽出端末装置は、
ディスプレイを備え、
対象物品の識別情報を取得し、
複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した少なくとも前記対象物品に対する領域マークを含む情報に基づいて、前記対象物品に対する領域マークの付された複数物品表示画像をディスプレイに表示し、
前記対象物抽出サーバ装置は、
対象物抽出端末装置から受信した複数物品表示画像、対象物品の識別情報に基づいて生成した前記対象物品に対する領域マークを少なくとも含む情報を、対象物抽出端末装置に送信することを特徴とする対象物抽出システム。
【請求項26】
対象物抽出サーバ装置と通信可能に設けられた対象物抽出端末装置であって、
ディスプレイを備え、
対象物品の識別情報を取得し、
複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した少なくとも前記対象物品に対する領域マークを含む情報に基づいて、前記対象物品に対する領域マークの付された複数物品表示画像をディスプレイに表示する対象物抽出端末装置。
ディスプレイを備え、
対象物品の識別情報を取得し、
複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した少なくとも前記対象物品に対する領域マークを含む情報に基づいて、前記対象物品に対する領域マークの付された複数物品表示画像をディスプレイに表示する対象物抽出端末装置。
【請求項27】
対象物抽出端末装置をコンピュータによって実現するための対象物抽出端末プログラムであって、前記プログラムは、
対象物品の識別情報を取得し、
複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した少なくとも前記対象物品に対する領域マークを含む情報に基づいて、前記対象物品に対する領域マークの付された複数物品表示画像をディスプレイに表示する対象物抽出端末プログラム。
対象物品の識別情報を取得し、
複数物品の複数物品表示画像を、対象物抽出サーバ装置に送信し、
対象物抽出サーバ装置から受信した少なくとも前記対象物品に対する領域マークを含む情報に基づいて、前記対象物品に対する領域マークの付された複数物品表示画像をディスプレイに表示する対象物抽出端末プログラム。
【請求項28】
対象物抽出端末装置と通信可能に設けられた対象物抽出サーバ装置であって、
対象物端末装置から複数物品表示画像および対象物品の識別情報を受信し、
前記複数物品表示画像および前記対象物品の識別情報に基づいて生成した前記対象物品に対する領域マークを少なくとも含む情報を、対象物抽出端末装置に送信する対象物抽出サーバ装置。
対象物端末装置から複数物品表示画像および対象物品の識別情報を受信し、
前記複数物品表示画像および前記対象物品の識別情報に基づいて生成した前記対象物品に対する領域マークを少なくとも含む情報を、対象物抽出端末装置に送信する対象物抽出サーバ装置。
【請求項29】
請求項２５～２８のシステム、装置またはプログラムにおいて、
前記対象物抽出サーバ装置は、前記領域マークを含む情報として、複数物品表示画像に前記対象物品に対する領域マークを付した画像を送信することを特徴とするシステム、装置またはプログラム。
前記対象物抽出サーバ装置は、前記領域マークを含む情報として、複数物品表示画像に前記対象物品に対する領域マークを付した画像を送信することを特徴とするシステム、装置またはプログラム。
【請求項30】
請求項２５～２８のシステム、装置またはプログラムにおいて、
前記対象物抽出サーバ装置は、前記領域マークを含む情報として、当該領域マークの座標を送信することを特徴とするシステム、装置またはプログラム。
前記対象物抽出サーバ装置は、前記領域マークを含む情報として、当該領域マークの座標を送信することを特徴とするシステム、装置またはプログラム。
【請求項31】
請求項２５～２８のいずれかのシステム、装置またはプログラムにおいて、
前記物品は書籍であり、
前記複数物品表示画像は、複数並べられた前記書籍の背表紙を撮像した複数背表紙画像であることを特徴とするシステム、装置またはプログラム。
前記物品は書籍であり、
前記複数物品表示画像は、複数並べられた前記書籍の背表紙を撮像した複数背表紙画像であることを特徴とするシステム、装置またはプログラム。