特開 2023-171539 端末装置、処理方法及び処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023171539

(43)【公開日】2023-12-01

(54)【発明の名称】端末装置、処理方法及び処理プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20231124BHJP

【ＦＩ】

G06Q50/10

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023175592

(22)【出願日】2023-10-10

(62)【分割の表示】P 2021186890の分割

【原出願日】2021-11-17

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】東出 治久

(72)【発明者】

【氏名】大貫 明人

(72)【発明者】

【氏名】友田 光哉

(72)【発明者】

【氏名】今田 晴菜

(72)【発明者】

【氏名】稲富 梨奈

(72)【発明者】

【氏名】吉澤 雄輝

(57)【要約】

【課題】移動先への持参物の忘れ物の有無を簡易に確認可能である。
【解決手段】端末装置１０は、ユーザのスーツケース内部に収納された物品セットまたは物品の画像、または、スーツケース内部に収納予定の物品セットまたは物品の画像を取得する取得部と、前記取得部によって取得された画像に含まれる物品セットまたは物品の画像を認識し、該認識した前記画像に含まれる物品セットまたは物品の画像と、ユーザが移動先に持参する物品セットまたは物品の識別情報と画像とを対応付けた物品リストの画像と、を照合する画像認識部と、前記画像認識部による照合結果を基に、前記物品リストの物品セット及び物品に対し、前記スーツケース内部の物品セットまたは物品、または、前記スーツケース内部に収納予定の物品セット及び物品に不足がある場合、不足する物品セットまたは物品を通知する通知部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザのスーツケース内部に収納された物品セットまたは物品の画像、または、スーツケース内部に収納予定の物品セットまたは物品の画像を取得する取得部と、
前記取得部によって取得された画像に含まれる物品セットまたは物品の画像を認識し、該認識した前記画像に含まれる物品セットまたは物品の画像と、ユーザが移動先に持参する物品セットまたは物品の識別情報と画像とを対応付けた物品リストの画像と、を照合する画像認識部と、
前記画像認識部による照合結果を基に、前記物品リストの物品セット及び物品に対し、前記スーツケース内部の物品セットまたは物品、または、前記スーツケース内部に収納予定の物品セット及び物品に不足がある場合、不足する物品セットまたは物品を通知する通知部と、
を有することを特徴とする端末装置。

【請求項2】

前記画像認識部は、前記取得部によって取得された画像に含まれる物品セットまたは物品の画像を認識し、該認識した前記画像に含まれる物品セットまたは物品の画像と、持ち込みが禁止されている物品の識別情報と画像とを対応付けた禁止物品リストの画像と、を照合し、
通知部は、前記画像認識部による照合結果を基に、前記スーツケース内部の物品セットまたは物品、または、前記スーツケース内部に収納予定の物品セットまたは物品の中に、前記禁止物品リストの物品セット及び物品に一致する物品セットまたは物品がある場合には、該物品セットまたは物品が持ち込み禁止であることを通知することを特徴とする請求項１に記載の端末装置。

【請求項3】

前記画像認識部は、前記取得部によって取得された画像に含まれる物品セットまたは物品の画像を認識し、該認識した前記画像に含まれる物品セットまたは物品の画像と、持参が不要な物品セットまたは物品の識別情報と画像とを対応付けた不要品リストの画像と、を照合し、
通知部は、前記画像認識部による照合結果を基に、前記スーツケース内部の物品セットまたは物品、または、前記スーツケース内部に収納予定の物品セットまたは物品の中に、前記不要品リストの物品セットまたは物品に一致する物品セットまたは物品がある場合には、該物品セットまたは物品が不要であることを通知することを特徴とする請求項１または２に記載の端末装置。

【請求項4】

前記物品リストは、前記物品セットまたは物品に対する重要度が前記物品セットまたは物品に対応付けて登録されており、
前記通知部は、前記物品セットまたは物品の重要度に応じて、通知方法を変更することを特徴とする請求項１に記載の端末装置。

【請求項5】

端末装置が実行する処理方法であって、
ユーザのスーツケース内部に収納された物品セットまたは物品の画像、または、スーツケース内部に収納予定の物品セットまたは物品の画像を取得する工程と、
前記取得する工程において取得された画像に含まれる物品セットまたは物品の画像を認識し、該認識した前記画像に含まれる物品セットまたは物品の画像と、ユーザが移動先に持参する物品セットまたは物品の識別情報と画像とを対応付けた物品リストの画像と、を照合する工程と、
前記照合する工程における照合結果を基に、前記物品リストの物品セット及び物品に対し、前記スーツケース内部の物品セットまたは物品、または、前記スーツケース内部に収納予定の物品セット及び物品に不足がある場合、不足する物品セットまたは物品を通知する工程と、
を含んだことを特徴とする処理方法。

【請求項6】

ユーザのスーツケース内部に収納された物品セットまたは物品の画像、または、スーツケース内部に収納予定の物品セットまたは物品の画像を取得するステップと、
前記取得するステップにおいて取得された画像に含まれる物品セットまたは物品の画像を認識し、該認識した前記画像に含まれる物品セットまたは物品の画像と、ユーザが移動先に持参する物品セットまたは物品の識別情報と画像とを対応付けた物品リストの画像と、を照合するステップと、
前記照合するステップにおける照合結果を基に、前記物品リストの物品セット及び物品に対し、前記スーツケース内部の物品セットまたは物品、または、前記スーツケース内部に収納予定の物品セット及び物品に不足がある場合、不足する物品セットまたは物品を通知するステップと、
をコンピュータに実行させるための処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末装置、処理方法及び処理プログラムに関する。

【背景技術】

【0002】

忘れ物や紛失防止のために、物品判別用のバーコードやＲＦタグ等のＩＤタグを各物品に付し、ＩＤタグを読み取ることで、リストに記載された物品が全て揃っているかを確認するシステムがある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２－１６３３０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来のシステムでは、スーツケースに多くの物品を収納する場合、これらの多くの物品ごとにタグやバーコードを読み取るという煩雑な処理が必要となる。このため、スーツケースの中に、持っていくべき物が入っていることを簡易に確認したいという要望があった。

【0005】

本発明は、上記に鑑みてなされたものであって、移動先への持参物の忘れ物の有無を簡易に確認可能である端末装置、処理方法及び処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る端末装置は、ユーザのスーツケース内部に収納された物品セットまたは物品の画像、または、スーツケース内部に収納予定の物品セットまたは物品の画像を取得する取得部と、前記取得部によって取得された画像に含まれる物品セットまたは物品の画像を認識し、該認識した前記画像に含まれる物品セットまたは物品の画像と、ユーザが移動先に持参する物品セットまたは物品の識別情報と画像とを対応付けた物品リストの画像と、を照合する画像認識部と、前記画像認識部による照合結果を基に、前記物品リストの物品セット及び物品に対し、前記スーツケース内部の物品セットまたは物品、または、前記スーツケース内部に収納予定の物品セット及び物品に不足がある場合、不足する物品セットまたは物品を通知する通知部と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、移動先への持参物の忘れ物の有無を簡易に確認可能である。

【図面の簡単な説明】

【0008】

【図1】図１は、実施の形態に係る端末装置の構成の一例を示すブロック図である。

【図2】図２は、物品リストのデータ構成の一例を示す図である。

【図3】図３は、物品リストのデータ構成の一例を示す図である。

【図4】図４は、物品リストのデータ構成の一例を示す図である。

【図5】図５は、禁止物品リストのデータ構成の一例を示す図である。

【図6】図６は、不要品リストのデータ構成の一例を示す図である。

【図7】図７は、アラームリストのデータ構成の一例を示す図である。

【図8】図８は、物品の画像の一例を示す図である。

【図9】図９は、物品セットの画像の一例を示す図である。

【図10】図１０は、画像取得部が取得した画像の一例を示す図である。

【図11】図１１は、リスト登録処理の処理手順を示すフローチャートである。

【図12】図１２は、スーツケース内部に収納した物品セットまたは物品のチェック処理の処理手順を示すフローチャートである。

【図13】図１３は、プログラムを実行するコンピュータを示す図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る端末装置、処理方法及び処理プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る端末装置、処理方法及び処理プログラムが限定されるものではない。

【0010】

［実施の形態］
以下の実施の形態では、実施の形態に係る端末装置、処理方法及び処理プログラムの処理の流れを順に説明し、最後に実施の形態による効果を説明する。

【0011】

まず、実施の形態について説明する。実施の形態では、スマートフォン等の端末装置を用いて、移動先（国や都市）ごとに、忘れ物の有無を簡易に確認可能である処理方法について説明する。

【0012】

実施の形態では、端末装置を用いて、予め、移動先に持参する荷物の画像を撮って、移動先ごとに物品リストを登録しておく。そして、ユーザは、実際に移動のために荷物を準備した際には、スーツケース内に収納した荷物の画像を撮る。端末装置は、撮影したスーツケース内の荷物の画像に対して画像認識を行い、物品リストに登録されている物品セットや物品と比して、不足がある場合には、ユーザに、収納し忘れている物を通知する。したがって、実施の形態では、ユーザは、スーツケース内部に収納した荷物の写真を撮るだけで、移動先への持参物の忘れ物の有無を簡易に確認することができる。

【0013】

［端末装置］
次に、実施の形態に係る端末装置の構成について説明する。実施の形態に係る端末装置は、ユーザが携帯するスマートフォンやタブレット等である。図１は、実施の形態に係る端末装置１０の構成の一例を示すブロック図である。

【0014】

通信部１１は、無線にて他の装置との間で通信を行う。通信部１１は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。

【0015】

撮像部１２は、画像を撮影する。撮像部１２は、ＣＣＤやＣＭＯＳ等の光電変換素子と、撮像素子から出力される光電変換信号を処理して実空間の画像を生成する。例えば、撮像部１２は、ユーザの操作によって、ユーザのスーツケース内部の物品セットまたは物品の画像を撮影する。なお、以降の処理例では、ユーザのスーツケース内部に収納された物品セットまたは物品の画像を撮影した場合を例に説明するが、スーツケース内部に収納予定の物品セットまたは物品の画像を撮影した画像に対しても同様の処理を行うことが可能である。

【0016】

入出力部１３は、ユーザの操作によって情報の入力を受け付けるとともに、情報を表示出力して、ユーザに情報を提示する。入出力部１３は、例えば、ディスプレイ、スピーカー、マイク、タッチパネル等の入出力デバイスである。

【0017】

記憶部１４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部１４は、移動先、移動の目的、移動日時、移動手段、同行者等を含むユーザのスケジュールが登録されたスケジュールデータ１４１と、予め登録された移動先に持参する物品セットまたは物品に関するリストを含むリストデータ１４２と、物品セットまたは物品の画像データ群１４３とを有する。

【0018】

リストデータ１４２は、物品リスト、禁止物品リスト、不要品リスト１４２Ｄ、アラームリスト１４２Ｅを含む。各リストは、適宜更新が可能である。

【0019】

物品リストは、移動先ごとに登録された、ユーザが移動先に持参する物品セットまたは物品の識別情報と画像とを対応付けたリストである。物品リストは、ユーザによって、ユーザの移動先及び移動の目的ごとに、登録されたものである。なお、物品リストは、例えば、主要国や目的ごとにデフォルトがあり、ユーザが、デフォルトの物品リストをカスタマイズすることで、設定されてもよい。

【0020】

図１では、記憶部１４は、物品リストとして、例えば、移動先がオーストラリアであって移動の目的が出張に対応するオーストラリア出張リスト１４２Ａ、移動先がイギリスであって移動の目的が旅行に対応するイギリス旅行リスト１４２Ｂを記憶する。

【0021】

図２～図４は、物品リストのデータ構成の一例を示す図である。図２に、オーストラリア出張リスト１４２Ａの一例を示す。物品リストは、例えば、移動の目的、移動先、現地の季節、物品セット名または物品名、物品セットの構成物品名、重要度、対応する画像の識別情報、及び、この物品セットまたは物品が不足している旨を通知する際の通知方法の項目を有する。通知方法は、重要度に応じて変更される。

【0022】

図２に示すように、オーストラリア出張リスト１４２Ａは、出張のため、冬にオーストラリアに移動する際に必要である物品セットまたは物品と、物品セットまたは物品の画像とを対応付けたリストである。例えば、オーストラリア出張リスト１４２Ａのうち、コートは、移動先が自国の季節である夏とは異なる冬の季節であるため、必須となり、重要度も、最も高い「Ａ」を登録することで、忘れることを防止する。コートの画像は、画像データ群１４３に登録された画像Ｇ１ｅであり、音声での出力と、画面のテキスト表示との２つの通知方法で通知される。オーストラリア出張リスト１４２Ａには、出張先で必要となるＰＣ等が登録される。

【0023】

なお、各物品セットまたは物品の重要度は、ユーザが設定するほか、移動先、移動の目的、移動先の季節等に応じて、物品セットまたは物品ごとに予め設定されたものであってもよい。そして、通知方法は、重要度ごとに予め設定されており、重要度が登録されると、重要度に応じた通知方法が自動的に登録される。

【0024】

また、オーストラリア出張リスト１４２Ａには、物品ごとに限らず、複数の関連する物品をセットとした物品セットも登録される。例えば、眼鏡や使い捨てのコンタクトレンズなどが１セットとなったコンタクトセットは、セットとしてまとめた状態の画像Ｇ１ａが登録される。オーストラリア出張リスト１４２Ａには、他にも、パスポートや航空券等を１セットとしたパスポートセットや、バッテリーや電源等を１セットとした通信小物セットが登録される。

【0025】

図３は、イギリス旅行リスト１４２Ｂの一例を示す。イギリス旅行リスト１４２Ｂは、旅行のため、夏にイギリスに移動する際に必要である物品セットまたは物品と、物品セットまたは物品の画像とを対応付けたリストである。

【0026】

図３に示すように、イギリス旅行リスト１４２Ｂは、図３に示すように、コンタクトレンズセットやパスポートセットのほか、夏の季節に合う衣服（Ｔシャツ）や観光の際に使用するガイドブックなども、各物品セットまたは物品の画像ともに登録される。また、図４に示すように、物品リストは、目的が未登録であり、移動先（例えば、オーストラリア）のみが設定されたものであってもよい。物品リストは、移動先が未登録であり、目的のみが設定されたものであってもよい。

【0027】

これらの物品リストは、ユーザによって、適宜更新が可能である。例えば、ユーザは、移動先等で不要な物品セットまたは物品が分かったときに、この移動先や移動の目的に対応する物品リストから、不要な物品セットまたは物品を削除する処理が可能である。物品リストは、移動の目的や移動先ごとにデフォルト設定されたリストがあり、デフォルト設定されたリストを、ユーザがカスタマイズすることも可能である。

【0028】

禁止物品リストは、移動先に持ち込みが禁止されている物品の識別情報と画像とを対応付けたリストであり、移動先ごとに登録されるリストである。図５は、禁止物品リストのデータ構成の一例を示す図である。図５は、例えば、アメリカに持ち込みか禁止されている物品を示すアメリカ禁止物品リスト１４２Ｃを示す。

【0029】

図５に示すように、禁止物品リストは、例えば、移動先、持ち込み禁止物品の識別情報、対応する画像の識別情報、及び、この物品セットまたは物品がスーツケース内に収納されている旨を通知する際の通知方法の項目を有する。例えば、アメリカ禁止物品リスト１４２Ｃでは、アメリカへ持ち込み禁止である物品として、牛肉が使用されたビーフ味の菓子と、その菓子の画像Ｇ３ａと、この菓子がスーツケース内に収納されている旨を画面のテキスト表示を用いて通知することが登録されている。禁止物品リストは、移動先ごとに予め設定されたものであり、ユーザがカスタマイズすることも可能である。

【0030】

不要品リスト１４２Ｄは、移動先に持参が不要な物品セットまたは物品の識別情報と画像とを対応付けたリストであり、移動先ごとに登録されるリストである。図６は、不要品リスト１４２Ｄのデータ構成の一例を示す図である。

【0031】

図６は、例えば、出張のためオーストラリアに移動する際に持参が不要である物品セットまたは物品と、物品セットまたは物品の画像とを対応付けた不要品リストを示す。不要品リストは、移動の目的、移動先、持参が不要である物品セットまたは物品と、物品セットまたは物品及びその画像と、この物品セットまたは物品がスーツケース内に収納されている旨を通知する際の通知方法の項目を有する。

【0032】

図６の例では、出張の際にオーストラリアへ移動する際に持参が不要である物品セットとして、洗顔セットと、その洗顔セットの画像Ｇ４ａと、この洗顔セットがスーツケース内に収納されている旨を画面のテキスト表示を用いて通知することが登録されている。不要品リストは、移動先や移動の目的ごとに、ユーザが予め登録したものである。或いは、不要品リストは、ユーザによって物品リストから削除された物品セットまたは物品を、端末装置１０が、移動先や移動の目的ごとに登録したものであってもよい。

【0033】

アラームリスト１４２Ｅは、入れ忘れ防止のためのアラームを出力する物品セットまたは物品のリストである。図７は、アラームリスト１４２Ｅのデータ構成の一例を示す図である。

【0034】

図７に示すように、アラームリスト１４２Ｅは、物品セット名または物品名、物品セットの構成物品名、重要度、この物品セットまたは物品の収納確認を通知する際の通知方法、及び通知タイミングの項目を有する。例えば、アラームリスト１４２Ｅのうち、コンタクトレンズセットは、移動当日の朝に、音声での出力と、画面のテキスト表示との２つの通知方法で通知されることが登録されている。アラームリスト１４２Ｅは、例えば、重要度が最も高い「Ａ」である物品セットまたは物品を含む。アラームリスト１４２Ｅは、ユーザが登録するほか、端末装置１０が、重要度が最も高い「Ａ」である物品セットまたは物品であって、各物品リストに登録されている登録頻度が高い物品セットまたは物品を検索して自動登録してもよい。

【0035】

制御部１５は、端末装置１０全体を制御する。制御部１５は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部１５は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１５は、各種のプログラムが動作することにより各種の処理部として機能する。

【0036】

制御部１５は、リスト登録部１５１、リスト選択部１５２（選択部）、画像取得部１５３（取得部）、画像認識部１５４及び通知部１５５を有する。リスト登録部１５１、リスト選択部１５２、画像取得部１５３、画像認識部１５４及び通知部１５５は、例えば、端末装置１０にインストールされた忘れ物チェックアプリケーションが起動し、各処理を行うことで実現される。

【0037】

リスト登録部１５１は、物品リスト、不要品リスト及びアラームリストの登録を行う。リスト登録部１５１は、例えば、ユーザが、リストの種別、リスト名、移動先及び／または移動の目的を入力後、各物品セットまたは物品ごとの画像の撮影と、物品セットまたは物品の名称の入力とを繰り返すことで登録される。また、禁止物品リストは、移動先ごとに予め設定されたものを、ユーザがカスタマイズしてもよい。

【0038】

図８は、物品の画像の一例を示す図である。図９は、物品セットの画像の一例を示す図である。図８に示すように、例えば、ユーザは、パスポートＫ１、メモ帳Ｋ２、筆記具Ｋ３及び移動先の国で使用する紙幣及び硬貨Ｋ４をセットにして、スーツケース内に収納している。この場合、ユーザは、パスポートＫ１、メモ帳Ｋ２、筆記具Ｋ３及び紙幣及び硬貨Ｋ４の画像をそれぞれ撮影して物品の名称を登録するほか、これらの物品をケースＫ５に入れたパスポートセットＫ１０（図９参照）の画像Ｇ１ｂを撮影して、パスポートセットとして登録してもよい。或いは、端末装置１０が、撮影された画像に対して画像認識を行うことで物品セットまたは物品の名称を判別し、リストに登録してもよい。

【0039】

リスト選択部１５２は、実際に移動のために荷物を準備した場合において、物品セットまたは物品のチェックを行うため、記憶部１４から、ユーザの移動先及び／またはユーザの移動の目的に対応する物品リストを選択する。リスト選択部１５２は、物品リストとともに、ユーザの移動先や移動の目的に対応する禁止物品リストを選択してもよい。また、リスト選択部１５２は、物品リストとともに、ユーザの移動先や移動の目的に対応する不要品リストを選択してもよい。リスト選択部１５２は、ユーザによるリストの選択操作に応じて、リストを選択する。または、リスト選択部１５２は、スケジュールデータ１４１を参照して、ユーザの移動先及び／または移動の目的を判定し、リストを選択してもよい。

【0040】

画像取得部１５３は、実際に移動のために荷物を準備した場合において、物品セットまたは物品のチェックを行うため、ユーザのスーツケース内部に収納された物品セットまたは物品の画像を取得する。ユーザが撮像部１２を操作してユーザのスーツケース内部に収納された物品セットまたは物品の画像を撮影した場合には、その画像の入力を受け付ける。図１０は、画像取得部１５３が取得した画像の一例を示す図である。画像取得部１５３は、ユーザの撮影処理によって、図１０に示す画像Ｇｓを取得する。

【0041】

画像認識部１５４は、画像取得部１５３によって取得された画像に含まれる物品セットまたは物品の画像を認識し、該認識した画像に含まれる物品セットまたは物品の画像と、リスト選択部１５２によって選択された物品リストの画像とを照合する。画像認識部１５４は、認識した画像に含まれる物品セットまたは物品の画像と、リスト選択部１５２によって選択された物品リストの画像との間の任意の類似度を求め、該求めた類似度が所定の閾値以上である場合には、認識した画像に含まれる物品セットまたは物品の画像と、リスト選択部１５２によって選択された物品リストの画像であると判定する。

【0042】

例えば、画像認識部１５４は、画像Ｇｓ（図１０参照）に対する画像認識処理を行った結果、領域Ｐ１に、筆記具やパスポート等がセットになった物品セットがあることを認識する。そして、画像認識部１５４は、領域Ｐ１の物品セットの画像と、例えば図２に示す物品リストの画像とを参照し、領域Ｐ１の物品セットが、物品リストに含まれるパスポートセットであることを認識する。また、画像認識部１５４は、画像Ｇｓ（図１０参照）に対する画像認識処理を行った結果、画像Ｇｓ内に、例えば図２に示す物品リストの画像のうち、コンタクトレンズセットに対応する画像がない場合には、コンタクトレンズセットがないことを認識する。

【0043】

画像認識部１５４は、禁止物品リストがリスト選択部１５２によって選択された場合、画像取得部１５３によって取得された画像に含まれる物品セットまたは物品の画像を認識し、該認識した画像に含まれる物品セットまたは物品の画像と、選択された禁止物品リストの画像とを照合する。

【0044】

また、画像認識部１５４は、不要品リストがリスト選択部１５２によって選択された場合、画像取得部１５３によって取得された画像に含まれる物品セットまたは物品の画像を認識し、該認識した画像に含まれる物品セットまたは物品の画像と、選択された禁止物品リストの画像とを照合する。例えば、画像認識部１５４は、画像Ｇｓに対する画像認識処理を行った結果、領域Ｐ２に、小型ボトルやタオルがセットになった物品セットがあることを認識する。そして、画像認識部１５４は、領域Ｐ２の物品セットの画像と、例えば図６に示す不要品リストの画像とを参照し、領域Ｐ２の物品セットが、不要品リストに含まれる洗顔セットであることを認識する。

【0045】

また、画像認識部１５４は、重要度が一定以上の物品セットから優先的に照合を行い、照合結果を通知部１５５に出力した後、物品セット以外の各物品の照合については、ユーザ等に指示されてから照合を行ってもよい。また、画像認識部１５４は、スケジュールデータ１４１等から、移動先での滞在日数が判別できる場合には、各物品の個数をカウントしてもよい。例えば、ユーザが２泊３日の出張に行く場合には、ワイシャツの個数をカウントする。

【0046】

通知部１５５は、画像認識部１５４による照合結果を基に、リスト選択部１５２によって選択された物品リストの物品セット及び物品に対し、スーツケース内部の物品セットまたは物品、または、スーツケース内部に収納予定の物品セット及び物品に不足がある場合、不足する物品セットまたは物品を通知する。通知部１５５は、例えば、画像認識部１５４によって、コンタクトレンズセットがないことが認識された場合には、通知部１５５は、スーツケース内部に、コンタクトレンズセットが不足していることを通知する。

【0047】

通知部１５５は、重要度が一定以上の物品セットから優先的に、不足の有無を通知し、その後に、物品セット以外の各物品に対する不足の有無を通知してもよい。また、通知部１５５は、画像認識部１５４によって各物品の個数がカウントされている場合には、個数が不足する物品を通知してもよい。例えば、ユーザが２泊３日の出張に行く場合にワイシャツが１枚しかない場合には、通知部１５５は、ワイシャツが１枚不足することを通知する。

【0048】

通知部１５５は、画像認識部１５４による照合結果を基に、スーツケース内部スーツケース内部の物品セットまたは物品、または、スーツケース内部に収納予定の物品セットまたは物品の中に、リスト選択部１５２によって選択された不要品リストの物品セットまたは物品に一致する物品セットまたは物品がある場合には、該物品セットまたは物品が不要であることを通知する。通知部１５５は、例えば、画像Ｇｓの例の場合、スーツケース内部に収容された洗顔セットが、不要であることを通知する。

【0049】

また、通知部１５５は、スーツケース内部スーツケース内部の物品セットまたは物品、または、スーツケース内部に収納予定の物品セットまたは物品の中に、リスト選択部１５２によって選択された禁止物品リストの物品セット及び物品に一致する物品セットまたは物品がある場合には、該物品セットまたは物品が移動先に持ち込み禁止であることを通知する。そして、通知部１５５は、物品セットまたは物品の重要度に応じて、通知方法を変更してもよい。

【0050】

アラート部１５６は、アラームリスト１４２Ｅを参照し、アラームリストに設定されているタイミング及び通知方法で、入れ忘れ確認対象の物品セット及び物品を通知する。例えば、アラート部１５６は、移動日当日の朝に、「パスポートセットを収納しましたか？」という音声とテキストとを端末装置１０から出力させる。

【0051】

［リスト登録処理］
次に、端末装置１０が実行する処理のうちリスト登録処理について説明する。図１１は、リスト登録処理の処理手順を示すフローチャートである。

【0052】

図１１に示すように、端末装置１０では、リスト登録部１５１が、ユーザによる端末装置１０に対する操作によって、リスト登録要求を受け付けると（ステップＳ１）、リスト名やリスト種別、目的、季節の入力を受け付ける（ステップＳ２～ステップＳ４）。リストの種別として、物品リスト、不要品リスト、禁止リストがある。

【0053】

続いて、端末装置１０は、リストに登録する物品セットまたは物品の画像を撮影し（ステップＳ５）、物品セット名または物品名の入力を受け付ける（ステップＳ６）。この際、ユーザは、物品セットの各物品の画像をそれぞれ撮影して物品名を入力した後に、各物品をセットにした物品セットの画像を撮影して物品セット名を入力してもよい。ステップＳ６に代えて、端末装置１０が、撮影された画像に対して画像認識を行うことで物品セットまたは物品の名称を判別してもよい。

【0054】

続いて、リスト登録部１５１は、画像を撮影した物品セットまたは物品の重要度を設定する（ステップＳ７）。重要度は、ユーザによる入力によって設定されるほか、移動先、移動の目的、移動先の季節等に応じて、物品セットまたは物品ごとに予め設定される。

【0055】

そして、リスト登録部１５１は、物品セットまたは物品の画像、物品セット名または物品名及び重要度を対応付けてリストに登録する（ステップＳ８）。そして、リスト登録部１５１は、物品セットまたは物品の入力が終了したか否かを判定する（ステップＳ９）。

【0056】

リスト登録部１５１は、物品セットまたは物品の入力が終了していない場合（ステップＳ９：Ｎｏ）、ステップＳ５に戻り、入力処理を継続する。一方、リスト登録部１５１は、物品セットまたは物品の入力が終了した場合（ステップＳ９：Ｙｅｓ）、記憶部１４にリストを登録して（ステップＳ１０）、処理を終了する。

【0057】

［物品チェック処理］
次に、端末装置１０が実行する処理のうち、スーツケース内部に収納した物品セットまたは物品のチェック処理について説明する。図１２は、スーツケース内部に収納した物品セットまたは物品のチェック処理の処理手順を示すフローチャートである。

【0058】

図１２に示すように、端末装置１０では、スーツケース内部に収納した物品セットまたは物品のチェック開始指示を受け付けると（ステップＳ２１）、リスト選択部１５２が、チェックに使用するリストを選択する（ステップＳ２２）。リスト選択部１５２は、物品リストとともに、禁止物品リスト及び／または不要品リストを選択してもよい。リスト選択部１５２は、ユーザによる、移動先及び／または移動の目的の入力に応じて、記憶部１４から、入力された移動先及び／またはユーザの移動の目的に対応する物品リストを選択する。または、リスト選択部１５２は、スケジュールデータ１４１を参照して、ユーザの移動先及び／または移動の目的を判定し、リストを選択してもよい。

【0059】

続いて、画像取得部１５３は、ユーザのスーツケース内部に収納された物品セットまたは物品の画像を取得する（ステップＳ２３）。例えば、画像取得部１５３は、ユーザによる端末装置１０への操作に応じて、撮像部１２が撮影したスーツケース内部の荷物の画像を取得する。

【0060】

そして、画像認識部１５４は、画像取得部１５３によって取得された画像に含まれる物品セットまたは物品の画像を認識し、該認識した画像に含まれる物品セットまたは物品の画像と、リスト選択部１５２によって選択された物品リストの画像とを照合する（ステップＳ２４，Ｓ２５）。また、画像認識部１５４は、禁止物品リスト及び／または不要品リストがステップＳ２２において選択された場合には、ステップＳ２４，Ｓ２５において、画像取得部１５３によって取得された画像に含まれる物品セットまたは物品の画像を認識し、該認識した画像に含まれる物品セットまたは物品の画像と、選択された禁止物品リスト及び／または不要品リストの画像とを照合する。

【0061】

続いて、通知部１５５は、画像認識部１５４による照合結果を基に、リスト選択部１５２によって選択された物品リストの全ての物品セット及び物品が、スーツケース内部にあるか否かを判定する（ステップＳ２６）。

【0062】

物品リストの全ての物品セット及び物品が、スーツケース内部にない場合（ステップＳ２６：Ｎｏ）、通知部１５５は、不足する物品セットまたは物品を通知する（ステップＳ２７）。

【0063】

物品リストの全ての物品セット及び物品が、スーツケース内部にある場合（ステップＳ２６：Ｙｅｓ）、禁止物品、不要品があるか否かを判定する（ステップＳ２８）。通知部１５５は、禁止物品、不要品がスーツケース内部にある場合に（ステップＳ２８：Ｙｅｓ）、スーツケース内部に禁止物品、不要品がスーツケースに収納されていることを通知する（ステップＳ２９）。通知部１５５は、禁止物品、不要品がスーツケース内部にない場合に（ステップＳ２８：Ｎｏ）、忘れ物がないことを通知する（ステップＳ３０）。

【0064】

［実施の形態］
このように、実施の形態に係る端末装置１０は、撮影されたスーツケース内の荷物の画像に対して画像認識を行い、移動先ごとに予め設定された物品リストに登録されている物品セットまたは物品の画像と比して、不足がある場合には、ユーザに、収納し忘れている物を通知する。したがって、実施の形態では、ユーザは、スーツケース内に収納した荷物の写真を撮るだけで、移動先への持参物の忘れ物の有無を簡易に確認することができる。

【0065】

また、実施の形態では、物品リストは、ユーザの移動先及び移動の目的ごとに設定される。このため、端末装置１０は、移動先及び移動の目的に応じた物品リストを参照してスーツケース内の荷物をチェックすることで、移動先及び移動の目的に応じた物品セットまたは物品の持参を支援することができる。

【0066】

また、実施の形態では、物品リストのほか、移動先ごとに、禁止物品リスト及び／または不要品リストが設定される。このため、端末装置１０は、移動先に応じた禁止物品リスト及び／または不要品リストを参照してスーツケース内の荷物をチェックすることで、移動先への持ち込みが禁止されている物品セットまたは物品や、移動先への持参が不要である物品セットまたは物品の持ち込みを防止することができる。

【0067】

また、端末装置１０は、スケジュールデータ１４１を参照して、ユーザの移動先及び／または移動の目的を判定してリストを選択することも可能であるため、ユーザによるリスト選択処理を省略することも可能である。

【0068】

なお、実施の形態では、ユーザのスーツケース内部に収納された物品セットまたは物品の画像を取得した場合を例に説明したが、スーツケース内部に収納予定の物品セットまたは物品の画像を取得した場合も、同様の処理を行うことで、忘れ物、禁止物品、不要品の有無がチェック可能である。

【0069】

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵやＧＰＵ及び当該ＣＰＵやＧＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0070】

また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0071】

［プログラム］
また、上記実施形態において説明した端末装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態における端末装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。

【0072】

図１３は、プログラムを実行するコンピュータを示す図である。図１３に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。

【0073】

メモリ１０１０は、図１３に例示するように、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図１３に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0074】

ここで、図１３に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の、プログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。

【0075】

また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。

【0076】

なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0077】

上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0078】

１０ 端末装置
１１ 通信部
１２ 撮像部
１３ 入出力部
１４ 記憶部
１５ 制御部
１４１ スケジュールデータ
１４２ リストデータ
１４３ 画像データ群
１５１ リスト登録部
１５２ リスト選択部
１５３ 画像取得部
１５４ 画像認識部
１５５ 通知部
１５６ アラート部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】