(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-07
(45)【発行日】2024-08-16
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06Q 30/015 20230101AFI20240808BHJP
【FI】
G06Q30/015
(21)【出願番号】P 2022174363
(22)【出願日】2022-10-31
(62)【分割の表示】P 2020193545の分割
【原出願日】2020-11-20
【審査請求日】2023-11-20
【早期審査対象出願】
(73)【特許権者】
【識別番号】518175670
【氏名又は名称】株式会社アットロボティクス
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】竹中 司
【審査官】渡邉 加寿磨
(56)【参考文献】
【文献】特許第7175025(JP,B2)
【文献】特開2011-113417(JP,A)
【文献】特開2014-74813(JP,A)
【文献】特開2019-185326(JP,A)
【文献】特開2005-148804(JP,A)
【文献】特開2002-208072(JP,A)
【文献】中国特許出願公開第105931103(CN,A)
【文献】中国特許出願公開第103902598(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
情報処理装置であって、
制御部を有し、
前記制御部は、
モノに付された所定の情報を有するマークを含む撮像画像より前記情報を読み取り、
前記情報には、前記モノに関するモノ情報と、サーバ装置の接続情報と、が含まれ、
前記接続情報に基づき前記サーバ装置と接続し、
前記サーバ装置との接続に成功したことを示す接続結果を前記サーバ装置より受信すると、ユーザからの入力を受け付け可能であることを示す受付可能情報を出力し、
前記ユーザによって前記モノに対する問いかけを示す問いかけ情報が入力されると、前記問いかけ情報と、前記モノ情報と、を前記サーバ装置に送信し、
前記問いかけ情報と、前記モノ情報と、に基づき前記サーバ装置において生成された応答情報を前記サーバ装置より受信し、
前記撮像画像に基づき前記モノを示すオブジェクトを入出力部に表示させ、
前記モノからの応答として前記オブジェクトから前記応答情報を出力する、
情報処理装置。
【請求項2】
請求項1に記載の情報処理装置において、
前記制御部は、
前記モノに対する前記ユーザによる音声による前記問いかけ情報が入力されると、前記音声による前記問いかけ情報と、前記モノ情報と、を前記サーバ装置に送信し、
前記モノからの応答として前記オブジェクトから前記応答情報を音声によって出力する、
情報処理装置。
【請求項3】
情報処理装置であって、
制御部を有し、
前記制御部は、
モノに付された所定の情報を有するマークを含む撮像画像より前記情報を読み取り、
前記情報には、前記モノに関するモノ情報と、サーバ装置の接続情報と、が含まれ、
前記接続情報に基づき前記サーバ装置と接続し、
前記サーバ装置との接続に成功したことを示す接続結果を前記サーバ装置より受信すると、ユーザからの入力を受け付け可能であることを示す受付可能情報を出力し、
前記ユーザによって前記モノに関する購入意思が入力されると、前記モノを購入することを示す情報と、前記モノ情報と、前記情報処理装置を識別する識別情報と、を前記サーバ装置に送信し、
前記モノを購入することを示す情報と、前記モノ情報と、前記情報処理装置を識別する識別情報と、に基づき前記サーバ装置において処理された決済処理の結果を前記サーバ装置より受信し、
前記決済処理の結果を出力する、
情報処理装置。
【請求項4】
情報処理装置であって、
制御部を有し、
前記制御部は、
食品に付された所定の情報を有するマークを含む撮像画像より前記情報を読み取り、
前記情報には、前記食品に関するモノ情報と、サーバ装置の接続情報と、が含まれ、
前記接続情報に基づき前記サーバ装置と接続し、
前記サーバ装置との接続に成功したことを示す接続結果を前記サーバ装置より受信すると、ユーザからの入力を受け付け可能であることを示す受付可能情報を出力し、
前記ユーザによって前記食品を用いたレシピに関する問いかけを示す問いかけ情報が入力されると、前記問いかけ情報と、前記モノ情報と、を含む問いかけ要求を前記サーバ装置に送信し、
前記問いかけ情報と、前記モノ情報と、に基づき前記サーバ装置において生成された前記レシピに関する応答情報を前記サーバ装置より受信し、
前記食品からの応答として前記応答情報を出力する、
情報処理装置。
【請求項5】
請求項4に記載の情報処理装置において、
前記制御部は、
前記レシピに用いられる他の食品が売られている場所に関する問いかけを示す問いかけ情報が入力されると、前記問いかけ情報と、前記他の食品に関する他の食品情報と、前記情報処理装置の位置情報と、を前記サーバ装置に送信し、
前記問いかけ情報と、前記他の食品情報と、前記位置情報と、に基づき前記サーバ装置において生成された前記他の食品が売られている場所に関する応答情報を前記サーバ装置より受信し、
前記応答情報に基づいて、地図情報上に、前記他の食品が売られている場所の情報を出力する、
情報処理装置。
【請求項6】
情報処理装置であって、
制御部を有し、
前記制御部は、
生産現場に付された所定の情報を有するマークを含む撮像画像より前記情報を読み取り、
前記情報には、前記生産現場に関するモノ情報と、サーバ装置の接続情報と、が含まれ、
前記接続情報に基づき前記サーバ装置と接続し、
ユーザによって前記生産現場に関する問いかけを示す問いかけ情報が入力されると、前記問いかけ情報と、前記モノ情報と、を含む問いかけ要求を前記サーバ装置に送信し、
前記問いかけ情報と、前記モノ情報と、に基づき前記サーバ装置において生成された応答情報を前記サーバ装置より受信し、
前記生産現場からの応答として前記応答情報を出力する、
情報処理装置。
【請求項7】
情報処理装置であって、
制御部を有し、
前記制御部は、
モノに付された所定の情報を有するマークを含む撮像画像より前記情報を読み取り、
前記情報には、前記モノに関するモノ情報と、サーバ装置の接続情報と、が含まれ、
前記接続情報に基づき前記サーバ装置と接続し、
ユーザによって前記モノの販売促進情報に対する問いかけを示す問いかけ情報が入力されると、前記問いかけ情報と、前記モノ情報と、を含む問いかけ要求を前記サーバ装置に送信し、
前記問いかけ情報と、前記モノ情報と、に基づき前記サーバ装置において生成された前記販売促進情報に関する応答情報を前記サーバ装置より受信し、
前記モノからの応答として前記応答情報を出力する、
情報処理装置。
【請求項8】
情報処理システムであって、
サーバ装置と、クライアント装置とを備え、
前記クライアント装置は、モノに付された所定の情報を有するマークを含む撮像画像より前記情報を読み取り、
前記情報には、前記モノに関するモノ情報
と、前記サーバ装置の接続情報と、が含まれ、
前記クライアント装置は、前記接続情報に基づき前記サーバ装置と接続し、
前記クライアント装置は、前記サーバ装置との接続に成功したことを示す接続結果を前記サーバ装置より受信すると、ユーザからの入力を受け付け可能であることを示す受付可能情報を出力し、
前記ユーザによって前記モノに対する問いかけを示す問いかけ情報が入力されると、
前記サーバ装置は、前記モノ情報で識別される学習済みのモデルに対して、前記問いかけ情報を入力し、前記問いかけに対する応答情報を前記学習済みのモデルより取得し、
前記学習済みのモデルは、想定されるモノに対する問いかけを入力データとし、該問いかけに対して正解となる回答を出力データとして、両者を関連付けて学習したモデルであり、
前記サーバ装置は、取得された前記応答情報を前記クライアント装置に送信し、
前記クライアント装置は、前記撮像画像に基づき前記モノを示すオブジェクトを
前記クライアント装置における入出力部に表示させ、
前記クライアント装置は、前記モノからの応答として前記オブジェクトから前記応答情報を出力する、
情報処理システム。
【請求項9】
請求項
8に記載の情報処理システムにおいて、
前記モノに対する前記ユーザによる音声による前記問いかけ情報が入力されると、
前記サーバ装置は、前記音声による前記問いかけ情報と、前記モノ情報と、を前記学習済みのモデルに入力し、前記応答情報を前記学習済みのモデルより取得し、
前記クライアント装置は、前記モノからの応答として前記オブジェクトから前記応答情報を前記音声によって出力する、
情報処理システム。
【請求項10】
情報処理装置が実行する情報処理方法であって、
第1の工程と、第2の工程と、第3の工程と、第4の工程と、第5の工程と、第6の工程と、
第7の工程と、を含み、
前記第1の工程では、モノに付された所定の情報を有するマークを含む撮像画像より前記情報を読み取り、
前記情報には、前記モノに関するモノ情報と、サーバ装置の接続情報と、が含まれ、
前記第2の工程では、前記接続情報に基づき前記サーバ装置と接続し、
前記第3の工程では、前記サーバ装置との接続に成功したことを示す接続結果を前記サーバ装置より受信すると、ユーザからの入力を受け付け可能であることを示す受付可能情報を出力し、
前記ユーザによって前記モノに対する問いかけを示す問いかけ情報が入力されると、前記第
4の工程では、前記問いかけ情報と、前記モノ情報と、を前記サーバ装置に送信し、
前記第
5の工程では、前記問いかけ情報と、前記モノ情報と、に基づき前記サーバ装置において生成された応答情報を前記サーバ装置より受信し、
前記第
6の工程では、前記撮像画像に基づき前記モノを示すオブジェクトを入出力部に表示させ、
前記第
7の工程では、前記モノからの応答として前記オブジェクトから前記応答情報を出力する、
情報処理方法。
【請求項11】
情報処理装置が実行する情報処理方法であって、
第1の工程と、第2の工程と、第3の工程と、第4の工程と、第5の工程と、
第6の工程と、を含み、
前記第1の工程では、モノに付された所定の情報を有するマークを含む撮像画像より前記情報を読み取り、
前記情報には、前記モノに関するモノ情報と、サーバ装置の接続情報と、が含まれ、
前記第2の工程では、前記接続情報に基づき前記サーバ装置と接続し、
前記第3の工程では、前記サーバ装置との接続に成功したことを示す接続結果を前記サーバ装置より受信すると、ユーザからの入力を受け付け可能であることを示す受付可能情報を出力し、
前記第
4の工程では、
前記ユーザによって前記モノに関する購入意思が入力されると、前記モノを購入することを示す情報と、前記モノ情報と、前記情報処理装置を識別する識別情報と、を前記サーバ装置に送信し、
前記第
5の工程では、前記モノを購入することを示す情報と、前記モノ情報と、前記情報処理装置を識別する識別情報と、に基づき前記サーバ装置において処理された決済処理の結果を前記サーバ装置より受信し、
前記第
6の工程では、前記決済処理の結果を出力する、
情報処理方法。
【請求項12】
情報処理装置が実行する情報処理方法であって、
第1の工程と、第2の工程と、第3の工程と、第4の工程と、第5の工程と、
第6の工程と、を含み、
前記第1の工程では、食品に付された所定の情報を有するマークを含む撮像画像より前記情報を読み取り、
前記情報には、前記食品に関するモノ情報と、サーバ装置の接続情報と、が含まれ、
前記第2の工程では、前記接続情報に基づき前記サーバ装置と接続し、
前記第3の工程では、前記サーバ装置との接続に成功したことを示す接続結果を前記サーバ装置より受信すると、ユーザからの入力を受け付け可能であることを示す受付可能情報を出力し、
前記第
4の工程では、
前記ユーザによって前記食品を用いたレシピに関する問いかけを示す問いかけ情報が入力されると、前記問いかけ情報と、前記モノ情報と、を含む問いかけ要求を前記サーバ装置に送信し、
前記第
5の工程では、前記問いかけ情報と、前記モノ情報と、に基づき前記サーバ装置において生成された前記レシピに関する応答情報を前記サーバ装置より受信し、
前記第
6の工程では、前記食品からの応答として前記応答情報を出力する、
情報処理方法。
【請求項13】
サーバ装置及びクライアント装置を備える情報処理システムが実行する情報処理方法であって、
第1の工程と、第2の工程と、第3の工程と、第4の工程と、
第5の工程と、第6の工程と、第7の工程と、を含み、
前記第1の工程では、
前記クライアント装置が、モノに付された所定の情報を有するマークを含む撮像画像より前記情報を読み取り、
前記情報には、前記モノに関するモノ情報
と、前記サーバ装置の接続情報と、が含まれ、
前記第2の工程では、前記クライアント装置が、前記接続情報に基づき前記サーバ装置と接続し、
前記第3の工程では、前記クライアント装置が、前記サーバ装置との接続に成功したことを示す接続結果を前記サーバ装置より受信すると、ユーザからの入力を受け付け可能であることを示す受付可能情報を出力し、
前記第4の工程では、前記ユーザによって前記モノに対する問いかけを示す問いかけ情報が入力されると、
前記サーバ装置が、前記問いかけ情報と、前記モノ情報と、を学習済みのモデルに入力し、前記問いかけに対する応答情報を前記学習済みのモデルより取得し、
前記学習済みのモデルは、想定されるモノに対する問いかけを入力データとし、該問いかけに対して正解となる回答を出力データとして、両者を関連付けて学習したモデルであり、
前記第5の工程では、前記サーバ装置が、取得された前記応答情報を前記クライアント装置に送信し、
前記第
6の工程では、
前記クライアント装置が、前記撮像画像に基づき前記モノを示すオブジェクトを
前記クライアント装置における入出力部に表示させ、
前記第
7の工程では、
前記クライアント装置が、前記モノからの応答として前記オブジェクトから前記応答情報を出力する、
情報処理方法。
【請求項14】
プログラムであって、
コンピュータを、請求項1から請求項
7までの何れか1項に記載の情報処理装置の制御部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
Iot(Internet of Things)技術の普及に伴い様々な装置がインターネットに接続されるようになった。特許文献1には、インターネットに接続される複数の照明装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、すべての物が制御部及び通信部を有し、インターネットに接続される訳ではない。また、すべての物に制御部及び通信部を持たせるにはコストがかかる。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、情報処理装置が提供される。この情報処理装置は、制御部を有する。制御部は、物に付された所定のマークを含む撮像画像より情報を読み取り、情報には、物に関する物情報と、サーバ装置の接続情報と、が含まれる。接続情報に基づきサーバ装置と接続する。ユーザによって物に対する問いかけ情報が入力されると、物に対する問いかけ情報と、物情報と、をサーバ装置に送信する。問いかけ情報と、物情報と、に基づきサーバ装置において生成された応答情報をサーバ装置より受信する。物からの応答として応答情報を出力する。
【図面の簡単な説明】
【0006】
【
図1】
図1は、情報処理システムのシステム構成の一例を示す図である。
【
図2】
図2は、クライアント装置のハードウェア構成の一例を示す図である。
【
図3】
図3は、サーバ装置のハードウェア構成の一例を示す図である。
【
図4】
図4は、情報処理システムの情報処理の一例を示すシーケンス図である。
【
図5】
図5は、情報処理システムの機能の概念を示す図である。
【
図6】
図6は、変形例1のクライアント装置の入出力部に表示された、レシピに含まれる他の物の情報と、その物が売られている販売場所の情報と、を表示した画面の一例を示す図である。
【
図7】
図7は、変形例2の情報処理システムのシステム構成の一例を示す図である。
【発明を実施するための形態】
【0007】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0008】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現(いわゆるクラウドコンピューティング)するように提供されてもよい。
【0009】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、0又は1で構成される2進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ(いわゆる量子ビット)によって表され、広義の回路上で通信・演算が実行されうる。
【0010】
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
【0011】
<実施形態1>
1.システム構成
図1は、情報処理システム1000のシステム構成の一例を示す図である。情報処理システム1000は、システム構成として、サーバ装置100と、クライアント装置110と、トークマーク120が付与された物130と、を含む。サーバ装置100と、クライアント装置110と、はネットワーク150を介して通信可能に接続されている。クライアント装置110は、情報処理装置の一例である。
(情報処理システム1000の処理の概要)
クライアント装置110は、ユーザ操作に基づいて、物130に付されたトークマーク120を撮像する。クライアント装置110は、物130に付されたトークマーク120を含む撮像画像より情報を読み取る。ここで、クライアント装置110が読み取った情報には、物130に関する物情報と、サーバ装置100の接続情報と、が含まれる。クライアント装置110は、接続情報に基づきサーバ装置100と接続する。クライアント装置110は、物情報に基づき、物130を示すようなアイコンを表示する。ユーザは、表示されたアイコンに対して物130に対する問いかけ等を行う。ユーザによって物130に対する問いかけ情報が入力されると、クライアント装置110は、物130に対する問いかけ情報と、物情報と、をサーバ装置100に送信する。クライアント装置110は、問いかけ情報と、物情報と、に基づきサーバ装置100において生成された応答情報をサーバ装置100より受信する。クライアント装置110は、物130からの応答として応答情報を出力する。
【0012】
2.ハードウェア構成
(1)クライアント装置110のハードウェア構成
図2は、クライアント装置110のハードウェア構成の一例を示す図である。クライアント装置110は、ハードウェア構成として、制御部201と、記憶部202と、撮像部203と、入出力部204と、音声入出力部205と、通信部206と、を含む。制御部201は、クライアント装置110の全体を制御する。記憶部202は、プログラム及び制御部201がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部201が、記憶部202に記憶されたプログラムに基づき処理を実行することによって、クライアント装置110の機能が実現される。撮像部203は、被写体を撮像する。本実施形態において、撮像部203は、物130に付されているトークマーク120を撮像する。トークマークは、所定のマークの一例である。入出力部204は、ユーザの操作に応じて制御部201に情報を入力したり、制御部201の情報処理に応じて情報を表示したりする。音声入出力部205は、ユーザの音声を入力したり、制御部201の制御に応じて音声を出力したりする。通信部206は、クライアント装置110をネットワーク150に接続し、他の装置との通信を司る。
【0013】
(2)サーバ装置100のハードウェア構成
図3は、サーバ装置100のハードウェア構成の一例を示す図である。サーバ装置100は、ハードウェア構成として、制御部301と、記憶部302と、通信部303と、を含む。制御部301は、サーバ装置100の全体を制御する。記憶部302は、プログラム及び制御部301がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部301が、記憶部302に記憶されたプログラムに基づき処理を実行することによって、サーバ装置100の機能が実現される。通信部303は、サーバ装置100をネットワーク150に接続し、他の装置との通信を司る。
【0014】
3.情報処理
図4は、情報処理システム1000の情報処理の一例を示すシーケンス図である。
SQ401において、制御部201は、ユーザ操作に基づいて、物130に付されたトークマーク120を撮像する。本実施形態では、物130の一例として、食品、特にペットボトルに入った飲料を例に説明を行う。制御部201は、物130に付されたトークマーク120を含む撮像画像を解析し、撮像画像より情報を読み取る。ここで、制御部201が読み取った情報には、物130に関する物情報と、サーバ装置100の接続情報と、が含まれる。制御部201は、接続情報に基づきサーバ装置100と接続する。
【0015】
SQ402において、制御部201は、SQ401において取得した接続情報に基づいてサーバ装置100に接続要求を送信する。サーバ装置100は、クライアント装置110からの接続要求を受信する。サーバ装置100は、接続要求に基づいて、サーバ装置100とクライアント装置110との接続に関する処理を実行する。
SQ403において、サーバ装置100は、接続に成功したか否かを示す接続結果をクライアント装置110に送信する。本実施形態では、サーバ装置100は、接続に成功し、接続に成功したことを示す接続結果をクライアント装置110に送信するものとして説明を行う。
SQ404において、制御部201は、撮像画像に基づき物を示すアイコンを入出力部204に表示させる。
図5は、情報処理システム1000の機能の概念を示す図である。
図5に示される、アイコン500は、撮像画像に基づく物を示すオブジェクトの一例を示す図である。ここで、アイコンとは、もとの対象の形をとどめる記号である。
【0016】
ユーザは、入出力部204に表示された物130、より具体的には物130に対応するアイコン、に対する問いかけを入力する。ここで、問いかけとは、トークマーク120が付された物130に対する質問、疑問、問い合わせ等である。より具体的に説明すると、物130が食品である場合、問いかけには、食品の情報に対する質問、食品に関するイベント情報に対する問いかけ、販売促進情報に対する問いかけ等が含まれる。また、後述するように、問いかけには、物130の購入意思を示す購入要求(決済要求)等が含まれてもよい。本実施形態において、クライアント装置110は、ユーザの問いかけを音声によって入力する。音声入出力部205を介してユーザによる物130に対する問いかけ情報が音声によって入力されると、制御部201は、入力された問いかけ情報をテキストに変換し、入出力部204に文字列として表示する(
図5の510)。また、ユーザによって物130に対する問いかけ情報が入力されると、SQ405において、制御部201は、物130に対する問いかけ情報(例えば、テキストに変換された問いかけ情報)と、物情報と、を含む問いかけ要求をサーバ装置100に送信する。サーバ装置100は、問いかけ要求を受信する。本実施形態の例では、サーバ装置100は、食品の販売管理を行う販売管理サーバ装置等である。
サーバ装置100は、問いかけ要求を受信すると、問いかけ要求に含まれる物情報で識別される学習済みのモデルに対して、物に対する問いかけ情報を入力し、物に対する問いかけに対する応答情報を学習済みのモデルより取得する。この学習済みのモデルは、想定される物に対する問いかけに対して正解となる回答を学習した、学習済みのモデルである。質問としては、物がペットボトルのお茶の場合、お茶の産地、お茶の生産者、お茶の健康効果、お茶を用いた料理のレシピ、美味しい飲み方等がある。また、学習済みのモデルは、物ごとに予め用意され、記憶部302に記憶されている。
【0017】
SQ406において、サーバ装置100は、取得された応答情報を含む問いかけ応答を生成し、クライアント装置110に送信する。
SQ407において、制御部201は、物130からの応答として応答情報を出力する。より具体的に説明すると、制御部201は、物からの応答としてアイコン500から応答情報を出力する。本実施形態においては、制御部201は、物からの応答としてアイコン500から出力されているように、音声入出力部205を介して応答情報を音声によって出力する。また、制御部201は、応答情報を入出力部204に文字列として表示する(
図5の520)
ユーザによって問いかけ情報が入力されると、情報処理システム1000は、SQ405からSQ407までの処理を繰り返す。
【0018】
ユーザは、問いかけをした結果、物130を購入しようとした場合、入出力部204に表示された物130、より具体的には物130に対応するアイコン、に対する購入意思を入力する。購入意思とは、例えば、「買います」、「購入します」等、購入意思を示唆する言葉である。本実施形態において、クライアント装置110は、ユーザの購入意思を音声によって入力する。音声入出力部205を介してユーザによる物130に対する購入意思が音声によって入力されると、SQ408において、制御部201は、物を購入することを示す情報と、物130を識別する物情報と、クライアント装置110を識別する識別情報と、を含む購入要求をサーバ装置100に送信する。
【0019】
サーバ装置100は、購入要求を受信すると、購入要求に含まれるクライアント装置110を識別する識別情報に基づき、ユーザを特定し、ユーザが予め登録している決済情報等を特定する。決済情報としては、例えば、クレジットカードの番号、又は銀行名及び銀行口座の口座番号等がある。SQ409において、サーバ装置100は、特定した決済情報に基づいて、決済を行う決済システム400に対して、決済情報、物識別情報で識別される物130の値段等を含む決済要求を送信する。
SQ410において、サーバ装置100は、決済システム400より決済処理の結果を受信する。本実施形態において、サーバ装置100は、決済が完了した旨の情報を受信するものとして説明を行う。なお、本実施形態においては、サーバ装置100と決済システム400とは別の構成としているが、サーバ装置100に決済システム400の機能を含めるようにしてもよい。
【0020】
SQ411において、サーバ装置100は、決済処理の結果をクライアント装置110に送信する。制御部201は、サーバ装置100からの決済処理の結果を受信する。すなわち、制御部201は、物を購入することを示す情報と、物情報と、クライアント装置110を識別する識別情報と、に基づきサーバ装置100において処理された決済処理の結果をサーバ装置100より受信する。
SQ412において、制御部201は、サーバ装置100からの決済処理の結果を出力する。例えば、制御部201は、決済処理の結果を入出力部204に表示したり、音声入出力部205から音声で出力したりする。
なお、サーバ装置100は、物130が店舗に置かれており、決済が終了している場合は、その店舗の出口等に設置されているゲートに対して物130に対して既に精算が終わっている旨の信号を送信し、ユーザがそのまま物130を持って帰ってもゲートにおいて扉が閉まらないようにしてもよい。又は、サーバ装置100は、物130に関して既に精算済みであることを示す情報をクライアント装置110に送信する。そして、クライアント装置110は、記憶部202に物130に関して既に精算済みであることを示す情報を記憶し、ゲートでその情報を読み取り可能にしてもよい。このようにして、ユーザがそのまま物130を持って帰ってもゲートにおいて扉が閉まらないようにしてもよい。
【0021】
本実施形態の処理によれば、ユーザは、インターネットに接続されていない物とあたかも話しながらその物に関する情報を取得することができる。また、ユーザは、その物が気にいった場合はレジ等を介さず、決済(又は精算)を行い、物を持ち帰ることができる。
なお、ユーザは物130が気にいった場合、物130を複数購入するので、複数の物を自宅に配達するよう要求をサーバ装置100に送信するようにしてもよい。サーバ装置100は、このような要求を受け取ると、要求に含まれる個数の情報に基づき、上述した決済を行うと共に、要求された物の配達要求を、配達を管理する外部のサーバ装置等に、予め設定されたユーザの配達先の情報や物を識別する情報、物の個数を示す情報等を送信する。
【0022】
<変形例1>
変形例1では、物130の例として食品を例に説明を行う。より具体的には後述する
図6に示すように、ネギを例に説明を行う。
音声入出力部205を介してユーザによる物130である食品を用いたレシピに関する問いかけ情報が入力されると、制御部201は、食品を用いたレシピに関する問いかけ情報と、物情報と、を含む問いかけ要求をサーバ装置100に送信する。サーバ装置100は、問いかけ要求を受信する。
サーバ装置100は、問いかけ要求を受信すると、問いかけ要求に含まれる物情報で識別される学習済みのモデルに対して、食品を用いたレシピに関する問いかけ情報を入力し、食品を用いたレシピに関する問いかけに対する応答情報を学習済みのモデルより取得する。応答情報には、食品を用いたレシピの情報が含まれる。
サーバ装置100は、取得された応答情報を含む問いかけ応答を生成し、クライアント装置110に送信する。制御部201は、サーバ装置100からの問いかけ応答を受信する。すなわち、制御部201は、問いかけ情報と、物情報と、に基づきサーバ装置100において生成されたレシピに関する応答情報をサーバ装置100より受信する。
制御部201は、物130からの応答として応答情報を出力する。
【0023】
ユーザは、出力されたレシピに含まれる他の物(他の食品)の販売場所を知りたい場合、他の食品の販売場所に関する問いかけを入力する。音声入出力部205を介してユーザによる他の食品の販売場所に関する問いかけ情報が音声によって入力された場合、制御部201は、レシピに用いられている他の食品が売られている場所に関する問いかけ情報と、他の食品に関する他の食品情報と、物130に対する食品情報と、クライアント装置110の位置情報と、を含む問いかけ要求をサーバ装置100に送信する。
【0024】
サーバ装置100は、問いかけ要求を受信すると、問いかけ要求に含まれる物情報で識別される学習済みのモデルに対して、レシピに用いられている他の食品が売られている場所に関する問いかけ情報と、他の食品に関する他の食品情報と、クライアント装置110の位置情報と、を入力し、クライアント装置110の位置から所定距離内に存在するその他の食品を販売している場所の情報を学習済みのモデルより取得する。サーバ装置100は、取得された情報を応答情報として、応答情報を含む問いかけ応答をクライアント装置110に送信する。制御部201は、サーバ装置100からの問いかけ応答を受信する。すなわち、制御部201は、問いかけ情報と、他の食品情報と、位置情報と、に基づきサーバ装置において生成された他の食品が売られている場所に関する応答情報をサーバ装置100より受信する。
制御部201は、入出力部204にクライアント装置110が存在する位置周辺の地図情報を表示し、応答情報に基づいて、地図情報上に、他の食品が売られている場所の情報を出力する。
【0025】
図6は、変形例1のクライアント装置110の入出力部204に表示された、レシピに含まれる他の物の情報と、その物が売られている販売場所の情報と、を表示した画面の一例を示す図である。
図6の例では、物130は、ネギである。そして、物130であるネギにトークマーク120が付されている。
図6の画面においてオブジェクト600は、ユーザの現在位置を示している。また、
図6の画面においてユーザはある商店街の八百屋622にいることを示している。
図6の画面においてネギを使った料理の一つであるすき焼きのレシピに含まれる他の食品として牛肉610と、豆腐611が表示されている。また、
図6の画面において、牛肉610は620で示される肉屋で売られており、豆腐611は621で示される豆腐屋で売られていることが示されている。
制御部201がサーバ装置100からの情報に基づき
図6に示されるような画面を生成し、入出力部204に表示することによって、ユーザは、レシピに用いられる他の食品がどこで売っているのかの情報をすぐに得ることができる。
なお、変形例1では、クライアント装置110が画面を生成するものとして説明を行ったが、サーバ装置100が画面を生成し、クライアント装置110に送信するようにしてもよい。そして、クライアント装置110がサーバ装置100から受信した画面を入出力部204等に表示するようにしてもよい。
【0026】
<変形例2>
実施形態1及び変形例1では、物130の例として食品を例に説明を行った。しかし、トークマーク120を添付する対象は食品に限られない。例えば、車や電車等であってもよいし、工場に設置されている生産設備の機械等であってもよい。
図7は、変形例2の情報処理システム1000のシステム構成の一例を示す図である。
図7の例では、物130は、機械である。例えば、機械にトークマーク120が付された場合、ユーザは、クライアント装置110を用いてあたかも機械と会話して、機械の稼働状況や消費電力の推移等を得ることができる。サーバ装置100より取得した情報によって機械の消費電力推移を把握することができたユーザは、例えば、夜間の機械の稼働を停止させる等、目的に応じて設定を変更することができる。
なお、トークマーク120が付される物130が生産設備の機械である場合、ユーザによる問いかけには、設備の使用情報、取扱情報、操作情報、稼働情報、保守情報等に対する質問等が含まれる。このような例では、サーバ装置100は、生産設備の管理を行う生産管理サーバ装置等である。
なお、他の例として、トークマーク120が付される物130は、物流品であってもよい。商品130が物流品である場合、ユーザによる問いかけには、物流品の管理情報、経路情報、保守情報等の質問等が含まれる。このような例では、サーバ装置100は、物流品を管理する物流管理サーバ装置等である。
【0027】
<変形例3>
上述した実施形態等では、入力として音声を例に説明を行った。しかし、音声に限られず、チャットのようなテキスト情報の入力であってもよい。
【0028】
<その他の変形例>
クライアント装置110は、サーバ装置100よりトークマーク120が付された物130の情報として、物130と関連する情報、例えば、その物のキャンペーンの情報、その物を実際に使用している店舗の情報、等を受信し、これらの情報を出力するようにしてもよい。
また、サーバ装置100は、物130を購入したユーザを識別することが可能であるため、物130を購入したユーザに対して、同じ物を購入したユーザ同士のコミュニケーションを図れる場所、又はURL等を送信するようにしてもよい。
【0029】
<付記>
次に記載の各態様で提供されてもよい。
前記情報処理装置において、前記制御部は、前記撮像画像に基づき前記物を示すオブジェクトを入出力部に表示させ、前記物からの応答として前記オブジェクトから前記応答情報を出力する、情報処理装置。
前記情報処理装置において、前記制御部は、前記物に対するユーザによる音声による前記問いかけ情報が入力されると、前記物に対する問いかけ情報と、前記物情報と、を前記サーバ装置に送信し、前記物からの応答として前記オブジェクトから前記応答情報を音声によって出力する、情報処理装置。
前記情報処理装置において、前記制御部は、ユーザによって前記物に関する購入意思が入力されると、前記物を購入することを示す情報と、前記物情報と、前記情報処理装置を識別する識別情報と、を前記サーバ装置に送信し、前記物を購入することを示す情報と、前記物情報と、前記情報処理装置を識別する識別情報と、に基づき前記サーバ装置において処理された決済処理の結果を前記サーバ装置より受信し、前記決済処理の結果を出力する、情報処理装置。
前記情報処理装置において、撮像部を有し、前記撮像部は、物に付された所定のマークを撮像し、前記制御部は、前記撮像部によって撮像された前記所定のマークを含む撮像画像より情報を読み取る、情報処理装置。
前記情報処理装置において、前記物は、食品である、情報処理装置。
前記情報処理装置において、前記制御部は、ユーザによって前記食品を用いたレシピに関する問いかけ情報が入力されると、前記食品を用いたレシピに関する問いかけ情報と、前記物情報と、を含む問いかけ要求を前記サーバ装置に送信し、前記問いかけ情報と、前記物情報と、に基づき前記サーバ装置において生成された前記レシピに関する応答情報を前記サーバ装置より受信し、前記物からの応答として前記応答情報を出力する、情報処理装置。
前記情報処理装置において、前記制御部は、前記レシピに用いられる他の食品が売られている場所に関する問いかけ情報が入力されると、前記レシピに用いられる他の食品が売られている場所に関する問いかけ情報と、前記他の食品に関する他の食品情報と、前記情報処理装置の位置情報と、を前記サーバ装置に送信し、前記問いかけ情報と、前記他の食品情報と、前記位置情報と、に基づき前記サーバ装置において生成された前記他の食品が売られている場所に関する応答情報を前記サーバ装置より受信し、前記応答情報に基づいて、地図情報上に、前記他の食品が売られている場所の情報を出力する、情報処理装置。
前記情報処理装置において、前記物は、機械である、情報処理装置。
情報処理システムであって、物に付された所定のマークを含む撮像画像より情報を読み取り、前記情報には、前記物に関する物情報が含まれ、ユーザによって前記物に対する問いかけ情報が入力されると、前記物情報で識別される学習済みモデルに対して、前記物に対する問いかけ情報を入力し、前記物に対する問いかけに対する応答情報を前記学習済みモデルより取得し、前記物からの応答として前記応答情報を出力する、情報処理システム。
前記情報処理システムにおいて、前記撮像画像に基づき前記物を示すオブジェクトを入出力部に表示させ、前記物からの応答として前記オブジェクトから前記応答情報を出力する、情報処理システム。
前記情報処理システムにおいて、前記物に対するユーザによる音声による前記問いかけ情報が入力されると、前記物に対する問いかけ情報と、前記物情報と、を学習済みのモデルに入力し、前記物に対する問いかけに対する応答情報を前記学習済みのモデルより取得し、前記物からの応答として前記オブジェクトから前記応答情報を音声によって出力する、情報処理システム。
情報処理装置が実行する情報処理方法であって、第1の工程と、第2の工程と、第3の工程と、第4の工程と、第5の工程と、を含み、前記第1の工程では、物に付された所定のマークを含む撮像画像より情報を読み取り、前記情報には、前記物に関する物情報と、サーバ装置の接続情報と、が含まれ、前記第2の工程では、前記接続情報に基づき前記サーバ装置と接続し、ユーザによって前記物に対する問いかけ情報が入力されると、前記第3の工程では、前記物に対する問いかけ情報と、前記物情報と、を前記サーバ装置に送信し、前記第4の工程では、前記問いかけ情報と、前記物情報と、に基づき前記サーバ装置において生成された応答情報を前記サーバ装置より受信し、前記第5の工程では、前記物からの応答として前記応答情報を出力する、情報処理方法。
情報処理システムが実行する情報処理方法であって、第1の工程と、第2の工程と、第3の工程と、を含み、前記第1の工程では、物に付された所定のマークを含む撮像画像より情報を読み取り、前記情報には、前記物に関する物情報が含まれ、ユーザによって前記物に対する問いかけ情報が入力されると、前記第2の工程では、前記物に対する問いかけ情報と、前記物情報と、を学習済みのモデルに入力し、前記物に対する問いかけに対する応答情報を前記学習済みのモデルより取得し、前記第3の工程では、前記物からの応答として前記応答情報を出力する、情報処理方法。
プログラムであって、コンピュータを、前記情報処理装置の制御部として機能させるためのプログラム。
もちろん、この限りではない。
【0030】
例えば、上述のプログラムを記憶する、コンピュータ読み取り可能な非一時的な記憶媒体として提供してもよい。
また、上述した実施形態及び変形例を任意に組み合わせて実施するようにしてもよい。
【0031】
トークマーク120を添付する対象は物流品であってもよい。例えば、物流品にトークマーク120が付された場合、ユーザは、クライアント装置110を用いてあたかも物流品と会話して、物流品の管理情報、経路情報、保守情報(サポート情報)、購買情報、決済情報等を得ることができる。
【0032】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態及びその変形は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0033】
100 :サーバ装置
110 :クライアント装置
120 :トークマーク
130 :物
150 :ネットワーク
201 :制御部
202 :記憶部
203 :撮像部
204 :入出力部
205 :音声入出力部
206 :通信部
301 :制御部
302 :記憶部
303 :通信部
400 :決済システム
500 :アイコン
600 :オブジェクト
610 :牛肉
611 :豆腐
622 :八百屋
1000 :情報処理システム