IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 千葉真知子クッキングスタジオ有限会社の特許一覧

特開2024-121405情報処理装置、情報処理方法、及びプログラム
<>
  • 特開-情報処理装置、情報処理方法、及びプログラム 図1
  • 特開-情報処理装置、情報処理方法、及びプログラム 図2
  • 特開-情報処理装置、情報処理方法、及びプログラム 図3
  • 特開-情報処理装置、情報処理方法、及びプログラム 図4
  • 特開-情報処理装置、情報処理方法、及びプログラム 図5
  • 特開-情報処理装置、情報処理方法、及びプログラム 図6
  • 特開-情報処理装置、情報処理方法、及びプログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024121405
(43)【公開日】2024-09-06
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
   G06Q 30/06 20230101AFI20240830BHJP
【FI】
G06Q30/06
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023028493
(22)【出願日】2023-02-27
(71)【出願人】
【識別番号】591100758
【氏名又は名称】千葉真知子クッキングスタジオ有限会社
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】千葉 真知子
【テーマコード(参考)】
5L030
5L049
【Fターム(参考)】
5L030BB72
5L049BB72
(57)【要約】
【課題】遠方の現場で対象物を用いた所定タスクの実行が必要なユーザが、当該対象物をリアルタイムに視認しながら当該所定タスクを容易かつ適切に実行すること。
【解決手段】ユーザ端末制御部51は、遠方の現場に存在する代行者端末3によりリアルタイムに撮像されている動画を現場動画としてユーザ端末2に表示させる制御を実行すると共に、現場の商品をユーザUが購入するための支援となる支援機能をユーザ端末2に提供するための制御を行う。代行者端末制御部52は、現場動画を代行者端末3から取得してユーザ端末制御部51及び必要に応じて助言者端末制御部53に提供する制御を実行すると共に、支援機能の発揮に必要な処理を代行者端末3に実行させる制御を行う。助言者端末制御部53は、ユーザ端末2に表示されている現場動画を助言者端末4にも表示させる制御を実行すると共に、支援機能の発揮に必要な処理を助言者端末4に実行させる制御を行う。
【選択図】図7
【特許請求の範囲】
【請求項1】
遠方の現場で対象物を用いた所定タスクの実行が必要なユーザにより管理される、表示部を少なくとも有するユーザ端末と、当該現場に存在する現場者により管理される、撮像部を少なくとも有する現場者端末と夫々通信をする情報処理装置であって、
前記対象物を含む前記現場の様子が前記現場者端末の前記撮像部により撮像された結果として得られる動画を、現場動画として前記ユーザ端末の前記表示部に表示させる制御を実行すると共に、前記対象物を用いた前記所定タスクを前記ユーザUが実行するための支援となる支援機能を前記ユーザ端末に提供するための制御を行うユーザ端末制御手段と、
前記現場動画を前記現場者端末から取得して前記ユーザ端末制御手段に提供する制御を実行すると共に、前記支援機能の発揮に必要な処理を前記現場者端末に実行させる制御を行う現場者端末制御手段と、
を備える情報処理装置。
【請求項2】
前記現場者端末制御手段は、
前記現場動画を前記現場者端末から取得して前記ユーザ端末制御手段に提供する現場画像取得手段を有し、
前記ユーザ端末制御手段は、
前記現場動画がリアルタイムに表示される表示領域と、前記支援機能を発揮させるためのユーザインターフェースを含む画面を生成して、前記ユーザ端末の前記表示部に表示させるユーザ画面生成手段を有する、
請求項1に記載の情報処理装置。
【請求項3】
前記ユーザ端末制御手段は、
前記支援機能のうち所定機能を発揮させるためのユーザインターフェースに対して前記ユーザにより所定の操作がなされた場合、当該所定の操作を前記ユーザ端末から受け付ける操作受付手段をさらに有し、
前記現場者端末制御手段は、
前記所定機能として前記現場者端末側の処理が必要な機能であった場合、前記操作受付手段により前記所定の操作が受け付けられたとき、当該所定機能を発揮させるために必要な指示を、前記現場者端末に送信する現場指示手段をさらに有する、
請求項2に記載の情報処理装置。
【請求項4】
前記所定機能は、前記撮像部を遠隔操作する機能であり、
前記操作受付手段は、前記ユーザ端末の前記画面に対して前記撮像部の遠隔操作がなされた場合、当該撮像部の遠隔操作を前記ユーザ端末から受け付け、
前記現場指示手段は、前記撮像部を遠隔操作するための前記機能を発揮させるために必要な指示を、前記現場者端末に送信する、
請求項3に記載の情報処理装置。
【請求項5】
前記所定機能は、前記現場動画の解像度を高解像度に切替える機能であり、
前記操作受付手段は、前記ユーザ端末の前記画面に対して前記高解像度へ切替える指示操作がなされた場合、当該指示操作を前記ユーザ端末から受け付け、
前記現場指示手段は、前記現場動画の解像度を前記高解像度に切替える指示を、前記現場者端末に送信する、
請求項3に記載の情報処理装置。
【請求項6】
前記支援機能は、助言者からの助言を前記ユーザが得る機能を含み、
前記情報処理装置は、
前記助言者により管理される助言者端末と通信をして、当該助言者端末を制御する助言者端末制御手段をさらに備え、
前記操作受付手段は、前記ユーザ端末の前記画面に対して前記助言を所望することを示す操作がなされた場合、当該操作を前記ユーザ端末から受け付け、
前記助言者端末制御手段は、
前記助言者端末に対して助言の依頼を通知し、
前記助言者により当該依頼が受諾されたことを示す操作が前記助言者端末に対してなされると、前記現場動画を前記助言者端末に表示させ、
前記ユーザ画面生成手段は、
前記画面に対して、前記助言者が映る子画面を重畳して、前記ユーザ端末に表示させる、
請求項3に記載の情報処理装置。
【請求項7】
前記支援機能は、前記ユーザ端末、前記現場者端末、又は前記助言者端末から送信されてきた第1言語の音声又はテキストを、第2言語の音声又はテキストに翻訳して通信相手に送信する翻訳機能を含み、
前記情報処理装置は、前記翻訳機能を発揮させる翻訳手段をさらに有する、
請求項6に記載の情報処理装置。
【請求項8】
遠方の現場で対象物を用いた所定タスクの実行が必要なユーザにより管理される、表示部を少なくとも有するユーザ端末と、当該現場に存在する現場者により管理される、撮像部を少なくとも有する現場者端末と夫々通信をする情報処理装置が実行する情報処理方法であって、
前記対象物を含む前記現場の様子が前記現場者端末の前記撮像部により撮像された結果として得られる動画を、現場動画として前記ユーザ端末の前記表示部に表示させる制御を実行すると共に、前記対象物を用いた前記所定タスクを前記ユーザUが実行するための支援となる支援機能を前記ユーザ端末に提供するための制御を行うユーザ端末制御ステップと、
前記現場動画を前記現場者端末から取得して前記ユーザ端末制御ステップの処理に提供する制御を実行すると共に、前記支援機能の発揮に必要な処理を前記現場者端末に実行させる制御を行う現場者端末制御ステップと、
を含む情報処理方法。
【請求項9】
遠方の現場で対象物を用いた所定タスクの実行が必要なユーザにより管理される、表示部を少なくとも有するユーザ端末と、当該現場に存在する現場者により管理される、撮像部を少なくとも有する現場者端末と夫々通信をするコンピュータに、
前記対象物を含む前記現場の様子が前記現場者端末の前記撮像部により撮像された結果として得られる動画を、現場動画として前記ユーザ端末の前記表示部に表示させる制御を実行すると共に、前記対象物を用いた前記所定タスクを前記ユーザUが実行するための支援となる支援機能を前記ユーザ端末に提供するための制御を行うユーザ端末制御ステップと、
前記現場動画を前記現場者端末から取得して前記ユーザ端末制御ステップの処理に提供する制御を実行すると共に、前記支援機能の発揮に必要な処理を前記現場者端末に実行させる制御を行う現場者端末制御ステップと、
を含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来より、「画像のものを買い物代行してほしい」といったユーザからの依頼を、買物対象の画像を添付して行い、当該依頼を受けた代行者が買い物対象を代行して購入することを支援するための技術が知られている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019―016195号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、現場で実物をみながら吟味して商品を選択したいという要望が近年挙げられている。特許文献1を含む従来の技術では、当該要望に応えられない状況である。
このような要望を満たすためにユーザが直接現場に訪問することは従来行われていたが、コロナ禍や円高の環境のもとではそのことも困難な状況である。
なお、このような課題は、商品の購入のみならず、遠方の現場で対象物を用いた所定タスクを実行する場合にも同様に生じるものである。
【0005】
本発明は、このような状況に鑑みてなされたものであり、遠方の現場で対象物を用いた所定タスクの実行が必要なユーザが、当該対象物をリアルタイムに視認しながら当該所定タスクを容易かつ適切に実行することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様の情報処理装置は、
遠方の現場で対象物を用いた所定タスクの実行が必要なユーザにより管理される、表示部を少なくとも有するユーザ端末と、当該現場に存在する現場者により管理される、撮像部を少なくとも有する現場者端末と夫々通信をする情報処理装置であって、
前記対象物を含む前記現場の様子が前記現場者端末の前記撮像部により撮像された結果として得られる動画を、現場動画として前記ユーザ端末の前記表示部に表示させる制御を実行すると共に、前記対象物を用いた前記所定タスクを前記ユーザUが実行するための支援となる支援機能を前記ユーザ端末に提供するための制御を行うユーザ端末制御手段と、
前記現場動画を前記現場者端末から取得して前記ユーザ端末制御手段に提供する制御を実行すると共に、前記支援機能の発揮に必要な処理を前記現場者端末に実行させる制御を行う現場者端末制御手段と、
を備える。
【0007】
本発明の一態様の情報処理方法及びプログラムの夫々は、上述の本発明の一態様の情報処理システムに対応する情報処理方法及びプログラムの夫々である。
【発明の効果】
【0008】
本発明によれば、遠方の現場で対象物を用いた所定タスクの実行が必要なユーザが、当該対象物をリアルタイムに視認しながら当該所定タスクを容易かつ適切に実行することができる。
【図面の簡単な説明】
【0009】
図1】本発明の情報処理装置の一実施形態に係るサーバが適用される本サービスの概要を示すイメージ図である。
図2図1の本サービスの提供を受けるための専用アプリが起動された状態のユーザ端末の画面の一例を示す図である。
図3図1の本サービスの支援機能の一例であるHELP機能の概要を説明する図である。
図4図1の本サービスの支援機能の一例であるカメラの遠隔操作機能及び注目機能の概要説明する図である。
図5図1の本サービスに適用される情報処理システム、即ち、本発明の情報処理装置の一実施形態に係るサーバを含む情報処理システムの構成例を示す図である。
図6図5の情報処理システムのうちサーバ、即ち本発明の情報処理装置の一実施形態に係るサーバのハードウェア構成を示すブロック図である。
図7図6のサーバの機能的構成の概要を示す機能ブロック図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について図面を用いて説明する。
【0011】
図1は、本発明の情報処理装置の一実施形態に係るサーバが適用される本サービスの概要を示すイメージ図である。
【0012】
本サービスは、店舗等の現地に訪問することができないユーザUが、現地に存在する代行者Dに店舗内の様子等の動画をリアルタイムで撮影してもらい、遠方でその動画を視聴しつつ、代行者Dとリアルタイムに会話しながら、買い物する(代行者Dに買い物を代行してもらう)ことが可能なサービスである。
【0013】
具体的には例えば図1に示すように、イタリアのとある店舗で販売されている衣服は人気があるものの、インターネットを用いたオンライ販売はしておらず、現地の店舗でしか購入もできないものとする。さらに言えば、店舗でいまの販売対象は衣服RW1,RW2であることすら、当該店舗に訪問しないと分からない状態であるとする。
日本国に存在するユーザUは、当該店舗のファンであり、当該店舗で販売されている衣服を吟味しながら購入することを望んでいるが、コロナ禍や円安の環境の下、現地の店舗に赴くことができない状態である。
このような状態でも、本サービスでは、イタリアに存在する又は赴くことが可能な代行者Dに対して実際に店舗に訪問してその様子等の動画を撮影してもらうことをユーザは依頼することができる。
依頼を受けた代行者Dは、自身の端末3(以下、「代行者端末3」と呼ぶ)を、店舗内に吊るされている衣服RW1,RW2の方に向けて動画撮影をする。これにより、衣服aw1,aw2を被写体として含む動画像がクラウドCを経由して、日本国に存在するユーザUの端末2(以下、「ユーザ端末2」と呼ぶ)に表示される。
これにより、ユーザUは、現地(イタリアの店舗)に赴かなくとも、ユーザ端末2にリアルタイムに表示される動画を視聴するだけで、当該店舗でいまの販売対象は衣服RW1,RW2(動画に映る衣服aw1、aw2)であることを認識することができ、衣服RW1,RW2のうち何れかを購入するのかを吟味することができる。
そして、ユーザUは、衣服RW1,RW2のうち何れかを購入対象としたことを、ユーザ端末2からクラウドC経由で代行者端末3に通知することで、現地の代行者Dに購入対象の衣服をその場で購入してもらうこともできる。
【0014】
なお、代行者Dは、ユーザUにより予め指名された者であってもよいし、ユーザUからの要望又はサーバ(後述の図5のサーバ1)の自律的判断に基づくマッチングにより抽出された者であってもよい。例えば、代行者Dは、日本国等から出張する者であってもよいが、マッチングにより現地から抽出された者であると好適である。さらに、代行者Dは、より良い商品をいち早く見つけることが可能な者である好適である。
【0015】
ところで、人が物を購入するために吟味する際には、遠目から判断できる形状や模様(衣服のデザイン等)のみならず、各種各様な情報が用いられる。
本サービスでは、このような各種各様な情報が、現地に赴けないユーザUに対しても入手可能となるように、各種支援機能が提供される。
具体的には例えば、本実施形態では、本サービスの提供を受けるための専用のアプリケーションソフトウエアプログラム(以下、「専用アプリ」と呼ぶ)がユーザ端末2及び代行者端末3にインストールされているものとする。
ユーザUは、ユーザ端末2において専用アプリを起動することで、各種支援機能を利用することができるようになる。
【0016】
図2は、図1の本サービスの提供を受けるための専用アプリが起動された状態のユーザ端末の画面の一例を示している。
即ち、専用アプリが起動されると、図2に示すような画面がユーザ端末2に表示される。
この画面には、表示領域Aと、その右方のソフトウェアのボタンBH,BP,BC,BTとが配置されている。
表示領域Aは、代行者Dの操作に基づいて代行者端末3によりリアルタイムに撮像された動画像が表示される。図2の例では、図1の例に対応させて、イタリアの店舗内の様子の動画像、即ち衣服aw1,aw2を被写体として含む動画像が表示領域Aに表示されている。
ここで、専用アプリの支援機能としては、HELP機能、注目機能、指示機能、翻訳機能等が存在している。ボタンBHは、HELP機能を発揮させるためのボタンである。ボタンBPは、注目機能を発揮させるためのボタンである。ボタンBCは、指示機能を発揮させるためのボタンである。ボタンBTは、翻訳機能を発揮させるためのボタンである。
即ち、ユーザUは、ボタンBH,BP,BC,BTのうち、所望の機能の名称が表示されたボタンを押下することで、当該所望の機能をユーザ端末2に発揮させることができる。
【0017】
ユーザUは、HELPと表示されたボタンBHを押下することで、HELP機能をユーザ端末2に発揮させることができる。
HELP機能とは、第三者Hの助言をユーザUが受けられる機能である。なお、以下、第三者Hを助言者Hと呼ぶ。
即ち、ユーザUは、商品の販売場所(本例ではイタリア)や分野(本例ではファッション分野)等について素人であることが多く、自身の判断のみでは、適切な商品を購入できない場合もある。
このような場合、ユーザUは、ボタンBHを押下するだけで、当該販売場所や当該分野等について造詣の深い助言者Hから助言を受けることが可能になり、適切な商品を購入できるようになる。
【0018】
図3は、図1の本サービスの支援機能の一例であるHELP機能の概要を説明する図である。
図2のボタンBHが押下されると、図3に示すように、HELP機能が発揮される。
具体的には例えば、ボタンBHが押下されると、助言者Hの端末4(以下、「助言者端末4」と呼ぶ)に対して助言の依頼が通知される。
助言者Hにより当該依頼が受諾されると、助言者端末4には、図3に示すように、ユーザ端末2の表示領域Aに表示中の動画像、本例では衣服aw1,aw2を含む店舗の様子が映る動画像が表示されると共に、ユーザUの顔画像aUが表示される。
一方、ユーザ端末2には、図2の画面に対して、助言者Hの顔画像aHが映る子画面AHが重畳表示される。
これにより、ユーザUは、助言者Hとコミュニケーションを取ることができる。即ち、ユーザUは、助言者Hからの助言(本例では左のワンピースの方がよいよ、という助言)を受けることができる。
【0019】
なお、助言者Hは、ユーザUにより予め指名された者であってもよいし、ユーザUからの要望又はサーバ(後述の図5のサーバ1)の自律的判断に基づくマッチングにより抽出された者であってもよい。
【0020】
ところで、図1の本サービスの支援機能としては、さらに、図1の代行者端末3のカメラの遠隔操作をすることが可能な機能(以下、「遠隔操作機能」と呼ぶ)も存在する。
図4は、図1の本サービスの支援機能の一例であるカメラの遠隔操作機能及び注目機能の概要説明する図である。
ユーザ端末2及び代行者端末3は、スマートフォンやタブレット端末で構成され、内蔵されたカメラで撮像する際に、その撮像された動画像が映る画面(タッチパネル)を操作することで、ズームしたり露出を変更したり等各種カメラの設定をすることができる。このような各種カメラの設定をする操作を、ここでは「カメラの操作」と呼んでいる。
本来、代行者端末3で動画像(本例では衣服aw1やaw2が映る動画像)が撮像されているので、代行者Dが代行者端末3に対してカメラの操作をする必要がある。しかしながら、この動画像を視て吟味するのは代行者DではなくユーザUであるところ、ユーザUが代行者Dに通話やテキスト通信等でカメラの操作を指示して、ユーザUが望む動画像を得ることは困難である。
そこで、本サービスでは、ユーザUが、ユーザ端末2を用いて、代行者端末3に対するカメラの操作を遠隔ですることが可能になっている。なお、このようなカメラの操作を遠隔ですることを、ここでは「カメラの遠隔操作」と呼んでいる。
具体的には例えば、図2の助言機能により助言者から、左のワンピース、即ち動画像に映る衣服aw1がよいと助言されたので、ユーザUは、衣服aw1の拡大画像を視ることを所望したとする。
この場合、図4に示すように、ユーザUは、ユーザ端末の画面に対していわゆるピンチ操作をするだけで、イタリアの店舗に存在する代行者端末3のカメラに対してズームを指示することができる。
【0021】
ところで、ユーザUは、衣服等を吟味する際には、遠目からのデザインのみならず、材質等細かな部分も注目して判断することを所望する場合がある。
このような細かな部分を注目して視認するためには、例えば8K程度の高解像度の画像である必要がある。しかしながら、8K程度の高解像度の動画像をインターネット等のクラウドC(図1)を介して通信することは現状では重負荷のため、リアルタイム性を損なう可能性もある。
そこで、本サービスでは、通常の場合、2K程度の解像度の動画像で代行者端末3からユーザ端末2に送信されるが、注目と表示されたボタンBPが押下されると、注目機能が発揮し、8K程度の高解像度の動画像が代行者端末3からユーザ端末2に送信されるようになる。
これにより、ユーザUは、8K程度の高解像度の動画像を視認して、衣服a1の材質等細かな部分をはっきりと確認しながら、当該衣服aw1を購入するか否かを吟味することができる。
【0022】
また、図1の本サービスのその他の支援機能として、例えば、指示と表示されたボタンBCが押下されると、指示機能が発揮される。
指示機能とは、ユーザUが、イタリアの店舗等遠隔の現場に存在する代行者D又は代行者端末3に対して指示をする機能である。
ユーザUによる指示の入力手法は、特に限定されず、マイクロフォンによる音声入力であってもよいし、画面操作等によるテキスト入力であってもよい。テキスト入力の場合、キーボード等のテキスト入力画面が、ユーザ端末2に表示される。
【0023】
また、図1の本サービスのその他の支援機能として、例えば、翻訳と表示されたボタンBTが押下されると、翻訳機能が発揮される。
翻訳機能とは、代行者端末3により撮像された動画に含まれる音声(例えば店舗の店員や代行者Dの音声)や、代行者端末3に入力されたテキストを、ユーザUが指定する言語(例えば日本語)に翻訳して、ユーザ端末2から出力する機能である。
必要に応じて、ユーザUによりユーザ端末2に入力された音声やテキストを、所定の言語(例えばイタリア語)に翻訳して、代行者端末3から出力する機能を、翻訳機能に含めてもよい。
さらにまた、助言者Hにより助言者端末4に入力された音声やテキストを、ユーザUが指定する言語(例えば日本語)に翻訳して、ユーザ端末2から出力する機能を、翻訳機能に含めてもよい。同様に、ユーザUによりユーザ端末2に入力された音声やテキストを、所定の言語(例えば助言者Hの母国語)に翻訳して、助言者端末4から出力する機能を、翻訳機能に含めてもよい。
【0024】
次に、このような各種支援機能を含む図1の本サービスに適用される情報処理システムの構成について説明する。
図5は、図1の本サービスに適用される情報処理システム、即ち、本発明の情報処理装置の一実施形態に係るサーバを含む情報処理システムの構成例を示す図である。
【0025】
図5に示す情報処理システムは、サーバ1と、ユーザ端末2と、代行者端末3と、助言者端末4とが、インターネット等の所定のネットワークNWを介して相互に接続されることで構成される。
【0026】
サーバ1は、図1の本サービスの提供者(以下、「サービス提供者」と呼ぶ)によって管理されるサーバである。
ユーザ端末2は、ユーザUにより管理される、スマートフォンやタブレット端末である。
代行者端末3は、代行者Dにより管理される、スマートフォンやタブレット端末である。
助言者端末4は、助言者Hにより管理される、スマートフォンやタブレット端末である。
なお、上述の例では、ユーザU、代行者D、及び助言者Hの夫々は1人のみ図示されていたため、ユーザ端末2、代行者端末3、及び助言者端末4の夫々は1台ずつ図5に描画されている。実際には、ユーザU、代行者D、及び助言者Hの夫々は複数人であるため、ユーザ端末2、代行者端末3、及び助言者端末4の夫々も複数台になる。また、所定の人物が、各種ケースに応じて、ユーザU、代行者D、及び助言者Hのうち2以上の役割を担う場合もある。
【0027】
図6は、図5の情報処理システムのうちサーバのハードウェア構成を示すブロック図である。
【0028】
サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、入力部16と、出力部17と、記憶部18と、通信部19と、ドライブ20とを備えている。
【0029】
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0030】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、入力部16、出力部17、記憶部18、通信部19及びドライブ20が接続されている。
【0031】
入力部16は、各種ハードウェア鉛等で構成され、各種情報を入力する。
出力部17は、各種液晶ディスプレイ等で構成され、各種情報を出力する。
記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークを介して他の装置(例えば図2のユーザ端末2、代行者端末3、助言者端末4)との間で行う通信を制御する。
【0032】
ドライブ20は、必要に応じて設けられる。ドライブ20には磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ20によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。またリムーバブルメディア31は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
【0033】
なお、図示はしないが、ユーザ端末2、代行者端末3、及び助言者端末4も図6に示すハードウェア構成を有している。
【0034】
図7は、図6のサーバの機能的構成の概要を示すブロック図である。
【0035】
図7に示すように、サーバ1のCPU11においては、ユーザ端末制御部51と、代行者端末制御部52と、助言者端末制御部53とが機能する。
【0036】
ユーザ端末制御部51は、遠方の現場に存在する代行者端末3によりリアルタイムに撮像されている動画(以下、「現場動画」と呼ぶ)をユーザ端末2に表示させる制御を実行すると共に、現場の商品をユーザUが購入するための支援となる支援機能をユーザ端末2に提供するための制御を行う。
代行者端末制御部52は、現場動画を代行者端末3から取得してユーザ端末制御部51(及び必要に応じて助言者端末制御部53)に提供する制御を実行すると共に、支援機能の発揮に必要な処理を代行者端末3に実行させる制御を行う。
助言者端末制御部53は、ユーザ端末2に表示されている現場動画を助言者端末4にも表示させる制御を実行すると共に、支援機能の発揮に必要な処理を助言者端末4に実行させる制御を行う。
【0037】
具体的には、ユーザ端末制御部51は、ユーザ画面生成部61と、操作受付部62と、翻訳部63とを有する。
代行者端末制御部52は、現場指示部71と、現場画像取得部72とを有する。
【0038】
現場画像取得部72は、現場動画を代行者端末3から取得してユーザ端末制御部51(及び必要に応じて助言者端末制御部53)に提供する。
ユーザ画面生成部61は、現場動画がリアルタイムに表示される表示領域(図2の例では表示領域A)と、支援機能を発揮させるためのユーザインターフェース(図2の例ではボタンBH,BP,BC,BT)を含む画面(例えば図2の画面であり、以下、「ユーザ画面」と呼ぶ)を生成して、ユーザ端末2に表示させる。
【0039】
操作受付部62は、支援機能のうち所定機能を発揮させるためのユーザインターフェースに対してユーザにより所定の操作がなされた場合、当該操作をユーザ端末2から受け付ける。
現場指示部71は、所定機能として代行者端末3側の処理が必要な機能であった場合、操作受付部62により所定の操作が受け付けられたとき、当該所定機能を発揮させるために必要な指示を、代行者端末3に送信する。
【0040】
具体的には例えば、所定機能として遠隔操作機能であった場合、即ち、ユーザ端末2のユーザ画面に対してカメラの遠隔操作(例えばズーム指示を示すピンチ操作)がなされた場合、操作受付部62は、当該カメラの遠隔操作をユーザ端末2から受け付ける。すると、現場指示部71は、遠隔操作機能を発揮させるために必要な指示(ズーム指示等のカメラの設定指示)を、代行者端末3に送信する。
代行者端末3は、当該指示をうけて、ズーム等のカメラの設定処理を実行する。
【0041】
また例えば、所定機能として注目機能であった場合、即ち、ユーザ端末2のユーザ画面のうちボタンBPが押下操作された場合、操作受付部62は、当該押下操作をユーザ端末2から受け付ける。すると、現場指示部71は、注目機能を発揮させるために必要な指示(解像度を2Kから8Kに変更する指示)を、代行者端末3に送信する。
代行者端末3は、当該指示をうけて、カメラのレンズを切替える等して、動画像の解像度を2Kから8Kに切替えるための処理を実行する。
【0042】
また例えば、所定機能として指示機能であった場合、即ち、ユーザ端末2のユーザ画面のうちボタンBCが押下操作された場合、操作受付部62は、当該押下操作をユーザ端末2から受け付ける。すると、現場指示部71は、指示機能を発揮させるために必要な各種指示(ユーザ端末2から音声又はテキストにより入力された各種指示)を、代行者端末3に送信する。
代行者端末3は、当該各種指示の夫々に応じた各種処理を実行する。
【0043】
また例えば、操作受付部62は、ユーザ端末2のユーザ画面のうちボタンBHが押下操作された場合、当該操作をユーザ端末2から受け付ける。
すると、助言者端末制御部53は、助言者端末4に対して助言の依頼を通知する。助言者Hにより当該依頼が受諾されると(そのような操作が助言者端末4に対してなされると)、助言者端末制御部53は、現場動画(図3の例では、衣服aw1,aw2を含む店舗の様子が映る動画像)、及びユーザUの顔画像aUを助言者端末4に表示させる。
一方、ユーザ画面生成部61は、ユーザ画面(図2の画面)に対して、助言者Hの顔画像aHが映る子画面AHを重畳して、ユーザ端末2に表示させる。
これにより、ユーザUは、助言者Hとコミュニケーションを取ることができる。即ち、ユーザUは、助言者Hからの助言(図3の例では左のワンピースの方がよいよ、という助言)を受けることができる。
【0044】
また例えば、操作受付部62は、ユーザ端末2のユーザ画面のうちボタンBTが押下操作された場合、当該操作をユーザ端末2から受け付ける。
すると、翻訳部63は、ユーザ端末2、代行者端末3、及び助言者端末4のうち、第1言語で入力された音声又はテキストを、第2言語の音声又はテキストに翻訳して、通信相手の端末に送信する制御を実行する。
具体的には例えば、翻訳部63は、代行者端末3から送信されてきた現場動画に含まれるイタリア語の音声(例えば店舗の店員や代行者Dの音声)や、代行者端末3に入力されたイタリア語のテキストを、日本語の音声やテキストに翻訳して、ユーザ端末2から出力させる制御を実行する。
また例えば、翻訳部63は、ユーザUによりユーザ端末2に入力された日本語の音声やテキストを、例えばイタリア語の音声やテキストに翻訳して、代行者端末3から出力させる制御を実行する。
さらに例えば、上述のHELP機能が発揮されて、英語を母国語とする助言者Hと、ユーザUがコミュニケーションを取っている場合、翻訳部63は、助言者Hにより助言者端末4に入力された英語の音声やテキストを、日本語の音声やテキストに翻訳して、ユーザ端末2から出力させる制御を実行する。それと同時に、翻訳部63は、ユーザUによりユーザ端末2に入力された日本語の音声やテキストを、英語の音声やテキストに翻訳して、助言者端末4から出力させる制御を実行する。
【0045】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0046】
例えば、上述の本サービスでは、専用のアプリが利用されが、特にこれに限定されず、その他例えば、ユーザ端末2がWebブラウザを用いてサーバ1と通信をすることで実現するようにしてもよい。
【0047】
また例えば、上述の例では、現場から遠方に存在するユーザUが、現場で販売される衣服等の商品を代行者Dに購入してもらう本サービスが採用されたが、特にこれに限定されない。
例えば、ユーザUが、遠方の現場に存在する不動産物件の賃貸や購入等を検討する際に、現場に訪問することが可能な者(以下、「現場者」と呼ぶ)が自身のスマートフォン等の端末(以下、「現場者端末」と呼ぶ)を操作して、不動産物件(特に水回りや電気関係の箇所)をリアルタイムの動画で撮影して、ユーザUのユーザ端末2に表示させるようなサービスに対しても、本発明の情報処理装置は適用可能である。
例えば、ユーザUが、自身の目でみながら所定物を製造や点検してもらうことを所望した場合であって、その製造や点検する現場が遠方に存在する場合、現場者が現場者端末を操作して、所定物を製造や点検している様子をリアルタイムの動画で撮影して、ユーザUのユーザ端末2に表示させるようなサービスに対しても、本発明の情報処理装置は適用可能である。
また例えば、ユーザUが、医師であり、緊急救命の現場で医療行為を所望した場合であって、その現場が遠方に存在する場合、現場者が現場者端末を操作して、患者の様子をリアルタイムの動画で撮影して、ユーザUのユーザ端末2に表示させるようなサービスに対しても、本発明の情報処理装置は適用可能である。
以上まとめると、ユーザUが、遠方の現場に存在する対象物を用いた所定のタスクを実行する場合に、現場者が現場者端末を操作して、対象物の様子をリアルタイムの動画で撮影して、ユーザUのユーザ端末2に表示させるような各種各様なサービスに対して広く、本発明の情報処理装置は適用可能である。
【0048】
また、図5に示す情報処理システムの構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
例えば上述の実施形態では、1つのサーバ1が用いられているが、特にこれに限定されず、2つ以上のサーバに分散されてもよい。
【0049】
また、図6に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【0050】
また、図7に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図7の例に限定されない。
【0051】
また、機能ブロックの存在場所も、図7に限定されず、任意でよい。例えばサーバ1側の機能ブロックの少なくとも一部を、図5に示すユーザ端末2、代行者端末3、助言者端末4、又はその他の図示せぬ装置に設けてもよいし、その逆でもよい。
そして、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体との組み合わせで構成してもよい。
【0052】
各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0053】
このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成される。
【0054】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0055】
以上まとめると、本発明が適用される情報処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理装置(例えば図5のサーバ1)は、
遠方の現場(例えば図1のイタリアの店舗)で対象物(例えば図1の衣服RW1,RW2)を用いた所定タスク(例えば買い物)を実行するユーザ(例えば図1のユーザU)により管理される、表示部を少なくとも有するユーザ端末(例えば図1のユーザ端末2)と、当該現場に存在する現場者(例えば図1の代行者D)により管理される、撮像部を少なくとも有する現場者端末(例えば代行者端末3)と夫々通信をする情報処理装置であって、
前記対象物を含む前記現場の様子が前記現場者端末の前記撮像部により撮像された結果として得られる動画(例えば図1の衣服aw1,aw2を含む動画)を、現場動画として前記ユーザ端末の前記表示部に表示させる制御を実行すると共に、前記対象物を用いた前記所定タスクを前記ユーザUが実行するための支援となる支援機能(例えば明細書でいうHELP機能、注目機能、指示機能、翻訳機能、カメラの遠隔操作機能)を前記ユーザ端末に提供するための制御を行うユーザ端末制御手段(例えば図7のユーザ端末制御部51)と、
前記現場動画を前記現場者端末から取得して前記ユーザ端末制御手段に提供する制御を実行すると共に、前記支援機能の発揮に必要な処理を前記現場者端末に実行させる制御を行う現場者端末制御手段(例えば図7の代行者端末制御部52)と、
を備える。
これにより、遠方の現場で対象物を用いた所定タスクの実行が必要なユーザが、当該対象物をリアルタイムに視認しながら当該所定タスクを容易かつ適切に実行することが可能になる。
【0056】
前記現場者端末制御手段は、
前記現場動画を前記現場者端末から取得して前記ユーザ端末制御手段に提供する現場画像取得手段(例えば図7の現場画像取得部72)を有し、
前記ユーザ端末制御手段は、
前記現場動画がリアルタイムに表示される表示領域(例えば図2の表示領域A)と、前記支援機能を発揮させるためのユーザインターフェース(例えば図2のボタンBH,BP,BC,BT)を含む画面(例えば図2のユーザ画面)を生成して、前記ユーザ端末の前記表示部に表示させるユーザ画面生成手段(例えば図2のユーザ画面生成部61)を有する、
ことができる。
【0057】
前記ユーザ端末制御手段は、
前記支援機能のうち所定機能を発揮させるためのユーザインターフェースに対して前記ユーザにより所定の操作がなされた場合、当該所定の操作を前記ユーザ端末から受け付ける操作受付手段(例えば図7の操作受付部62)をさらに有し、
前記現場者端末制御手段は、
前記所定機能として前記現場者端末側の処理が必要な機能であった場合、前記操作受付手段により前記所定の操作が受け付けられたとき、当該所定機能を発揮させるために必要な指示を、前記現場者端末に送信する現場指示手段(例えば図7の現場指示部71)をさらに有する、
ことができる。
【0058】
前記所定機能は、前記撮像部を遠隔操作する機能(例えば明細書でいうカメラの遠隔操作機能)であり、
前記操作受付手段は、前記ユーザ端末の前記画面に対して前記撮像部の遠隔操作(例えば図4の上方に示すようなズームを指示するピンチ操作)がなされた場合、当該撮像部の遠隔操作を前記ユーザ端末から受け付け、
前記現場指示手段は、前記撮像部を遠隔操作するための前記機能を発揮させるために必要な指示(例えばズームの指示)を、前記現場者端末に送信する、
ことができる。
【0059】
前記所定機能は、前記現場動画の解像度を高解像度に切替える機能(例えば明細書でいう注目機能)であり、
前記操作受付手段は、前記ユーザ端末の前記画面に対して前記高解像度へ切替える指示操作(例えば図4の中央に示すようなボタンBPの押下操作)がなされた場合、当該指示操作を前記ユーザ端末から受け付け、
前記現場指示手段は、前記現場動画の解像度を前記高解像度に切替える指示(例えば2Kから8Kに切替える指示)を、前記現場者端末に送信する、
ことができる。
【0060】
前記支援機能は、助言者(例えば図3の助言者H)からの助言を前記ユーザが得る機能(例えば明細書でいうHELP機能)を含み、
前記情報処理装置は、
前記助言者により管理される助言者端末(例えば図2の助言者端末4)と通信をして、当該助言者端末を制御する助言者端末制御手段(例えば図7の助言者端末制御部53)をさらに備え、
前記操作受付手段は、前記ユーザ端末の前記画面に対して前記助言を所望することを示す操作(例えば図3のボタンBHの押下操作)がなされた場合、当該操作を前記ユーザ端末から受け付け、
前記助言者端末制御手段は、
前記助言者端末に対して助言の依頼を通知し、
前記助言者により当該依頼が受諾されたことを示す操作が前記助言者端末に対してなされると、前記現場動画を前記助言者端末に表示させ(例えば図3のように表示させ)、
前記ユーザ画面生成手段は、
前記画面(例えば図3の表示領域A)に対して、前記助言者が映る子画面(例えば図3の助言者Hの顔画像aHが映る子画面AH)を重畳して、前記ユーザ端末に表示させる、
ことができる。
【0061】
前記支援機能は、前記ユーザ端末、前記現場者端末、又は前記助言者端末から送信されてきた第1言語の音声又はテキストを、第2言語の音声又はテキストに翻訳して通信相手に送信する翻訳機能を含み、
前記情報処理装置は、前記翻訳機能を発揮させる翻訳手段(例えば図7の翻訳部63)をさらに有する、
ことができる。
【符号の説明】
【0062】
1:サーバ、2:ユーザ端末、3:代行者端末、4:助言者端末、11:CPU、12:ROM、13:RAM、14:バス、15:入出力インターフェース、16:入力部、17:出力部、18:記憶部、19:通信部、20:ドライブ、31:リムーバブルメディア、51:ユーザ端末制御部、52:代行者端末制御部、53:助言者端末制御部、61:ユーザ画面生成部、62:操作受付部、71:現場指示部、72:現場画像取得部
図1
図2
図3
図4
図5
図6
図7