(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】
(43)【公開日】
(54)【発明の名称】データ処理装置、データ処理方法及びプログラム
(51)【国際特許分類】
【FI】
【審査請求】有
【請求項の数】8
【出願形態】
(21)【出願番号】
(22)【出願日】
(71)【出願人】
【識別番号】591280485
【氏名又は名称】ソフトバンクグループ株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】太田黒 悟
(72)【発明者】
【氏名】加藤木 哲也
(72)【発明者】
【氏名】内山 亜沙美
(57)【要約】
【課題】ユーザに適した自由度の高い旅行計画を提供するデータ処理装置及びデータ処理システムを得る。
【解決手段】データ処理装置は、ユーザに関する情報と、ツアーガイドの知識に関する情報を用いて予め学習された生成AIと、に基づいて、旅行計画を生成し、前記旅行計画に関する情報を出力する。
【選択図】
図8
【特許請求の範囲】
【請求項】
ユーザに関する情報と、ツアーガイドの知識に関する情報を用いて予め学習された生成AIと、に基づいて、旅行計画を生成する生成部と、
前記旅行計画に関する情報を出力する出力部と、
を含むデータ処理装置。
【請求項】
前記生成部は、前記ユーザに対する質問事項を含むプロンプトを前記生成AIに入力することにより、前記生成AIに前記ユーザに関する情報を取得させる
請求項1に記載のデータ処理装置。
【請求項】
前記プロンプトは、更に、前記旅行計画に含まれる訪問先の見どころ及び前記旅行計画の工夫点を生成する指示を含み、
前記出力部は、前記旅行計画に関する情報として、前記旅行計画、前記訪問先の見どころ、及び前記旅行計画の工夫点を出力する
請求項2に記載のデータ処理装置。
【請求項】
前記生成部は、前記生成AIにより生成された第1の旅行計画を対話型検索エンジンに入力することによって前記第1の旅行計画が詳細化された第2の旅行計画を生成し、
前記出力部は、前記第2の旅行計画に関する情報を出力する
請求項1から請求項3の何れか1項に記載のデータ処理装置。
【請求項】
前記生成部は、前記旅行計画に関する情報として、前記旅行計画に含まれる前記ユーザの訪問先の情報を得るためのリンクを生成する
請求項1から請求項3の何れか1項に記載のデータ処理装置。
【請求項】
前記生成AIは、更に、人間らしさの定義を用いて予め学習されている
請求項1から請求項3の何れか1項に記載のデータ処理装置。
【請求項】
前記生成部は、スマートデバイスにおいて取得されたユーザ入力を表す音声データが変換されて得られたテキストデータを前記生成AIに入力する
請求項1から請求項3の何れか1項に記載のデータ処理装置。
【請求項】
ユーザに関する情報と、ツアーガイドの知識に関する情報を用いて予め学習された生成AIと、に基づいて、旅行計画を生成し、
前記旅行計画に関する情報を出力する
処理をコンピュータが実行するデータ処理方法。
【請求項】
ユーザに関する情報と、ツアーガイドの知識に関する情報を用いて予め学習された生成AIと、に基づいて、旅行計画を生成し、
前記旅行計画に関する情報を出力する
処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【】
本開示の技術は、データ処理装置、データ処理方法及びプログラムに関する。
【背景技術】
【】
特許文献1には、ユーザ端末からの要求に応じて、宿泊施設と交通手段とが関連付けられた旅行商品を提供し、旅行商品を予約する予約システムが開示されている。
【先行技術文献】
【特許文献】
【】
【発明の概要】
【発明が解決しようとする課題】
【】
特許文献1に記載の技術では、宿泊施設と交通手段とが関連付けられた旅行商品のみを対象としているため、ユーザに適した自由度の高い旅行計画を提供するという観点において改善の余地がある。
【課題を解決するための手段】
【】
本開示の技術のデータ処理装置は、ユーザに関する情報と、ツアーガイドの知識に関する情報を用いて予め学習された生成AIと、に基づいて、旅行計画を生成する生成部と、前記旅行計画に関する情報を出力する出力部と、を含む。
【】
本開示の技術のデータ処理方法は、ユーザに関する情報と、ツアーガイドの知識に関する情報を用いて予め学習された生成AIと、に基づいて、旅行計画を生成し、前記旅行計画に関する情報を出力する処理をコンピュータが実行する。
【】
本開示の技術のプログラムは、ユーザに関する情報と、ツアーガイドの知識に関する情報を用いて予め学習された生成AIと、に基づいて、旅行計画を生成し、前記旅行計画に関する情報を出力する処理をコンピュータに実行させる。
【図面の簡単な説明】
【】
【図】データ処理システムの構成の一例を示すブロック図である。
【図】データ処理装置の要部機能の一例を示すブロック図である。
【図】データ生成モデルの学習を説明するための図である。
【図】データ処理装置の第1処理部の機能構成の一例を示すブロック図である。
【図】旅行計画を生成するデータ生成モデルに入力されるプロンプトの一例を示す。
【図】ユーザとの対話例を示す。
【図】第1の旅行計画の一例示す。
【図】第2の旅行計画の一例示す。
【図】旅行計画の見どころの一例を示す。
【図】旅行計画の工夫点の一例を示す。
【図】代替店舗情報の一例を示す。
【図】データ処理装置の第2処理部の機能構成の一例を示すブロック図である。
【図】案内用アバターの一例を示す。
【図】旅行計画生成処理の一例を示すフローチャートである。
【図】アバター生成処理の一例を示すフローチャートである。
【図】プロンプトの一例を示す。
【図】観光地及び関連トピックの説明例を示す。
【図】音声入力処理の一例を示すフローチャートである。
【発明を実施するための形態】
【】
以下、添付図面に従って本開示の技術に係るデータ処理装置、データ処理方法、及びプログラムの実施形態の一例について説明する。
【】
先ず、以下の説明で使用される文言について説明する。
【】
以下の実施形態において、符号付きのプロセッサ(以下、単に「プロセッサ」と称する)は、1つの演算装置であってもよいし、複数の演算装置の組み合わせであってもよい。また、プロセッサは、1種類の演算装置であってもよいし、複数種類の演算装置の組み合わせであってもよい。演算装置の一例としては、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、GPGPU(General-Purpose computing on Graphics Processing Units)、又はAPU(Accelerated Processing Unit)等が挙げられる。
【】
以下の実施形態において、符号付きのRAM(Random Access Memory)は、一時的に情報が格納されるメモリであり、プロセッサによってワークメモリとして用いられる。
【】
以下の実施形態において、符号付きのストレージは、各種プログラム及び各種パラメータ等を記憶する1つ又は複数の不揮発性の記憶装置である。不揮発性の記憶装置の一例としては、フラッシュメモリ(例えば、SSD(Solid State Drive))、磁気ディスク(例えば、ハードディスク)、又は磁気テープ等が挙げられる。
【】
以下の実施形態において、符号付きの通信I/F(Interface)は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信I/Fは、複数のコンピュータ間での通信を司る。通信I/Fに対して適用される通信規格の一例としては、5G(5th Generation Mobile Communication System)、Wi-Fi(登録商標)、又はBluetooth(登録商標)等を含む無線通信規格が挙げられる。
【】
以下の実施形態において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
【】
図1には、実施形態に係るデータ処理システム10の構成の一例が示されている。
【】
図1に示すように、データ処理システム10は、データ処理装置12及びスマートデバイス14を備えている。データ処理装置12の一例としては、サーバが挙げられる。スマートデバイス14の例としては、スマートフォン、タブレット端末、スマート眼鏡、ヘッドセット型端末、パーソナルコンピュータ、及びロボット等が挙げられる。スマートデバイス14は、旅行者であるユーザによって使用される。
【】
データ処理装置12は、コンピュータ22及び通信I/F26を備えている。コンピュータ22は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ22は、プロセッサ28、RAM30、及びストレージ32を備えている。プロセッサ28、RAM30、及びストレージ32は、バス34に接続されている。また、通信I/F26も、バス34に接続されている。通信I/F26は、ネットワーク54に接続されている。ネットワーク54の一例としては、WAN(Wide Area Network)及び/又はLAN(Local Area Network)等が挙げられる。
【】
スマートデバイス14は、コンピュータ36、受付装置38、出力装置40、カメラ42、及び通信I/F44を備えている。コンピュータ36は、プロセッサ46、RAM48、及びストレージ50を備えている。プロセッサ46、RAM48、及びストレージ50は、バス52に接続されている。また、受付装置38、出力装置40、カメラ42、及び通信I/F44も、バス52に接続されている。
【】
受付装置38は、音声入力装置の一例としてのマイクロフォン38Aを備える。受付装置38は、ユーザ入力を受け付ける。受付装置38は、タッチパネル、キーボード、及びマウス等を備えてもよい。出力装置40は、ディスプレイ40A及びスピーカ40B等を備える。出力装置40は、データをユーザが知覚可能な表現形(例えば、動画、画像、音声及び/又はテキスト)で出力することでデータをユーザに対して提示する。カメラ42は、レンズ、絞り、及びシャッタ等の光学系と、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等の撮像素子とが搭載された小型デジタルカメラである。
【】
通信I/F44は、ネットワーク54に接続されている。通信I/F44及び26は、ネットワーク54を介してプロセッサ46とプロセッサ28との間の各種情報の授受を司る。
【】
図2には、データ処理装置12の要部機能の一例が示されている。
図2に示すように、データ処理装置12では、プロセッサ28によって旅行計画生成処理及びアバター生成処理が行われる。ストレージ32には、データ処理プログラム56が格納されている。プロセッサ28は、ストレージ32からデータ処理プログラム56を読み出し、読み出したデータ処理プログラム56をRAM30上で実行する。旅行計画生成処理は、プロセッサ28がRAM30上で実行するデータ処理プログラム56に従って第1処理部290として動作することによって実現される。アバター生成処理は、プロセッサ28がRAM30上で実行するデータ処理プログラム56に従って第2処理部292として動作することによって実現される。
【】
ストレージ32には、データ生成モデル58、対話型検索エンジン60、データ生成モデル62、及びアバター生成モデル64が格納されている。データ生成モデル58及び対話型検索エンジン60は、第1処理部290によって用いられる。データ生成モデル62及びアバター生成モデル64は、第2処理部292によって用いられる。データ生成モデル58、対話型検索エンジン60、データ生成モデル62、及びアバター生成モデル64の少なくとも1つは、ネットワーク54を介してアクセス可能なクラウドサーバ等の外部システムに設けられてもよい。
【】
データ生成モデル58は、旅行計画の生成に用いられる生成AI(Artificial Intelligence)の一例である。生成AIの例としては、ChatGPT(登録商標)及びGemini(登録商標)等が挙げられる。データ生成モデル58は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル58には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル58は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び/又は要約等を指す。
【】
図3に示すように、本実施形態に係るデータ生成モデル58は、実在するツアーガイドの知識に関する情報を用いて予め学習されたモデルである。ツアーガイドの知識に関する情報は、ツアーガイドが調べて得た知識、ツアーガイドが過去に経験して得た知識及び、過去にツアーガイドが実際のツアーにおいて旅行者に対して説明した内容等を含む。例えば、ツアーガイドの知識に関する情報は、ユーザに対してどのような訪問先を提案するか等のユーザへの気遣い、ユーザの好み、移動効率、及びユーザとの対話の展開の仕方等の知識を含む。また、データ生成モデル58は、対応可能な言語、得意分野、及び好み等のツアーガイドの基本情報を用いて予め学習されている。これにより、データ生成モデル58は、ツアーガイドの特徴が反映されたモデルとなる。なお、データ生成モデル58は、更に、気遣い等の人間らしさの定義を用いて予め学習されていてもよい。
【】
対話型検索エンジン60は、対話形式で既存の検索エンジンを用いた検索を行うことによって入力に対する返答を行うAIである。
【】
データ生成モデル62は、旅行計画に含まれるユーザの訪問先に関するツアーガイドの案内用トークの生成に用いられる生成AIの一例であり、開示の技術に係るテキスト生成AIの一例である。本実施形態に係るデータ生成モデル62は、実在するツアーガイドの知識に関する情報を用いて予め学習されたモデルである。ツアーガイドの知識に関する情報は、ツアーガイドが調べて得た知識、ツアーガイドが過去に経験して得た知識及び、過去にツアーガイドが実際のツアーにおいて旅行者に対して説明した内容等を含む。例えば、ツアーガイドの知識に関する情報は、ツアーガイドが訪問した訪問先での経験談を含む。また、例えば、ツアーガイドの知識に関する情報は、対話の展開の仕方、及びツアーガイドの個人的な意見を含む。本実施形態に係るユーザの訪問先は、例えば、旅行の中でユーザが訪問する地域、各種施設、及び各種店舗等を含む。なお、データ生成モデル62は、更に、気遣い等の人間らしさの定義を用いて予め学習されていてもよい。
【】
アバター生成モデル64は、仮想的なツアーガイドに相当する案内用アバターを生成するアバター生成AIの一例である。アバター生成モデル64は、テキストが入力されると、入力されたテキストに対応する音声データと、その音声データに合わせて喋る動きをする案内用アバターの動画データとを出力する。本実施形態に係るアバター生成モデル64は、実在するツアーガイドの動画データを用いてツアーガイドの外見の特徴及びツアーガイドが対話する際の仕草等の動きが予め学習されている。
【】
次に、
図4を参照して、第1処理部290の機能的な構成について説明する。
図4に示すように、第1処理部290は、生成部300及び出力部302を含む。生成部300は、ユーザとの対話を制御することによって対話形式でユーザが所望する旅行計画を生成する。
【】
生成部300は、ユーザに関する情報と、ツアーガイドの知識に関する情報を用いて予め学習されたデータ生成モデル58と、に基づいて、第1の旅行計画を生成する。本実施形態では、生成部300は、ユーザに対する質問事項を含むプロンプトをデータ生成モデル58に入力する。
図5に、プロンプトの一例を示す。
図5に示すように、データ生成モデル58に入力されるプロンプトは、ユーザに対する質問事項を含む。これにより、生成部300は、データ生成モデル58にユーザに関する情報を取得させる。ユーザに関する情報の例としては、国籍、性別、年齢、旅行の参加人数、訪問したい場所、ユーザ個人の興味、及びユーザの嗜好等が挙げられる。
【】
また、プロンプトは、ユーザと何回もメッセージを交換すること、及び質問を一つずつ順番に行うことによって旅行計画を作成することを指示するテキストを含む。これにより、一例として
図6に示すように、生成部300は、データ生成モデル58を用いて、ユーザとの対話を繰り返すことによってユーザが所望する旅行計画を生成する。
図6の例では、右側がユーザ入力を表し、左側がデータ生成モデル58の回答を表している。この対話において、ユーザは、マイクロフォン38Aを介して音声によって入力を行う。スマートデバイス14のプロセッサ46は、ユーザ入力を表す音声データをテキストデータに変換し、かつデータ処理装置12に送信する。生成部300は、スマートデバイス14において取得されたユーザ入力を表す音声データが変換されて得られたテキストデータをデータ生成モデル58に入力する。
【】
また、プロンプトは、ツアーガイドの知識を使用することを指示するテキストを含む。これにより、データ生成モデル58は、予め学習されたツアーガイドの知識に関する情報に基づいて旅行計画を生成する。また、プロンプトは、データ生成モデル58が生成した旅行計画に含まれる訪問先の見どころ及び旅行計画の工夫点を生成する指示を含む。
【】
図7に、第1の旅行計画の一例を示す。
図7に示すように、第1の旅行計画は、旅行の工程における訪問先及び各工程の開始時刻が含まれる。また、第1の旅行計画は、各訪問先の見どころが含まれる。
【】
生成部300は、データ生成モデル58により生成された第1の旅行計画を対話型検索エンジン60に入力することによって第1の旅行計画が詳細化された第2の旅行計画を生成する。この際、生成部300は、例えば、第1の旅行計画に含まれる各工程の訪問先から次の工程の訪問先へユーザが移動する際の移動手段に関する情報、移動手段の利用料金、移動の所要時間、及び各訪問先の利用料金等の各種情報を追加する指示を表すテキストも対話型検索エンジン60に入力する。これにより、第1の旅行計画に情報が追加されることによって第1の旅行計画が詳細化された第2の旅行計画が生成される。
【】
図8に、第2の旅行計画の一例を示す。
図8に示すように、第2の旅行計画には、旅行の各工程における到着時刻と出発時刻、訪問先、訪問先間の移動手段、移動の所要時間、移動手段が電車の場合における乗車駅と降車駅、移動手段の利用料金、及び備考を含む。備考には、各工程での訪問先の利用料金等の付加情報が含まれる。
【】
第2の旅行計画は、対話型検索エンジン60を用いて生成される。従って、Web上に公開されている最新の情報を検索エンジンによって検索することができる結果、適切な旅行計画を生成することができる。すなわち、本実施形態に係るデータ処理システム10は、検索系生成AIである対話型検索エンジン60を用いることによって、インターネット上の最新の観光情報、レビュー、及び地域情報等を動的に取得及び分析し、旅行計画に反映することができる。
【】
なお、生成部300は、第2の旅行計画に関する情報として、第2の旅行計画に含まれるユーザの訪問先の情報を得るためのリンクを生成してもよい。例えば、生成部300は、第2の旅行計画の各訪問先の公式サイト又は特定のサービスのサイト(例えば、グルメサイト)等へのHTTP(Hypertext Transfer Protocol)リンクを生成してもよい。
【】
出力部302は、生成部300により生成された第2の旅行計画に関する情報をスマートデバイス14に対して出力する。本実施形態では、出力部302は、第2の旅行計画に関する情報として、第2の旅行計画、第2の旅行計画に含まれる訪問先の見どころ、及び第2の旅行計画の工夫点をスマートデバイス14に対して出力する。スマートデバイス14のディスプレイ40Aには、第2の旅行計画に関する情報が表示される。
図9に、第2の旅行計画に含まれる訪問先の見どころの一例を示し、
図10に、第2の旅行計画の工夫点の一例を示す。
図10に示すように、第2の旅行計画では、例えば、ユーザの年齢等を考慮して、徒歩移動を抑える等の工夫がされている。本実施形態によれば、旅行計画におけるユーザへの気配りを見せることができ、ユーザの満足度を向上させることができる。
【】
なお、
図11に示すように、生成部300は、第2の旅行計画に含まれる訪問先を代替する訪問先に関する情報を生成してもよい。
図11では、訪問先が飲食店である場合の代替店舗の情報の一例を示している。この場合、生成部300は、代替店舗の情報を得るためのリンクを生成してもよい。
図11では、代替店舗の情報が掲載されている特定のサービスへのHTTPリンクが生成される例を示している。
【】
次に、
図12を参照して、第2処理部292の機能的な構成について説明する。
図12に示すように、第2処理部292は、第1生成部310、第2生成部312、及び出力部314を含む。
【】
第1生成部310は、予め生成された旅行計画と、ツアーガイドの知識に関する情報を用いて予め学習されたデータ生成モデル62とに基づいて、旅行計画に含まれるユーザの訪問先に関するテキストを生成する。本実施形態では、第1生成部310は、第1処理部290により生成された第2の旅行計画に含まれる各訪問先の情報をデータ生成モデル62に入力する。データ生成モデル62は、入力の各訪問先に関するツアーガイドの案内用トークに相当するテキストを出力する。
【】
また、第1生成部310は、データ生成モデル62を用いて、観光地の案内に加えて、ユーザが個人的な対話を楽しめるようなトークに相当するテキストを生成する。例えば、第1生成部310は、
図16に示すプロンプトをデータ生成モデル62に入力する。
図16には、プロンプトの一例と、プロンプトの中で参照されるツアーガイドの知識に関するテキストデータの一例とが示されている。
図16に示すように、プロンプトは、過去にツアーガイドが実際のツアーにおいて旅行者に対してトークした内容を参考にして、ユーザと対話を行うことを指示するテキストを含む。また、ツアーガイドの知識に関するテキストデータは、ツアーガイドのパーソナルデータ、トピック、及びそのトピックについて過去にツアーガイドが実際のツアーにおいて旅行者に対してトークした内容を含む。このトークした内容は、例えば、ツアーガイドがテキストを入力してもよいし、ツアーガイドが発した音声をテキストに変換することによって入力してもよい。
【】
一例として
図17に示すように、第1生成部310は、学習されたデータ生成モデル62を用いることによって、観光地の説明に加え、観光地の関連トピック等の対話を行うためのテキストを生成することができる。
【】
この対話において、ユーザは、マイクロフォン38Aを介して音声によって入力を行う。スマートデバイス14のプロセッサ46は、ユーザ入力を表す音声データをテキストデータに変換し、かつデータ処理装置12に送信する。第1生成部310は、スマートデバイス14において取得されたユーザ入力を表す音声データが変換されて得られたテキストデータをデータ生成モデル62に入力する。
【】
第2生成部312は、第1生成部310により生成されたテキストと、アバター生成モデル64とに基づいて案内用アバターを生成する。本実施形態では、第2生成部312は、第1生成部310により生成されたテキストをアバター生成モデル64に入力する。アバター生成モデル64は、入力されたテキストに対応する音声データと、そのテキストを喋る口の動き及び仕草を行う案内用アバターの動画データとを出力する。
【】
出力部314は、第2生成部312により生成されたテキストに応じたデータを出力する。本実施形態では、出力部314は、第2生成部312により生成されたテキストに対応する音声データと、案内用アバターの動画データとをスマートデバイス14に対して出力する。一例として
図13に示すように、スマートデバイス14のディスプレイ40Aには、仮想的なツアーガイドとして、ユーザの訪問先に関するトークを行う案内用アバターAの動画が表示される。また、スマートデバイス14のスピーカ40Bからは案内用アバターの音声が出力される。
【】
次に、旅行計画生成処理の流れの一例について
図14を参照しながら説明する。
【】
ステップS10で、生成部300は、ユーザに対する質問事項を含むプロンプトをデータ生成モデル58に入力する。ステップS12で、生成部300は、前述したように、ユーザに関する情報と、データ生成モデル58とに基づいて、第1の旅行計画を生成する。ステップS14で、生成部300は、ステップS12で生成された第1の旅行計画を対話型検索エンジン60に入力することによって第1の旅行計画が詳細化された第2の旅行計画を生成する。
【】
ステップS16で、出力部302は、ステップS14で生成された第2の旅行計画に関する情報をスマートデバイス14に対して出力する。ステップS16の処理が終了すると、旅行計画生成処理が終了する。例えば、ユーザが、受付装置38を介して、提示された第2の旅行計画に対して要望を入力してもよい。この場合、再度ステップS12及びS14が実行され、その要望に基づいて修正された第2の旅行計画が生成される。このように、生成AIを用いてユーザと対話しながら旅行計画を生成することによって、ユーザに適した自由度の高い旅行計画を提供することができる。また、この対話において、スマートデバイス14では、一例として
図18に示す音声入力処理が行われる。
【】
ユーザは、マイクロフォン38Aを介して音声によって入力を行う。
図18のステップS30で、スマートデバイス14のプロセッサ46は、ユーザ入力を表す音声データを取得する。ステップS32で、プロセッサ46は、音声認識技術によりステップS30で取得した音声データをテキストデータに変換する。ステップS34で、プロセッサ46は、ステップS32の処理により得られたテキストデータをデータ処理装置12に送信する。
【】
次に、アバター生成処理の流れの一例について
図15を参照しながら説明する。例えば、ユーザが、第2の旅行計画の中から訪問先を指定した場合に、第2処理部292は、その訪問先についてアバター生成処理を実行する。なお、ユーザが訪問先において写真を撮影し、かつガイドの開始指示を入力した場合に、第2処理部292は、その写真からユーザの訪問先を特定してもよい。この場合、第2処理部292は、特定した訪問先についてアバター生成処理を実行する。
【】
ステップS20で、第1生成部310は、第2の旅行計画と、データ生成モデル62とに基づいて、第2の旅行計画に含まれるユーザの訪問先に関するテキストを生成する。ステップS22で、第2生成部312は、ステップS20で生成されたテキストと、アバター生成モデル64とに基づいて案内用アバターを生成する。
【】
ステップS24で、出力部314は、ステップS22で生成された音声データと、案内用アバターの動画データとをスマートデバイス14に対して出力する。ステップS24の処理が終了すると、アバター生成処理が終了する。このように、仮想的なツアーガイドである案内用アバターがユーザの訪問先に関するトークを行うことによって、ツアーガイドの不足を解消することができる。この案内用アバターとの対話においても、ユーザは、マイクロフォン38Aを介して音声によって入力を行い、
図18に示した音声入力処理が行われる。
【】
このように、本実施形態によれば、ユーザは、スマートデバイス14の音声入力機能を使用して案内用アバターと対話することができる。音声認識技術により、ユーザ発話はテキストに変換され、データ生成モデル62に入力される。これにより、より自然で直感的なユーザインターフェースを実現し、ユーザはハンズフリーでの案内用アバターによるツアーガイドの利用が可能となる。
【】
上記実施形態において、データ処理システム10は、ユーザに対して、推奨する案内用アバターを提示するマッチング機能を備えていてもよい。例えば、データ処理装置12のプロセッサ28は、複数組のデータ生成モデル62及びアバター生成モデル64の中から、ユーザの興味及び好みに基づいて、ユーザにとって最適なデータ生成モデル62及びアバター生成モデル64の組を選択する。プロセッサ28は、この選択に、
図3に示したツアーガイドの基本情報を用いることができる。ユーザは、推奨された案内用アバターの中から、使用する案内用アバターを選択することができる。これにより、ユーザにとってより個人化された旅行体験を実現することができる。
【】
また、上記実施形態において、データ処理装置12のプロセッサ28は、スマートデバイス14に搭載されているGPS(Global Positioning System)装置、加速度センサ、及びジャイロセンサ等の各種センサの出力データを用いてもよい。各種センサの出力データを用いることによって、ユーザの位置及び動き等に基づいたリアルタイムのガイド提供が可能となる。
【】
以上、本開示に係るシステムをデータ処理装置12の機能を主として説明したが、本開示に係るシステムはサーバに実装されているとは限らない。本開示に係るシステムは、一般的な情報処理システムとして実装されていてもよい。本開示は、例えば、パーソナルコンピュータで動作するソフトウェアプログラム、スマートフォン等で動作するアプリケーションとして実装されてもよい。本開示に係る方法はSaaS(Software as a Service)形式でユーザに対して提供されてもよい。
【】
上記実施形態では、1台のコンピュータ22によって旅行計画生成処理及びアバター生成処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、コンピュータ22を含めた複数のコンピュータによる旅行計画生成処理及びアバター生成処理に対する分散処理が行われるようにしてもよい。また、旅行計画生成処理を実行するコンピュータと、アバター生成処理を実行するコンピュータとが異なるコンピュータであってもよい。
【】
上記実施形態では、ストレージ32にデータ処理プログラム56が格納されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、データ処理プログラム56がUSB(Universal Serial Bus)メモリなどの可搬型のコンピュータ読み取り可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体に格納されているデータ処理プログラム56は、データ処理装置12のコンピュータ22にインストールされる。プロセッサ28は、データ処理プログラム56に従って旅行計画生成処理及びアバター生成処理を実行する。
【】
また、ネットワーク54を介してデータ処理装置12に接続されるサーバ等の格納装置にデータ処理プログラム56を格納させておき、データ処理装置12の要求に応じてデータ処理プログラム56がダウンロードされ、コンピュータ22にインストールされるようにしてもよい。
【】
また、ネットワーク54を介してデータ処理装置12に接続されるサーバ等の格納装置にデータ処理プログラム56の全てを格納させておいたり、ストレージ32にデータ処理プログラム56の全てを記憶させたりしておく必要はなく、データ処理プログラム56の一部を格納させておいてもよい。
【】
また、データ処理プログラム56は、プログラム製品として提供可能である。プログラム製品とは、プログラムを提供するためのあらゆる態様の製品を含む。例えば、プログラム製品は、インターネット等のネットワークを通じて提供されるプログラム、及びプログラムを保存したCD-ROM、DVD等の非一時的コンピュータ可読記録媒体等を含む。
【】
特定処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、特定処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA(Field-Programmable Gate Array)、PLD(Programmable Logic Device)、又はASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで特定処理を実行する。
【】
特定処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、特定処理を実行するハードウェア資源は1つのプロセッサであってもよい。
【】
1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、特定処理を実行するハードウェア資源として機能する形態がある。第2に、SoC(System-on-a-chip)などに代表されるように、特定処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、特定処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
【】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の特定処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【】
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザに関する情報と、ツアーガイドの知識に関する情報を用いて予め学習された生成AIと、に基づいて、旅行計画を生成する生成部と、
前記旅行計画に関する情報を出力する出力部と、
を含むデータ処理装置。
【】
(付記2)
前記生成部は、前記ユーザに対する質問事項を含むプロンプトを前記生成AIに入力することにより、前記生成AIに前記ユーザに関する情報を取得させる
付記1に記載のデータ処理装置。
【】
(付記3)
前記プロンプトは、更に、前記旅行計画に含まれる訪問先の見どころ及び前記旅行計画の工夫点を生成する指示を含み、
前記出力部は、前記旅行計画に関する情報として、前記旅行計画、前記訪問先の見どころ、及び前記旅行計画の工夫点を出力する
付記2に記載のデータ処理装置。
【】
(付記4)
前記生成部は、前記生成AIにより生成された第1の旅行計画を対話型検索エンジンに入力することによって前記第1の旅行計画が詳細化された第2の旅行計画を生成し、
前記出力部は、前記第2の旅行計画に関する情報を出力する
付記1から付記3の何れか1つに記載のデータ処理装置。
【】
(付記5)
前記生成部は、前記旅行計画に関する情報として、前記旅行計画に含まれる前記ユーザの訪問先の情報を得るためのリンクを生成する
付記1から付記4の何れか1つに記載のデータ処理装置。
【】
(付記6)
前記生成AIは、更に、人間らしさの定義を用いて予め学習されている
付記1から付記5の何れか1つに記載のデータ処理装置。
【】
(付記7)
前記生成部は、スマートデバイスにおいて取得されたユーザ入力を表す音声データが変換されて得られたテキストデータを前記生成AIに入力する
付記1から付記6の何れか1つに記載のデータ処理装置。
【】
(付記8)
ユーザに関する情報と、ツアーガイドの知識に関する情報を用いて予め学習された生成AIと、に基づいて、旅行計画を生成し、
前記旅行計画に関する情報を出力する
処理をコンピュータが実行するデータ処理方法。
【】
(付記9)
ユーザに関する情報と、ツアーガイドの知識に関する情報を用いて予め学習された生成AIと、に基づいて、旅行計画を生成し、
前記旅行計画に関する情報を出力する
処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【】
10 データ処理システム
12 データ処理装置
14 スマートデバイス
290 第1処理部
292 第2処理部
300 生成部
302、314 出力部
310 第1生成部
312 第2生成部
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【手続補正書】
【提出日】
【手続補正】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項】
実在するツアーガイドが調べて得た知識、過去に経験して得た知識、及び実際のツアーにおいて旅行者に対して説明した内容を含み、ユーザへの気遣い及びユーザとの対話の展開の仕方を含むツアーガイドの知識に関する情報を用いて予め学習された生成AIに対して前記ユーザに対する質問事項を含むプロンプトを入力し、前記質問事項に対する前記ユーザからの応答に基づいて前記ユーザに関する情報を取得するとともに、旅行計画を生成する生成部と、
前記旅行計画に関する情報を出力する出力部と、
を含むデータ処理装置。
【請求項】
前記プロンプトは、更に、前記旅行計画に含まれる訪問先の見どころ及び前記旅行計画の工夫点を生成する指示を含み、
前記出力部は、前記旅行計画に関する情報として、前記旅行計画、前記訪問先の見どころ、及び前記旅行計画の工夫点を出力する
請求項1に記載のデータ処理装置。
【請求項】
前記生成部は、前記生成AIにより生成された第1の旅行計画を対話型検索エンジンに入力することによって前記第1の旅行計画が詳細化された第2の旅行計画を生成し、
前記出力部は、前記第2の旅行計画に関する情報を出力する
請求項1又は請求項2に記載のデータ処理装置。
【請求項】
前記生成部は、前記旅行計画に関する情報として、前記旅行計画に含まれる前記ユーザの訪問先の情報を得るためのリンクを生成する
請求項1又は請求項2に記載のデータ処理装置。
【請求項】
前記生成AIは、更に、人間らしさの定義を用いて予め学習されている
請求項1又は請求項2に記載のデータ処理装置。
【請求項】
前記生成部は、スマートデバイスにおいて取得されたユーザ入力を表す音声データが変換されて得られたテキストデータを前記生成AIに入力する
請求項1又は請求項2に記載のデータ処理装置。
【請求項】
実在するツアーガイドが調べて得た知識、過去に経験して得た知識、及び実際のツアーにおいて旅行者に対して説明した内容を含み、ユーザへの気遣い及びユーザとの対話の展開の仕方を含むツアーガイドの知識に関する情報を用いて予め学習された生成AIに対して前記ユーザに対する質問事項を含むプロンプトを入力し、前記質問事項に対する前記ユーザからの応答に基づいて前記ユーザに関する情報を取得するとともに、旅行計画を生成し、
前記旅行計画に関する情報を出力する
処理をコンピュータが実行するデータ処理方法。
【請求項】
実在するツアーガイドが調べて得た知識、過去に経験して得た知識、及び実際のツアーにおいて旅行者に対して説明した内容を含み、ユーザへの気遣い及びユーザとの対話の展開の仕方を含むツアーガイドの知識に関する情報を用いて予め学習された生成AIに対して前記ユーザに対する質問事項を含むプロンプトを入力し、前記質問事項に対する前記ユーザからの応答に基づいて前記ユーザに関する情報を取得するとともに、旅行計画を生成し、
前記旅行計画に関する情報を出力する
処理をコンピュータに実行させるためのプログラム。