ホーム > 特許ランキング > ＬＩＮＥヤフー株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024084495
(43)【公開日】2024-06-25
(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
G06Q 30/0203 20230101AFI20240618BHJP
【ＦＩ】
G06Q30/0203
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022198796
(22)【出願日】2022-12-13
(71)【出願人】
【識別番号】500257300
【氏名又は名称】ＬＩＮＥヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山内 智
(72)【発明者】
【氏名】福田 開大
【テーマコード（参考）】
5L030
5L049
【Ｆターム（参考）】
5L030BB02
5L049BB02
(57)【要約】
【課題】オンラインサービスのサービス利用者からの効率的な情報収集を図ること。
【解決手段】本願に係る情報処理装置は、オンラインサービスのサービス利用者との間でチャットボットを通じて行われる対話に関する処理を制御する情報処理装置であって、選択部と、指示部とを有する。選択部は、対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、サービス利用者の状態に応じた会話用シーケンスを選択する。指示部は、選択部により選択された会話用シーケンスを、対話に関する処理を実行する外部装置に指示する。
【選択図】図５
【解決手段】本願に係る情報処理装置は、オンラインサービスのサービス利用者との間でチャットボットを通じて行われる対話に関する処理を制御する情報処理装置であって、選択部と、指示部とを有する。選択部は、対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、サービス利用者の状態に応じた会話用シーケンスを選択する。指示部は、選択部により選択された会話用シーケンスを、対話に関する処理を実行する外部装置に指示する。
【選択図】図５
【特許請求の範囲】
【請求項1】
オンラインサービスのサービス利用者との間でチャットボットを通じて行われる対話に関する処理を制御する情報処理装置であって、
前記対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、前記サービス利用者の状態に応じた前記会話用シーケンスを選択する選択部と、
前記選択部により選択された前記会話用シーケンスを、前記対話に関する処理を実行する外部装置に指示する指示部と
を有することを特徴とする情報処理装置。
前記対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、前記サービス利用者の状態に応じた前記会話用シーケンスを選択する選択部と、
前記選択部により選択された前記会話用シーケンスを、前記対話に関する処理を実行する外部装置に指示する指示部と
を有することを特徴とする情報処理装置。
【請求項2】
前記チャットボットを通じて行われる対話における前記サービス利用者の反応に基づく報酬を前記会話用シーケンスに対して設定することにより、前記対話に用いられる前記会話用シーケンスの選択を行う選択モデルの強化学習を前記会話用シーケンス単位で実行する学習部
をさらに有し、
前記選択部は、
前記選択モデルを用いて、前記会話用シーケンスを選択する
ことを特徴とする請求項１に記載の情報処理装置。
をさらに有し、
前記選択部は、
前記選択モデルを用いて、前記会話用シーケンスを選択する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記選択部は、
前記選択モデルを用いて、前記サービス利用者に関する利用者情報と、直近の会話の内容を示す会話の履歴と、前記会話における前記サービス利用者の反応とに基づく前記会話用シーケンスを選択する
ことを特徴とする請求項２に記載の情報処理装置。
前記選択モデルを用いて、前記サービス利用者に関する利用者情報と、直近の会話の内容を示す会話の履歴と、前記会話における前記サービス利用者の反応とに基づく前記会話用シーケンスを選択する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記利用者情報は、
前記サービス利用者の属性を示す属性情報、及び前記オンラインサービスのサービス利用履歴を含む
ことを特徴とする請求項３に記載の情報処理装置。
前記サービス利用者の属性を示す属性情報、及び前記オンラインサービスのサービス利用履歴を含む
ことを特徴とする請求項３に記載の情報処理装置。
【請求項5】
前記学習部は、
少なくとも直前の前記会話用シーケンスによる前記対話において前記サービス利用者の反応が好意的であったか否かに基づいて前記報酬を設定することにより、前記選択モデルの強化学習を行う
ことを特徴とする請求項２に記載の情報処理装置。
少なくとも直前の前記会話用シーケンスによる前記対話において前記サービス利用者の反応が好意的であったか否かに基づいて前記報酬を設定することにより、前記選択モデルの強化学習を行う
ことを特徴とする請求項２に記載の情報処理装置。
【請求項6】
前記学習部は、
直前の前記会話用シーケンスに対応付けられている所定のコンバージョンを前記サービス利用者から取得できたか否かに基づいて前記報酬を設定することにより、前記選択モデルの強化学習を行う
ことを特徴とする請求項２に記載の情報処理装置。
直前の前記会話用シーケンスに対応付けられている所定のコンバージョンを前記サービス利用者から取得できたか否かに基づいて前記報酬を設定することにより、前記選択モデルの強化学習を行う
ことを特徴とする請求項２に記載の情報処理装置。
【請求項7】
オンラインサービスのサービス利用者との間でチャットボットを通じて行われる対話に関する処理を制御する情報処理方法であって、
前記対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、前記サービス利用者の状態に応じた前記会話用シーケンスを選択する選択工程と、
前記選択工程により選択された前記会話用シーケンスを、前記対話に関する処理を実行する外部装置に指示する指示工程と
を含むことを特徴とする情報処理方法。
前記対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、前記サービス利用者の状態に応じた前記会話用シーケンスを選択する選択工程と、
前記選択工程により選択された前記会話用シーケンスを、前記対話に関する処理を実行する外部装置に指示する指示工程と
を含むことを特徴とする情報処理方法。
【請求項8】
オンラインサービスのサービス利用者との間でチャットボットを通じて行われる対話に関する処理を制御するコンピュータに、
前記対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、前記サービス利用者の状態に応じた前記会話用シーケンスを選択する選択手順と、
前記選択手順により選択された前記会話用シーケンスを、前記対話に関する処理を実行する外部装置に指示する指示手順と
を実行させることを特徴とする情報処理プログラム。
前記対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、前記サービス利用者の状態に応じた前記会話用シーケンスを選択する選択手順と、
前記選択手順により選択された前記会話用シーケンスを、前記対話に関する処理を実行する外部装置に指示する指示手順と
を実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、チャットボットと連携したインタラクティブなコミュニケーションを実行するための技術が提案されている。たとえば、特許文献１では、チャットボットと連携したデジタルボードを通じて、対話型のコミュニケーションを実行する技術が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】再表２０２０－２４０８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来の技術では、チャットボットによるコミュニケーションを通じて、オンラインサービスのサービス利用者から効率的に情報を引き出す上で改善の余地がある。たとえば、従来の技術は、チャットからの離脱を抑制することを目的とするものであり、サービス利用者のレビューを効率的に取得することを目的とするものではない点で、少なからず改善の余地が残されている。
【0005】
本願は、上記に鑑みてなされたものであって、オンラインサービスのサービス利用者からの効率的な情報収集を図ることができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る情報処理装置は、オンラインサービスのサービス利用者との間でチャットボットを通じて行われる対話に関する処理を制御する情報処理装置であって、選択部と、指示部とを有する。選択部は、対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、サービス利用者の状態に応じた会話用シーケンスを選択する。指示部は、選択部により選択された会話用シーケンスを、対話に関する処理を実行する外部装置に指示する。
【発明の効果】
【0007】
実施形態の態様の１つによれば、オンラインサービスのサービス利用者からの効率的な情報収集を図ることができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と称する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0010】
（実施形態）
［１．実施形態に係るシステム構成］
まず、図１を用いて、実施形態に係る情報処理装置の一例である第２サーバ２００を有する情報処理システムＳＹＳの構成について説明する。図１に、実施形態に係る情報処理システムＳＹＳの構成例を示す。図１に示すように、実施形態に係る情報処理システムＳＹＳは、利用者端末１０と、第１サーバ１００と、第２サーバ２００とを有している。
［１．実施形態に係るシステム構成］
まず、図１を用いて、実施形態に係る情報処理装置の一例である第２サーバ２００を有する情報処理システムＳＹＳの構成について説明する。図１に、実施形態に係る情報処理システムＳＹＳの構成例を示す。図１に示すように、実施形態に係る情報処理システムＳＹＳは、利用者端末１０と、第１サーバ１００と、第２サーバ２００とを有している。
【0011】
利用者端末１０、第１サーバ１００、及び第２サーバ２００は、インターネットなどのネットワーク（たとえば、図５に示すネットワークＮ）に接続される。利用者端末１０および第１サーバ１００は、ネットワークを通じて相互に通信できる。第１サーバ１００及び第２サーバ２００は、ネットワークを通じて相互に通信できる。なお、利用者端末１０および第２サーバ２００が、ネットワークを通じて相互に通信してもよい。なお、図１に示す情報処理システムＳＹＳは、図１に示す例よりも多くの利用者端末１０を有していてもよい。
【0012】
利用者端末１０は、第１サーバ１００の管理者がプラットフォーマーとして運営に携わる各種オンラインサービスの利用者であるサービス利用者Ｕにより使用される情報処理端末である。たとえば、利用者端末１０は、スマートフォンや、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣや、タブレット端末や、携帯電話機や、ＰＤＡ（Personal Digital Assistant）などにより実現され得る。
【0013】
また、利用者端末１０は、ＬＴＥ（Long Term Evolution）や、４Ｇ（4th Generation：第４世代移動通信システム）や、５Ｇ（5th Generation：第５世代移動通信システム）などの無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、無線ＬＡＮ（Local Area Network）などの近距離無線通信を実行するための通信機能を有し、これらの通信機能によりネットワークに接続できる。
【0014】
また、利用者端末１０は、たとえば、第１サーバ１００により提供される各種オンラインサービスのウェブコンテンツを、ウェブブラウザやアプリケーションにより表示できる。なお、利用者端末１０は、情報の表示処理を実現する制御情報を第１サーバ１００などから受け取った場合には、制御情報に従って表示処理を実現する。
【0015】
サービス利用者Ｕは、利用者端末１０を操作して、ウェブブラウザにより表示される各種オンラインサービスのウェブサイトを閲覧したり、ウェブブラウザにより表示されるウェブコンテンツを利用したりできる。また、サービス利用者Ｕは、各種オンラインサービスのウェブサイトを利用するための専用のアプリケーションプログラム（以下、「専用アプリ」と称する。）を第１サーバ１００からダウンロードして、利用者端末Ｕにインストールできる。この場合、サービス利用者Ｕは、専用アプリを操作することにより、専用アプリ用に構成された各種オンラインサービスのコンテンツを利用できる。
【0016】
第１サーバ１００は、各サービス利用者に対して各種オンラインサービスを提供する情報処理装置である。第１サーバ１００は、典型的にはサーバ装置であるが、メインフレームやワークステーションなどにより実現されてもよい。また、第１サーバ１００がサーバ装置により実現される場合、単独のサーバ装置により実現されてもよいし、複数のサーバ装置及び複数のストレージ装置が協働して動作するクラウドシステムなどにより実現されてもよい。
【0017】
また、第１サーバ１００により提供される各種オンラインサービスには、インターネット接続や、検索サービスや、ＳＮＳ（Social Networking Service）や、電子商取引サービスや、電子決済サービスや、オンラインゲームや、オンラインバンキングサービスや、オンライントレーディングサービスや、宿泊予約サービスや、チケット予約サービスや、動画配信サービスや、音楽配信サービスや、ニュース配信サービスや、地図情報サービスや、ルート検索サービスや、経路案内サービスや、路線情報サービスや、運行情報サービスや、天気情報サービスなどが含まれ得る。なお、各種オンラインサービスには、各種アプリケーションに対応するＡＰＩ（Application Programming Interface）サービスが含まれていてもよい。
【0018】
また、第１サーバ１００は、各種オンラインサービスの提供にあたり、サービス利用者（たとえば、サービス利用者Ｕ）の各々を特定するための利用者識別情報である利用者ＩＤを含むユーザアカウントを作成する。このユーザアカウントに含まれる利用者ＩＤは、各種オンラインサービスの利用登録の際にサービス利用者（たとえば、サービス利用者Ｕ）が任意に設定するか、又は第１サーバ１００により個別に割り振られる。第１サーバ１００は、各サービス利用者（たとえば、サービス利用者Ｕ）のユーザアカウントに紐付けて、オンラインサービスの利用履歴であるサービス利用履歴（「利用者情報」の一例）を記録し、記録したサービス利用履歴をサービス利用者ごとに管理する。また、第１サーバ１００は、サービス利用者（たとえば、サービス利用者Ｕ）からの要求に応じて、各種オンラインサービスを利用するための専用アプリを配布できる。
【0019】
また、第１サーバ１００は、チャットボットを通じて、各種オンラインサービスのサービス利用者（たとえば、サービス利用者Ｕ）との対話に関する処理を実行する。なお、第１サーバ１００の処理については後述する。
【0020】
また、第２サーバ２００は、各種オンラインサービスのサービス利用者（たとえば、サービス利用者Ｕ）と第１サーバ１００との間でチャットボットを通じて行われる対話に関する処理を制御する情報処理装置である。第２サーバ２００は、典型的にはサーバ装置であるが、メインフレームやワークステーションなどにより実現されてもよい。また、第２サーバ２００がサーバ装置により実現される場合、単独のサーバ装置により実現されてもよいし、複数のサーバ装置及び複数のストレージ装置が協働して動作するクラウドシステムなどにより実現されてもよい。なお、第２サーバ２００については後述する。
【0021】
［２．実施形態に係る情報処理の概要］
以下、図１～図４を参照しつつ、実施形態に係る情報処理の概要について説明する。以下の説明において、利用者端末１０をサービス利用者Ｕと表記して説明する場合がある。すなわち、サービス利用者Ｕを利用者端末１０と読み替えることができる。
以下、図１～図４を参照しつつ、実施形態に係る情報処理の概要について説明する。以下の説明において、利用者端末１０をサービス利用者Ｕと表記して説明する場合がある。すなわち、サービス利用者Ｕを利用者端末１０と読み替えることができる。
【0022】
また、以下の説明において、会話用シーケンスＳＱ１－１や会話用シーケンスＳＱ２－１などを特に区別して説明する必要がない場合、「会話用シーケンスＳＱ」と総称して説明する。
【0023】
図１に、実施形態に係る情報処理の概要を示す。図１に示すように、第１サーバ１００は、サービス利用者Ｕがアクセス中のオンラインサービスのサービス用コンテンツＣＴを提供するとともに、サービス用コンテンツＣＴとともに表示されるチャットボットＣＢの対話画面を通じて、サービス利用者Ｕとの対話に関する処理を実行する。第１サーバ１００は、サービス用コンテンツＣＴの提供に際して、サービス利用者Ｕの属性を示す属性情報を取得できる。また、第１サーバ１００は、チャットボットＣＢによるサービス利用者Ｕとの対話における会話履歴、及びサービス利用者Ｕの反応に関する情報を取得できる。
【0024】
まず、第１サーバ１００は、上述のサービス利用者Ｕとの対話に関する処理を実行するにあたり、第２サーバ２００に対して最初の会話用シーケンスＳＱの問合せを送信する（ステップＳ０１）。図２に、実施形態に係る会話用シーケンスの概要を示す。
【0025】
実施形態に係る会話用シーケンスＳＱは、チャットボットＣＢとサービス利用者との対話において想定される一連の会話の内容を示す会話パターンを予め規定した情報である。第１サーバ１００および第２サーバ２００の管理者は、サービス利用者（たとえば、図１に示すサービス利用者Ｕ）との間で行われる一連の会話の内容（発話と応答のやりとり）を、必然性の高い（必須の）まとまりで抽出した会話パターンを複数洗い出す。そして、管理者は、洗い出した複数の会話パターンのそれぞれを、会話用シーケンスＳＱとして設定する。
【0026】
たとえば、図２に示す会話用シーケンスＳＱ１－１は、時系列で発話される一連の会話の内容として、発話Ｘ１－１と、発話Ｘ１－２と、発話Ｘ１－３と、発話（質問）Ｑ１－１とを含んで構成されている。発話（質問）Ｑ１－１は、チャットボットＣＢからサービス利用者Ｕに対して問いかけを行う内容となっている。たとえば、発話（質問）Ｑ１－１は、チャットボットＣＢからの問いかけに対する回答を、サービス利用者Ｕに選択させるための回答選択肢が関連付けられている。チャットボットＣＢに発話（質問）Ｑ１－１が表示される際、回答選択肢が合わせて表示される。
【0027】
また、図２に示す会話用シーケンスＳＱ２－１は、時系列で発話される一連の会話の内容として、発話Ｘ２－１と、発話（質問）Ｑ２－１と、発話Ｘ２－２と、発話（質問）Ｑ２－２とを含んで構成されている。発話（質問）Ｑ２－１および発話（質問）Ｑ２－２については、上述した発話（質問）Ｑ１－１と同様の性質を有している。
【0028】
第２サーバ２００は、第１サーバ１００から最初の会話用シーケンスの問合せを受信すると、予め規定された複数の会話用シーケンスＳＱの中から、最初の会話用シーケンスＳＱを選択する（ステップＳ０２）。そして、第２サーバ２００は、選択した最初の会話用シーケンスＳＱの指示を第１サーバ１００に送信する（ステップＳ０３）。
【0029】
たとえば、第２サーバ２００は、各種オンラインサービスに共通の最初の会話用シーケンスを予め設定しておいてもよい。また、第２サーバ２００は、オンラインサービスごとに、オンラインサービスに対応する最初の会話用シーケンスを予め設定しておいてもよい。この場合、第２サーバ２００は、第１サーバ１００から、最初の会話用シーケンスＳＱの問合せとともに、たとえば、チャットボットＣＢとの対話の相手となるサービス利用者Ｕが利用中のオンラインサービスを特定するためのサービス情報を取得する。そして、第２サーバ２００は、取得したサービス情報に予め対応付けられている会話用シーケンスＳＱを最初の会話用シーケンスＳＱとして選択する。
【0030】
また、第２サーバ２００は、チャットボットＣＢとの対話の相手となるサービス利用者の属性（デモグラフィック属性やサイコグラフィック属性など）に対応する最初の会話用シーケンスＳＱを予め設定しておいてもよい。この場合、第２サーバ２００は、第１サーバ１００から、最初の会話用シーケンスＳＱの問合せとともに、たとえば、チャットボットＣＢとの対話の相手となるサービス利用者Ｕの属性を示す属性情報を取得する。そして、第２サーバ２００は、取得した属性情報に対応付けられている会話用シーケンスＳＱを最初の会話用シーケンスＳＱとして選択する。
【0031】
また、第２サーバ２００は、チャットボットＣＢによるサービス利用者Ｕとの対話に用いる最後の会話用シーケンスＳＱについても、予め定められる所定のルールに従って選択してもよい。
【0032】
第１サーバ１００は、第２サーバ２００から最初の会話用シーケンスＳＱの指示を受信すると、受信した最初の会話用シーケンスＳＱに従って、チャットボットＣＢを通じたサービス利用者Ｕとの対話に関する処理を実行する（ステップＳ０４）。図１に示すチャットボットＣＢの対話画面の例によれば、第１サーバ１００から送信される情報に基づいて、利用者端末１０には、会話用シーケンスＳＱに含まれる発話に対応する情報Ｄ－１～Ｄ－３が会話用シーケンスＳＱにおいて設定された順序で上から順に表示される。
【0033】
第１サーバ１００は、最初の会話用シーケンスＳＱに基づく対話を完了すると、第２サーバ２００に対して次の会話用シーケンスＳＱの問合せを送信する（ステップＳ０５）。このとき、第１サーバ１００は、直前の会話用シーケンスＳＱを特定するための情報と、チャットボットＣＢとの対話におけるサービス利用者Ｕの反応に関する情報とを第２サーバ２００に合わせて送信する。
【0034】
第２サーバ２００は、第１サーバ１００から次の会話用シーケンスＳＱの問合せを受信すると、チャットボットＣＢを通じた対話に用いられる会話用シーケンスＳＱの選択を行う選択モデルを用いて、予め規定された複数の会話用シーケンスＳＱの中から、サービス利用者Ｕの状態に応じた次の会話用シーケンスＳＱを選択する（ステップＳ０６）。そして、第２サーバ２００は、選択した次の会話用シーケンスＳＱの指示を第１サーバ１００に送信する（ステップＳ０７）。
【0035】
以下、図３を用いて、第２サーバ２００から第１サーバ１００に対する会話用シーケンスＳＱの指示例について具体的に説明する。図３に、実施形態に係る第２サーバ２００から第１サーバ１００に対する会話用シーケンスＳＱの指示例を示す。
【0036】
図３に示すように、第１サーバ１００は、第２サーバ２００に対して、最初の会話用シーケンスＳＱの問合せを送信する（ステップＳ１１）。このとき、第１サーバ１００は、最初の会話用シーケンスＳＱの問合せとともに、サービス利用者Ｕの属性を示す属性情報（属性ＵＡ）を送信する。
【0037】
第２サーバ２００は、第１サーバ１００から最初の会話用シーケンスＳＱの問合せを受信すると、最初の会話用シーケンスＳＱ１－１を選択し、選択した最初の会話用シーケンスＳＱ１－１のシーケンス番号「ＳＮ１０１」を第１サーバ１００に送信する（ステップＳ１２）。また、第２サーバ２００は、第１サーバ１００から受信したサービス利用者Ｕの属性を示す属性情報を保持しておく。
【0038】
第１サーバ１００は、第２サーバ２００から受信したシーケンス番号「ＳＮ１０１」に対応する会話用シーケンスＳＱを用いたサービス利用者Ｕとの対話が完了すると、次の会話用シーケンスＳＱの問合せを第２サーバ２００に送信する（ステップＳ１３）。このとき、第１サーバ１００は、次の会話用シーケンスＳＱの問合せとともに、直前の会話用シーケンスＳＱ１－１のシーケンス番号「ＳＮ１０１」と、チャットボットＣＢとの対話におけるサービス利用者Ｕの回答を示す情報「回答Ｒ－１」を送信する。
【0039】
第２サーバ２００は、第１サーバ１００から次の会話用シーケンスＳＱの問合せを受信すると、選択モデルを用いて、サービス利用者Ｕの状態に応じた次の会話用シーケンスＳＱ２－１を選択し、選択した次の会話用シーケンスＳＱ２－１のシーケンス番号「ＳＮ２０１」を第１サーバ１００に送信する（ステップＳ１４）。たとえば、第２サーバ２００は、サービス利用者Ｕの状態を示す情報として、サービス利用者Ｕの属性を示す属性情報（「利用者情報」の一例）と、直前の会話用シーケンスのシーケンス番号「ＳＮ１０１」（「会話の履歴」の一例）と、チャットボットＣＢとの対話におけるサービス利用者Ｕの回答結果（「サービス利用者の反応」の一例）を示す情報「回答Ｒ－１」とを選択モデルに入力することにより、選択モデルから出力されるシーケンス番号「ＳＮ２０１」を第１サーバ１００に送信する。
【0040】
なお、サービス利用者Ｕの属性を示す属性情報には、デモグラフィック属性やサイコグラフィック属性などの静的な情報に限られず、位置情報や生体情報などの動的な情報を含んでいてもよい。この場合、第２サーバ２００は、第１サーバ１００から次の会話用シーケンスＳＱの問合せを受信する都度、サービス利用者Ｕの位置情報や生体情報などの動的な情報を取得し、取得した動的な情報に基づいて更新されたサービス利用者Ｕの状態に基づいて、次の会話用シーケンスＳＱの選択を実行できる。また、第２サーバ２００は、サービス利用者の状態を示す情報として、第１サーバ１００からサービス利用者Ｕのサービス利用履歴（購入履歴や予約履歴など）を取得し、取得したサービス利用履歴を会話用シーケンス選択時の入力情報として用いることもできる。
【0041】
図１に戻り、第２サーバ２００は、チャットボットＣＢを通じて行われる対話におけるサービス利用者Ｕの反応に基づく報酬を設定して、対話に用いられる会話用シーケンス単位で選択モデルの強化学習を実行する（ステップＳ０８）。図４に、実施形態に係る強化学習の概要を模式的に示す。
【0042】
図４に示すように、実施形態に係る強化学習では、選択モデルを強化学習のエージェントと見做し、チャットボットＣＢとサービス利用者Ｕとの対話を強化学習の環境と見做すことができる。この場合、以下の手順で強化学習が進められる。まず、選択モデルは、望まれる結果が得られると考える方策（ポリシ）に従って、サービス利用者Ｕの状態に応じた会話用シーケンスＳＱを選択する。ここで、サービス利用者Ｕの状態には、サービス利用者Ｕの属性を示す属性情報と、チャットボットＣＢとサービス利用者Ｕとの間の対話に用いられた会話用シーケンス（会話の履歴）と、チャットボットＣＢとの対話におけるサービス利用者Ｕの回答（サービス利用者Ｕの反応）とが含まれる。選択モデルにより選択された会話用シーケンスＳＱは、第２サーバ２００から第１サーバ１００に対して送信される。
【0043】
次に、第１サーバ１００において会話用シーケンスＳＱによる対話が完了すると、第１サーバ１００から第２サーバ２００に対して会話の履歴が送信され、選択モデルに対して、会話用シーケンスＳＱによる対話が行われた後のサービス利用者Ｕの状態（対話に用いられた会話用シーケンスＳＱおよび対話におけるサービス利用者Ｕの回答）がフィードバックされる。これと同時に、選択モデルに対して、サービス利用者Ｕの反応に基づく報酬が選択モデルにフィードバックされる。そして、選択モデルは、会話用シーケンスＳＱによる対話が行われた後のサービス利用者Ｕの状態と、サービス利用者Ｕの反応に基づく報酬とに基づいて、方策（ポリシ）の見直しを行う。
【0044】
すなわち、第２サーバ２００は、会話用シーケンスＳＱの選択という行動がチャットボットＣＢとサービス利用者Ｕとの対話という環境に与えた変化として、チャットボットＣＢとの対話におけるサービス利用者Ｕの回答（反応）に関する情報を第１サーバ１００から取得する。そして、第２サーバ２００は、会話用シーケンスＳＱの選択という行動がチャットボットＣＢとサービス利用者Ｕとの対話という環境に与えた変化に対する評価として、選択モデルにより選択された会話用シーケンスＳＱに対して、サービス利用者Ｕの反応（対話における回答）に基づく報酬を設定する。
【0045】
このようにして、第２サーバ２００は、たとえば、直前の会話用シーケンスＳＱにおけるサービス利用者Ｕの反応に基づく報酬を設定して、チャットボットＣＢとサービス利用者Ｕとの対話により得られる報酬を最大化するように、選択モデルによる会話用シーケンスＳＱの選択を最適化するための強化学習を、会話用シーケンス単位で実行できる。
【0046】
また、強化学習の際、第２サーバ２００により会話用シーケンスＳＱに対して設定される報酬は、少なくとも直前の会話用シーケンスＳＱを用いて行われた会話の内容や、会話の成果に応じて設定される。
【0047】
たとえば、第２サーバ２００は、直前（前回）の会話用シーケンスＳＱによる対話においてサービス利用者Ｕの反応が好意的であったか否かに基づいて報酬を設定してもよい。具体的には、第２サーバ２００は、直前の会話用シーケンスＳＱによる対話においてサービス利用者Ｕから得られた回答が好意的な回答であった場合、直前の会話用シーケンスＳＱに対して正（たとえば、＋１）の報酬を与える。一方、第２サーバ２００は、直前の会話用シーケンスＳＱによる対話においてサービス利用者Ｕから得られた回答が好意的な回答ではなかった場合、直前の会話用シーケンスＳＱに対して負（たとえば、－１）の報酬を与える。
【0048】
なお、第２サーバ２００は、直前の会話用シーケンスＳＱに対する報酬を設定する際、過去に行われた対話におけるサービス利用者Ｕの反応の変化に応じて報酬を設定してもよい。たとえば、前々回の対話におけるサービス利用者Ｕおよび直前（前回）のサービス利用者Ｕの反応が共に好意的であった場合、直前の会話用シーケンスＳＱに対して正（たとえば、＋２）の報酬を与え、前々回の対話におけるサービス利用者Ｕが好意的であり、直前（前回）のサービス利用者Ｕの反応が好意的ではなかった場合、直前の会話用シーケンスＳＱに対して報酬を与えず、前々回の対話におけるサービス利用者Ｕおよび直前（前回）のサービス利用者Ｕの反応が共に好意的ではなかった場合、直前の会話用シーケンスＳＱに対して負（たとえば、－２）の報酬を与えてもよい。このようにして、第２サーバ２００は、サービス利用者Ｕの反応の変化に応じた会話用シーケンスＳＱの選択が行われるように、選択モデルを最適化する効果を期待できる。
【0049】
また、たとえば、第２サーバ２００は、直前（前回）の会話用シーケンスＳＱに対応付けられている所定のコンバージョンをサービス利用者Ｕから取得できたか否かに基づいて報酬を設定してもよい。具体的には、第２サーバ２００は、直前の会話用シーケンスＳＱに対応付けられている所定の情報をサービス利用者Ｕから取得できた場合（たとえば、サービス利用者Ｕが求めている商品の情報を取得できた場合）には、直前の会話用シーケンスＳＱに対して正（たとえば、＋１）の報酬を与える。一方、第２サーバ２００は、直前の会話用シーケンスＳＱに対応付けられている所定の情報をサービス利用者Ｕから取得できなかった場合、直前の会話用シーケンスＳＱに対して負（たとえば、－１）の報酬を与える。
【0050】
このようにして、第２サーバ２００は、直前の会話用シーケンスＳＱにおけるサービス利用者Ｕの反応に基づく報酬を設定して、選択モデルによる会話用シーケンスＳＱの選択が最適化されるように学習を実行する。また、第２サーバ２００は、サービス利用者Ｕの属性ごとに、選択モデルの強化学習を実行できる。これにより、第２サーバ２００は、選択モデルを用いることにより、サービス利用者Ｕの属性および状態に応じて、望ましい結果が得られるような会話用シーケンスＳＱが選択される可能性を高めことができる。
【0051】
なお、第２サーバ２００は、任意の手法を用いて、選択モデルの強化学習を実行できる。第２サーバ２００は、価値ベースの手法であれば、Ｑ学習やＳＡＲＳＡなどを用いてもよいし、方策ベース手法であれば、方策勾配法などを用いてもよい。
【0052】
図１に戻り、第１サーバ１００は、第２サーバ２００から次の会話用シーケンスＳＱの指示を受信すると、受信した次の会話用シーケンスＳＱに従って、チャットボットＣＢを通じたサービス利用者Ｕとの対話に関する処理を実行する（ステップＳ０９）。
【0053】
［３．実施形態に係る第２サーバの構成］
図５を用いて、実施形態に係る第２サーバ２００の構成例について説明する。図５に、実施形態に係る第２サーバ２００の構成例を示す。図５に示すように、第２サーバ２００は、通信部２１０と、記憶部２２０と、制御部２３０とを有する。
図５を用いて、実施形態に係る第２サーバ２００の構成例について説明する。図５に、実施形態に係る第２サーバ２００の構成例を示す。図５に示すように、第２サーバ２００は、通信部２１０と、記憶部２２０と、制御部２３０とを有する。
【0054】
（通信部２１０について）
通信部２１０は、たとえば、ＮＩＣ（Network Interface Card）などによって実現される。通信部２１０は、ネットワークＮと有線または無線で接続される。第２サーバ２００は、ネットワークＮを介して、利用者端末１０や第１サーバ１００などの他の装置との間で情報の送受信を行う。
通信部２１０は、たとえば、ＮＩＣ（Network Interface Card）などによって実現される。通信部２１０は、ネットワークＮと有線または無線で接続される。第２サーバ２００は、ネットワークＮを介して、利用者端末１０や第１サーバ１００などの他の装置との間で情報の送受信を行う。
【0055】
（記憶部２２０について）
記憶部２２０は、たとえば、ＲＡＭ（Random Access Memory)や、フラッシュメモリなどの半導体メモリ素子、またはハードディスクや、光ディスクなどの記憶装置によって実現される。たとえば、記憶部２２０は、会話用シーケンス記憶部２２１と、選択モデル記憶部２２２と、利用者情報記憶部２２３とを有する。
記憶部２２０は、たとえば、ＲＡＭ（Random Access Memory)や、フラッシュメモリなどの半導体メモリ素子、またはハードディスクや、光ディスクなどの記憶装置によって実現される。たとえば、記憶部２２０は、会話用シーケンス記憶部２２１と、選択モデル記憶部２２２と、利用者情報記憶部２２３とを有する。
【0056】
（会話用シーケンス記憶部２２１）
会話用シーケンス記憶部２２１は、チャットボットＣＢを通じたサービス利用者（たとえば、図１に示すサービス利用者Ｕ）との対話に用いる会話用シーケンスの情報を記憶する。図６は、実施形態に係る会話用シーケンスの情報の概要を示す図である。
会話用シーケンス記憶部２２１は、チャットボットＣＢを通じたサービス利用者（たとえば、図１に示すサービス利用者Ｕ）との対話に用いる会話用シーケンスの情報を記憶する。図６は、実施形態に係る会話用シーケンスの情報の概要を示す図である。
【0057】
図６に示すように、会話用シーケンス記憶部２２１に記憶される会話用シーケンスの情報は、「シーケンス番号」の項目や、「会話パターン」の項目や、「回答受付用コンテンツ」の項目や、「対応サービス」の項目などといった複数の項目を有している。会話用シーケンスの情報が有するこれらの項目は相互に対応付けられている。
【0058】
「シーケンス番号」の項目には、会話用シーケンスを特定するために会話用シーケンスごとに個別に割り振られる識別番号が記憶される。「会話パターン」の項目には、会話用シーケンスに含まれる会話パターンに関する情報が記憶される。「回答受付用コンテンツ」の項目には、会話パターンに含まれる発話（質問）に関連付けて表示される回答受付用のコンテンツが記憶される。また、回答受付用コンテンツに、サービス利用者の評価を受け付けるための複数の回答が含まれる場合、それぞれの回答に対して、好意的な回答である否かを示す属性値を予め対応付けておく。「対応サービス」の項目には、会話用シーケンスが適用される各種オンラインサービスを示す情報が記憶される。
【0059】
（選択モデル記憶部２２２）
選択モデル記憶部２２２は、会話用シーケンスを選択する際に用いられる選択モデルに関する情報が記憶される。図７は、実施形態に係る選択モデルに関する情報の概要を示す図である。
選択モデル記憶部２２２は、会話用シーケンスを選択する際に用いられる選択モデルに関する情報が記憶される。図７は、実施形態に係る選択モデルに関する情報の概要を示す図である。
【0060】
図７に示すように、実施形態に係る選択モデル記憶部２２２に記憶される選択モデルに関する情報は、「モデルＩＤ」の項目や、「対応属性」の項目や、「モデル情報」の項目などといった複数の項目を有している。選択モデルに関する情報が有するこれらの項目は相互に対応付けられている。
【0061】
「モデルＩＤ」の項目には、選択モデルを識別するための識別情報が記憶される。「対応属性」の項目には、選択モデルに対応するサービス利用者（たとえば、図１に示すサービス利用者Ｕ）の属性を示す情報が記憶される。「モデル情報」の項目には、選択モデルの方策（ポリシ）に関する情報や、各種パラメータなどの選択モデルを構成する各種の情報が記憶される。
【0062】
（利用者情報記憶部２２３）
利用者情報記憶部２２３は、各種オンラインサービスの利用者であるサービス利用者（たとえば、図１に示すサービス利用者Ｕ）に関する情報が記憶される。図８は、実施形態に係る利用者情報の概要を示す図である。
利用者情報記憶部２２３は、各種オンラインサービスの利用者であるサービス利用者（たとえば、図１に示すサービス利用者Ｕ）に関する情報が記憶される。図８は、実施形態に係る利用者情報の概要を示す図である。
【0063】
図８に示すように、実施形態に係る利用者情報記憶部２２３に記憶される利用者情報は、「利用者ＩＤ」の項目や、「属性情報」の項目や、「対話履歴」の項目などといった複数の項目を有している。利用者情報が有するこれらの項目は相互に対応付けられている。
【0064】
「利用者ＩＤ」の項目には、各種オンラインサービスのサービス利用者（たとえば、図１に示すサービス利用者Ｕ）を識別するための識別情報が記憶される。「属性情報」の項目には、サービス利用者のデモグラフィック属性やサイコグラフィック属性、位置情報や生体情報などの属性に関する情報が記憶される。「対話履歴」の項目には、チャットボットＣＢとの対話において選択された会話用シーケンスなどを含む対話履歴が記憶される。
【0065】
なお、利用者情報記憶部２２３は、サービス利用者に関する利用者情報として、サービス利用者のサービス利用履歴を記憶してもよい。たとえば、第２サーバ２００（制御部２３０）は、第１サーバ１００からサービス利用者のサービス利用履歴を取得し、取得したサービス利用履歴をサービス利用者の識別情報（利用者ＩＤ）に対応付けて、利用者情報記憶部２２３に登録できる。
【0066】
（制御部２３０について）
制御部２３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって、第２サーバ２００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３０は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現される。
制御部２３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって、第２サーバ２００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３０は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現される。
【0067】
図５に示す制御部２３０は、選択部２３１と、指示部２３２と、学習部２３３とを有し、これらの各部により、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部２３０は、以下に説明する情報処理の機能や作用を実現または実行する処理単位で複数に分割された内部構成を有していてもよい。また、制御部２３０は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部２３０には、第２サーバ２００により実行される処理の追加に応じて、図５に示す以外の機能部が追加されてもよい。
【0068】
（選択部２３１）
選択部２３１は、オンラインサービスのサービス利用者（たとえば、図１に示すサービス利用者Ｕ）との間でチャットボットを通じて行われる対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスＳＱの中から、サービス利用者の状態に応じた会話用シーケンスＳＱを選択する。たとえば、選択部２３１は、通信部２１０を介して、第１サーバ１００から会話用シーケンスＳＱの問合せを取得すると、会話用シーケンスを選択する。
選択部２３１は、オンラインサービスのサービス利用者（たとえば、図１に示すサービス利用者Ｕ）との間でチャットボットを通じて行われる対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスＳＱの中から、サービス利用者の状態に応じた会話用シーケンスＳＱを選択する。たとえば、選択部２３１は、通信部２１０を介して、第１サーバ１００から会話用シーケンスＳＱの問合せを取得すると、会話用シーケンスを選択する。
【0069】
また、選択部２３１は、チャットボットを通じて行われる対話におけるサービス利用者（たとえば、図１に示すサービス利用者Ｕ）の反応に基づく報酬を設定することにより、対話に用いられる会話用シーケンスＳＱの選択を行う選択モデル（たとえば、図２に示す選択モデル）を用いて、会話用シーケンス記憶部２２１に記憶されている複数の会話用シーケンスＳＱの中から会話用シーケンスを選択する。たとえば、選択部２３１は、第１サーバ１００から取得した会話用シーケンスＳＱの問合せに含まれるサービス利用者の属性を示す属性情報に対応付けられている選択モデルを取得する。そして、選択部２３１は、取得した選択モデルに対して、直近の会話用シーケンスおよびサービス利用者Ｕの反応を入力することにより、選択モデルから出力されるシーケンス番号に紐付く会話用シーケンスを、会話用シーケンス記憶部２２１に記憶されている複数の会話用シーケンスの中から選択する。
【0070】
（指示部２３２）
指示部２３２は、選択部２３１により選択された会話用シーケンスＳＱを、対話に関する処理を実行する第１サーバ１００（「外部装置」の一例）に指示する。たとえば、指示部２３２は、通信部２１０を通じて、会話用シーケンスのシーケンス番号を第１サーバ１００に送信する。
指示部２３２は、選択部２３１により選択された会話用シーケンスＳＱを、対話に関する処理を実行する第１サーバ１００（「外部装置」の一例）に指示する。たとえば、指示部２３２は、通信部２１０を通じて、会話用シーケンスのシーケンス番号を第１サーバ１００に送信する。
【0071】
（学習部２３３）
学習部２３３は、チャットボットＣＢを通じて行われる対話におけるサービス利用者（たとえば、図１に示すサービス利用者Ｕ）の反応に基づく報酬を設定することにより、話に用いられる会話用シーケンスＳＱの選択を行う選択モデルの強化学習を行う。
学習部２３３は、チャットボットＣＢを通じて行われる対話におけるサービス利用者（たとえば、図１に示すサービス利用者Ｕ）の反応に基づく報酬を設定することにより、話に用いられる会話用シーケンスＳＱの選択を行う選択モデルの強化学習を行う。
【0072】
たとえば、学習部２３３は、少なくとも直前の会話用シーケンスＳＱによる対話においてサービス利用者の反応が好意的であったか否かに基づいて報酬を設定することにより、選択モデルの強化学習を行う。
【0073】
また、たとえば、学習部１３３は、直前の会話用シーケンスに対応付けられている所定のコンバージョンをサービス利用者から取得できたか否かに基づいて報酬を設定することにより、選択モデルの強化学習を行う。
【0074】
［４．実施形態に係る処理手順］
以下、実施形態に係る第２サーバ２００が実行する情報処理の手順について説明する。図９に、実施形態に係る第２サーバ２００が実行する処理手順の一例を示す。図９に示す処理手順は、第２サーバ２００の制御部２３０により実行される。図９に示す処理手順は、第２サーバ２００の稼働中、繰り返し実行される。
以下、実施形態に係る第２サーバ２００が実行する情報処理の手順について説明する。図９に、実施形態に係る第２サーバ２００が実行する処理手順の一例を示す。図９に示す処理手順は、第２サーバ２００の制御部２３０により実行される。図９に示す処理手順は、第２サーバ２００の稼働中、繰り返し実行される。
【0075】
図９に示すように、選択部２３１は、第１サーバ１００から会話用シーケンスＳＱの問合せを取得する（ステップＳ１０１）。
【0076】
また、選択部２３１は、選択モデルを用いて、チャットボットＣＢとの対話を行うサービス利用者（たとえば、図１に示すサービス利用者）の状態に応じた会話用シーケンスを選択する（ステップＳ１０２）。
【0077】
また、指示部２３２は、選択部２３１により選択された会話用シーケンスを第１サーバ１００に指示する（ステップＳ１０３）。
【0078】
また、学習部２３３は、会話用シーケンスによる対話におけるサービス利用者の反応に基づく報酬を設定して選択モデルの強化学習を実行して（ステップＳ１０４）、図９に示す処理手順を終了する。
【0079】
［５．変形例］
本願に係る情報処理装置、情報処理方法、及び情報処理プログラムは、上記実施形態以外にも種々の異なる形態にて実施されてよい。以下では、上記実施形態の変形例について説明する。
本願に係る情報処理装置、情報処理方法、及び情報処理プログラムは、上記実施形態以外にも種々の異なる形態にて実施されてよい。以下では、上記実施形態の変形例について説明する。
【0080】
（５－１．会話用シーケンスについて）
上記実施形態に係る会話用シーケンスは、探し物用シーケンスや、今日の気分用シーケンスや、キャンペーン用シーケンスなどのように所定のトピックごとに設定されてもよい。たとえば、探し物シーケンスであれば、「どんな本を探しているのかな？→ジャンルを選んでね→・・・」などの会話パーンなどが例示される。また、たとえば、今日の気分シーケンスであれば、「今日はどんな気分？→・・・」などの会話パターンが例示される。また、たとえば、キャンペーンシーケンスであれば、「今日はお得なキャンペーンをやっているよ→・・・」などの会話パターンが例示される。
上記実施形態に係る会話用シーケンスは、探し物用シーケンスや、今日の気分用シーケンスや、キャンペーン用シーケンスなどのように所定のトピックごとに設定されてもよい。たとえば、探し物シーケンスであれば、「どんな本を探しているのかな？→ジャンルを選んでね→・・・」などの会話パーンなどが例示される。また、たとえば、今日の気分シーケンスであれば、「今日はどんな気分？→・・・」などの会話パターンが例示される。また、たとえば、キャンペーンシーケンスであれば、「今日はお得なキャンペーンをやっているよ→・・・」などの会話パターンが例示される。
【0081】
また、第１サーバ１００は、所定の会話はＮ回（Ｎは、自然数）以上表示しないなどの制御を実行してもよい。
【0082】
（５－２．選択モデルの学習について）
上記実施形態において、第２サーバ２００において実行される選択モデルの学習は、サービス利用者の属性ごとに実行されてもよい。すなわち、第２サーバ２００は、属性が同一であるサービス利用者ごとに、各サービス利用者に共通の選択モデルを設け、強化学習を実行する。また、この場合、第２サーバ２００は、所定のタイミングで、会話用シーケンスごとに各サービス利用者の反応（対話における回答の内容）を収集し、収集した反応に基づいて強化学習を実行してもよい。
上記実施形態において、第２サーバ２００において実行される選択モデルの学習は、サービス利用者の属性ごとに実行されてもよい。すなわち、第２サーバ２００は、属性が同一であるサービス利用者ごとに、各サービス利用者に共通の選択モデルを設け、強化学習を実行する。また、この場合、第２サーバ２００は、所定のタイミングで、会話用シーケンスごとに各サービス利用者の反応（対話における回答の内容）を収集し、収集した反応に基づいて強化学習を実行してもよい。
【0083】
（５－３．チャットボットについて）
上記実施形態において、第１サーバ１００は、チャットボットＣＢの対話画面において、チャットボットＣＢに対応する仮想的なキャラクター画像を表示させてもよい。このとき、第１サーバ１００は、対話の相手であるサービス利用者の回答の内容に応じて、キャラクター画像の表情を変化させてもよい。また、第１サーバ１００は、サービス利用者の属性などに応じて、キャラクター画像の容姿を変更してもよい。
上記実施形態において、第１サーバ１００は、チャットボットＣＢの対話画面において、チャットボットＣＢに対応する仮想的なキャラクター画像を表示させてもよい。このとき、第１サーバ１００は、対話の相手であるサービス利用者の回答の内容に応じて、キャラクター画像の表情を変化させてもよい。また、第１サーバ１００は、サービス利用者の属性などに応じて、キャラクター画像の容姿を変更してもよい。
【0084】
（６．効果）
実施形態に係る第２サーバ２００は、オンラインサービスのサービス利用者との間でチャットボットを通じて行われる対話に関する処理を制御する情報処理装置であり、選択部２３１と、指示部２３２とを有する。選択部２３１は、対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、サービス利用者の状態に応じた会話用シーケンスを選択する。指示部２３２は、選択部２３１により選択された会話用シーケンスを、対話に関する処理を実行する第１サーバ１００に指示する。
実施形態に係る第２サーバ２００は、オンラインサービスのサービス利用者との間でチャットボットを通じて行われる対話に関する処理を制御する情報処理装置であり、選択部２３１と、指示部２３２とを有する。選択部２３１は、対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、サービス利用者の状態に応じた会話用シーケンスを選択する。指示部２３２は、選択部２３１により選択された会話用シーケンスを、対話に関する処理を実行する第１サーバ１００に指示する。
【0085】
このようなことから、実施形態に係る情報処理装置の一例である第２サーバ２００は、オンラインサービスのサービス利用者からの効率的な情報収集を図ることができる。たとえば、実施形態に係る第２サーバ２００は、予め規定される会話用シーケンス単位でサービス利用者との対話を実施することにより、対話におけるユーザエクスペリエンスの質を向上させる効果を期待できる。すなわち、実施形態に係る第２サーバ２００は、チャットボットＣＢを通じて、サービス利用者Ｕとの間でより自然な会話を実現できる。この結果、チャットボットＣＢとの対話が継続される可能性を高めることができ、対話を通じてサービス利用者からの効率的な情報収集を図ることができる。
【0086】
また、第２サーバ２００は、チャットボットを通じて行われる対話におけるサービス利用者の反応に基づく報酬を会話用シーケンスに対して設定することにより、対話に用いられる会話用シーケンスの選択を行う選択モデルの強化学習を会話用シーケンス単位で実行する学習部２３３をさらに有する。選択部２３１は、選択モデルを用いて、会話用シーケンスを選択する。
【0087】
また、選択部２３１は、選択モデルを用いて、サービス利用者に関する利用者情報と、直近の会話の内容を示す会話の履歴と、会話におけるサービス利用者の反応とに基づく会話用シーケンスを選択する。
【0088】
このため、第２サーバによれば、サービス利用者ごとに、サービス利用者の会話における反応に応じた自然な会話を演出できる。
【0089】
また、利用者情報は、サービス利用者の属性を示す属性情報、及びオンラインサービスのサービス利用履歴を含む。
【0090】
このため、第２サーバによれば、サービス利用者の属性やサービスの利用状況に合わせた自然な会話を演出できる。
【0091】
このように、第２サーバ２００によれば、会話用シーケンス単位で選択モデルの強化学習を実行するので、会話用シーケンスによる対話において、強化学習が有する学習のランダム性に起因するユーザエクスペリエンスの質の低下を防止できる。さらに、第２サーバ２００によれば、会話用シーケンスを用いて、会話用シーケンス単位で学習を行うことにより、チャットボットＣＢに強化学習を用いる通常の学習よりも学習量を抑えることができ、システムの効率化を図ることができる。
【0092】
また、学習部２３３は、少なくとも直前の会話用シーケンスによる対話においてサービス利用者の反応が好意的であったか否かに基づいて報酬を設定することにより、選択モデルの強化学習を行う。
【0093】
このため、第２サーバ２００によれば、会話用シーケンスによる対話において、サービス利用者の反応が好意的となるように、選択モデルによる会話用シーケンスの選択を最適化できる。
【0094】
また、学習部２３３は、直前の会話用シーケンスに対応付けられている所定のコンバージョンをサービス利用者から取得できたか否かに基づいて報酬を設定することにより、選択モデルの強化学習を行う。
【0095】
このため、第２サーバ２００によれば、会話用シーケンスによる対話を通じて、サービス利用者から望ましい結果が得られるように、選択モデルによる会話用シーケンスの選択を最適化できる。
【0096】
［７．ハードウェア構成］
また、上述してきた実施形態および各変形例に係る第２サーバ２００は、たとえば、図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、実施形態及び各変形例に係る第２サーバ２００の機能を実現するコンピュータの一例を示すハードウェア構成図である。
また、上述してきた実施形態および各変形例に係る第２サーバ２００は、たとえば、図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、実施形態及び各変形例に係る第２サーバ２００の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【0097】
コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
【0098】
演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラムなどに基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭなど、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。
【0099】
出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナなどといった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、例えば、ＵＳＢなどにより実現される。
【0100】
なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどから情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリなどの外付け記憶媒体であってもよい。
【0101】
ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。
【0102】
演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。
【0103】
たとえば、コンピュータ１０００が実施形態に係る第２サーバ２００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）を実行することにより、制御部２３０と同様の機能を実現する。すなわち、演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（例えば、情報処理プログラム）との協働により、実施形態に係る第２サーバ２００による処理を実現する。
【0104】
［８．その他］
上記実施形態などにおいて説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
上記実施形態などにおいて説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【0105】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、第２サーバ２００の制御部２３０が有する選択部２３１および指示部２３２は、機能的に統合されていてもよい。また、たとえば、情報処理システムＳＹＳにおける第１サーバ１００および第２サーバ２００は、機能的および物理的に統合された単体の情報処理装置であってもよい。
【0106】
また、上述してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0107】
以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0108】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【符号の説明】
【0109】
Ｎ ネットワーク
ＳＹＳ 情報処理システム
１０ 利用者端末
１００ 第１サーバ
２００ 第２サーバ
２１０ 通信部
２２０ 記憶部
２２１ 会話用シーケンス記憶部
２２２ 選択モデル記憶部
２２３ 利用者情報記憶部
２３０ 制御部
２３１ 選択部
２３２ 指示部
２３３ 学習部
ＳＹＳ 情報処理システム
１０ 利用者端末
１００ 第１サーバ
２００ 第２サーバ
２１０ 通信部
２２０ 記憶部
２２１ 会話用シーケンス記憶部
２２２ 選択モデル記憶部
２２３ 利用者情報記憶部
２３０ 制御部
２３１ 選択部
２３２ 指示部
２３３ 学習部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2024-04-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
オンラインサービスのサービス利用者との間でチャットボットを通じて行われる対話に関する処理を制御する情報処理装置であって、
前記対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、前記サービス利用者の状態に応じた前記会話用シーケンスを選択する選択部と、
前記選択部により選択された前記会話用シーケンスを、前記対話に関する処理を実行する外部装置に指示する指示部と
を有し、
前記選択部は、
前記外部装置から受信する最初の会話用シーケンスの問合せに応じて、前記複数の会話用シーケンスの中から、前記オンラインサービスに共通の最初の会話用シーケンス、前記オンラインサービスごとに予め規定される最初の会話用シーケンス、又は前記対話の相手となる前記サービス利用者の属性に対応する最初の会話用シーケンスを選択する
ことを特徴とする情報処理装置。
前記対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、前記サービス利用者の状態に応じた前記会話用シーケンスを選択する選択部と、
前記選択部により選択された前記会話用シーケンスを、前記対話に関する処理を実行する外部装置に指示する指示部と
を有し、
前記選択部は、
前記外部装置から受信する最初の会話用シーケンスの問合せに応じて、前記複数の会話用シーケンスの中から、前記オンラインサービスに共通の最初の会話用シーケンス、前記オンラインサービスごとに予め規定される最初の会話用シーケンス、又は前記対話の相手となる前記サービス利用者の属性に対応する最初の会話用シーケンスを選択する
ことを特徴とする情報処理装置。
【請求項2】
前記チャットボットを通じて行われる対話における前記サービス利用者の反応に基づく報酬を前記会話用シーケンスに対して設定することにより、前記対話に用いられる前記会話用シーケンスの選択を行う選択モデルの強化学習を前記会話用シーケンス単位で実行する学習部
をさらに有し、
前記選択部は、
前記選択モデルを用いて、前記会話用シーケンスを選択する
ことを特徴とする請求項１に記載の情報処理装置。
をさらに有し、
前記選択部は、
前記選択モデルを用いて、前記会話用シーケンスを選択する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記選択部は、
前記選択モデルを用いて、前記サービス利用者に関する利用者情報と、直近の会話の内容を示す会話の履歴と、前記会話における前記サービス利用者の反応とに基づく前記会話用シーケンスを選択する
ことを特徴とする請求項２に記載の情報処理装置。
前記選択モデルを用いて、前記サービス利用者に関する利用者情報と、直近の会話の内容を示す会話の履歴と、前記会話における前記サービス利用者の反応とに基づく前記会話用シーケンスを選択する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記利用者情報は、
前記サービス利用者の属性を示す属性情報、及び前記オンラインサービスのサービス利用履歴を含む
ことを特徴とする請求項３に記載の情報処理装置。
前記サービス利用者の属性を示す属性情報、及び前記オンラインサービスのサービス利用履歴を含む
ことを特徴とする請求項３に記載の情報処理装置。
【請求項5】
前記学習部は、
少なくとも直前の前記会話用シーケンスによる前記対話において前記サービス利用者の反応が好意的であったか否かに基づいて前記報酬を設定することにより、前記選択モデルの強化学習を行う
ことを特徴とする請求項２に記載の情報処理装置。
少なくとも直前の前記会話用シーケンスによる前記対話において前記サービス利用者の反応が好意的であったか否かに基づいて前記報酬を設定することにより、前記選択モデルの強化学習を行う
ことを特徴とする請求項２に記載の情報処理装置。
【請求項6】
前記学習部は、
直前の前記会話用シーケンスに対する報酬を設定する際、過去に行われた前記対話における前記サービス利用者の反応の変化に応じて前記報酬を設定する
ことを特徴とする請求項５に記載の情報処理装置。
直前の前記会話用シーケンスに対する報酬を設定する際、過去に行われた前記対話における前記サービス利用者の反応の変化に応じて前記報酬を設定する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項7】
前記学習部は、
直前の前記会話用シーケンスに対応付けられている所定のコンバージョンを前記サービス利用者から取得できたか否かに基づいて前記報酬を設定することにより、前記選択モデルの強化学習を行う
ことを特徴とする請求項２に記載の情報処理装置。
直前の前記会話用シーケンスに対応付けられている所定のコンバージョンを前記サービス利用者から取得できたか否かに基づいて前記報酬を設定することにより、前記選択モデルの強化学習を行う
ことを特徴とする請求項２に記載の情報処理装置。
【請求項8】
オンラインサービスのサービス利用者との間でチャットボットを通じて行われる対話に関する処理を制御する情報処理方法であって、
前記対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、前記サービス利用者の状態に応じた前記会話用シーケンスを選択する選択工程と、
前記選択工程により選択された前記会話用シーケンスを、前記対話に関する処理を実行する外部装置に指示する指示工程と
を含み、
前記選択工程は、
前記外部装置から受信する最初の会話用シーケンスの問合せに応じて、前記複数の会話用シーケンスの中から、前記オンラインサービスに共通の最初の会話用シーケンス、前記オンラインサービスごとに予め規定される最初の会話用シーケンス、又は前記対話の相手となる前記サービス利用者の属性に対応する最初の会話用シーケンスを選択する
ことを特徴とする情報処理方法。
前記対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、前記サービス利用者の状態に応じた前記会話用シーケンスを選択する選択工程と、
前記選択工程により選択された前記会話用シーケンスを、前記対話に関する処理を実行する外部装置に指示する指示工程と
を含み、
前記選択工程は、
前記外部装置から受信する最初の会話用シーケンスの問合せに応じて、前記複数の会話用シーケンスの中から、前記オンラインサービスに共通の最初の会話用シーケンス、前記オンラインサービスごとに予め規定される最初の会話用シーケンス、又は前記対話の相手となる前記サービス利用者の属性に対応する最初の会話用シーケンスを選択する
ことを特徴とする情報処理方法。
【請求項9】
オンラインサービスのサービス利用者との間でチャットボットを通じて行われる対話に関する処理を制御するコンピュータに、
前記対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、前記サービス利用者の状態に応じた前記会話用シーケンスを選択する選択手順と、
前記選択手順により選択された前記会話用シーケンスを、前記対話に関する処理を実行する外部装置に指示する指示手順と
を実行させ、
前記選択手順は、
前記外部装置から受信する最初の会話用シーケンスの問合せに応じて、前記複数の会話用シーケンスの中から、前記オンラインサービスに共通の最初の会話用シーケンス、前記オンラインサービスごとに予め規定される最初の会話用シーケンス、又は前記対話の相手となる前記サービス利用者の属性に対応する最初の会話用シーケンスを選択する
ことを特徴とする情報処理プログラム。
前記対話において想定される一連の会話の内容を示す会話パターンが予め規定された複数の会話用シーケンスの中から、前記サービス利用者の状態に応じた前記会話用シーケンスを選択する選択手順と、
前記選択手順により選択された前記会話用シーケンスを、前記対話に関する処理を実行する外部装置に指示する指示手順と
を実行させ、
前記選択手順は、
前記外部装置から受信する最初の会話用シーケンスの問合せに応じて、前記複数の会話用シーケンスの中から、前記オンラインサービスに共通の最初の会話用シーケンス、前記オンラインサービスごとに予め規定される最初の会話用シーケンス、又は前記対話の相手となる前記サービス利用者の属性に対応する最初の会話用シーケンスを選択する
ことを特徴とする情報処理プログラム。