特許 7688766 情報処理装置、情報処理システム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-05-27

(45)【発行日】2025-06-04

(54)【発明の名称】情報処理装置、情報処理システム及び情報処理方法

(51)【国際特許分類】

   G06F 16/90 20190101AFI20250528BHJP

【ＦＩ】

G06F16/90 100

【請求項の数】 13

(21)【出願番号】P 2024119443

(22)【出願日】2024-07-25

【審査請求日】2024-10-17

【早期審査対象出願】

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(72)【発明者】

【氏名】高橋 知彦

【審査官】早川 学

(56)【参考文献】

【文献】中国特許出願公開第１１８１５２５５１（ＣＮ，Ａ）

【文献】中国特許出願公開第１１７７２６３４６（ＣＮ，Ａ）

【文献】中国特許出願公開第１１７４２１３９７（ＣＮ，Ａ）

【文献】中国特許出願公開第１１３６８８２１６（ＣＮ，Ａ）

【文献】中国特許出願公開第１１０００８３２０（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ ３／００－ ３／１８

(57)【特許請求の範囲】

【請求項1】

表示装置が表示する表示画像をキャプチャしたキャプチャ画像を取得する第１取得部と、
前記第１取得部が取得した前記キャプチャ画像に基づいて当該キャプチャ画像の表示内容を説明する画像説明文を生成する生成部と、
前記生成部が生成した前記画像説明文の中から、前記表示装置又は前記表示装置に前記表示画像を表示させる表示制御装置に関する説明文である部分説明文を取得し、ユーザからの前記表示装置の状況に関する説明情報の入力に対し前記説明情報に対する回答を出力する機械学習モデルに対し、前記生成部が生成した画像説明文から取得した当該部分説明文をユーザからの説明情報として入力し、前記機械学習モデルから、当該部分説明文に対応する回答を取得する第２取得部と、
前記第２取得部が取得した前記回答を出力する出力部と、
を有する情報処理装置。

【請求項2】

前記第２取得部は、前記説明情報の入力に対し、前記回答として前記説明情報に対応する前記ユーザからの問い合わせの候補を一以上出力する前記機械学習モデルに対し、前記部分説明文を入力し、前記機械学習モデルから、当該部分説明文に対応する一以上の前記問い合わせの候補を取得し、
前記出力部は、前記第２取得部が取得した前記一以上の前記問い合わせの候補を出力する、
請求項１に記載の情報処理装置。

【請求項3】

前記第２取得部は、前記説明情報の入力に対し、前記回答として前記説明情報に対応する前記ユーザからの一以上の問い合わせの候補と、当該一以上の問い合わせの候補それぞれに対応する当該問い合わせに対する回答である問合せ回答とを出力する機械学習モデルに対し、前記部分説明文を入力し、前記機械学習モデルから、当該部分説明文に対応する一以上の前記問い合わせと、当該一以上の問い合わせそれぞれに対応する問い合わせ回答とを取得する、
請求項２に記載の情報処理装置。

【請求項4】

前記第１取得部は、前記表示装置のユーザの、前記表示装置に前記表示画像を表示させるための契約情報を取得し、
前記第２取得部は、ユーザからの前記説明情報と当該ユーザに対応する前記契約情報との入力に対し前記回答を出力する機械学習モデルに対し、前記部分説明文と前記第１取得部が取得した前記契約情報とを入力し、前記機械学習モデルから、当該部分説明文に対応する回答を取得する、
請求項１に記載の情報処理装置。

【請求項5】

前記第１取得部は、前記ユーザの前記表示装置又は前記表示装置に前記表示画像を表示させる表示制御装置の使用に係る前記契約情報を取得する、
請求項４に記載の情報処理装置。

【請求項6】

前記第１取得部は、前記表示装置又は前記表示装置に前記表示画像を表示させる表示制御装置を識別するための装置識別情報を取得し、
前記第２取得部は、ユーザからの前記説明情報と当該ユーザに対応する前記装置識別情報との入力に対し前記回答を出力する機械学習モデルに対し、前記部分説明文と前記第１取得部が取得した前記装置識別情報とを入力し、前記機械学習モデルから、当該部分説明文に対応する回答を取得する、
請求項１に記載の情報処理装置。

【請求項7】

前記第１取得部は、前記表示装置における前記表示画像が表示されるまでの操作ログ、又は、前記表示装置に前記表示画像を表示させる表示制御装置における、前記表示装置に前記表示画像が表示されるまでの操作ログを示す操作ログ情報を取得し、
前記第２取得部は、ユーザからの前記説明情報と当該ユーザに対応する前記操作ログ情報との入力に対し前記回答を出力する機械学習モデルに対し、前記部分説明文と前記第１取得部が取得した前記操作ログ情報とを入力し、前記機械学習モデルから、当該部分説明文に対応する回答を取得する、
請求項１に記載の情報処理装置。

【請求項8】

前記第２取得部は、前記画像説明文に含まれる複数の部分説明文それぞれに対応する前記キャプチャ画像における位置を特定し、前記複数の部分説明文それぞれの前記位置に基づいて、前記画像説明文の中から、前記表示装置又は前記表示装置に前記表示画像を表示させる表示制御装置に関する説明文である部分説明文を取得する、
請求項１に記載の情報処理装置。

【請求項9】

前記第１取得部は、前記表示装置又は前記表示装置に前記表示画像を表示させる表示制御装置が自身の不具合を検出したことに応じて、前記表示装置又は前記表示制御装置から、前記不具合を検出した時点において前記表示装置が表示する表示画像をキャプチャしたキャプチャ画像を取得し、
前記生成部は、前記第１取得部が前記キャプチャ画像を取得したことに応じて前記画像説明文を生成し、
前記第２取得部は、前記生成部が前記画像説明文を生成したことに応じて、前記機械学習モデルに当該画像説明文の中から取得した前記部分説明文を入力し、前記機械学習モデルから、当該部分説明文に対応する回答を取得し、
前記出力部は、前記第２取得部が回答を取得したことに応じて、当該回答を前記表示装置に出力する、
請求項１に記載の情報処理装置。

【請求項10】

前記第２取得部は、前記キャプチャ画像及び前記説明情報の入力に対し前記回答を出力する機械学習モデルに対し、前記第１取得部が取得した前記キャプチャ画像及び前記部分説明文を入力し、前記機械学習モデルから、当該キャプチャ画像及び当該部分説明文に対応する回答を取得する、
請求項１に記載の情報処理装置。

【請求項11】

表示装置と情報処理装置とを有する情報処理システムであって、
前記表示装置は、
表示部と、
前記表示部に表示された表示画像をキャプチャしたキャプチャ画像を生成する画像生成部と、
前記画像生成部が生成した前記キャプチャ画像を前記情報処理装置に送信する送信部と、
前記情報処理装置は、
前記キャプチャ画像を取得する第１取得部と、
前記第１取得部が取得した前記キャプチャ画像に基づいて当該キャプチャ画像の表示内容を説明する画像説明文を生成する生成部と、
前記生成部が生成した前記画像説明文の中から、前記表示装置又は前記表示装置に前記表示画像を表示させる表示制御装置に関する説明文である部分説明文を取得し、ユーザからの前記表示装置の状況に関する説明情報の入力に対し前記説明情報に対する回答を出力する機械学習モデルに対し、前記生成部が生成した画像説明文から取得した当該部分説明文をユーザからの説明情報として入力し、前記機械学習モデルから、当該部分説明文に対応する回答を取得する第２取得部と、
前記第２取得部が取得した前記回答を前記表示装置に出力する出力部と、
を有し、
前記表示装置は、
前記情報処理装置から出力された前記回答を前記表示部に表示させる表示制御部をさらに有する、
情報処理システム。

【請求項12】

前記画像生成部は、前記表示装置を操作する操作部により所定の操作が行われたことに応じて前記キャプチャ画像を生成する、
請求項１１に記載の情報処理システム。

【請求項13】

コンピュータが実行する、
表示装置が表示する表示画像をキャプチャしたキャプチャ画像を取得するステップと、
取得した前記キャプチャ画像に基づいて当該キャプチャ画像の表示内容を説明する画像説明文を生成するステップと、
生成した前記画像説明文の中から、前記表示装置又は前記表示装置に前記表示画像を表示させる表示制御装置に関する説明文である部分説明文を取得し、ユーザからの前記表示装置の状況に関する説明情報の入力に対し前記説明情報に対する回答を出力する機械学習モデルに対し、生成した画像説明文から取得した当該部分説明文をユーザからの説明情報として入力し、前記機械学習モデルから、当該部分説明文に対応する回答を取得するステップと、
取得した前記回答を出力するステップと、
を有する情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム及び情報処理方法に関する。

【背景技術】

【0002】

従来、ユーザからの問い合わせに対して自動的に回答を提示することが行われている。例えば、特許文献１には、ユーザから新規質問文章が入力されると、当該文章に類似する過去の質問文章に関連付けられている、当該過去の質問文章に対する過去の回答文章を提示する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２４－９７２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ユーザが表示装置の不具合等の問い合わせを行い、不具合等の事象を解決する場合、ユーザは、自身で表示装置の不具合時の状況を示す文章を作成する必要があり、ユーザにとって負担が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、不具合等の事象の発生時におけるユーザの負担を軽減することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る情報処理装置は、表示装置が表示する表示画像をキャプチャしたキャプチャ画像を取得する第１取得部と、前記第１取得部が取得した前記キャプチャ画像に基づいて当該キャプチャ画像の表示内容を説明する画像説明文を生成する生成部と、ユーザからの前記表示装置の状況に関する説明情報の入力に対し前記説明情報に対する回答を出力する機械学習モデルに対し、前記生成部が生成した画像説明文をユーザからの説明情報として入力し、前記機械学習モデルから、当該画像説明文に対応する回答を取得する第２取得部と、前記第２取得部が取得した前記回答を出力する出力部と、を有する。

【0007】

前記第２取得部は、前記説明情報の入力に対し、前記回答として前記説明情報に対応する前記ユーザからの問い合わせの候補を一以上出力する前記機械学習モデルに対し、前記生成部が生成した画像説明文を入力し、前記機械学習モデルから、当該説明情報に対応する一以上の前記問い合わせの候補を取得し、前記出力部は、前記第２取得部が取得した前記一以上の前記問い合わせの候補を出力してもよい。

【0008】

前記第２取得部は、前記説明情報の入力に対し、前記回答として前記説明情報に対応する前記ユーザからの一以上の問い合わせの候補と、当該一以上の問い合わせの候補それぞれに対応する当該問い合わせに対する回答である問合せ回答とを出力する機械学習モデルに対し、前記生成部が生成した画像説明文を入力し、前記機械学習モデルから、当該画像説明文に対応する一以上の前記問い合わせと、当該一以上の問い合わせそれぞれに対応する問い合わせ回答とを取得してもよい。

【0009】

前記第１取得部は、前記表示装置のユーザの、前記表示装置に前記表示画像を表示させるための契約情報を取得し、前記第２取得部は、ユーザからの前記説明情報と当該ユーザに対応する前記契約情報との入力に対し前記回答を出力する機械学習モデルに対し、前記生成部が生成した画像説明文と前記第１取得部が取得した前記契約情報とを入力し、前記機械学習モデルから、当該画像説明文に対応する回答を取得してもよい。

【0010】

前記第１取得部は、前記ユーザの前記表示装置又は前記表示装置に前記表示画像を表示させる表示制御装置の使用に係る前記契約情報を取得してもよい。

【0011】

前記第１取得部は、前記表示装置又は前記表示装置に前記表示画像を表示させる表示制御装置を識別するための装置識別情報を取得し、前記第２取得部は、ユーザからの前記説明情報と当該ユーザに対応する前記装置識別情報との入力に対し前記回答を出力する機械学習モデルに対し、前記生成部が生成した画像説明文と前記第１取得部が取得した前記装置識別情報とを入力し、前記機械学習モデルから、当該画像説明文に対応する回答を取得してもよい。

【0012】

前記第１取得部は、前記表示装置における前記表示画像が表示されるまでの操作ログ、又は、前記表示装置に前記表示画像を表示させる表示制御装置における、前記表示装置に前記表示画像が表示されるまでの操作ログを示す操作ログ情報を取得し、前記第２取得部は、ユーザからの前記説明情報と当該ユーザに対応する前記操作ログ情報との入力に対し前記回答を出力する機械学習モデルに対し、前記生成部が生成した画像説明文と前記第１取得部が取得した前記操作ログ情報とを入力し、前記機械学習モデルから、当該画像説明文に対応する回答を取得してもよい。

【0013】

前記第２取得部は、前記画像説明文の中から、前記表示装置又は前記表示装置に前記表示画像を表示させる表示制御装置に関する説明文である部分説明文を取得し、前記機械学習モデルに対し、前記生成部が生成した画像説明文から取得した部分説明文を入力し、前記機械学習モデルから、当該部分説明文に対応する回答を取得してもよい。

【0014】

前記第２取得部は、前記画像説明文に含まれる複数の部分説明文それぞれに対応する前記キャプチャ画像における位置を特定し、前記複数の部分説明文それぞれの前記位置に基づいて、前記画像説明文の中から、前記表示装置又は前記表示装置に前記表示画像を表示させる表示制御装置に関する説明文である部分説明文を取得してもよい。

【0015】

前記第１取得部は、前記表示装置又は前記表示装置に前記表示画像を表示させる表示制御装置が自身の不具合を検出したことに応じて、前記表示装置又は前記表示制御装置から、前記不具合を検出した時点において前記表示装置が表示する表示画像をキャプチャしたキャプチャ画像を取得し、前記生成部は、前記第１取得部が前記キャプチャ画像を取得したことに応じて前記画像説明文を生成し、前記第２取得部は、前記生成部が前記画像説明文を生成したことに応じて、前記機械学習モデルに当該画像説明文を入力し、前記機械学習モデルから、当該画像説明文に対応する回答を取得し、前記出力部は、前記第２取得部が回答を取得したことに応じて、当該回答を前記表示装置に出力してもよい。

【0016】

前記第２取得部は、前記キャプチャ画像及び前記画像説明文の入力に対し前記回答を出力する機械学習モデルに対し、前記第１取得部が取得した前記キャプチャ画像及び前記生成部が生成した画像説明文を入力し、前記機械学習モデルから、当該キャプチャ画像及び当該画像説明文に対応する回答を取得してもよい。

【0017】

本発明の第２の態様に係る情報処理システムは、表示装置と情報処理装置とを有する情報処理システムであって、前記表示装置は、表示部と、前記表示部に表示された表示画像をキャプチャしたキャプチャ画像を生成する画像生成部と、前記画像生成部が生成した前記キャプチャ画像を前記情報処理装置に送信する送信部と、前記情報処理装置は、前記キャプチャ画像を取得する第１取得部と、前記第１取得部が取得した前記キャプチャ画像に基づいて当該キャプチャ画像の表示内容を説明する画像説明文を生成する生成部と、ユーザからの前記表示装置の状況に関する説明情報の入力に対し前記説明情報に対する回答を出力する機械学習モデルに対し、前記生成部が生成した画像説明文をユーザからの説明情報として入力し、前記機械学習モデルから、当該画像説明文に対応する回答を取得する第２取得部と、前記第２取得部が取得した前記回答を前記表示装置に出力する出力部と、を有し、前記表示装置は、前記情報処理装置から出力された前記回答を前記表示部に表示させる表示制御部をさらに有してもよい。

【0018】

前記画像生成部は、前記表示装置を操作する操作部により所定の操作が行われたことに応じて前記キャプチャ画像を生成してもよい。

【0019】

本発明の第３の態様に係る情報処理方法は、コンピュータが実行する、表示装置が表示する表示画像をキャプチャしたキャプチャ画像を取得するステップと、取得した前記キャプチャ画像に基づいて当該キャプチャ画像の表示内容を説明する画像説明文を生成するステップと、ユーザからの前記表示装置の状況に関する説明情報の入力に対し前記説明情報に対する回答を出力する機械学習モデルに対し、生成した画像説明文をユーザからの説明情報として入力し、前記機械学習モデルから、当該画像説明文に対応する回答を取得するステップと、取得した前記回答を出力するステップと、を有する。

【発明の効果】

【0020】

本発明によれば、不具合等の事象の発生時におけるユーザの負担を軽減することができるという効果を奏する。

【図面の簡単な説明】

【0021】

【図1】情報処理システムの概要を示す図である。

【図2】情報処理装置の機能構成を示す図である。

【図3】画像説明文の生成例を示す図である。

【図4】第２の生成ＡＩ（Artificial Intelligence）から取得した問い合わせの候補を示す図である。

【図5】表示装置に表示されている表示画像に候補情報が重畳表示された例を示す図である。

【図6】セットトップボックスの機能構成を示す図である。

【図7】情報処理システムにおける処理の流れを示すシーケンス図である。

【発明を実施するための形態】

【0022】

［情報処理システムＳの概要］
図１は、情報処理システムＳの概要を示す図である。情報処理システムＳは、情報処理装置１と、セットトップボックス（Set Top Box；以下「ＳＴＢ」と記載する。）２と、表示装置３とを有し、表示装置３又はＳＴＢ２に不具合等が発生した際に、ユーザに対し、ＳＴＢ２のカスタマサポートへの当該不具合等に係る問い合わせの候補を出力するシステムである。

【0023】

ユーザは、ＳＴＢ２又は表示装置３に不具合等が発生した場合に、ＳＴＢ２のリモートコントローラ２４においてサポートボタンの押下等の所定の操作を行う。ＳＴＢ２は、所定の操作を受け付けると、表示装置３に表示されている表示画像をキャプチャしたキャプチャ画像を生成し（図１における（１））、生成したキャプチャ画像を情報処理装置１に送信する（図１における（２））。

【0024】

情報処理装置１は、ＳＴＢ２からキャプチャ画像を取得すると、キャプチャ画像に基づいて、キャプチャ画像の表示内容を説明する画像説明文を生成する（図１における（３））。情報処理装置１は、予め教師データを用いて学習した、ユーザからの表示装置の状況に関する説明情報の入力に対し、回答として問い合わせの候補を一以上出力する機械学習モデルを記憶している。情報処理装置１は、生成した画像説明文をユーザからの説明情報として機械学習モデルに入力し、機械学習モデルから、当該画像説明文に対応する回答としての一以上の問い合わせの候補を取得し（図１における（４））、取得した問い合わせの候補を示す候補情報をＳＴＢ２に出力する（図１における（５））。

【0025】

ＳＴＢ２は、候補情報を取得すると、取得した候補情報が示す問合せの候補を表示装置３に表示させる（図１における（６））。これにより、ユーザは、表示装置３又はＳＴＢ２の不具合等が発生した場合に、カスタマサポートに問い合わせる内容を示すメッセージを作成したり、カスタマサポートに不具合等の事象を説明したりすることなく、表示装置３に表示された候補情報が示す問い合わせの候補から、自身が問い合わせる内容を選択し、問い合わせることができる。したがって、情報処理システムＳは、表示装置３又はＳＴＢ２の不具合等の発生時におけるユーザの負担を軽減することができる。

【0026】

［情報処理装置１の機能構成］
続いて、情報処理システムＳが有する情報処理装置１及びＳＴＢ２の機能について説明する。まず、情報処理装置１の機能構成について説明する。図２は、情報処理装置１の機能構成を示す図である。情報処理装置１は、通信部１１と、記憶部１２と、制御部１３とを有する。

【0027】

通信部１１は、インターネットや携帯電話回線等の通信ネットワークを介してＳＴＢ２等の外部装置とデータを送受信するための通信インターフェースである。
記憶部１２は、各種のデータを記憶する記憶媒体であり、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及びハードディスク等を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。記憶部１２は、制御部１３を、として機能させるプログラムを記憶する。

【0028】

制御部１３は、例えばＣＰＵ（Central Processing Unit）である。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、第１取得部１３１、生成部１３２、第２取得部１３３、出力部１３４、及び第３取得部１３５として機能する。

【0029】

第１取得部１３１は、表示装置３が表示する表示画像をキャプチャしたキャプチャ画像を取得する。例えば、第１取得部１３１は、ＳＴＢ２から、ＳＴＢ２によりキャプチャされたキャプチャ画像と、ＳＴＢ２を識別するためのＳＴＢＩＤ（Identification）とを取得する。例えば、記憶部１２には、ＳＴＢＩＤと、表示装置３に表示画像を表示させるための契約情報としての、ＳＴＢ２の使用に関するユーザの契約情報とを関連付けたＳＴＢユーザ情報が記憶されており、第１取得部１３１は、ＳＴＢユーザ情報を参照し、取得したＳＴＢＩＤに対応する、表示装置３のユーザの契約情報を取得する。

【0030】

ＳＴＢ２の使用に関するユーザの契約情報には、ＳＴＢ２のサービスの提供元からのユーザへの貸与に係る契約情報、ＳＴＢ２により提供される映像配信サービスに係る契約情報、ＳＴＢ２を介して配信される複数の有料チャンネルのうち、ユーザが指定したチャンネルを表示装置３に表示させるための契約情報が含まれている。なお、表示装置３に表示画像を表示させるための契約情報には、インターネット回線の使用に係る契約情報も含まれていてもよい。

【0031】

生成部１３２は、第１取得部１３１が取得したキャプチャ画像に基づいて、当該キャプチャ画像の表示内容を説明する画像説明文を生成する。生成部１３２は、第１取得部１３１がキャプチャ画像を取得したことに応じて、当該キャプチャ画像に対応する画像説明文を生成する。例えば、生成部１３２は、キャプチャ画像の入力を受け付け、当該キャプチャ画像に対応する画像説明文を出力する第１の生成ＡＩに対し、第１取得部１３１が取得したキャプチャ画像を入力し、第１の生成ＡＩから、画像説明文を取得することにより、当該キャプチャ画像に対応する画像説明文を生成する。

【0032】

第１の生成ＡＩは、記憶部１２に記憶されている第１の生成ＡＩに係るプログラムを実行することにより実現されるものとするが、これに限らない。第１の生成ＡＩは、情報処理装置１とは異なる外部装置により提供されてもよい。この場合、生成部１３２は、外部装置にアクセスし、キャプチャ画像に対応する画像説明文を取得することにより、キャプチャ画像に対応する画像説明文を生成する。

【0033】

図３は、画像説明文の生成例を示す図である。図３（ａ）は、キャプチャ画像の一例を示しており、図３（ｂ）は、第１の生成ＡＩに図３（ａ）に示すキャプチャ画像が入力された場合に第１の生成ＡＩから出力された画像説明文を示している。図３（ｂ）に示すように、図３（ａ）が示すキャプチャ画像に対応する画像説明文が生成されていることが確認できる。

【0034】

第２取得部１３３は、ユーザからの表示装置の状況に関する説明情報の入力に対し、当該説明情報に対する回答として、説明情報に対応するユーザからの問い合わせの候補を一以上出力する機械学習モデルに対し、生成部１３２が生成した画像説明文をユーザからの表示装置３の状況に関する説明情報として入力し、当該機械学習モデルから、当該画像説明文に対応する回答としての一以上の問い合わせの候補を取得する。第２取得部１３３は、生成部１３２が画像説明文を生成したことに応じて、機械学習モデルに当該画像説明文を入力し、当該機械学習モデルから、当該画像説明文に対応する一以上の問い合わせの候補を取得する。

【0035】

機械学習モデルは、キャプチャ画像に対応する画像説明文と、表示装置３にキャプチャ画像に対応する表示画像を表示させるためのユーザの契約情報との入力に対し、問い合わせの候補を一以上出力する第２の生成ＡＩである。例えば、第２の生成ＡＩは、表示制御装置２に関するＦＡＱに対応する質問を入力データ、当該質問に対する回答の少なくとも一部を出力データとしたデータセットを教師データとして予め学習しているものとする。第２の生成ＡＩは、これに限らず、過去にユーザから受け付けた表示装置の状況に関する説明情報を入力データ、当該説明情報に対応する問い合わせの候補を出力データとした教師データにより学習したものであってもよい。また、第２の生成ＡＩは、キャプチャ画像に対応する画像説明文を入力データ、当該画像説明文に対して出力された一以上の問合せ情報からユーザが選択した問合せ情報を出力データとして追加学習してもよい。

【0036】

また、第２の生成ＡＩは、ユーザから受け付けた表示装置の状況に関する説明情報と契約情報とを入力データ、当該キャプチャ画像に対応する表示装置に関するユーザからの問い合わせを出力データとしたデータセットを教師データとして学習していてもよい。

【0037】

ここで、第２の生成ＡＩは、記憶部１２に記憶されている第２の生成ＡＩに係るプログラムを実行することにより実現されるものとするが、これに限らない。第２の生成ＡＩは、情報処理装置１とは異なる外部装置により提供されてもよい。また、外部装置により第２の生成ＡＩが提供される場合、第２の生成ＡＩは、大規模言語モデル等の汎用的な自然言語処理モデルであってもよい。この場合、第２取得部１３３は、外部装置にアクセスし、画像説明文に対応する一以上の問い合わせの候補を取得することにより、当該画像説明文に対応する一以上の問い合わせの候補を取得する。

【0038】

画像説明文に対応する一以上の問い合わせの候補を取得するにあたり、まず、第２取得部１３３は、契約情報と画像説明文とを含む、第２の生成ＡＩに対して入力する入力情報を生成する。例えば、第２取得部１３３は、以下に示すような入力情報を生成する。

【0039】

２０１９年から見放題に加入中のお客様が、動画コンテンツサービスの利用時に以下の画面で何か問題がおきました。ＦＡＱで想定される問題をリストアップしてください。
「動画配信サービスのコンテンツ選択画面です。中央に現在フォーカスされているアニメ映画「晴れの子」の作品情報が大きく表示されており、評価、あらすじ、出演声優などの詳細が記載されています。」

【0040】

上記の入力情報のうち、「２０１９年から見放題に加入中」、「動画コンテンツサービスの利用」は、ユーザの契約情報に基づく情報である。また、上記の入力情報のうち、「動画配信サービスのコンテンツ選択画面です。中央に現在フォーカスされているアニメ映画「晴れの子」の作品情報が大きく表示されており、評価、あらすじ、出演声優などの詳細が記載されています。」との文言は、画像説明文に含まれている。

【0041】

そして、第２取得部１３３は、第２の生成ＡＩに対し、生成部１３２が生成した画像説明文と、第１取得部１３１が取得した契約情報とを含む入力情報を入力し、当該第２の生成ＡＩから、当該画像説明文及び契約情報に対応する一以上の問い合わせの候補を取得する。図４は、第２の生成ＡＩから取得した問い合わせの候補を示す図である。図４には、問い合わせの候補が複数表示されていることが確認できる。

【0042】

問い合わせの内容には、ＳＴＢに関するサービスに対して加入しているはずなのに見ることができない、サービスに加入できないといった問い合わせがある。これに対し、情報処理装置１は、ＳＴＢ２の使用に係る契約情報を第２の生成ＡＩに対して入力し、当該契約情報を考慮した問い合わせの候補を取得することができるので、ＳＴＢ２のユーザの契約状態に対応してユーザに対応する確率が高い問い合わせの候補を取得することができる。

【0043】

なお、第２の生成ＡＩは、キャプチャ画像に対応する画像説明文と契約情報とを含む入力情報の入力に対し、当該キャプチャ画像に対応する表示装置に関するユーザからの問い合わせの候補を一以上出力するものとしたが、これに限らない。

【0044】

第２の生成ＡＩは、ユーザから受け付けた表示装置の状況に関する説明情報と、ＳＴＢを識別するための装置識別情報としてのＳＴＢの型番との入力に対し、問い合わせの候補を一以上出力してもよい。この場合、第２の生成ＡＩは、ＦＡＱに対応する質問又は過去にユーザから受け付けた表示装置の状況に関する説明情報とＳＴＢの型番とを入力データ、当該質問又は説明情報に対応する表示装置に関するユーザからの問い合わせを出力データとしたデータセットを教師データとして予め学習しているものとする。

【0045】

例えば、第１取得部１３１は、ＳＴＢ２から、キャプチャ画像と、ＳＴＢ２を識別するためのＳＴＢ２の型番とを取得する。そして、第２取得部１３３は、第２の生成ＡＩに対し、生成部１３２が生成した画像説明文と、第１取得部１３１が取得したＳＴＢ２の型番とを入力し、当該第２の生成ＡＩから、当該画像説明文及びＳＴＢ２の型番に対応する一以上の問い合わせの候補を取得する。

【0046】

ＳＴＢの型番により、不具合等の事象が異なるところ、情報処理装置１は、ＳＴＢ２の型番を第２の生成ＡＩに対して入力し、当該型番のＳＴＢ２に対応する不具合等の問い合わせの候補を取得することができるので、ユーザが使用するＳＴＢ２に対応する確率が高い問い合わせの候補を取得することができる。

【0047】

また、第２の生成ＡＩは、ユーザからの表示装置の状況に関する説明情報と、キャプチャ画像に対応する表示画像が表示装置３に表示されるまでのＳＴＢ２における操作ログを示す操作ログ情報との入力に対し、問い合わせの候補を一以上出力するものであってもよい。この場合、第２の生成ＡＩは、ＦＡＱに対応する質問又は過去にユーザから受け付けた表示装置の状況に関する説明情報と、当該キャプチャ画像に対応する表示画像が表示装置に表示されるまでに行われた所定回数のＳＴＢの操作ログを示す操作ログ情報と、を入力データ、当該質問又は説明情報に対応する表示装置に関するユーザからの問い合わせを出力データとしたデータセットを教師データとして予め学習しているものとする。

【0048】

例えば、第１取得部１３１は、ＳＴＢ２から、キャプチャ画像と、当該キャプチャ画像に対応する表示画像が表示装置３に表示されるまでのＳＴＢ２における操作ログを示す操作ログ情報として、当該表示画像が表示装置３に表示されるまでに行われた所定回数のＳＴＢ２の操作ログを示す操作ログ情報とを取得する。そして、第２取得部１３３は、第２の生成ＡＩに対し、生成部１３２が生成した画像説明文と、第１取得部１３１が取得した操作ログ情報とを入力し、当該第２の生成ＡＩから、当該画像説明文及び操作ログ情報に対応する一以上の問い合わせの候補を取得する。

【0049】

キャプチャ画像に対応する表示画像が表示されるまで操作が行われた結果、当該表示画像が表示されている確率が高いところ、当該操作を示す操作ログは、表示画像が表示された時点における不具合等の発生原因を示している確率が高い。これに対し、情報処理装置１は、キャプチャ画像に対応する表示画像が表示されるまでのＳＴＢ２の操作ログを第２の生成ＡＩに対して入力し、ユーザの問い合わせの候補を取得することができるので、当該ＳＴＢ２を使用するユーザに対応する確率が高い問い合わせの候補を取得することができる。

【0050】

また、第２の生成ＡＩは、キャプチャ画像に対応する画像説明文に含まれる、表示装置又はＳＴＢに関する説明文である部分説明文との入力に対し、問い合わせの候補を一以上出力するものであってもよい。

【0051】

第２取得部１３３は、生成部１３２が生成した画像説明文の中から、表示装置３又はＳＴＢ２に関する説明文である部分説明文を取得する。第２取得部１３３は、画像説明文に含まれる複数の部分説明文それぞれに対応するキャプチャ画像における位置を特定し、複数の部分説明文それぞれの位置に基づいて、画像説明文の中から、表示装置３又はＳＴＢ２に対応する部分説明文を取得する。

【0052】

この場合、生成部１３２は、複数の部分説明文を含む画像説明文を生成する。部分説明文のそれぞれには、キャプチャ画像における、部分説明文に対応する位置又は領域を示す位置情報が関連付けられている。例えば、第２取得部１３３は、複数の部分説明文のうち、キャプチャ画像における、予め定められている所定の位置又は所定の領域に対応する部分説明文を、表示装置３又はＳＴＢ２に対応する部分説明文として取得する。そして、第２取得部１３３は、第２の生成ＡＩに対し、当該部分説明文を入力し、第２の生成ＡＩから、当該部分説明文に対応する一以上の問い合わせの候補を取得する。部分説明文は、表示装置３又はＳＴＢ２の不具合等を示している確率が高いことから、第２取得部１３３は、ユーザの問合せ情報の候補を精度良く取得することができる。

【0053】

また、第２の生成ＡＩは、キャプチャ画像と、キャプチャ画像に対応する表示装置の状況に関する説明情報との入力に対し、問い合わせの候補を一以上出力するものであってもよい。この場合、第２の生成ＡＩは、キャプチャ画像と、当該キャプチャ画像に対応する表示装置の状況に関する説明情報とを入力データ、当該キャプチャ画像及び当該説明情報に対応する表示装置に関するユーザからの問い合わせを出力データとしたデータセットを教師データとして予め学習しているものとする。そして、第２取得部１３３は、第１取得部１３１が取得したキャプチャ画像と、生成部１３２が生成した画像説明文とを第２の生成ＡＩに入力し、第２の生成ＡＩから、当該キャプチャ画像及び画像説明文に対応する一以上の問い合わせの候補を取得する。このようにすることで、第２取得部１３３は、画像説明文に含まれないキャプチャ画像の要素も考慮して、ユーザの問合せ情報の候補を取得することができる。

【0054】

また、第２の生成ＡＩは、画像説明文の入力に対し、画像説明文に対応する一以上の問い合わせの候補のみを出力したが、これに限らない。第２の生成ＡＩは、画像説明文の入力に対し、画像説明文に対応する一以上の問い合わせの候補と、一以上の問い合わせの候補それぞれに対応する回答である問い合わせ回答とを出力してもよい。

【0055】

この場合、第２の生成ＡＩは、ユーザからの表示装置の状況に関する説明情報を入力データ、当該説明情報に対応する表示装置に関するユーザからの問い合わせと、当該問い合わせに対応する問い合わせ回答とを出力データとしたデータセットを教師データとして予め学習しているものとする。そして、第２取得部１３３は、生成部１３２が生成した画像説明文を第２の生成ＡＩに入力し、第２の生成ＡＩから、当該画像説明文に対応する一以上の問い合わせの候補と、当該一以上の問い合わせの候補それぞれに対応する問い合わせ回答とを取得する。

【0056】

このようにすることで、情報処理装置１は、問い合わせ候補と、問い合わせ候補に対応する問い合わせ回答とを一度に表示装置３に表示させて、ユーザが問い合わせ候補の中から自身に対応する問い合わせを選択することなく、ユーザに回答を把握させることができる。

【0057】

出力部１３４は、第２取得部１３３が取得した回答としての一以上の問い合わせの候補を出力する。出力部１３４は、第２取得部１３３が一以上の問い合わせの候補を取得したことに応じて、当該一以上の問い合わせの候補を表示装置３に出力する。例えば、出力部１３４は、第２取得部１３３が取得した一以上の問い合わせの候補を示す候補情報をＳＴＢ２に出力する。これにより、ＳＴＢ２は、候補情報を、表示装置３に表示されているキャプチャ画像に対応する表示画像に重畳して候補情報を表示させることができる。

【0058】

図５は、表示装置３に表示されている表示画像に候補情報が重畳表示された例を示す図である。これにより、ユーザは、自身が表示装置３及びＳＴＢ２の状況を説明することなく、候補情報の中から表示装置３及びＳＴＢ２の状況に対応する問い合わせ項目を選択することができる。

【0059】

第３取得部１３５は、ユーザにより選択された、候補情報が示す一以上の問い合わせの候補から選択された問い合わせ項目を示す選択情報を取得する。第３取得部１３５は、取得した選択情報が示す問い合わせ項目に対応する回答を示す問い合わせ回答情報を取得する。

【0060】

例えば、記憶部１２には、選択情報が示す問い合わせ項目に対応する問い合わせ内容の入力に対し、当該問い合わせ内容に対応する問い合わせ回答を示す問い合わせ回答情報を出力する機械学習モデルである第３の生成ＡＩとして機能するプログラムが設けられている。ここで、第３の生成ＡＩは、問い合わせ内容を入力データ、当該問い合わせ内容に対応する問い合わせ回答情報を出力データとしたデータセットを教師データとして予め学習しているものとする。

【0061】

第３取得部１３５は、第３の生成ＡＩとして機能するプログラムを実行し、制御部１３を第３の生成ＡＩとして機能させる。第３取得部１３５は、第３の生成ＡＩに対し、選択情報が示す問い合わせ項目に対応する問い合わせ内容を入力し、第３の生成ＡＩから、当該問い合わせ内容に対応する問い合わせ回答情報を取得する。

【0062】

出力部１３４は、第３取得部１３５が問い合わせ回答情報を取得したことに応じて、当該問い合わせ回答情報を表示装置３に出力する。例えば、出力部１３４は、第３取得部１３５が取得した問い合わせ回答情報をＳＴＢ２に出力する。これにより、ＳＴＢ２は、表示装置３に表示されているキャプチャ画像に対応する表示画像に重畳して問い合わせ回答情報を表示させることができる。

【0063】

［ＳＴＢ２の機能構成］
続いて、ＳＴＢ２の機能構成について説明する。ここでは、ＳＴＢ２が備えるセットトップボックスとしての一般的な機能についての説明は省略し、本発明に係るＳＴＢ２の機能について説明を行う。図６は、ＳＴＢ２の機能構成を示す図である。ＳＴＢ２は、通信部２１と、記憶部２２と、制御部２３とを有する。

【0064】

通信部２１は、インターネットや携帯電話回線等の通信ネットワークを介して情報処理装置１等の外部装置とデータを送受信するための通信インターフェースである。
記憶部２２は、各種のデータを記憶する記憶媒体であり、ＲＯＭ、ＲＡＭ等を有する。記憶部２２は、制御部２３が実行するプログラムを記憶する。記憶部２２は、制御部２３を、画像生成部２３１、送信部２３２、受信部２３３、表示制御部２３４及び選択受付部２３５として機能させるプログラムを記憶する。

【0065】

制御部２３は、例えばＣＰＵである。制御部２３は、記憶部２２に記憶されたプログラムを実行することにより、画像生成部２３１、送信部２３２、受信部２３３、表示制御部２３４及び選択受付部２３５として機能する。

【0066】

画像生成部２３１は、ＳＴＢ２により表示装置３に表示された表示画像をキャプチャしたキャプチャ画像を生成する。例えば、ＳＴＢ２の操作部としてのリモートコントローラ２４には、ＳＴＢ２のカスタマサポートが、ＳＴＢ２において不具合等が発生した際にユーザに対してサポートを行うためのサポートボタンが設けられている。画像生成部２３１は、リモートコントローラ２４のサポートボタンが押下されたことを検出する。画像生成部２３１は、サポートボタンが押下されたことに応じて、表示装置３に表示された表示画像をキャプチャしたキャプチャ画像を生成する。

【0067】

送信部２３２は、画像生成部２３１がキャプチャ画像を生成したことに応じて、当該キャプチャ画像を情報処理装置１に送信する。また、送信部２３２は、ＳＴＢ２を識別するためのＳＴＢＩＤを情報処理装置１に送信する。なお、第２の生成ＡＩの入力情報として、装置の型番が用いられる場合、送信部２３２は、ＳＴＢ２の装置識別情報としての型番を情報処理装置に送信してもよい。また、第２の生成ＡＩの入力情報として操作ログ情報が用いられる場合、送信部２３２は、ＳＴＢ２の操作ログを示す操作ログ情報を情報処理装置１に送信してもよい。

【0068】

受信部２３３は、情報処理装置１から出力された一以上の問い合わせの候補を示す候補情報を受信する。表示制御部２３４は、受信部２３３が受信した候補情報が示す一以上の問い合わせの候補を表示装置３に表示させる。

【0069】

選択受付部２３５は、リモートコントローラ２４を介して、表示制御部２３４が表示装置３に表示させた問い合わせの候補からの選択を受け付ける。送信部２３２は、選択受付部２３５が、問合せの候補からの選択を受け付けたことに応じて、選択された問い合わせ項目を示す選択情報を情報処理装置１に送信する。

【0070】

受信部２３３は、情報処理装置１から出力された、選択情報が示す問い合わせ項目に対応する問い合わせ回答情報を受信する。表示制御部２３４は、受信部２３３が受信した問い合わせ回答情報を表示装置３に表示させる。

【0071】

［情報処理システムＳにおける処理の流れ］
続いて、情報処理システムＳにおける処理の流れについて説明する。図７は、情報処理システムＳにおける処理の流れを示すシーケンス図である。
まず、画像生成部２３１は、リモートコントローラ２４のサポートボタンが押下されたことに応じて、表示装置３に表示された表示画像をキャプチャしたキャプチャ画像を生成する（Ｓ１）。続いて、送信部２３２は、画像生成部２３１により生成されたキャプチャ画像と、ＳＴＢ２を識別するためのＳＴＢＩＤとを情報処理装置１に送信する（Ｓ２）。情報処理装置１の第１取得部１３１は、ＳＴＢ２から、キャプチャ画像とＳＴＢＩＤとを取得する。

【0072】

続いて、第１取得部１３１は、ＳＴＢＩＤと、ユーザの契約情報とを関連付けて記憶する管理サーバを参照し、取得したＳＴＢＩＤに対応するユーザの契約情報を取得する（Ｓ３）。
続いて、生成部１３２は、第１取得部１３１が取得したキャプチャ画像に基づいて、当該キャプチャ画像の表示内容を説明する画像説明文を生成する（Ｓ４）。

【0073】

続いて、第２取得部１３３は、第２の生成ＡＩに対し、キャプチャ画像に対応する画像説明文と、ユーザの契約情報とを含む入力情報を入力し、第２の生成ＡＩから一以上の問い合わせの候補を取得する（Ｓ５）。
続いて、出力部１３４は、第２取得部１３３が取得した問い合わせの候補を示す候補情報をＳＴＢ２に送信する（Ｓ６）。

【0074】

ＳＴＢ２の受信部２３３は、情報処理装置１から出力された一以上の問い合わせの候補を示す候補情報を受信する。表示制御部２３４は、受信部２３３が受信した候補情報が示す一以上の問い合わせの候補を表示装置３に表示させる（Ｓ７）。

【0075】

選択受付部２３５は、リモートコントローラ２４を介して、表示制御部２３４が表示装置３に表示させた問い合わせの候補からの選択を受け付ける（Ｓ８）。送信部２３２は、選択受付部２３５が、問合せの候補からの選択を受け付けたことに応じて、選択された問い合わせ項目を示す選択情報を情報処理装置１に送信する（Ｓ９）。

【0076】

情報処理装置１の第３取得部１３５は、ユーザにより選択された、候補情報が示す一以上の問い合わせの候補から選択された問い合わせ項目を示す選択情報を取得すると、取得した選択情報が示す問い合わせ項目に対応する問い合わせ回答を示す問い合わせ回答情報を取得する（Ｓ１０）。出力部１３４は、第３取得部１３５が問い合わせ回答情報を取得したことに応じて、当該回答情報をＳＴＢ２に出力する（Ｓ１１）。

【0077】

ＳＴＢ２の受信部２３３は、情報処理装置１から出力された問い合わせ回答情報を受信する。表示制御部２３４は、受信部２３３が受信した問い合わせ回答情報を表示装置３に表示させる（Ｓ１２）。

【0078】

［変形例１］
上述の実施の形態において、ＳＴＢ２と表示装置３とは異なる装置であることとしたが、これに限らない。表示装置３は、ＳＴＢ２に係る機能を有していてもよい。この場合、第１取得部１３１は、ＳＴＢ２の契約情報の代わりに、ユーザの表示装置３の使用に係る契約情報を取得してもよい。

【0079】

また、第２の生成ＡＩの入力情報として、装置の型番が用いられる場合、第１取得部１３１は、ＳＴＢ２の装置識別情報としてのＳＴＢ２の型番を取得する代わりに、表示装置３の型番を取得してもよいし、ＳＴＢ２の型番と、表示装置３の型番との２つの型番を取得してもよい。また、第２の生成ＡＩの入力情報として操作ログ情報が用いられる場合、第１取得部１３１は、ＳＴＢ２の操作ログを示す操作ログ情報を取得する代わりに、表示装置３におけるキャプチャ画像に係る表示画像が表示されるまでの操作ログを示す操作ログ情報を取得してもよい。

【0080】

［変形例２］
また、上述の実施の形態では、ユーザがリモートコントローラ２４のサポートボタンを押下したことに応じて、ＳＴＢ２の画像生成部２３１がキャプチャ画像を生成し、当該キャプチャ画像を情報処理装置１の第１取得部１３１が取得したが、これに限らない。画像生成部２３１は、ＳＴＢ２の不具合等を検出したことに応じて、キャプチャ画像を生成してもよい。ここで、ＳＴＢ２の不具合等には、ＳＴＢ２が受信する放送信号の信号レベルが第１の閾値未満となったこと、ＳＴＢ２のメモリ残量が第２の閾値未満になったこと、Ｗｉｆｉ（登録商標）又はＢＬＥ（登録商標）信号の信号レベルが第３の閾値未満となったこと、ＳＴＢ２のＣＰＵの温度が第４の閾値を超えたことが含まれていてもよい。

【0081】

そして、送信部２３２は、ＳＴＢ２の不具合等の検出に応じて生成されたキャプチャ画像を情報処理装置１に送信する。情報処理装置１の第１取得部１３１は、当該キャプチャ画像を取得する。このようにすることで、情報処理装置１は、ＳＴＢ２の不具合等の発生時に、自動的に問合せの候補を表示装置３に表示させることができる。

【0082】

［情報処理装置１による効果］
以上説明したように、本実施の形態に係る情報処理装置１は、表示装置３が表示する表示画像をキャプチャしたキャプチャ画像を取得し、当該キャプチャ画像の表示内容を説明する画像説明文を生成する。そして、情報処理装置１は、機械学習モデルに対し、ユーザからの表示装置３の状況に関する説明情報として、生成した画像説明文を入力し、当該機械学習モデルから、当該画像説明文に対応する回答として一以上の問い合わせの候補を取得し、取得した一以上の問い合わせの候補を出力する。このようにすることで、情報処理装置１は、不具合等の事象の発生時におけるユーザの負担を軽減することができる。

【0083】

なお、本発明により、国連が主導する持続可能な開発目標（SDGs）の目標９「産業と技術革新の基盤をつくろう」に貢献することが可能となる。

【0084】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0085】

１ 情報処理装置
２ セットトップボックス
３ 表示装置
１１ 通信部
１２ 記憶部
１３ 制御部
２１ 通信部
２２ 記憶部
２３ 制御部
２４ リモートコントローラ
１３１ 第１取得部
１３２ 生成部
１３３ 第２取得部
１３４ 出力部
１３５ 第３取得部
２３１ 画像生成部
２３２ 送信部
２３３ 受信部
２３４ 表示制御部
２３５ 選択受付部

【要約】

【課題】不具合等の事象の発生時におけるユーザの負担を軽減する。
【解決手段】情報処理装置１は、表示装置３が表示する表示画像をキャプチャしたキャプチャ画像を取得する第１取得部１３１と、取得されたキャプチャ画像に基づいて当該キャプチャ画像の表示内容を説明する画像説明文を生成する生成部１３２と、キャプチャ画像に対応する画像説明文と、ユーザからの表示装置の状況に関する説明情報の入力に対し説明情報に対する回答を出力する機械学習モデルに対し、生成した画像説明文をユーザからの説明情報として入力し、機械学習モデルから、当該画像説明文に対応する回答を取得する第２取得部１３３と、第２取得部１３３が取得した回答を出力する出力部１３４と、を有する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】