特開 2024-121182 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024121182

(43)【公開日】2024-09-06

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06F 16/532 20190101AFI20240830BHJP

   G06F 16/583 20190101ALI20240830BHJP

【ＦＩ】

G06F16/532

G06F16/583

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023028143

(22)【出願日】2023-02-27

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】100179475

【弁理士】

【氏名又は名称】仲井 智至

(74)【代理人】

【識別番号】100216253

【弁理士】

【氏名又は名称】松岡 宏紀

(74)【代理人】

【識別番号】100225901

【弁理士】

【氏名又は名称】今村 真之

(72)【発明者】

【氏名】鶴山 慎一

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA02

5B175FB03

5B175GA04

5B175JC04

(57)【要約】

【課題】日付を伴う文書を生成するに際し、利便性を向上させることが可能な情報処理装置を提供する。
【解決手段】本発明の一態様にかかる情報処理装置１は、取得部、検索部、及び生成部を備える。取得部は、音声により入力された所定の日付に関する記録である記録データを取得する。検索部は、取得部で取得された記録データに基づき、画像データを検索する。生成部は、記録データと画像データとを合成して、文書データを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

音声により入力された所定の日付に関する記録である記録データを取得する取得部と、
前記記録データに基づき、画像データを検索する検索部と、
前記記録データと前記画像データとを合成して、文書データを生成する生成部と、
を備える情報処理装置。

【請求項2】

前記取得部は、ネットワークを介して接続された他の情報処理装置から前記記録データを取得する、
請求項１に記載の情報処理装置。

【請求項3】

前記取得部は、
取得した前記記録データに基づき、前記文書データを生成するための追加情報を得るための質問データを出力し、
前記質問データに対して音声により入力された回答である追加記録データを取得し、
前記検索部は、前記記録データ及び前記追加記録データに基づき、前記画像データを検索し、
前記生成部は、前記記録データと前記追加記録データと前記画像データとを合成して、前記文書データを生成する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記記録データは、音声により入力された地域を示す地域データを含み、
前記検索部は、前記地域データに基づき、前記所定の日付における前記地域での天気を示す天気データを検索し、
前記生成部は、前記記録データと前記天気データと前記画像データとを合成して、前記文書データを生成する、
請求項１又は２に記載の情報処理装置。

【請求項5】

前記検索部は、
予め設定された設定地域を示す地域データに基づき、前記所定の日付における前記設定地域での天気を示す天気データを検索し、
前記記録データが音声により入力された地域を示すデータを含む場合、前記設定地域での天気の代わりに前記所定の日付における前記地域での天気を示す天気データを検索し、
前記生成部は、前記記録データと前記天気データと前記画像データとを合成して、前記文書データを生成する、
請求項１又は２に記載の情報処理装置。

【請求項6】

前記検索部は、前記記録データを入力し、前記画像データを出力するように機械学習された学習モデルを用いて、前記記録データから前記画像データを得る、
請求項１又は２に記載の情報処理装置。

【請求項7】

前記検索部は、前記記録データに基づいて、前記画像データを、前記情報処理装置にネットワークを介して接続された装置から検索する、
請求項１又は２に記載の情報処理装置。

【請求項8】

前記記録データの元となった音声の抑揚のレベルを判定する判定部を備え、
前記生成部は、前記レベルに応じて、生成する前記文書データに含まれる内容を異ならせるように、前記文書データを生成する、
請求項１又は２に記載の情報処理装置。

【請求項9】

前記記録データの元となった音声を入力した入力者の属性を判定する判定部を備え、
前記生成部は、前記属性に応じて、生成する前記文書データに含まれる内容を異ならせるように、前記文書データを生成する、
請求項１又は２に記載の情報処理装置。

【請求項10】

前記他の情報処理装置に前記文書データを提供する提供処理部を備える、
請求項２に記載の情報処理装置。

【請求項11】

前記文書データを、ネットワークを介してソーシャルネットワークサービスのシステムにアップロードするアップロード処理部を備える、
請求項１又は２に記載の情報処理装置。

【請求項12】

前記文書データを印刷する指示を、ネットワークを介して画像形成装置に送信する印刷処理部を備える、
請求項１又は２に記載の情報処理装置。

【請求項13】

情報処理装置が、
音声により入力された所定の日付に関する記録である記録データを取得し、
前記記録データに基づき、画像データを検索し、
前記記録データと前記画像データとを合成して、文書データを生成する、
情報処理方法。

【請求項14】

コンピューターが、
音声により入力された所定の日付に関する記録である記録データを取得し、
前記記録データに基づき、画像データを検索し、
前記記録データと前記画像データとを合成して、文書データを生成する、
処理を実行するためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、日付情報に基づいて複数の画像ファイルを容易に検索できるように好適に分類・整理することを目的とした画像ファイル管理装置が開示されている。特許文献１に記載の画像ファイル管理装置は、入力手段、検索手段、生成手段、及び保存手段を備える。入力手段は、日付に関する日付情報を含む検索手引情報をタッチペン及びボタン群により入力する手段である。検索手段は、複数の画像ファイルから入力手段により入力された検索手引情報に含まれる日付情報に対応する日に作成された画像ファイルを検索する。生成手段は、検索手段により検索された画像ファイルに保存されている画像を表示または印刷するためのレイアウトを設定するとともに、入力手段により入力された検索手引情報と該レイアウトを示す描画情報とを含むレイアウト情報ファイルを生成する。保存手段は、生成手段により生成されたレイアウト情報ファイルを、検索手段により検索された画像ファイルと同一の記憶媒体に保存する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－２５０５８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の画像ファイル管理装置は、日記のような日付を伴う文書を生成することは可能であるが、ユーザーがタッチペンを把持して手動で情報を入力する必要があるため、利便性の点において改良の余地がある。よって、日記のような日付を伴う文書を生成するに際し、利便性を向上させることが可能な技術の開発が望まれる。

【課題を解決するための手段】

【0005】

本発明の一態様にかかる情報処理装置は、音声により入力された所定の日付に関する記録である記録データを取得する取得部と、前記記録データに基づき、画像データを検索する検索部と、前記記録データと前記画像データとを合成して、文書データを生成する生成部と、を備えるものである。

【0006】

本発明の一態様にかかる情報処理方法は、情報処理装置が、音声により入力された所定の日付に関する記録である記録データを取得し、前記記録データに基づき、画像データを検索し、前記記録データと前記画像データとを合成して、文書データを生成する、ものである。

【0007】

本発明の一態様にかかるプログラムは、コンピューターが、音声により入力された所定の日付に関する記録である記録データを取得し、前記記録データに基づき、画像データを検索し、前記記録データと前記画像データとを合成して、文書データを生成する、処理を実行するためのプログラムである。

【図面の簡単な説明】

【0008】

【図1】実施の形態にかかる情報処理装置を含む情報処理システムの一構成例を示すブロック図である。

【図2】図１の情報処理システムにおいて実行される文書生成処理の一例を説明するためのフロー図である。

【図3】図１の情報処理システムにおいて生成される文書の一例を示す模式図である。

【図4】図１の情報処理システムにおいて生成される文書の他の例を示す模式図である。

【図5】実施の形態にかかる情報処理装置を含む情報処理システムの他の構成例を示すブロック図である。

【図6】図５の情報処理システムにおいて実行される文書提供処理の一例を説明するためのシーケンス図である。

【図7】図５の情報処理システムにおいて実行される文書提供処理の他の例を説明するためのシーケンス図である。

【図8】装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施の形態について説明する。なお、各図は、本発明の実施の形態を説明するための例示に過ぎない。また、本発明の実施の形態で説明する構成要素の全てが本発明の必須の構成要件とは限らない。

【0010】

（実施の形態）
本実施の形態にかかる情報処理装置を含む情報処理システムについて、図１を参照しながら説明する。図１は、この情報処理システムの一構成例を示すブロック図である。

【0011】

図１に示すように、本実施の形態にかかる情報処理システム１００は、情報処理装置１、音声認識サーバー２、プリンター３、及びＳＮＳ（Social Networking Service）サーバー４を備えることができ、情報処理として文書生成処理が可能なシステムである。情報処理装置１、音声認識サーバー２、プリンター３、及びＳＮＳサーバー４は、１又は複数のネットワークＮを介して接続されることができる。

【0012】

情報処理装置１は、パーソナルコンピューター（ＰＣ）、スマートフォン、タブレット型端末等の、通信機能を備えた情報処理装置とすることができ、文書生成処理の主たる部分を担う。この文書生成処理については後述するが、情報処理装置１は文書生成装置と称することもできる。

【0013】

図１に示すように、情報処理装置１は、制御部１０、音声入力部２１、記憶部２２、表示部２３、操作部２４、及び通信部２５を備えることができる。

【0014】

制御部１０における具体的な機能については後述するが、制御部１０は、文書データの生成のために、取得処理部１１、検索処理部１２、及び生成処理部１３を備えることができる。制御部１０は、さらに情報処理装置１のユーザーや発する音声に合わせた文書データを生成するために、判定部１４を備えることもできる。

【0015】

制御部１０は、さらに文書データの提供まで行うために、提供処理部１５、アップロード処理部１６、及び印刷処理部１７を備えることができる。提供処理部１５、アップロード処理部１６、及び印刷処理部１７は、情報処理装置１を文書データの生成までを行う装置として構成する場合には備えなくてもよいことになる。また、情報処理装置１を文書データの提供まで行う装置として構成する場合には、例えば提供処理部１５、アップロード処理部１６、及び印刷処理部１７のうちのいずれか１又は複数が設けられていればよい。

【0016】

制御部１０は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置と、作業用メモリーと、制御用のプログラムやパラメーター等を記憶する記憶装置とを含んで構成されることができる。制御部１０は、ＳｏＣ（System on a Chip）として構成することもできる。これらの例からも分かるように、制御部１０は、制御用のプログラムを実行可能な状態で記憶する構成とすることができる。但し、制御部１０は、制御用のプログラムをＦＰＧＡ（field-programmable gate array）のように回路構成として記憶する構成とすることや、あるいは専用の回路として構成することもできる。取得処理部１１、検索処理部１２、生成処理部１３、判定部１４、提供処理部１５、アップロード処理部１６、及び印刷処理部１７は上記のプログラムとして実装することができる。上記のプログラムは、演算処理装置が音声入力部２１、記憶部２２、表示部２３、操作部２４、及び通信部２５と協働しながら各部１１～１７の機能を実現するためのプログラムを含むことができる。

【0017】

音声入力部２１は、文書データの生成のために、ユーザーの音声データを入力する。音声入力部２１は、マイクロフォンで構成されることができる。

【0018】

記憶部２２は、例えば、ハードディスクドライブや、ソリッドステートドライブや、その他のメモリーによる記憶装置である。制御部１０が備えるメモリーの一部を記憶部２２と捉えてもよい。つまり、記憶部２２は、制御部１０の一部と捉えることもできる。

【0019】

記憶部２２には、情報処理装置１で取り扱う各種データ、例えば入力された音声データ、その音声データを音声認識した結果のテキストデータ、生成される文書データのテンプレートのデータ、生成された文書データなどを記憶することができる。また、記憶部２２は、情報処理装置１における各種のユーザー設定なども記憶しておくことができる。

【0020】

表示部２３は、文書データの生成のためのユーザーインターフェイス画像を表示するための部位であり、例えば、液晶ディスプレイや、有機エレクトロルミネッセンスディスプレイ等の表示装置により構成される。表示部２３は、ディスプレイと、ディスプレイを駆動するための駆動回路と、を含む構成とすることもできる。

【0021】

操作部２４は、ユーザーによる操作や入力を受け付ける部位であり、操作受付部と称することもできる。操作部２４は、例えば、物理的なボタン、表示部２３に搭載したタッチパネル、ポインティングデバイス、及びキーボード等のいずれか１又は複数によって実現されることができる。操作部２４がタッチパネルを備える構成では、表示部２３及びタッチパネルを含めて、情報処理装置１の操作パネルと称することもできる。

【0022】

通信部２５は、所定の通信規格を含む所定の通信プロトコルに準拠して有線又は無線で１又は複数の外部装置と通信を実行するための１又は複数の通信インターフェイスとすることができる。情報処理システム１００には、この外部装置として、音声認識サーバー２、プリンター３、及びＳＮＳサーバー４を含めることができる。

【0023】

音声認識サーバー２は、音声入力部２１で入力された音声データなど、外部装置から受信した音声データを認識してテキストデータに変換し、その外部装置に返す。ここでの外部装置には、情報処理装置１が含まれることになる。音声認識サーバー２は、音声データを入力し、テキストデータを出力するように機械学習された学習モデルを用いて、音声認識処理を実行することもできる。この学習モデルのアルゴリズム等は問わず、例えば、音声とテキストとを対応付けて機械学習させるように構成したディープニューラルネットワークなどを利用することができる。また、音声認識サーバー２は、音声により検索等のサービスを提供するボイスアシスタントサーバーとすることもできる。なお、音声認識の言語は、自動的に検出してもよいし、ユーザーにより予め設定されることもできる。

【0024】

プリンター３は、画像形成装置の例であり、情報処理装置１から印刷データを受信した場合、媒体に印刷することができる。受信される印刷データは、情報処理装置１において文書データをプリンター３で印刷可能な形式に変換したデータとすることができる。無論、情報処理システム１００は、複数のプリンターを備え、印刷を実行するプリンターをユーザーが選択可能にしておくことができる。また、画像形成装置は、通信機能と印刷機能をもつ装置であればよいが、スキャナー機能、コピー機能などの他の機能をもつ複合機であってもよい。また、画像形成装置における印刷方式は問わず、例えばインクジェット印刷方式、レーザー印刷方式など様々な印刷方式が適用できる。

【0025】

ＳＮＳサーバー４は、ソーシャルネットワークサービスを提供するシステムを構成するサーバーであり、外部装置から受信した文書データを記憶し、公開することができる。

【0026】

次に、本実施の形態にかかる情報処理装置１において実行される文書データの生成、並びに提供について、詳細に説明する。

【0027】

まず、文書データの生成までについて説明する。
ユーザーは、日付を含めるように音声を発し、これを音声入力部２１が音声データとして入力し、制御部１０に渡す。ユーザーは、文書データとして含めたい内容の出来事などを発話することができる。

【0028】

制御部１０は、この音声データを記憶部２２に記憶させるか、あるいは直接、取得処理部１１を稼働させる。なお、所定の日付に関し、ユーザーは、今日、昨日などといった具合に具体的な日付を指定しなくても日付は判定することができる。また、日付だけでなく時刻、あるいは午前か午後かなどの時間帯も含めることができる。

【0029】

取得処理部１１は、音声入力部２１で入力された音声データを音声認識サーバー２に通信部２５を介して送信し、音声認識処理を要求する。音声認識サーバー２は、その音声認識処理を実行し、上記の音声データをテキストデータに変換する。取得処理部１１は、このテキストデータを取得する。このテキストデータは、音声により入力された所定の日付に関する記録である記録データとなる。この記録データは日付の指定があることから日記データ、あるいは日誌データなどと称することもできる。音声入力部２１、取得処理部１１、通信部２５、及び音声認識サーバー２は、音声により入力された所定の日付に関する記録である記録データを取得する取得部の一例である。

【0030】

なお、情報処理装置１は、単独の装置で、文書データの作成までの処理を行うように構成することができ、その場合、情報処理装置１が音声認識サーバー２の機能として説明した音声認識機能を備えていればよい。

【0031】

検索処理部１２は、取得処理部１１で取得された記録データに基づき画像データを検索する。検索処理部１２は、検索された画像データを文書データの生成のために記憶部２２に一時的に保存しておくことができる。

【0032】

ここで、検索先は、予め１又は複数決められることができるが、ユーザーにより指定されることや変更されることもできる。検索先としては、記憶部２２、ＳＮＳサーバー４、その他、画像データのダウンロードが可能なサーバー（図示せず）などが挙げられ、ネットワークＮを介した検索を実行する場合、検索処理部１２は通信部２５を介して検索を実行することになる。つまり、検索処理部１２は、記録データに基づいて、画像データを、情報処理装置１にネットワークを介して接続された装置から検索する処理を行うことができる。検索処理部１２及び記憶部２２、あるいは検索処理部１２、通信部２５、及び記憶部２２は、記録データに基づき、画像データを検索する検索部の一例である。

【0033】

また、検索処理部１２は、記録データを入力し、画像データを出力するように機械学習された学習モデルを用いて、記録データから画像データを得ることもできる。検索処理部１２は、記録データからキーワードを抽出する機能を備えることもできる。この機能は学習モデルに持たせることもできるが、そうでない場合、検索処理部１２は、記録データからキーワードを１又は複数抽出し、そのキーワードを入力して画像データを出力するように機械学習された学習モデルを用いて、各キーワードから、あるいは複数のキーワードの組合せから、画像データを得ることもできる。

【0034】

なお、この学習モデルのアルゴリズム等は問わず、例えば、テキストと画像とを対応付けて機械学習させるように構成したディープニューラルネットワークなどを利用することができる。また、検索処理部１２で学習モデルを利用する場合、その学習モデルは、記憶部２２に記憶されてもよいし、ネットワークＮに接続された図示しないサーバーに記憶されてもよい。

【0035】

生成処理部１３は、記録データと画像データとを合成して、文書データを生成する。この文書データは、画像データとして絵又は写真などの画像を含むことから、絵日記データ、あるいは写真日記データなどと称することができる。

【0036】

ここで、記録データと画像データとを合成する手法については問わない。例えば、生成処理部１３は、記憶部２２に予め記憶された１又は複数のテンプレートのいずれかを読み出し、記録データが示す文章をテンプレートにおける文章欄に割り当て、画像データをテンプレートにおける画像貼り付け欄に貼り付けることができる。生成処理部１３及び記憶部２２は、記録データと画像データとを合成して、文書データを生成する生成部の一例である。

【0037】

また、生成処理部１３は、記録データが示す文章そのものを文書データ内の文章として使用することもできる。以下、生成される文書データ内の文章、その文章を示すデータを、それぞれ日記文、日記文データと称して説明を行う。しかし、生成処理部１３は、記録データは元々音声入力されたデータであるため、日記文の校正や関連する文の追加など、適宜変更したものを日記文として使用するとよい。また、生成処理部１３は、日記文の表現として、予めどのような丁寧さの文章で生成するかをユーザーが指定すること、例えば日本語では「ですます調」であるのか「口語風」であるのか等の表現をユーザーが指定することができるように構成しておくこともできる。

【0038】

このような、記録データからの日記文データの生成についても、記録データから、あるいは記録データから抽出した１又は複数のキーワードから、日記文データを出力するように機械学習された学習モデルを用いて実行されることができる。この学習モデルのアルゴリズム等も問わず、例えば、キーワードと日記文とを対応付けて機械学習させるように構成したディープニューラルネットワークなどを利用することができる。また、生成処理部１３で学習モデルを利用する場合、その学習モデルは、記憶部２２に記憶されてもよいし、ネットワークＮに接続された図示しないサーバーに記憶されてもよい。

【0039】

また、或る程度の内容を含むように文書データを生成するためには、最初に取得される記録データだけでは情報量が少ないことが想定される。そのため、取得処理部１１は、最初に取得した記録データに基づき、文書データを生成するための追加情報を得るための質問データをユーザーに提供するように、音声又はテキストで出力することもできる。そして、取得処理部１１は、記録データの取得時と同様の経路で、質問データに対して音声により入力された回答である追加記録データを取得する。

【0040】

この場合、検索処理部１２は、記録データ及び追加記録データに基づき、画像データを検索すればよく、生成処理部１３は、記録データと追加記録データと画像データとを合成して、文書データを生成すればよい。このように、ユーザーに対して質問を行い、情報量を増やすことで、内容の濃い文書データを生成することができる。また、ここで説明したような質問は、その回答に応じて繰り返すことができる。また、このような質問の音声出力のために、情報処理装置１はスピーカー等で構成される音声出力部を備えておくとよい。

【0041】

このような質疑応答についても、記録データから、あるいは記録データ及び既に得た回答から、質問データを出力するように機械学習された学習モデルを用いて実行されることができる。この学習モデルのアルゴリズム等も問わず、例えば、記録データ等に含まれるキーワードと必要な情報を得るための質問とを対応付けて機械学習させるように構成したディープニューラルネットワークなどを利用することができる。また、検索処理部１２で学習モデルを利用する場合、その学習モデルは、記憶部２２に記憶されてもよいし、ネットワークＮに接続された図示しないサーバーに記憶されてもよい。

【0042】

また、日記に代表されるような文章には天気を記載することが多い。そのため、記録データは、音声により入力された地域を示す地域データを含むこともできる。この場合、検索処理部１２が、その地域データに基づき、所定の日付における地域での天気を示す天気データを検索する処理を行い、生成処理部１３が、記録データと天気データと画像データとを合成して、文書データを生成するとよい。天気データは、例えば、ネットワークＮに接続された天気を記録したサーバー（図示せず）から取得されることができるが、例えば記憶部２２に天気データを記憶しておけば記憶部２２から取得されてもよい。

【0043】

また、地域データは、質疑応答により得た追加記録データとして取得されることもでき、その場合、例えば、記録データに地域又は天気を示す情報が含まれてなかった場合に、地域を質問して回答を得ればよい。

【0044】

あるいは、検索処理部１２は、予め設定された設定地域を示す地域データに基づき、所定の日付における設定地域での天気を示す天気データを検索してもよい。そして、検索処理部１２は、記録データが音声により入力された地域を示すデータを含む場合、設定地域での天気の代わりに、所定の日付における地域での天気を示す天気データを検索すればよい。この場合にも、生成処理部１３が、記録データと天気データと画像データとを合成して、文書データを生成するとよい。

【0045】

また、生成される文章データは、ユーザーの感情や知識レベルに合わせた文章を含むことで、そのユーザーが作成した文章データとして使用し易い。そのために、制御部１０は判定部１４を備えることができる。

【0046】

判定部１４は、情報処理装置１のユーザーの感情に合わせた文書データを生成するために設けられることができる。判定部１４は、記録データの元となった音声の抑揚のレベルを判定する。抑揚のレベルの判定手法は問わず、イントネーションの変化や音量の変化などから音声の抑揚のレベルの判定は可能であり、この判定にも学習モデルを利用することができる。判定部１４は、抑揚のレベルを記録データの対応箇所に付加するとよい。

【0047】

そして、生成処理部１３は、判定部１４で判定されたレベルに応じて、生成する文書データに含まれる内容を異ならせるように、文書データを生成する。これにより、生成される文書データの日記文は、例えば明るい声のような抑揚のある音声であれば明るい内容の文章になり、逆に暗い声のような抑揚のない音声であれば暗い内容の文章にすることができる。

【0048】

このような、抑揚のレベルを付加した記録データからの文章データの生成についても、学習モデルを利用することができる。即ち、生成処理部１３は、この記録データから、あるいはこの記録データから抽出した１又は複数のキーワードから、日記文データ又は日記文データ及び画像データを出力するように機械学習された学習モデルを用いて実行されることができる。この学習モデルのアルゴリズム等も問わず、例えば、キーワードと日記文とを対応付けて機械学習させるように構成したディープニューラルネットワークなどを利用することができる。また、生成処理部１３で学習モデルを利用する場合、その学習モデルは、記憶部２２に記憶されてもよいし、ネットワークＮに接続された図示しないサーバーに記憶されてもよい。

【0049】

また、抑揚のレベルは文章データに含める画像データの検索にも利用することができる。例えば、検索処理部１２は、抑揚のレベルが付加された記録データから、あるいはこの記録データから抽出した１又は複数のキーワードから、画像データを出力するように機械学習された学習モデルを用いて、検索を行うこともできる。これにより、生成される文書データに含まれる画像は、例えば明るい声のような抑揚のある音声であれば笑顔の画像になり、逆に暗い声のような抑揚のない音声であれば暗い表情をした画像にすることができる。

【0050】

また、判定部１４は、抑揚のレベルに加え、あるいは抑揚のレベルの代わりに、記録データの元となった音声を入力した入力者の属性を判定することもできる。この例では、入力者は、情報処理装置１のユーザーとすることができる。ここで、属性としては、年齢、性別、出身地、所在地など様々な種類の属性が適用できる。この属性を示す情報は、ユーザーが事前に設定しておくこともできるし、音声データを解析して得ることもできる。この解析には、例えば、音声データを入力し属性を出力するように、機械学習により学習された学習モデルを用いることもできる。また、所在地については、情報処理装置１に別途組み込まれた位置情報取得部（図示せず）で取得されることができる。この位置情報取得部は、ＧＰＳ（Global Positioning System）等の位置情報取得システムを利用し、アンテナの設置場所となる情報処理装置１の位置を取得する。

【0051】

そして、生成処理部１３は、判定部１４で判定された属性に応じて、生成する文書データに含まれる内容を異ならせるように、文書データを生成する。これにより、例えば、入力者が男性、子供であった場合には、男の子の画像が文章データに含まれ、一方で入力者が女性、子供であった場合には、女の子の画像が文章データに含まれる。

【0052】

次に、生成された文書データの提供について説明する。
提供処理部１５は、通信部２５を介して、他の情報処理装置（図示せず）に文書データを提供する。これにより、ユーザーは、他の人が使用する上記他の情報処理装置に文書データを提供でき、上記他の人に文書データを見せることができるようになる。

【0053】

アップロード処理部１６は、文書データを、ネットワークを介してＳＮＳサーバー４にアップロードする。これにより、ＳＮＳサーバー４では、この文書データが閲覧可能な状態に登録されることになる。アップロード処理部１６は、通信部２５を介してこのアップロードを実行することになる。

【0054】

印刷処理部１７は、文書データを印刷する指示を、ネットワークを介してプリンター３に送信する処理を行う。印刷処理部１７は、文書データを、プリンター３で印刷可能な形式である印刷データに変換し、印刷要求とともに、通信部２５を介してプリンター３に印刷を指示することになる。これにより、プリンター３では、文書データの印刷が可能となる。印刷処理部１７での指示先は、プリンター３そのものでなくても、プリンター３での印刷サービスを提供するプリントサーバー（図示せず）における仮想プリンターであっても、同様にプリンター３での印刷が可能となる。また、情報処理装置１は、印刷処理部１７を備える場合、印刷制御装置と称することもできる。

【0055】

また、情報処理装置１は、提供処理部１５、アップロード処理部１６、及び印刷処理部１７のうちのいずれを文書データの提供先とするかの設定を、操作部２４から受け付け、その設定に従った提供先に文書データを提供するように構成することもできる。情報処理装置１は、文書データの生成に先立ちこの設定を実行するように構成することもできるが、生成後に実行するように構成すること、あるいは、その設定を変更することが可能に構成することもできる。

【0056】

次に、図２～図４を用いて、情報処理システム１００において実行される文書生成処理について、生成される文章データが示す文章の具体例を挙げて説明する。図２は、情報処理システム１００において実行される文書生成処理の一例を説明するためのフロー図である。また、図３は、情報処理システム１００において生成される文書の一例を示す模式図で、図４は、情報処理システム１００において生成される文書の他の例を示す模式図である。

【0057】

情報処理装置１は、まず音声により入力された所定の日付に関する記録である記録データを取得し（ステップＳ１１）、その記録データに基づき、画像データを検索する（ステップＳ１２）。次いで、情報処理装置１は、記録データと画像データとを合成して、文書データを生成し、提供先に文章データを提供し（ステップＳ１４）、処理を終了する。なお、ステップＳ１１～Ｓ１４のそれぞれにおいては、情報処理装置１について上述した様々な応用例が適用できる。

【0058】

このような処理により、情報処理装置１は、例えば図３の文書３００で示すような文章データを生成し、提供先に提供することができる。文章３００は、日付情報３０１として２０２２年６月１７日の金曜日であることを示す情報を含むとともに、天気情報３０２として晴れ、気温２０．０℃であることを示す情報を、日記文３０３の文頭に含んでいる。日記文３０３は、図示を省略するが、ユーザーが音声入力した内容に従った文章を含む。

【0059】

例えば、小学校低学年の男の子が「カブトムシをつかまえたこと」、「そのカブトムシが大きかったこと」、「うれしかった」という音声を入力した場合、日記文３０３は、例えば「でっかいカブトムシをつかまえたよ！（改行）すごく、うれしかったです！（改行）やったね！！」などといった文章となる。この場合、文章３００では、小学校低学年の男の子にふさわしいようなテンプレートや文字のフォントを用いることができる。また、このような音声入力に合うように、画像３０４としては、その内容に対応するように太陽のイラスト３０４ａ、カブト虫のイラスト３０４ｂ、及び人のイラスト３０４ｃを含むような画像が文章３００に含まれることになる。

【0060】

文章３００は、所謂、絵日記とすることができる。なお、イラストの代わりに、写真を利用することもできるし、また文書データの生成後にユーザーがクライアント５から、あるいは印刷される場合には紙上で、色を塗ることができるように塗り絵を利用することもできる。

【0061】

他の例として、情報処理装置１は、例えば図４の文書４００で示すような文章データを生成し、提供先に提供することができる。文章４００は、日付情報４０１として２０２２年６月１７日の金曜日であることを示す情報を含むとともに、天気情報４０２として晴れ、気温２０．０℃であることを示す情報を、文章４００としての文頭に含んでいる。日記文４０３は、図示を省略するが、ユーザーが音声入力した内容に従った文章を含む。例えば、大人の女性が音声を入力した場合には、喩え音声入力の内容が同等であっても、日記文４０３は、文章３００に含まれる日記文３０３より長文とすることができる。

【0062】

文章４００では、大人の女性にふさわしいようなテンプレートや文字のフォントを用いることができる。また、文章４００には、音声入力の内容に対応するような写真４０４ａ、写真４０４ｂを綺麗にレイアウトしたような画像４０４を含めることができる。ここで、写真４０４ａ、写真４０４ｂは、例えばそのユーザーが図示しないカメラで撮像して記憶部２２に記憶させた写真、あるいはＳＮＳサーバー４にアップロードした写真などとすることができる。

【0063】

以上のように、情報処理システム１００では、日記のような日付を伴う文書を生成するに際し、ユーザーがタッチペンを把持して手動で情報を入力するような必要がないため、利便性を向上させることができる。また、情報処理システム１００では、例えば、夏休みの宿題等である絵日記をユーザーが会話することで簡単に生成することができるようになる。これにより、絵を描くのが苦手な子供や文章を書くのが苦手な子供への助けとなり時間短縮につながり別の宿題や遊びに回せる時間が増え子供のライフサイクルの改善になる。また、生成された絵日記をＳＮＳ等へ自動的に投稿できるため、今までよりも簡単に思い出の日記を残せるようになる。さらに、例えば、ボイスレコーダーで予め録音しておいた音声データに基づき文書データを生成することで、録音内容に画像を容易に且つ短時間で紐づけすることもできる。

【0064】

次に、本実施の形態にかかる情報処理装置を含む情報処理システムの他の構成例について、図５を参照しながら説明する。図５は、本実施の形態にかかる情報処理装置を含む情報処理システムの他の構成例を示すブロック図である。

【0065】

図５に示す構成例にかかる情報処理システム５００は、サーバー６、クライアント５、音声認識サーバー２、プリンター３、及びＳＮＳサーバー４を備えることができ、情報処理として文書生成処理が可能なシステムである。サーバー６、クライアント５、音声認識サーバー２、プリンター３、及びＳＮＳサーバー４は、１又は複数のネットワークＮを介して接続されることができる。

【0066】

サーバー６は、通信機能を備えた、コンピューター等の情報処理装置とすることができ、文書生成処理の主たる部分を担う。この文書生成処理については図１の情報処理装置１における文書生成処理として説明した処理と基本的に同様となるが、システム構成が異なる。したがって、少なくともそのデータの送受の点において図１の情報処理装置１における文書生成処理として説明した処理とは異なる処理となる。サーバー６は、文書生成サーバーと称することもできる。

【0067】

図５に示すように、サーバー６は、制御部１０、記憶部２２、及び通信部２５のそれぞれに対応する、制御部６０、記憶部７２、及び通信部７５を備えることができる。

【0068】

制御部６０における具体的な機能については後述するが、制御部６０は、文書データの生成のために、取得処理部６１、検索処理部６２、及び生成処理部６３を備えることができる。制御部６０は、さらにクライアント５のユーザーや発する音声合わせた文書データを生成するために、判定部６４を備えることもできる。

【0069】

制御部６０は、文書データの提供を行うために、提供処理部６５、アップロード処理部６６、及び印刷処理部６７を備えることができる。提供処理部６５、アップロード処理部６６、及び印刷処理部６７は、サーバー６を文書データの生成までを行うサーバーとして構成する場合には備えなくてもよいことになる。また、サーバー６を文書データの提供まで行うサーバーとして構成する場合には、例えば提供処理部６５、アップロード処理部６６、及び印刷処理部６７のうちのいずれか１又は複数が設けられていればよい。

【0070】

制御部６０は、例えば、ＣＰＵ、ＧＰＵ等の演算処理装置と、作業用メモリーと、制御用のプログラムやパラメーター等を記憶する記憶装置とを含んで構成されることができる。制御部６０は、ＳｏＣとして構成することもできる。これらの例からも分かるように、制御部６０は、制御用のプログラムを実行可能な状態で記憶する構成とすることができる。但し、制御部６０は、制御用のプログラムをＦＰＧＡのように回路構成として記憶する構成とすることや、あるいは専用の回路として構成することもできる。取得処理部６１、検索処理部６２、生成処理部６３、判定部６４、提供処理部６５、アップロード処理部６６、及び印刷処理部６７は上記のプログラムとして実装することができる。上記のプログラムは、演算処理装置が記憶部７２及び通信部７５と協働しながら各部６１～６７の機能を実現するためのプログラムを含むことができる。

【0071】

記憶部７２は、例えば、ハードディスクドライブや、ソリッドステートドライブや、その他のメモリーによる記憶装置である。制御部６０が備えるメモリーの一部を記憶部７２と捉えてもよい。つまり、記憶部７２は、制御部６０の一部と捉えることもできる。

【0072】

記憶部７２には、サーバー６で取り扱う各種データ、例えばクライアント５から受信された音声データ、その音声データを音声認識した結果のテキストデータ、生成される文書データのテンプレートのデータ、生成された文書データなどを記憶することができる。また、記憶部７２は、サーバー６における各種の処理にかかる設定なども記憶しておくことができる。

【0073】

通信部７５は、所定の通信規格を含む所定の通信プロトコルに準拠して有線又は無線で１又は複数の外部装置と通信を実行するための１又は複数の通信インターフェイスとすることができる。情報処理システム５００には、この外部装置として、クライアント５、音声認識サーバー２、プリンター３、及びＳＮＳサーバー４を含めることができる。

【0074】

クライアント５は、ＰＣ、スマートフォン、タブレット型端末等の、通信機能を備えた情報処理装置であり、文書データの生成を依頼するユーザーが使用する端末装置である。クライアント５は、図示しないが、その全体を制御する制御部や通信部のほか、操作のためのインターフェイスとしての操作部及び表示部も備えることができる。操作部及び表示部については、図１の操作部２４及び表示部２３として説明した通りである。

【0075】

さらに、クライアント５は、音声入力部５１を備えることができる。音声入力部５１は、音声入力部２１と同様に、文書データの生成のために、ユーザーの音声データを入力する部位であり、マイクロフォンで構成されることができる。

【0076】

次に、本実施の形態にかかるサーバー６において実行される文書データの生成、並びに提供について、簡単に説明するが、その詳細や応用例については図１の情報処理装置１について説明した通りである。

【0077】

まず、文書データの生成までについて説明する。
クライアント５のユーザーは、日付を含めるように音声を発し、これを音声入力部５１が音声データとして入力し、サーバー６に送信する。サーバー６は、通信部７５を介して音声データを受信し、制御部６０に渡す。制御部６０は、この音声データを記憶部７２に記憶させるか、あるいは直接、取得処理部６１を稼働させる。

【0078】

取得処理部６１は、クライアント５から受信した音声データを音声認識サーバー２に通信部７５を介して送信し、音声認識処理を要求する。音声認識サーバー２は、その音声認識処理を実行し、上記の音声データをテキストデータに変換する。取得処理部６１は、このテキストデータを取得する。このテキストデータは、音声により入力された所定の日付に関する記録である記録データとなる。通信部７５、取得処理部６１、及び音声認識サーバー２は、音声により入力された所定の日付に関する記録である記録データを、ネットワークＮを介して接続された他の情報処理装置から取得する取得部の一例である。

【0079】

なお、サーバー６は、単独の装置で、文書データの作成までの処理を行うように構成することができ、その場合、サーバー６が音声認識サーバー２の機能として説明した音声認識機能を備えていればよい。

【0080】

あるいは、テキストデータは、クライアント５が音声認識サーバー２にアクセスして取得し、取得処理部６１は、クライアント５から又は音声認識サーバー２からテキストデータを取得するように構成することもできる。この場合、クライアント５は、音声入力部５１から入力された音声データを音声認識サーバー２に送信し、音声認識処理を要求する。音声認識サーバー２は、その音声認識処理を実行し、上記の音声データをテキストデータに変換する。音声認識サーバー２は、サーバー６にこのテキストデータを送信するか、あるいは、クライアント５にこのテキストデータを送信し、クライアント５がこのテキストデータを取得し、サーバー６へ送信することもできる。この場合、通信部７５及び取得処理部６１は、音声により入力された所定の日付に関する記録である記録データを、ネットワークＮを介して接続された他の情報処理装置から取得する取得部の一例となる。

【0081】

検索処理部６２は、取得処理部６１で取得された記録データに基づき画像データを検索する。検索処理部６２は、検索された画像データを文書データの生成のために記憶部７２に一時的に保存しておくことができる。ここでも、検索先は、記憶部７２、ＳＮＳサーバー４、その他、画像データのダウンロードが可能なサーバー（図示せず）などが挙げられ、予め１又は複数決められることができるが、ユーザーにより指定されることや変更されることもできる。

【0082】

生成処理部６３は、記録データと画像データとを合成して、文書データを生成する。また、生成される文章データは、ユーザーの感情や知識レベルに合わせた文章を含むことで、そのユーザーが作成した文章データとして使用し易い。そのために、制御部６０は判定部６４を備えることができる。そして、生成処理部６３は、判定部６４で判定されたレベルやユーザーの属性に応じて、生成する文書データに含まれる内容を異ならせるように、文書データを生成することができる。

【0083】

なお、検索処理部６２、生成処理部６３、判定部６４などにおいて、適宜、学習モデルを用いて処理を行える点についても、図１の情報処理装置１について説明した通りである。

【0084】

次に、生成された文書データの提供について説明する。
図５の構成例における提供処理部６５は、通信部７５を介して、他の情報処理装置としてのクライアント５に文書データを提供する。これにより、ユーザーは、クライアント５で文書データを保存することや、後に閲覧することができる。無論、他の情報処理装置は、クライアント５以外の情報処理装置であってもよい。

【0085】

アップロード処理部６６は、文書データを、ネットワークを介してＳＮＳサーバー４にアップロードする。印刷処理部６７は、文書データを印刷する指示を、ネットワークを介してプリンター３に送信する処理を行う。これにより、プリンター３では、文書データの印刷が可能となる。

【0086】

また、サーバー６は、提供処理部６５、アップロード処理部６６、及び印刷処理部６７のうちのいずれを文書データの提供先とするかの設定を、クライアント５から受け付け、その設定に従った提供先に文書データを提供するように構成することもできる。サーバー６は、文書データの生成に先立ちこの設定を実行するように構成することもできるが、生成後に実行するように構成すること、あるいは、その設定を変更することが可能に構成することもできる。

【0087】

次に、図５の情報処理システム５００において実行される文書提供処理の一例であって、図３の文章３００が生成されて提供される例について、図６を用いて説明する。図６は、図５の情報処理システム５００において実行される文書提供処理の一例を説明するためのシーケンス図である。図６のシーケンス図及び後述の図７のシーケンス図では、クライアント５が音声データを音声認識サーバー２に送信し、変換されたテキストデータをサーバー６が取得する例を示している。

【0088】

ユーザーは、まず、クライアント５を用いて「絵日記立ち上げて」と発話し、クライアント５がその音声データを入力し、音声認識サーバー２へ送信する（ステップＳ２１）ことで、文書提供処理が開始される。音声認識サーバー２は、この音声データをテキストデータに変換し、そのテキストデータから文書提供処理の開始であると認識し、サーバー６へその旨を通知する（ステップＳ２２）。次いで、サーバー６が文書データのテンプレートの生成又は読み出しを実行する（ステップＳ２３）。このテンプレートは、例えば、クライアント５のユーザーが小学校低学年の男の子であった場合に、そのユーザーの属性に合致したテンプレートとすることができる。

【0089】

次いで、サーバー６は、日記の生成をサポートする点で、ユーザーに出来事についての発話を促すメッセージを、音声認識サーバー２に送信し（ステップＳ２４）、音声認識サーバー２がそれを音声データに変換してクライアント５に送信する（ステップＳ２５）。このメッセージは、例えば「今日は何をしましたか？」といった質問メッセージとすることができるが、例えば、「何月何日の日記を書きますか？」などと質問を行い、日付の情報を得ることもできる。また、このような質問メッセージの音声出力のために、クライアント５はスピーカー等で構成される音声出力部を備えておく。また、このように質疑応答は１回目においては定型文で応答することができるが、２回目以降はそれまでの回答の内容を使った応答を行うことができる。

【0090】

ユーザーが「カブト虫を捕まえたよ」と発話し、その音声データをクライアント５が音声認識サーバー２に送信したとする（ステップＳ２６）。音声認識サーバー２は、その音声データをテキストデータに変換してサーバー６へ送信する（ステップＳ２７）。この時点から、サーバー６では、入力された音声をテキスト変換した結果が示すテキストデータに基づき、そこに含まれるキーワードを抽出し、応答文を自動生成して応答を行うことになる（ステップＳ２８）。

【0091】

サーバー６は、ステップＳ２８により、ステップＳ２７で受信したテキストデータに基づき、例えば「どんなカブト虫ですか？」といった質問文を音声認識サーバー２へ送信する（ステップＳ２９）。音声認識サーバー２がそれを音声データに変換してクライアント５へ送信し（ステップＳ３０）、クライアント５で音声出力がなされる。同様にして、ユーザーが「でっかいやつ！！」と回答すると、クライアント５が音声認識サーバー２にその音声データを送信し（ステップＳ３１）、音声認識サーバー２がテキストデータに変換してサーバー６に送信する（ステップＳ３２）。

【0092】

同様にして、サーバー６は、「どんな気持ちでしたか？」といった質問文を音声認識サーバー２へ送信する（ステップＳ３３）。音声認識サーバー２がそれを音声データに変換してクライアント５へ送信し（ステップＳ３４）、クライアント５で音声出力がなされる。同様にして、ユーザーが「すごく嬉しかったです」と回答すると、クライアント５がその音声データを音声認識サーバー２に送信し（ステップＳ３５）、音声認識サーバー２がテキストデータに変換してサーバー６に送信する（ステップＳ３６）。

【0093】

同様にして、サーバー６は、「他には？」といった質問文を音声認識サーバー２へ送信する（ステップＳ３７）。音声認識サーバー２がそれを音声データに変換してクライアント５へ送信し（ステップＳ３８）、クライアント５で音声出力がなされる。同様にして、ユーザーが「やったね！」と回答すると、クライアント５がその音声データを音声認識サーバー２に送信し（ステップＳ３９）、音声認識サーバー２がテキストデータに変換してサーバー６に送信する（ステップＳ４０）。

【0094】

同様にして、サーバー６は、「他には？」といった質問文を音声認識サーバー２へ送信する（ステップＳ４１）。音声認識サーバー２がそれを音声データに変換してクライアント５へ送信し（ステップＳ４２）、クライアント５で音声出力がなされる。同様にして、ユーザーが「おしまい」と回答すると、クライアント５がその音声データを音声認識サーバー２に送信し（ステップＳ４３）、音声認識サーバー２がテキストデータに変換してサーバー６に送信する（ステップＳ４４）。サーバー６では、この「おしまい」といった終了を意味するようなテキストデータを受信した場合、ステップＳ２８の質疑応答処理を終了する。

【0095】

次いで、サーバー６は、取得したテキストデータに基づき、日記文の生成及び画像の検索を実行し、日記文と画像とを合成することで、文書データを自動的に生成する（ステップＳ４５）。これにより、図３の文書３００で示すような文書データが生成される。ステップＳ３９では、抑揚レベルが高いことが分かるような発話を行っているため、イラスト３０４ｃは、ユーザーの属性が示すイラストにおいて、笑顔の表情を採用している。なお、ユーザーのイラストを載せる場合、ユーザーの写真画像があれば、それをデフォルメして生成したイラストを利用することもできる。

【0096】

次いで、サーバー６は、生成された文書データを提供先に提供する（ステップＳ４６）。提供先は、上述したようにプリンター３、ＳＮＳサーバー４、クライアント５のいずれか１又は複数とすることができる。これを受けた提供先では、文書データの提供処理がなされることになる（ステップＳ４７）。

【0097】

次に、図５の情報処理システム５００において実行される文書提供処理の他の例であって、図４の文章４００が生成されて提供される例について、図７を用いて説明する。図７は、図５の情報処理システム５００において実行される文書提供処理の他の例を説明するためのシーケンス図である。

【0098】

ユーザーは、まず、クライアント５を用いて「絵日記立ち上げて」と発話することで、ステップＳ２１～Ｓ２５）と同様の処理がなされる（ステップＳ５１～Ｓ５５）。但し、ステップＳ５３で生成されるテンプレートは、例えば、クライアント５のユーザーが大人の女性であった場合に、そのユーザーの属性に合致したテンプレートとすることができる。

【0099】

ユーザーが「松本で歓迎会をした・・・（略）・・・料理が美味しくなかった」と発話し、その音声データをクライアント５が音声認識サーバー２に送信したとする（ステップＳ５６）。音声認識サーバー２は、その音声データをテキストデータに変換してサーバー６へ送信する（ステップＳ５７）。この時点から、サーバー６では、ステップＳ２８で説明したような自動応答処理を行うことができる。以下、便宜上、ステップＳ５６で送信された音声データで日記文が十分満たされると仮定して説明を行う。ステップＳ５７の後、サーバー６は、受信したテキストデータに基づき日記文を自動的に生成する（ステップＳ５８）。ステップＳ５６では、抑揚レベルが低いことが分かるような発話を行っているため、日記文４０３では暗い内容の文章が記述されることになる。

【0100】

次いで、サーバー６は、画像の指定をユーザーに求めることができ、そのために、例えば「何の画像にしますか？」といった質問文を音声認識サーバー２へ送信する（ステップＳ５９）。音声認識サーバー２がそれを音声データに変換してクライアント５へ送信し（ステップＳ６０）、クライアント５が音声出力を行う。ユーザーが「今日撮ったやつ」と回答し、その音声データが送信されると（ステップＳ６１）、音声認識サーバー２がテキストデータに変換し、必要なキーワードとして「今日」を示すテキストをサーバー６に送信する（ステップＳ６２）。

【0101】

サーバー６は、このテキストを受信して、今日保存された画像を、予め指定された場所から検索する（ステップＳ６３）。予め指定された場所とは、例えば、クライアント５内のフォルダー、あるいは予め指定されたサーバー６内のフォルダー、あるいは予め指定されたクラウドサーバー（図示せず）のＵＲＬ（Uniform Resource Locator）などとすることができる。この指定は、ユーザーによる指定であってもよく、また質問により聞き出すこともできる。また、サーバー６では、指定された画像群から、ユーザー操作により、その画像内容やタイムスタンプやタグの選択も可能に構成しておくこともできる。

【0102】

サーバー６は、検索結果の画像データを音声認識サーバー２へ送信し（ステップＳ６４）、音声認識サーバー２がそれらの画像データが示す画像をクライアント５から閲覧可能に表示させる（ステップＳ６５）。そして、音声認識サーバー２が「どれにしますか？」といった質問文の音声データをクライアント５へ送信し（ステップＳ６６）、クライアント５で音声出力がなされる。「どれにしますか？」といった質問文は、画像を選択させるためのデフォルトの質問として予め決めておいてもよいし、サーバー６からその質問文のテキストデータを受信していてもよい。

【0103】

次いで、ユーザーが「これとこれ」など、画像を指定できるような回答を行い、クライアント５がその音声データを音声認識サーバー２に送信する（ステップＳ６７）。音声認識サーバー２がその音声データを受信してテキストデータに変換し、そのテキストに基づき選択画像を指定して、指定した選択画像を示す情報をサーバー６に送信する（ステップＳ６８）。

【0104】

次いで、サーバー６は、ステップＳ５８で生成した日記文とステップＳ６８で指定された画像とを合成することで、文書データを自動的に生成する（ステップＳ６９）。これにより、図４の文書４００で示すような文書データが生成される。

【0105】

次いで、サーバー６は、生成された文書データを提供先に提供する（ステップＳ７０）。提供先は、上述したようにプリンター３、ＳＮＳサーバー４、クライアント５のいずれか１又は複数とすることができる。これを受けた提供先では、文書データの提供処理がなされることになる（ステップＳ７１）。

【0106】

図５～図７で説明した例でも、図１等で説明した例と同様の効果を奏することができ、さらにサーバー６を利用するシステムとして情報処理システム５００を構築することができるため、多くのユーザーに利用されることができる。

【0107】

（その他の変形例）
本発明は、上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、図１や図５で例示した情報処理装置１、音声認識サーバー２、ＳＮＳサーバー４、クライアント５、サーバー６は、いずれも説明したような機能が実現できるものであればよい。また、情報処理装置１、音声認識サーバー２、ＳＮＳサーバー４、クライアント５、サーバー６はいずれも、単独の装置として構成することに限らず、複数の装置に分散した分散システムとして構築することもできる。なお、本明細書中、サーバーとはサーバーコンピューターを指すことができるが、サーバープログラムと読み替えることもできる。

【0108】

また、上述した実施の形態にかかる情報処理システムに備えられる各装置は、いずれも、例えば次のようなハードウェア構成を備えることができる。ここで、各装置とは、図１及び図５の例を挙げると、情報処理装置１、音声認識サーバー２、プリンター３、ＳＮＳサーバー４、クライアント５、サーバー６が挙げられる。無論、例えば、情報処理装置１、音声認識サーバー２、ＳＮＳサーバー４、クライアント５、サーバー６はいずれも複数の装置に分散した分散システムとして構築することができ、その場合、上記の各装置とは上記複数の装置のそれぞれを指すことができる。図８は、装置のハードウェア構成の一例を示す図である。

【0109】

図８に示す装置１０００は、プロセッサー１００１、メモリー１００２、及びインターフェイス１００３を備えることができる。インターフェイス１００３は、装置に応じて必要な、例えば通信インターフェイスや、入出力装置などとのインターフェイスを含むことができる。

【0110】

プロセッサー１００１は、例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサーとも称されるＭＰＵ（Micro Processor Unit）などであってもよい。プロセッサー１００１は、複数のプロセッサーを含んでもよい。メモリー１００２は、例えば、揮発性メモリー及び不揮発性メモリーの組み合わせによって構成される。各装置における機能は、プロセッサー１００１がメモリー１００２に記憶されたプログラムを読み込んで、インターフェイス１００３を介して必要な情報をやり取りしながら実行することにより実現される。例えば装置１０００が情報処理装置であった場合、このプログラムは、プロセッサー１００１に上述したような文書生成処理を実行させるためのプログラムを含むことができる。

【0111】

また、上述したプログラムは、コンピューターに読み込まれた場合に、実施の形態で説明された１又はそれ以上の機能をコンピューターに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピューター可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピューター可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリー、solid-state drive（SSD）又はその他のメモリー技術を含む。また、限定ではなく例として、コンピューター可読媒体又は実体のある記憶媒体は、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピューター可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピューター可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0112】

以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。

【符号の説明】

【0113】

１…情報処理装置、２…音声認識サーバー、３…プリンター、４…ＳＮＳサーバー、５…クライアント５、６０…制御部、１１、６１…取得処理部、１２、６２…検索処理部、１３、６３…生成処理部、１４、６４…判定部、１５、６５…提供処理部、１６、６６…アップロード処理部、１７、６７…印刷処理部、２１、５１…音声入力部、２２、７２…記憶部、２３…表示部、２４…操作部、２５、７５…通信部、１００、５００…情報処理システム、３００、４００…文書、３０１、４０１…日付情報、３０２、４０２…天気情報、３０３、４０３…日記文、３０４、４０４…画像、３０４ａ…太陽のイラスト、３０４ｂ…カブト虫のイラスト、３０４ｃ…人のイラスト、４０４ａ、４０４ｂ…写真、１０００…装置、１００１…プロセッサー、１００２…メモリー、１００３…インターフェイス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】