特許 6967041 画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6967041

(24)【登録日】2021年10月26日

(45)【発行日】2021年11月17日

(54)【発明の名称】画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20211108BHJP

【ＦＩ】

   G06T7/00 350B

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2019-150334(P2019-150334)

(22)【出願日】2019年8月20日

(65)【公開番号】特開2021-33450(P2021-33450A)

(43)【公開日】2021年3月1日

【審査請求日】2019年11月22日

【審判番号】不服2020-15398(P2020-15398/J1)

【審判請求日】2020年11月6日

【早期審査対象出願】

(73)【特許権者】

【識別番号】511249637

【氏名又は名称】株式会社Ｃｙｇａｍｅｓ

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】倉林 修一

【合議体】

【審判長】 稲葉 和生

【審判官】 野崎 大進

【審判官】 小田 浩

(56)【参考文献】

【文献】 特開２０１８−１９７９４８（ＪＰ，Ａ）

【文献】 国際公開第２０１８／１４２７６５（ＷＯ，Ａ１）

【文献】 特開２０１８−１６３５５４（ＪＰ，Ａ）

【文献】 特開２０１３−１６１２６７（ＪＰ，Ａ）

【文献】 特開２０１９−９７９７８（ＪＰ，Ａ）

【文献】 超特集『ときメモ２』誕生から完成までメインスタッフが全てを語り尽くす！！Ｍａｋｉｎｇ ｏｆ 『ときメモ２』，電撃Ｐｌａｙｓｔａｔｉｏｎ Ｄ ＫＯＮＡＭＩＦａｎＢｏｏｋ，日本，メディアワークス，２０００年１月７日，第５巻，第３５号，通巻１２４号，第８−２３頁

【文献】 龍が如く２ 完全攻略極ノ書，株式会社エンターブレイン，２００７年２月５日，初版，第２８６−３２７頁

【文献】 ラブプラス ＬＯＶＥＰＬＵＳ，電撃ゲームス，Ｖｏｌ．３，株式会社アスキー・メディアワークス，２０１０年１月１日，第１０巻，第８０−９０頁

【文献】 フォトカノ／Ｋｉｓｓ オフィシャルコンプリートガイド，株式会社エンターブレイン，２０１３年７月３日，初版，第１８−２７頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06T 7/00

(57)【特許請求の範囲】

【請求項1】

ユーザからの操作を受け付け可能な操作受付部と、
固有の学習内容によって定義され、当該学習内容を利用して少なくとも１つの識別子情報を推論可能な画像認識モデルであって、キャラクタのキャラクタ識別情報に紐づけられる画像認識モデルを複数記憶し、複数の識別子情報のそれぞれに対応する複数の応答内容を前記複数の画像認識モデルのそれぞれに紐づけて記憶する記憶部と、
操作受付部の受け付けたキャラクタを選択するためのユーザによる操作に基づき、前記記憶部に記憶されたキャラクタ識別情報の中から前記選択されたキャラクタのキャラクタ識別情報を画像情報の送り先として特定する送り先属性情報特定部と、
前記送り先属性情報特定部の特定したキャラクタ識別情報に紐づけられた画像認識モデルを、前記記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と、
前記画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し、前記学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論部と、
前記識別子情報推論部の推論した識別子情報に基づき、当該識別子情報に対応した応答内容を前記記憶部に記憶された複数の応答内容の中から特定して実行する応答内容実行部と、
を備えることを特徴とする電子装置。

【請求項2】

前記記憶部に記憶された複数の画像認識モデルは、その学習内容が各画像認識モデルに固有の教師データによって定義され、当該固有の教師データはそれぞれ画像情報および識別情報であるラベルの対の集合によって定義されることを特徴とする請求項１に記載の電子装置。

【請求項3】

ユーザに対して情報を表示する表示部を備え、
前記記憶部は、前記キャラクタ識別情報に対応する文字情報及びアイコン画像情報の少なくとも１つを記憶し、
前記送り先属性情報特定部は、前記記憶部に記憶された前記文字情報及び前記アイコン画像情報の少なくとも１つを前記表示部に表示するとともに、当該表示された文字情報及びアイコン画像情報の少なくとも１つを前記操作受付部によってユーザが指定することで前記記憶部に記憶されたキャラクタ識別情報の中からキャラクタ識別情報を画像情報の送り先として特定することを特徴とする請求項１ないし請求項２のいずれか１項に記載の電子装置。

【請求項4】

１つ以上のコンピュータによって実行される方法であって、
固有の学習内容によって定義され、当該学習内容を利用して少なくとも１つの識別子情報を推論可能な画像認識モデルであって、キャラクタのキャラクタ識別情報に紐づけられる画像認識モデルを複数記憶し、複数の識別子情報のそれぞれに対応する複数の応答内容を前記複数の画像認識モデルのそれぞれに紐づけて記憶する記憶段階と、
ユーザからの操作を受け付ける操作受付段階と、
操作受付段階において受け付けたキャラクタを選択するためのユーザによる操作に基づき、前記記憶されたキャラクタ識別情報の中から前記選択されたキャラクタのキャラクタ識別情報を画像情報の送り先として特定する送り先属性情報特定段階と、
前記送り先属性情報特定段階において特定したキャラクタ識別情報に紐づけられた画像認識モデルを、前記記憶された複数の画像認識モデルの中から選択する画像認識モデル選択段階と、
前記画像認識モデル選択段階において選択した画像認識モデルへ画像情報を入力し、前記学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論段階と、
前記識別子情報推論段階の推論した識別子情報に基づき、当該識別子情報に対応した応答内容を前記記憶段階において記憶された複数の応答内容の中から特定して実行する応答内容段階と、
を実行させることを特徴とする方法。

【請求項5】

前記１つ以上のコンピュータは、ユーザ端末であることを特徴とする請求項４項に記載の方法。

【請求項6】

前記１つ以上のコンピュータは、ユーザ端末及びサーバを含むことを特徴とする請求項４に記載の方法。

【請求項7】

請求項４〜６のいずれか１項に記載された方法を、１以上のコンピュータに実行させることを特徴とするプログラム。

【請求項8】

ユーザ端末及びサーバを含むシステムであって、
前記ユーザ端末が、
ユーザからの操作を受け付け可能な操作受付部と、
操作受付部の受け付けたキャラクタを選択するためのユーザによる操作に基づき、前記選択されたキャラクタのキャラクタ識別情報を画像情報の送り先として特定する送り先属性情報特定部と、
を備え、
前記サーバが、
固有の学習内容によって定義され、当該学習内容を利用して少なくとも１つの識別子情報を推論可能な画像認識モデルであって、キャラクタのキャラクタ識別情報に紐づけられる画像認識モデルを複数記憶し、複数の識別子情報のそれぞれに対応する複数の応答内容を前記複数の画像認識モデルのそれぞれに紐づけて記憶する記憶部と、
前記送り先属性情報特定部の特定したキャラクタ識別情報に紐づけられた画像認識モデルを、前記記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と、
前記画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し、前記学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論部と、
前記識別子情報推論部の推論した識別子情報に基づき、当該識別子情報に対応した応答内容を前記記憶部に記憶された複数の応答内容の中から特定して実行する応答内容実行部と、
を備えることを特徴とするシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステムに関する。

【背景技術】

【0002】

近年の情報ネットワークの発展に伴い、スマートフォンのチャットアプリやＳＮＳアプリ等を用いて友人同士などで情報共有することが一般的となっている。このような情報共有のために他のユーザへ送信されるコンテンツは、文字メッセージに限られず、ユーザが撮影した写真やスクリーンショット等の画像とすることができる（特許文献１）。メッセージや画像等を受信した他のユーザは、これに対して感想メッセージ等を返信することでユーザ間のコミュニケーションを楽しむことができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８−０７３０７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

スマートフォンにおいて実行されるゲーム等のアプリもまた一般的に利用されている。情報共有のための既存のＳＮＳやコミュニケーション用アプリとゲーム等のアプリとの関係は、ゲーム等のスクリーンショットを他のアプリを用いて他のユーザと共有するという、ゲーム等の情報を外に出すという関係、すなわち、ゲーム等からＳＮＳへのアウトバウンド方向の関係にとどまっており、ＳＮＳで得た画像や、カメラで撮影した画像をアプリ内のキャラクタなどの属性情報に対して送信するという、インバウンド方向のメカニズムは実現されていない。

【課題を解決するための手段】

【0005】

本発明は上記の課題に鑑みてなされたものであり、以下のような特徴を有している。すなわち、一つの実施形態における本発明の電子装置は、ユーザからの操作を受け付け可能な操作受付部と、固有の学習内容によって定義され、当該学習内容を利用して少なくとも１つの識別子情報を推論可能な画像認識モデルであって、固有の属性情報に紐づけられる画像認識モデルを複数記憶する記憶部と、操作受付部の受け付けた操作に基づき、前記記憶部に記憶された属性情報の中から少なくとも１つの属性情報を画像情報の送り先として特定する送り先属性情報特定部と、前記送り先属性情報特定部の特定した属性情報に紐づけられた画像認識モデルを、前記記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と、前記画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し、前記学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論部と、を備える。

【0006】

また、前記記憶部に記憶された複数の画像認識モデルは、その学習内容が各画像認識モデルに固有の教師データによって定義され、当該固有の教師データはそれぞれ画像情報および識別情報であるラベルの対の集合によって定義されることができる。

【0007】

さらに、前記記憶部は、複数の識別子情報のそれぞれに対応する複数の応答内容を前記複数の画像認識モデルのそれぞれに紐づけて記憶し、前記識別子情報推論部の推論した識別子情報に基づき、当該識別子情報に対応した応答内容を前記記憶部に記憶された複数の応答内容の中から特定して実行する応答内容実行部を備えてもよい。

【0008】

ユーザに対して情報を表示する表示部を備え、前記記憶部は、前記属性情報に対応する文字情報及びアイコン画像情報の少なくとも１つを記憶し、前記送り先属性情報特定部は、前記記憶部に記憶された前記文字情報及び前記アイコン画像情報の少なくとも１つを前記表示部に表示するとともに、当該表示された文字情報及びアイコン画像情報の少なくとも１つを前記操作受付部によってユーザが指定することで前記記憶部に記憶された属性情報の中から少なくとも１つの属性情報を画像情報の送り先として特定するようにしてもよい。

【0009】

本発明の一つの実施形態における方法は、１つ以上のコンピュータによって実行される方法であって、固有の学習内容によって定義され、当該学習内容を利用して少なくとも１つの識別子情報を推論可能な画像認識モデルであって、固有の属性情報に紐づけられる画像認識モデルを複数記憶する記憶段階と、ユーザからの操作を受け付ける操作受付段階と、操作受付段階において受け付けた操作に基づき、前記記憶された属性情報の中から少なくとも１つの属性情報を画像情報の送り先として特定する送り先属性情報特定段階と、前記送り先属性情報特定段階において特定した属性情報に紐づけられた画像認識モデルを、前記記憶された複数の画像認識モデルの中から選択する画像認識モデル選択段階と、前記画像認識モデル選択段階において選択した画像認識モデルへ画像情報を入力し、前記学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論段階と、を実行させる。

【0010】

前記１つ以上のコンピュータは、ユーザ端末としてもよい。

【0011】

前記１つ以上のコンピュータは、ユーザ端末及びサーバを含むことができる。

【0012】

本発明の一つの実施形態におけるプログラムは、前述の方法を、１以上のコンピュータに実行させるものとすることができる。

【0013】

本発明の一つの実施形態におけるシステムは、ユーザ端末及びサーバを含むシステムであって、前記ユーザ端末が、ユーザからの操作を受け付け可能な操作受付部と、操作受付部の受け付けた操作に基づき、少なくとも１つの属性情報を画像情報の送り先として特定する送り先属性情報特定部と、を備え、前記サーバが、固有の学習内容によって定義され、当該学習内容を利用して少なくとも１つの識別子情報を推論可能な画像認識モデルであって、固有の属性情報に紐づけられる画像認識モデルを複数記憶する記憶部と、前記送り先属性情報特定部の特定した属性情報に紐づけられた画像認識モデルを、前記記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と、前記画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し、前記学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論部と、を備える。

【発明の効果】

【0014】

本発明によれば、属性情報と画像認識モデルとを紐づけ、送信先の属性情報が選択されると、その属性情報に紐付けられた画像認識モデルが選択され画像認識に使用される、という構成を採用することにより、多数の属性情報のために多数の画像内容を認識する場合であっても、個別の属性情報向けに学習された画像認識モデルを用いた推論処理で対象となる画像内容を認識することができ、少量のデータを用いた場合でも高い推論性能を実現するとともに、個々の画像認識モデルを比較的小さなニューラルネットワークとして実装することにより高いレスポンス性能を実現できる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態に係るシステム構成図である。

【図2】本発明の一実施形態に係るサーバ及び電子装置のハードウェア構成図である。

【図3】本発明の一実施形態に係るサーバ及び電子装置の機能ブロック図である。

【図4】本発明の一実施形態に係る情報処理を示すフローチャートである。

【図5A】本発明の一実施形態に係る画面表示例を示す図である。

【図5B】本発明の一実施形態に係る画面表示例を示す図である。

【図5C】本発明の一実施形態に係る画面表示例を示す図である。

【図5D】本発明の一実施形態に係る画面表示例を示す図である。

【図6】本発明の位置実施形態に係るサーバ及び電子装置の機能ブロック図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して、本発明の実施形態のシステム１について説明する。本明細書においては、説明の便宜上、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細な説明や実質的に同一の構成についての重複説明を省略する場合がある。

【0017】

［第１の実施形態］
図１は本発明の一実施形態によるシステム１の全体構成の一例を示す。図１に示すように、システム１は、ユーザ端末である複数の電子装置１０及びサーバ２０を備える。電子装置１０及びサーバ２０は、インターネットなどのネットワーク２に接続され、互いに通信可能である。

【0018】

図２は本発明の一実施形態による電子装置１０及びサーバ２０のハードウェア構成を示すブロック図である。電子装置１０は、プロセッサ１１、表示装置１２、入力装置１３、記憶装置１４及び通信装置１５を備える。これらの各構成装置はバス１６によって接続される。なお、バス１６と各構成装置との間には必要に応じてインタフェースが介在しているものとする。本実施形態において、電子装置１０はスマートフォンである。ただし、電子装置１０は、上記の構成を備えるものであれば、タブレット型コンピュータ、タッチパッド等の接触型入力装置を備えるコンピュータなどの端末とすることができる。

【0019】

サーバ２０もまた同様に、プロセッサ２１、表示装置２２、入力装置２３、記憶装置２４及び通信装置２５を備える。これらの各構成装置はバス２６によって接続される。なお、バス２６と各構成装置との間には必要に応じてインタフェースが介在しているものとする。本実施形態においてサーバ２０はコンピュータによって実現される。

【0020】

プロセッサ１１、２１は、電子装置１０及びサーバ２０全体の動作を制御するものであり、例えばＣＰＵである。なお、プロセッサ１１、２１としては、ＭＰＵ等の電子回路が用いられてもよい。プロセッサ１１、２１は、記憶装置１４、２４に格納されているプログラムやデータを読み込んで実行することにより、様々な処理を実行する。

【0021】

表示装置（ディスプレイ）１２、２２は、プロセッサ１１、２１の制御に従って、アプリケーション画面などを電子装置１０のユーザないしサーバ２０のユーザに表示する。好ましくは液晶ディスプレイであるが、有機ＥＬを用いたディスプレイやプラズマディスプレイ等であってもよい。

【0022】

入力装置１３、２３は、電子装置１０及びサーバ２０に対するユーザからの入力を受け付けるユーザインタフェースであり、例えば、タッチパネル、タッチパッド、キーボード、又はマウスである。本実施形態において電子装置１０はスマートフォンであるため、電子装置１０は入力装置１３としてタッチパネルを備え、タッチパネルは表示装置１２としても機能し、表示装置１２と入力装置１３は一体となった構造である。表示装置１２と入力装置１３は、別の位置に配置される別個の形態であってもよい。サーバ２０はコンピュータであるため、入力装置としてキーボード及びマウスを備え、表示装置として液晶ディスプレイを備えるものとする。

【0023】

記憶装置１４及び２４は、揮発性メモリであるＲＡＭ及び不揮発性メモリであるｅＭＭＣ、ＵＦＳ、ＳＳＤのようなフラッシュメモリを用いた記憶装置及び磁気記憶装置等を含む、一般的なスマートフォン及びコンピュータが備える記憶装置である。記憶装置１４、２４は、外部メモリを含むこともできる。例えば記憶装置１４は、アプリケーション（アプリ）を記憶し、記憶装置２４はサーバ用アプリケーションを記憶する。アプリケーションは、アプリケーションのイベントを実行するためのプログラム及び該プログラム実行時に参照する各種データを含む。

【0024】

通信装置１５、２５は、ネットワーク２（図２においては省略）を介して他の装置との間でデータの授受を行うことができる。例えば通信装置１５、２５は、移動体通信や無線ＬＡＮ等の無線通信を行い、ネットワーク２へ接続する。電子装置１０は通信装置１５を用いることで、ネットワークを介してサーバ２０と通信を行う。通信装置１５、２５は、イーサネット（登録商標）ケーブル等を用いた有線通信を行ってもよい。

【0025】

図３は本発明の一実施形態による電子装置１０及びサーバ２０の機能ブロック図の一例を示す。電子装置１０は、制御部１０１、表示部１０２、操作受付部１０３、記憶部１０４、通信部１０５、画像情報指定部１０６、送り先属性情報特定部１０７、画像認識モデル選択部１０８、識別子情報推論部１０９及び応答内容実行部１１０を備え、サーバ２０は、制御部２０１、表示部２０２、操作受付部２０３、記憶部２０４及び通信部２０５を備える。記憶部１０４及び２０４には複数の画像認識モデル１５０−１〜Ｎ及び２５０−１〜Ｍがそれぞれ記憶される。

【0026】

本実施形態においては、プロセッサ１１、２１がプログラムを実行することによりこれらの機能が実現される。例えば実行されるプログラムは、記憶装置１４、２４に記憶されているプログラムである。このように、各種機能がプログラム読み込みにより実現されるため、１つのパート（機能）の一部又は全部を他のパートが有していてもよい。各機能の一部又は全部を実現するための電子回路等を構成することによりハードウェアによってこれらの機能を実現してもよい。

【0027】

電子装置１０の制御部１０１は、本実施形態のアプリケーションによる機能を実行するにあたっての制御処理を行う。表示部１０２は、アプリケーションの機能を制御するためのアプリ用画面を表示し、アプリケーションの機能やユーザ操作に応じたアプリ用画面を表示する。操作受付部１０３は、電子装置１０のユーザからの入力を受け付ける。本実施形態においては、表示部１０２及び操作受付部１０３を備えたタッチパネルを用いることとし、タッチ検出機能によって操作受付部を実現する。

【0028】

記憶部１０４は制御部１０１によって実行される情報処理に必要な情報を格納する。さらに、記憶部１０４は、ユーザが利用可能な２以上の属性情報を記憶する。属性情報は、画像の送り先となる属性を示す情報であり、例えば、ゲームアプリケーションにおけるキャラクタや、仮想的な人格を識別する情報とすることができる。

【0029】

本実施形態においては、属性はゲームのキャラクタとし、属性情報をキャラクタ識別情報とする。同一キャラクタであっても、レア度の違いや、コスチュームの違いなどによって複数のバリエーションが存在する場合には、属性情報として異なるキャラクタ識別情報を与えてもよい。記憶部１０４は、属性情報として、ユーザが所有するキャラクタのキャラクタ識別子を記憶する。さらに、記憶部１０４は、各属性情報に対応付けられた画像認識モデル１５０−１〜Ｎを格納する。ここでは、ユーザが所有するＮ個のキャラクタのキャラクタ識別子に紐付けられた画像認識モデルが記憶される。画像認識モデルは、各モデル毎に固有の学習内容によって定義され、当該学習内容を利用して少なくとも１つの識別子情報を推論可能なニューラルネットワーク（ＮＮ）モデルである。

【0030】

識別子情報は、画像内容を示す情報であり、予めシステム設計者によって設定することができる。本明細書においては、学習内容を利用した画像認識モデルの推論結果としての識別子情報をクラスと表現することがある。学習内容を定義するための教師データを定義するための識別子情報をラベルと表現することがある。また、推論された識別子情報に基づいて実行される応答内容を示すスクリプトデータと紐付けられた識別子情報もラベルと表現することがある。

【0031】

送り先属性情報特定部１０７は、操作受付部１０３が受け付けたユーザによる入力操作に基づき、記憶部１０４に記憶された属性情報の中から少なくとも１つの属性情報を画像情報の送り先として特定する。画像情報指定部１０６は、操作受付部１０３の受け付けたユーザ入力操作に基づき、送り先へ送るための画像情報を指定する。画像情報は静止画の画像情報だけでなく、動画像の画像情報であってもかまわない。

【0032】

画像認識モデル選択部１０８は、送り先属性情報特定部１０７の特定した属性情報に紐づけられた画像認識モデルを、記憶部１０４に記憶された複数の画像認識モデルの中から選択する。識別子情報推論部１０９は、画像認識モデル選択部１０８の選択した画像認識モデル１５０へ画像情報指定部１０６の指定した画像情報を入力し、学習内容に基づいて、画像情報から識別子情報を推論する。応答内容実行部１１０は、識別子情報推論部１０９の推論した識別子情報に基づき、当該識別子情報に対応した応答内容を記憶部１０４に記憶された複数の応答内容の中から特定して実行する。

【0033】

サーバ２０の制御部２０１は、電子装置１０において実行されるアプリケーションのための処理を行う。１つの例では、制御部２０１は、電子装置１０においてアプリケーションが実行されると、定期的に、又は必要に応じてデータの送受信を行い、電子装置１０においてアプリケーションの機能を実現させる。表示部２０２は、必要に応じてサーバ管理者のための管理画面を表示装置２２に表示する。

【0034】

記憶部２０４は、制御部２０１によって実行される情報処理に必要な情報を格納する。さらに、記憶部２０４は、アプリケーションにおいて利用可能なすべての属性情報を記憶するとともに、各属性情報に対応付けられた画像認識モデル２５０−１〜Ｍを格納する。本実施形態においては、サーバ２０において、ゲームアプリにおいて利用可能な全てのキャラクタであるＭ個のキャラクタのために、各モデルに固有の教師データが用意されて画像認識モデル２５０−１〜Ｍが生成され、記憶部２０４に記憶される。そして、そのうちの電子装置１０のユーザが所有するキャラクタに対応する画像認識モデルが電子装置１０へ送信され、記憶部１０４に記憶される。

【0035】

次に、図４を用いて、本実施形態におけるシステムの情報処理動作４００について説明する。本実施形態においては、システムはゲームシステムであり、電子装置１０としてスマートフォンを用い、アプリケーションとしてゲームアプリケーションが電子装置１０においてスマートフォン用のＯＳ上で実行され、サーバ２０においてはサーバ用のゲームアプリケーションがサーバ用のＯＳ上で実行されるものとする。本ゲームにおいては、ゲーム媒体として複数のキャラクタが用意され、ユーザは例えば抽選処理によってキャラクタを入手する。そして、入手した複数のキャラクタを用いながらゲームを進行させるものとする。ここでは、ユーザが所有するキャラクタに対して、ユーザがゲーム外で取得した画像をキャラクタに対して送信し、推論されたその画像の画像内容に応じてキャラクタ毎に定められた応答処理が実行される場合を例にとって説明する。キャラクタに対して送信するとは、キャラクタと共有するための他の概念を含みうる。

【0036】

本実施形態においては、推論時に、画像情報としてビットマップ画像を入力して、その画像内容に対応するクラスとしての識別子情報を出力する関数として画像認識モデルがモデル化される。ここで、画像内容とは画像内に撮影されているオブジェクトや背景、オブジェクトの組み合わせなど、ニューラルネットワークが分類可能な任意の特徴を意味する。

【0037】

例えば、画像内容が果物のリンゴのとき、本システムは、推論として、”リンゴ, ９０％”のように、識別子情報（クラス）とその確率を出力する。そして、推論された識別子情報として、最も確率の高い識別子のための識別子情報のみを出力したり、所定の閾値を超えるすべての識別子情報を出力することができる。

【0038】

情報処理動作４００においてはまず、キャラクタ毎に固有の学習内容を用意して、この固有の学習内容によって画像認識モデルが定義され、サーバの記憶部２０４に記憶されるとともに、電子装置１０においてユーザが所有するキャラクタに紐づけられた画像認識モデルがダウンロードされ、記憶部１０４において記憶される（Ｓ４０１）。これによって、キャラクタ毎に個性化されたニューラルネットワークモデルを用意することが可能となる。

【0039】

本実施形態においては学習内容は各画像認識モデルに固有の教師データによって定義され、当該固有の教師データはそれぞれ画像情報およびラベルとしての識別子情報の対の集合によって定義される。教師データD_cのデータ構造の一例を式（１）に示す。

【数1】

【0040】

ここで、label_iは、i番目の画像が示す画像内容のラベル文字列である。bitmap_iは、i番目の画像のビットマップデータである。すなわち、本発明では、教師データは、画像とそのラベルの対の集合となる。深層学習による多クラス分類問題の解決では、１つのビットマップ画像に、複数のラベルを紐づけて学習することが可能であり、n×mの関係として、ラベルとビットマップを定義している。次に、D_cが定義するすべてのラベル集合であるL_cは、次のように定義できる。

【数2】

【0041】

ここで、label_iは、i番目のラベル文字列であり、集合L_c内ではユニークな識別性を有する。pは、Dcが規定するラベルの種類の数に対応する。キャラクタcに対応する演出シナリオS_cは次のように定義できる。

【数3】

【0042】

ここで、label_iは、i番目の種類のラベル文字列であり、script_iは、i番目のラベルが入力された際に、システムが再生すべき演出のスクリプトデータである。なお、本発明では、ラベルを一つだけ用いるのではなく、例えば、リンゴとサングラスが同時に撮影された場合などのように、複数のラベルを組み合わせて画像内容を記述しても良い。したがって、ここでのラベル数の最大値qは、ラベルの種類の数pよりも多くても良い。

【0043】

次に、キャラクタ毎に個性化したニューラルネットワークモデルの生成方法を示す。ＤＮＮを用いた学習を行う関数であるlearn関数は、ある特定のキャラクタcに対応する教師データ学習データバケットD_cを受け取り、画像内容の多クラス分類（Multiclass Classification）を行うモデルM_cを出力する関数であり、次のように定義できる：

【数4】

【0044】

このlearn関数は、一般的に知られた画像認識ＮＮモデルを作成する方式や、学習済みモデルへのファインチューニングとしてトレーニングデータを入力する方式として実装することができる。画像認識ＮＮモデルを作成する方式としては、例えば、AlexNetやVGG1を用いることができ、学習済みモデルへのファインチューニングとしてトレーニングデータを入力する方式としては、Inception-v3を用いることができる。これらの方式は、例えば、Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012、Lecun, Y, Bengio, Y & Hinton, G, "Deep learning," Nature, vol. 521, no. 7553, pp. 436-444. 2015、 Toru Ogawa, Atsushi Otsubo, Rei Narita, Yusuke Matsui, Toshihiko Yamasaki, Kiyoharu Aizawa, "Object Detection for Comics using Manga109 Annotations," arXiv:1803.08670, 2018、Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., & Wojna, Z. (2016)、及び、Rethinking the Inception Architecture for Computer Vision. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2818-2826に記載されているように、当業者にはよく知られたものである。

【0045】

このように、キャラクタ毎に個性化した学習内容を用意して、個性化したニューラルネットワークモデルを用意することにより、キャラクタの個性に合わせて、識別する画像内容を定めることができる。例えば、ゲームシナリオの設定において、キャラクタＡはリンゴと自動車が好きであり、キャラクタＢはクモとカエルが嫌いな場合には、リンゴと自動車を画像内容として含む画像をキャラクタＡのための教師データとして用意し、クモとカエルを画像内容として含む画像をキャラクタＢのための教師データとして用意する。そして、これらを用いて、キャラクタＡ及びＢのための画像認識モデルをそれぞれ生成する。これによって、キャラクタＡの画像認識モデルに画像情報が入力されると、リンゴと自動車を識別し、キャラクタＢの画像認識モデルに画像情報が入力されるとクモとカエルを識別し、キャラクタに固有に定められた画像内容を識別することが可能となる。そして、識別された画像内容にしたがって、個性化されたシナリオスクリプトを実行することができる。

【0046】

ニューラルネットワークモデルを用いた一般画像認識モデルが知られており、自動車やバス、ハンドバックや人のように、画像内の物体に一般名詞をラベリングしていくような、高度なラベリング問題を解くことができる。このような一般画像認識モデルは、自動運転や高度な監視カメラにおいて用いることができる。一般画像認識は優れた技術であるものの、ゲーム内容に応じてラベル対象の分類を細かくすることや、特定の看板にのみ反応させるような、アプリケーションに特化したカスタマイズを行うことは難しく、多数のアプリケーションに対応する多数の学習モデルを既存の方式で用意するためには極めて大規模なデータを用意する必要があるため、応用の種類へのスケーラビリティという面で課題がある。さらに、一般的な多数の物体を認識するため、ユーザ端末のような電子装置で高速にレスポンスさせることは必ずしも容易ではないとともに、小さなデータ追加のみで画像認識機能を修正、拡張させることも困難である。

【0047】

これに対して、本実施形態のように、キャラクタ毎に個性化されたニューラルネットワークモデルは、特定の画像内容だけ識別することが可能であれば十分であるから、キャラクタに応じてラベル対象をカスタマイズさせることは容易であるとともに、比較的小さなニューラルネットワークモデルとして実装が可能であるため、推論時のレスポンス性能が高く、また小さなデータ追加のみで画像認識機能を拡張させることができる。

【0048】

ゲーム内において多数のキャラクタが存在する場合であっても、各ユーザが所有するキャラクタのための画像認識モデルだけを電子装置１０へダウンロードさせればよいし、更新された際も、その更新された画像認識モデルのみを更新して、ダウンロードさせることができる。

【0049】

電子装置１０において、ユーザが所有するキャラクタのための画像認識モデルが記憶された後、アプリを用いて送信するための画像情報を指定するための画面５００が表示部１０２に表示される。そして、操作受付部１０３が受け付けたユーザ入力操作に基づいて、画像情報指定部１０６が、送信対象となる画像情報を指定する（Ｓ４０２）。例えば、図５Ａに示すように複数の写真のサムネイル画像５０１が画面に表示され、アプリで送信したい画像のサムネイル画像５０１にユーザがタッチして、「アプリで送信」ボタン５０２をタッチすることにより、送信対象となる画像情報が指定される。送信するための画像情報として２以上の画像情報を指定しても良い。

【0050】

次に、ユーザによる操作にしたがって、指定された画像情報を送信するためのアプリケーションを特定する。例えば、図５Ｂに示すように、Ｓ４０２において指定された画像情報の画像５１２を表示するとともに、送信用に利用可能なアプリケーションのアイコン５１４が表示され、ユーザによるアイコンへのタッチによってアプリケーションが選択されて、「決定」ボタン５１６をタッチすることにより、送信用のアプリケーションが決定される。ここでは、本発明を実施するためのゲームアプリが選択されるものとする。

【0051】

本実施形態においては、画像情報を指定する処理及び送信用のアプリケーションを決定する処理は、スマートフォンのＯＳの機能として実行されるものとするが、本発明のゲームアプリの一部の機能とすることもできる。例えば、ゲームアプリを起動した後、画像情報をキャラクタへ送信するための機能を起動することにより、画像情報指定用の画面５００を表示させることができる。

【0052】

送信用のアプリケーションとして、キャラクタへの画像の送信を希望するユーザが本実施形態のためのゲームアプリを選択すると、当該ゲームアプリが起動され、送り先属性情報としてのキャラクタ識別情報を選択するための画面が表示部１０２に表示される。そして、送り先属性情報特定部１０７が、操作受付部の受け付けたユーザ操作に基づき、少なくとも１つの属性情報としてのキャラクタ識別情報を画像情報の送り先として特定する（Ｓ４０４）。例えば、図５Ｃに示すように、送信対象として指定された画像５２２が表示されるとともに、送り先キャラクタの選択ボタンがキャラクタ名を示す文字情報５２４を含むボタンとして表示され、ユーザによるボタンへのタッチによってキャラクタが選択されて、決定ボタン５２６をタッチすることにより、送り先属性情報識別情報としてのキャラクタ識別情報が特定される。キャラクタ名の文字情報に加えて、または、キャラクタ名に代えてキャラクタを示すアイコン画像情報を表示しても良い。キャラクタ識別情報を特定することができれば、ユーザによって入力された文字情報など、その他の方法で特定しても良い。

【0053】

次に、画像認識モデル選択部１０８が、特定された属性情報であるキャラクタ識別情報に紐づけられた画像認識モデルを、記憶部１０４に記憶された複数の画像認識モデル１５０−１〜Ｎの中から選択する（Ｓ４０６）。

【0054】

識別子情報推論部１０９が、画像認識モデル選択部１０８の選択した画像認識モデルへ画像情報指定部１０６の指定した画像情報を入力し、学習内容に基づいて、当該画像情報から識別子情報を推論する（Ｓ４０８）。

【0055】

例えば、画像情報dと宛先となるキャラクタ識別情報cを入力した場合に、ラベルについての推論についての関数であるinferは、次のように定義できる

【数5】

【0056】

ここで、label_score_iは、i番目のラベルに対応する画像内容がビットマップ内に存在する存在確率である。そして、本実施形態では、識別子情報推論部１０９は、推論された識別子情報として、存在確率が最も高いラベルに対応する画像内容が存在するものとして、その識別子情報であるラベルを出力する。所定の閾値を超えるスコアを持つすべてのラベルを含むラベル群を出力しても良い。

【0057】

画像認識モデルに入力された画像５２２は画像内容としてリンゴを含み、自動車は含まれないから、label_score₁は高い値が出力され、label_score₂は低い値が出力され、推論結果としてリンゴに対応するlabel₁が出力される。

【0058】

そして、応答内容実行部１１０は、識別子情報推論部１０９が出力した識別子情報に基づき、当該識別子情報に対応した応答内容を記憶部１０４に記憶された複数の応答内容の中から特定して実行する（Ｓ４１０）。

【0059】

本実施形態においては、記憶部１０４は、式（３）に示すデータ構造で、キャラクタ識別子情報に紐付けて演出シナリオＳｃを記憶している。応答内容実行部１１０は、送り先属性情報特定部１０７によって特定されたキャラクタ識別情報に紐付けられたキャラクシナリオＳｃを特定し、そのキャラクタシナリオの集合のうち、識別子情報推論部１０９によって推論された識別子情報であるラベルに紐付けられたスクリプトデータを特定する。そして、この特定されたスクリプトデータに基づいて、応答内容を実行する。例えば、図５Ｄに示すように、送り先として特定されたキャラクタ識別情報に対応するキャラクタの画像５３０を表示部１０２に表示するとともに、入力された画像の画像内容であるリンゴに関連するメッセージを応答メッセージ５４０として表示することができる。

【0060】

従来のゲーム内のキャラクタとのコミュニケーションはキャラクタへタップして、その応答が表示されるなどの限定的なものであった。本実施形態を用いることにより、例えばユーザが現実世界で撮影した画像をキャラクタに送信すると、画像内容に応じたそのキャラクタの反応が演出されるため、あたかもキャラクタと写真や動画像を共有しあっているような自然なコミュニケーションを可能とし、キャラクタのリアリティ性を高めることができる。その結果、ゲームへの没入感、現実との融合間を高めることが可能となる。

【0061】

本実施形態において送信される画像情報は、特定のカメラデバイスに依存しておらず、カメラから撮影した画像だけでなく、ゲームアプリのＳＮＳアカウントを通じて配布された画像や、ユーザが、コラージュ的に作成した画像なども対象とすることができる。これにより、現実のイベントに参加して撮影した画像にキャラクタが反応する演出や、ＳＮＳアカウントを介して配布された画像にキャラクタが反応する演出を実現することができる。

【0062】

スクリプトデータによる応答内容は、メッセージによる応答に限られず、入力された画像情報に応答するものであればどのようなものであってもかまわない。例えば、キャラクタの動画が再生されたり、そのキャラクタとのバトルイベントが開始されても良い。現実のイベント会場において掲示されたポスターを撮影して属性情報に対して送信を行うことにより、ゲーム内イベントの実行処理を開始してもよい。

【0063】

本実施形態のように、属性情報と画像認識モデルとを紐づけ、送信先の属性情報が選択されると、その属性情報に紐付けられた画像認識モデルが選択され画像認識に使用される、という構成を採用することにより、例えば、ゲームアプリにおいて数百名以上のキャラクタが数万種類以上の画像内容を認識するという設定においても、個別のキャラクタ向けに学習された画像認識モデルを用いた高々１ 回の推論処理で対象となる画像内容を認識することができ、高いレスポンス性能を実現できる。

【0064】

画像を認識する学習モデルは例えば数百キロバイト程度とすることができ、属性情報に予め紐づけて容易に電子装置にダウンロードさせることができ、電子装置側で画像認識処理を実行することが可能である。このため、画像情報をサーバに送る必要がなく、個人情報保護を適切に行うと同時にサーバ負荷の低減を実現することができる。また、画像認識モデルを更新した場合であっても、更新された画像認識モデルを電子装置側に再度ダウンロードさせるだけでよいため、高い拡張性を実現する。

【0065】

［第２の実施形態］
本実施形態は、電子装置１０が画像認識モデルを記憶部１０４に記憶せず、電子装置１０の画像認識モデル選択部１０８及び識別子情報推論部１０９に代えて、サーバ２０が画像認識モデル選択部２０８及び識別子情報推論部２０９を備える点で、第１の実施形態と異なる。以下、第１の実施形態と異なる点を中心に説明する。

【0066】

本実施形態においては、サーバ２０において、キャラクタ毎に固有の学習内容を用意して、この固有の学習内容によって画像認識モデルを定義して、記憶部２０４に記憶するが（Ｓ４０１）、電子装置１０へ画像認識モデルをダウンロードさせない。

【0067】

その後、第１の実施形態と同様の処理により、電子装置１０において、属性情報に対して送信するための画像情報を指定し（Ｓ４０２）、送り先属性情報を特定する（Ｓ４０４）。そして、通信部１０５を用いて、指定された画像情報及び特定された送り先属性情報を含む、識別子情報推論要求をサーバ２０へ送信する。サーバ２０の画像認識モデル選択部２０８は受信した識別子情報推論要求に含まれる送り先属性情報に基づいて、画像情報を入力するための画像認識モデル２５０を選択する（Ｓ４０６）。識別子情報推論部２０９は、識別子情報推論要求に含まれる画像情報を、選択された画像認識モデル２５０に入力して、識別情報推論処理を実行する（Ｓ４０８）。識別子情報推論部２０９は、画像情報の画像内容に対応する識別子情報を出力し、サーバ２０の通信部２０５がこれを電子装置１０へ送信する。電子装置１０の通信部１０５は、サーバ２０から送信された識別子情報を受信し、これに紐づけられたスクリプトデータに基づいて、応答内容を実行する（Ｓ４１０）。

【0068】

本実施形態を用いることにより、電子装置１０は、画像認識モデルを記憶し、識別子情報推論処理を実行する必要がないから、電子装置１０の記憶容量や処理能力が極めて小さい場合であっても、高いレスポンス性能で処理を実行することが可能となる。

【0069】

また、電子装置１０において識別子情報に対応するスクリプトデータを特定せずに、サーバ２０においてスクリプトデータを特定し、送信されたスクリプトデータに基づいて、応答内容を実行してもかまわない。さらに、例えば、ブラウザベースのゲームアプリの場合には、サーバ２０において応答処理を実行し、実行された演出を電子装置１０において表示するだけであっても良い。

【0070】

以上に説明した処理または動作において、矛盾が生じない限りにおいて、処理または動作を自由に変更することができる。また以上に説明してきた各実施形態は、本発明を説明するための例示であり、本発明はこれらの実施形態に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0071】

１ ：システム
２ ：ネットワーク
１０ ：電子装置
１１ ：プロセッサ
１２ ：表示装置
１３ ：入力装置
１４ ：記憶装置
１５ ：通信装置
１６ ：バス
２０ ：サーバ
２１ ：プロセッサ
２２ ：表示装置
２３ ：入力装置
２４ ：記憶装置
２５ ：通信装置
２６ ：バス
１０１ ：制御部
１０２ ：表示部
１０３ ：操作受付部
１０４ ：記憶部
１０５ ：通信部
１０６ ：画像情報指定部
１０７ ：送り先属性情報特定部
１０８ ：画像認識モデル選択部
１０９ ：識別子情報推論部
１１０ ：応答内容実行部
１５０ ：画像認識モデル
２０１ ：制御部
２０２ ：表示部
２０３ ：操作受付部
２０４ ：記憶部
２０５ ：通信部
２０８ ：画像認識モデル選択部
２０９ ：識別子情報推論部
２５０ ：画像認識モデル

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】