特許 7490943 表示制御装置、表示制御システム、プログラムおよび表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-20

(45)【発行日】2024-05-28

(54)【発明の名称】表示制御装置、表示制御システム、プログラムおよび表示制御方法

(51)【国際特許分類】

   G06T 13/40 20110101AFI20240521BHJP

【ＦＩ】

G06T13/40

【請求項の数】 8

(21)【出願番号】P 2019188060

(22)【出願日】2019-10-11

(65)【公開番号】P2021064130

(43)【公開日】2021-04-22

【審査請求日】2022-08-24

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】伊藤 篤

(72)【発明者】

【氏名】岸 宣之

(72)【発明者】

【氏名】赤池 真奈

(72)【発明者】

【氏名】山本 聖子

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２００８－１８６４４１（ＪＰ，Ａ）

【文献】特許第６３６１１４６（ＪＰ，Ｂ２）

【文献】特開２０１７－０３７４４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

ユーザにより絵が描かれる領域に設けられている生物の骨格を模したガイド情報を用いて前記ユーザにより描かれた絵の画像データと、前記ガイド情報に対応した変形動作を前記絵の画像データに与える動作情報とを入力する入力部と、
前記動作情報に基づく変形動作を、２次元平面に投影した表示領域にて前記絵の画像データにさせるよう制御する画像制御部と、
を備え、
前記ガイド情報は、前記絵が描かれる領域の枠に比べて目立たない色で形成されている、
ことを特徴とする表示制御装置。

【請求項2】

前記画像制御部は、さらに、前記絵の画像データを解析して得られる、前記絵の画像データの特徴情報と前記動作情報とに基づき、前記絵の画像データを変形動作させる、
ことを特徴とする請求項１に記載の表示制御装置。

【請求項3】

前記画像制御部は、前記動作情報として、前記絵の画像データを動作させるときの各絵の画像データの動作情報を選択することで、前記絵の画像データに動作を与える、
ことを特徴とする請求項１または２に記載の表示制御装置。

【請求項4】

前記絵の画像データごとの動作情報は、前記絵の画像データを包含するよう構成される一連の点の各位置の変化を定義した情報である、
ことを特徴とする請求項３に記載の表示制御装置。

【請求項5】

前記画像制御部は、前記絵の画像データを包含するよう構成される一連の点の各位置を変更した点の集合により形成される領域における部分領域に対して、当該部分領域に対応する位置変更前の状態の点の集合により形成される領域における部分領域の前記絵の画像データを貼り付ける処理を、全ての部分領域に適用することで前記絵の画像データに動作を与える、
ことを特徴とする請求項４に記載の表示制御装置。

【請求項6】

ユーザにより絵が描かれる領域に設けられている生物の骨格を模したガイド情報を用いて前記ユーザにより描かれた絵の画像データと、前記ガイド情報に対応した変形動作を前記絵の画像データに与える動作情報とを入力する入力部と、
前記動作情報に基づく変形動作を、２次元平面に投影した表示領域にて前記絵の画像データにさせるよう制御する画像制御部と、
前記絵の画像データを表示する表示部を有する表示装置と、
を備え、
前記ガイド情報は、前記絵が描かれる領域の枠に比べて目立たない色で形成されている、
ことを特徴とする表示制御システム。

【請求項7】

コンピュータを、
ユーザにより絵が描かれる領域に設けられている生物の骨格を模したガイド情報を用いて前記ユーザにより描かれた絵の画像データと、前記ガイド情報に対応した変形動作を前記絵の画像データに与える動作情報とを入力する入力手段と、
前記動作情報に基づく変形動作を、２次元平面に投影した表示領域にて前記絵の画像データにさせるよう制御する画像制御手段と、
として機能させ、
前記ガイド情報は、前記絵が描かれる領域の枠に比べて目立たない色で形成されている、
プログラム。

【請求項8】

表示制御装置における表示制御方法であって、
ユーザにより絵が描かれる領域に設けられている生物の骨格を模したガイド情報を用いて前記ユーザにより描かれた絵の画像データと、前記ガイド情報に対応した変形動作を前記絵の画像データに与える動作情報とを入力する入力ステップと、
前記動作情報に基づく変形動作を、２次元平面に投影した表示領域にて前記絵の画像データにさせるよう制御する画像制御ステップと、
を含み、
前記ガイド情報は、前記絵が描かれる領域の枠に比べて目立たない色で形成されている、
ことを特徴とする表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示制御システム、プログラムおよび表示制御方法に関する。

【背景技術】

【0002】

従来、ユーザにより絵が描かれた用紙を読み取り、当該絵の特徴量や用紙の情報に基づき、ユーザの描いた絵に対する動きを決定して表示するという技術が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、従来の技術によれば、ユーザの描いた絵と用紙の情報のみから動作を与えることができるという点では手軽だが、より自然な動きを付与することには課題があった。

【0004】

本発明は、上記に鑑みてなされたものであって、ユーザにより描かれた絵の画像データに対してより自然な動きを付与することを目的とする。

【課題を解決するための手段】

【0005】

上述した課題を解決し、目的を達成するために、本発明は、ユーザにより絵が描かれる領域に設けられている生物の骨格を模したガイド情報を用いて前記ユーザにより描かれた絵の画像データと、前記ガイド情報に対応した変形動作を前記絵の画像データに与える動作情報とを入力する入力部と、前記動作情報に基づく変形動作を、２次元平面に投影した表示領域にて前記絵の画像データにさせるよう制御する画像制御部と、を備え、前記ガイド情報は、前記絵が描かれる領域の枠に比べて目立たない色で形成されている、ことを特徴とする。

【発明の効果】

【0006】

本発明によれば、ユーザにより描かれた絵の画像データに対してより自然な動きを付与することができる、という効果を奏する。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る表示制御システムの一例の構成を示すブロック図である。

【図2】図２は、３次元の座標系を持つ画像データ空間について概略的に示す図である。

【図3】図３は、ＰＣの一例の構成を示すブロック図である。

【図4】図４は、ＰＣの機能を説明するための一例の機能ブロック図である。

【図5】図５は、変形ルールＤＢの一例を示す図である。

【図6】図６は、変形ルールの一例を示す図である。

【図7】図７は、図６の変形ルールを数値データの形で表した図である。

【図8】図８は、絵ＤＢの一例を示す図である。

【図9】図９は、表示制御処理の全体的な流れを示す一例のフローチャートである。

【図10】図１０は、手書き描画を行うための用紙の例を示す図である。

【図11】図１１は、原稿画像データからの抽出例を示す図である。

【図12】図１２は、パラメータの決定手法を例示的に示す図である。

【図13】図１３は、画像取得部による画像データ空間の投影について示す図である。

【図14】図１４は、ステップＳ１５におけるアニメーション表示処理の流れを示すフローチャートである。

【図15】図１５は、ステップＳ１５におけるアニメーション表示処理を概略的に示す図である。

【図16】図１６は、ユーザオブジェクトの変形例を示す図である。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、表示制御装置、表示制御システム、プログラムおよび表示制御方法の実施の形態を詳細に説明する。

【0009】

図１は、実施形態に係る表示制御システムの一例の構成を示すブロック図である。図１において、表示制御システム１は、表示制御装置であるパーソナルコンピュータ（ＰＣ）１０と、１以上のプロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３と、画像入力装置であるスキャナ装置２０とを含む。ＰＣ１０は、スキャナ装置２０で原稿２１を読み取って得られた画像データに対して所定の画像処理を施して表示画像データとし、プロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３に供給する。プロジェクタ装置１１_１、１１_２、１１_３は、ＰＣ１０から供給された表示画像データに従い、画像１３_１、１３_２、１３_３をスクリーン１２に投射する表示装置である。

【0010】

なお、図１のように複数のプロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３による画像１３_１、１３_２、１３_３を１のスクリーン１２に投射する場合、各画像１３_１、１３_２、１３_３の隣接部分に重複部分を設けると好ましい。図１の例では、カメラ１４によりスクリーン１２に投射された画像１３_１、１３_２、１３_３を撮像し、ＰＣ１０が、撮像画像データに基づき各画像１３_１、１３_２、１３_３、あるいは、各プロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３を制御して、重複部分の画像を調整している。

【0011】

このような構成において、例えば、ユーザ２４が手書きにて絵２２を描いた原稿２１を作成し、この原稿２１の画像をスキャナ装置２０に読み取らせる。スキャナ装置２０は、原稿２１の画像を読み取って得た原稿画像データをＰＣ１０に供給する。ＰＣ１０は、スキャナ装置２０から供給された原稿画像データから絵２２に対応する部分のデータを抽出し、抽出した絵の画像データをユーザ画像として保持する。

【0012】

一方、ＰＣ１０は、３次元の座標系を持つ画像データ空間を生成する。そして、ＰＣ１０は、ユーザ画像に対してこの画像データ空間内の座標を与えて当該ユーザ画像を当該画像データ空間内のデータとする。以下では、この３次元の画像データ空間内のユーザ画像を、ユーザオブジェクトと呼ぶ。ＰＣ１０は、この、ユーザオブジェクトを含む３次元の画像データ空間を２次元の画像データ平面に投影し、投影して生成された画像データを、プロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３の台数分に分割して、各プロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３に供給する。

【0013】

ここで、ＰＣ１０は、ユーザオブジェクトに対して、画像データ空間内での動きを与えることができる。例えば、ＰＣ１０は、ユーザオブジェクトの元になるユーザ画像の特徴量を求め、求めた特徴量に基づき、動きに関する各パラメータを生成する。ＰＣ１０は、このパラメータをユーザ画像に適用して、ユーザオブジェクトに対して画像データ空間内での動きを与える。

【0014】

このようにすることで、ユーザ２４は、自身が手書きにて作成した絵２２による画像を、３次元の画像データ空間内で動く画像として観察することができる。また、ＰＣ１０は、複数のユーザオブジェクトを同一の画像データ空間内に含めることができる。したがって、ユーザ２４は、上述の操作を繰り返すことで、例えば異なる複数の絵２２による画像を、それぞれ、３次元の画像データ空間内で動く画像として観察することができる。

【0015】

図２は、ＰＣ１０により生成される、実施形態に係る、３次元の座標系を持つ画像データ空間について概略的に示す。実施形態では、３次元の座標系として、互いに直交する３の座標軸（ｘ軸、ｙ軸、ｚ軸）を持つ直交座標系を用いる。以下では、図２に示されるように、ｘ軸、ｙ軸およびｚ軸を、それぞれ高さ、幅および奥行方向の軸とし、ＰＣ１０は、高さ、幅および奥行の各軸による３次元の座標系を持つ画像データ空間３０を生成するものとして説明する。図２の例では、この画像データ空間３０内に、ユーザ画像による各ユーザオブジェクト４０_１、４０_２、４０_３、４０_４および４０_５が含まれている。

【0016】

ＰＣ１０は、この画像データ空間３０に対して、それぞれ値が予め定められた高さＨ、幅Ｗおよび奥行Ｄからなる空間である定義領域３１を設定する。ユーザ画像による各ユーザオブジェクト４０_１、４０_２、…の動きは、この定義領域３１内に制限される。図２の例では、各ユーザオブジェクト４０_１、４０_２、…の元になる絵２２として、水中や陸上に棲息する生物を想定しており、定義領域３１は、仮想的な棲息領域と見做すことができる。以下では、特に記載の無い限り、定義領域３１を仮想棲息領域３１と呼ぶ。

【0017】

図３は、実施形態に適用可能なＰＣ１０の一例の構成を示す。図３のＰＣ１０において、バス１００に対してＣＰＵ（Central Processing Unit）１１０、ＲＯＭ（Read Only Memory）１１１、ＲＡＭ（Random Access Memory）１１２および表示制御部１１３が接続される。ＰＣ１０において、さらに、バス１００に対してストレージ１１４、データＩ／Ｆ１１５および通信Ｉ／Ｆ１１６が接続される。

【0018】

ＣＰＵ１１０は、ＲＯＭ１１１およびストレージ１１４に予め記憶されるプログラムに従い、ＲＡＭ１１２をワークメモリとして用いて、このＰＣ１０の全体を制御する。表示制御部１１３は、モニタ１２０が接続され、ＣＰＵ１１０により生成された表示制御信号を、モニタ１２０が表示可能な信号に変換して出力する。また、表示制御部１１３は、表示制御信号を、プロジェクタ装置１１_１、１１_２および１１_３が表示可能な信号に変換してそれぞれ出力することができる。

【0019】

ストレージ１１４は、データを不揮発に記憶することが可能な記憶媒体であって、例えばハードディスクドライブが用いられる。これに限らず、ストレージ１１４として、例えばフラッシュメモリなどの不揮発性の半導体メモリを用いてもよい。ストレージ１１４は、上述のＣＰＵ１１０が実行するためのプログラムや各種のデータが格納される。

【0020】

データＩ／Ｆ１１５は、外部の機器との間でのデータの入出力を制御する。例えば、データＩ／Ｆ１１５は、スキャナ装置２０に対するインタフェースとして用いられる。また、データＩ／Ｆ１１５は、マウスなどのポインティングデバイスや図示されないキーボード（ＫＢＤ）からの信号が入力される。さらに、ＣＰＵ１１０で生成された表示制御信号を、このデータＩ／Ｆ１１５から出力して、例えば各プロジェクタ装置１１_１、１１_２および１１_３に供給してもよい。このようなデータＩ／Ｆ１１５としては、ＵＳＢ（Universal Serial Bus）やＢｌｕｅｔｏｏｔｈ（登録商標）といったインタフェースを適用することができる。

【0021】

通信Ｉ／Ｆ１１６は、インターネットやＬＡＮ（Local Area Network）といったネットワークを介した通信を制御する。

【0022】

図４は、実施形態に係るＰＣ１０の機能を説明するための一例の機能ブロック図である。ＰＣ１０は、入力部１３０と、画像取得部１３１と、３Ｄ空間生成部１３２と、領域設定部１３３と、変形ルール判定部１３４と、パラメータ生成部１３５と、画像制御部１３６と、記憶部１３７とを含む。

【0023】

入力部１３０は、ユーザ２４による手書きで描画された描画部分を含む画像が入力される。例えば、入力部１３０は、データＩ／Ｆ１１５の機能を含み、ユーザ２４が手書きで描画した描画部分の絵２２を含む原稿２１の画像がスキャナ装置２０で読み取られた原稿画像データが入力される。そして、入力部１３０は、入力された原稿画像データから、絵２２の部分の画像データを抽出し、ユーザ画像として取得する。

【0024】

３Ｄ空間生成部１３２は、図２を用いて説明した、高さ、幅および奥行の３軸からなる３次元の座標軸による画像データ空間３０を生成する。３Ｄ空間生成部１３２は、例えば、ＲＡＭ１１２上のアドレス空間として画像データ空間３０を生成する。領域設定部１３３は、３Ｄ空間生成部１３２で生成された画像データ空間３０内に、予め定められた値に従い、高さＨ、幅Ｗおよび奥行Ｄの定義領域３１（仮想棲息領域３１）を設定する。

【0025】

画像取得部１３１は、画像データ空間３０に対して所定に視点を設定して、設定した視点から画像データ空間３０を２次元の画像データ平面に投影し、プロジェクタ装置１１_１～１１_３で投射させるための画像データを取得する。

【0026】

変形ルール判定部１３４は、入力部１３０で取得されたユーザ画像に基づき、ユーザオブジェクト自身の変形ルール（動作情報の一例）を判定する。パラメータ生成部１３５は、入力部１３０で取得されたユーザ画像に基づき、当該ユーザ画像によるユーザオブジェクトの動きに関する性能を決めるパラメータを生成する。

【0027】

画像制御部１３６は、変形ルール判定部１３４により判定された変形ルールと、パラメータ生成部１３５で生成されたパラメータとに従い、画像データ空間３０内でのユーザオブジェクトの動きを制御する。換言すれば、画像制御部１３６は、画像データ空間３０における仮想棲息領域３１内での座標をユーザオブジェクトに与え、この座標を、時間の経過に伴い連続して変化させる制御を行う。

【0028】

記憶部１３７は、ＲＡＭ１１２に対応し、ユーザオブジェクトの元になるユーザ画像を格納する絵ＤＢ（データベース）１３７ａ、ユーザオブジェクトを変形させて動きを与える変形ルールＤＢ（データベース）１３７ｂなどを記憶する。これに限らず、ストレージ１１４を記憶部１３７として用いてもよい。例えば、変形ルール判定部１３４やパラメータ生成部１３５は、この記憶部１３７に記憶されるユーザ画像を用いて、変形ルールの判定やパラメータの生成を行う。

【0029】

ここで、図５は変形ルールＤＢ１３７ｂの一例を示す図である。図５に示すように、変形ルールＤＢ１３７ｂは、変形ルールと、当該変形ルールの識別番号である変形ルールＩＤと、ガイド情報と、当該ガイド情報の識別番号であるガイドＩＤと、を紐づけている。

【0030】

変形ルールとは、ユーザ画像を変形することで画像に動きを付けるためのルールを定めたものである。すなわち、変形ルールとは、ユーザ画像をフレームごとにどのように変形するかを決定するための情報である。なお、フレームとは、ユーザにより描かれた絵をアニメーション動画にさせるときの一枚一枚の静止画であり、現在何枚目の静止画であるかを表す数値として、本実施形態では、「frameNo」（フレームナンバー）という表現を用いる。

【0031】

ここで、図６は変形ルールの一例を示す図である。図６に示すように、一つのフレームごとの変形ルールは、グリッドの集合で表される。グリッドとは、ユーザにより描かれた絵が包含される所定の範囲に設定されている一連の点（ｘ座標とｙ座標を持つもの）の集合であり、デフォルトの状態（変形無しの状態）では格子状に整列している。この点の位置をどのように変えるかを定義しておくことで、一枚の絵の変形のルールを定めることができる。

【0032】

また、図７は、図６の変形ルールを数値データの形で表した図である。図７に示す例は、グリッドを座標（ｘ座標，ｙ座標）の形で表したものである。

【0033】

すなわち、変形ルールは、点（座標）の位置を変更した複数のグリッドを遷移することによりユーザ画像を変形させることで、画像に動きを付けるものである。

【0034】

なお、変形ルールＤＢ１３７ｂは、一つの変形ルールに対して複数のガイド情報を紐づけてもよいし、複数の変形ルールに対して一つのガイド情報を紐づけてもよい。

【0035】

また、変形ルールＤＢ１３７ｂは、変形ルールとガイド情報とを１対１で紐付ける場合、変形ルールＩＤとガイドＩＤを同一にすることができるので、変形ルールＩＤとガイドＩＤとの何れか一方を省略してもよい。

【0036】

ここで、図８は絵ＤＢ１３７ａの一例を示す図である。図８に示すように、絵ＤＢ１３７ａは、後述するタイトルにかかる画像と、ユーザ画像と、ガイドＩＤと、各種パラメータ（移動速度、回転角速度、変形速度、優先移動速度）と、を紐づけている。

【0037】

また、画像制御部１３６は、記憶部１３７に記憶されるユーザ画像に対して仮想棲息領域３１内の座標を与えることで、当該ユーザ画像を、画像データ空間３０内にユーザオブジェクトとして含ませることができる。さらに、画像制御部１３６は、ユーザオブジェクトに対して変形ルールやパラメータに従い変形処理や移動処理などを施す。

【0038】

なお、上述したＰＣ１０に含まれる入力部１３０、画像取得部１３１、３Ｄ空間生成部１３２、領域設定部１３３、変形ルール判定部１３４、パラメータ生成部１３５および画像制御部１３６は、例えばストレージ１１４に予め記憶され、ＣＰＵ１１０上で動作する表示制御プログラムによって実現される。この表示制御プログラムは、インストール可能な形式また実行可能な形式のファイルでＣＤ（Compact Disk）、フレキシブルディスク（ＦＤ）、ＤＶＤ（Digital Versatile Disk）などのコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0039】

また、実施形態のＰＣ１０で実行される表示制御プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供するように構成してもよい。また、実施形態のＰＣ１０で実行される表示制御プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。さらに、実施形態の表示制御プログラムを、ＲＯＭ１１１などに予め組み込んで提供するように構成してもよい。

【0040】

実施形態のＰＣ１０で実行される表示制御プログラムは、上述した各部（入力部１３０、画像取得部１３１、３Ｄ空間生成部１３２、領域設定部１３３、変形ルール判定部１３４、パラメータ生成部１３５および画像制御部１３６）を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１１０がストレージ１１４やＲＯＭ１１１などの記憶媒体から表示制御プログラムを読み出して実行することにより、上述した各部がＲＡＭ１１２などの主記憶装置上にロードされ、入力部１３０、画像取得部１３１、３Ｄ空間生成部１３２、領域設定部１３３、変形ルール判定部１３４、パラメータ生成部１３５および画像制御部１３６が主記憶装置上に生成されるようになっている。

【0041】

次に、実施形態による表示制御処理について、より詳細に説明する。

【0042】

図９は、実施形態による表示制御処理の全体的な流れを示す一例のフローチャートである。このフローチャートによる処理の実行に先立って、ユーザによる手書きの絵が作成される。ここでは、ユーザは、予めフォーマットが定められた用紙に対して手書きの描画を行うものとする。

【0043】

図１０は、実施形態に係る、手書き描画を行うための用紙の例を示す図である。用紙は、媒体の一例であり、絵を描くための専用の用紙である。図１０に示される用紙２００において、画像データ空間３０内に含ませたいユーザオブジェクト（ユーザ画像）の元となる絵２２（図１参照）を手書き描画する描画領域２１０と、描画領域２１０に絵２２を描画するためのガイドとなるガイド情報２１２と、描画領域２１０においてガイド情報２１２に従って描画された絵２２に対するタイトルを記入するタイトル記入領域２１１と、ガイド情報２１２の識別番号であるガイドＩＤが埋め込まれたＱＲコード（登録商標）２１４と、が配される。

【0044】

また、用紙２００の四隅のうち３の隅に、マーカ２２０_１、２２０_２および２２０_３が配される。用紙２００の画像をスキャナ装置２０で読み取った原稿画像から、これらマーカ２２０_１、２２０_２および２２０_３を検出することで、用紙２００の向きおよび大きさを知ることができる。なお、マーカ２２０_１、２２０_２および２２０_３は、用紙２００に設けられなくてもよい。

【0045】

ガイド情報２１２は、描画領域２１０に絵２２を描画するためのガイドとなるものである。ガイド情報２１２は、例えば、図１０に示すように、生物の骨格を模している。なお、ガイド情報２１２は、ユーザが絵２２を書き易くするための補助情報であり、このガイド２１２により、ユーザはこれをヒントとしつつも、絵の形自体は強制されずに、創造性を発揮あるいは刺激されながら、自由に絵を描くことが可能となる。

【0046】

なお、図１０に示す例では、ガイド情報２１２として生物の骨格を模したガイドを挙げたが、これに限るものではなく、例えば生物の足跡や生物の影など、様々な形状のものでもよい。ガイド情報２１２は、適切な変形ルールを適用すればいいので、足跡などで位置が書き手に伝わればよい。

【0047】

なお、ガイド情報２１２と描画領域２１０の枠との違いは、ガイド情報２１２は描画領域２１０の枠に比べて目立たない色で形成されている。このようにガイド情報２１２を目立たない色で形成することにより、ガイド情報２１２を消す処理を省略できるので、絵２２を描いた原稿２１（図１参照）をスキャンしたときにそのまま使えるようにすることができる。

【0048】

ユーザは、上述のような用紙２００の描画領域２１０のガイド情報２１２に沿って、マーカーペン等を用いて手書きして絵を作成する。

【0049】

図９のフローチャートにおいて、用紙２００にユーザの手書き描画による絵２２が描画された原稿２１がスキャナ装置２０により読み取られると、ＰＣ１０の入力部１３０は、スキャナ装置２０で読み取られた原稿画像データを入力する（ステップＳ１０）。

【0050】

次に、入力部１３０は、入力された原稿画像データから、ユーザ画像などを抽出する（ステップＳ１１）。以下において、ステップＳ１１の処理について詳述する。

【0051】

より詳細には、入力部１３０は、原稿画像データから各マーカ２２０_１～２２０_３を検出する。入力部１３０は、検出された各マーカ２２０_１～２２０_３の原稿画像データ上の位置に基づき、原稿画像データの方向および大きさを判定する。

【0052】

例えば、入力部１３０は、原稿画像データの四隅のうち、マーカ２２０_１～２２０_３が存在しない隅を検出し、検出された隅の位置に基づき原稿画像データの向きを判定する。図１０の例では、マーカ２２０_１～２２０_３が存在しない隅が原稿画像データの右下隅であると判定する。また、これにより、各マーカ２２０_１～２２０_３の原稿画像データ上での位置も確定できる。入力部１３０は、さらに、各マーカ２２０_１～２２０_３間の距離を計測し、計測された距離と、ストレージ１１４などに予め記憶される対応する既知の距離とを比較する。この比較結果に基づき、原稿画像データにおける縦横方向のサイズの歪みを修正することができる。

【0053】

入力部１３０は、上述のようにして取得した原稿画像データの向きとサイズとに基づき、原稿画像データから描画領域２１０とタイトル記入領域２１１とＱＲコード２１４とを抽出する。ここで、図１１は原稿画像データからの抽出例を示す図である。図１１に示すように、描画領域２１０、タイトル記入領域２１１、ＱＲコード２１４が原稿画像データから抽出される。

【0054】

入力部１３０は、さらに、描画領域２１０の画像データから絵２２の部分を抽出する。例えば、入力部１３０は、描画領域２１０の画像データの各画素が白色（用紙２００の地の色）か、白色以外かの２値判定を行い、絵２２の部分を抽出する。この絵２２の部分を含み、底辺の方向が描画領域２１０の底辺の方向と平行な最小の矩形領域２１３の画像データを、ユーザ画像とする。入力部１３０は、ユーザ画像を記憶部１３７に記憶させる。

【0055】

また、入力部１３０は、さらに、タイトル記入領域２１１の画像データからタイトル２３を抽出する。例えば、入力部１３０は、タイトル記入領域２１１の画像データの各画素が白色（用紙２００の地の色）か、白色以外かの２値判定を行い、タイトル２３を抽出する。入力部１３０は、タイトル２３を記憶部１３７に記憶させる。

【0056】

さらに、入力部１３０は、ＱＲコード２１４を読み取り、ガイド情報２１２の識別番号であるガイドＩＤを得る。

【0057】

次に、変形ルール判定部１３４は、ステップＳ１１で得たガイドＩＤに紐づけられている変形ルールＩＤを変形ルールＤＢ１３７ｂから取得して変形ルールを判定する（ステップＳ１２）。実施形態では、仮想棲息領域３１内での各ユーザオブジェクトに対して変形ルールを割り当て、各ユーザオブジェクトの仮想棲息領域３１内での動作を、この変形ルールに基づき制御する。

【0058】

ステップＳ１２において変形ルールが判定されると、処理が図９のステップＳ１３に移行される。

【0059】

次に、パラメータ生成部１３５は、ユーザ画像によるユーザオブジェクトに対して、当該ユーザオブジェクトの画像データ空間３０内での動作に関する性能（以下、動作性能と呼ぶ）を決定するパラメータｐを画像特徴から生成、決定する（ステップＳ１３）。ユーザオブジェクトの画像データ空間３０内での動作（移動や変形）は、ここで生成、決定されたパラメータｐに従い制御されることになる。

【0060】

ここで、実施形態で決定するパラメータｐについて説明する。実施形態では、パラメータ生成部１３５は、ユーザオブジェクト毎に、下記の４種類の動作性能のパラメータｐ_０～ｐ_８を決定する。
（１）ｐ_０：移動速度
（２）ｐ_１：回転角速度
（３）ｐ_２：変形速度
（４）ｐ_３：優先移動方向

【0061】

これらのうち、パラメータｐ_０の移動速度は、ユーザオブジェクトの画像データ空間３０内における移動速度を制御するためのパラメータである。

【0062】

また、パラメータｐ_１の回転角速度は、ユーザオブジェクトの垂直方向すなわち進行方向に対して上下方向の回転動作に対する角加速度の範囲を与えるためのパラメータである。

【0063】

また、パラメータｐ_２の変形速度は、ユーザオブジェクトの変形にかかる変形速度を制御するためのパラメータである。

【0064】

また、パラメータｐ_３の優先移動方向は、ユーザオブジェクトの移動にかかる方向を制御するためのパラメータである。

【0065】

次に、ユーザ画像からユーザ画像のパラメータｐ_０～ｐ_８毎の特徴量ｃ_０～ｃ_３を求める方法について説明する。画像の特徴量は、ユーザ画像における色分布やエッジ量、面積、縦横比などに基づき求めることが可能である。

【0066】

図１２は、パラメータの決定手法を例示的に示す図である。パラメータ生成部１３５は、図１２に示すような特徴量（色分布、エッジ量、面積、縦横比）を取得するとともに、パラメータｐ_０～ｐ_８毎の計算式を取得する。そして、パラメータ生成部１３５は、パラメータｐ_０～ｐ_８毎の計算式に対して、取得した特徴量（色分布、エッジ量、面積、縦横比）を算入してパラメータ（移動速度、回転角速度、変形速度、優先移動速度）の値を決定する。

【0067】

パラメータ生成部１３５は、このようにして決定した各パラメータｐ_０～ｐ_３を、ガイドＩＤと合わせて記憶部１３７の絵ＤＢ１３７ａに対して記憶する。

【0068】

図９のフローチャートの説明に戻り、ステップＳ１３でパラメータ生成部１３５により各パラメータｐ_０～ｐ_３が決定されると、処理がステップＳ１４に移行される。

【0069】

次に、画像制御部１３６は、ユーザ画像によるユーザオブジェクトに対して、当該ユーザオブジェクトが仮想棲息領域３１内に最初に表示される際の初期座標を設定する（ステップＳ１４）。なお、以下では、特に記載のない限り、ユーザオブジェクトが仮想棲息領域３１内に最初に表示されることを、「登場する」と記述する。

【0070】

ここで、実施形態に係る、画像取得部１３１による画像データ空間３０の投影について、図１３を用いて説明する。３次元の座標軸を持つ画像データ空間３０をディスプレイやスクリーンに表示する場合には、画像データ空間３０を所定の視点から２次元の平面に投影する必要がある。実施形態では、各ユーザオブジェクトの動きが画像データ空間３０における仮想棲息領域３１内に制限されるため、仮想棲息領域３１が投影の対象となる。

【0071】

図１３（ａ）において、上下方向が画像データ空間３０の奥行きの方向を示し、左右方向が画像データ空間３０の幅の方向を示しているものとする。実施形態では、画像取得部１３１は、図１３（ａ）に示されるように、仮想棲息領域３１外の視点２３１から視野角θで仮想棲息領域３１の奥行き方向を見た場合の、高さＨおよび幅Ｗがなす面に、仮想棲息領域３１を投影する。さらに、実施形態では、投影を透視投影を用いて行い、視点２３１の位置および視野角θを、仮想棲息領域３１において、視点２３１に対して死角となる、左側の死角領域２４０_１と右側の死角領域２４０_２とのうち少なくとも一方が形成されるように設定する。

【0072】

例えば、視点２３１に対して左右に死角領域２４０_１および２４０_２が形成される場合、図１３（ｂ）に例示されるように、仮想棲息領域３１の高さＨ、幅Ｗによる面のうち、死角領域２４０_１および２４０_２を除いた幅Ｗ_Ｖの範囲内の面が投影されることになる。すなわち、仮想棲息領域３１において、死角領域２４０_１および２４０_２の部分は、画像データとしては存在するが、２次元平面に投影した投影画像上（表示領域上）には表示されない部分である。すなわち、死角領域２４０_１および２４０_２内の画像は、仮想棲息領域３１が２次元平面に投影された画像では見ることができない。

【0073】

実施形態では、画像制御部１３６は、ユーザオブジェクトが仮想棲息領域３１内に登場する際の初期座標を、死角領域２４０_１および２４０_２のうち何れかの内部に設定する。死角領域２４０_１または２４０_２内に初期座標が設定されたユーザオブジェクトは、画像制御部１３６による制御により、死角領域２４０_１または２４０_２内から、幅Ｗ_Ｖの領域に進行することになる。したがって、新たに作成されたユーザオブジェクトは、投影画像の端（左右何れかの端）から徐々に姿を登場させるような動きに見えるため、新たに作成されたユーザオブジェクトが投影画像内の何も表示されていない部分に突然登場するといった、違和感を避けることができる。

【0074】

また、投影に透視投影を用いる場合には、ユーザオブジェクトは、仮想棲息領域３１の手前側で最も大きい画像として投影され、奥行方向に進むに従いより小さい画像として投影されることになる。死角領域２４０_１および２４０_２は、奥行の手前側に形成されるため、新たに作成されたユーザオブジェクトがより大きい画像として投影され、より注目され易くなる。

【0075】

次に、画像制御部１３６は、ステップＳ１４で初期座標が設定されたユーザオブジェクトを変形ルールとパラメータに基づいて変形させながら動かし、ユーザオブジェクトの動作を開始させるアニメーション表示処理を実行する（ステップＳ１５）。ステップＳ１０～Ｓ１５の処理は、原稿がなくなるまで（ステップＳ１６のＮｏ）、繰り返される。

【0076】

ここで、図１４はステップＳ１５におけるアニメーション表示処理の流れを示すフローチャート、図１５はステップＳ１５におけるアニメーション表示処理を概略的に示す図である。

【0077】

図１４に示すように、まず、画像制御部１３６は、絵ＤＢ１３７ａの各ユーザオブジェクトについて、ガイドＩＤから変形ルールを決定する（ステップＳ２１）。すなわち、画像制御部１３６は、図１５に示すように、変形ルールＤＢ１３７ｂを参照してガイド情報に基づくガイドＩＤから変形ルールを決定する。なお、画像制御部１３６は、複数の変形ルールがある場合、複数の変形ルールの中からランダムに決定する。

【0078】

次に、画像制御部１３６は、フレーム番号frameNo＝０とする（ステップＳ２２）。

【0079】

続いて、画像制御部１３６は、フレーム番号から変形ルールのグリッド番号を決定する（ステップＳ２３）。すなわち、画像制御部１３６は、図１５に示すように、絵ＤＢ１３７ａを参照し、例えば、フレーム番号にパラメータの１つである変形速度を乗じた値に対して、変形ルールのグリッド数で割った余りに１を加算した数をグリッド番号とする。このように、フレーム番号にパラメータの１つである変形速度を乗じた値を用いることにより、変形のスピードを変えることができる。

【0080】

続いて、画像制御部１３６は、ユーザオブジェクトに対して変形を行う（ステップＳ２４）。すなわち、画像制御部１３６は、図１５に示すように、フレーム番号とグリッド番号とに基づいて、ユーザオブジェクトに対して変形を行って変形画像を生成する。ここで、図１６はユーザオブジェクトの変形例を示す図である。図１６に示すように、画像制御部１３６は、点の位置を変更した複数のグリッドにより変形することでアニメーション動作を実行させる。まず、図１６に示すように、画像制御部１３６は、線で囲まれた部分領域である各四角形（セル）に対して、グリッド０の画像を貼り付ける。次いで、画像制御部１３６は、点の位置を変更した別のグリッド番号（図１６ではグリッド１）のセルに対して、対応するグリッド０のセルの画像を貼り付ける。画像制御部１３６は、この処理を全てのセルに適用することで変形画像（図１６では変形画像１）を生成する。図１６には、参考までに、別のグリッド番号により変形した別のフレームの変形画像も記載している。

【0081】

続いて、画像制御部１３６は、ユーザオブジェクトの表示位置や向きをパラメータから決定する（ステップＳ２５）。すなわち、画像制御部１３６は、図１５に示すように、絵ＤＢ１３７ａを参照し、ユーザオブジェクトの表示位置や向きをパラメータから決定する。

【0082】

続いて、画像制御部１３６は、ユーザオブジェクトをプロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３によりスクリーン１２に表示する（ステップＳ２６）。すなわち、画像制御部１３６は、図１５に示すように、ステップＳ２４で生成した変形画像をステップＳ２５で決定した表示位置や向きにしてスクリーン１２に投影する。

【0083】

続いて、画像制御部１３６は、一定時間sleepした後（ステップＳ２７）、フレーム番号に１インクリメントして（ステップＳ２８）、ステップＳ２３に戻る。

【0084】

このように本実施形態によれば、ユーザにより描かれた絵の画像データを、ガイド情報に対応した変形動作を絵の画像データに与える動作情報に従って動作させることにより、より自然な動きを付与することができる。

【0085】

また、媒体にガイド情報を設けることによって、フリーハンドに比べてユーザはどんな絵を描くかのイメージを持ちやすくなり、キャラクターの彩色のみをするような塗り絵に比べ、ユーザの創造性を発揮させやすくなる。

【0086】

なお、上述では、実施形態による表示制御システム１が、仮想棲息領域３１を２次元の平面に投影する際に、投影される画像を複数に分割した画像１３_１、１３_２、１３_３を複数のプロジェクタ装置１１_１、１１_２、１１_３によりスクリーン１２に対してそれぞれ投射するようにしているが、これはこの例に限定されない。例えば、投影画像を分割せずに、１の画像として１のプロジェクタ装置１１によりスクリーン１２に投射してもよい。

【0087】

また、上述では、３次元の画像データ空間内をユーザオブジェクトが移動する様子を２次元の画像データ平面に投影（表示）するようにしたが、本実施形態の適用は、必ずしも３次元の画像データ空間領域に限定されるものではない。例えば、ユーザオブジェクトが２次元の画像データ平面内を移動するようにしてもよい。ここで、水中や陸上に棲息する生物らしい動作を表現するには、２次元的な動きよりも３次元的な動きを用いた方がより現実的な表現が可能であるため、３次元の画像データ空間領域を利用する方が好適であるといえる。

【0088】

さらに、上述では、ユーザオブジェクトが水中や陸上に棲息する生物を表す画像に基づくものとしたが、これはこの例に限定されない。例えば、ユーザオブジェクトは、車や電車などの人工物の画像に基づくものでもよい。

【0089】

さらにまた、上述では、ユーザがマーカーペン等を用いて用紙に手書きして絵を作成する方法で説明したが、ユーザによる絵の作成方法は、この例に限定されない。例えば、ユーザによる手書きの絵は、マーカーペンと用紙を利用する代わりに、電子ペンとタブレット端末や、あるいは指（すなわち指による接触操作）とタブレット端末等を利用して作成してもよい。つまり、手書きの描画とは、ユーザにとって紙とペンを用いて描画を行うときと同等の操作感あるいは操作方法で描画が行えるような作成方法であればよく、どのような媒体を利用するかに限定されない。

【0090】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

【0091】

実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、ＰＣ１０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、ＰＣ１０は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。

【0092】

明細書中の各種ＤＢは、機械学習の学習効果によって生成されたものでもよい。また、取引内容の記載に含まれうるキーワードと勘定項目とを機械学習にて分類付けすることで、対応テーブルを使用しなくてもよい。

【0093】

ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

【0094】

なお、上述の実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

【符号の説明】

【0095】

１ 表示制御システム
１０ 表示制御装置
１１_１、１１_２、１１_３ 表示装置
２０ 画像入力装置
２２ 絵
１３０ 入力部
１３６ 画像制御部
２００ 媒体
２１２ ガイド情報

【先行技術文献】

【特許文献】

【0096】

【文献】特許第６３６１１４６号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】