特許 7451929 表示制御装置、表示制御システム、プログラムおよび表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】表示制御装置、表示制御システム、プログラムおよび表示制御方法

(51)【国際特許分類】

   G06T 11/80 20060101AFI20240312BHJP

   G09G 5/38 20060101ALI20240312BHJP

   G09G 5/36 20060101ALI20240312BHJP

   G09G 5/00 20060101ALI20240312BHJP

【ＦＩ】

G06T11/80 A

G09G5/38

G09G5/36

G09G5/00

【請求項の数】 11

(21)【出願番号】P 2019188050

(22)【出願日】2019-10-11

(65)【公開番号】P2021064129

(43)【公開日】2021-04-22

【審査請求日】2022-08-24

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】伊藤 篤

(72)【発明者】

【氏名】岸 宣之

(72)【発明者】

【氏名】赤池 真奈

(72)【発明者】

【氏名】山本 聖子

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２０１４－０５２６０７（ＪＰ，Ａ）

【文献】特開２０１７－３７４４３（ＪＰ，Ａ）

【文献】特開２０１６－１７７５９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／８０

Ｇ０９Ｇ ５／３８

Ｇ０９Ｇ ５／３７７

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

識別情報と予め定められた空間領域の所定の位置を規定する空間固有の情報とを紐づけて記憶する記憶部と、
前記識別情報が埋め込まれたコードと描画領域が配された用紙の、前記描画領域の画像データからユーザ画像を抽出し、前記用紙に配された前記コードを読み取ることによって取得した前記識別情報に基づいて、前記空間固有の情報を取得する、入力部と、
前記ユーザ画像を、前記入力部によって取得した前記空間固有の情報により規定される前記空間領域の位置に表示させる画像制御部と、
を備えることを特徴とする表示制御装置。

【請求項2】

前記表示制御装置は、前記空間固有の情報に基づいて、前記用紙に配する補助情報であって、前記描画領域に絵を描画するための補助情報を生成し、
前記入力部は、生成した補助情報に従って前記描画領域に描画された絵に基づく前記ユーザ画像を抽出する、
ことを特徴とする請求項１に記載の表示制御装置。

【請求項3】

前記空間固有の情報は、前記空間領域においてランダムに規定された情報である、
ことを特徴とする請求項１または２に記載の表示制御装置。

【請求項4】

前記空間固有の情報は、前記空間領域において予め規定された情報である、
ことを特徴とする請求項１または２に記載の表示制御装置。

【請求項5】

前記空間固有の情報は、前記空間領域において一定の基準に基づいて規定された情報である、
ことを特徴とする請求項１または２に記載の表示制御装置。

【請求項6】

前記描画領域の周囲には、余白が付与されている、
ことを特徴とする請求項２に記載の表示制御装置。

【請求項7】

前記画像制御部は、前記ユーザ画像が他のユーザ画像と重なる場合には、少なくとも前記他のユーザ画像の前記ユーザ画像に重なる部分を消去する、
ことを特徴とする請求項１ないし６の何れか一項に記載の表示制御装置。

【請求項8】

前記空間固有の情報が、星を表す点である場合、
前記画像制御部は、前記ユーザ画像に重なる点について、前記ユーザ画像の形状に合わせて点の間を線で結ぶ、
ことを特徴とする請求項１ないし７の何れか一項に記載の表示制御装置。

【請求項9】

識別情報と予め定められた空間領域の所定の位置を規定する空間固有の情報とを紐づけて記憶する記憶部と、
前記識別情報が埋め込まれたコードと描画領域が配された用紙の、前記描画領域の画像データからユーザ画像を抽出し、前記用紙に配された前記コードを読み取ることによって取得した前記識別情報に基づいて、前記空間固有の情報を取得する、入力部と、
前記ユーザ画像を、前記入力部によって取得した前記空間固有の情報により規定される前記空間領域の位置に表示させる画像制御部と、
を備える表示制御装置と、
前記ユーザ画像を表示する表示部を有する表示装置と、
を備えることを特徴とする表示制御システム。

【請求項10】

コンピュータを、
識別情報と予め定められた空間領域の所定の位置を規定する空間固有の情報とを紐づけて記憶する記憶手段、
前記識別情報が埋め込まれたコードと描画領域が配された用紙の、前記描画領域の画像データからユーザ画像を抽出し、前記用紙に配された前記コードを読み取ることによって取得した前記識別情報に基づいて、前記空間固有の情報を取得する、入力手段、
前記ユーザ画像を、前記入力手段によって取得した前記空間固有の情報により規定される前記空間領域の位置に表示させる画像制御手段、
として機能させるためのプログラム。

【請求項11】

表示制御装置における表示制御方法であって、
識別情報と予め定められた空間領域の所定の位置を規定する空間固有の情報とを紐づけて記憶する記憶ステップと、
前記識別情報が埋め込まれたコードと描画領域が配された用紙の、前記描画領域の画像データからユーザ画像を抽出し、前記用紙に配された前記コードを読み取ることによって取得した前記識別情報に基づいて、前記空間固有の情報を取得する、入力ステップと、
前記ユーザ画像を、前記入力ステップによって取得した前記空間固有の情報により規定される前記空間領域の位置に表示させる画像制御ステップと、
を含むことを特徴とする表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示制御システム、プログラムおよび表示制御方法に関する。

【背景技術】

【0002】

従来、ユーザにより絵が描かれた用紙を読み取り、当該絵の特徴量や用紙の情報に基づき、ユーザの描いた絵に対する動きを決定して表示するという技術が開示されている。

【0003】

また、近年では、ＡＲ（Augmented Reality：拡張現実）技術の発展により、アーティストやクリエイターといったプロフェッショナルが作成したキャラクターが現実・仮想を問わず様々な空間固有の情報を含む空間領域に登場する技術が実現されている。一般ユーザが作成した絵などについても、今後、様々な空間固有の情報を含む空間領域に登場させるニーズが高まると予想される。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述のニーズに対し、ユーザの描いた絵や用紙の情報を、様々な空間固有の情報を含む空間領域の適切な位置に確実に反映させることが課題となる。

【0005】

本発明は、上記に鑑みてなされたものであって、空間固有の情報を含む空間領域の適切な位置にユーザの描いた絵を確実に反映させて表示することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明は、識別情報と予め定められた空間領域の所定の位置を規定する空間固有の情報とを紐づけて記憶する記憶部と、
前記識別情報が埋め込まれたコードと描画領域が配された用紙の、前記描画領域の画像データからユーザ画像を抽出し、前記用紙に配された前記コードを読み取ることによって取得した前記識別情報に基づいて、前記空間固有の情報を取得する、入力部と、前記ユーザ画像を、前記入力部によって取得した前記空間固有の情報により規定される前記空間領域の位置に表示させる画像制御部と、を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、空間固有の情報を含む空間領域の適切な位置にユーザの描いた絵を確実に反映させて表示することができる、という効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る表示制御システムの一例の構成を示すブロック図である。

【図2】図２は、３次元の座標系を持つ画像データ空間について概略的に示す図である。

【図3】図３は、ＰＣの一例の構成を示すブロック図である。

【図4】図４は、ＰＣの機能を説明するための一例の機能ブロック図である。

【図5】図５は、星ＤＢの一例を示す図である。

【図6】図６は、絵ＤＢの一例を示す図である。

【図7】図７は、用紙ＤＢの一例を示す図である。

【図8】図８は、表示制御処理の全体的な流れを示す一例のフローチャートである。

【図9】図９は、手書き描画を行うための用紙の例を示す図である。

【図10】図１０は、ガイドの生成の流れを示すフローチャートである。

【図11】図１１は、ガイドの生成例を示す図である。

【図12】図１２は、原稿画像データからの抽出例を示す図である。

【図13】図１３は、ステップＳ１２における表示処理の流れを示すフローチャートである。

【図14】図１４は、ステップＳ１２における表示処理を概略的に示す図である。

【図15】図１５は、変形例１にかかる画像表示例を示す図である。

【図16】図１６は、変形例２にかかる画像表示例を示す図である。

【図17】図１７は、変形例３にかかる画像表示例を示す図である。

【図18】図１８は、変形例４にかかる画像表示例を示す図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、表示制御装置、表示制御システム、プログラムおよび表示制御方法の実施の形態を詳細に説明する。

【0010】

図１は、実施形態に係る表示制御システムの一例の構成を示すブロック図である。図１において、表示制御システム１は、表示制御装置であるパーソナルコンピュータ（ＰＣ）１０と、１以上のプロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３と、画像入力装置であるスキャナ装置２０とを含む。ＰＣ１０は、スキャナ装置２０で原稿２１を読み取って得られた画像データに対して所定の画像処理を施して表示画像データとし、プロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３に供給する。プロジェクタ装置１１_１、１１_２、１１_３は、ＰＣ１０から供給された表示画像データに従い、画像１３_１、１３_２、１３_３をスクリーン１２に投射する表示装置である。

【0011】

なお、図１のように複数のプロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３による画像１３_１、１３_２、１３_３を１のスクリーン１２に投射する場合、各画像１３_１、１３_２、１３_３の隣接部分に重複部分を設けると好ましい。図１の例では、カメラ１４によりスクリーン１２に投射された画像１３_１、１３_２、１３_３を撮像し、ＰＣ１０が、撮像画像データに基づき各画像１３_１、１３_２、１３_３、あるいは、各プロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３を制御して、重複部分の画像を調整している。

【0012】

このような構成において、例えば、ユーザ２４が手書きにて絵２２を描いた原稿２１を作成し、この原稿２１の画像をスキャナ装置２０に読み取らせる。スキャナ装置２０は、原稿２１の画像を読み取って得た原稿画像データをＰＣ１０に供給する。ＰＣ１０は、スキャナ装置２０から供給された原稿画像データから絵２２に対応する部分のデータを抽出し、抽出した画像データをユーザ画像として保持する。

【0013】

一方、ＰＣ１０は、３次元の座標系を持つ画像データ空間を生成する。そして、ＰＣ１０は、ユーザ画像に対してこの画像データ空間内の座標を与えて当該ユーザ画像を当該画像データ空間内のデータとする。以下では、この３次元の画像データ空間内のユーザ画像を、ユーザオブジェクトと呼ぶ。ＰＣ１０は、この、ユーザオブジェクトを含む３次元の画像データ空間を２次元の画像データ平面に投影し、投影して生成された画像データを、プロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３の台数分に分割して、各プロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３に供給する。

【0014】

図２は、ＰＣ１０により生成される、実施形態に係る、３次元の座標系を持つ画像データ空間について概略的に示す。実施形態では、３次元の座標系として、互いに直交する３の座標軸（ｘ軸、ｙ軸、ｚ軸）を持つ直交座標系を用いる。以下では、図２に示されるように、ｘ軸、ｙ軸およびｚ軸を、それぞれ高さ、幅および奥行方向の軸とし、ＰＣ１０は、高さ、幅および奥行の各軸による３次元の座標系を持つ画像データ空間３０を生成するものとして説明する。図２の例では、この画像データ空間３０内に、ユーザ画像による各ユーザオブジェクト４０_１、４０_２、４０_３、４０_４および４０_５が含まれている。

【0015】

ＰＣ１０は、この画像データ空間３０に対して、それぞれ値が予め定められた高さＨ、幅Ｗおよび奥行Ｄからなる空間である定義領域３１を設定する。実施形態では、各ユーザオブジェクト４０_１、４０_２、…の元になる絵２２として、天球（空間領域）上の複数の星により連想される星座を想定しており、定義領域３１は、仮想的なプラネタリウムと見做すことができる。以下では、特に記載の無い限り、定義領域３１を仮想プラネタリウム３１と呼ぶ。

【0016】

図３は、実施形態に適用可能なＰＣ１０の一例の構成を示す。図３のＰＣ１０において、バス１００に対してＣＰＵ（Central Processing Unit）１１０、ＲＯＭ（Read Only Memory）１１１、ＲＡＭ（Random Access Memory）１１２および表示制御部１１３が接続される。ＰＣ１０において、さらに、バス１００に対してストレージ１１４、データＩ／Ｆ１１５および通信Ｉ／Ｆ１１６が接続される。

【0017】

ＣＰＵ１１０は、ＲＯＭ１１１およびストレージ１１４に予め記憶されるプログラムに従い、ＲＡＭ１１２をワークメモリとして用いて、このＰＣ１０の全体を制御する。表示制御部１１３は、モニタ１２０が接続され、ＣＰＵ１１０により生成された表示制御信号を、モニタ１２０が表示可能な信号に変換して出力する。また、表示制御部１１３は、表示制御信号を、プロジェクタ装置１１_１、１１_２および１１_３が表示可能な信号に変換してそれぞれ出力することができる。

【0018】

ストレージ１１４は、データを不揮発に記憶することが可能な記憶媒体であって、例えばハードディスクドライブが用いられる。これに限らず、ストレージ１１４として、例えばフラッシュメモリなどの不揮発性の半導体メモリを用いてもよい。ストレージ１１４は、上述のＣＰＵ１１０が実行するためのプログラムや各種のデータが格納される。

【0019】

データＩ／Ｆ１１５は、外部の機器との間でのデータの入出力を制御する。例えば、データＩ／Ｆ１１５は、スキャナ装置２０に対するインタフェースとして用いられる。また、データＩ／Ｆ１１５は、マウスなどのポインティングデバイスや図示されないキーボード（ＫＢＤ）からの信号が入力される。さらに、ＣＰＵ１１０で生成された表示制御信号を、このデータＩ／Ｆ１１５から出力して、例えば各プロジェクタ装置１１_１、１１_２および１１_３に供給してもよい。このようなデータＩ／Ｆ１１５としては、ＵＳＢ（Universal Serial Bus）やＢｌｕｅｔｏｏｔｈ（登録商標）といったインタフェースを適用することができる。

【0020】

通信Ｉ／Ｆ１１６は、インターネットやＬＡＮ（Local Area Network）といったネットワークを介した通信を制御する。

【0021】

図４は、実施形態に係るＰＣ１０の機能を説明するための一例の機能ブロック図である。ＰＣ１０は、入力部１３０と、画像取得部１３１と、３Ｄ空間生成部１３２と、領域設定部１３３と、画像制御部１３６と、記憶部１３７とを含む。

【0022】

入力部１３０は、ユーザ２４による手書きで描画された描画部分を含む画像が入力される。例えば、入力部１３０は、データＩ／Ｆ１１５の機能を含み、ユーザ２４が手書きで描画した描画部分の絵２２を含む原稿２１の画像がスキャナ装置２０で読み取られた原稿画像データが入力される。そして、入力部１３０は、入力された原稿画像データから、絵２２の部分の画像データを抽出し、ユーザ画像として取得する。

【0023】

３Ｄ空間生成部１３２は、図２を用いて説明した、高さ、幅および奥行の３軸からなる３次元の座標軸による画像データ空間３０を生成する。３Ｄ空間生成部１３２は、例えば、ＲＡＭ１１２上のアドレス空間として画像データ空間３０を生成する。領域設定部１３３は、３Ｄ空間生成部１３２で生成された画像データ空間３０内に、予め定められた値に従い、高さＨ、幅Ｗおよび奥行Ｄの定義領域３１（仮想プラネタリウム３１）を設定する。

【0024】

画像取得部１３１は、画像データ空間３０に対して所定の位置に視点を設定して、設定した視点から画像データ空間３０を２次元の画像データ平面に投影し、プロジェクタ装置１１_１～１１_３で投射させるための画像データを取得する。

【0025】

画像制御部１３６は、画像データ空間３０における仮想プラネタリウム３１内での座標をユーザオブジェクトに与える。

【0026】

記憶部１３７は、ＲＡＭ１１２に対応し、ユーザオブジェクトの元になるユーザ画像を格納する絵ＤＢ（データベース）１３７ａ、星の位置などの星の情報を記録したデータベースである星ＤＢ（データベース）１３７ｂ、用紙ＤＢ（データベース）１３７ｃなどを記憶する。これに限らず、ストレージ１１４を記憶部１３７として用いてもよい。

【0027】

ここで、図５は星ＤＢ１３７ｂの一例を示す図である。図５に示すように、星ＤＢ１３７ｂは、星ＩＤと、星の名前と、星の等級（明るさ）と、星の表面温度と、天体における位置を示す赤経および赤緯と、当該星が属する星座名と、を紐づけた星の情報を記憶している。このような星の情報の赤経および赤緯は、予め定められた空間領域の所定の位置を規定する空間固有の情報の一例である。

【0028】

ここで、図６は絵ＤＢ１３７ａの一例を示す図である。図６に示すように、絵ＤＢ１３７ａは、後述するタイトルにかかる画像と、ユーザ画像と、天体における位置を示す赤経および赤緯と、を紐づけている。

【0029】

ここで、図７は用紙ＤＢ１３７ｃの一例を示す図である。図７に示すように、用紙ＤＢ１３７ｃは、用紙を識別する用紙ＩＤと、天体における位置を示す赤経および赤緯と、を紐づけている。

【0030】

また、画像制御部１３６は、記憶部１３７に記憶されるユーザ画像に対して仮想プラネタリウム３１内の座標を与えることで、当該ユーザ画像を、画像データ空間３０内にユーザオブジェクトとして含ませることができる。

【0031】

なお、上述したＰＣ１０に含まれる入力部１３０、画像取得部１３１、３Ｄ空間生成部１３２、領域設定部１３３、モード判定部１３４、パラメータ生成部１３５および画像制御部１３６は、例えばストレージ１１４に予め記憶され、ＣＰＵ１１０上で動作する表示制御プログラムによって実現される。この表示制御プログラムは、インストール可能な形式また実行可能な形式のファイルでＣＤ（Compact Disk）、フレキシブルディスク（ＦＤ）、ＤＶＤ（Digital Versatile Disk）などのコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0032】

また、実施形態のＰＣ１０で実行される表示制御プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供するように構成してもよい。また、実施形態のＰＣ１０で実行される表示制御プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。さらに、実施形態の表示制御プログラムを、ＲＯＭ１１１などに予め組み込んで提供するように構成してもよい。

【0033】

実施形態のＰＣ１０で実行される表示制御プログラムは、上述した各部（入力部１３０、画像取得部１３１、３Ｄ空間生成部１３２、領域設定部１３３および画像制御部１３６）を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１１０がストレージ１１４やＲＯＭ１１１などの記憶媒体から表示制御プログラムを読み出して実行することにより、上述した各部がＲＡＭ１１２などの主記憶装置上にロードされ、入力部１３０、画像取得部１３１、３Ｄ空間生成部１３２、領域設定部１３３および画像制御部１３６が主記憶装置上に生成されるようになっている。

【0034】

次に、実施形態による表示制御処理について、より詳細に説明する。

【0035】

図８は、実施形態による表示制御処理の全体的な流れを示す一例のフローチャートである。このフローチャートによる処理の実行に先立って、ユーザによる手書きの絵が作成される。ここでは、ユーザは、予めフォーマットが定められた用紙に対して手書きの描画を行うものとする。

【0036】

図９は、実施形態に係る、手書き描画を行うための用紙の例を示す。用紙は、絵を描くための専用の用紙である。図９に示される媒体である用紙２００において、画像データ空間３０内に含ませたいオブジェクト（ユーザオブジェクト）の元となる絵２２（図１参照）を手書き描画する描画領域２１０と、描画領域２１０に絵２２を描画するための補助情報であるガイド２１２と、描画領域２１０においてガイド２１２に従って描画された絵２２に対するタイトルを記入するタイトル記入領域２１１と、用紙２００の識別番号である用紙ＩＤが埋め込まれたＱＲコード（登録商標）２１４と、が配される。

【0037】

また、用紙２００の四隅のうち３の隅に、マーカ２２０_１、２２０_２および２２０_３が配される。用紙２００の画像をスキャナ装置２０で読み取った原稿画像から、これらマーカ２２０_１、２２０_２および２２０_３を検出することで、用紙２００の向きおよび大きさを知ることができる。なお、マーカ２２０_１、２２０_２および２２０_３は、用紙２００に設けられなくてもよい。

【0038】

ガイド２１２は、例えば、図９に示すように、星空を模したガイドである。このガイド２１２により、ユーザはこれをヒントとしつつも、創造性を発揮あるいは刺激されながら、自由に絵を描くことが可能となる。

【0039】

次に、用紙２００におけるガイド２１２の生成手法について説明する。概略的には、特定の星を星ＤＢ１３７ｂから切り取り、用紙２００のガイド２１２にするものである。なお、ここでは、ＰＣ１０において処理するものとして説明する。

【0040】

ここで、図１０はガイド２１２の生成の流れを示すフローチャート、図１１はガイド２１２の生成例を示す図である。図１０に示すように、ＰＣ１０は、ランダムに赤経、赤緯を生成する（ステップＳ２１）。ここでは、（ｘ，ｙ）とする。

【0041】

次に、ＰＣ１０は、（ｘ±α，ｙ±β）の範囲の星の数を星ＤＢ１３７ｂから数える（ステップＳ２２）。なお、α、βの値は事前に調整しておくものとする。

【0042】

続いて、ＰＣ１０は、星の数が最小基準数（Ｋｍｉｎ）以下または最大基準数（Ｋｍａｘ）以上であるかを判定する（ステップＳ２３）。すなわち、星の数を一定の基準に基づいて規定する。

【0043】

ＰＣ１０は、星の数が最小基準数（Ｋｍｉｎ）以下または最大基準数（Ｋｍａｘ）以上である場合（ステップＳ２３のＹｅｓ）、ステップＳ２１に戻る。

【0044】

なお、ＰＣ１０は、星の数が最大基準数（Ｋｍａｘ）以上である場合には、選択される星の等級に制限を加えて数を減らすようにしても良い。

【0045】

一方、ＰＣ１０は、星の数が最小基準数（Ｋｍｉｎ）以下または最大基準数（Ｋｍａｘ）以上でない場合（ステップＳ２３のＮｏ）、用紙ＩＤを採番し、位置（ｘ，ｙ）とともに用紙ＤＢ１３７ｃに記録する（ステップＳ２４）。

【0046】

次いで、ＰＣ１０は、得られた星をガイド２１２として用紙２００の描画領域２１０に余白２１５を追加してプロットするとともに、用紙ＩＤをＱＲコード２１４で埋め込み、用紙２００を印刷する（ステップＳ２５）。

【0047】

なお、ステップＳ２１では、ランダムに赤経および赤緯を生成するようにしたが、これに限るものではなく、ユーザ（イベント参加者やイベント主催者）が赤経および赤緯を予め規定するようにしてもよい。この場合、イベント前に用紙２００を作成しておいてもよいし、イベント中に来たユーザがその場で用紙２００を作成してもよい。

【0048】

また、赤経および赤緯の指定方法は、赤経および赤緯（ｘ，ｙ）を直接入力してもよいし、星がスクリーンに投影されている場合はその位置をマウス等のポインティングデバイスで指定してもよい。

【0049】

ユーザは、上述のような用紙２００の描画領域２１０のガイド２１２に沿って、マーカーペン等を用いて手書きして絵を作成する。

【0050】

図８のフローチャートにおいて、用紙２００にユーザの手書き描画による絵２２が描画された原稿２１がスキャナ装置２０により読み取られると、ＰＣ１０の入力部１３０は、スキャナ装置２０で読み取られた原稿画像データを入力する（ステップＳ１０）。

【0051】

次に、入力部１３０は、入力された原稿画像データから、ユーザ画像などを抽出する（ステップＳ１１）。以下において、ステップＳ１１の処理について詳述する。

【0052】

より詳細には、入力部１３０は、原稿画像データから各マーカ２２０_１～２２０_３を検出する。入力部１３０は、検出された各マーカ２２０_１～２２０_３の原稿画像データ上の位置に基づき、原稿画像データの方向および大きさを判定する。

【0053】

例えば、入力部１３０は、原稿画像データの四隅のうち、マーカ２２０_１～２２０_３が存在しない隅を検出し、検出された隅の位置に基づき原稿画像データの向きを判定する。図９の例では、マーカ２２０_１～２２０_３が存在しない隅が原稿画像データの右下隅であると判定する。また、これにより、各マーカ２２０_１～２２０_３の原稿画像データ上での位置も確定できる。入力部１３０は、さらに、各マーカ２２０_１～２２０_３間の距離を計測し、計測された距離と、ストレージ１１４などに予め記憶される対応する既知の距離とを比較する。この比較結果に基づき、原稿画像データにおける縦横方向のサイズの歪みを修正することができる。

【0054】

入力部１３０は、上述のようにして取得した原稿画像データの向きとサイズとに基づき、原稿画像データから描画領域２１０とタイトル記入領域２１１とＱＲコード２１４とを抽出する。ここで、図１２は原稿画像データからの抽出例を示す図である。図１２に示すように、描画領域２１０、タイトル記入領域２１１、ＱＲコード２１４が原稿画像データから抽出される。

【0055】

入力部１３０は、さらに、描画領域２１０の画像データから絵２２の部分を抽出する。例えば、入力部１３０は、描画領域２１０の画像データの各画素が白色（用紙２００の地の色）か、白色以外かの２値判定を行い、絵２２の部分を抽出する。この絵２２の部分を含み、底辺の方向が描画領域２１０の底辺の方向と平行な最小の矩形領域２１３の画像データを、ユーザ画像とする。入力部１３０は、ユーザ画像を記憶部１３７に記憶させる。

【0056】

また、入力部１３０は、さらに、タイトル記入領域２１１の画像データからタイトル２３を抽出する。例えば、入力部１３０は、タイトル記入領域２１１の画像データの各画素が白色（用紙２００の地の色）か、白色以外かの２値判定を行い、タイトル２３を抽出する。入力部１３０は、タイトル２３を記憶部１３７に記憶させる。

【0057】

さらに、入力部１３０は、ＱＲコード２１４を読み取り、用紙２００の識別番号である用紙ＩＤを得る。そして、入力部１３０は、用紙ＤＢ１３７ｃを参照して、用紙ＩＤに紐付けられた天体における位置を示す赤経および赤緯を得る。

【0058】

次に、入力部１３０は、用紙ＩＤに紐付けられた天体における位置を示す赤経および赤緯をユーザ画像（ユーザオブジェクト）とセットにして絵ＤＢ１３７ａに対して記憶する。

【0059】

次に、画像制御部１３６は、ステップＳ１１で赤経および赤緯が設定されたユーザオブジェクトの表示処理を実行する（ステップＳ１２）。

【0060】

ここで、図１３はステップＳ１２における表示処理の流れを示すフローチャート、図１４はステップＳ１２における表示処理を概略的に示す図である。

【0061】

まず、画像制御部１３６は、星ＤＢ１３７ｂから星をスクリーン１２に投影する。

【0062】

具体的には、画像制御部１３６は、星ＤＢ１３７ｂから１つずつ星の情報を取り出す（ステップＳ３１）。

【0063】

次いで、画像制御部１３６は、星ＤＢ１３７ｂから取り出した等級から星に該当する点の大きさを決定する（ステップＳ３２）。

【0064】

次いで、画像制御部１３６は、星ＤＢ１３７ｂから取り出した表面温度から星に該当する点の色を決定する（ステップＳ３３）。例えば、星に該当する点の色は、ＭＫ分類（スペクトル分類）に従って決定するものであってもよい。

【0065】

次いで、画像制御部１３６は、星ＤＢ１３７ｂから取り出した赤経および赤緯から地平座標を算出し、２次元の画像データ平面上の位置を決定する（ステップＳ３４）。ここで、地平座標とは、観測地の水平の位置からの角度と、真北から東周りに測った角度で表す星の位置座標である。

【0066】

次いで、画像制御部１３６は、ステップＳ３４で決定された位置に対して、ステップＳ３２で決定された大きさ、ステップＳ３３で決定された色で、星に該当する点をプロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３によりスクリーン１２に表示する（ステップＳ３５）。

【0067】

次いで、画像制御部１３６は、星ＤＢ１３７ｂから表示すべき星がなくなるまで、ステップＳ３１からステップＳ３５までの処理を繰り返す（ステップＳ３６）。

【0068】

続いて、画像制御部１３６は、絵ＤＢ１３７ａからユーザオブジェクトをスクリーン１２に投影する。

【0069】

具体的には、画像制御部１３６は、絵ＤＢ１３７ａから１つずつユーザオブジェクトおよびユーザオブジェクトの情報を取り出す（ステップＳ４１）。

【0070】

次に、画像制御部１３６は、絵ＤＢ１３７ａから取り出した赤経および赤緯から地平座標を算出し、２次元の画像データ平面上の位置を決定する（ステップＳ４２）。

【0071】

次に、画像制御部１３６は、ステップＳ４２で決定された位置に対して、ユーザオブジェクトをプロジェクタ装置（ＰＪ）１１_１、１１_２、１１_３によりスクリーン１２に表示する（ステップＳ４３）。

【0072】

次いで、画像制御部１３６は、絵ＤＢ１３７ａから表示すべきユーザオブジェクトがなくなるまで、ステップＳ４１からステップＳ４３までの処理を繰り返す（ステップＳ４４）。

【0073】

なお、本実施形態においては、図１４に示すように、画像制御部１３６は、ユーザオブジェクトに重なる星を表す点（ガイド表示）について、ユーザオブジェクトの形状に合わせて星を表す点の間を線で結ぶ。これにより、複数の星を星座のように扱うことが可能になる。

【0074】

なお、ユーザオブジェクトの形状に合わせて星を表す点の間を線で結ぶ手法としては、星を表す点の間に線をランダムに引き、ユーザオブジェクトに重なる重複率が高い線を選択するようにすればよい。

【0075】

また、画像制御部１３６は、ユーザオブジェクトが他のユーザオブジェクトと重なる場合には、他のユーザオブジェクトのユーザオブジェクトに重なる部分、または他のユーザオブジェクト全部を消去する。

【0076】

なお、画像制御部１３６は、ユーザオブジェクトが他のユーザオブジェクトと重なる部分を透けさせてもよい。また、画像制御部１３６は、ユーザオブジェクトと他のユーザオブジェクトとを切り替えて表示してもよいし、ユーザオブジェクトと他のユーザオブジェクトとの何れか一方を選択的に表示してもよい。また、画像制御部１３６は、ユーザオブジェクトを他のユーザオブジェクトに対してずらして表示してもよい。

【0077】

このように本実施形態によれば、空間固有の情報により規定される空間領域（天球）の位置に対して、媒体に対する手書きの描画による描画部分を含むユーザ画像を表示させることにより、空間固有の情報（例えば、星の情報）を含む空間領域の適切な位置に手書きの絵を確実に反映させて表示することができる。

【0078】

なお、ＰＣ１０の画像制御部１３６は、タイトル２３を、吹き出しにしてランダムなタイミング、ユーザがスクリーン１２でその部分をタッチしたときなどに、表示する。

【0079】

さらにまた、上述では、ユーザがマーカーペン等を用いて用紙に手書きして絵を作成する方法で説明したが、ユーザによる絵の作成方法は、この例に限定されない。例えば、ユーザによる手書きの絵は、マーカーペンと用紙を利用する代わりに、電子ペンとタブレット端末や、あるいは指（すなわち指による接触操作）とタブレット端末等を利用して作成してもよい。つまり、手書きの描画とは、ユーザにとって紙とペンを用いて描画を行うときと同等の操作感あるいは操作方法で描画が行えるような作成方法であればよく、どのような媒体を利用するかに限定されない。

【0080】

なお、例えばタブレット端末を使用する場合、タブレット端末は、下記の処理を実行する。
ＳＴＥＰ１：画面上に星を表示し、画面上でタッチさせることでユーザに位置を指定させる。
ＳＴＥＰ２：描画ツールを起動し、画面を切り替えて指定した位置の星を表示し、ユーザに絵を描かせる。
ＳＴＥＰ３：会場に設置されたスクリーンに、星と絵を投影する。

【0081】

なお、上述では、実施形態による表示制御システム１が、仮想プラネタリウム３１を２次元の平面に投影する際に、投影される画像を複数に分割した画像１３_１、１３_２、１３_３を複数のプロジェクタ装置１１_１、１１_２、１１_３によりスクリーン１２に対してそれぞれ投射するようにしているが、これはこの例に限定されない。例えば、投影画像を分割せずに、１の画像として１のプロジェクタ装置１１によりスクリーン１２に投射してもよい。

【0082】

また、上述では、３次元の画像データ空間内をユーザオブジェクトが移動する様子を２次元の画像データ平面に投影（表示）するようにしたが、本実施形態の適用は、必ずしも３次元の画像データ空間領域に限定されるものではない。例えば、ユーザオブジェクトが２次元の画像データ平面内を移動するようにしてもよい。

【0083】

さらに、上述では、ユーザオブジェクトが天球上の複数の星により連想される星座を表す画像に基づくものとしたが、これはこの例に限定されない。例えば、ユーザオブジェクトは、生物や植物などの画像に基づくものでもよい。

【0084】

ここで、変形例について、以下において説明する。

【0085】

（変形例１：世界地図）
例えば、星座ではなく世界地図で国を指定させるようにしてもよい。この場合、世界地図上で指定された国別の用紙を用意する。このようにすることで、指定された国にあった絵を描く動機づけになり、絵を世界地図に投影して楽しむこともできる。

【0086】

図１５は、変形例１にかかる画像表示例を示す図である。図１５に示すように、星ＤＢ１３７ｂの代わりに国ＤＢ１３７ｄを用いるものとする。国ＤＢ１３７ｄは、国を識別する国ＩＤと、国名と、国地図画像と、経度および緯度と、を紐づけた国の情報を記憶している。このような国の情報の経度および緯度は、予め定められた空間領域の所定の位置を規定する空間固有の情報の一例である。ガイド２１２は、描画領域２１０に絵２２を描画するための補助情報として機能する。ガイド２１２の一例である国地図画像は、世界地図Ａの一部を切り取ったものであって国の地図画像である。なお、国地図画像は、用紙２００の描画領域２１０の大きさに合わせて拡大縮小するようにしてもよい。また、ＱＲコード２１４には、国ＩＤが埋め込まれている。

【0087】

図１５に示す用紙２００の描画領域２１０のガイド２１２に対して、ユーザは、マーカーペン等を用いて手書き描画して絵２２を作成する。

【0088】

その後、用紙２００にユーザの手書き描画による絵２２が描画された原稿２１がスキャナ装置２０により読み取られると、ＰＣ１０の入力部１３０は、国ＤＢ１３７ｄを参照して、ＱＲコード２１４内の国ＩＤに紐付けられた国の位置を示す経度および緯度を得る。そして、ＰＣ１０の画像制御部１３６は、得られた経度および緯度の位置にユーザオブジェクトである絵２２の表示処理を実行する。

【0089】

なお、ガイド２１２を一定以下の薄い色としてもよい。このようにすることで、ＰＣ１０の画像制御部１３６は、ガイド２１２である国地図画像部分を表示の際に消すこともできる。

【0090】

また、ＰＣ１０の画像制御部１３６は、ユーザオブジェクトを、得られた経度および緯度の位置に正確に表示するだけでなく、多少動かしたり、回転させたりしてもよい。

【0091】

なお、世界地図を投影するスクリーン１２は、全天球スクリーンであったり、地球儀型の投影機であったりしてもよい。

【0092】

また、世界地図Ａを日本地図とし、国を都道府県として日本地図版にすることも可能である。

【0093】

（変形例２：街の地図）
例えば、星座ではなく街の地図で所定の位置を指定させるようにしてもよい。この場合、街の地図の場所ごとの用紙を用意する。このようにすることで、指定された場所に見合った絵を描く動機づけになり、絵を描くことでその地元に見合った街を作って楽しむことができる。

【0094】

図１６は、変形例２にかかる画像表示例を示す図である。図１６に示すように、星ＤＢ１３７ｂの代わり街ＤＢ１３７ｅを用いるものとする。街ＤＢ１３７ｅは、街の所定の位置を識別する街ＩＤと、街地図画像と、街の所定の位置を示す経度および緯度と、を紐づけた街の情報を記憶している。このような街の情報の経度および緯度は、予め定められた空間領域の所定の位置を規定する空間固有の情報の一例である。ガイド２１２は、描画領域２１０に絵２２を描画するための補助情報として機能する。ガイド２１２の一例である街地図画像は、地図Ｂの一部を切り取ったものであって街の特定場所の地図画像である。なお、街地図画像は、用紙２００の描画領域２１０の大きさに合わせて拡大縮小するようにしてもよい。また、ＱＲコード２１４には、街ＩＤが埋め込まれている。

【0095】

図１６に示す用紙２００の描画領域２１０のガイド２１２に対して、ユーザは、マーカーペン等を用いて手書き描画して絵２２を作成する。

【0096】

その後、用紙２００にユーザの手書き描画による絵２２が描画された原稿２１がスキャナ装置２０により読み取られると、ＰＣ１０の入力部１３０は、街ＤＢ１３７ｅを参照して、ＱＲコード２１４内の街ＩＤに紐付けられた街の所定の位置を示す経度および緯度を得る。そして、ＰＣ１０の画像制御部１３６は、得られた経度および緯度の位置にユーザオブジェクトである絵２２の表示処理を実行する。

【0097】

なお、ガイド２１２を一定以下の薄い色としてもよい。このようにすることで、ＰＣ１０の画像制御部１３６は、ガイド２１２である街地図画像部分を表示の際に消すこともできる。

【0098】

また、ＰＣ１０の画像制御部１３６は、ユーザオブジェクトを、得られた経度および緯度の位置に正確に表示するだけでなく、多少動かしたり、回転させたりしてもよい。

【0099】

（変形例３：部屋の間取り）
例えば、星座ではなく部屋の間取りで所定の位置を指定させるようにしてもよい。この場合、部屋の間取りの場所ごとの用紙を用意する。このようにすることで、指定された場所にあった絵を描く動機づけになり、絵を描くことで家のイメージを仮想的に作り楽しむことができる。

【0100】

図１７は、変形例３にかかる画像表示例を示す図である。図１７に示すように、星ＤＢ１３７ｂの代わり部屋ＤＢ１３７ｆを用いるものとする。部屋ＤＢ１３７ｆは、部屋の所定の位置を識別する部屋ＩＤと、部屋画像と、部屋の所定の位置を示すｘ座標およびｙ座標と、を紐づけた部屋の情報を記憶している。このような部屋の情報のｘ座標およびｙ座標は、予め定められた空間領域の所定の位置を規定する空間固有の情報の一例である。ガイド２１２は、描画領域２１０に絵２２を描画するための補助情報として機能する。ガイド２１２の一例である部屋画像は、部屋の間取りＣの一部を切り取ったものであって部屋の間取りの特定場所の画像である。なお、部屋画像は、用紙２００の描画領域２１０の大きさに合わせて拡大縮小するようにしてもよい。また、ＱＲコード２１４には、部屋ＩＤが埋め込まれている。

【0101】

図１７に示す用紙２００の描画領域２１０のガイド２１２に対して、ユーザは、マーカーペン等を用いて手書き描画して絵２２を作成する。

【0102】

その後、用紙２００にユーザの手書き描画による絵２２が描画された原稿２１がスキャナ装置２０により読み取られると、ＰＣ１０の入力部１３０は、部屋ＤＢ１３７ｆを参照して、ＱＲコード２１４内の部屋ＩＤに紐付けられた部屋の間取りの所定の位置を示すｘ座標およびｙ座標を得る。そして、ＰＣ１０の画像制御部１３６は、得られたｘ座標およびｙ座標の位置にユーザオブジェクトである絵２２の表示処理を実行する。

【0103】

なお、ガイド２１２を一定以下の薄い色としてもよい。このようにすることで、ＰＣ１０の画像制御部１３６は、ガイド２１２である部屋画像部分を表示の際に消すこともできる。

【0104】

また、ＰＣ１０の画像制御部１３６は、ユーザオブジェクトを、得られたｘ座標およびｙ座標の位置に正確に表示するだけでなく、多少動かしたり、回転させたりしてもよい。

【0105】

（変形例４：絵画）
例えば、星座ではなく絵画で所定の位置を指定させるようにしてもよい。この場合、絵画の場所ごとの用紙を用意する。このようにすることで、指定された場所に色付けをすることで、ひとつの絵を複数のユーザで描いて楽しむことができる。

【0106】

図１８は、変形例４にかかる画像表示例を示す図である。図１８に示すように、星ＤＢ１３７ｂの代わり絵画ＤＢ１３７ｇを用いるものとする。絵画ＤＢ１３７ｇは、絵画の所定の位置を識別する絵画ＩＤと、絵画画像と、絵画の所定の位置を示すｘ座標およびｙ座標と、を紐づけた絵画の情報を記憶している。このような絵画の情報のｘ座標およびｙ座標は、予め定められた空間領域の所定の位置を規定する空間固有の情報の一例である。ガイド２１２は、描画領域２１０に絵２２を描画するための補助情報として機能する。ガイド２１２の一例である絵画画像は、絵画Ｄの一部を切り取ったものであって絵画の特定場所の画像である。なお、絵画画像は、用紙２００の描画領域２１０の大きさに合わせて拡大縮小するようにしてもよい。また、ＱＲコード２１４には、絵画ＩＤが埋め込まれている。

【0107】

図１８に示す用紙２００の描画領域２１０のガイド２１２に対して、ユーザは、マーカーペン等を用いて手書き描画して絵２２を作成する。

【0108】

その後、用紙２００にユーザの手書き描画による絵２２が描画された原稿２１がスキャナ装置２０により読み取られると、ＰＣ１０の入力部１３０は、絵画ＤＢ１３７ｇを参照して、ＱＲコード２１４内の絵画ＩＤに紐付けられた絵画の所定の位置を示すｘ座標およびｙ座標を得る。そして、ＰＣ１０の画像制御部１３６は、得られたｘ座標およびｙ座標の位置にユーザオブジェクトである絵２２の表示処理を実行する。

【0109】

なお、ガイド２１２を一定以下の薄い色としてもよい。このようにすることで、ＰＣ１０の画像制御部１３６は、ガイド２１２である絵画画像部分を表示の際に消すこともできる。

【0110】

また、ＰＣ１０の画像制御部１３６は、ユーザオブジェクトを、得られたｘ座標およびｙ座標の位置に正確に表示するだけでなく、多少動かしたり、回転させたりしてもよい。

【0111】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

【0112】

実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、ＰＣ１０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、ＰＣ１０は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。

【0113】

明細書中の各種ＤＢは、機械学習の学習効果によって生成されたものでもよい。また、取引内容の記載に含まれうるキーワードと勘定項目とを機械学習にて分類付けすることで、対応テーブルを使用しなくてもよい。

【0114】

ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

【0115】

なお、上述の実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

【符号の説明】

【0116】

１ 表示制御システム
１０ 表示制御装置
１１_１、１１_２、１１_３ 表示装置
２０ 画像入力装置
２２ ユーザ画像
１３０ 入力部
１３６ 画像制御部
２００ 媒体
２１２ ガイド、空間固有の情報
２１５ 余白

【先行技術文献】

【特許文献】

【0117】

【文献】特許第６３６１１４６号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】