特許 6752007 お絵かき画像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6752007

(24)【登録日】2020年8月20日

(45)【発行日】2020年9月9日

(54)【発明の名称】お絵かき画像表示システム

(51)【国際特許分類】

   G06T 13/80 20110101AFI20200831BHJP

   A63F 13/655 20140101ALI20200831BHJP

【ＦＩ】

   G06T13/80 A

   A63F13/655

【請求項の数】5

【全頁数】15

(21)【出願番号】特願2015-198229(P2015-198229)

(22)【出願日】2015年10月6日

(62)【分割の表示】特願2015-157779(P2015-157779)の分割

【原出願日】2015年8月7日

(65)【公開番号】特開2017-37614(P2017-37614A)

(43)【公開日】2017年2月16日

【審査請求日】2018年8月7日

(73)【特許権者】

【識別番号】501041894

【氏名又は名称】チームラボ株式会社

(74)【代理人】

【識別番号】100116850

【弁理士】

【氏名又は名称】廣瀬 隆行

(74)【代理人】

【識別番号】100165847

【弁理士】

【氏名又は名称】関 大祐

(72)【発明者】

【氏名】猪子 寿之

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特許第５８４８４８６（ＪＰ，Ｂ２）

【文献】 特開２０１４−２３８８１１（ＪＰ，Ａ）

【文献】 国際公開第９９／０１２１２９（ＷＯ，Ａ１）

【文献】 特開２０１４−０２９５６６（ＪＰ，Ａ）

【文献】 特開２０１３−２３９００６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １１／８０−１３／８０

Ａ６３Ｆ １３／６５５

(57)【特許請求の範囲】

【請求項1】

オブジェクトの輪郭とともに当該オブジェクトの種類を特定するためのマーカが配された塗り絵用紙と，
前記塗り絵用紙に任意の着色が施された物理媒体をスキャンして画像データを取り込む画像取込装置（１）と，
前記画像データからオブジェクト画像を生成する制御装置（２）と，
前記オブジェクト画像を表示する表示装置（３）と，を備えた
画像表示システムであって，
前記制御装置（２）は，
前記画像取込装置から前記画像データを取得する画像入力部（１０）と，
前記画像データに含まれる前記マーカを解析して前記オブジェクトの種類を特定するマーカ解析部（１１ａ）を含む画像解析部（１１）と，
前記マーカ解析部（１１ａ）によって特定された前記オブジェクトの種類に応じて，データベース（１２）から一又は複数の動作プログラムを読み出すプログラム読出部（１３）と，
前記マーカ解析部（１１ａ）によって特定された前記オブジェクトの種類に応じたマスク処理を行って，前記画像データの中から前記オブジェクトの輪郭の内側の色部分を抽出して前記オブジェクト画像を生成する描画処理部（１４）と，
前記プログラム読出部（１３）によって読み出された前記動作プログラムに基づいて，前記オブジェクト画像を制御するオブジェクト画像制御部（１５）と，
前記オブジェクト画像制御部（１５）によって制御される前記オブジェクト画像を前記表示装置（３）に出力する画像出力部（１６）と，を有する
画像表示システム。

【請求項2】

前記画像表示システムは，前記表示装置（３）の表示画面の近傍に存在する人の存在又は表示画面に対する接触位置を検知可能な検知装置（４）をさらに備え，
前記制御装置（２）は，前記検知装置（４）からの検知情報を取得する検知情報入力部（１７）をさらに有し，
前記オブジェクト画像制御部（１５）は，前記検知情報及び前記動作プログラムに基づいて，前記オブジェクト画像を制御する
請求項１に記載の画像表示システム。

【請求項3】

前記オブジェクト画像制御部（１５）は，
比較的新しく生成された一又は複数の前記オブジェクト画像を第１仮想レイヤで動作させるとともに，
比較的古くに生成された一又は複数の前記オブジェクト画像を前記第１仮想レイヤの背面となる第２仮想レイヤで動作させる
請求項１又は請求項２に記載の画像表示システム。

【請求項4】

前記オブジェクト画像制御部（１５）は，
前記第１仮想レイヤに存在する前記オブジェクト画像の動作に，前記検知装置（４）からの取得した前記検知情報を反映させ，
前記第２仮想レイヤに存在する前記オブジェクト画像の動作には，前記検知装置（４）からの取得した前記検知情報を反映させない
請求項２を引用する請求項３に記載の画像表示システム。

【請求項5】

コンピュータを，請求項１から請求項４のいずれかに記載の画像表示システムにおける前記制御装置（２）として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は，画像表示システムに関する。具体的に説明すると，本発明は，ユーザによって着色されたり描かれたりしたお絵かきの画像をデジタル情報として取り込み，そのお絵かき画像をリアルタイムに表示画面に表示させ，その画面上で生き物のように動作させることのできるシステムに関するものである。

【背景技術】

【0002】

従来から，原稿に描かれた画像をスキャンして画像データとして取り込み，その画像データを編集してディスプレイに表示させる画像処理装置が知られている（特許文献１）。特許文献１の画像処理装置は，ベース原稿のマスク領域に抽出原稿のトリム領域の画像を合成するという「はめ込み合成機能」を備えている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平５−１４５７３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら，従来の画像処理装置は，原稿から取り込んだ画像データを静止画としてディスプレイに表示させるものであり，面白味に欠けるものであった。

【0005】

ところで，近年の幼児教育においては，単に幼児に対して知識を与えるだけでなく，幼児自らが積極的に知識を収集する行動を取るように促し，幼児の創造性を引き出すことが重要であるとされている。この点，塗り絵や絵画は幼児教育において非常に有効であるが，単に画用紙に絵を描かせただけでは，幼児の想像を超える刺激を与えることはできない。このため，塗り絵や絵画を応用して，幼児の創造性や表現力を発揮させることで，多様性を尊重する重要性を認知させ，さらには自己効力感を醸成させることのできる教育システムが求められている

【0006】

そこで，本発明は，塗り絵や絵画を応用して，ユーザの創造性や表現力を発揮させることのできる画像表示システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の発明者は，上記課題の解決手段について鋭意検討した結果，塗り絵や絵画をスキャンして画像データとして取り込み，そこに描かれているオブジェクトの画像を抽出してオブジェクト画像を生成し，そのオブジェクト画像にＡＩ（Artificial Intelligence：人工知能）プログラムを与えて，表示画面上で動作させるというシステムを発案した。このようなシステムによれば，塗り絵や絵画を応用して，ユーザの創造性や表現力をより効果的に発揮させることができる。そして，本発明者は，上記知見に基づけば上記の課題を解決できることに想到し，本発明を完成させた。具体的に説明すると，本発明は以下の構成を有する。

【0008】

本発明の第１の側面は，画像表示システムに関する。本発明に係る画像表示システムは，オブジェクトが描かれた物理媒体をスキャンして画像データを取り込む画像取込装置１と，画像データからオブジェクト画像を生成する制御装置２と，オブジェクト画像を表示する表示装置３と，を備える。
制御装置２は，画像入力部１０，画像解析部１１，ＡＩ読出部１３，描画処理部１４，オブジェクト画像制御部１５，及び画像出力部１６を有する。これらの各機能部は，基本的に，入出力ＩＦや，ＣＰＵ，ＧＰＵなどのプロセッサにより実現される。
画像入力部１０は，画像取込装置１から画像データを取得する。
画像解析部１１は，画像入力部１０によって取得した画像データを解析する。
ＡＩ読出部１３は，画像解析部１１の解析結果に基づいて，ＡＩプログラムデータベース１２から一又は複数のＡＩプログラムを読み出す。ＡＩプログラムデータベース１２は，制御装置２内に備わっていてもよいし，外部に設置されていてもよいし，制御装置２とインターネットを介して通信可能なウェブサーバが備えるものであってもよい。
描画処理部１４は，画像データの中からオブジェクトが描かれた領域を抽出してオブジェクト画像を生成する。
オブジェクト画像制御部１５は，ＡＩ読出部１３によって読み出されたＡＩプログラムに基づいて，オブジェクト画像を制御する。
画像出力部１６は，オブジェクト画像制御部１５によって制御されたオブジェクト画像を表示装置３に出力する。

【0009】

上記構成のように，絵画や塗り絵などの物理媒体から生成したオブジェクト画像を，ＡＩプログラムに基づいて画面上で動作させることで，ユーザに対して，創造性や表現力を向上させる面白みのある体験を与えることができる。特に，ＡＩプログラムは，画像データの解析結果に応じて読み出されるものであるため，それぞれのオブジェクト画像に適したものが選定される。その結果，オブジェクト画像に最適な動作をさせることが可能である。

【0010】

本発明のシステムにおいて，画像取込装置１は，物理媒体に描かれたオブジェクトとともに，当該オブジェクトの種類を特定するために当該物理媒体に描かれたマーカをスキャンして画像データを取り込むことが好ましい。また，画像解析部１１は，画像データに含まれるマーカを解析して，オブジェクトの種類を特定するマーカ解析部１１ａを含むことが好ましい。この場合，ＡＩ読出部１３は，マーカ解析部１１ａによって特定されたオブジェクトの種類に応じて，ＡＩプログラムデータベース１２から一又は複数のＡＩプログラムを読み出す。

【0011】

上記構成のように，物理媒体に設けられたマーカを解析することで，オブジェクトの種類を判別する処理を高速かつ正確に行うことができる。これにより，物理媒体をスキャンしてからオブジェクト画像を表示するまでの処理を効率的に行うことができる。

【0012】

本発明のシステムにおいて，画像解析部１１は，画像データに含まれるオブジェクトの色を解析する色解析部１１ｂを含むことが好ましい。この場合，ＡＩ読出部１３は，色解析部１１ｂによって解析されたオブジェクトの色に応じて，ＡＩプログラムデータベース１２から一又は複数のＡＩプログラムを読み出す。

【0013】

上記構成のように，オブジェクト画像の色に応じてＡＩプログラムを読み出すことで，塗り絵や絵画を作成したユーザの思想や感情を，オブジェクト画像の動作に反映することができる。例えば，赤色が多い場合にはオブジェクト画像を活発に動作させたり，青色が多ければゆっくり動作させたりするなど，オブジェクト画像の動作にユーザの個性を反映させることができる。

【0014】

本発明のシステムにおいて，ＡＩプログラムデータベース１２は，少なくとも，第１動作ＡＩテーブルと第２動作ＡＩテーブルを含むことが好ましい。第１動作ＡＩテーブルには，オブジェクトの種類ごとに，複数の色と対応付けて複数の第１動作ＡＩプログラムが記憶されている。また，第２動作ＡＩテーブルには，オブジェクトの種類ごとに，複数の色と対応付けて複数の第２動作ＡＩプログラムを記憶した第２動作ＡＩテーブルが記憶されている。
この場合に，色解析部１１ｂは，少なくとも，画像データに含まれるオブジェクトの色を解析して，同一又は異なる第１色と第２色を抽出する。そして，ＡＩ読出部１３は，色解析部１１ｂによって抽出された第１色に応じて，第１動作ＡＩテーブルから第１動作ＡＩプログラムを読み出す。また，ＡＩ読出部１３は，色解析部１１ｂによって抽出された第２色に応じて，第２動作ＡＩテーブルから第２動作ＡＩプログラムを読み出す。その結果，オブジェクト画像制御部１５は，少なくとも，ＡＩ読出部１３によって読み出された第１動作ＡＩプログラム及び第２動作ＡＩプログラムに基づいて，オブジェクト画像を制御する。

【0015】

上記構成のように，オブジェクト画像を構成する色に応じて複数のＡＩプログラムを読み出し，それらのＡＩプログラムに従った動作制御を行うことで，オブジェクト画像の動作のバリエーションを飛躍的に増やすことができる。これにより，塗り絵や絵画を作成したユーザの個性に応じて，オブジェクト画像に様々な動きをさせることができる。

【0016】

本発明の画像表示システムは，検知装置４をさらに備えることが好ましい。この検知装置４は，表示装置３の表示画面の近傍に存在する人の存在又は表示画面に対する接触位置を検知することができる。この場合，制御装置２は，検知装置４からの検知情報を取得する検知情報入力部１７をさらに有するものとなる。そして，オブジェクト画像制御部１５は，検知装置４からの検知情報及びＡＩプログラムに基づいて，オブジェクト画像を制御する。

【0017】

上記構成のように，画像表示システムが検知装置４をさらに備えることで，例えば，オブジェクト画像に対して，画面の近くのユーザに寄るような動作をさせたり，人に触れられたときに逃げる動作をさせたりするなど，インタラクティブな動作制御を行うことができる。

【0018】

本発明のシステムにおいて，オブジェクト画像制御部１５は，比較的新しく生成された一又は複数のオブジェクト画像を第１仮想レイヤで動作させるとともに，比較的古くに生成された一又は複数のオブジェクト画像を第１仮想レイヤの背面となる第２仮想レイヤで動作させる制御を行うことが好ましい。

【0019】

上記構成のように，オブジェクト画像が生成された順番に応じて，各オブジェクト画像を，前面側に位置する第１仮想レイヤに存在させるか，若しくは後面側に位置する第２仮想レイヤに存在させるかを決定する。これにより，画面上に存在するオブジェクト画像が増えた場合であっても，新しく生成されたオブジェクト画像を目立つように表示させることができる。また，表示画面を仮想的に２層のレイヤに分け，古いオブジェクト画像を第２仮想レイヤに移動させるように制御することで，画面上のオブジェクト画像が増えた場合であっても，古いオブジェクト画像をすぐに消す必要がなくなるため，比較的長い時間オブジェクト画像を表示し続けることが可能となる。

【0020】

本発明のシステムにおいて，オブジェクト画像制御部１５は，第１仮想レイヤに存在するオブジェクト画像の動作には，検知装置４からの取得した検知情報を反映させ，第２仮想レイヤに存在するオブジェクト画像の動作には，検知装置４からの取得した検知情報を反映させないように制御を行うことが好ましい。

【0021】

上記構成のように，比較的新しいオブジェクト画像にのみ検知装置４からの検知情報を反映させるようにすることで，例えば表示画面の前にユーザが集まり過ぎて混雑が発生するのを防止できる。また，第２仮想レイヤに存在するオブジェクト画像には検知情報を反映させないようにすることで，オブジェクト画像制御部１５の処理が複雑になることを回避し，演算処理の遅延が発生することを防止できる。

【0022】

本発明の第２の側面は，コンピュータプログラムに関する。本発明のプログラムは，コンピュータを，上記した第１の側面に係る画像表示システムにおける制御装置２として機能させるためのプログラムである。

【発明の効果】

【0023】

本発明によれば，塗り絵や絵画を応用して，ユーザの創造性や表現力を発揮させることが可能な画像表示システムを提供することができる。

【図面の簡単な説明】

【0024】

【図1】図１は，本発明に係る画像表示システムの全体構成を示した模式図である。

【図2】図２は，塗り絵用紙の例を示している。

【図3】図３は，画像表示システムに含まれる制御装置の構成例を示したブロック図である。

【図4】図４は，制御装置による処理の流れを模式的に示している。

【図5】図５は，ＡＩプログラムデータベースに記憶された情報の一例を示している。

【図6】図６は，仮想レイヤの概念を模式的に示している。

【図7】図７は，餌オブジェクトを利用した制御の一例を示している。

【発明を実施するための形態】

【0025】

以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜変更したものも含む。

【0026】

図１は，本発明に係る画像表示システム１００の全体構成の例を示している。図１に示されるように，画像表示システム１００は，画像取込装置１（スキャナ）と，制御装置２（コンピュータ）と，表示装置３（プロジェクタ及びスクリーン）と，検知装置４（センサ）を備えている。画像取込装置１によって取り込まれた画像データは，制御装置２へと送出される。制御装置２は，画像取込装置１から取得した画像データに対して所定の画像処理を行ってオブジェクト画像を生成し，このオブジェクト画像の動作を制御する。制御装置２は，オブジェクト画像を表示装置３に送出する。表示装置３は，制御装置２の制御下にあるオブジェクト画像をユーザが視認可能な態様で表示させる。また，表示装置３の表示画面の近くには，ユーザが存在している。検知装置４は，表示画面の近くに存在するユーザを検知して，その検知情報を制御装置２へと送出する。例えば，検知装置４は，ユーザの位置を検知してもよいし，ユーザが表示画面に触れた位置（表画面上の座標）を検知してもよい。制御装置２は，検知装置４からの検知情報を，オブジェクト画像の動作に反映させることができる。以下，これら各装置の構成について具体的に説明する。

【0027】

画像取込装置１は，オブジェクト（Ｏ）が描かれた物理媒体（Ｐ）をスキャンして画像データを取り込む。また，物理媒体（Ｐ）にマーカ（Ｍ）が描画されている場合には，画像取込装置１は，オブジェクト（Ｏ）とマーカ（Ｍ）が描かれた物理媒体（Ｐ）の表面をスキャンして，画像データに変換する。画像取込装置１としては，公知のスキャナやカメラを利用することができる。画像取込装置１は，スキャンした画像をＧＩＦやＪＰＥＧといった公知の形式でデータ化し，制御装置２へと送る。

【0028】

図２には，画像取込装置１によって取り込み可能な物理媒体（Ｐ）の例が示されている。図２に示されるように，物理媒体（Ｐ）の一例としては，塗り絵用紙が挙げられる。塗り絵用紙には，カジキや，クマノミ，ホオジロサメといった魚類などのオブジェクト（Ｏ）が描かれている。図２の例において，塗り絵用紙には，魚類の輪郭が描かれており，その輪郭の中に色鉛筆やクレヨンなどを使って自由に着色を施すことができるようになっている。物理媒体に描かれるオブジェクト（Ｏ）は，魚類に限られず，その他の動物や，植物，車両，飛行機，建物，人間，キャラクターなど様々なものを採用できる。また，図２の例では，オブジェクト（Ｏ）には初めから色が付いておらず，ユーザが自由に色を付けることができるようになっているが，このオブジェクト（Ｏ）には初めから色が付いていてもよい。また，オブジェクト（Ｏ）は，塗り絵に限られず，ユーザが自由に描いた絵画であってもよい。また，物理媒体（Ｐ）は，印刷用紙に限られず，プラスチック板や，金属板であってもよい。また，物理媒体（Ｐ）は，平面的なものに限られず，様々な立体構造物であってもよく，カメラやスキャナによって表面を撮影可能なものを適宜採用することができる。

【0029】

また，図２に示されるように，塗り絵用紙には，四隅にマーカ（Ｍ）が描かれている。このマーカ（Ｍ）は，その塗り絵用紙に描かれたオブジェクト（Ｏ）に対応するものであり，オブジェクト（Ｏ）毎に固有のマーカ（Ｍ）が設けられている。このため，マーカ（Ｍ）を解析すれば，その塗り絵用紙に描かれているオブジェクト（Ｏ）の種類を特定することができる。例えば，カジキが描かれた塗り絵用紙には，カジキを特定するためのマーカ（Ｍ）が付与される。また，マーカ（Ｍ）を塗り絵用紙の四隅に設けることで，その各マーカ（Ｍ）を頂点とする矩形領域を画定することができる。これにより，各マーカ（Ｍ）の位置を検出することで，各マーカ（Ｍ）を頂点とする矩形領域内に，オブジェクト（Ｏ）が存在していることを認識することができる。なお，マーカ（Ｍ）は，必ずしも塗り絵用紙の四隅に設ける必要はなく，三隅に設けられていてもよいし，対角線上の二隅に設けられていてもよい。三隅や対角線上の二隅であっても，オブジェクト（Ｏ）の種類と矩形領域を認識できる。また，矩形領域を認識する必要がなく，オブジェクト（Ｏ）の種類を特定するだけでもよい場合には，塗り絵用紙上の任意の一箇所にマーカ（Ｍ）を設けておけばよい。図２の例のように，マーカ（Ｍ）は文字が描かれたものであってもよいし，その他公知のＱＲコード（登録商標）などであってもよい。

【0030】

表示装置３は，制御装置２の制御に従って，オブジェクト画像を表示する。図１に示した例において，表示装置３は，プロジェクタ３ａとスクリーン３ｂを備えている。プロジェクタ３ａは，制御装置２からオブジェクト画像やその背景画像などを受信して，それらの画像をスクリーン３ｂの表面上に投影する。プロジェクタ３ａやスクリーン３ｂは公知のものを採用すればよい。なお，スクリーン３ｂは平面的な壁などによっても代用できる。また，表示装置３としては，大型モニタや，液晶ディスプレイ，あるいは有機ＥＬディスプレイなどを採用することもできる。ただし，簡易かつ低コストな構成でオブジェクト画像を大画面に表示できることから，表示装置３としては，プロジェクタ３ａとスクリーン３ｂを採用することが好ましい。

【0031】

検知装置４は，表示装置３の表示画面（スクリーン３ｂ）の近くに存在する人の存在や，表示画面（スクリーン３ｂ）に対する接触位置を検知する。例えば，検知装置４としては，赤外線センサや，光センサ，超音波センサ，静電容量センサ，感圧センサ，音センサ，温度センサなど各種公知のセンサを採用することができる。また，検知装置４としては，赤外線センサと感圧センサの組み合わせなど，異なる機能を持つ複数のセンサを採用することも可能である。例えば，検知装置４は，人の接近を検知したり，人がスクリーン３ｂに触れたときにその接触位置（スクリーン３ｂ上の座標位置）を検知することが好ましい。また，検知装置４は，部屋の明るさや，騒音量，あるいは人の声などを検知することもできる。検知装置４による様々な検知情報は，リアルタイムに制御装置２へと送出され，オブジェクト画像の動作制御に利用される。

【0032】

制御装置２は，上記した画像取込装置１，表示装置３，及び検知装置４に対して有線又は無線で接続されており，これら各装置の制御を行う。制御装置２としては，汎用的なコンピュータを利用することができる。また，制御装置２は，複数のコンピュータによって構築し，各コンピュータに処理を分担させることもできる。さらに，制御装置２としては，画像取込装置１，表示装置３，及び検知装置４に対してインターネットを介して接続されたウェブサーバを利用することも可能である。

【0033】

図３は，制御装置２の機能構成を示したブロック図である。制御装置２は，汎用的なコンピュータと同様に入力部（入力ＩＦ），出力部（出力ＩＦ），記憶部（メモリ），演算部（ＣＰＵやＧＰＵなどのプロセッサ），及び制御部（ＣＰＵやＧＰＵなどのプロセッサ）を有しており，図３に示された機能構成は，これらの各部位の機能によって実現される。制御装置２の記憶部には，この制御装置２の機能を実現するためのプログラムが格納されており，制御部は，このプログラムに従って，情報の入出力処理や，演算処理，あるいは記憶処理を行う。また，図４には，制御装置２による処理の流れが模式的に示されている。以下では，図４に示した処理の流れに従って，制御装置２の各機能構成について説明する。

【0034】

図３及び図４に示されるように，画像取込装置１のスキャンによって取得された画像データは，画像入力部１０を介して，画像取込装置１に入力される。画像入力部１０を介して制御装置２内に取り込まれた画像データは，画像解析部１１へと送られる。

【0035】

画像解析部１１は，画像データを解析する。第１に，画像解析部１１は，画像データに含まれるオブジェクトの種類を特定するための解析を行う。本実施形態においては，物理媒体（Ｐ）（塗り絵用紙）の表面に，オブジェクト（Ｏ）に対応したマーカ（Ｍ）が付されている。このため，画像解析部１１は，画像データに含まれるマーカを解析して，オブジェクトの種類を特定するマーカ解析部１１ａを有する。マーカはオブジェクト固有のものであるため，マーカ解析部１１ａは，このマーカを解析することでオブジェクトの種類を特定できる。マーカ解析部１１ａによって特定されたオブジェクトの種類に関する情報は，ＡＩ読出部１３及び描画処理部１４へと送られる。なお，画像解析部１１は，マーカに依存せずに，画像データに含まれるオブジェクトの種類を特定することとしてもよい。例えば，画像解析部１１は，画像データを解析して，オブジェクトの輪郭を把握し，その輪郭の形状を，記憶部に記憶されているデータと照合することよって，オブジェクトの種類を特定することも可能である。

【0036】

第２に，画像解析部１１は，画像データに含まれるオブジェクトの色を解析する。このため，画像解析部１１は，色解析部１１ｂを有するものである。色解析部１１ｂは，画像データを解析して，オブジェクトを構成している色情報を取得する。色解析部１１ｂは，少なくともオブジェクトを構成する色情報を一種類以上抽出する。例えば，色解析部１１ｂは，画像データを解析して，オブジェクトを構成する色情報のマップを作成し，その中から，最も多く存在する一つの色情報を，オブジェクトを構成する「代表色」として抽出することとしてもよい。また，色解析部１１ｂは，オブジェクトを構成する色情報のマップの中から，最も多く存在する「第１位の色（第１色）」を抽出するとともに，その次に多く存在する「第２位の色（第２色）」を抽出し，その次に多く存在する「第３位の色（第３色）」を抽出することが好ましい。その際，第１色，第２色，第３色の色情報には，順列が付けられる。画像解析部１１の色解析部１１ｂによって抽出された色情報（代表色や色の順列に関する情報）は，ＡＩ読出部１３へと送られる。

【0037】

続いて，描画処理部１４は，画像データの中からオブジェクトが描かれた領域を抽出して，背景などの不要な部分を取り除いたオブジェクト画像を生成する描画処理を行う。図４に示されるように，描画処理部１４は，まず，画像データに含まれる４つのマーカ（Ｍ）の位置を把握して，その４つのマーカ（Ｍ）を頂点とした矩形領域を画定し，その矩形領域の外側を除去する。これにより，画像データの中から，オブジェクトが描かれた矩形画像を切り抜くことができる。

【0038】

また，描画処理部１４は，マーカ解析部１１ａから受け取ったオブジェクトの種類に関する情報に基づいて，マスク画像データベース１８からマスク処理に利用するマスク画像を検索する。このマスク画像データベース１８には，オブジェクトの種類ごとにマスク画像が記憶されている。例えば，マーカ解析部１１ａによってオブジェクトの種類が「クマノミ」であることが特定されている場合，描画処理部１４は，マスク画像データベース１８からクマノミ用のマスク画像を読み出す。このマスク画像は，各オブジェクトの輪郭に対応しており，輪郭の外側が除去部分，輪郭の内側が透明部分となっている。そして，描画処理部１４は，読み出したマスク画像を上記した矩形画像と合成してマスク処理を行い，オブジェクトの輪郭の内側の色部分を抽出する。これにより，オブジェクトの輪郭の中に任意の着色が施されたオブジェクト画像が生成される。そして，描画処理部１４は，このようにして生成したオブジェクト画像を，オブジェクト画像制御部１５へと送る。

【0039】

なお，描画処理部１４によってオブジェクト画像を生成する方法は，上記したマスク処理に限られない。例えば，上記した矩形画像の中から色付きの部分を抽出して白色部分（色無しの部分）を透明化するクロマキー合成処理を行って，オブジェクト画像を生成することも可能である。また，マスク画像データベース１８は，制御装置２内に備わっていてもよいし，外部に設置されていてもよいし，制御装置２とインターネットを介して通信可能なウェブサーバが備えるものであってもよい。

【0040】

続いて，ＡＩ読出部１３は，画像解析部１１による解析結果に基づいて，描画処理部１４が生成したオブジェクト画像を動作させるためのＡＩプログラムを，ＡＩプログラムデータベース１２から読み出す。具体的には，ＡＩ読出部１３は，画像解析部１１のマーカ解析部１１ａによって特定されたオブジェクトの種類に関する情報のみに基づいて，ＡＩプログラムを読み出してもよい。また，ＡＩ読出部１３は，オブジェクトの種類に関する情報に加えて，色解析部１１ｂによって抽出された色情報（代表色や色の順列に関する情報）に基づいて，ＡＩプログラムを読み出すこともできる。ここでは，オブジェクトの種類と色の順列に関する情報に基づいて，ＡＩプログラムを読み出す例について説明する。

【0041】

図５には，ＡＩプログラムデータベース１２に記憶されている情報の一例が示されている。例えば，ＡＩプログラムデータベース１２は，基本動作ＡＩテーブル（第１動作ＡＩテーブル）を含む。基本動作ＡＩテーブルでは，オブジェクトの種類ごとに，基本動作ＡＩプログラム（第１動作ＡＩプログラム）が記憶されている。例えば，「カジキ」の基本動作ＡＩプログラム（Ａ１〜Ａ８）は，各種オブジェクトの中で最も泳ぐスピードが速いことや，その泳ぎ方の特徴などといった，「カジキ」特有の基本動作を規定している。また，例えば，「クマノミ」の基本動作ＡＩプログラム（Ｂ１〜Ｂ８）は，泳ぐスピードがあまり速くないことや，背景のサンゴの周りに長時間滞在するといった，「クマノミ」特有の基本動作が規定されている。また，基本動作ＡＩプログラムでは，他のオブジェクトとの関係性（例：近寄ったり逃げたりする関係性）が規定されていてもよい。これらの基本動作ＡＩプログラムは，各種オブジェクトごとに用意されている。さらに，基本動作ＡＩテーブルは，オブジェクトの種類ごとに，複数の色と対応付けて，それぞれ基本動作ＡＩプログラムが記憶されている。例えば，色が「Ｃ（シアン）」となる「カジキ」のには，基本動作ＡＩプログラム「Ａ１」が対応付けられており，また，色が「Ｍ（マゼンタ）」となる「カジキ」のには，基本動作ＡＩプログラム「Ａ２」が対応付けられている。これらの色ごとに分かれている基本動作ＡＩプログラムは，それぞれオブジェクト画像の動作が少しずつ異なる。例えば，「Ｍ（マゼンタ）」に対応付けられた基本動作ＡＩプログラム「Ａ２」は，「Ｃ（シアン）」に対応付けられた基本動作ＡＩプログラム「Ａ１」よりも素早く動作することが規定されている。

【0042】

さらに，ＡＩプログラムデータベース１２は，基本動作ＡＩテーブル（第１動作ＡＩテーブル）に加えて，登場動作ＡＩテーブル（第２動作ＡＩテーブル）と，食事動作ＡＩテーブル（第３動作ＡＩテーブル）を含むものであってもよい。登場動作ＡＩテーブルに記憶されている登場動作ＡＩプログラム（第２動作ＡＩプログラム）は，例えば，オブジェクト画像が表示画面上に出現してから一定期間（例：１０秒間）の動作を規定している。また，食事動作ＡＩテーブルに記憶されている食事動作ＡＩプログラム（第３動作ＡＩプログラム）は，オブジェクト画像がエサ画像の周辺に存在するときの動作を規定している。例えば，オブジェクト画像は，表示画面上に出現してから一定期間の間は登場動作ＡＩプログラムに従って動作し，エサ画像の周辺に存在するときには食事動作ＡＩプログラムに従って動作し，それ以外の状況にあるときには基本動作ＡＩプログラムに従って動作する。

【0043】

また，登場動作ＡＩテーブルと食事動作ＡＩテーブルでは，基本動作ＡＩテーブルと同様に，オブジェクトの種類ごとに，複数の色と対応付けて，それぞれ基本動作ＡＩプログラムが記憶されている。例えば，登場動作ＡＩテーブルにおいて，色が「Ｃ（シアン）」となる「カジキ」には，登場動作ＡＩプログラム「ａ１」が対応付けられており，色が「Ｍ（マゼンタ）」となる「カジキ」には，登場動作ＡＩプログラム「ａ２」が対応付けられている。また，例えば，食事動作ＡＩテーブルにおいて，色が「Ｃ（シアン）」となる「カジキ」には，食事動作ＡＩプログラム「α１」が対応付けられており，色が「Ｍ（マゼンタ）」となる「カジキ」には，食事動作ＡＩプログラム「α２」が対応付けられている。これらの色ごとに分かれている登場動作ＡＩプログラムや食事動作ＡＩプログラムは，それぞれオブジェクト画像の動作が少しずつ異なる。

【0044】

また，上述したとおり，ＡＩ読出部１３は，画像解析部１１のマーカ解析部１１ａからオブジェクトの種類に関する情報を受け取り，かつ，画像解析部１１の色解析部１１ｂからオブジェクトを構成する「第１位の色（第１色）」，「第２位の色（第２色）」，及び「第３位の色（第３色）」に関する情報を受け取る。この場合に，まず，ＡＩ読出部１３は，オブジェクトの種類と第１位の色に関する情報に基づいて，基本動作ＡＩテーブルにアクセスし，基本動作ＡＩプログラムを一つ読み出す。また，ＡＩ読出部１３は，オブジェクトの種類と第２位の色に関する情報に基づいて，登場動作ＡＩテーブルにアクセスし，登場動作ＡＩプログラムを一つ読み出す。さらに，ＡＩ読出部１３は，オブジェクトの種類と第３位の色に関する情報に基づいて，食事動作ＡＩテーブルにアクセスし，食事動作ＡＩプログラムを一つ読み出す。

【0045】

例えば，画像解析部１１によって，オブジェクトの種類が「クマノミ」であると特定され，オブジェクトを構成する色の第１位が「Ｒ（赤色）」であり，第２位が「Ｙ（イエロー）」であり，第３位が「Ｇ（緑色）」であると解析された場合を考える。この場合，ＡＩ読出部１３は，まず，基本動作ＡＩテーブルにアクセスし，「クマノミ」「Ｒ（赤色）」に対応付けられた基本動作ＡＩプログラム「Ｂ４」を読み出す。次に，ＡＩ読出部１３は，登場動作ＡＩテーブルにアクセスし，「クマノミ」「Ｙ（イエロー）」に対応付けられた登場動作ＡＩプログラム「ｂ３」を読み出す。さらに，ＡＩ読出部１３は，食事動作ＡＩテーブルにアクセスし，「クマノミ」「Ｇ（緑色）」に対応付けられた食事動作ＡＩプログラム「β６」を読み出す。このようにして，各種テーブルから，基本動作ＡＩプログラム「Ｂ４」，登場動作ＡＩプログラム「ｂ３」，及び食事動作ＡＩプログラム「β６」が，オブジェクト画像の動作を制御するためのＡＩプログラムとして読み出される。ＡＩ読出部１３は，ＡＩプログラムデータベース１２から読み出した複数のＡＩプログラムを，オブジェクト画像制御部１５へと送る。

【0046】

オブジェクト画像制御部１５は，描画処理部１４からオブジェクト画像を受け取るとともに，ＡＩ読出部１３から，そのオブジェクト画像に対応する一又は複数のＡＩプログラムを受け取る。そして，ＡＩプログラムに従って，オブジェクト画像の動作を制御する。例えば，ＡＩ読出部１３によって基本動作ＡＩプログラム，登場動作ＡＩプログラム，及び食事動作ＡＩプログラムが読み出された場合には，オブジェクト画像制御部１５は，それら３種のＡＩプログラムを利用して，オブジェクト画像を制御する。また，オブジェクト画像制御部１５の制御下にあるオブジェクト画像は，画像出力部１６を介して，表示装置３を構成するプロジェクタ３ａへと出力される。これにより，オブジェクト画像制御部１５によって動作制御されているオブジェクト画像が，プロジェクタ３ａによって投影されて，スクリーン３ｂに映し出されることとなる。

【0047】

また，制御装置２は，検知装置４（各種センサ）からの検知情報が入力される検知情報入力部１７を有している。検知情報入力部１７は，検知装置４から検知情報を受け取ると，それをオブジェクト画像制御部１５へと送る。オブジェクト画像制御部１５は，検知情報入力部１７から受け取った検知情報を，オブジェクト画像の動作制御に反映させる。例えば，図１に示されるように，検知装置４によって，スクリーン３ｂの近くに立つユーザの存在が検知されると，オブジェクト画像制御部１５は，そのユーザの周囲に集まるように，複数のオブジェクト画像の動作を制御する。また，検知装置４によって，ユーザがスクリーン３ｂに触れたことが検知されると，オブジェクト画像制御部１５は，その接触位置にオブジェクト画像が表示されているか否かを判断し，接触位置とオブジェクト画像の位置が一致すると判断した場合には，そのオブジェクト画像をユーザによる接触位置から素早く逃げるように動作制御する。また，検知装置４としては，赤外線センサや，光センサ，超音波センサ，静電容量センサ，感圧センサ，音センサ，温度センサなど各種公知のセンサを採用することができる。オブジェクト画像制御部１５は，これらの検知装置４から各種検知情報を受け取り，オブジェクト画像の動作制御に適宜利用することが可能である。

【0048】

図６は，仮想レイヤを利用したオブジェクト画像の動作制御の例を示している。オブジェクト画像制御部１５は，オブジェクト画像を表示させる仮想的なレイヤとして，第１仮想レイヤと第２仮想レイヤとを構築している。第１仮想レイヤと第２仮想レイヤは，共にオブジェクト画像が表示される仮想的なディスプレイ面であり，第１仮想レイヤは，第２仮想レイヤの前面側に配置されているが，第２仮想レイヤ上に表示されるオブジェクト画像は，第１仮想レイヤを透過してユーザに視認される。ただし，第１仮想レイヤ上に表示されたオブジェクト画像と第２仮想レイヤ上に表示されるオブジェクト画像とが重なった場合，第１仮想レイヤ上に表示されたオブジェクト画像が前面となり，第２仮想レイヤ上に表示されるオブジェクト画像は，その背面に隠れることとなる。このように，オブジェクト画像制御部１５は，第１仮想レイヤと第２仮想レイヤとに分けて，複数のオブジェクト画像を表示する制御を行う。

【0049】

例えば，図６に示されるように，オブジェクト画像が生成されると，オブジェクト画像制御部１５は，まず，そのオブジェクト画像を第１仮想レイヤに表示させる。そして，第１仮想レイヤへの表示を続け，第１仮想レイヤ上に存在するオブジェクト画像の数が，一定数を超えたときに，その中で最も古くに生成されたオブジェクト画像を，第２仮想レイヤへと移動させる。このように，第１仮想レイヤに表示可能なオブジェクト画像の数には制限があり，その制限を超えた場合，古いものから順番に第２仮想レイヤへと移動される。第１仮想レイヤに表示可能なオブジェクト画像の数は，例えば１０〜５０程度の範囲で調整すればよい。また，第２仮想レイヤにも，表示可能なオブジェクト画像の数の制限が設けられており，その制限を超えた場合，最も古くに生成されたオブジェクト画像が，第２仮想レイヤから消去される。例えば，第２仮想レイヤに表示可能なオブジェクト画像の数は，例えば１０〜５０程度の範囲で調整すればよい。このようにして，生成されたオブジェクト画像は，まず第１仮想レイヤ上に表示され，その後第２仮想レイヤへと移動して，最終的には画面から消去されることとなる。

【0050】

また，オブジェクト画像制御部１５は，第１仮想レイヤと第２仮想レイヤとで，検知装置４からの検出情報の影響が異なるように制御を行うことが好ましい。例えば，オブジェクト画像制御部１５は，第１仮想レイヤに存在するオブジェクト画像に対しては，検知装置４からの検出情報の影響を与えることとし，第２仮想レイヤに存在するオブジェクト画像に対しては，検知装置４からの検出情報の影響を与えないようにする。図６に示した例においては，検知装置４がスクリーンに対するユーザの接触位置を検出した際に，その接触位置と第１仮想レイヤ上に存在するオブジェクト画像の位置とが重なる場合には，その接触位置から逃げるようにオブジェクト画像を制御する。他方，検知装置４がスクリーンに対するユーザの接触位置を検出した際に，その接触位置と第２仮想レイヤ上に存在するオブジェクト画像の位置とが重なる場合であっても，特にそのオブジェクト画像の動作は変化させない。このように，第１仮想レイヤ上のオブジェクト画像はインタラクティブに制御されるが，第２仮想レイヤ上のオブジェクト画像は特に検知装置４からの影響を受けないようになっている。これにより，オブジェクト画像制御部１５は，オブジェクト画像の数が増えてきた場合であっても，第１仮想レイヤ上に存在する一定数以下のオブジェクト画像のみについて，検知装置４からの検知情報の影響を算出すれば済むため，ＣＰＵ（或いはＧＰＵ）の演算量を低減できる。

【0051】

また，図３に示されるように，オブジェクト画像制御部１５は，イベントデータベース１９からの所定のデータを受け取り，オブジェクト画像の制御に反映させることができる。このイベントデータベース１９には，イベント画像が記憶されている。イベント画像は，画像取込装置１によって取り込まれた画像を加工して得られたオブジェクト画像ものとは区別されるものであり，予めこのイベントデータベース１９に記憶されている。図７には，イベント画像の一例として，エサ画像（Ｆ）が表示画面上に表示されている。オブジェクト画像制御部１５は，イベントデータベース１９からエサ画像（Ｆ）を読み出すと，これを画像出力部１６を介して表示装置３へと出力し，表示画面上に映し出す。そして，エサ画像の周囲（例えば点線の範囲）にいるオブジェクト画像は，そのエサ画像（Ｆ）に集まるように，オブジェクト画像制御部１５によって制御される。また，エサ画像（Ｐ）に集まる際に，オブジェクト画像は，上述した食事動作ＡＩプログラムに従って動作制御される。また，エサ画像（Ｆ）に集まるように設定されたＡＩプログラムだけでなく，エサ画像（Ｆ）に対して無関心であったりエサ画像（Ｆ）から遠ざかるように設定されたＡＩプログラムが存在していてもよい。また，イベントデータベース１９には，その他オブジェクト画像の動作に影響を与える種々のイベント画像を記憶しておくことができる。オブジェクト画像は，イベント画像に対して近づくものであってもよいし，イベント画像から離れるものであってもよいし，その他動作に影響を受けることとしてもよい。

【0052】

図３に示されるように，オブジェクト画像制御部１５は，描画処理部１４によって作成されたオブジェクト画像とＡＩ読出部１３によって読み出されたＡＩプログラムの組み合わせを，オブジェクト記憶部２０に記憶させることも可能である。オブジェクト画像制御部１５は，オブジェクト記憶部２０されているオブジェクト画像とＡＩプログラムとの組み合わせを読み出して，再度，表示画面上に表示させることもできる。

【0053】

その他，図示は省略するが，制御装置２は，ユーザによって作成されたオブジェクト画像を，インターネットを介して，そのユーザの携帯端末に送信するといったサービスを行うこともできる。また，制御装置２は，表示装置３に表示されている映像を，インターネットを介してウェブサーバに提供することも可能である。その場合，ユーザは，携帯端末を介してウェブサーバにアクセスすれば，表示装置３に表示されている映像を，自分の携帯端末の画面を通じて閲覧することができる。

【0054】

以上，本願明細書では，本発明の内容を表現するために，図面を参照しながら本発明の実施形態の説明を行った。ただし，本発明は，上記実施形態に限定されるものではなく，本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

【産業上の利用可能性】

【0055】

本発明は，ユーザによって着色されたり描かれたりしたお絵かきの画像をデジタル情報として取り込み，リアルタイムに表示することのできるシステムに関する。従って，本発明は，エンターテイメント産業や教育業において好適に利用し得る。

【符号の説明】

【0056】

１…画像取込装置 ２…制御装置
３…表示装置 ３ａ…プロジェクタ
３ｂ…スクリーン ４…検知装置
１０…画像入力部 １１…画像解析部
１１ａ…マーカ解析部 １１ｂ…色解析部
１２…ＡＩプログラムデータベース １３…ＡＩ読出部
１４…描画処理部 １５…オブジェクト画像制御部
１６…画像出力部 １７…検知情報入力部
１８…マスク画像データベース １９…イベントデータベース
２０…オブジェクト記憶部 １００…画像表示システム
Ｏ…オブジェクト Ｍ…マーカ
Ｐ…物理媒体 Ｆ…エサ画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】