特許 5709405 画像認識によるラクガキ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5709405

(24)【登録日】2015年3月13日

(45)【発行日】2015年4月30日

(54)【発明の名称】画像認識によるラクガキ装置

(51)【国際特許分類】

   A63F 13/213 20140101AFI20150409BHJP

   A63F 13/2145 20140101ALI20150409BHJP

   A63F 13/426 20140101ALI20150409BHJP

【ＦＩ】

   A63F13/213

   A63F13/2145

   A63F13/426

【請求項の数】6

【全頁数】26

(21)【出願番号】特願2010-114696(P2010-114696)

(22)【出願日】2010年5月18日

(65)【公開番号】特開2011-239948(P2011-239948A)

(43)【公開日】2011年12月1日

【審査請求日】2013年4月1日

(73)【特許権者】

【識別番号】310009993

【氏名又は名称】株式会社タイトー

(74)【代理人】

【識別番号】100075144

【弁理士】

【氏名又は名称】井ノ口 壽

(72)【発明者】

【氏名】鶴身 豊弘

(72)【発明者】

【氏名】木下 昌也

(72)【発明者】

【氏名】松村 謙太郎

(72)【発明者】

【氏名】宇佐美 隼一郎

【審査官】 坪内 優佳

(56)【参考文献】

【文献】 特開２００７−１７２５８５（ＪＰ，Ａ）

【文献】 特開２００２−３０６８４０（ＪＰ，Ａ）

【文献】 特許第３９８００２０（ＪＰ，Ｂ２）

【文献】 特開２００１−３２１５６４（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０３５４７７（ＷＯ，Ａ１）

【文献】 特開２００３−２１０８３７（ＪＰ，Ａ）

【文献】 特表２０００−５０６６４３（ＪＰ，Ａ）

【文献】 特開２００２−３００６０１（ＪＰ，Ａ）

【文献】 特開平０６−１９０１４７（ＪＰ，Ａ）

【文献】 特開平０７−００８６３１（ＪＰ，Ａ）

【文献】 特開２０１０−１５５５３（ＪＰ，Ａ）

【文献】 ラクガキ王国２ 魔王城の戦い，電撃ＰｌａｙＳｔａｔｉｏｎ，メディアワークス，２００４年 ５月２８日，第10巻／第13号／通巻267号

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ １３／００−１３／９８

Ａ６３Ｆ ９／２４

(57)【特許請求の範囲】

【請求項1】

プレイヤが画面に書き込む形状を認識してプレイヤが希望するキャラクタまたはアイテムを３Ｄ化するためのオブジェクト立体化手段を有し、３Ｄ化したキャラクタまたはアイテムをゲーム画面に参加させてゲームを進行するラクガキ装置であって、
スクリーンと、
前記スクリーンに赤外線を投射する赤外線ライト手段と、
前記スクリーン上の赤外線画像を撮像する赤外線カメラと、
前記スクリーンに画像を投映するプロジェクタと、
前記スクリーンに描くため先端部から赤外光を発するペン型コントローラ手段と、
前記ペン型コントローラ手段から発せられる赤外線によって描かれるスクリーン上の軌跡の画像を前記赤外線カメラが撮像し、該撮像した赤外線画像をスクリーン上に前記プロジェクタが投映するとともに前記ペン型コントローラ手段から発せられる赤外線の軌跡の形状を認識することによりプレイヤが希望するキャラクタまたはアイテムの３Ｄモデルを前記オブジェクト立体化手段で形成し、
かつ、スクリーン上の３Ｄモデルに対し、プレイヤの手または前記ペン型コントローラ手段をスクリーンに接触して移動させた場合、スクリーン上で反射される赤外光源により形成されるプレイヤの手または前記ペン型コントローラ手段の形状および動きを認識し、プレイヤの手または前記ペン型コントローラ手段で形成される動きに対応してスクリーン上の３Ｄモデルを動かすように制御する制御手段と、を備え、
前記プレイヤの手または前記ペン型コントローラ手段などの入力手段の判定は、スクリーン上に形成される赤外線の入力形状，面積，輝度の大きさ，自発光か否かにより行い、 自発光であってスクリーン上に照射される赤外線の面積が所定より小さく、かつ所定の輝度より大きいとき、前記ペン型コントローラ手段による入力手段であると判定し、
手形状の赤外線の反射光であって、スクリーン上で反射される赤外線の面積が所定より大きく、かつ所定の輝度より小さいと、前記プレイヤの手による入力手段であると判定することを特徴とする画像認識によるラクガキ装置。

【請求項2】

前記スクリーン上に形成される３Ｄモデルは、
プレイヤがスクリーン上に閉ループ形状を描くことにより前記制御手段によって自動的に立体化処理が行われて作られる立方体であり、
前記制御手段は、
前記スクリーンに接触させるプレイヤの手または前記ペン型コントローラ手段を左右または上下に移動させた場合、前記立方体を左右または上下方向に回転させる手段を有することを特徴とする請求項１記載の画像認識によるラクガキ装置。

【請求項3】

前記制御手段は、
前記スクリーン上に形成される３Ｄモデルをゲームに参加させた場合、
プレイヤが手でゲーム参加の３Ｄモデルに複数回連続して接触したとき、接触した３Ｄモデルを消滅させる手段を有することを特徴とする請求項１記載の画像認識によるラクガキ装置。

【請求項4】

前記ペン型コントローラ手段は、
先端部に赤外線ＬＥＤおよび色が選択できるフルカラーＬＥＤが設置され、前記赤外線ＬＥＤが発する赤外光および選択された色で発光する前記フルカラーＬＥＤの光を重畳させた変調光を発することを特徴とする請求項１，２または３記載の画像認識によるラクガキ装置。

【請求項5】

前記ペン型コントローラ手段を複数有するとともに前記スクリーンを複数の区画に分け、
各ペン型コントローラ手段はそれぞれ対応するスクリーンの区画で入力可能にし、
各ペン型コントローラ手段は、変調のパターンが個々に設定されていることを特徴とする請求項１，２，３または４記載の画像認識によるラクガキ装置。

【請求項6】

前記ペン型コントローラ手段を複数有するとともに各ペン型コントローラ手段に内蔵されるＬＥＤの変調する変調パターンを相違させ、
前記制御手段は、
複数のペン型コントローラ手段による形状がスクリーン上で重なった場合、相違させた前記変調パターンでそれぞれのペン型コントローラ手段で描かれた各イラストを識別する手段を有することを特徴とする請求項１，２，３または４記載の画像認識によるラクガキ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、赤外光および赤外センサを利用してプロジェクタ画面にラクガキをするラクガキ装置に関する。

【背景技術】

【0002】

本件出願人はプレイヤが作成する形状によって技などのパラメータを決定することにより希望するキャラクタやアイテムなどを作り、作成したキャラクタをゲームに参加させるゲーム装置を提案している（特許文献１，特許文献２）。
これらは画面上にらくがきのエリアを開き、その部分にプレイヤがコントローラを操作することによって頭，胴体，腕，足などを描き、その部位によって予め決められているパラメータ、例えばキックやパンチなどを覚えさせるものである。その部位に色を指定すれば、色に対応した技なども覚えることができる。

【0003】

上記特許文献１によるキャラクタ形状の作成はつぎのような操作および処理により実現される。
ゲーム機のコントローラを用いて描いたラクガキが自動的に３Ｄモデルに変化される。
頭，体，腕，脚などをパーツごとに描くことによって、描いた形状に応じた動きが自動であてがわれる。
画面上のキャラクタをコントローラで動かし線を描く。囲まれた図形を描くと自動的に３Ｄ化処理が行われる。
描いた形状に応じた動きが自動であてがわれる。（例：脚をくの字型に描くと、折れ曲がった所が膝になる。）
同様に、目や尻尾などのパーツを付け足していく。
描いた形状に応じ、３Ｄモデルが画面内で様々な動きを行う。

【0004】

このように特許文献１はプレイヤが自らの気に入るキャラクタなどを３Ｄで作成することができる。しかしながら、実際の処理として色に関してはプレイヤに数種類の色からキャラクタの部位の色を選択させて、選択した色からキャラクタのパラメータ（技であれば、その技の属性）を決めるものである。これは選択できる色毎にパラメータが定義されている。例えば、腕であれば、パラメータはパンチの技を付与され、色を青と指定すれば例えば地吹雪のパンチとなる。
したがって、特許文献１では希望する色をすべて使用できるようにするためには対応の色毎にパラメータをそれぞれ定義しなければならず、大量のデータを持たなければならない。

【0005】

ゲーム装置では多数のパラメータの定義に、その数のデータを持つことは、効率的ではない。また、単純な操作で、多数のパラメータを定義することができ、プレイヤ自身が違和感なく直感的にパラメータを決定できることが必要である。
そこで、特許文献２はプレイヤの絵描き操作で３Ｄを作る場合に、選択したキャラクタのパーツを色指定し、色相に対し重み付けした情報を用いてパラメータとしての技などの属性を演算することにより、違和感を感じさせることなく、パラメータの内容にあった属性を直感的に決定できて予め大量のパラメータのデータを用意する必要を無くすようにした。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００２−３０６８４０号公報

【特許文献2】特許第３９８００２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

このように特許文献２はプレイヤの単純な操作で、効率的に３Ｄのキャラクタを作成できるものを実現した。
上記特許文献１，２は家庭用ゲーム機用ソフトであり、そのインターフェース入力は家庭用ゲーム機専用のコントローラを使用しなければならない。したがって、ゲームを行うに当たって、プレイヤが操作に慣れるのに時間を要する必要があるため、直感的に操作することが困難であった。

【0008】

このような状況から従来のシステムに加え、赤外線を利用したインターフェイスを使用することにより直感的な操作で３Ｄのキャラクタを作成できることが要請される。
本発明の目的は、ペン型コントローラなどを用いることによりプレイヤは直感的に操作してスクリーン上に３Ｄおよび２Ｄのキャラクタを作ることができ、１つの入力可能なスクリーンで複数人が同時にプレイ可能にした画像認識によるラクガキ装置を提供することにある。

【課題を解決するための手段】

【0009】

前記目的を達成するために本発明の請求項１は、プレイヤが画面に書き込む形状を認識してプレイヤが希望するキャラクタまたはアイテムを３Ｄ化するためのオブジェクト立体化手段を有し、３Ｄ化したキャラクタまたはアイテムをゲーム画面に参加させてゲームを進行するラクガキ装置であって、スクリーンと、前記スクリーンに赤外線を投射する赤外線ライト手段と、前記スクリーン上の赤外線画像を撮像する赤外線カメラと、前記スクリーンに画像を投映するプロジェクタと、前記スクリーンに描くため先端部から赤外光を発するペン型コントローラ手段と、前記ペン型コントローラ手段から発せられる赤外線によって描かれるスクリーン上の軌跡の画像を前記赤外線カメラが撮像し、該撮像した赤外線画像をスクリーン上に前記プロジェクタが投映するとともに前記ペン型コントローラ手段から発せられる赤外線の軌跡の形状を認識することによりプレイヤが希望するキャラクタまたはアイテムの３Ｄモデルを前記オブジェクト立体化手段で形成し、かつ、スクリーン上の３Ｄモデルに対し、プレイヤの手または前記ペン型コントローラ手段をスクリーンに接触して移動させた場合、スクリーン上で反射される赤外光源により形成されるプレイヤの手または前記ペン型コントローラ手段の形状および動きを認識し、プレイヤの手または前記ペン型コントローラ手段で形成される動きに対応してスクリーン上の３Ｄモデルを動かすように制御する制御手段とを備え、前記プレイヤの手または前記ペン型コントローラ手段などの入力手段の判定は、スクリーン上に形成される赤外線の入力形状，面積，輝度の大きさ，自発光か否かにより行い、自発光であってスクリーン上に照射される赤外線の面積が所定より小さく、かつ所定の輝度より大きいとき、前記ペン型コントローラ手段による入力手段であると判定し、手形状の赤外線の反射光であって、スクリーン上で反射される赤外線の面積が所定より大きく、かつ所定の輝度より小さいと、前記プレイヤの手による入力手段であると判定することを特徴とする。
本発明の請求項２は請求項１記載の発明において前記スクリーン上に形成される３Ｄモデルは、プレイヤがスクリーン上に閉ループ形状を描くことにより前記制御手段によって自動的に立体化処理が行われて作られる立方体であり、前記制御手段は、前記スクリーンに接触させるプレイヤの手または前記ペン型コントローラ手段を左右または上下に移動させた場合、前記立方体を左右または上下方向に回転させる手段を有することを特徴とする。
本発明の請求項３は請求項１記載の発明において前記制御手段は、前記スクリーン上に形成される３Ｄモデルをゲームに参加させた場合、プレイヤが手でゲーム参加の３Ｄモデルに複数回連続して接触したとき、接触した３Ｄモデルを消滅させる手段を有することを特徴とする。
本発明の請求項４は請求項１，２または３記載の発明において前記ペン型コントローラ手段は、先端部に赤外線ＬＥＤおよび色が選択できるフルカラーＬＥＤが設置され、前記赤外線ＬＥＤが発する赤外光および選択された色で発光する前記フルカラーＬＥＤの光を重畳させた変調光を発することを特徴とする。
本発明の請求項５は請求項１，２，３または４記載の発明において前記ペン型コントローラ手段を複数有するとともに前記スクリーンを複数の区画に分け、各ペン型コントローラ手段はそれぞれ対応するスクリーンの区画で入力可能にし、各ペン型コントローラ手段は、変調のパターンが個々に設定されていることを特徴とする。
本発明の請求項６は請求項１，２，３または４記載の発明において前記ペン型コントローラ手段を複数有するとともに各ペン型コントローラ手段に内蔵されるＬＥＤの変調する変調パターンを相違させ、前記制御手段は、複数のペン型コントローラ手段による形状がスクリーン上で重なった場合、相違させた前記変調パターンでそれぞれのペン型コントローラ手段で描かれた各イラストを識別する手段を有することを特徴とする。

【発明の効果】

【0010】

上記構成によれば、ペン型コントローラと手を使って操作を行えるため、非常に直感的な操作が行える。
プロジェクタを使用することによって、大型な物を作成可能なので１画面での複数人プレイが可能になる。
赤外線だけでなく、電波でのやり取りを伴わせた方式やペン型コントローラを無線もしくは有線で制御装置と繋ぐ方法もあり、周囲の環境に合わせて方式を変えることができるという効果がある。

【図面の簡単な説明】

【0011】

【図1】本発明による画像認識によるラクガキ装置の概略を示す斜視図である。

【図2】本発明による画像認識によるラクガキ装置の回路の実施の形態を示すブロック図である。

【図3A】ラクガキ装置筐体を側面から見た図である。

【図3B】スクリーンに触れている入力手段の判定方法を説明するための図である。

【図3C】入力手段がスクリーンに触れる速度検出の方法を説明するための図である。

【図4】ラクガキ装置で行えるゲーム内容を説明するための図である。

【図5A】ペン型コントローラの外観形状および先端構造を説明するための図である。

【図5B】ペン型コントローラの内部構造を説明するための図である。

【図6】ペン型コントローラの操作方法およびスクリーンへの描き方を説明するための図である。

【図7】ペンを選択する方法を説明するための図である。

【図8】プレイヤがペンで自由に描くフリーモードを説明するための図である。

【図9】塗り絵およびお絵かきのモードを説明するための図である。

【図10A】ラクガキモードの詳細を説明するための図である。

【図10B】ラクガキモードによってキャラクタの顔を描く操作の手順および処理を説明するための図である。

【図11】ラクガキモードにおけるスクリーンの表示例を説明するための図である。

【図12A】描かれる体パーツの例を示す図である。

【図12B】体パーツに腕パーツを付け足した例を示す図である。

【図12C】体パーツに足パーツを付け足した例を示す図である。

【図12D】頭パーツから上顎と下顎を作る例を示す図である。

【図12E】描いた体パーツなどを対象に模様を施す例を示す図である。

【図12F】体パーツなどの完成後に固いパーツを加えた例を示す図である。

【図12G】体パーツなどの完成後に柔らかいパーツを加えた例を示す図である。

【図12H】基本となる部位に回るパーツを加えた例を示す図である。

【図12I】基本となる体パーツに羽根をつけた例を示す図である。

【図13】プレイヤがスクリーンに絵を描き、３Ｄ処理される処理の流れを示すフローチャートである。

【図14】サイコロを描く場合の操作の手順および装置の役割を説明するための図である。

【図15】玉転がしゲームのゲーム手順を説明するための図である。

【図16】複数のプレイヤが描いた絵の重なりあった部分を検知する方法を説明するための図である。

【図17】各プレイヤが描くスクリーンのエリアを分割する例を示す図である。

【図18】描かれたオブジェクトに対するゲーム処理の一例を示すフローチャートである。

【図19】描いた線の種別を判定する処理および描いたオブジェクトを消去する処理の流れを示すフローチャートである。

【図20】プレイヤがスクリーンにチューリップを描く場合のプレイヤの操作の流れの一例を説明するための図である。

【図21】ラクガキ専用ペンで色を選択する手順およびオブジェクトを消去する操作を説明するための図である。

【図22】無線式のラクガキペンによるラクガキ装置の概略を示す斜視図である。

【図23】本発明による画像認識によるラクガキ装置の大型スクリーンで多数の人がラクガキを楽しんでいる状態を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施の形態を詳しく説明する。
図１は本発明による画像認識によるラクガキ装置の概略を示す斜視図である。
筐体１９内にスクリーン１全体に赤外光を照射する赤外線ライト４，ゲーム画像などをスクリーンに投射するプロジェクタ２，ペン型コントローラ６が接触した軌跡を得るためスクリーン１上の赤外像を撮像する赤外線カメラ３が設置されている。赤外線ライト４，プロジェクタ２，赤外線カメラ３は制御装置５に接続されている。

【0013】

プレイヤ１６がペン型コントローラ６でスクリーン上に線を描くと、その線の画像が赤外線カメラ３で撮像される。制御装置５では撮像された赤外線像からペンによる赤外光の軌跡を認識し、認識したペンの軌跡をプロジェクタ２でスクリーン１に投映する。
図１のスクリーン１にはプレイヤ１６が描いた星キャラ１５，栗キャラ１７，鬼キャラ１８が映し出されている。

【0014】

図２は本発明による画像認識によるラクガキ装置の回路の実施の形態を示すブロック図である。
コイン投入部２４からコインが投入されるとコインが検出され、その情報はコイン関連装置２５，入出力制御部２７を介してＣＰＵ２１に伝達される。コイン投入の状態、すなわちコイン数・プレイ数などの設定値はバックアップメモリ２６に格納される。
操作部２３はボタンなどのスイッチ類で構成され、操作部２３の操作情報は、入出力制御部２７を介してＣＰＵ２１に送出される。

【0015】

ＲＯＭ２９にゲーム機全体の制御を行う制御プログラムと、ゲームを実行するためのフリーソフト，塗り絵ソフト，お絵かきソフト，ラクガキソフト，ミニゲームソフト（２Ｄ物理エンジン）およびゲームに必要なデータが格納されている。
ＣＰＵ２１はＲＯＭ２９の制御プログラムを読み込むことによりゲーム制御部２１ａの機能を実現する。ゲーム制御部２１ａはゲーム全体の制御を行う他、ゲーム待ち受け状態時にスクリーン１に待ち受け画面を表示し、図示しないスピーカから待ち受け用のミュージックなどを出力する。また、ＣＰＵ２１はスクリーンに入力する入力部分がペンや消しゴムであるのか、指や手であるかのを判別するとともに、その接触速度も検出する機能を有する。
ゲーム実行部２１ｂはフリーソフト，塗り絵ソフト，お絵かきソフト，ラクガキソフト，ミニゲームソフトのいずれかを実行する。

【0016】

画像処理部３３はＣＰＵ２１からの指示に従い送られてくる画像データを処理してプロジェクタ２にゲーム画面を投映させる。プロジェクタ２が投映したゲーム画像はスクリーン１に表示される。コイン投入によるゲーム開始時、ＣＰＵ２１がプレイヤに対しペン型コントローラ６を用いてスクリーン上に自分の好みのゲームを行える旨の表示をする。また、図示しないスピーカから待ち受けのためのミュージックやペン型コントローラ６によって描く旨を指示するなどの音声などを流す。
カメラ制御部３１は、赤外線カメラ３を制御し、赤外線カメラ３はスクリーンに投射された赤外線画像を撮像する。光源制御部３２は赤外線ライト４を制御し、赤外線ライト４はスクリーン１に赤外光線を照射する。スクリーン１は赤外光を透過する部材であるため、赤外線ライト４からの赤外光は赤外線カメラ３には映らず真っ暗の画像として映し出される。

【0017】

ペン型コントローラ６は入力インターフェース部２０を介してＣＰＵ２１に接続され、ゲーム開始によってその先端から赤外光が発せられる。したがって、プレイヤがペン型コントローラ６の先端をスクリーン１に接触して図形を描けば、赤外線カメラ３で撮像する赤外線の画像は接触した部分のみ赤外光が感知され、描いた図形がＣＰＵ２１による解析で認識され、認識された図形がプロジェクタ２でスクリーン１上に表示される。

【0018】

図３Ａはスクリーンに描いた図形を認識する方法を説明するための図で、ラクガキ装置筐体を側面から見た図である。
赤外線ライト４をスクリーン１に照射すると、上述したように赤外光はスクリーン１を透過するため、赤外線カメラ３はスクリーン全面を真っ暗であると認識する。すなわち、真っ黒の画面を撮像する。スクリーン１の反対側からプレイヤ１６がペン型コントローラ６でスクリーン１上に線を描くと、ペン型コントローラ６から発せられる赤外光を赤外線カメラ３が認識し、赤外光の移動の軌跡を線としてプロジェクタ２でスクリーン１に投映する。

【0019】

図３Ｂはスクリーンに触れている入力手段の判定方法を説明するための図である。
入力手段が何であるかを判定するのは既に述べたようにＣＰＵ２１の機能によって行われる。ＣＰＵ２１はスクリーン１上に形成される赤外線の入力形状，面積，輝度の大きさについて赤外線カメラ３で撮像された画像を分析し、入力手段が何であるかを解析する。
例えば、小丸３０１で示すように自発光であってそのスクリーン上に照射される赤外線の面積が所定より小さく、かつ所定の輝度より大きければ、ペンの入力であると判定する。大丸３０２のように自発光であってそのスクリーン上に照射される赤外線の面積が所定より大きく、かつ所定の輝度より大きければ、消しゴムツールであると判定する。さらに指形状３０３で示すよう赤外線ライト４の反射光であって、スクリーン上の反射される赤外線の面積が所定より小さく、かつ所定の輝度より小さければ、指の接触であると判定する。また、手形状３０４で示すよう赤外線ライト４の反射光であって、スクリーン上の反射される赤外線の面積が所定より大きく、かつ所定の輝度より小さければ、手の接触であると判定する。

【0020】

図３Ｃは入力手段がスクリーンに触れる速度検出の方法を説明するための図である。
例えば赤外線カメラの画像フレームが１０ｆｐｓで、入力手段が手であり、手を徐々にスクリーンに近づけていくとする。
ＣＰＵ２１は０．１ｓ，０．２ｓ，０．３ｓ，０．４ｓ・・・の間隔でスクリーンに表示される赤外線画像を取得して０．１ｓ毎のフレームの画像を解析する。
例えば３１０の赤外線反射領域が初期認識の赤外画像の面積であって、つぎの０．１ｓ後で、３１１の赤外線反射領域となり、さらにつぎの０．１ｓ後で、３１２の赤外線反射領域となって徐々に赤外線反射領域が大きくなり、最後の０．１ｓ後には手形３１３の赤外線反射領域を認識した場合、ゆっくりと手を近づけたと判定する。
また、初期認識が３１５の赤外線反射領域であって、つぎの０．１ｓ後は手形３１６の赤外線反射領域を認識した場合、一気に近づけたと判定する。

【0021】

図４はラクガキ装置で行えるゲーム内容を説明するための図である。
コイン投入によりゲームがスタートし、複数人プレイ可能のラクガキ装置であれば、図７に示すようにプレイヤが把持したペン型コントローラの先端をスクリーンに表示されるペン選択の画面に接触してプレイヤが把持したペンを認識する（ステップ（以下「Ｓ」という）０１）。１人用のラクガキ装置であれば、このような操作は不要である。
つぎにスクリーン１にゲームモードを選択するための画面が表示され、プレイヤはゲームモード選択画面で、ゲームモードを選択する（Ｓ０２）。ゲームモードはフリーモード（Ｓ０３），塗り絵モード（Ｓ０４），お絵かきモード（Ｓ０５），ラクガキモード（Ｓ０６），２Ｄ物理エンジン（ミニゲーム）（Ｓ０７）の何れかを選択する。

【0022】

フリーモード（Ｓ０３），塗り絵モード（Ｓ０４），お絵かきモード（Ｓ０５）の何れかを選択した場合は、そのモードに入ってから規定時間が終了するか、または、プレイヤが終了を選択すると（Ｓ０８）、ゲーム終了となる。ラクガキモード（Ｓ０６）を選択した場合は、描いたキャラクタやオブジェクト、文字（以下「キャラクタ等」という）が動き始めてから、規定時間経過後にゲーム終了となる。また、２Ｄ物理エンジン（ミニゲーム）（Ｓ０７）の場合は、全ステージをクリアするか、または規定回数以内でステージをクリアできないとき（Ｓ１０）、ゲーム終了となる。

【0023】

図５Ａはペン型コントローラの外観形状および先端構造を説明するための図である。
ペン型コントローラ６は信号線（ワイヤ）６４に接続されている。ペン型コントローラ６の根元に、回転するカラースイッチ６１が設けられており、所定角度回転させることにより描く線の色を選択することができる。この図では緑色６１１，黄色６１２，赤色６１３が見えており、黄色６１２が選択されている。
ペン型コントローラ６の中央部分に選択した色を表示する表示窓６２が設けられている。例えば、カラースイッチ６１のつまみを掴んで回転させ黄色６１２を選択すれば、表示窓６２には連動して黄色が表示される。
ペン型コントローラ６の下方には光発光のスイッチをオンさせるための間隙６５が設けられている。
ペン型コントローラ６の先端６３にはフルカラーＬＥＤ６３１と赤外線ＬＥＤ６３２が隣接して設けられている。フルカラーＬＥＤ６３１はカラースイッチ６１の選択した色で発光し、プレイヤに現時点でのペンの色がより直感的に把握できる様になっている。赤外線ＬＥＤ６３２は赤外線カメラに情報を送るためのもので、情報を重畳させた赤外線の変調光を発する。

【0024】

図５Ｂはペン型コントローラの内部構造を説明するための図である。
ペン型コントローラ筐体７３の先端にあるロータリースイッチ６７はカラースイッチ６１の回転に連動して動くスイッチであり、ロータリースイッチ６７の回転軸６８の先端の外周部は、所定角度毎に選択できる赤色，黄色，緑色，青色，藤色，茶色の色表示がなされている。プレイヤはカラースイッチ６１を回転させることによりロータリースイッチ６７を回転させ、描く色を選択できる。選択した色表示は表示窓６２（図５Ａ）で確認することができる。
ペン型コントローラ筐体７３の他端の内部にロータリースイッチ６７の先端を収容するための孔部６４１を有する伸縮部６４が設けられている。ロータリースイッチ６７の回転軸６８にスプリング７２が圧縮して挿入されている。ペン型コントローラ筐体７３の内部に検知部６６１および部材６６２よりなるスイッチ６６が設けられている。スイッチ６６はペン先をスクリーンに押し当てスプリング７２を圧縮して間隙６５によりペンを縮め検知部６６１に部材６６２を近づけることによりオン動作する。前述ではゲーム開始と同時に赤外線ＬＥＤ，フルカラーＬＥＤの発光を開始したが、通常時の延びた状態でスイッチをオフとし、スクリーンにペン型コントローラを押し当て、オンの時のみに赤外線ＬＥＤを発光させ、スクリーンに描くことができる様にするなどの役割を持たせることができる。またペンの選択や赤外線ＬＥＤ，フルカラーＬＥＤの発光開始，決定ボタンとしての役割を果たすものである。

【0025】

ペン型コントローラ筐体７３の先端はスクリーンに押しつけられて回転するボール部６３３が設けられ、その左右にフルカラーＬＥＤ６３１と赤外線ＬＥＤ６３２が配置されている。ボール部があることにより、スクリーンにペンを押し付けたままペンを動かすことができる。フルカラーＬＥＤ６３１，赤外線ＬＥＤ６３２，スイッチ６６およびカラー選択のためのロータリースイッチ６７は入力インターフェース部２０を介してバスに接続されている。

【0026】

図６はペン型コントローラの操作方法およびスクリーンへの描き方を説明するための図である。
手６９でカラースイッチ６１を矢印７０のように回転させることによりスクリーンに描く線の色を赤色，黄色，緑色，青色，藤色，茶色のいずれかに選ぶことができる（図６（ａ））。ペン型コントローラ６で図６（ｂ）のように線を描けば、選択した色の線７１を描くことができる。なお、この例では黒色は選択対象としていないが、黒色やその他の色も選択可能に構成できる。

【0027】

図７はペンを選択する方法を説明するための図である。
ペン型コントローラ６の先端をスクリーン１に表示されたスタート画面４１に対し接触することにより、そのペン型コントローラ６でゲームを行う。
図８はプレイヤがペンで自由に描くフリーモードを説明するための図である。
プレイヤがゲームモード選択画面でフリーを選択した場合、画面右上に色を選択するためのパレット４２０が表示される。色の変更はパレットの６種類の色、すなわち赤色，黄色，緑色，青色，藤色，茶色の何れかにペン型コントローラの先端を接触させることにより行うことができる。また、上述したようにペン型コントローラ６のカラースイッチ６１によっても変更することができる。このように色をプレイヤが選び種々の絵を自由に書くことができる。スクリーン上には茶色の星型形状４２３，赤色のバラ形状４２２，緑色の折れ線４２１が描かれている。

【0028】

図９は塗り絵およびお絵かきのモードを説明するための図である。
図９（ａ）において、プレイヤがゲームモード選択画面でペン型コントローラ６の先端をスクリーンに押しつけることにより塗り絵モードを選択すると、スクリーン上には種々の輪郭や模様の塗り絵の線画の選択画面が表示される。複数の輪郭や模様の塗り絵の線画の１つを選択すると、図９（ａ）に示すような画面が表示される。この画面は右上方に６種の色のパレットが表示され、中央にプレイヤが選択した「お花」の線画４３４が表示されている。
プレイヤは好みの色を選択しながら、選択した色で「お花」の各部位を塗ることができる。図９（ａ）は花の部位４３１に赤色が塗られ、茎の部位４３３に青色が塗られている。葉の部位４３２の一部にも緑色が塗られている。また、小さな子供でも綺麗に描くことができるようにするために、予め輪郭から色がはみ出ることのないようなシステムが採用されている。
規定時間が終了するか、またはプレイヤが画面上に表示されている終了の画面をペン型コントローラ６で押すことによりお絵描きは終了する。

【0029】

図９（ｂ）において、プレイヤがゲームモード選択画面でペン型コントローラの先端をスクリーンに押しつけることによりお絵かきモードを選択すると、スクリーン上には種々の輪郭や模様のお絵描きの下絵となる線画の選択画面が表示される。複数の輪郭や模様のお絵描きの下絵となる線画の１つを選択すると、図９（ｂ）に示すような点線の線画が表示される。
この画面は右上方に６種の色のパレットが表示され、中央にプレイヤが選択した「お花」の点線の線画が表示されている。ペン型コントローラ６の選択した色は当初は黒色となっている。点線４４２をプレイヤがなぞることにより、実線４４１を引くことができる。また、プレイヤがオリジナルの要素を書き込むことを可能とするべく、点線に関係なく描くこともできる。
このモードも規定時間が終了するか、またはプレイヤが画面上に表示されている終了の画面をペン型コントローラ６で押すことによりお絵描きは終了する。

【0030】

図１０Ａはラクガキモードの詳細を説明するための図である。
プレイヤがゲームモード選択画面においてペン型コントローラの先端をスクリーンに押しつけることによりラクガキモードを選択すると、キャラクタなどの胴体を描き目的とするキャラクタなどの３Ｄモデルをスクリーン上に描くことができる。
最初にキャラクタなどの体部分をスクリーン上に描く（Ｓ０６１）。
ついでキャラクタなどが持つ各部位を体部分に足していく（Ｓ０６２）。描けるパーツは腕（Ｓ０６２１），足（Ｓ０６２２），頭（Ｓ０６２３），模様（Ｓ０６２４），固いパーツ（Ｓ０６２５），柔かいパーツ（Ｓ０６２６），回るパーツ（Ｓ０６２７），羽パーツ（Ｓ０６２８）であり、プレイヤはこれら機能を用いて目的とするキャラクタなどを完成させる（Ｓ０６３）。

【0031】

図１１はラクガキモードにおけるスクリーンの表示例を説明するための図である。
この表示例は画面上部に「からだ」「うで」「あし」「あたま」「もよう」「かたい」「やわらかい」「まわる」「はね」を描く場合を指定する選択部４６が表示されている。
体を描く場合、「からだ」と色を選択し、体になる部分の輪郭を描くと、スクリーン上には選択した色の３Ｄのからだ４６１が表示される。各部位をこのからだ４６１に足すには、選択部４６でその部位を選択し、パレットから色を選択し、付け根となる部分をペンで選択した後に、その部位の形を描くことにより３Ｄの体４６１に選択した部位が形成される。また、付け根としたい部分がスクリーン表示の反対側などの場合、手でアングルを変え、付け根としたい部分を見えるようにして、ペンで付け根を選択する。
プレイヤはこのように操作して図１１に示すように頭４６４，体４６１，腕４６２，足４６３よりなる３Ｄのキャラクタをスクリーン上に描くことができる。
なお、体のみや、体と足だけ、体と腕だけという状態で終わらせることもできる。

【0032】

図１２Ａ〜図１２Ｉは、図１１の選択部における各部位を描く場合のプレイヤの操作の詳細および描かれた部位の動き例を説明するための図である。
図１２Ａは全てのラクガキの基礎となる体パーツ４６１を描いた状態を示している。体パーツ４６１を描いた後、足，腕などのパーツを付け足していくこととなる。
図１２Ｂは、腕４６２の付け根となる部分に点を描きアングルを変えて腕を描いた状態を示している。肘となる箇所を曲げて描いておくと、ＣＰＵはその箇所を関節とし、関節なしの場合に比較し動きに変化が生じるように動作を行う。
図１２Ｃは、腕パーツと同様、膝となる部分を曲げて足を描いた状態を示している。曲げた部分が関節となり、ＣＰＵはその部分を足の関節の役割を果たすように動作させる。図１２Ｃ（ａ）は人間のように２本の足４６３１を付け足したものであり、図１２Ｃ（ｂ）は動物であって体パーツ４６１に４本の足４６３２を付け足したものである。
この他にお化けや人魚のように１本足や昆虫のように６本足にすることも可能である。

【0033】

図１２Ｄは頭パーツ４６４を描き、切れ目を入れることにより、その部分が口となって上顎４６４１と下顎４６４２が形成された状態を示している。
ＣＰＵは口として機能するように上顎４６４１と下顎４６４２を動作させる。
図１２Ｅは体パーツに模様を描いた状態を示しており、「模様」で描いた場合、立体化されることなく体パーツの上に模様４６５として描かれる。
図１２Ｆは固いパーツを描いた状態を示すもので、「固いパーツ」で描いた場合、キャラクタなどの動きに左右されずに常に同じ形状となる。例えば、キャラクタ等に道具を持たせたり、頭パーツに角を作ったりすることができる。図１２Ｆ（ａ）はキャラクタ等が剣４６６１を持っているものであり、図１２Ｆ（ｂ）は頭パーツ４６４の上に角４６６２を形成したものである。

【0034】

図１２Ｇは柔らかいパーツを描いた状態を示すもので、「柔らかいパーツ」で描いた場合、描いた部分はキャラクタの動きに影響され不確定な動きをする。図１２Ｇ（ａ）に示すように体パーツに尻尾４６７１をつけたり、図１２Ｇ（ｂ）に示すように髪４６７２を作る場合に適している。
図１２Ｈは回るパーツを描いた状態を示すもので、「回るパーツ」で描いた場合、描いた部分はくるくると回る動作をする。回転軸４６８２にプロペラ４６８１を描けば、ＣＰＵはプロペラ４６８１の回転とともに回転軸４６８２も一緒に回転させる動作を行う。
図１２Ｉは羽パーツを描いた状態を示すもので、羽４６９のように羽ばたくパーツで実際にキャラクタ等を浮かせることができる。ＣＰＵは羽が小さいと浮かぶことはなく、羽パーツが羽ばたく動きを行う。また、小さく短く描けば、昆虫のような動きをし、長く大きく書けば鷲のような猛禽類の動きを行う。なお、キャラクタを宙に浮かせるためには体パーツの左右にキャラクタ等の大きさに見合った羽パーツを描くことが必要である。どちらの条件が欠けてもキャラクタ等を浮かすことはできない。

【0035】

図１０Ｂはラクガキモードによってキャラクタの顔を描く操作の手順および処理を説明するための図である。
キャラクタの顔の３Ｄ作成では、つぎのような手順，処理となる。
１．頭部形状の作成（図１０Ｂ（ａ））
上部メニュー２０１から「あたま」パーツを選択し、３Ｄモデルの色をパレット２０２から選択する。スクリーン２００上に円（閉ループ形状）９を描く。ＣＰＵが円（閉ループ形状）を自動的に立体化処理を行い、頭の形（球状）にする。閉ループ形状になっていない場合、再度書き直しとなる。
２．耳の作成
つぎに上部メニュー２０１から「かたい」パーツを選択し（図１０Ｂ（ｂ））、耳部の付け根となる部分をペンまたは指などで選択する。付け根部を選択後、ペンで耳１４の形状を描く（図１０Ｂ（ｃ））。頭部作成時と同様にＣＰＵが自動的に立体化処理を行う。輪郭が付け根の部分から離れてしまうと３Ｄ化されず、再度書き直しとなる。
３．反対側の耳、鼻の作成
同様にして反対側の耳１４と鼻部１２を作成する。付け根部分が背面などにあり画面上から見えない場合は手２０３をスクリーン２００に当て、左または右方向に動かすことにより、３Ｄモデルを回転させる（図１０Ｂ（ｄ））。
４．目、口の作成
ついで上部メニュー２０１から「もよう」を選択し、模様（目１１、口１３、鼻１２の穴など）を描く。もようパーツは３Ｄ化されることなく作成したモデルに模様として描かれる（図１０Ｂ（ｅ））。
以上により図１０Ｂ（ｆ）に示すような３Ｄの顔が完成する。

【0036】

図１３はプレイヤがスクリーンに絵を描き、３Ｄ処理される処理の流れを示すフローチャートである。
コイン投入部２４よりコインが投入され、このコイン投入の情報がコイン関連装置２５，入出力制御部２７を介してゲーム制御部２１ａに送られると、ゲーム制御部２１ａは制御をゲーム実行部２１ｂに渡す。ゲーム実行部２１ｂは光源制御部３２を制御してペン型コントローラ６によるスクリーン１への入力を可能にするとともに赤外線ライト４をオンしてスクリーン１に赤外光を照射させる。また、カメラ制御部３１を制御し赤外線カメラ３によってスクリーン１上のペン型コントローラ６で描かれる赤外光の軌跡を検知する動作を開始する（ステップ（以下「Ｓ」という）００１）。
ゲーム制御部２１ａは画面にゲームモードを選択するための画像を表示する。ここで、プレイヤがペン型コントローラ６をラクガキモードに接触して選択したとする。ゲーム制御部２１ａはラクガキモードを起動し、ゲーム実行部２１ｂはスクリーン１上にペン型コントローラによる赤外光の軌跡が描かれるか否かを監視する（Ｓ００２）。

【0037】

赤外線カメラ３がスクリーンを撮像し、その撮像画像はカメラ制御部３１によってゲーム実行部２１ｂに送られる。ゲーム実行部２１ｂは撮像画像にペン型コントローラ６からの赤外線の軌跡を認識する（Ｓ００３）。例えば線が描かれれば、その形状を画像処理部３３によってプロジェクタ２に投映させる。そして線の色の情報はペン型コントローラ６が発する赤外光を変調して送られる。したがって、例えばペン型コントローラで赤色を選択し、スクリーンに線を描くと、プロジェクタ２は赤色の線をスクリーンに投映する（Ｓ００４）。
所定の時間が経過しても描かれない場合は、プレイヤが形状完成操作をしたか否かの判定に移行する（Ｓ００５）。

【0038】

所定の時間が経過しても描かれない場合、および線などが描かれた場合、つぎにプレイヤが形状完成操作をしたか否かの判定に進む（Ｓ００５）。
形状完成操作は、スクリーンの一部に操作ボタンの一覧が表示されるようになっており、その内の形状完成操作ボタンにペン型コントローラの先端で赤外線を当てることにより、その情報がゲーム実行部２１ｂに送られる。
形状完成操作がなされれば、ゲーム実行部２１ｂはその情報を受けて描かれたキャラクタなどを所定のルールに則って行動させる（Ｓ００６）。
一方、形状完成操作が所定時間内になされなければ、つぎに３Ｄに変換させる形状が描かれたか否かを判定する（Ｓ００７）。３Ｄに変換させる形状でないと判定した場合は、Ｓ００２に戻って引き続いてスクリーン上にペン型コントローラ６で描かれたか否かの監視に進む。

【0039】

３Ｄに変換させる形状であると判定した場合、ゲーム実行部２１ｂは変換すべき３Ｄキャラクタなどの候補、例えば円を描いた場合、真円やラグビー状の候補が現れ、複数スクリーンの一部に表示する（Ｓ００８）。
プレイヤがペン型コントローラ６で複数の候補の１つに赤外光を当てることにより３Ｄキャラクタなどの候補を選択すると、その情報はゲーム実行部２１ｂに送られる（Ｓ００９）。
ついでプレイヤがスクリーン１に手を接触してドラックしたか否かを判定する（Ｓ０１０）。手を接触させると、赤外線ライト４からのスクリーン１への赤外光が手によって反射するため、手の形状を認識するとともにそのドラックを認識することができる。

【0040】

ゲーム実行部２１ｂはドラックを認識することにより、ドラック方向を判定し（Ｓ０１１）、ドラックした方向にドラックした量に対応する角度だけ３Ｄキャラクタなどを回転させる（Ｓ０１２）。
以後はＳ００２に戻り、引き続いてスクリーン上にペン型コントローラ６で描かれたか否かの監視に進む。
このようにプレイヤがペン型コントローラ６および手を使用して自らが望む形状のキャラクタなどを描くことができる。オブジェクトの行動が開始した後、所定時間経過後、ラクガキモードは終了する。

【0041】

図１４は実際にサイコロを描く場合の操作の手順および装置の役割を説明するための図である。
（ＳＴＥＰ１）ペン型コントローラ６でコの字３４を描くと、赤外線カメラ３で撮像される画像は逆コの字３５として認識される。逆コの字３５の部分はペン型コントローラ６の赤外光が当たっている場所である。
スクリーン１に映る線の色は、ペン型コントローラ６の赤外光を変調させたものを赤外線カメラ３で読み取らせ、プロジェクタ２で線の色を投映させる。これら処理はゲーム実行部２１ｂで行われる。
（ＳＴＥＰ２）プレイヤが描いた図形は自動的に３Ｄ化処理が行われる。例えば、四角であれば、直方体，立方体に変換される。また、円であれば、球に変換される。形状の認識により候補を表示しなくても、このように自動的に３Ｄ化処理をすることもできる。
この図は四角の絵を判断して立方体に変換したものである。

【0042】

（ＳＴＥＰ３）スクリーン１に手を触れて手を左右に動かすと、立方体はその動きに合わせて同じ方向に回転をする。手が接触した部分は赤外線ライト４の赤外光が反射する。反射した光は赤外線カメラ３が認識するため、手の形状が白と黒の中間の色で映るので、赤外線カメラ３で撮像される画像には手の形状が認識される。それを利用して、手を左に動かすと立方体のイラストが左に回転し、右に動かすと右に回転させるアングル変更などに使用できる。ペン型コントローラとは違った用途のインターフェイスとして使用するものである。
なお、ペン型コントローラを用いて立方体を左右，上下に回転させることもできる。かかる場合は、スクリーン上に「回転」という選択画面を表示させ、この部分をペン型コントローラで接触することにより、ペン型コントローラを回転操作手段に変換させる。ペン型コントローラをスクリーンに接触させて回転させたい方向にドラックさせれば、その方向に立方体は回転する。回転操作を解除するには「回転」という選択画面を接触すれば良い。

【0043】

（ＳＴＥＰ４）ＳＴＥＰ３のように手を動かしアングルを回転させ、様々な角度からペンで描くことによって、サイコロの各面に点を描くことができる。このようにして３Ｄモデルのラクガキを作ることができる。

【0044】

図１５は２Ｄ物理エンジン（ミニゲーム）の一例を示すもので、玉転がしゲームの詳細を説明するための図である。スクリーン上で複数のミニゲームの何れかを選択するための選択画面が表示され、プレイヤがペン型コントローラによって玉転がしゲームを選択すると、図１５（ａ）に示すような玉転がしゲームの画面が表示される。台５７の上にボール５２が乗せてあり、離れた位置の台５８にはゴールとなる孔５３が設けてある。
台５８と台５７の間に橋渡しとなる線を引きハンマー５１でボール５２を打って引いた線の上を転がし、台５８の孔５３に入れるゲームである。

【0045】

プレイヤがハンマー５１によりボールを打つ操作は、例えばスクリーンに表示される「ボール打撃」の部分をペン型コントローラで押した状態でドラックするか、または直接、ハンマー５１をペン型コントローラで押してドラックすることにより行うことができる。ドラックする速度に応じてボールを打つ力が異なる。したがって、ドラックの速度によりボールが孔５３の手前で止まったり、オーバーしたりすることもあり得る。
図１５（ｂ）は台５７の端部にペン型コントローラを押しつけ、台５８の端部まで線５６を描いた状態を示している。図１５（ｃ）の二点鎖線５２ａはプレイヤがボール５２を打ちハンマー５１ａがボール５２に当たった瞬間の状態を、５２ｂは線５６の上にボールが移動している状態を、５２ｃはゴールにボール５２が入った状態をそれぞれ示している。

【0046】

図１６，図１７は複数人でラクガキを遊ぶ場合に、各プレイヤの描いた絵を識別する方法として以下の方法が用いられる。
図１６はイラストが重なってしまった場合、ペン型コントローラ６の変調のパターンを個々に設定することによって、イラストの識別を行う。すなわち、図５Ａにおける赤外線ＬＥＤ６３２の変調のパターンをペン毎に異ならせる。あるプレイヤが持つペン型コントローラ６における赤外線ＬＥＤ６３２の変調パターンをＡ，他のプレイヤが持つペン型コントローラ６における赤外線ＬＥＤ６３２の変調パターンをＢにすることにより重なった部分をそれぞれ識別することができる。
図１７は各プレイヤが描くスクリーンのエリアを分割する例を示すものである。
複数人が１つのスクリーンでプレイする場合、スクリーンを区画分けする。スクリーンを一定の間隔で区画分け（１０１，１０２，１０３）し、そのスクリーン範囲内ごとに制御を行う。各ペン型コントローラ６の変調のパターンは個々に設定されている。

【0047】

図１８は描かれたオブジェクトに対するゲーム処理の一例を示すフローチャートである。
図１３の処理によってオブジェクトが完成すると、所定のルールに則って完成したオブジェクトがスクリーン上を移動開始する。
図１８（ａ）において、ゲーム実行部２１ｂは完成したオブジェクトが動いたか否かを判定する（Ｓ１０１）。
オブジェクトが移動すれば、敵キャラを出現させる（Ｓ１０２）。
ゲーム実行部２１ｂは、敵キャラが完成したオブジェクトを発見したか否かを判定する（Ｓ１０３）。オブジェクトを発見すれば、オブジェクトに接近して攻撃を仕掛けさせる（Ｓ１０４）。例えば、オブジェクトの呑み込みの攻撃であったとして、その呑み込みが成功したか否かを判定する（Ｓ１０５）。呑み込みが成功すれば、スクリーン上からオブジェクトを消滅させ（Ｓ１０６）、ゲームを終了する。

【0048】

Ｓ１０３においてオブジェクトを発見することができなれば、タイムアウトになったか否かを判定する（Ｓ１０７）。タイムアウトになれば、ゲーム終了となる。未だ、タイムアウトになっていなければ、Ｓ１０３に戻ってオブジェクトを発見する動作を行う。

【0049】

つぎにプレイヤの行動に対する処理を図１８（ｂ）によって説明する。
ゲーム実行部２１ｂは敵キャラの出現を検知するか否か監視している（Ｓ２０１）。
ゲーム実行部２１ｂはオブジェクトが完成した場合に敵キャラを出現させているため、敵キャラの出現という処理がなされていれば、敵キャラの出現を検知することとなる。敵キャラの出現を検知した場合、つぎにプレイヤがスクリーン上の敵キャラに２回以上連続して接触したか否かを判定する（Ｓ２０２）。
２回以上（短時間に）連続して接触した場合の判定とは、プレイヤが敵キャラに攻撃を加えたと判断するためであり、１回の接触では攻撃と見なさないとするためである。
敵キャラへの接触はスクリーン上の敵キャラの位置にプレイヤの手が重なった場合であり、ゲーム実行部２１ｂは敵キャラの上に手の形状で赤外線が反射することを検知する。
なお、プレイヤが敵キャラに１回接触した場合でもゲーム実行部２１ｂは敵キャラへの攻撃と判断するように処理することもできる。

【0050】

２回以上連続して接触した場合、スクリーン面を強く叩いたと判断して敵キャラを消滅させる（Ｓ２０３）。２回以上連続して接触していない場合、例えば１回のみ接触した場合には、敵キャラは引き続き行動を続行する（Ｓ２０４）。
敵キャラを消滅させた場合、新手の敵キャラが現れたか否かの判定に移行する（Ｓ２０５）。このように処理することにより完成させたオブジェクトに対する敵キャラとの戦いを行うことができる。

【0051】

図１９は描いた線の種別を判定する処理および描いたオブジェクトを消去する処理の流れを示すフローチャートである。
図１９（ａ）において、ゲーム実行部２１ｂはプレイヤによってオブジェクトの形状が描かれたか否かを判定する（Ｓ３０１）。これはペン型コントローラ６によってスクリーン１の上に何かが描かれたか否かを赤外線カメラ３によって撮像し、その撮像した画像から判定するものである。
描かれたと判定する場合、ペン型コントローラ６の選択した線の種別、太さおよび色を識別する（Ｓ３０２）。例えば、青色の太線である。ゲーム実行部２１ｂは画像処理部３３に指示を出し、識別した色の線種別の線をプロジェクタ２によってスクリーン１に投映する（Ｓ３０３）。

【0052】

図１９（ｂ）において、ゲーム実行部２１ｂは、図１３のＳ００２〜Ｓ００４の処理中消去処理を行うため割り込みを発生させ、消しゴムツールの光がオブジェクトに当たったか否かを判定する（Ｓ４０１）。プレイヤが消しゴムツールを用いて、オブジェクトの消したい部分に光を当てると、光が当たった部分のオブジェクトの形状を消去する（Ｓ４０２）。
このようにしてプレイヤが選択した線の種別および色を判別するとともに間違って描いた場合は消去することもできる。

【0053】

図２０はプレイヤがスクリーンにチューリップを描く場合のプレイヤの操作の流れの一例を説明するための図である。
プレイヤ７１は専用のペンであるペン型コントローラ７３によってスクリーン７４に、好みに応じてラクガキをする。この例はチューリップ７２を描いている（図２０（ａ））。ラクガキの線を閉じると、ラクガキは立体化される（図２０（ｂ））。ゲーム実行部２１ｂが線画の入力を認識して立体化処理を行う。そして立体化されたチューリップ７２１はスクリーン７４上を動き出す（図２０（ｃ））。なお、プレイヤがスクリーンに描くものとして、キャラクタではなく、文字，記号であってもよく、スクリーン上に描かれた後は、動き出す。また、文字や記号が描かれた場合には、描かれた文字・記号そのものが立体化される場合もあるが、文字・記号において表意されるものが動き出すこともある。例えば、「人」という文字を描くと「人」のキャラクタが現れる場合もあり、「寺院」の地図記号「卍」を描くと「寺院」のイラストに変換生成されることも可能である。
ゲーム実行部２１ｂはこのようなラクガキを認識すると、しばらくしてオジャマキャラ（ＵＦＯ）７５を出現させる（図２０（ｄ））。
つぎの段階で放っておくとラクガキであるチューリップ７２１を食べる（図２０（ｅ））。すべて食い尽くされてしまうとラクガキは無くなってしまう（図２０（ｆ））。

【0054】

プレイヤ７１はスクリーン７４上のオジャマキャラ７５を直接手で叩くことができる。図２０（ｇ）にプレイヤ７１がオジャマキャラ７５を手で叩いている状態が示されている。ゲーム実行部２１ｂは、スクリーン１上に例えば２回連続に手の形を認識すると、叩いたと判断し、叩かれた対象であるオジャマキャラを消滅させる（図２０（ｈ））。
このようにして叩いてオジャマキャラを消滅させるが、ゲーム実行部２１ｂは次々と仲間を登場させ、ラクガキを食べにやってくる状況を作り出す（図２０（ｉ））。

【0055】

図２１はラクガキ専用ペンで色を選択する手順およびオブジェクトを消去する操作を説明するための図である。
プレイヤ８１はワイヤ付きのペン型コントローラ８２を把持して自由にラクガキをすることができる（図２１（ａ）（ｂ））。ペン型コントローラ８２をスクリーンに当てると線を引くことができる。
描いた色を変えたければ、ペン型コントローラ８２のカラースイッチ８３を回して好みの色に変更することができる（図２１（ｃ））。
絵を修正したい時には、つまみを「白色」に合わせると他の色を消すことができる（図２１（ｄ））。
絵を即座に消して欲しい時にはスタッフ８４に頼んで専用のツール８５で消してもらうことが可能である（図２１（ｅ））。

【0056】

図２２はラクガキペンによるラクガキ装置の他の実施の形態を示す概略図で、ラクガキペンを無線で通信する場合である。
色の変更を行う場合、カラースイッチの回転で行うが、そのときの変更の色のデータは ペン型コントローラ８６が内蔵する無線部の通信により制御装置８５に送られる。
制御装置８５は送られた無線データに基づきプロジェクタ８２の投映する線に変更された色をつける。ペン型コントローラ８６の軌跡は、赤外線カメラ３で読み取る。

【0057】

図２３は本発明による画像認識によるラクガキ装置の大型スクリーンで多数の人がラクガキを楽しんでいる状態を示す図である。
このように１人のプレイヤだけでなく大勢の人によって同時にスクリーンに好みの絵を描いて楽しむことができる。ゲーム実行部は描かれた絵を所定の移動をするように制御し、他のキャラクタを登場させて描かれた絵に対し所定の行動を行う。
絵を描いたプレイヤは、スクリーンに描いたアイテムやキャラクタに対し、接触したり、スクリーン面を接触して横方向などに移動させることにより、アイテムやキャラクタに所定の動作をさせることができる。また、スクリーンに現れる敵キャラクタなどに対し、スクリーンに向かってスピードを持って勢いよく接することにより、強打を浴びせるなどして現れた敵キャラクタに攻撃を加えることができる。

【0058】

以上の実施の形態はペン型コントローラをスクリーンに当てる赤外線および、手などの身体の一部をスクリーンに接触しスクリーン内部から当てている赤外線を反射させることによりプレイヤがスクリーンに入力する例を説明したが、入力装置はペン型コントローラを用いなくても、赤外線をスクリーンにスポット状に当てることができるものであれば、その形状はどのような形をしていてもよい。また、身体の一部をスクリーンに接触して赤外線を反射しているが、身体ではなく赤外線を反射するものを接触しても同様に入力することが可能である。さらにゲームを開始する手段としてコインを投入する例を示したが、カードなどを装着してラクガキゲームやその他のゲームを開始させることができる。

【産業上の利用可能性】

【0059】

イベント会場やゲームセンタなどに設置されるラクガキ装置である。

【符号の説明】

【0060】

１ スクリーン
２，８２ プロジェクタ
３ 赤外線カメラ（赤外センサ）
４ 赤外線ライト
５，８５ 制御装置
６，８６ ペン型コントローラ
９ 円
１０ ラクガキ装置
１１ 目
１２ 鼻
１３ 口
１４ 耳
１５ 星キャラ
１６ プレイヤ
１７ 栗キャラ
１８ 鬼キャラ
２０ 入力インターフェース部
２１ ＣＰＵ
２３ 操作部
２４ コイン投入部
２５ コイン関連装置
２６ バックアップメモリ
２７ 入出力制御部
２８ ＲＡＭ
２９ ＲＯＭ
３１ カメラ制御部
３２ 光源制御部
３３ 画像処理部
４６ 選択部
５１ ハンマー
５２ ボール
５３ 孔（ゴール）
６２ 表示窓
６７ ロータリースイッチ（カラースイッチ）

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図11】

【図12A】

【図12B】

【図12C】

【図12D】

【図12F】

【図12G】

【図12H】

【図12I】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図10B】

【図12E】

【図23】