(58)【調査した分野】(Int.Cl.,DB名)
前記表示制御手段は、前記第2の撮像手段により撮像された画像から、前記カードの輪郭を含む前記カードの画像データを抽出し、前記モニタの画面に載置された前記カードの位置に同一の方向且つ同一の大きさで、前記モニタの画面に前記カードの画像を表示することを特徴とする請求項1に記載のカード読み取り装置。
前記表示制御手段は、前記マーカの外側のラインと前記背景画像との境界の輝度差に基づいて、前記カードの画像データを抽出することを特徴とする請求項4に記載のカード読み取り装置。
さらに、前記第4のステップにより撮像された画像から、前記カードの輪郭を含む前記カードの画像データを抽出し、前記モニタの画面に載置された前記カードの位置に同一の方向且つ同一の大きさで、前記モニタの画面に前記カードの画像を表示する第5のステップを備えることを特徴とする請求項6に記載のカード読み取り方法。
さらに、前記第4のステップにより撮像された画像から、前記カードの輪郭を含む前記カードの画像データを抽出し、前記モニタの画面に載置された前記カードの位置に同一の方向且つ同一の大きさで、前記モニタの画面に前記カードの画像を表示する第5のステップを前記コンピュータに実行させることを特徴とする請求項8に記載のコンピュータプログラム。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、モニタ上に載置されたカードを撮像する際に、モニタの保護ガラスに強い外光(太陽光や施設の照明など)が映り込んでしまうと、その外光の映り込み部分周辺に載置されたカードは、外光の映り込みと同化し、そのため撮像画像の中からカードの画像位置を検出できず、さらに、カード画像の輪郭を特定してキャラクタの画像を抽出することもできない場合がある。
【0007】
図10は、モニタ画面に照明が映り込んでいる場合の画面例及び画像処理データを示す図であって、例えば、
図10(a)のように見えるモニタ画面を撮像し、2値化処理により画像処理すると、
図10(b)に示すように、画面に映り込んだ外光とカードが同化し、カードの輪郭を識別することはできない。そのため、ゲーム装置の設置環境として、モニタ付近の明るさを確保しつつ、外光が映り込まない位置にゲーム装置を設置する必要があり、ゲーム装置の設置場所が制限されてしまう。例えば、屋内のアミューズメント施設に設置する場合、既設の照明設備の位置を考慮して、照明が映り込まない位置にゲーム装置を設置する必要があり、設置場所が制限される。
【0008】
そこで、本発明の目的は、外光の影響を受けることなく、撮像画像の中からカードの画像部分を特定することができ、また、外光の影響によってゲーム装置の設置場所が制限されないカード読み取り装置及び読み取り方法を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するための本発明のカード読み取り装置は、輪郭を定めるマーカが付された物理物体であるカードを画面上に載置可能なモニタと、モニタの画面を撮像する第1の撮像手段と、マーカを用いて、第1の撮像手段により撮像された画像からモニタの画面上に載置されたカードの位置を検出する検出手段と、検出手段により検出されたカードの位置に基づいて、モニタの画面におけるカードを包囲する表示領域にマーカと所定の輝度差のある背景画像を表示させる表示制御手段と、背景画像が表示された状態でカードを撮像する第2の撮像手段とを備えることを特徴とする。
【0010】
また、本発明のカード読み取り方法は、輪郭を定めるマーカが付された物理物体であるカードがモニタの画面上に載置された状態で、モニタの画面を撮像手段により撮像する第1のステップと、マーカを用いて、撮像手段により撮像された画像からモニタの画面上に載置されたカードの位置を検出する第2のステップと、第2のステップにより検出されたカードの位置に基づいて、モニタの画面におけるカードを包囲する表示領域にマーカと所定の輝度差のある背景画像を表示させる第3のステップと、背景画像が表示された状態でカードを撮像手段により撮像する第4のステップとを備えることを特徴とする。
【発明の効果】
【0011】
本発明によれば、輪郭を定めるマーカが付されたカードを撮像することにより、カードが載置されているモニタ画面に外光が映り込んでいる場合にも、外光の影響を受けることなく、カードの載置及びその位置を検出することができる。
【0012】
また、モニタ画面上に載置されているカードの周囲に背景画像を表示することで、カードの全周にわたってカードの輪郭(縁)における輝度差を際立たせることができ、外光の影響を受けることなく、カードの画像を生成・取得することができる。
【発明を実施するための形態】
【0014】
以下、図面に従い本発明の実施の形態例を説明する。なお、実施の形態例は、本発明の理解のためのものであり、本発明の技術的範囲がこれに限定されるものではない。
【0015】
図1は、本実施の形態におけるカード読み取り装置である画像処理装置の外観構成例を示す図であり、
図2は、本実施の形態における画像処理装置の構成例を示すブロック図である。画像処理装置は、アミューズメント施設などに設置されるゲーム装置であり、例えば、与えられた紙製のカードにユーザ自身がクレヨン等でキャラクタを描き、ゲーム装置のモニタ上にカードを置くと、自分の描いたキャラクタの画像がモニタに表示され、モニタに表示された他のキャラクタと対戦する対戦ゲームを実行するコンピュータゲーム装置である。対戦ゲームを実行するためのゲームプログラムにおいて、後述する本発明にかかる画像処理が実行される。
【0016】
図2のゲーム装置の構成例において、プログラムメモリ102には、ゲームプログラム、データ(映像・音声データも含む)が格納されている。これは、例えば、磁気記録装置、ゲームプログラムやデータを記憶する外付けDVD−ROMなどの記録媒体を駆動する光ディスクドライブであってもよい。
【0017】
主制御手段としてのCPU104は、ゲームプログラムの実行、システム全体の制御及び画像表示のための座標計算などを行う。データメモリ106は、CPU104が処理を行うのに必要なプログラムやデータなどを格納するバッファメモリである。
【0018】
プログラムメモリ102、CPU104、データメモリ106は、バスを介して、メイン表示制御部110、カメラ入力インターフェース112、サブ表示制御部114、サウンド制御部116及び入出力インターフェース118と接続する。
【0019】
メイン表示制御部110は、CPU104の制御のもとに、プログラムメモリ102から読み出された画像データや、メインカメラ130で撮像したカードの画像データなど、プレイヤによる操作やゲーム進行に応じて生成すべき画像を生成し、メインモニタ120に表示する。
【0020】
メインモニタ120は、
図1に示されるように、保護ガラスで覆われた画面がゲーム装置の水平の台を形成し、プレイヤは、台の上にカードを置くようにして、メインモニタ120の画面上に、対戦ゲームで対戦するキャラクタが描かれたカードを載置する。
【0021】
メインモニタ120の直上には、メインカメラ130及びサブカメラ132が設置されている。メインカメラ130及びサブカメラ132は、
図1に示すように、メインモニタ120から上方に延びる4本の支柱140により支持されるカメラ収容部142内に収容され、下向きにメインモニタ120を撮像する。メインカメラ130及びサブカメラ132ともに、メインモニタ120の画面全域を撮像するように設定される。いずれのカメラもPLフィルタ(偏光フィルタ)は取り付けられておらず、メインモニタ120の画面の画像をそのまま撮像する。
【0022】
サブカメラ132は、メインモニタ120上にカードが載置されたことを検知するためのカメラであり、例えば、30fpsの間隔で撮像を繰り返し、カメラ入力インターフェース112を介して、撮像された画像データは、CPU104に送られ、CPU104は、各撮像毎にカード載置の有無を判定し、カードの載置を検出した場合は、そのカードの位置を取得する。カードの載置の検出処理については、後述する。
【0023】
メインカメラ130は、カード載置が判定された場合に、メインモニタ120の画面表示領域を撮像するカメラであって、載置されたカードの画像をより高精細に撮像するために、サブカメラ132よりも画素数が多く、高精細な画像を撮像できるカメラである。サブカメラ132は、カードの載置検出のために用いられるため、処理速度の制約に関連して、当該検出に必要な画素数のカメラで足りる。処理速度の制約を考慮しなくてよい場合、サブカメラ132の機能は、メインカメラ130により代用可能であり、一台のメインカメラ130にて、カードの載置検出処理及びカードの撮像処理の両方が実行されてもよい。
【0024】
メインカメラ130で撮像された画像データは、カメラ入力インターフェース112を介して、CPU104に送られ、CPU104は、撮像された画像の中からカードの画像データを抽出し、その画像データをメインモニタ120に表示する制御を実行する。当該表示制御については、後述する。
【0025】
カメラ入力インターフェース112は、メインカメラ130及びサブカメラ132の撮像データを中継してCPU104に送信する。
【0026】
サブ表示制御部114は、サブモニタ124に画像を表示する制御を行う。サブモニタ124は、主に対戦ゲームのプロモーションビデオ(PV)を表示するモニタであり、
図1に示すように、ゲーム装置の側面に設置される。サブ表示制御部114には、あらかじめ制作された動画データが格納され、サブモニタ124では、それが繰り返し再生される。
【0027】
サウンド制御部116は、プログラムメモリ102から読み出された音楽データや、プレイヤの操作やゲーム進行に応じて生成すべき効果音や音声を生成し、スピーカ126から音声出力される。
【0028】
入出力インターフェース118は、カードベンダ128A及びカード128Bと接続する。カードベンダ128A及びカード128Bは、
図1に示されるように、ゲーム装置の側部に設けられ、その料金投入口から料金を投入することにより、カードベンダ128A及びカード128Bのカード排出口から対戦ゲームで用いるカードが出てくる。さらに、ボタンやスイッチなどプレイヤが操作する入力装置122からの入力操作信号を受信し、CPU104に送る。CPU104は、入力装置122からの入力操作信号に従って、ゲームを進行させる。
【0029】
図3は、カードの外観及びその図柄を示す図である。一例として、カードは2種類用意される。カードベンダ128Aからは、
図3(a)に示されるように、キャラクタ描画領域152にあらかじめキャラクタ(
図3(a)ではロケットの図柄)が描かれているカード(ぬり絵カード)150が排出され、プレイヤは、クレヨン、色鉛筆、マジックや絵の具などで着色をすることで、プレイヤにオリジナルのキャラクタを作成することができる。一方、カードベンダ128Bからは、
図3(b)に示すように、キャラクタ描画領域152が白地のカード(お絵かきカード)150が排出され、プレイヤは、キャラクタの図柄を自由に描き、さらに好みに応じて着色し、プレイヤにオリジナルのキャラクタを作成することができる。カード150は紙製であるが、描画可能な材質であれば、樹脂製など他の材質であってもよい。
【0030】
本対戦ゲームでの画像処理で用いられる上記両カード150は、トランプカードほどの大きさであり、キャラクタ描画領域152を有する表面を有し、その表面には、カード150の輪郭を定めるマーカ154が付されている。マーカ154は、カード150の縁に沿った例えば幅3mm程の枠線であり、マーカ154の内側領域と比較して、相対的に輝度(又は明度)の低い色、例えば、黒色や濃い灰色、さらには、色相を含むが輝度の低い色、いわゆる濃い色で縁取られる。また、カード150の下方部分には、カード150を識別する(カード150が正当に購入されたものかどうかを判別する)ためのコードが記載されたコード領域156が設けられる。
【0031】
マーカ154の内側領域はコード領域156を囲み、少なくともそのマーカ154との境界部分158は枠状とし、マーカ154と境界部分158とで一定以上のコントラストを有し、2値化処理により識別可能な程度の輝度差(又は明度差)を設けるために、相対的に輝度の高い色、例えば、白色や薄い灰色などいわゆる薄い色とし、好ましくはキャラクタ描画領域152は白地とする。マーカ154の太さは、1.5mm〜3.5mm程度、境界部分158も同程度であり、サブカメラ132での撮影において、マーカ154を認識できる程度の太さであればよい。境界部分158は描画領域152と区別できるように設けてあり、これにより絵を描く際にこの境界領域158に掛からないようにしている。
【0032】
図4は、本実施の形態における画像処理装置であるゲーム装置で実行される対戦ゲームの全体フローを示す図である。ゲーム装置の電源が導入されると(S10)、所定の注意書きやロゴ画面、さらにはアドバタイズ画面が表示された後(S12)、エントリー受付画面が表示され、エントリー受付処理(カード検出処理)が開始される(S14)。
【0033】
図5は、エントリー受付画面の例である。
図5に示す画面は、最大6人対戦用の画面例であり、メインモニタ120の画面の6箇所にカード載置エリア160が表示され、プレイヤは、カードベンダ(128A又は128B)から購入したカードにキャラクタを描画し、いずれかのカード載置エリア160に描いたキャラクタを上向きにしてカードを載置する。エントリー受付処理において、サブカメラ132及びメインカメラ130による撮像が行われ、後述する本発明の画像処理により、カード150の載置及びその位置が検出される。
【0034】
エントリーが完了すると(S16)が、対戦ゲームが開始され(S18)、対戦ゲームが終了すると(S20)、その結果が表示され(S22)、最後にゲーム終了の表示がされ(S24)、対戦ゲームが終了する。
【0035】
図6は、本発明の実施の形態における画像処理のフローを示す図である。本画像処理は、上述した
図5のS14において実行される処理であり、表示制御手段であるCPU104及びメイン表示制御部110による制御により実行される。
【0036】
まず、対戦ゲーム開始前のエントリー受付状態において、サブカメラ132により、メインモニタ120の全画面領域を所定間隔(例えば30fps)で撮像を開始し(S100)、各撮像毎にメインモニタ120の画面上にカード150が載置されたか判定し(S102)、カード150の載置が検出された場合は、その位置を取得する(S104)。
【0037】
図7は、メインモニタの画面上にカードが載置された状態の撮像画像及びその画像処理したデータ例を示す図である。
【0038】
図 7(a)は、メインモニタ120の画面上にカード150が載置された状態を撮像したサブカメラ132の画像を示し、
図7(b)は、
図7(a)の画像データを既知の2値化処理により画像処理したデータ例を示す。カード150の載置判定は、
図7(b)に示す2値化処理したデータから、例えば面積・縦横比率・四隅の角度などカード150の矩形を定義するあらかじめ設定された値に合致する矩形部分を検出する。カードのマーカ154の内側の境界部分158の四角形を検出する。
【0039】
載置されたカード150の境界部分158の矩形の四角形を検出するようにすることで、モニタ画面上のカード150の周辺に強い外光が映り込んでしまった場合においても、カード150のマーカ154の内側の境界部分158は、マーカ154により外光と同化することなく2値化処理により識別可能となり、カード150の載置及びその位置を検出することができる。
【0040】
より詳しくは、境界部分158の矩形検出において、所定幅の枠線であるマーカ154の内側のラインに沿った面積・縦横比率が設定値とされ、四隅の角度として90度が設定される。マーカ154の内側のラインを基準とするのは、マーカ154の外側ライン(輪郭)を用いる場合、2値化処理した場合、カード150の外側の2値化データと重なる場合が生じうるが(特に、外光の映り込みがない場合)、マーカ154の内側のラインとその内側領域の境界部分158とは、上述したように、カード150の全周にわたって所定値以上の輝度差が生じるように色分けされており、カード150の四角形を確実に検出することができるからである。境界部分158と描画領域152の無地部分は2値化された場合には同じ白と判定される。
【0041】
カード150の載置が検出されると、その検出された四角形の位置を座標として特定され、記憶される。続いて、その四角形の座標領域を中央部分として、その部分をカード150の大きさより広く包囲する表示領域に、白色の背景画像162が表示され(S106)、背景画像162を表示した状態で、メインカメラ130によりメインモニタ120の全画面領域が撮像される(S108)。
【0042】
図8は、白色の背景画像が表示された状態のモニタ画面をメインカメラにて撮像した画像の例を示す図であり、
図8(a)は、カード150が載置されたモニタ画面の全表示領域を示し、モニタ画面上に載置されたカード150の周囲に白地の背景画像162が表示される。
図8(b)は、
図8(a)の画像のうち、カード150が載置された背景画像162を含む表示領域の一部を拡大して示す図である。背景画像162は、マーカ154との境界を2値化処理により識別可能な程度の輝度差があればよく、白色に限らず、マーカ154の色より相対的に薄い色であればよい。マーカ154と輝度差を有する背景画像162をカード150の周囲に表示することで、モニタ画面上のカード150の周辺に強い外光が映り込んでいる場合であっても、外光と背景画像162は同化するが、カード150のマーカ154との輝度差は全周にわたって確保され、すなわち、モニタ画面上のカード150の周辺に強い外光が映り込んでいるかどうかにかかわらず、カード150の輪郭線(マーカ154の外側のライン)を確実に際立たせることができ、2値化処理によりマーカ154の外側のラインを含めたカード150全体の画像を抽出することができる。
【0043】
S104において特定されたカード150の座標位置周辺において、カード150の輪郭(マーカ154の外側のライン)と背景画像との境界は、カード150の全周にわたって識別可能な輝度差が生じるように色分けされており、カード150の4辺の輪郭線を正確に検出することができ、その交点を得ることで、カード150の位置と傾き(カード150の載置されている画面領域の座標)を正確に求めることができる。
図8(c)は、検出されるカード150の輪郭線170及びその交点172を示す図である。カード150の4辺の輪郭線170を検出することで、マーカ154を含めたカード画像が抽出され(S110)、抽出されたカード画像はデータとして記憶される。そして、カード画像のデータは、メインモニタ120のカード150が載置されている画面領域に、同じ大きさで同じ向きで表示される(S112)。すなわち、載置されているカード150とぴったり重なった状態で、カード150の下の画面に表示される。これにより、ゲームへのエントリーが完了し、プレイヤは、画面上からカード150を取り去り、対戦ゲームの開始を待つ 。
【0044】
図9は、メインモニタに表示される画面例を示す図であり、
図9(a)は、背景画像が表示されている状態を示し、背景画像の領域の上にカードが載置されている(メインカメラ130で撮像すると、
図8(a)の画像となる(なお、
図9と
図8では、カード150の載置位置及びカード150に描かれたキャラクタの図柄が異なる例が示される))。
図9(b)は、カード150が載置されていた位置に、カード画像164が表示されている状態を示し、画面上からカード150が取り去られても、モニタ画面に同じ位置且つ同じ向きにてカード画像164が表示されており、プレイヤにとっては、カード150がそのまま置かれているような感覚を与えることができる。
【0045】
さらに、そのモニタ画面に表示されたカード画像164から、キャラクタ画像166の部分のみが切り抜かれ(S114)、キャラクタ画像166のみがモニタ画面上を移動するような表示を行うことで、カード150からキャラクタが飛び出す演出を表現することができる。
図9(c)は、モニタ画面に表示されたカード画像164から、キャラクタ画像166が切り抜かれる状態を示す画面例である。この後、所定のエントリー受付時間が経過し、エントリー受付が完了すると(S116)、キャラクタ同士の対戦ゲームが開始される(S118)。
【0046】
本発明は、前記実施の形態に限定されるものではなく、物理媒体であるカードは本発明の分野における通常の知識を有する者であれば想到し得る各種変形、修正を含む要旨を逸脱しない範囲の設計変更があっても、本発明に含まれることは勿論である。例えば、本実施の形態例においては、物理媒体とは、実際に手に取ることができる物理的なもので、手にすることができない映像に表示されるものとは異なる。カードとは物理的なカード状の媒体であり、紙製のカードにキャラクタを描画する例を提示したが、紙製に限らず、絵を描けるものなら、プラスチック製のカードや、タブレットの表示面に絵を描くことができる携帯情報端末の電子装置でもよい。多機能携帯電話、いわゆるスマートフォンをカードとして用いることも考えられる。スマートフォンの画面に上述した黒枠線等のマーカを表示させ、タブレットペンにより、キャラクタを画面に描画したものを、本ゲーム装置のモニタ画面に載置する場合にも本発明は適用可能である。この場合、スマートフォンは、手に取ることができる物理媒体であり、本願でいうカードが意味するところのカード状媒体である。また、カードに付されるマーカは、カードの全周を取り囲む枠線に限らず、カードの4隅を定義する形状(例えば、カードの角部のみに所定形状のマーカを表示することや、カード4辺の中央部に所定形状のマーカを表示すること)などによりカードの輪郭(縁)を識別可能な他の形態も採りうる。
【0047】
またカードの形状は矩形に限らず、円形や多角形でもよく、マーカはそのカードの縁に合わせて円環や多角形状に設けてあればよい。
【0048】
さらに本願の他の実施例として、物理物体であるマーカの無いカードを用いて表面に絵を付し、当該カードをモニタ画面に載置してカメラ等の撮像手段で撮像し、モニタ画面を撮影する。そしてそのモニタ画面を2値化する。モニター画面に表示されている画像は、撮影時に表示されている画像として予め認識できるため、2値化した場合の2値化映像をもとに、撮影画像との差分を比較することで、カードに描かれたキャラクタ画像の位置が判定できる。先の撮像手段による撮像の際に外光がモニタ画面に映り込んでいた場合に、モニタ画面を2値化した際に白となり、撮影画像の2値化画像からは載置したカードのキャラクタ画像は黒になるので、カードにマーカーがなくてもキャラクタ画像の位置の検出ができる。
【0049】
カードを囲む程度の背景画像を表示するのであれば、さほど正確にカードの位置を特定する必要はなく、大よその位置に対して、比較的大きめの背景画像を表示することで、カードの絵を読み取るために必要な撮影画像の濃淡を取得することが出来る。
【0050】
次にキャラクタ画像の位置が検出されたことにより、キャラクタ画像の位置を中心にカードを包囲するモニタ画面の表示領域に背景画像を表示させた状態で、撮像手段により撮像を行いカードの描画領域からカードの絵を読み取る方式でもよい。