特開 2024-18507 検査装置および視野角検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024018507

(43)【公開日】2024-02-08

(54)【発明の名称】検査装置および視野角検査方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240201BHJP

   G06T 7/00 20170101ALI20240201BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 610

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022121891

(22)【出願日】2022-07-29

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】矢田 亮太郎

(72)【発明者】

【氏名】竹中 文明

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA11

5L096BA03

5L096CA04

5L096DA02

5L096EA43

5L096FA02

5L096FA60

5L096FA67

5L096FA69

5L096GA51

5L096JA11

(57)【要約】

【課題】筐体に取り付けられたマーカの視野角を検査するための技術を提供する。
【解決手段】撮影画像取得部２３２は、複数のマーカを備えた筐体を撮影した画像を取得する。推定処理部２４０は、撮影画像に含まれる複数のマーカ像にもとづいて、筐体の位置および姿勢を推定する。マーカ特定部２６０は、推定した筐体の位置および姿勢から、撮影画像に含まれるマーカ像に対応するマーカを特定する。視野角検査部２６２は、特定したマーカに対して設計された中心軸を用いてマーカの視野角を検査する。
【選択図】図８

【特許請求の範囲】

【請求項1】

検査装置であって、ハードウェアを有する１つ以上のプロセッサを備え、
前記１つ以上のプロセッサは、
複数のマーカを備えた筐体を撮影した画像を取得し、
撮影画像に含まれる複数のマーカ像にもとづいて、筐体の位置および姿勢を推定し、
推定した筐体の位置および姿勢から、撮影画像に含まれるマーカ像に対応するマーカを特定し、
特定したマーカに対して設計された中心軸を用いてマーカの視野角を検査する、
検査装置。

【請求項2】

前記１つ以上のプロセッサは、
輝度値が所定値以上のマーカ像に対応するマーカを特定する、
請求項１に記載の検査装置。

【請求項3】

前記１つ以上のプロセッサは、
マーカ像に対応するマーカの識別情報を特定し、
設計された中心軸と、撮像装置とマーカとを結ぶ直線とがなす角度を取得して、取得した角度を、マーカの識別情報に紐付けてメモリに記録する、
請求項１に記載の検査装置。

【請求項4】

前記１つ以上のプロセッサは、
メモリに記録された角度にもとづいてマーカの視野角を特定する、
請求項３に記載の検査装置。

【請求項5】

前記１つ以上のプロセッサは、
運動機構を制御して、筐体を撮像装置に対して相対的に運動させる、
請求項１に記載の検査装置。

【請求項6】

複数のマーカを備えた筐体を撮影した画像を取得し、
撮影画像に含まれる複数のマーカ像にもとづいて、筐体の位置および姿勢を推定し、
推定した筐体の位置および姿勢から、撮影画像に含まれるマーカ像に対応するマーカを特定し、
特定したマーカに対して設計された中心軸を用いてマーカの視野角を検査する、
視野角検査方法。

【請求項7】

コンピュータに、
複数のマーカを備えた筐体を撮影した画像を取得する機能と、
撮影画像に含まれる複数のマーカ像にもとづいて、筐体の位置および姿勢を推定する機能と、
推定した筐体の位置および姿勢から、撮影画像に含まれるマーカ像に対応するマーカを特定する機能と、
特定したマーカに対して設計された中心軸を用いてマーカの視野角を検査する機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、筐体に設けられたマーカの視野角を検査するための技術に関する。

【背景技術】

【0002】

近年、デバイスの位置や姿勢をトラッキングして、ＶＲ空間の３Ｄモデルに反映させる技術が普及している。ゲーム装置が、ゲーム空間のプレイヤキャラクタの動きをデバイスの位置や姿勢の変化に連動させることで、ユーザによる直観的なゲーム操作が実現される。特許文献１は、複数のＬＥＤ（Light Emitting Diode）マーカを備えたデバイスを撮影した画像からマーカ像の代表座標を特定し、マーカ像の代表座標を用いてデバイスの位置および姿勢を導出する技術を開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１８１３２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

トラッキング対象となるデバイスにおいて、点灯するマーカは、その中心軸が設計された方向を向くように筐体に取り付けられる必要がある。マーカの中心軸が設計された方向からずれていると、設計された視野角を実現できないために、トラッキング処理中に撮像装置が当該マーカを撮影できない状況が生じうる。また、マーカの明るさや光の放射強度の偏りもマーカの視野角を狭める要因となっている。そのため製造工程においてはマーカの視野角が適切であるか検査して、適切な視野角をもたないマーカを搭載したデバイスは、不良品として取り扱われる必要がある。

【0005】

たとえば、ロボットアームなどの運動機構を制御してデバイスの姿勢を変化させながら撮像装置でデバイスを撮影し、撮影時の運動機構の制御値を自動的に取得してデバイスの姿勢を算出できる検査装置を作製することで、製造工程でマーカの視野角を検査することは可能と考えられる。しかしながら、このような検査装置では、デバイスと撮像装置との相対的位置関係を厳密に固定または管理する必要があり、また撮影時の運動機構の制御値を自動取得する仕組みを構築しなければならず、コストがかかるという問題がある。

【0006】

そこで本開示は、比較的簡易に点灯マーカの視野角を検査するための技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本開示のある態様の検査装置は、複数のマーカを備えた筐体を撮影した画像を取得する撮影画像取得部と、撮影画像に含まれる複数のマーカ像にもとづいて、筐体の位置および姿勢を推定する推定処理部と、推定した筐体の位置および姿勢から、撮影画像に含まれるマーカ像に対応するマーカを特定するマーカ特定部と、特定したマーカに対して設計された中心軸を用いてマーカの視野角を検査する視野角検査部とを備える。

【0008】

本開示の別の態様の視野角検査方法は、複数のマーカを備えた筐体を撮影した画像を取得し、撮影画像に含まれる複数のマーカ像にもとづいて、筐体の位置および姿勢を推定し、推定した筐体の位置および姿勢から、撮影画像に含まれるマーカ像に対応するマーカを特定し、特定したマーカに対して設計された中心軸を用いてマーカの視野角を検査する。

【0009】

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本開示の態様として有効である。

【図面の簡単な説明】

【0010】

【図1】入力デバイスを使用するゲームシステムの構成例を示す図である。

【図2】入力デバイスの形状を示す図である。

【図3】右手用の入力デバイスの形状を示す図である。

【図4】マーカ単体の視野角を説明するための図である。

【図5】筐体に設けられたマーカの視野角を説明するための図である。

【図6】入力デバイスの機能ブロックを示す図である。

【図7】検査システムの構成例を示す図である。

【図8】検査装置の機能ブロックを示す図である。

【図9】視野角検査処理を示すフローチャートである。

【図10】入力デバイスを撮影した画像の一例を示す図である。

【図11】撮影画像における複数の画素の例を示す図である。

【図12】各マーカ像に対応するマーカＩＤを特定した状態を示す図である。

【図13】視野角検査部が取得するマーカ角度を示す図である。

【図14】全てのマーカについて取得したマーカ角度を示す図である。

【発明を実施するための形態】

【0011】

実施例において、検査対象は、複数のＬＥＤマーカを搭載し、ユーザにより把持されてゲーム操作の入力に使用されるデバイスである。以下、ＬＥＤマーカの視野角の検査手法を説明する前に、ゲームシステムにおける入力デバイスの使用態様を説明する。

【0012】

図１は、入力デバイス１６を使用するゲームシステム１の構成例を示す。ゲームシステム１は、ユーザが手指で操作する入力デバイス１６ａ、１６ｂ（以下、特に区別しない場合は「入力デバイス１６」と呼ぶ）と、ゲーム装置１０と、記録装置１１と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、画像および音声を出力する出力装置１５とを備える。記録装置１１は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。

【0013】

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ゲーム装置１０はゲームソフトウェアを実行して、ゲームの画像データおよび音声データをＨＭＤ１００に供給する。ゲーム装置１０とＨＭＤ１００とは既知の無線通信プロトコルで接続されてもよく、またケーブルで接続されてもよい。ＨＭＤ１００を装着したユーザにとって出力装置１５は必要ないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。

【0014】

ゲーム装置１０と入力デバイス１６とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。入力デバイス１６は操作ボタンなどの複数の操作部材を備え、ユーザは入力デバイス１６を把持しながら、手指で操作部材を操作する。ゲーム装置１０がゲームソフトウェアを実行する際、入力デバイス１６はゲームコントローラとして利用される。入力デバイス１６は、３軸の加速度センサおよび３軸のジャイロセンサを含む慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を備え、所定の周期（たとえば８００Ｈｚ）でセンサデータをゲーム装置１０に送信する。

【0015】

ゲームソフトウェアは、入力デバイス１６の操作部材の操作情報だけでなく、入力デバイス１６の動きを操作情報として取り扱って、仮想３次元空間内におけるプレイヤキャラクタの動きに反映する。たとえば入力デバイス１６の動きは、プレイヤキャラクタを動かすための操作情報として利用されてよい。

【0016】

入力デバイス１６の位置および姿勢をトラッキングするために、入力デバイス１６には、ＨＭＤ１００に搭載された撮像装置１４によって撮影される複数の点灯マーカが設けられる。ゲーム装置１０は、入力デバイス１６を撮影した画像を解析して、実空間における入力デバイス１６の位置および姿勢を推定し、推定した位置および姿勢をゲーム操作情報としてゲームソフトウェアに提供する。

【0017】

図２（ａ）は、左手用の入力デバイス１６ａの形状を示す。左手用の入力デバイス１６ａは、筐体２０と、ユーザが操作する複数の操作部材２２ａ、２２ｂ、２２ｃ、２２ｄ（以下、特に区別しない場合は「操作部材２２」と呼ぶ）と、筐体２０の外部に光を出射する複数のマーカ３０とを備える。マーカ３０は断面円形の出射面を有してよい。操作部材２２は、傾動操作するアナログスティック、押下式ボタンなどを含んでよい。筐体２０は、把持部２１と、筐体頭部と筐体底部とを連結する湾曲部２３を有し、ユーザは湾曲部２３に左手を入れて、把持部２１を把持する。ユーザは把持部２１を把持した状態で、左手の親指を用いて、操作部材２２ａ、２２ｂ、２２ｃ、２２ｄを操作する。

【0018】

図２（ｂ）は、右手用の入力デバイス１６ｂの形状を示す。右手用の入力デバイス１６ｂは、筐体２０と、ユーザが操作する複数の操作部材２２ｅ、２２ｆ、２２ｇ、２２ｈ（以下、特に区別しない場合は「操作部材２２」と呼ぶ）と、筐体２０の外部に光を出射する複数のマーカ３０とを備える。筐体２０は、把持部２１と、筐体頭部と筐体底部とを連結する湾曲部２３を有し、ユーザは湾曲部２３に右手を入れて、把持部２１を把持する。ユーザは把持部２１を把持した状態で、右手の親指を用いて、操作部材２２ｅ、２２ｆ、２２ｇ、２２ｈを操作する。

【0019】

図３は、右手用の入力デバイス１６ｂの形状を示す。入力デバイス１６ｂは、図２（ｂ）に示した操作部材２２ｅ、２２ｆ、２２ｇ、２２ｈに加えて、操作部材２２ｉ、２２ｊを有する。ユーザは把持部２１を把持した状態で、右手の人差し指を用いて操作部材２２ｉを操作し、中指を用いて操作部材２２ｊを操作する。

【0020】

マーカ３０は、筐体２０の外部に光を出射する光出射部であり、ＬＥＤ（Light Emitting Diode）素子などの光源を有する。筐体２０の表面には樹脂部が形成され、樹脂部は、光源からの光を外部に拡散出射する。マーカ３０は撮像装置１４により撮影されて、入力デバイス１６の位置および姿勢の推定処理に利用されるため、広い視野角を有する必要がある。

【0021】

図４は、マーカ単体の視野角を説明するための図である。この例では、マーカ３０がＬＥＤ素子３２と樹脂部３４を含んで構成される。マーカ３０において、ＬＥＤ素子３２を点灯したときに最も強く光る方向を「中心軸」と呼ぶと、マーカ３０単体の視野角は、マーカ３０の中心軸に対する角度として定義され、実施例ではマーカ３０単体の視野角が８０°に設計されている。ゲームシステム１では、撮像装置１４が筐体２０に設けられたマーカ３０を撮影したときに、撮影画像に含まれるマーカ像が、マーカ像であることを特定されるために必要な輝度を有する必要がある。実施例でマーカ３０単体の視野角は、１ｍの距離からマーカ３０を撮像装置１４で撮影したときに、撮影画像に含まれるマーカ像がトラッキング処理に必要な輝度をもつ範囲の角度として定義される。

【0022】

図５は、筐体に設けられたマーカの視野角を説明するための図である。マーカ３０においては、その中心軸がマーカ３０が設けられる筐体面に垂直な方向を向くように、ＬＥＤ素子３２が筐体２０内に取り付けられることが設計されている。以下、筐体面に垂直な方向を「設計された中心軸」とも呼ぶ。入力デバイス１６の製造工程において、ＬＥＤ素子３２が所定の姿勢で筐体内の所定位置に取り付けられることで、マーカ３０の中心軸が設計された中心軸と重なる。

【0023】

図５（ａ）は、ＬＥＤ素子３２が設計どおりに筐体２０に取り付けられている状態を示す。ＬＥＤ素子３２が設計どおりに筐体２０に取り付けられていれば、マーカ３０の中心軸は、設計された中心軸に重なり、筐体２０に設けられたマーカ３０の視野角は、設計値である８０°を示す。したがって設計された中心軸と、撮像装置１４とマーカ３０とを結ぶ直線のなす角度が視野角（８０°）以内であれば、当該マーカ３０は撮像装置１４により適切に撮影されて、トラッキング処理に有効に利用される。なお当然ではあるが、撮像装置１４の画角内にマーカ３０が含まれていることが前提である。

【0024】

図５（ｂ）は、ＬＥＤ素子３２が設計された姿勢とは異なる姿勢で筐体２０に取り付けられている状態を示す。ＬＥＤ素子３２は、設計された取付姿勢に対して斜めに筐体２０に取り付けられており、したがってマーカ３０の中心軸（実際の中心軸）は、設計された中心軸に対して傾き、図５（ｂ）に示す例では反時計回りに２０°傾いている。そのため図５（ｂ）における右側の視野角は６０°となり、設計値である８０°より狭くなっている。入力デバイス１６の製造工程においては、筐体２０に取り付けられたマーカ３０の視野角を検査して、視野角が設計値よりも狭くなっている入力デバイス１６を不良品として特定する必要がある。

【0025】

図６は、入力デバイス１６の機能ブロックを示す。制御部５０は、操作部材２２に入力された操作情報を受け付け、またＩＭＵ５２により取得されたセンサデータを受け付ける。ＩＭＵ５２は慣性計測装置であって、入力デバイス１６の動きに関するセンサデータを取得し、３軸の加速度センサおよび３軸のジャイロセンサを含む。ＩＭＵ５２は、所定の周期（たとえば８００Ｈｚ）で各軸成分の値（センサデータ）を検出する。制御部５０は、操作情報およびセンサデータを通信制御部５４に供給する。通信制御部５４は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により操作情報およびセンサデータをゲーム装置１０に送信する。また通信制御部５４は、ゲーム装置１０から発光指示を取得する。

【0026】

入力デバイス１６は、ＬＥＤ素子３２を含むマーカ３０を複数備える。ＬＥＤ素子３２は、所定の色で発光する光源であってよいが、複数色で発光する光源であってもよい。制御部５０は、ゲーム装置１０から取得した発光指示にもとづいてＬＥＤ素子３２を発光させ、マーカ３０を点灯させる。なお図６に示す例では、１つのマーカ３０に対して１つのＬＥＤ素子３２が設けられているが、１つのＬＥＤ素子３２が、複数のマーカ３０を点灯させてもよい。

【0027】

以下、製造工程において、入力デバイス１６に設けられたマーカ３０の視野角を検査する手法について説明する。
図７は、検査システム２００の構成例を示す。検査システム２００は、少なくとも１台の撮像装置２０２、検査装置２１０および運動機構２１２を備えて、入力デバイス１６に設けられたマーカ３０の視野角を検査する。撮像装置２０２は、所定の周期で入力デバイス１６を撮影して、入力デバイス１６を撮影した画像を検査装置２１０に送信する。

【0028】

撮像装置２０２は、光軸を入力デバイス１６に向けて、画角内に入力デバイス１６を入れた状態で、入力デバイス１６から約１ｍ離れた位置に配置される。複数の撮像装置２０２は、互いに離れた位置に配置されることが好ましい。検査装置２１０は、入力デバイス１６を撮影した画像を解析して、実空間における入力デバイス１６の位置および姿勢を推定し、マーカ３０に対して設計された中心軸を用いてマーカ３０の視野角を検査する。

【0029】

視野角の検査中、運動機構２１２は、入力デバイス１６を、撮像装置２０２に対して相対的に運動させる。実施例で運動機構２１２はロボットアームを有し、入力デバイス１６はロボットアームの先端に固定されてよい。検査装置２１０は、ロボットアームを駆動するアクチュエータを制御して、入力デバイス１６の姿勢を変更する運動を行わせる。このとき検査装置２１０は、入力デバイス１６の重心位置を維持しつつ、入力デバイス１６の姿勢を変更する運動を行わせてもよい。なお運動機構２１２は、入力デバイス１６を動かさずに、入力デバイス１６と撮像装置２０２の距離を維持しつつ、撮像装置２０２を動かしてもよい。

【0030】

入力デバイス１６の３次元形状と、その表面に配置された複数のマーカ３０の位置座標は既知であるため、検査装置２１０は、撮影画像内のマーカ像の分布にもとづいて、入力デバイス１６の位置および姿勢を推定できる。検査装置２１０は、さらに入力デバイス１６のＩＭＵ５２が検出したセンサデータも用いて、入力デバイス１６の位置および姿勢を推定する機能を有してもよい。この場合、検査装置２１０は、カルマンフィルタを利用した状態推定技術を適用して、撮影画像にもとづく推定結果と、センサデータにもとづく推定結果を統合することで、現在時刻における入力デバイス１６の位置および姿勢を高精度に特定してもよい。

【0031】

図８は、検査装置２１０の機能ブロックを示す。検査装置２１０は、処理部２２０、通信部２２２およびメモリ２７０を備え、処理部２２０は、取得部２３０、画像信号処理部２３６、推定処理部２４０、マーカ情報保持部２５０、マーカ特定部２６０、視野角検査部２６２および運動制御部２６４を備える。通信部２２２は、撮像装置２０２から送信される撮影画像を受信し、取得部２３０に供給する。また通信部２２２は、入力デバイス１６から送信されるセンサデータを受信し、取得部２３０に供給する。

【0032】

取得部２３０は、撮影画像取得部２３２およびセンサデータ取得部２３４を備える。推定処理部２４０は、マーカ像座標特定部２４２、マーカ像座標抽出部２４４および位置姿勢導出部２４６を備える。推定処理部２４０は、撮影画像に含まれる複数のマーカ像にもとづいて、入力デバイス１６の位置および姿勢を推定する。なお実施例では説明を省略するが、推定処理部２４０は、撮影画像にもとづいて推定される入力デバイス１６の位置および姿勢と、センサデータにもとづいて推定される入力デバイス１６の位置および姿勢とをカルマンフィルタに入力することで、入力デバイス１６の位置および姿勢を高精度に推定してもよい。推定処理部２４０は、推定した入力デバイス１６の位置および姿勢をマーカ特定部２６０に提供する。

【0033】

検査装置２１０はコンピュータを備え、コンピュータがプログラムを実行することによって、図８に示す様々な機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図８に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

【0034】

以下、検査装置２１０が、１つの撮像装置２０２から提供される撮影画像を用いて、入力デバイス１６の位置および姿勢を推定する処理について説明する。
撮影画像取得部２３２は、複数のマーカ３０を備えた入力デバイス１６を撮影した画像データを取得し、画像信号処理部２３６に供給する。画像信号処理部２３６は、画像データにノイズ低減や光学補正（シェーディング補正）などの画像信号処理を行い、高画質化した撮影画像データを推定処理部２４０に供給する。センサデータ取得部２３４は、入力デバイス１６から送信されるセンサデータを取得し、推定処理部２４０に供給する。

【0035】

マーカ像座標特定部２４２は、撮影画像に含まれるマーカ３０の像を代表する２次元座標（以下、「マーカ像座標」とも呼ぶ）を特定する。マーカ像座標特定部２４２は、所定値以上の輝度値をもつ画素が連続する領域を特定し、その画素領域の重心座標を算出して、マーカ像の代表座標としてよい。

【0036】

３次元の形状および大きさが既知である物体の撮影画像から、それを撮影した撮像装置の位置および姿勢を推定する手法として、ＰＮＰ（Perspective n-Point）問題を解く方法が知られている。実施例でマーカ像座標抽出部２４４は、撮影画像におけるＮ（Ｎは３以上の整数）個の２次元マーカ像座標を抽出し、位置姿勢導出部２４６は、マーカ像座標抽出部２４４により抽出されたＮ個のマーカ像座標と、入力デバイス１６の３次元モデルにおけるＮ個のマーカの３次元座標から、入力デバイス１６の位置および姿勢を導出する。位置姿勢導出部２４６は、以下の（式１）を用いて入力デバイス１６の３次元空間の位置および姿勢を導出する。

【数1】

【0037】

ここで（ｕ，ｖ）は撮影画像におけるマーカ像座標であり、（Ｘ，Ｙ，Ｚ）は、入力デバイス１６の３次元モデルが基準位置および基準姿勢にあるときのマーカ３０の３次元空間での位置座標である。なお３次元モデルは、入力デバイス１６と完全に同一の形状および大きさをもち、マーカを同一位置に配置したモデルである。マーカ情報保持部２５０は、基準位置および基準姿勢にある３次元モデルにおける各マーカの３次元座標を、各マーカの識別情報（マーカＩＤ）に対応付けて保持しており、位置姿勢導出部２４６は、マーカ情報保持部２５０から各マーカの３次元座標を読み出して、（Ｘ，Ｙ，Ｚ）を取得する。

【0038】

（ｆ_ｘ、ｆ_ｙ）は撮像装置２０２の焦点距離、（ｃ_ｘ、ｃ_ｙ）は画像主点であり、いずれも撮像装置２０２の内部パラメータである。ｒ_１１～ｒ_３３、ｔ_１～ｔ_３を要素とする行列は、回転・並進行列である。（式１）において（ｕ，ｖ）、（ｆ_ｘ、ｆ_ｙ）、（ｃ_ｘ、ｃ_ｙ）、（Ｘ，Ｙ，Ｚ）は既知であり、位置姿勢導出部２４６は、Ｎ個のマーカ３０について方程式を解くことにより、それらに共通の回転・並進行列を求める。位置姿勢導出部２４６は、この行列によって表される角度および並進量に基づいて、入力デバイス１６の位置および姿勢を導出する。実施例では、入力デバイス１６の位置姿勢を推定する処理をＰ３Ｐ問題を解くことで実施し、したがって位置姿勢導出部２４６は、３個のマーカ像座標と、入力デバイス１６の３次元モデルにおける３個の３次元マーカ座標を用いて、入力デバイス１６の位置および姿勢を導出する。

【0039】

図９は、処理部２２０による視野角検査処理を示すフローチャートである。撮影画像取得部２３２は、入力デバイス１６を撮影した画像を取得し（Ｓ１０）、画像信号処理部２３６に供給する。

【0040】

図１０は、入力デバイス１６を撮影した画像の一例を示す。実施例の撮影画像はグレースケール画像であり、各画素の輝度は８ビットで表現されて、０～２５５の輝度値をとる。撮影画像においてマーカ像は、図１０の略中央領域に示すように高輝度をもつ像として撮影される。画像信号処理部２３６は、撮影画像に対して、ノイズ低減や光学補正などの画像信号処理を行い、画像信号処理した画像データをマーカ像座標特定部２４２に供給する（Ｓ１２）。

【0041】

図１１は、撮影画像における複数の画素の例を示す。以下の図１１、図１２、図１４では、見やすさを優先して、各画素の輝度表現を反転（白黒を反転）させている。したがって図１１、図１２、図１４で黒は輝度値２５５（最高の輝度値）を、白は輝度値０（最低の輝度値）を表現する。マーカ像座標特定部２４２は、所定値以上の輝度値をもつ画素が連続する領域をマーカ像として特定する。図１１に示す例で、マーカ像座標特定部２４２は、６個のマーカ像を特定する。マーカ像座標特定部２４２は、マーカ像の画素領域の重心座標を算出して、マーカ像の代表座標（マーカ像座標）を特定する（Ｓ１４）。

【0042】

マーカ像座標抽出部２４４は、マーカ像座標特定部２４２により特定された複数のマーカ像座標の中から、任意の３個のマーカ像座標を抽出する。マーカ情報保持部２５０は、基準位置および基準姿勢にある入力デバイス１６の３次元モデルにおける各マーカの３次元座標を保持している。位置姿勢導出部２４６は、マーカ情報保持部２５０から３次元モデルにおけるマーカの３次元座標を読み出し、（式１）を用いてＰ３Ｐ問題を解く。位置姿勢導出部２４６は、抽出された３個のマーカ像座標に共通する回転・並進行列を特定すると、抽出した３個のマーカ像座標以外の入力デバイス１６のマーカ像座標を用いて再投影誤差を算出する。

【0043】

マーカ像座標抽出部２４４は、３個のマーカ像座標の組合せを所定数抽出する。位置姿勢導出部２４６は、抽出された３個のマーカ像座標のそれぞれの組合せに対して回転・並進行列を特定し、それぞれの再投影誤差を算出する。それから位置姿勢導出部２４６は、所定数の再投影誤差の中から最小の再投影誤差となる回転・並進行列を特定して、入力デバイス１６の位置および姿勢を導出し、マーカ特定部２６０に供給する（Ｓ１６）。

【0044】

入力デバイス１６の位置および姿勢が分かることで、マーカ特定部２６０は、撮影画像に含まれる複数のマーカ像に対応するマーカ３０を特定する（Ｓ１８）。上記したようにマーカ情報保持部２５０は、基準位置および基準姿勢にある３次元モデルにおける各マーカの３次元座標を保持しており、マーカ特定部２６０は、各マーカの３次元座標を参照することで、現在の入力デバイス１６の位置および姿勢で撮影されたマーカ３０を特定できる。このときマーカ特定部２６０は、輝度値が所定値以上のマーカ像に対応するマーカ３０を特定してよい。なおマーカ特定部２６０が採用する輝度値の基準は、マーカ像座標特定部２４２がマーカ像を特定するために採用した輝度値の基準と同じであってよいが、異なっていてもよい。

【0045】

図１１に示す撮影画像には、輝度値が所定値以上の６個のマーカ像が含まれており、マーカ特定部２６０は、各マーカ像に対応するマーカ３０を特定する。マーカ情報保持部２５０は、マーカの識別情報（マーカＩＤ）に対応付けて３次元座標を保持しており、したがってマーカ特定部２６０は、マーカ像に対応するマーカ３０の識別情報を特定する。
図１２は、マーカ特定部２６０が各マーカ像に対応するマーカＩＤを特定した状態を示す。

【0046】

実施例のマーカ情報保持部２５０は、マーカＩＤに対応付けて３次元座標を保持するだけでなく、マーカに対して設計された中心軸（図５（ａ）（ｂ）参照）に関する情報を保持している。設計された中心軸に関する情報は、３次元モデルが基準位置および基準姿勢にあるときの、マーカの３次元座標を基点とする３次元ベクトルであってよく、マーカが設けられる筐体面に垂直な方向を示す。マーカ特定部２６０は、マーカ像に対応するマーカ３０のマーカＩＤを特定することで、当該マーカ３０に対して設計された中心軸に関する情報を取得する。

【0047】

視野角検査部２６２は、マーカ３０に対して設計された中心軸を用いてマーカ３０の視野角を検査する。ここで視野角検査部２６２は、各マーカ３０について、設計された中心軸と、撮像装置２０２とマーカ３０とを結ぶ直線とがなす角度（マーカ角度）を取得して（Ｓ２０）、取得したマーカ角度をマーカＩＤに紐付けてメモリ２７０に記録する（Ｓ２２）。

【0048】

図１３は、視野角検査部２６２が取得するマーカ角度を示す。この例で視野角検査部２６２は、ＩＤ６のマーカ３０に対して設計された中心軸と、撮像装置２０２とマーカ３０とを結ぶ直線とがなす角度（マーカ角度）を取得する。視野角検査部２６２は、入力デバイス１６の位置および姿勢からＩＤ６のマーカ３０に対して設計された中心軸の方向を特定して、当該中心軸方向と、撮像装置２０２とマーカ３０とを結ぶ直線とがなすマーカ角度を取得してよい。

【0049】

図１３に示す例では、マーカ３０について取得されたマーカ角度４５°が、マーカＩＤ（ＩＤ６）に紐付けてメモリ２７０に記録される。このことは、図１３に示す撮像装置２０２とマーカ３０との位置関係において、ＩＤ６のマーカ３０の視野角が、少なくとも４５°以上あることを意味する。視野角検査部２６２は、撮影画像に含まれる全てのマーカ像に対応するマーカ３０のマーカ角度を取得して、メモリ２７０に記録する。
図１４は、全てのマーカ３０について取得したマーカ角度を示す。

【0050】

視野角の検査工程は、撮像装置２０２の撮影周期（６０フレーム／秒）で実施される。この検査工程において、運動制御部２６４は、所定の運動プログラムにしたがって運動機構２１２を制御して、入力デバイス１６の姿勢を変化させる（Ｓ２４のＮ）。図７に示す検査システム２００では複数の撮像装置２０２が設けられており、複数の撮像装置２０２の撮影画像を用いて視野角の検査工程を実施することで、検査効率を高めることができる。

【0051】

運動制御部２６４は、複数の撮像装置２０２により、各マーカ３０が様々な姿勢で撮影されるように入力デバイス１６に運動を与える。検査中、視野角検査部２６２は、撮影されたマーカ３０に対して設計された中心軸と、撮像装置２０２とマーカ３０とを結ぶ直線とがなす角度（マーカ角度）を取得し、取得したマーカ角度をマーカＩＤに紐付けてメモリ２７０に記録する。したがってメモリ２７０には、マーカＩＤに紐付けて複数のマーカ角度が記録される。運動制御部２６４が運動プログラムにしたがった運動機構２１２の制御を終了すると（Ｓ２４のＹ）、検査装置２１０によるマーカ角度の算出処理は終了する。

【0052】

視野角検査部２６２は、マーカＩＤに紐付けてメモリ２７０に記録された複数のマーカ角度にもとづいてマーカ３０の視野角を特定し、マーカ３０の視野角を検査する（Ｓ２６）。たとえば視野角検査部２６２は、マーカＩＤに紐付けて記録された複数のマーカ角度のうち、最大のマーカ角度を、当該マーカ３０の視野角として特定してよい。視野角検査部２６２は、入力デバイス１６に搭載されている全てのマーカ３０の視野角を特定して、視野角が設計値である８０°に満たないマーカ３０が存在する場合に、入力デバイス１６が不良品であることを判定してもよい。

【0053】

なお図５（ｂ）に示すように、ＬＥＤ素子３２が傾いて取り付けられている場合には、マーカ３０を見る向き（撮影する向き）によって、視野角が異なることが生じうる。そこで視野角検査部２６２は、メモリ２７０にマーカ角度を記録する際にマーカ３０を撮影した向きも記録しておき、マーカ３０を撮影した向きごとに、当該マーカ３０の視野角を特定してもよい。

【0054】

以上のように、実施例によると、入力デバイス１６の位置および姿勢をトラッキングすることで、入力デバイス１６に取り付けられたマーカ３０の視野角を算出するため、視野角検査を簡易に実施できる利点がある。

【0055】

以上、本開示を実施例をもとに説明した。上記実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。実施例では製造工程において検査装置２１０が筐体２０に設けられたマーカ３０の視野角を検査したが、検査装置２１０の機能がゲーム装置１０またはＨＭＤ１００に組み込まれて、ユーザのゲームプレイ中に、ゲーム装置１０またはＨＭＤ１００が、筐体２０に設けられたマーカ３０の視野角を検査してもよい。

【符号の説明】

【0056】

１６ａ，１６ｂ・・・入力デバイス、２０・・・筐体、３０・・・マーカ、３２・・・ＬＥＤ素子、３４・・・樹脂部、５０・・・制御部、５２・・・ＩＭＵ、５４・・・通信制御部、２００・・・検査システム、２０２・・・撮像装置、２１０・・・検査装置、２１２・・・運動機構、２２０・・・処理部、２２２・・・通信部、２３０・・・取得部、２３２・・・撮影画像取得部、２３４・・・センサデータ取得部、２３６・・・画像信号処理部、２４０・・・推定処理部、２４２・・・マーカ像座標特定部、２４４・・・マーカ像座標抽出部、２４６・・・位置姿勢導出部、２５０・・・マーカ情報保持部、２６０・・・マーカ特定部、２６２・・・視野角検査部、２６４・・・運動制御部、２７０・・・メモリ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】