特許 6647956 情報処理システム、画像処理装置、情報処理プログラムおよび情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6647956

(24)【登録日】2020年1月17日

(45)【発行日】2020年2月14日

(54)【発明の名称】情報処理システム、画像処理装置、情報処理プログラムおよび情報処理方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20200203BHJP

   H04N 5/225 20060101ALI20200203BHJP

【ＦＩ】

   H04N5/232

   H04N5/225 600

【請求項の数】25

【全頁数】27

(21)【出願番号】特願2016-90359(P2016-90359)

(22)【出願日】2016年4月28日

(65)【公開番号】特開2017-200090(P2017-200090A)

(43)【公開日】2017年11月2日

【審査請求日】2019年3月19日

(73)【特許権者】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】100090181

【弁理士】

【氏名又は名称】山田 義人

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】西川 猛司

(72)【発明者】

【氏名】小笠原 嘉泰

(72)【発明者】

【氏名】下畠 康幸

(72)【発明者】

【氏名】田中 祐輝

【審査官】 庄司 琴美

(56)【参考文献】

【文献】 特開２０１６−００４２０８（ＪＰ，Ａ）

【文献】 特開２０１５−００１８３５（ＪＰ，Ａ）

【文献】 特開２００４−３０４７１８（ＪＰ，Ａ）

【文献】 特開２０１１−１１８４６５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／００２８８６１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

赤外線を発光する発光手段、
前記発光手段の駆動および停止を制御する制御手段、
赤外線画像を撮像する撮像手段、
前記制御手段によって前記発光手段が駆動されているときに前記撮像手段によって撮像された第１赤外線画像を取得する第１取得手段、
前記制御手段によって前記発光手段が停止されているときに前記撮像手段によって撮像された第２赤外線画像を取得する第２取得手段、
前記第１取得手段によって取得された前記第１赤外線画像の第１分析結果と前記第２取得手段によって取得された前記第２赤外線画像の第２分析結果とを比較する比較手段、および
前記比較手段の比較結果に基づいて前記撮像手段によって撮像される赤外線画像のノイズ状況を推測する推測手段を備える、情報処理システム。

【請求項2】

前記発光手段の発光方向と前記撮像手段の撮像方向は実質的に一致する、請求項１記載の情報処理システム。

【請求項3】

前記第１分析結果は前記第１赤外線画像の明るさに関する第１の明るさ情報を含み、
前記第２分析結果は前記第２赤外線画像の明るさに関する第２の明るさ情報を含み、
前記比較手段は、前記第１の明るさ情報と前記第２の明るさ情報を比較する、請求項１または２記載の情報処理システム。

【請求項4】

前記第１の明るさ情報は前記第１赤外線画像における所定値以上の輝度を有する第１画素数の情報を含み、
前記第２の明るさ情報は前記第２赤外線画像における前記所定値以上の輝度を有する第２画素数の情報を含む、請求項３記載の情報処理システム。

【請求項5】

前記第１の明るさ情報は前記第１赤外線画像における所定範囲の画素についての輝度値を平均した第１平均値の情報を含み、
前記第２の明るさ情報は前記第２赤外線画像における所定範囲の画素についての輝度値を平均した第２平均値の情報を含む、請求項３記載の情報処理システム。

【請求項6】

前記第１の明るさ情報は前記第１赤外線画像における所定範囲の画素についての輝度値を平均した第１平均値の情報をさらに含み、
前記第２の明るさ情報は前記第２赤外線画像における所定範囲の画素についての輝度値を平均した第２平均値の情報をさらに含み
前記推測手段は、前記第１画素数の情報および前記第２画素数の情報に基づいてノイズ状況を推測するとともに、前記第１平均値の情報および前記第２平均値の情報に基づいてノイズ状況を推測する、請求項４記載の情報処理システム。

【請求項7】

前記比較手段は、前記第１の明るさ情報と前記第２の明るさ情報を用いて、前記撮像手段によって撮像される赤外線画像に関する評価値を算出する評価値算出手段を含み、
前記推測手段は、前記評価値算出手段によって算出された評価値に応じてノイズ状況を推測する、請求項５または６記載の情報処理システム。

【請求項8】

前記評価値算出手段によって算出された評価値に基づいて、所定の処理を実行するかどうかを判断する第１判断手段をさらに備える、請求項７記載の情報処理システム。

【請求項9】

前記第１判断手段は、前記撮像手段の出力の利用の可否および所定の内容の報知の可否
の少なくとも一方を判断する、請求項８記載の情報処理システム。

【請求項10】

前記第１判断手段は、前記評価値算出手段によって算出される１または複数の前記評価値に基づいて、前記所定の処理を実行するかどうかを判断する、請求項８または９記載の情報処理システム。

【請求項11】

前記第１判断手段は、前記複数の評価値を平均した第３平均値が所定の第１条件を満たす場合に、前記所定の処理を実行することを判断する、請求項１０記載の情報処理システム。

【請求項12】

前記第１判断手段による判断を繰り返し実行し、
前記第３平均値は、前記評価値算出手段によって前記評価値が算出される度に、所定期間における前記複数の評価値を平均して算出される、請求項１１記載の情報処理システム。

【請求項13】

前記第１判断手段は、前記１または複数の評価値のいずれか１つでも前記第１条件を満たさない場合に、前記所定の処理を実行しないことを判断する、請求項１１記載の情報処理システム。

【請求項14】

前記第１判断手段は、前記複数の評価値のうちの連続して算出される所定数の当該評価値が前記第１条件を満たさない場合に、前記所定の処理を実行しないことを判断する、請求項１１記載の情報処理システム。

【請求項15】

前記第１平均値または前記第２平均値が前記第１条件よりも緩和された所定の第２条件を満たすかどうかで前記所定の処理を実行するかどうかを判断する第２判断手段をさらに備え、
前記第１判断手段によって前記所定の処理を実行しないことが判断された場合に、前記第２判断手段によって前記所定の処理を実行するかどうかを判断する、請求項１１ないし１４のいずれかに記載の情報処理システム。

【請求項16】

前記第１判断手段によって前記所定の処理を実行しないことが判断された場合に、前記第２判断手段によって前記所定の処理を実行するかどうかを判断する、請求項１５記載の情報処理システム。

【請求項17】

前記第１平均値または前記第２平均値が前記第１条件よりも緩和された所定の第２条件を満たすかどうかで前記所定の処理を実行するかどうかを判断する第２判断手段をさらに備え、
前記第２判断手段によって前記所定の処理を実行することが判断された場合に、前記第１判断手段によって前記所定の処理を実行するかどうかを判断する、請求項１１ないし１４記載の情報処理システム。

【請求項18】

前記比較手段の比較結果に基づいて、前記撮像手段によって撮像された赤外線画像を用いた所定の処理を実行するかどうかを決定する決定手段をさらに備える、請求項１または２記載の情報処理システム。

【請求項19】

前記比較手段の比較結果に基づいて所定の内容を報知する報知手段をさらに備える、請求項１ないし１８のいずれかに記載の情報処理システム。

【請求項20】

前記報知手段は、前記所定の内容を表示手段に表示する、請求項１９記載の情報処理システム。

【請求項21】

前記推測手段は、少なくとも前記第１取得手段によって取得された第１赤外線画像のノイズ状況を推測する、請求項１ないし２０のいずれかに記載の情報処理システム。

【請求項22】

赤外線が発光されている場合に撮像された第１赤外線画像の第１分析結果と前記赤外線が発光されていない場合に撮像された第２赤外線画像の第２分析結果とを比較する比較手段、および
前記比較手段の比較結果に基づいて撮像された赤外線画像のノイズ状況を推測する推測手段を備える、画像処理装置。

【請求項23】

赤外線を発光する発光手段、
前記発光手段の駆動および停止を制御する制御手段、
赤外線画像を撮像する撮像手段、
前記制御手段によって前記発光手段が駆動されているときに前記撮像手段によって撮像された前記第１赤外線画像を取得する第１取得手段、および
前記制御手段によって前記発光手段が停止されているときに前記撮像手段によって撮像された前記第２赤外線画像を取得する第２取得手段をさらに備える、請求項２２記載の画像処理装置。

【請求項24】

赤外線を発光する発光装置および赤外線画像を撮像する撮像装置を備えるコンピュータの情報処理プログラムであって、
前記コンピュータを、
前記発光装置の駆動および停止を制御する制御手段、
前記制御手段において前記発光装置を駆動しているときに前記撮像装置によって撮像された第１赤外線画像を取得する第１取得手段、
前記制御手段において前記発光装置を停止しているときに前記撮像装置によって撮像された第２赤外線画像を取得する第２取得手段、
前記第１取得手段において取得した前記第１赤外線画像の第１分析結果と前記第２取得手段において取得した前記第２赤外線画像の第２分析結果を比較する比較手段、および
前記比較手段の比較結果に基づいて前記撮像装置によって撮像される赤外線画像のノイズ状況を推測する推測手段として機能させる、情報処理プログラム。

【請求項25】

赤外線を発光する発光装置および赤外線画像を撮像する撮像装置を備える情報処理システムの情報処理方法であって、
（ａ）前記発光装置の駆動および停止を制御するステップ、
（ｂ）前記ステップ（ａ）において前記発光装置を駆動しているときに前記撮像装置によって撮像された第１赤外線画像を取得するステップ、
（ｃ）前記ステップ（ａ）において前記発光装置を停止しているときに前記撮像装置によって撮像された第２赤外線画像を取得するステップ、
（ｄ）前記ステップ（ｂ）において取得した前記第１赤外線画像の第１分析結果と前記ステップ（ｃ）おいて取得した前記第２赤外線画像の第２分析結果を比較するステップ、および
（ｅ）前記ステップ（ｄ）の比較結果に基づいて前記撮像装置によって撮像される赤外線画像のノイズ状況を推測するステップを有する、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は情報処理システム、画像処理装置、情報処理プログラムおよび情報処理方法に関し、特にたとえば、赤外線センサの出力を用いて情報処理を実行する、情報処理システム、画像処理装置、情報処理プログラムおよび情報処理方法に関する。

【背景技術】

【0002】

背景技術の一例が特許文献１に開示される。この特許文献１に開示されるゲーム装置は、複数の赤外線センサを含む位置検出部を備え、各赤外線センサは、赤外線をプレイヤに対して発射し、プレイヤに当たって反射された赤外線を検知する。各赤外線センサの検知信号は、プレイヤ位置決定手段に出力され、実空間におけるプレイヤの位置が決定される。ゲームにおいては、たとえば、実空間におけるプレイヤの位置が仮想空間におけるプレイヤの位置に変換される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−１８１１３７号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の特許文献１に開示されたゲーム装置では、赤外線センサを用いて実空間におけるプレイヤの位置を決定し、これを仮想空間におけるプレイヤの位置に変換するため、プレイヤに当たって反射される赤外線を正しく検知する必要がある。このため、このようなゲーム装置は、通常、太陽光等のノイズの影響を受け難い屋内などの場所ないし位置に設置される。

【0005】

また、この特許文献１に開示されるゲーム装置は、設置された後では移動されることがほとんど無く、また、設置された位置ないし場所における太陽光等のノイズの影響が変化することもほとんど無い。したがって、特許文献１のゲーム装置では、赤外線センサの検知信号を実空間におけるプレイヤの位置を決定するような情報処理に常に利用できることが前提となっており、設置場所または／およびノイズの影響の変化によって、赤外線センサの出力を情報処理に利用できるかどうかを判断することおよび赤外線センサの出力を情報処理に利用できない場合の対応については何ら想定されていない。

【0006】

たとえば、携帯型のゲーム装置に赤外線センサを設けて、ユーザの手指または顔（頭部）のような体の一部を検出し、または、ユーザが把持または装着した所定の物体を検出し、その検出結果を用いてゲーム処理を実行するような場合には、ゲーム装置を使用する位置ないし場所によっては、太陽光等のノイズの影響が大きいことがある。このような場合には、ユーザの体の一部を正しく検出できないことがある。その結果、赤外線センサの出力を用いたゲーム処理を実行することができない場合がある。または、赤外線センサの出力を用いたゲーム処理を実行することができたとしても、開発者等が意図しないゲーム処理が実行されてしまう場合もある。

【0007】

それゆえに、この発明の主たる目的は、新規な、情報処理システム、画像処理装置、情報処理プログラムおよび情報処理方法を提供することである。

【0008】

また、この発明の他の目的は、赤外線センサの出力の利用の可否を判断することができる、情報処理システム、画像処理装置、情報処理プログラムおよび情報処理方法を提供することである。

【課題を解決するための手段】

【0009】

第１の発明は、発光手段、制御手段、撮像手段、第１取得手段、第２取得手段、比較手段および推測手段を備える、情報処理システムである。発光手段は、赤外線を発光する。制御手段は、発光手段の駆動および停止を制御する。撮像手段は、赤外線画像を撮像する。第１取得手段は、制御手段によって発光手段が駆動されているときに撮像手段によって撮像された第１赤外線画像を取得する。第２取得手段は、制御手段によって発光手段が停止されているときに撮像手段によって撮像された第２赤外線画像を取得する。比較手段は、第１取得手段によって取得された第１赤外線画像の第１分析結果と第２取得手段によって取得された第２赤外線画像の第２分析結果とを比較する。推測手段は、比較手段の比較結果に基づいて撮像手段によって撮像される赤外線画像のノイズ状況を推測する。

【0010】

第１の発明によれば、赤外線画像のノイズ状況を推測するので、ノイズ状況に応じて、撮像手段のような赤外線センサの出力を情報処理に利用できるかどうかを判断することができる。その結果、赤外線センサの出力を用いた情報処理の実行を事前に中止することができる。また、赤外線センサの出力を用いた処理を除く情報処理を実行することができる。

【0011】

第２の発明は、第１の発明に従属し、発光手段の発光方向と撮像手段の撮影方向は実質的に一致する。したがって、発光手段から発光された赤外線が反射した光を含む赤外画像が撮像手段で撮像される。

【0012】

第２の発明によれば、少なくとも発光手段と撮像手段を有するユニットを使用するユーザの体の一部を含む赤外線画像を撮影することができる。

【0013】

第３の発明は、第１または第２の発明に従属し、第１分析結果は第１赤外線画像の明るさに関する第１の明るさ情報を含み、第２分析結果は第２赤外線画像の明るさに関する第２の明るさ情報を含む。比較手段は、第１の明るさ情報と第２の明るさ情報を比較する。

【0014】

第３の発明によれば、赤外線画像の明るさに関する情報を比較するだけなので、ノイズ状況の推測が簡単である。

【0015】

第４の発明は、第３の発明に従属し、第１の明るさ情報は、第１赤外線画像における所定値以上の輝度を有する第１画素数についての情報を含む。第２の明るさ情報は、第２赤外線画像における所定値以上の輝度を有する第２画素数についての情報を含む。

【0016】

第４の発明によれば、画素単位で所定値以上の輝度を有するかどうかを判断した結果に基づいてノイズ状況を推測するので、ノイズ状況を比較的正確に推測することができる。

【0017】

第５の発明は、第３の発明に従属し、第１の明るさ情報は、第１赤外線画像における所定範囲（全画素または或る領域）の画素についての輝度値を平均した第１平均値についての情報を含む。第２の明るさ情報は、第２赤外線画像における所定範囲の画素についての輝度値を平均した第２平均値についての情報を含む。

【0018】

第５の発明によれば、赤外線画像の所定範囲の画素についての輝度値を平均した平均値を算出するようにしても、ノイズ状況を推測することができる。

【0019】

第６の発明は、第４の発明に従属し、第１の明るさ情報は第１赤外線画像における所定範囲の画素についての輝度値を平均した第１平均値の情報をさらに含み、第２の明るさ情報は第２赤外線画像における所定範囲の画素についての輝度値を平均した第２平均値の情報をさらに含む。推測手段は、第１画素数の情報および第２画素数の情報に基づいてノイズ状況を推測するとともに、第１平均値の情報および第２平均値の情報に基づいてノイズ状況を推測する。たとえば、いずれか一方の推測結果を採用してもよいし、両方の推測結果を複合してもよい。

【0020】

第６の発明においても、ノイズ状況を推測することができる。

【0021】

第７の発明は、第５または第６の発明に従属し、比較手段は、第１の明るさ情報と第２の明るさ情報を用いて、撮像手段によって撮像される赤外線画像に関する評価値を算出する評価値算出手段を含む。推測手段は、評価値算出手段によって算出された評価値に応じてノイズ状況を推測する。

【0022】

第７の発明によれば、評価値に基づいてノイズ状況を推測するので、ノイズ状況の推測が簡単である。

【0023】

第８の発明は、第７の発明に従属し、第１判断手段をさらに備える。第１判断手段は、評価値算出手段によって算出された評価値に基づいて、所定の処理を実行するかどうかを判断する。所定の処理は、たとえば、情報処理（アプリケーション処理）とは異なる処理または情報処理の一部の処理である。以下、同様である。

【0024】

第８の発明によれば、評価値に基づいて所定の処理を実行するかどうかを簡単に判断することができる。

【0025】

第９の発明は、第８の発明に従属し、第１判断手段は、撮像手段の出力の利用の可否および所定の内容の報知の可否の少なくとも一方を判断する。

【0026】

第１０の発明は、第８または第９の発明に従属し、第１判断手段は、評価値算出手段によって算出される１または複数の評価値に基づいて、所定の処理を実行するかどうかを判断する。

【0027】

第１０の発明によれば、１または複数の評価値に基づいて所定の処理を実行するかどうかを判断するので、たとえば、所定の処理の内容に応じて当該所定の処理を実行するかどうかを適切に判断することができる。

【0028】

第１１の発明は、第１０の発明に従属し、第１判断手段は、複数の評価値を平均した第３平均値が所定の第１条件を満たす場合に、所定の処理を実行することを判断する。

【0029】

第１１の発明によれば、複数の評価値を平均した平均値を算出するので、評価値の一時的な変動によって誤った判断を下してしまうのを防止することができる。

【0030】

第１２の発明は、第１１の発明に従属し、システム起動時または情報処理プログラムの開始時のみならず、第１判断手段による判断を繰り返し実行する。この場合、第３平均値は、評価値算出手段によって評価値が算出される度に、所定期間における複数の評価値を平均して算出される。つまり、評価値の移動平均が算出される。

【0031】

第１２の発明によれば、評価値の移動平均を算出するので、所定の処理を実行するかどうかを判断するかどうかをリアルタイムに判断することができる。

【0032】

第１３の発明は、第１１の発明に従属し、第１判断手段は、１または複数の評価値のいずれか１つでも第１条件を満たさない場合に、所定の処理を実行しないことを判断する。

【0033】

第１３の発明によれば、たとえば、ノイズの影響を受け易い所定の処理を実行する場合に、当該所定の処理を実行するかどうかを適切に判断することができる。

【0034】

第１４の発明は、第１１の発明に従属し、第１判断手段は、複数の評価値のうちの連続して算出される所定数の当該評価値が第１条件を満たさない場合に、所定の処理を実行しないことを判断する。

【0035】

第１４の発明によれば、評価値の一時的な変動によって誤った判断を下してしまうのを防止することができる。

【0036】

第１５の発明は、第１１ないし第１４の発明のいずれかに従属し、第２判断手段をさらに備える。第２判断手段は、第１平均値または第２平均値が第１条件よりも緩和された第２条件を満たすかどうかで所定の処理を実行するかどうかを判断する。第１判断手段によって所定の処理を実行しないことが判断された場合に、第２判断手段によって所定の処理を実行するかどうかを判断する。

【0037】

第１５の発明によれば、２段階で所定の処理を実行するかどうかを判断することができる。

【0038】

第１６の発明は、第１５の発明に従属し、第１判断手段によって所定の処理を実行しないことが判断された場合に、第２判断手段によって所定の処理を実行するかどうかを判断する。

【0039】

第１６の発明によれば、たとえば、赤外線画像に含まれるノイズが比較的多い場合であっても、第２判断手段の判断結果によって、所定の処理を実行できる場合がある。

【0040】

第１７の発明は、第１１ないし第１４の発明のいずれかに従属し、第１平均値または第２平均値が第１条件よりも緩和された所定の第２条件を満たすかどうかで所定の処理を実行するかどうかを判断する第２判断手段をさらに備える。第２判断手段によって所定の処理を実行することが判断された場合に、第１判断手段によって所定の処理を実行するかどうかを判断する。したがって、第２判断手段によって所定の処理を実行しないことが判断された場合には、第１判断処理による判断処理は実行しない。

【0041】

第１７の発明によれば、第２判断手段によって所定の処理を実行しないことが判断された場合には、第１判断処理による判断処理は実行しないので、不要な処理が実行されるのを回避することができる。したがって、プロセッサの処理負荷を軽減することができる。

【0042】

第１８の発明は、第１または第２の発明に従属し、決定手段をさらに備える。決定手段は、比較手段の比較結果に基づいて、撮像手段によって撮像された赤外線画像を用いた所定の処理を実行するかどうかを決定する。

【0043】

第１８の発明によれば、所定の処理を実行するかどうかを判断するので、赤外線画像に含まれるノイズが多い場合には、所定の処理を実行しないことを決定することができる。

【0044】

第１９の発明は、第１ないし第１８の発明のいずれかに従属し、報知手段を備える。報知手段は、比較手段の比較結果に基づいて所定の内容を報知する。たとえば、所定の内容は、ノイズ状況または／および撮像手段の使用の可否である。

【0045】

第１９の発明によれば、所定の内容を報知するので、ユーザは撮像装置を用いた処理が実行できるかどうかを知ることができる。

【0046】

第２０の発明は、第１９の発明に従属し、報知手段は、所定の内容を表示手段に表示する。たとえば、所定の内容についてのメッセージが表示される。

【0047】

第２０の発明によれば、ユーザは所定の内容を視認することができる。

【0048】

第２１の発明は、第１ないし２０の発明のいずれかに従属し、推測手段は、少なくとも第１取得手段によって取得された第１赤外線画像のノイズ状況を推測する。

【0049】

第２２の発明は、比較手段および推測手段を備える画像処理装置である。比較手段は、赤外線が発光されている場合に撮像された第１赤外線画像の第１分析結果と赤外線が発光されていない場合に撮像された第２赤外線画像の第２分析結果とを比較する。推測手段は、比較手段の比較結果に基づいて撮像された赤外線画像のノイズ状況を推測する。

【0050】

第２３の発明は、第２２の発明に従属し、赤外線を発光する発光手段、発光手段の駆動および停止を制御する制御手段、赤外線画像を撮像する撮像手段、制御手段によって発光手段が駆動されているときに撮像手段によって撮像された第１赤外線画像を取得する第１取得手段、および制御手段によって発光手段が停止されているときに撮像手段によって撮像された第２赤外線画像を取得する第２取得手段をさらに備える。

【0051】

第２４の発明は、赤外線を発光する発光装置および赤外線画像を撮像する撮像装置を備えるコンピュータの情報処理プログラムである。この情報処理プログラムは、コンピュータを、制御手段、第１取得手段、第２取得手段、比較手段および推測手段として機能させる。制御手段は、発光装置の駆動および停止を制御する。第１取得手段は、制御手段において発光装置を駆動しているときに撮像装置によって撮像された第１赤外線画像を取得する。第２取得手段は、制御手段において発光装置を停止しているときに撮像装置によって撮像された第２赤外線画像を取得する。比較手段は、第１取得手段において取得した第１赤外線画像の第１分析結果と第２取得手段において取得した第２赤外線画像の第２分析結果を比較する。推測手段は、比較手段の比較結果に基づいて撮像装置によって撮像される赤外線画像のノイズ状況を推測する。

【0052】

第２５の発明は、赤外線を発光する発光装置および赤外線画像を撮像する撮像装置を備える情報処理システムの情報処理方法であって、（ａ）発光装置の駆動および停止を制御するステップ、（ｂ）ステップ（ａ）において発光装置を駆動しているときに撮像装置によって撮像された第１赤外線画像を取得するステップ、（ｃ）ステップ（ａ）において発光装置を停止しているときに撮像装置によって撮像された第２赤外線画像を取得するステップ、（ｄ）ステップ（ｂ）において取得した第１赤外線画像の第１分析結果とステップ（ｃ）おいて取得した第２赤外線画像の第２分析結果を比較するステップ、および（ｅ）ステップ（ｄ）の比較結果に基づいて撮像装置によって撮像される赤外線画像のノイズ状況を推測するステップを有する、情報処理方法である。

【0053】

第２２、第２４および第２５の発明においても、第１の発明と同様に、赤外線センサの出力を情報処理に利用できるかどうかを判断することができる。

【発明の効果】

【0054】

この発明によれば、撮像した赤外線画像のノイズ状況を推測するので、赤外線画像を用いた情報処理の実行の可否を知ることができる。つまり、赤外線センサの出力を情報処理に利用できるかどうかを判断することができる。

【0055】

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

【図面の簡単な説明】

【0056】

【図1】図１は情報処理装置の電気的な構成の限定しない一例を示すブロック図である。

【図2】図２（Ａ）は、ノイズによる影響が少ない場合において、赤外ＬＥＤのオン時における赤外線画像の限定しない一例であり、図２（Ｂ）は、ノイズによる影響が少ない場合において、赤外ＬＥＤのオフ時における赤外線画像の限定しない一例であり、そして、図２（Ｃ）は図２（Ａ）に示すオン時の赤外線画像と図２（Ｂ）に示すオフ時の赤外線画像の差分画像を示す図解図である。

【図3】図３（Ａ）は、ノイズによる影響が多い場合において、赤外ＬＥＤのオン時における赤外線画像の限定しない他の例であり、図３（Ｂ）は、ノイズによる影響が多い場合において、赤外ＬＥＤのオフ時における赤外線画像の限定しない他の例であり、そして、図３（Ｃ）は図３（Ａ）に示すオン時の赤外線画像と図３（Ｂ）に示すオフ時の赤外線画像の差分画像の例を示す図解図である。

【図4】図４は図１に示したＲＡＭのメモリマップについての限定しない一例を示す図解図である。

【図5】図５は図１に示した画像処理回路の判断制御処理の限定しない一例の一部を示すフロー図である。

【図6】図６は図１に示した画像処理回路の判断制御処理の限定しない一例の他の一部であって、図５に後続するフロー図である。

【図7】図７は図１示した画像処理回路の判断制御処理の限定しない他の例の一部であって、図５に後続するフロー図である。

【図8】図８は図１に示した画像処理回路の判断制御処理のその他の例の一部であって、図５に示すスタートとステップＳ１との間に設けられるフロー図である。

【図9】図９は情報処理システムの電気的な構成の限定しない一例を示すブロック図である。

【発明を実施するための形態】

【0057】

［第１実施例］
図１を参照して、限定しない一例の情報処理装置１０はプロセッサ１２を含み、このプロセッサ１２には、ＬＣＤ１４、スピーカ１６、入力装置１８、ＲＡＭ２０、フラッシュメモリ２２および撮像装置２４が接続される。また、情報処理装置１０は、赤外ＬＥＤ２６を含み、赤外ＬＥＤ２６は撮像装置２４（画像処理回路２４ｄ）に接続される。

【0058】

プロセッサ１２は、情報処理装置１０の全体的な制御を司る。ＬＣＤ１４は、プロセッサ１２から出力される画像データに対応する画面ないし画像を表示するための表示装置である。この第１実施例では、ＬＣＤ１４を設けてあるが、有機ＥＬディスプレイを設けるようにしてもよい。スピーカ１６は、プロセッサ１２から出力される音声データをアナログの音声信号に変換して出力する。入力装置１８は、情報処理装置１０に設けられるハードウェアの操作手段であって、プッシュボタン、十字ボタン、スライドスイッチおよびタッチパネルのうちの少なくとも一つを含む。

【0059】

ＲＡＭ２０は、揮発性の記憶装置であり、プロセッサ１２および画像処理回路２４ｄのワーキング領域およびバッファ領域として使用される。フラッシュメモリ２２は、不揮発性の記憶装置であり、情報処理装置１０で実行されるプログラム（情報処理プログラムまたはアプリケーションプログラム）およびセーブデータなどを記憶する。

【0060】

撮像装置２４は、画像処理装置としても機能し、赤外線画像を撮像（撮影）し、撮影した赤外線画像に対応する画像データに基づく所定の処理を実行し、所定の処理を実行した結果をプロセッサ１２に与える。この撮像装置２４は、赤外線センサとも呼ばれ、赤外線フィルタ２４ａ、レンズ２４ｂ、撮像素子２４ｃおよび画像処理回路２４ｄを含む。ただし、撮像装置２４と赤外ＬＥＤ２６を有する装置を赤外線センサと呼ぶこともある。

【0061】

赤外線フィルタ２４ａは、可視光線を遮断し、赤外線のみを透過させる。レンズ２４ｂは、赤外線フィルタ２４ａを透過した赤外線を集光して撮像素子２４ｃへ入射させる。撮像素子２４ｃは、例えばＣＭＯＳセンサやあるいはＣＣＤのような固体撮像素子であり、レンズ２４ｂが集光した赤外線を撮像する。したがって、撮像素子２４ｃは、赤外線フィルタ２４ａを透過した赤外線だけを撮像（撮影）して画像（赤外線画像）を生成する。撮像素子２４ｃによって生成された赤外線画像は、図示しないＡ／Ｄ変換器でデジタルの画像データに変換され、画像処理回路２４ｄで所定の処理を施される。画像処理回路２４ｄは、たとえば、ＤＳＰで構成され、ＲＡＭ２０に記憶されたプログラムに従って所定の処理を実行する。所定の処理については、後で詳細に説明するが、この第１実施例では、情報処理（アプリケーション処理）に用いられる処理結果（センサ出力）を得るための第１処理と、情報処理において、少なくとも画像処理回路２４ｄ（撮像装置２４）の出力を情報処理に利用できるかどうかを判断するための第２処理とを含む。

【0062】

赤外ＬＥＤ２６は、赤外線（赤外光）を発する（発光する）ＬＥＤであって、画像処理回路２４ｄ（ＤＳＰ）によって点灯および消灯を制御される。

【0063】

なお、情報処理装置１０の外観構成についての図示および説明は省略するが、たとえば、撮像装置２４および赤外ＬＥＤ２６は、撮像装置２４の撮像面と赤外ＬＥＤ２６の発光面が情報処理装置１０の筐体の同一面に配置されるように、設けられる。つまり、撮像装置２４の撮影方向と赤外ＬＥＤ２６から照射される赤外線の方向（発光方向）とは一致する。ただし、撮影方向と発光方向は完全に一致する必要は無く、多少のずれは許容される。つまり、撮影方向と発光方向とは実質的に（略）一致すれば良い。

【0064】

また、図１に示す情報処理装置１０は一例であり、限定されるべきでない。たとえば、情報処理装置１０の向き（姿勢）または／および動きを検出するためのセンサが設けられてもよい。このようなセンサとしては、加速度センサまたは／およびジャイロセンサを適用することができる。

【0065】

このような構成の情報処理装置１０では、プロセッサ１２から撮像装置２４に撮影指示が与えられると、撮影終了の指示が与えられるまで、定期的（たとえば、０．５フレーム毎）に撮影処理が実行される。この撮影処理が定期的に実行されるタイミングに合わせて、赤外ＬＥＤ２６のオン／オフが制御される。したがって、撮像装置２４（画像処理回路２４ｄ）では、赤外ＬＥＤ２６がオンの場合の赤外線画像と、赤外ＬＥＤ２６がオフの赤外線画像が交互に取得される。ただし、フレームは、ＬＣＤ１４に表示される画面を更新する場合の単位時間であり、たとえば、１フレームは１／３０秒または１／６０秒である。

【0066】

画像処理回路２４ｄは、連続して撮影される、赤外ＬＥＤ２６がオンの場合の赤外線画像（以下、「第１赤外線画像」と呼ぶことがある）と赤外ＬＥＤ２６がオフの場合の赤外線画像（以下、「第２赤外線画像」と呼ぶことがある）の差分を算出することにより、差分の画像（差分画像）に含まれる、たとえば、情報処理装置１０のユーザの手指または顔（頭部）を認識し、差分画像において、認識した手指または顔（頭部）に対応する位置の座標データをプロセッサ１２に与える。このように、第１赤外線画像および第２赤外線画像を取得し、それらの差分画像を算出して、ユーザの体の一部の画像に対応する位置の座標データをプロセッサ１２に与える処理が第１処理である。

【0067】

ただし、ユーザの手指または顔のような体の一部に限定される必要はなく、第１赤外線画像および第２赤外線画像に基づいて、ユーザが把持または装着した所定の物体を認識し、認識した所定の物体に対応する位置の座標データをプロセッサ１２に与える場合もある。

【0068】

たとえば、図２（Ａ）には、赤外ＬＥＤ２６がオンである場合（オン時）の第１赤外線画像１００の一例が示される。この第１赤外線画像１００では、黒で示す部分ないし領域が暗い（輝度が低い）部分ないし領域であり、白で示す部分ないし領域が明るい（輝度が高い）部分ないし領域である。このことは、他の赤外線画像および差分画像についても同じである。

【0069】

図２（Ａ）に戻って、この第１赤外線画像１００では、その中央にユーザの掌の画像が含まれ、掌の周囲の一部に、ノイズによる画像が含まれている。ただし、掌の画像は、赤外ＬＥＤ２６から照射された赤外線がユーザの掌で反射した反射光に基づく画像である。また、たとえば、情報処理装置１０が屋内に在る場合には、ノイズは、典型的には、窓から差し込む太陽光または／および部屋の蛍光灯の光によって生じる。ただし、屋内には、間接照明、ダウンライト、赤外線ストーブなど、赤外線（赤外光）を発するノイズ源は他にも存在する。また、情報処理装置１０が屋外に在る場合には、ノイズは、太陽光によって生じる。

【0070】

図２（Ｂ）には、赤外ＬＥＤ２６がオフである場合（オフ時）の第２赤外線画像１５０の一例が示される。ただし、撮像装置２４の撮像対象（被写体）は、赤外ＬＥＤ２６がオンの場合とオフの場合とで実質的に同じである。

【0071】

図２（Ｂ）に示す第２赤外線画像１５０では、赤外ＬＥＤ２６がオフであるため、赤外ＬＥＤ２６からの赤外線が掌で反射されることはない。したがって、太陽光または蛍光灯の光によるノイズだけが第２赤外線画像１５０に含まれる。図２（Ｂ）からも分かるように、図２（Ａ）−図２（Ｃ）の例では、ノイズによる影響が比較的少ない場合について示してある。

【0072】

図２（Ｃ）は、図２（Ａ）に示す第１赤外線画像１００と図２（Ｂ）に示す第２赤外線画像１５０の差分画像２００である。図２（Ｃ）に示すように、差分画像２００では、ノイズが消去され、掌の画像が含まれる。

【0073】

このように取得された掌（明るい部分）の画像に対応する位置の座標データがプロセッサ１２に与えられ、プロセッサ１２で実行される情報処理プログラムの処理に利用される。

【0074】

また、上記の情報処理プログラムは、一例として、ゲームプログラムであるが、これに限定される必要は無い。赤外線画像に基づく処理を実行するプログラムであれば、ユーザ認証プログラム、文書作成プログラム、電子メールプログラム、お絵描きプログラム、文字練習プログラム、語学トレーニングプログラム、学習プログラムなどの他のプログラムでもよい。

【0075】

図２（Ａ）−図２（Ｃ）に示す例では、第１赤外線画像１００と第２赤外線画像１５０の差分画像２００を算出して、ノイズを除去することができる。つまり、撮像装置２４（画像処理回路２４ｄ）は、ノイズ除去機能を有しており、当該機能が働いていることを示す。

【0076】

一方、ノイズ除去機能が有るが、太陽光または／および蛍光灯の光が強い場合には、ノイズによる影響が大きいため、赤外線画像の全体が白くなってしまう。この場合には、撮像装置２４のノイズ除去機能は働かない。

【0077】

図３（Ａ）および図３（Ｂ）に示すように、太陽光または／および蛍光灯の光が強い場合には、赤外ＬＥＤ２６をオンした場合とオフした場合のいずれの場合にも、全体的に高輝度の赤外線画像（１００、１５０）が得られる。したがって、かかる場合には、図３（Ｃ）に示すように、差分画像２００は、真っ暗になってしまう。これでは、ユーザの手指または／および頭部のような身体の一部を検知または認識して、情報処理装置１０で実行される情報処理に利用することができない。

【0078】

したがって、このような場合には、少なくとも赤外線センサの出力を利用した情報処理を実行することができない状態であることをユーザに報知する必要がある。たとえば、撮像装置２４が、赤外線センサの出力を利用した情報処理を実行できないことをプロセッサ１２に通知（出力）すると、プロセッサ１２は、赤外線センサの出力を利用した情報処理を実行できない旨のメッセージをＬＣＤ１４に表示する。ただし、メッセージは、音声によってスピーカ１６から出力されてもよいし、メッセージに代えて、警告音（通知音）がスピーカ１６から出力されてもよい。ただし、情報処理の内容によっては、赤外線センサの出力を利用した情報処理を実行できない状態であることを撮像装置２４からプロセッサ１２に通知されるだけでもよい場合もあると考えられる。

【0079】

ただし、上記のような内容を報知することに代えて、または、上記のような内容を報知するとともに、赤外線センサの出力を利用した情報処理を実行するためには、太陽光等のノイズの影響を受け難い場所に移動すべきことを報知するようにしてもよい。

【0080】

このため、この第１実施例では、情報処理装置１０は、赤外線センサの検出結果を利用したプログラム（情報処理プログラム）を実行する場合には、たとえば、当該プログラムからの要求に応じて、赤外線センサの出力を利用した処理（情報処理）を実行することが可能であるかどうかを判断するようにしてある。つまり、赤外線センサの出力の利用の可否が判断されるのである。ただし、赤外線センサの出力を利用した情報処理を実行することができない場合には、上述したように、そのことを報知するようにしてあるため、赤外線センサの出力を利用した情報処理を実行することができない状態であることをユーザに報知するかどうかを判断しているとも言える。また、場合によっては、赤外線センサを使用できるかどうかを判断しているとも言えるし、赤外線センサの出力を利用した情報処理の進行を停止（または継続）させるかどうかを判断しているとも言える。

【0081】

このような判断は、赤外線センサで検出（撮影）される赤外線画像に関する評価と言うこともできる。たとえば、赤外線センサで検出（撮影）される赤外線画像のノイズの状況（ノイズ状況）が推測される（ノイズ状況の評価が行われる）。以下、具体的な判断方法について説明するが、この判断方法についての処理が上記の第２処理である。

【0082】

画像処理回路２４ｄは、赤外ＬＥＤ２６をオンしたときに撮像された第１赤外線画像を取得するとともに、赤外ＬＥＤ２６をオフしたときに撮像された第２赤外線画像を取得する。第１赤外線画像および第２赤外線画像のそれぞれについて、画素毎に、輝度の数値が所定の閾値ｓを超えているかどうかを判断する。そして、画像処理回路２４ｄは、第1赤外線画像について、輝度の数値（輝度値）が所定の閾値ｓを超えている画素の数（以下、「第１画素数」という）Ａを検出（算出）する。同様に、画像処理回路２４ｄは、第２赤外線画像について、輝度値が所定の閾値ｓを超えている画素の数（以下、「第２画素数」という）Ｂを検出（算出）する。つまり、太陽光等のノイズが数値化される。

【0083】

この第１実施例では、輝度値は、０〜２５５の数値で表現され、輝度の最大値（最も明るい）は２５５であり、輝度の最小値（最も暗い）は０である。また、所定の閾値ｓは、実験等によって経験的に得られる数値であり、画素（画像）が明るいかどうかを判断するための基準値であり、たとえば、２００に設定される。

【0084】

なお、この第１実施例の赤外線センサに代えて他のセンサが使用される場合には、輝度値の範囲および基準値は他の数値が設定されることもある。つまり、上記の輝度値の範囲を示す数値および基準値は単なる一例であり、限定されるべきでない。

【0085】

第２画素数Ｂは太陽光等のノイズにより明るくされた画素の数である。したがって、第１画素数Ａから第２画素数Ｂを減算し、減算した結果（Ａ−Ｂ）を第１画素数Ａで除算することにより、０〜１の間で正規化された赤外線画像に関する赤外線センサの出力の利用の可否を評価するための数値（以下、「信頼度」ということにする）Ｒを算出することができる。ただし、上述したように、信頼度Ｒは、赤外線センサで検出された赤外線画像に関する評価を行うための数値ということもできる。つまり、信頼度Ｒは数１に従って算出される。

【0086】

［数１］
Ｒ＝（Ａ−Ｂ）／Ａ
なお、ノイズが無い理想的な環境においては、第２画素数Ｂは０であり、数１からも分かるように、信頼度Ｒは１（最大値）となる。また、第２画素数Ｂが第１画素数Ａに近づくに連れて、信頼度Ｒは０（最小値）に近づく。図３（Ａ）および図３（Ｂ）に示した例では、第１画素数Ａは第２画素数Ｂと等しく、信頼度Ｒは０である。

【0087】

この第１実施例では、信頼度Ｒが所定の閾値ｒを超えている場合には、赤外線センサの出力を情報処理に利用できると判断し、信頼度Ｒが所定の閾値ｒ以下である場合には、赤外線センサの出力を情報処理に利用できないと判断する。

【0088】

ただし、閾値ｒは、赤外線センサの出力を情報処理に利用できるかどうかを判断するための基準値であり、実験等によって決定される。また、閾値ｒは、赤外線センサの検出結果を利用するプログラムの種類（情報処理の内容）によって可変的に設定される。一例として、閾値ｒは０．７に設定される。さらに、この第１実施例では、信頼度Ｒが閾値ｒを超える場合に、赤外線センサの出力を情報処理に利用できると判断してあるが、信頼度Ｒが閾値ｒ以上である場合に、赤外線センサの出力を情報処理に利用できると判断するようにしてもよい。

【0089】

また、この第１実施例では、信頼度Ｒを算出するようにしてあるが、裏を返せば、赤外線画像のノイズ状況を検出（推測）しているとも言える。つまり、信頼度Ｒが高い場合には、ノイズが少なく、信頼度Ｒが低い場合には、ノイズが多い。したがって、閾値ｒは、赤外線画像に含まれるノイズが多いか少ないかを判断するための値ということもできる。

【0090】

このように、この第１実施例では、取得（撮影）した第１赤外線画像および第２赤外線画像に基づいて、赤外線画像におけるノイズ状況を推測するため、第１赤外線画像および第２赤外線画像の各々についてノイズ状況を推測していると考えることができる。ただし、情報処理装置１０は、第１赤外線画像に含まれるユーザの体の一部またはユーザが把持ないし装着した所定の物体を検出した検出結果を情報処理に利用するため、厳密に言うと、第１赤外線画像におけるノイズ状況が推測される。

【0091】

また、この第１実施例では、既に取得（撮影）した第１赤外線画像および第２赤外線画像に基づいて信頼度Ｒ（または、後述する「平均値Ｒｍ」）を算出するため、過去の赤外線画像におけるノイズ状況を推測していると言える。一方で、推測という意味においては、直前に取得した第１赤外線画像および第２赤外線画像に基づいて、現在撮影している赤外線画像またはこれから（次に）撮影する赤外線画像におけるノイズ状況を推測しているとも言える。

【0092】

上記のように、数１に従って信頼度Ｒを算出することができるが、一時的（局所的）に信頼度Ｒが変動することがあるため、この第１実施例では、所定時間（たとえば、１秒）において算出されたｉ個の信頼度Ｒの平均値Ｒｍを算出し、この平均値Ｒｍが上記の閾値ｒを超えるかどうかを判断するようにしてある。

【0093】

なお、平均値Ｒｍを算出する場合には、すべての信頼度Ｒを用いても良いし、著しく他の信頼度Ｒと異なる値を示す信頼度Ｒを除いても良い。また、平均値Ｒｍに限定される必要はなく、他の代表値を用いるようにしても良い。他の代表値としては、中央値または最頻値が該当する。

【0094】

また、平均値Ｒｍの算出および閾値ｒを用いた判断は、情報処理装置１０の起動時または情報処理プログラムの実行（開始）時に、一回実行されるだけではなく、赤外線センサが駆動（動作）中である場合には、常に実行される。したがって、情報処理装置１０が屋内から屋外に持ち出されたときに、赤外線センサの出力を情報処理に利用できなくなったことをリアルタイムにユーザに報知することが可能である。逆に、情報処理装置１０が屋外から屋内に持ち込まれたときに、赤外線センサの出力を利用できるようになったことをリアルタイムにユーザに報知することも可能である。

【0095】

さらに、この第１実施例では、赤外線画像に含まれる全画素について輝度の数値が所定の閾値ｓを超えているかどうかを判断して、当該赤外線画像の全体の明るさに関する情報を算出（検出）するようにしてあるが、これに限定される必要はない。たとえば、赤外線画像のうちの一部の画素について輝度の数値が所定の閾値ｓを超えているかどうかを判断して、当該赤外線画像の全体の明るさに関する情報を算出するようにしてもよい。

【0096】

図４は図１に示したＲＡＭ２０のメモリマップ３００の一例を示す図解図である。図４に示すように、ＲＡＭ２０は、プログラム記憶領域３０２およびデータ記憶領域３０４を含む。プログラム記憶領域３０２には、ゲームプログラムなどの情報処理プログラム（アプリケーションプログラム）が記憶される。たとえば、情報処理プログラムは、情報処理装置１０に電源が投入された後の適宜のタイミングでフラッシュメモリ２２からその一部または全部が読み出されてＲＡＭ２０に記憶される。

【0097】

なお、情報処理プログラムは、フラッシュメモリ２２に代えて、情報処理装置１０に着脱可能なメモリまたは光ディスクから取得されても良いし、情報処理装置１０とは別の情報処理装置（コンピュータ）から、直接的にまたはネットワークを介して取得（ダウンロード）されてもよい。

【0098】

この第１実施例では、情報処理プログラムは、メイン処理プログラム３０２ａ、画像生成プログラム３０２ｂ、画像表示プログラム３０２ｃ、点灯制御プログラム３０２ｄ、撮影プログラム３０２ｅ、輝度検出プログラム３０２ｆ、信頼度算出プログラム３０２ｇ、平均値算出プログラム３０２ｈ、判断プログラム３０２ｉ、決定プログラム３０２ｊおよび報知プログラム３０２ｋなどによって構成される。

【0099】

ただし、メイン処理プログラム３０２ａ、画像生成プログラム３０２ｂ、画像表示プログラム３０２ｃ、決定プログラム３０２ｊおよび報知プログラム３０２ｋは、プロセッサ１２によって実行されるが、他のプログラム（３０２ｄ〜３０２ｉ）は画像処理回路２４ｄ（ＤＳＰ）によって実行される。

【0100】

メイン処理プログラム３０２ａは、情報処理（アプリケーション処理）についてのメインルーチンを処理するためのプログラムである。画像生成プログラム３０２ｂは、ポリゴンデータやテクスチャデータなどのデータを含む画像生成データ３０４ａを用いて、ＬＣＤ１４に表示する画像に対応する画像データを生成するためのプログラムである。画像表示プログラム３０２ｃは、画像生成プログラム３０２ｂに従って生成した画像データをＬＣＤ１４に出力するためのプログラムである。

【0101】

点灯制御プログラム３０２ｄは、赤外ＬＥＤ２６の点灯および消灯を制御するためのプログラムである。撮影プログラム３０２ｅは、撮像素子２４ｃに撮影を実行させ、赤外線画像を生成させるためのプログラムである。輝度検出プログラム３０２ｆは、撮影された赤外線画像の各画素の輝度値を検出するためのプログラムである。

【0102】

信頼度算出プログラム３０２ｇは、赤外ＬＥＤ２６がオンの場合に取得された第１赤外線画像に含まれる画素のうち、輝度値が閾値ｓを超えている第１画素数Ａを検出（算出）するとともに、赤外ＬＥＤ２６がオフの場合に取得された第２赤外線画像に含まれる画素のうち、輝度値が閾値ｓを超えている第２画素数Ｂを検出し、数１に従って、信頼度Ｒを算出するためのプログラムである。たとえば、信頼度Ｒは、毎フレーム算出される。

【0103】

平均値算出プログラム３０２ｈは、複数の信頼度Ｒの平均値Ｒｍを算出するためのプログラムである。ただし、複数の信頼度Ｒは、所定期間（たとえば、１秒間）において算出される。判断プログラム３０２ｉは、信頼度Ｒの平均値Ｒｍに基づいて、赤外線センサの出力を情報処理に利用できるかどうかを判断し、判断結果をプロセッサ１２に出力（通知）するためのプログラムである。

【0104】

決定プログラム３０２ｊは、判断プログラム３０２ｉに従う判断結果に応じて、赤外線センサの出力を用いた情報処理を実行するかどうかを決定するためのプログラムである。報知プログラム３０２ｋは、赤外線センサの出力を情報処理に利用できないことが通知された場合に、赤外線センサの出力を情報処理に利用できないことのメッセージをＬＣＤ１４に表示するためのプログラムである。このとき、上記の画像生成プログラム３０２ｂおよび画像表示プログラム３０２ｃも実行される。

【0105】

なお、図示等は省略するが、プログラム記憶領域３０２には、情報処理を実行するために必要な他のプログラムも記憶される。

【0106】

データ記憶領域３０４には、画像生成データ３０４ａ、第１赤外線画像データ３０４ｂ、第２赤外線画像データ３０４ｃ、第１画素数データ３０４ｄ、第２画素数データ３０４ｅ、信頼度データ３０４ｆ、平均値データ３０４ｇ、判断結果データ３０４ｈなどが記憶される。

【0107】

画像生成データ３０４ａは、ＬＣＤ１４に表示する画像（画面）に対応する画像データを生成するためのポリゴンデータおよびテクスチャデータなどのデータである。第１赤外線画像データ３０４ｂは、赤外ＬＥＤ２６がオンの場合に撮像素子２４ｃによって撮影された第１赤外線画像１００の画像データである。ただし、複数の第１赤外線画像１００が撮影された場合には、各第１赤外線画像１００の画像データが時系列に従ってデータ記憶領域３０４に記憶される。このことは、第２赤外線画像１５０についても同様である。第２赤外線画像データ３０４ｃは、赤外ＬＥＤ２６がオフの場合に撮像素子２４ｃによって撮影された第２赤外線画像１５０の画像データである。

【0108】

第１画素数データ３０４ｄは、第１画素数Ａについての数値データある。第２画素数データ３０４ｅは、第２画素数Ｂについての数値データである。信頼度データ３０４ｆは、所定期間における複数の信頼度Ｒの各々についての数値データである。平均値データ３０４ｇは、複数の信頼度Ｒの平均値Ｒｍについての数値データである。判断結果データ３０４ｈは赤外線センサの出力を情報処理に利用できるかどうかについての判断結果を示すフラグデータである。

【0109】

図示は省略するが、データ記憶領域３０４には、情報処理の実行に必要な他のデータが記憶されたり、情報処理の実行に必要なカウンタ（タイマ）が設けられたりする。

【0110】

図５および図６は、図１に示した画像処理回路２４ｄ（ＤＳＰ）の判断制御処理についてのフロー図である。ただし、この判断制御処理は、第２処理に相当する。また、判断制御処理は、プロセッサ１２からの指示に従って、つまり、情報処理（アプリケーション処理）の要求に応じて開始され、繰り返し実行される。

【0111】

なお、図５および図６に示すフロー図の各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、この第１実施例では、基本的には、図５および図６に示すフロー図の各ステップの処理を画像処理回路２４ｄが実行するものとして説明するが、これら以外のプロセッサ１２または専用回路が一部のステップを実行するようにしてもよい。また、画像処理回路２４ｄが、赤外線画像データをプロセッサ１２に出力することにより、図５および図６に示す判断制御処理のほぼ全部をプロセッサ１２で実行するようにしてもよい。

【0112】

図５に示すように、画像処理回路２４ｄは、判断制御処理を開始すると、ステップＳ１で、タイマ（図示せず）をスタートする。次のステップＳ３では、変数ｉに初期値を設定する（ｉ＝１）。ただし、変数ｉは、算出された信頼度Ｒを個別に識別するために設けられる。

【0113】

次のステップＳ５では、赤外ＬＥＤ２６を点灯し、ステップＳ７で、撮影処理を実行し、ステップＳ９で、第１赤外線画像データ３０４ｂを取得して、ステップＳ１１で、第１画素数Ａを算出（検出）する。このとき、第１画素数データ３０４ｄが記憶される。次のステップＳ１１では、赤外ＬＥＤ２６を消灯し、ステップＳ１３で、撮影処理を実行し、ステップＳ１５で、第２赤外線画像データ３０４ｃを取得して、ステップＳ１７で、第２画素数Ｂを算出する。このとき、第２画素数データ３０４ｅが記憶される。

【0114】

続いて、ステップＳ２１で、数１に従って信頼度Ｒｉを算出する。このとき、信頼度データ３０４ｆが記憶（追加）される。そして、ステップＳ２３で、所定時間を経過したかどうかを判断する。ここでは、画像処理回路２４ｄは、タイマのカウント値が所定時間（たとえば、１秒）に到達したかどうかを判断する。ステップＳ２３で“ＮＯ”であれば、つまり、所定時間を経過していなければ、ステップＳ２５で、変数ｉを１加算して（ｉ＝ｉ＋１）、ステップＳ５に戻る。この第１実施例では、ステップＳ５−Ｓ２５のスキャンタイムが１フレームである。一方、ステップＳ２３で“ＹＥＳ”であれば、つまり、所定時間を経過すれば、図６に示すように、ステップＳ２７で、信頼度Ｒ１から信頼度Ｒｉまでの平均値Ｒｍを算出する。このとき、平均値データ３０４ｇが記憶される。

【0115】

そして、ステップＳ２９で、平均値Ｒｍが閾値ｒを超えているかどうかを判断する。ステップＳ２９で“ＹＥＳ”であれば、つまり、平均値Ｒｍが閾値ｒを超えている場合には、ステップＳ３１で、利用可能をプロセッサ１２に通知して、判断制御処理を終了する。一方、ステップＳ２９で“ＮＯ”であれば、つまり、平均値Ｒｍが閾値ｒ以下である場合には、ステップＳ３３で、利用不可をプロセッサ１２に通知して、判断制御処理を終了する。

【0116】

たとえば、プロセッサ１２は、赤外線センサの出力を情報処理に利用できるかどうかの判断結果についての通知を受けて、赤外線センサの出力を情報処理に利用できるかどうかの判断結果に応じた判断結果データ３０４ｈをＲＡＭ２０に記憶する。

【0117】

プロセッサ１２は、この判断結果が赤外線センサの出力を情報処理に利用できないことを示すとき、ＬＣＤ１４に、赤外線センサの出力を情報処理に利用できないことについてのメッセージを表示する。したがって、赤外線センサの出力を情報処理に利用できないことが情報処理装置１０のユーザに報知される。

【0118】

また、プロセッサ１２は、上記の判断結果に応じて、赤外線センサ（撮像装置２４）の出力を用いた情報処理（アプリケーション処理）を実行するかどうかを決定する。したがって、たとえば、プロセッサ１２は、上記の判断結果が赤外線センサの出力を情報処理に利用できないことを示すとき、赤外線センサ（撮像装置２４）の出力に基づく処理を実行しないことを決定する。一方、プロセッサ１２は、上記の判断結果が赤外線センサの出力を情報処理に利用可能であることを示すとき、赤外線センサ（撮像装置２４）の出力に基づく処理を実行することを決定する。

【0119】

さらに、上述したように、図５および図６に示した判断制御処理は繰り返し実行され、リアルタイムに、赤外線センサの出力を情報処理に利用できるかどうかを判断し、その判断結果をプロセッサ１２に通知する。そして、プロセッサ１２は、判断結果が赤外線センサの出力を情報処理に利用できないことを示すとき、ＬＣＤ１４に、赤外線センサの出力を情報処理に利用できないことについてのメッセージを表示する。したがって、リアルタイムに、赤外線センサの出力を情報処理に利用できないことが情報処理装置１０のユーザに報知される。

【0120】

この実施例では、図５および図６に示した判断制御処理を繰り返し実行するようにしてあるが、これに限定される必要はない。たとえば、平均値Ｒｍは、信頼度Ｒの移動平均であってもよい。この場合、画像処理回路２４ｄ（ＤＳＰ）は、１フレーム毎に、信頼度Ｒを算出するとともに、現在のフレームまでの連続する所定数のフレーム（たとえば、２０〜３０フレーム）の各々で算出された所定数の信頼度Ｒについての平均値Ｒｍ（移動平均）を算出する。そして、１フレーム毎に、平均値Ｒｍが閾値ｒを超えているかどうかを判断する。ただし、現在のフレームの信頼度Ｒを含む必要はなく、１つ手前のフレームまでの連続する所定数のフレームの各々で算出された所定数の信頼度Ｒについての平均値Ｒｍを算出してもよい。この場合、現フレームの信頼度Ｒを算出する前に、平均値Ｒｍが算出されてもよい。

【0121】

また、場合によっては、平均値Ｒｍは、連続する所定数のフレームについての信頼度Ｒを用いなくても良い。たとえば、情報処理装置１０の移動速度を検知可能なセンサを設けておき、情報処理装置１０の移動速度が比較的遅い場合には、１フレーム毎に算出される信頼度Ｒのうち、１〜数フレーム飛ばし（移動速度で可変的に設定してもよい）で抽出した所定数の信頼度Ｒを用いて平均値Ｒｍを算出してもよい。ただし、このような場合には、１〜数フレーム飛ばしで信頼度Ｒを算出し、連続する所定数の信頼度Ｒについての平均値Ｒｍを算出するようにしてもよい。

【0122】

この第１実施例によれば、赤外ＬＥＤがオンの場合とオフの場合に取得される赤外線画像から赤外線センサまたは赤外線センサの出力についての信頼度が算出され、算出された信頼度に基づいて赤外線センサの出力を情報処理に利用できるかどうかを判断することができる。したがって、たとえば、ユーザに赤外線センサの出力を情報処理に利用できないことを報知することができる。

【0123】

また、第１実施例によれば、赤外線画像の画素毎に輝度が所定の閾値を超えるかどうかを判断するので、ノイズによる影響を比較的正確に推測することができ、さらには、赤外線センサの出力を情報処理に利用できるかどうかを比較的正確に判断することができる。

【0124】

なお、第１実施例では、所定期間においてフレーム毎に算出される複数の信頼度の平均値を算出するようにしたが、これに限定される必要はない。所定期間においてフレーム毎に算出される第１画素数の平均値と第２画素数の平均値に基づいて、信頼度の平均値を算出するようにしてもよい。ただし、フレームは一定時間であるため、所定期間において算出される信頼度の数は一定数である。

【0125】

また、第１実施例では、第１赤外線画像および第２赤外線画像の各々の明るさの情報として第１画素数および第２画素数を算出し、第１画素数および第２画素数を用いて信頼度を算出するようにしたが、これに限定される必要はない。

【0126】

たとえば、第１赤外線画像の全画素の輝度値を平均した平均値（説明の便宜上、ここでは、「第１平均値」という）を算出するとともに、第２赤外線画像の全画素の輝度値を平均した平均値（説明の便宜上、ここでは、「第２平均値」という）を算出し、第１画素数および第２画素数に代えて、第１平均値および第２平均値を用いて信頼度を算出するようにしてもよい。このように、赤外線画像の明るさの情報として、赤外線画像の全画素の輝度値を平均した平均値を用いる場合には、上記の第１実施例で示した場合よりも、赤外線センサの出力を情報処理に利用できるかどうかを判断する場合の正確性は多少劣ることがあると考えられるが、プロセッサの処理負荷を軽減することができる。したがって、赤外線センサの検出結果を用いる情報処理で求められる精度が比較的低い場合に、赤外線画像の全画素の輝度値を平均した平均値を用いて赤外線センサの出力の利用の可否を判断すれば良いと考えられる。

【0127】

ただし、画素数（第１画素数および第２画素数）と平均値（第１平均値および第２平均値）の両方を用いて信頼度を算出するようにしてもよい。一例として、画素数に基づく信頼度と平均値に基づく信頼度を平均した平均値を求めることが考えられる。また、他の例として、情報処理プログラムに応じて、画素数の基づく信頼度または平均値に基づく信頼度を選択的に使用することが考えられる。つまり、画素数および平均値の少なくとも一方に基づいて、赤外線センサの出力を情報処理に利用するかどうかが判断される。上述したように、画素数に基づく信頼度に比べて平均値に基づく信頼度の方が、正確性が多少劣ることがあると考えられるため、画素数に基づく信頼度の重みを大きくするようにしてもよい。

【0128】

また、第１平均値を算出する場合には、第１赤外線画像の全画素の輝度値を平均するようにしてあるが、第１赤外線画像のうちの所定の範囲（一部の領域）に含まれる画素の輝度値を平均するようにしてもよい。このことは第２平均値を算出する場合についても同様である。後述する第２実施例および第３実施例において、平均値Ｃを算出する場合についても同様である。

【0129】

さらに、第１画素数および第２画素数を用いて信頼度を算出するとともに、第１平均値および第２平均値を用いて信頼度を算出し、各算出結果に基づいて、赤外線センサの出力を情報処理の実行に利用するかどうかを判断するようにしてもよい。

【0130】

［第２実施例］
第２実施例の情報処理装置１０は、平均値Ｒｍが閾値ｒ以下である場合に、別の方法で、赤外線センサの出力を情報処理に利用できるかどうかをさらに判断するようにした以外は、第１実施例の情報処理装置１０と同じであるため、重複した説明は省略する。

【0131】

情報処理の種類（内容）にもよるが、信頼度Ｒ（平均値Ｒｍ）が少し低くても、太陽光等のノイズの影響を受け難い屋内においては、赤外線センサの出力を情報処理に利用できる場合がある。したがって、第２実施例では、上記のように、２つの異なる方法で赤外線センサの出力を情報処理に利用できるか否かを判断するようにしてある。

【0132】

具体的には、平均値Ｒｍが閾値ｒ以下である場合には、さらに、平均値Ｒｍが閾値ｕを超えているかどうかを判断する。閾値ｕは、閾値ｒよりも小さい値であるが、赤外線画像の全画素の輝度値を平均した平均値（平均値Ｃ）が或る程度低い場合には、赤外線センサの出力を情報処理に利用可能であることが判断される。ただし、輝度値は変動するため、所定期間（たとえば、１秒）に取得された複数の赤外線画像に対応する全平均値Ｃについての平均値Ｄが算出され、この平均値Ｄが閾値ｋ未満であるかどうかが判断される。

【0133】

一例として、閾値ｕは０．５に設定される。また、閾値ｋは、実験等により経験的に得られた数値であり、情報処理装置１０が屋内で使用されていると予測（判断）できる程度の値に設定される。また、平均値Ｃ（平均値Ｄ）を算出する場合に取得される赤外線画像は、第１赤外線画像１００または第２赤外線画像１５０である。ただし、ノイズの影響を判断（ノイズ状況を推測）するため、平均値Ｃ（平均値Ｄ）の算出に使用するのは、第１赤外線画像１００よりも第２赤外線画像１５０の方が適していると考えられる。したがって、第２実施例では、所定期間に取得された複数の第２赤外線画像１５０に基づいて平均値Ｄが算出される。

【0134】

なお、複数の第１赤外線画像１００に基づいて平均値Ｄが算出される場合には、閾値ｕは、赤外ＬＥＤ２６から照射される赤外線の明るさ分を考慮して、複数の第２赤外線画像１５０を用いて判断する場合よりも高く設定される。

【0135】

平均値Ｒｍが閾値ｕ以下である場合には、信頼度Ｒ（平均値Ｒｍ）が低すぎるため、赤外線センサの出力を情報処理に利用することができない。一方、平均値Ｒｍが閾値ｕを超えている場合には、第２赤外線画像１５０の全画素の輝度値を平均した平均値Ｃｉ（平均値Ｄ）が閾値ｋ未満であれば、赤外線センサの出力を情報処理に利用することができる。ただし、平均値Ｒｍが閾値ｕを超えている場合であっても、平均値Ｃｉ（平均値Ｄ）が閾値ｋ以上であれば、太陽光等による影響が大き過ぎるため、赤外線センサの出力を情報処理に利用することができない。

【0136】

なお、閾値ｋは実験等により経験的に決定されるが、情報処理の種類によって異なる値である。

【0137】

したがって、第２実施例では、図５および図６に示した第１実施例の判断制御処理において、ステップＳ２９とステップＳ３１およびＳ３３との間に、ステップＳ５１、Ｓ５３、Ｓ５５およびＳ５７の処理が追加される。

【0138】

図７に示すように、平均値Ｒｍが閾値ｒ以下である場合には、ステップＳ２９で“ＮＯ”となり、ステップＳ５１で、平均値Ｒｍが閾値ｕを超えているかどうかを判断する。ステップＳ５１で“ＮＯ”であれば、つまり、平均値Ｒｍが閾値ｕ以下である場合には、信頼度が低すぎるため、ステップＳ３３に進む。

【0139】

一方、ステップＳ５１で“ＹＥＳ”であれば、つまり、平均値Ｒｍが閾値ｕを超えている場合には、ステップＳ５３で、各第２赤外線画像１５０の全画素の輝度値を平均した平均値Ｃｉを算出し、ステップＳ５５で、ｉ個の平均値Ｃｉについての平均値Ｄを算出する。そして、ステップＳ５７で、平均値Ｄが閾値ｋ未満であるかどうかを判断する。

【0140】

ステップＳ５７で“ＹＥＳ”であれば、つまり、平均値Ｄが閾値ｋ未満であれば、平均値Ｒｍは少し低いが、太陽光等のノイズの影響が比較的少ないため、ステップＳ３１に進む。一方、ステップＳ５７で“ＮＯ”であれば、つまり、平均値Ｄが閾値ｋ以上であれば、ステップＳ３３に進む。

【0141】

第２実施例によれば、第１実施例の効果に加え、信頼度が少し低い場合であっても、赤外線画像の全画素の輝度値を平均した平均値に基づいて太陽光等の影響がほとんど無い場合には、赤外線センサの出力を情報処理に利用可能であることを判断することができる。つまり、判断基準の異なる２つの判断方法を用いるので、情報処理の種類に応じて、赤外線センサの出力を情報処理に利用できるかどうかを適切に判断することができる。

【0142】

［第３実施例］
第３実施例の情報処理装置１０は、信頼度を算出する前に、赤外線センサの出力を情報処理に利用できるかどうかを大まかに判断し、その判断結果に応じて、信頼度を算出するかどうかを判断するようにした以外は第１実施例の情報処理装置１０と同じであるため、重複した説明は省略する。

【0143】

第３実施例における赤外線センサの出力を情報処理に利用できるかどうかを大まかに判断する処理は、第２実施例で説明した場合と同様に、第２赤外線画像１５０の全画素の輝度値を平均した平均値に基づいて行われる。ただし、第１赤外線画像１００の全画素の輝度値を平均した平均値に基づいて、赤外線センサの出力を情報処理に利用できるかどうかを大まかに判断するようにしてもよい。

【0144】

具体的には、図８に示すように、図５および図６に示した判断制御処理において、ステップＳ１の前に、ステップＳ７１、Ｓ７３、Ｓ７５、Ｓ７７、Ｓ７９、Ｓ８１、Ｓ８３、Ｓ８５、Ｓ８７の処理が実行される。以下、第３実施例の判断制御処理について説明するが、第１実施例および第２実施例で説明した内容と同じ処理については、簡単に説明することにする。

【0145】

図８に示すように、判断制御処理を開始すると、ステップＳ７１で、タイマをスタートする。次のステップＳ７３で、変数ｊを初期化する（ｊ＝１）。変数ｊは、所定時間に取得される第２赤外線画像を個別に識別するために設けられる。

【0146】

次のステップＳ７５では、撮影処理を実行し、ステップＳ７７で、第２赤外線画像データを取得して、ステップＳ７９で、第２赤外線画像の全画素の輝度値を平均した平均値Ｃｊを算出する。

【0147】

そして、ステップＳ８１で、所定時間を経過したかどうかを判断する。ステップＳ８１で“ＮＯ”であれば、つまり、所定時間を経過していなければ、ステップＳ８３で、変数ｊを１加算して（ｊ＝ｊ＋１）、ステップＳ７５に戻る。

【0148】

一方、ステップＳ８１で“ＹＥＳ”であれば、つまり、所定時間を経過すれば、ステップＳ８５で、ｊ個の平均値Ｃｊの平均値Ｄを算出する。そして、ステップＳ８７で、平均値Ｄが閾値ｋ未満であるかどうかを判断する。ステップＳ８７で“ＹＥＳ”であれば、図５および図６に示したステップＳ１以降の処理を実行する。一方、ステップＳ８７で“ＮＯ”であれば、図６に示したステップＳ３３に進む。

【0149】

第３実施例によれば、第１実施例の効果に加え、赤外線センサの出力を情報処理に利用できるかどうかを大まかに判断した結果、利用可能であると判断された場合にのみ、所定期間における信頼度の平均値を算出し、信頼度の平均値に基づいて赤外線センサの出力を情報処理に利用できるかどうかをさらに判断するので、赤外線センサの出力の利用の可否を大まかに算出した結果、利用不可と判断された場合には、信頼度等を算出する必要な無いため、画像処理回路（プロセッサ）の処理負荷を軽減することができる。また、なるべく早い段階で、ユーザに赤外線センサの出力を情報処理に利用できないことを報知することができる。

【0150】

［第４実施例］
第４実施例は、撮像装置２４を含む撮像ユニット５０を情報処理装置１０と通信可能に接続した情報処理システム８０を構成するようにした以外は、第１実施例と同じであるため、重複した説明は省略する。

【0151】

図９に示すように、第４実施例では、情報処理装置１０と撮像ユニット５０とが通信ケーブル（ＵＳＢケーブルなど）を用いて接続される。ただし、情報処理装置１０と撮像ユニット５０は無線通信可能に接続されてもよい。たとえば、無線通信は、Bluetooth（登録商標）規格、赤外線規格またはWi-Fi規格に従って実行される。かかる場合には、後述するインターフェイス（３０、５８）に代えて無線通信モジュールが設けられる。ただし、インターフェイス（３０、５８）と無線通信モジュールが設けられ、有線通信または無線通信が選択可能な構成にされてもよい。

【0152】

第４実施例の情報処理装置１０では、第１実施例の情報処理装置１０において、撮像装置２４および赤外ＬＥＤ２６に代えて、インターフェイス（Ｉ／Ｆ）３０が設けられる。Ｉ／Ｆ３０は、たとえば、USB Type-CまたはThunderbolt（登録商標） 3などのインターフェイスであり、通信可能に接続された他の機器（ここでは、撮像ユニット５０）との間でデータの送受信が可能である。

【0153】

撮像ユニット５０は、第１実施例に示した情報処理装置１０に備えられる撮像装置２４および赤外ＬＥＤ２６を含む。また、撮像ユニット５０は、プロセッサ５２を含み、このプロセッサ５２に、撮像装置２４が接続され、撮像装置２４に赤外ＬＥＤ２６が接続される。上述したように、撮像装置２４および赤外ＬＥＤ２６は、撮像装置２４の撮影方向と赤外ＬＥＤ２６の発光方向とが実質的に一致するように、撮像ユニット５０の筐体に設けられる。

【0154】

また、撮像ユニット５０は、ＲＯＭ５４、ＲＡＭ５６およびインターフェイス（Ｉ／Ｆ）５８をさらに含み、ＲＯＭ５４、ＲＡＭ５６およびＩ／Ｆ５８もまた、プロセッサ５２に接続される。ＲＯＭ５４は、撮像ユニット５０の主記憶装置であり、上述した情報処理プログラムを含む。ＲＡＭ５６は、プロセッサ５２のバッファ領域およびワーク領域として用いられる。

【0155】

撮像ユニット５０では、ＲＯＭ５４に記憶された情報処理プログラムが読み出され、ＲＡＭ５６に記憶される。ＲＡＭ５６のメモリマップは、図４に示したメモリマップ３００の一部と同じである。つまり、第４実施例では、図４に示したメモリマップ３００のうち、メイン処理プログラム３０２ａ、画像生成プログラム３０２ｂ、画像表示プログラム３０２ｃ、決定プログラム３０２ｊおよび報知プログラム３０２ｋ以外のプログラム（３０２ｄ−３０２ｉ）、画像生成データ３０４ａおよび判断結果データ３０４ｈ以外のデータ（３０４ｂ−３０４ｈ）がＲＡＭ５６に記憶される。

【0156】

なお、メイン処理プログラム３０２ａ、画像生成プログラム３０２ｂ、画像表示プログラム３０２ｃ、決定プログラム３０２ｊ、報知プログラム３０２ｋ、画像生成データ３０４ａおよび判断結果データ３０４ｈは、情報処理装置１０のＲＡＭ２０に記憶される。

【0157】

Ｉ／Ｆ５８は、上記のＩ／Ｆ３０と同じであり、通信可能に接続された他の機器（ここでは、情報処理装置１０）との間でデータの送受信が可能である。

【0158】

この情報処理システム８０では、撮像ユニット５０に内蔵される撮像装置２４が、第１実施例に示したように、図５および図６に示したフロー図に従って、赤外線センサの出力を情報処理に利用できるかどうかを判断し、その判断した結果がプロセッサ５２に通知される。プロセッサ５２は、赤外線センサの出力を情報処理に利用できるかどうかについての情報（データ）を、Ｉ／Ｆ５８、通信ケーブルおよびＩ／Ｆ３０を介して、情報処理装置１０のプロセッサ１２に通知（出力）する。

【0159】

なお、赤外線センサの出力を情報処理に利用可能である場合には、撮像ユニット５０（撮像装置２４）から差分画像２００に基づく第１処理の結果が情報処理装置１０に送信され、情報処理装置１０で実行される情報処理において利用される。

【0160】

第４実施例においても、第１実施例と同様に、赤外線センサの出力を情報処理に利用できない場合には、ユーザに赤外線センサの出力を情報処理に利用できないことを報知することができる。

【0161】

なお、第２実施例または第３実施例の変形は、第４実施例にも適用することができる。

【0162】

また、上述の各実施例では、信頼度を算出するようにしたが、これに限定される必要はない。赤外線センサの出力を情報処理に利用できるかどうかを判断できれば良いため、信頼度とは逆の不信度（ノイズ度）を算出するようにしてもよい。たとえば、不信度（ノイズ度）は、赤外線センサの出力についての不信度または赤外線センサで取得される赤外線画像に含まれるノイズの量である。具体的には、ノイズ度（ノイズ状況）は、１−信頼度であり、第２画素数Ｂを第１画素数Ａで割った値に相当する。この場合には、ノイズ度の平均値（１−Ｒｍ）が所定の閾値ｒ以上である場合に、赤外線センサの出力を情報処理に利用することができないと判断される。つまり、ノイズ度（ノイズ状況）が推測され、推測結果に基づいて赤外線センサの出力を情報処理に利用できるかどうかが判断される。

【0163】

さらに、上述の各実施例では、所定期間において算出された複数の信頼度の平均値を算出し、算出した平均値が閾値を超えるかどうかを判断するようにしたが、これに限定される必要はない。所定期間において算出された複数の信頼度の各々が閾値を超えているかどうかを判断するようにしてもよい。つまり、複数の信頼度が所定の条件を満たすかどうどうかに応じて、赤外線センサの出力を情報処理に利用できるかどうかが判断される。したがって、複数の信頼度のうちのいずれか１つでも所定の条件を満たさない場合には、赤外線センサの出力を情報処理に利用することができないと判断することができる。このような場合には、信頼度が算出される度に、当該信頼度が所定の条件を満たすかどうかが判断され、所定の条件を満たさないことが判断された時点で、赤外線センサの出力を情報処理に利用できないことが判断されるようにすることができる。ただし、連続して算出される所定数（たとえば、３〜５個）の信頼度が所定の条件を満たさないことが判断された時点で、赤外線センサの出力を情報処理に利用できないことが判断されるようにしてもよい。このように、信頼度が算出される度に、当該信頼度が所定の条件を満たすかどうかが判断される場合には、所定期間は、赤外線センサの出力を情報処理に利用することができることを判断するための終期を規定していると言える。つまり、信頼度が算出される度に、当該信頼度が所定の条件を満たすかどうかが判断される場合には、所定期間は、赤外線センサの出力を情報処理に利用することができないことを判断するための要素（条件）にはならない。

【0164】

さらにまた、上述の各実施例では、情報処理プログラム（アプリケーションプログラム）の一部として、赤外線センサの出力を情報処理に利用できるかどうかを判断し、判断結果を通知するための判断制御処理についてのプログラム（３０２ｅ−３０２ｊ）を含むように説明したが、これらのプログラム（３０２ｅ−３０２ｊ）は、アプリケーションプログラムに含まれる必要はない。

【0165】

また、上述の各実施例では、赤外線センサから当該赤外線センサの出力を情報処理に利用できないことがプロセッサに通知された場合に、赤外線センサの出力を情報処理に利用できないことをユーザに報知するようにしたが、赤外線センサの出力を情報処理に利用可能であることが通知された場合にも、赤外線センサの出力を情報処理に利用可能であることをユーザに報知するようにしてもよい。かかる場合には、ユーザは、赤外線センサの出力を用いた情報処理が正常に実行されていることを知ることができる。

【0166】

また、上述の各実施例で示した情報処理装置としては、携帯型のゲーム装置、ノート型ＰＣ、タブレットＰＣまたはスマートフォンのような持ち運び可能な電子機器のみならず、据え置き型のゲーム装置、デスクトップＰＣなどにも適用することができる。屋内であっても、太陽光または／および蛍光灯の光による影響は変化するからである。

【0167】

さらに、上述の各実施例で示した具体的な数値および画像は一例であり、実際の製品に応じて適宜変更可能である。

【符号の説明】

【0168】

１０ …情報処理装置
１２，５２ …プロセッサ
１４ …ＬＣＤ
１６ …スピーカ
１８ …入力装置
２０ …ＲＡＭ
２２ …フラッシュメモリ
２４ …赤外ＬＥＤ
２４ …撮像装置
５０ …撮像ユニット
５４ …ＲＯＭ
５６ …ＲＡＭ
８０ …情報処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】