特許 7101250 情報処理装置およびプレイフィールド逸脱検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-06

(45)【発行日】2022-07-14

(54)【発明の名称】情報処理装置およびプレイフィールド逸脱検知方法

(51)【国際特許分類】

   G06T 7/514 20170101AFI20220707BHJP

【ＦＩ】

G06T7/514

【請求項の数】 9

(21)【出願番号】P 2020540903

(86)(22)【出願日】2018-09-04

(86)【国際出願番号】 JP2018032767

(87)【国際公開番号】W WO2020049638

(87)【国際公開日】2020-03-12

【審査請求日】2021-02-17

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】和田 信也

(72)【発明者】

【氏名】石田 隆行

【審査官】川▲崎▼ 博章

(56)【参考文献】

【文献】特開２０１４－０１６９８１（ＪＰ，Ａ）

【文献】特開２０１７－１３０７９３（ＪＰ，Ａ）

【文献】国際公開第２０１７／０５６８２２（ＷＯ，Ａ１）

【文献】特開２０１１－１５０６８８（ＪＰ，Ａ）

【文献】特開２０１８－０９９５２３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５１４

(57)【特許請求の範囲】

【請求項1】

移動体に備えられた撮像装置が撮影した、複数の方位の偏光画像のデータを取得する画像取得部と、
前記偏光画像を用いて、３次元空間において前記移動体が存在するプレイフィールドの面に対する偏光度の分布を取得する偏光度取得部と、
あらかじめ設定されたしきい値より大きい偏光度を有する高偏光度領域を、前記移動体の直上から俯瞰した状態における形状を評価することにより、前記プレイフィールドの周縁を検出する高偏光度領域評価部と、
前記周縁への移動を回避するための出力データを生成し出力する出力データ生成部と、
を備えたことを特徴とする情報処理装置。

【請求項2】

前記高偏光度領域評価部は、前記高偏光度領域を表す、画角に対応する円弧形状において欠けている部分を特定することにより、前記プレイフィールドの周縁を検出することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記高偏光度領域評価部は、法線ベクトルの変化に起因して生じた、前記欠けている部分を特定することにより、平面状でなくなる境界を前記プレイフィールドの周縁として検出することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記高偏光度領域評価部は、材質の変化に起因して生じた、前記欠けている部分を特定することにより、材質が変化する境界を前記プレイフィールドの周縁として検出することを特徴とする請求項２に記載の情報処理装置。

【請求項5】

前記高偏光度領域評価部は、複数の位置で取得された前記高偏光度領域を蓄積して記録することにより、前記プレイフィールドの範囲を統一された座標系で取得することを特徴とする請求項１から４のいずれかに記載の情報処理装置。

【請求項6】

前記出力データ生成部は、前記周縁への移動を回避するように移動させる制御信号を、前記移動体であるロボットに送信することを特徴とする請求項１から５のいずれかに記載の情報処理装置。

【請求項7】

前記出力データ生成部は、前記周縁への移動を回避するように警告する画像、音声、振動の少なくともいずれかのデータを、前記移動体であるユーザが認識可能な形態で出力させる出力装置に送信することを特徴とする請求項１から５のいずれかに記載の情報処理装置。

【請求項8】

移動体に備えられた撮像装置が撮影した、複数の方位の偏光画像のデータを取得するステップと、
前記偏光画像を用いて、３次元空間において前記移動体が存在するプレイフィールドの面に対する偏光度の分布を取得するステップと、
あらかじめ設定されたしきい値より大きい偏光度を有する高偏光度領域を、前記移動体の直上から俯瞰した状態における形状を評価することにより、前記プレイフィールドの周縁を検出するステップと、
前記周縁への移動を回避するための出力データを生成し出力するステップと、
を含むことを特徴とする、情報処理装置によるプレイフィールド逸脱検知方法。

【請求項9】

移動体に備えられた撮像装置が撮影した、複数の方位の偏光画像のデータを取得する機能と、
前記偏光画像を用いて、３次元空間において前記移動体が存在するプレイフィールドの面に対する偏光度の分布を取得する機能と、
あらかじめ設定されたしきい値より大きい偏光度を有する高偏光度領域を、前記移動体の直上から俯瞰した状態における形状を評価することにより、前記プレイフィールドの周縁を検出する機能と、
前記周縁への移動を回避するための出力データを生成し出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プレイフィールドからの移動体の逸脱を事前に検知する情報処理装置およびプレイフィールド逸脱検知方法に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイを頭部に装着して、表示された画面を見ながらゲームをプレイしたり電子コンテンツを鑑賞したりする技術が知られている（例えば特許文献１参照）。このうち、ヘッドマウントディスプレイの前面に撮像装置を設け、ユーザの顔の向きに対応する視野で撮影した画像の一部を仮想オブジェクトに置き換えたり、対応する視野で仮想世界を表したりすることにより、拡張現実や仮想現実を実現する技術も普及しつつある。また、ロボットに撮像装置を設けることで周囲にある物を認識させ、環境地図を生成していくことにより、ロボットを安全に移動させたり臨機応変に目的とする動作をさせたりする技術も知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第５５８０８５５号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

ヘッドマウントディスプレイを装着した状態では、ユーザは外界を見ることができないため、方向感覚を失ったり、ゲームに没頭するあまり実空間で思わぬ位置に移動していたりすることがあり得る。そのような状況は、ヘッドマウントディスプレイを外さない限りユーザには把握しづらい。またロボットに撮像装置を備える場合も、周囲の物や状況に対する誤認識により、予想外の方向へ移動してしまうことが考えられる。どちらのケースでも、ユーザやロボットが壁や障害物に衝突したり、地面の段差を踏み外したりする危険がある。

【0005】

本発明はこうした課題に鑑みてなされたものであり、その目的は、ロボットやヘッドマウントディスプレイを装着したユーザなどの移動体の移動範囲を好適に制御することのできる技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明のある態様は情報処理装置に関する。この情報処理装置は、移動体に備えられた撮像装置が撮影した、複数の方位の偏光画像のデータを取得する画像取得部と、偏光画像を用いて偏光度の分布を取得する偏光度取得部と、しきい値より大きい偏光度を有する高偏光度領域を、移動体の直上から俯瞰した状態における形状を評価することにより、移動体が存在するプレイフィールドの周縁を検出する高偏光度領域評価部と、周縁への移動を回避するための出力データを生成し出力する出力データ生成部と、を備えたことを特徴とする。

【0007】

本発明のさらに別の態様はプレイフィールド逸脱検知方法に関する。このプレイフィールド逸脱検知方法は情報処理装置が、移動体に備えられた撮像装置が撮影した、複数の方位の偏光画像のデータを取得するステップと、偏光画像を用いて偏光度の分布を取得するステップと、しきい値より大きい偏光度を有する高偏光度領域を、移動体の直上から俯瞰した状態における形状を評価することにより、移動体が存在するプレイフィールドの周縁を検出するステップと、周縁への移動を回避するための出力データを生成し出力するステップと、を含むことを特徴とする。

【0008】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0009】

本発明によると、ロボットやヘッドマウントディスプレイを装着したユーザなどの移動体の移動範囲を好適に制御できる。

【図面の簡単な説明】

【0010】

【図1】本実施の形態における情報処理システムの構成例を示す図である。

【図2】本実施の形態で利用する偏光の基本的な特性を説明するための図である。

【図3】本実施の形態における、偏光方位に対する輝度の変化を例示する図である。

【図4】法線ベクトルの天頂角に対する偏光度の変化の例を、鏡面反射と拡散反射で比較する図である。

【図5】本実施の形態の撮像装置に導入できる、偏光子層を備える撮像素子の構造例を示す図である。

【図6】本実施の形態における情報処理装置が、高い偏光度が得られる領域の形状に基づき、平面状のプレイフィールドの周縁を検出する原理を説明するための図である。

【図7】本実施の形態における情報処理装置が、高い偏光度が得られる領域の形状に基づき、平面状のプレイフィールドの周縁を検出する原理を説明するための図である。

【図8】本実施の形態における情報処理装置の内部回路構成を示す図である。

【図9】本実施の形態における情報処理装置の機能ブロックの構成を示す図である。

【図10】本実施の形態における高偏光度領域評価部が評価した高偏光度領域の時間変化を模式的に示す図である。

【図11】本実施の形態において、ヘッドマウントディスプレイを装着したユーザにプレイフィールドからの逸脱を警告する場合に表示する画面を例示する図である。

【図12】本実施の形態において、情報処理装置が、ロボットなどのプレイフィールドからの逸脱を回避させつつ情報処理を行う処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0011】

図１は、本実施の形態における情報処理システムの構成例を示している。図示する例では、撮像装置１２を装備したロボット４が移動することを想定している。ロボット４の内部には、撮影画像を解析し、ロボット４の移動方向や動作を決定する情報処理装置１０が備えられる。情報処理装置１０は外部からロボット４を遠隔制御する装置としてもよい。またはユーザが、図示しない入力装置を用いてロボット４を遠隔操作し、情報処理装置１０は、撮影画像を解析した結果を図示しない表示装置に表示させることで、周囲の状況に応じた適切なユーザ操作がなされるように支援してもよい。なお自律的あるいは外部からの操作により移動できる機構と撮像装置１２を備えれば、ロボット４の形状や機能は特に限定されない。

【0012】

一方、ロボット４の代わりにユーザが、撮像装置１２を備えたヘッドマウントディスプレイを装着する態様としてもよい。この場合、情報処理装置１０をヘッドマウントディスプレイに内蔵させてもよいし、ヘッドマウントディスプレイと無線あるいは有線により通信可能な外部の装置としてもよい。このとき情報処理装置１０は、撮影画像に基づきユーザの視線に対応する表示画像を生成し、それをヘッドマウントディスプレイに表示させてもよい。当該表示画像の少なくとも一部は、撮像装置１２が撮影した画像であってもよい。

【0013】

したがって情報処理装置１０から出力される情報は、ロボット４への制御信号であってもよいし、ヘッドマウントディスプレイに表示させる画像や出力させる音声信号などでもよく、実現する態様によって変化し得る。本実施の形態では、ロボット４やユーザなどの移動体を、所定のプレイフィールド１４内で安全に移動させることを旨とする。以後、移動体を主にロボット４として説明するが、ロボット４は、ヘッドマウントディスプレイを装着したユーザに置き換えることができる。

【0014】

プレイフィールド１４は、ロボット４が安全に移動できる可動範囲を表す。基本的には、ロボット４がバランスを失って転倒するような傾斜や段差、落下するような高低差がない、平面状の領域をプレイフィールド１４とする。プレイフィールド１４としては、テーブル、床、地面などが考えられ、その周縁は、テーブルの端、床に続く壁や階段、地面のくぼみや傾斜など平面状でなくなる境界によって定まる。したがって、プレイフィールド１４の形状や大きさは限定されない。

【0015】

情報処理装置１０は、撮像装置１２が撮影する偏光画像を用いて、ロボット４が移動によりプレイフィールド１４から逸脱しそうであることを検知する。そして逸脱しそうな場合、情報処理装置１０は、逸脱を回避するようにロボット４を制御する。情報処理装置１０はそのため、撮像装置１２が撮影した複数方位の偏光画像を用いて、移動面上の偏光度の分布を取得する。そして所定のしきい値より大きい偏光度が得られる領域（例えば領域１６）の形状に基づき、プレイフィールド１４の周縁が近傍にあるか否かを判定する。

【0016】

図２は、本実施の形態で利用する偏光の基本的な特性を説明するための図である。撮像装置１２は、直線偏光板７０を介して被写体７２を含む空間を撮影する。より詳細には撮像装置１２は、光源から照射された光が被写体７２を反射してなる鏡面反射成分と、被写体７２内部で散乱された光が表面から出射してなる拡散反射成分とで構成される反射光のうち、直線偏光板７０によって定まる方向に振動する偏光を観測する。被写体７２の表面のうち観測点ａにおける法線ベクトルｎと、点ａから画像平面８０上の結像点ｂに到達する光線８２を含む面を、観測点ａにおける入射面７６と呼ぶ。

【0017】

直線偏光板７０は、光線８２のうちある方向に振動する直線偏光のみを透過する。以後、透過させる偏光の振動方向を直線偏光板７０の透過軸と呼ぶ。直線偏光板７０を面に垂直な軸周りに回転させれば、透過軸を任意の方向にとることができる。仮に撮像装置１２へ到達する光が無偏光であれば、直線偏光板７０を回転させても、観測される輝度は一定となる。一方、一般的な反射光は部分偏光により、透過軸の方向に対し観測される輝度に変化が生じる。また鏡面反射と拡散反射の割合や入射角によって、輝度の変化の様子が異なる。

【0018】

すなわち鏡面反射光は、入射面７６に垂直な方向に振動するｓ偏光の割合が高く、拡散反射光は入射面７６と平行な方向に振動するｐ偏光の割合が高くなる。ただしそれぞれの割合は、観測点ａにおける入射光（あるいは出射光）の角度に依存する。いずれにしろ鏡面反射光が支配的な場合、直線偏光板７０の透過軸が入射面７６と垂直な状態において観測輝度が最大となり、当該透過軸が入射面と平行な状態において観測輝度が最小となる。

【0019】

拡散反射光が支配的な場合は、直線偏光板７０の透過軸が入射面と平行な状態において観測輝度が最大となり、当該透過軸が入射面と垂直な状態において観測輝度が最小となる。したがって、様々な透過軸の方向で偏光画像を撮影することにより得られる結像点ｂの偏光輝度の変化は、入射面７６の角度と、入射光（あるいは出射光）の角度の情報を含み、ひいては法線ベクトルｎの情報を含んでいることになる。ここで、法線ベクトルｎと光線８２とのなす角θは、当該法線ベクトルｎの天頂角と呼ばれる。

【0020】

図３は、透過軸の角度に対応する偏光方位φに対する輝度Ｉの変化を例示している。同図上段は鏡面反射が支配的な場合、下段は拡散反射が支配的な場合であり、どちらも１８０°周期の正弦波の形状を有する。一方、鏡面反射の輝度Ｉが最大値Ｉ_ｍａｘをとるときの偏光方位ψｓと、拡散反射の輝度Ｉが最大値Ｉ_ｍａｘをとるときの偏光方位ψｄには９０°の差がある。これは上述したように、鏡面反射においてはｓ偏光が、拡散反射においてはｐ偏光が支配的なことに起因する。

【0021】

ｓ偏光が入射面に垂直、ｐ偏光が入射面に平行な振動であることに鑑みれば、鏡面反射において輝度が最小となる偏光方位（ψｓ－９０°）、あるいは拡散反射において輝度が最大となる偏光方位ψｄが、入射面の角度を表す。法線ベクトルｎは常に入射面に含まれるため、当該角度は、法線ベクトルｎを撮影画像平面に射影したベクトルの角度を表す。この角度は一般的に、法線ベクトルｎの方位角と呼ばれる。当該方位角に加え、上述した天頂角を求めることにより、撮像装置１２から見た３次元空間での法線ベクトルが一意に定まる。観測される偏光の輝度が最大となるときの偏光方位は位相角ψと呼ばれる。図３で示す輝度Ｉの変化は、位相角ψを用いて次の式で表すことができる。

【0022】

【数1】

【0023】

直線偏光板７０を回転させ複数の偏光方位φに対し観測される輝度を、最小二乗法等を用いて式１の形式に近似することにより、Ｉ_ｍａｘ、Ｉ_ｍｉｎ、ψを求めることができる。そのうちＩ_ｍａｘ、Ｉ_ｍｉｎを用いて、次の式により偏光度ρが求められる。

【0024】

【数2】

【0025】

図４は、法線ベクトルの天頂角に対する偏光度の変化の例を、鏡面反射と拡散反射で比較している。上段に示す鏡面反射の場合、偏光度は最大で１．０までの値をとるのに対し、下段に示す拡散反射の偏光度は、最大でも０．４程度である。なお天頂角θは、鏡面反射の場合の偏光度ρ_ｓ、拡散反射の場合の偏光度ρ_ｄと、それぞれ次のような関係にある。

【0026】

【数3】

【0027】

ここでηは物体の屈折率である。式２で得られる偏光度ρを式３のρ_ｓ、ρ_ｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ）は次のように得られる。

【0028】

【数4】

【0029】

なお本実施の形態において、偏光輝度を観測する手段は直線偏光板に限らない。例えば撮像素子構造の一部として偏光子の層を設けてもよい。図５は、本実施の形態の撮像装置１２に導入できる、偏光子層を備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。

【0030】

ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。

【0031】

ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で透過する偏光方位が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ１方向の偏光子の領域を表しており、点線自体は実際に形成されるものではない。

【0032】

図示する例では、４方向の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその透過方向が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４方向の偏光子を設けている。これが直線偏光板７０の代わりとなり、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４方位の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。

【0033】

同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の方向とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。

【0034】

また同一色の偏光画像同士を演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２－８００６５号公報などにも開示されている。ただし本実施の形態では基本的に偏光輝度画像を用いるため、その他の用途でカラー画像が必要なければカラーフィルター層１１６を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子などを用いることもできる。

【0035】

図６、７は、本実施の形態における情報処理装置１０が、高い偏光度が得られる領域の形状に基づき、平面状のプレイフィールド１４の周縁を検出する原理を説明するための図である。図６の上段は、ロボット４がプレイフィールド１４上にいる状態を側面から見た様子を示している。上述のとおりプレイフィールド１４は、少なくとも平面を構成することを必要条件とする。そのため、プレイフィールド１４上での法線ベクトルｎは位置によらず垂直上向きとなる。

【0036】

各位置での法線ベクトルｎの天頂角θは、ロボット４が装着する撮像装置１２へ到達する光線と法線ベクトルｎのなす角度であるから、ロボット４からの距離ｄと天頂角θの間には、撮像装置１２の高さをＨとして、ｄ＝Ｈｔａｎθの関係が成り立つ。すなわち距離ｄが大きいほど天頂角θも大きくなる。図示する例では最も離れた位置での天頂角θ１、中間の位置での天頂角θ２、最近傍での天頂角θ３がは、θ１＞θ２＞θ３の関係となっている。

【0037】

一方、プレイフィールド１４が鏡面反射が支配的な材質を有する場合、図４の上段に示すように、高い偏光度が得られる天頂角は０．６ｒａｄから１．３ｒａｄ程度の範囲となる。例えばガラスの場合、ｐ偏光の反射率が０になりｓ偏光の成分のみの全偏光となるブリュースター角は約５６°（０．９８ｒａｄ）である。したがって図４に示すように、偏光度にしきい値ρｔｈを設定し、それより大きい偏光度を有するプレイフィールド１４上の領域を高偏光度領域１５０として抽出すると、図６の下段に示すように、ロボット４の直上の視点から俯瞰した状態において、ロボット４を中心とし幅を有する円周形状となる。

【0038】

これに対し図７に示すように、ロボット４の近傍に段差がある場合を考える。すなわち上段の側面図に示すように、位置Ｂがプレイフィールド１４の周縁であり、その外側に傾斜１５２が存在している。傾斜１５２での法線ベクトルｎ’はプレイフィールド１４における法線ベクトルｎと方向が異なる。そのためロボット４からの距離ｄに対する天頂角θの変化がｄ＝Ｈｔａｎθを満たさない不連続な領域が生じ、高偏光度領域１６０も円周の形状にはならない。

【0039】

図示する例では、傾斜１５２の領域は、法線ベクトルｎ’の天頂角θ４が９０°に近くなり、高偏光度領域から外れる。さらに外側の傾斜のない領域ではプレイフィールド１４と同じ方向の法線ベクトルｎとなるが、ロボット４からの距離が大きいため天頂角θ５も大きくなり、やはり高偏光度領域にはならない。結果としてこの場合の高偏光度領域１６０は、円周の一部が欠けた形状となる。図では周縁の外側に傾斜１５２がある場合を示したが、テーブルの端など面が途切れていたり、壁があったりしても同様である。

【0040】

情報処理装置１０は、当該欠けによりプレイフィールド１４の周縁の位置Ｂを検出し、ロボット４がそれを超えないように制御する。なお実際には、撮像装置１２の視野により、高偏光度領域１６０のさらに一部のみが取得され得るが、ロボット４の進行方向を撮影するように撮像装置１２を設ければ、進行方向での欠け、ひいてはプレイフィールド１４の周縁を検知できることになる。また撮影画像においては、高偏光度領域１６０が透視投影された形状で表れるが、コンピュータグラフィクスで用いられる座標変換により容易に俯瞰した状態での形状を得られる。

【0041】

すなわち撮像装置１２とプレイフィールド１４の面との位置関係に基づき画像平面上の像を一旦、３次元空間のプレイフィールド１４上に逆射影し、プレイフィールド１４を俯瞰するカメラ座標系に射影すれば、図示するような俯瞰図が得られる。偏光度は色情報と独立したパラメータのため、プレイフィールド１４がガラスやアクリル樹脂など光線透過率の高い材質の物であっても影響を受けない。

【0042】

例えばガラスのテーブルの上でロボット４を歩行させる場合、カラー画像のみでは床とテーブルの区別がつかず、テーブルの端が認識できなかった結果、ロボット４が床に落下するといったことが起こり得る。テーブルと床が同じ色であっても、環境光の状態によっては同様のことが起こり得る。本実施の形態は偏光度を根拠とし、かつ高偏光度領域の形状というシンプルな基準を導入しているため、一般的なカラー画像を用いた物体検出と比較し、高い頑健性で容易にプレイフィールド１４の周縁を検出でき、ロボット４やユーザの安全性を確保できる。

【0043】

図８は、情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、ロボット４の制御機構や図示しない表示装置などへデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

【0044】

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。

【0045】

そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。なお上述のとおり本実施の形態には様々な用途が考えられる。そのため用途に応じた処理結果の出力形態によって、図示する構成の一部を省略したり別の回路に置き換えたりしてよい。

【0046】

図９は、本実施の形態における情報処理装置１０の機能ブロックの構成を示している。同図においてさまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、図８で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６等の各主回路で構成することができ、ソフトウェア的には、記録媒体駆動部４０により駆動される記録媒体や記憶部３４からメインメモリ２６にロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0047】

情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、プレイフィールドの周縁検出を含む画像解析を行う画像解析部５４、および、解析結果を利用して出力すべきデータを生成する出力データ生成部５６を含む。

【0048】

画像取得部５０は図８の入力部３８、ＣＰＵ２３などで実現され、撮像装置１２から偏光画像を含む撮影画像のデータを取得する。このとき偏光画像として、少なくとも３方向の透過軸に対応する３方位の偏光画像のデータを取得する。偏光画像は、図２に示すように撮像装置１２の前面に配置した直線偏光板７０を回転させ、所定の方向で停止させる都度、撮影してもよいし、図５で示した構造の撮像素子を含むイメージセンサを導入して撮影してもよい。後者の場合、一度の撮影で複数方位の偏光画像を取得できる。

【0049】

出力する表示画像に撮影画像を用いる場合など、情報処理の目的や画像解析の内容によっては、画像取得部５０はさらに、一般的なカラーの撮影画像のデータも取得してよい。また、撮像装置１２を、既知の間隔で設けた２つのカメラからなるステレオカメラとする場合、画像取得部５０は、それらのカメラが撮影した左右に視差を有するステレオ画像のデータを取得してもよい。画像取得部５０は取得した撮影画像のデータを画像データ記憶部５２に逐次格納する。

【0050】

画像解析部５４は図８のＣＰＵ２３、ＧＰＵ２４などで実現され、画像データ記憶部５２に格納されたデータを用いて画像解析を行う。より詳細には画像解析部５４は、偏光度取得部５８、および高偏光度領域評価部６０を含む。偏光度取得部５８は、上述のとおり方位の変化に対する偏光輝度の変化を利用して偏光度を導出する。具体的にはまず、複数方位の偏光画像の対応する画素ごとに輝度を抽出し、偏光方位に対する輝度の変化を導出する。

【0051】

偏光画像がφ１、φ２、φ３の３方位あれば、それらの座標（φ１，Ｉ１）、（φ２，Ｉ２）、（φ３，Ｉ３）の３点を通る曲線を、最小二乗法等を用いて式１の関数に近似することにより、図３に示すような連続した関数が得られる。これにより求められる最大輝度Ｉ_ｍａｘと最小輝度Ｉ_ｍｉｎを式２に代入することにより、偏光度ρが求められる。この処理を画素ごとに繰り返すと、画像平面に対し偏光度の分布が得られる。なお画像解析によりプレイフィールド１４の周縁検出のみを実施する場合、偏光度の計算はプレイフィールド１４の像とその近傍の所定範囲の領域のみに限定してもよい。

【0052】

一般的にはプレイフィールド１４は視野の下側にあるため、例えば撮影画像の下半分の領域を偏光度の演算対象としてもよい。撮像装置１２の姿勢を加速度センサなどで別途取得できる場合は、当該姿勢の情報に基づき演算対象の領域を調整してもよい。高偏光度領域評価部６０は、あらかじめ設定したしきい値より高い偏光度が得られている画像平面上の領域を抽出し、その高偏光度領域を俯瞰したときの形状を評価する。このとき上述のとおり、コンピュータグラフィクスでは一般的な視点の変換処理を実施する。

【0053】

撮像装置１２の視野によって、高偏光度領域は基本的には円周の一部となる。視野により見切れている部分は画像平面での位置により明らかである。したがって高偏光度領域評価部６０は、それ以外で欠けている箇所、すなわち画角に対応する円弧形状において欠けている部分があるか否かを判定する。例えば円弧形状のテンプレート画像を準備しておき、パターンマッチングにより差分を取得することで欠損の有無を判定できる。そして欠けている場合は、プレイフィールド１４の周縁が近傍にある旨を、その方向、距離、形状などの情報とともに出力データ生成部５６に供給する。

【0054】

なおロボット４が移動したり方向転換したりすることにより、撮像装置１２は様々な視野での画像を撮影できる。高偏光度領域評価部６０はこれを利用し、各撮影画像が得られたときの撮像装置１２の位置と、その位置で得られた高偏光度領域の形状を蓄積して記録することにより、プレイフィールド１４の範囲を２次元または３次元の統一された座標系で表した環境地図を作成してもよい。

【0055】

全方向で周縁を取得したり補間して求めたりした結果、プレイフィールド１４の範囲を一旦、定義できれば、その後は偏光度による評価を行わずに、ロボット４と周縁との位置関係を把握できる。画像解析部５４は上述した処理のほかに、ロボット４の近傍にある物体の法線ベクトルを取得するなど一般的な画像解析処理を実施してもよい。例えばステレオ画像を用いて物体の位置を特定し、法線ベクトルの情報と統合することにより、物体の位置や姿勢を精度よく求めてもよい。

【0056】

出力データ生成部５６は、図８のＣＰＵ２３、ＧＰＵ２４、出力部３６などで実現し、画像解析部５４が特定した情報に基づきロボットへの制御信号や、ユーザに提示する画像や音声など出力すべきデータを生成して出力する。基本的には、進行方向においてプレイフィールド１４の周縁が近づいてきたら、方向転換させるための制御信号をロボット４に送信する。あるいは、ヘッドマウントディスプレイなどの表示装置に、その旨をユーザに警告する表示画像や音声のデータを送信する。

【0057】

プレイフィールド１４の周縁が近づくことがなければ、出力データ生成部５６は本来の情報処理を実施し、制御信号や表示画像のデータを出力する。このとき実施する情報処理の内容や出力データの種類は特に限定されない。例えばロボットが近傍にある物体を持ち上げたりその間をすり抜けて歩行したりする制御信号を生成しロボットに送信する。あるいはヘッドマウントディスプレイを装着したユーザの視線に対応する視野で拡張現実や仮想現実を表す画像を生成し、当該ヘッドマウントディスプレイに送信してもよい。これらの処理において、画像データ記憶部５２に格納された撮影画像のデータや、画像解析部５４による物体検出の結果を適宜利用してよい。

【0058】

図１０は、高偏光度領域評価部６０が評価した高偏光度領域の時間変化を模式的に示している。ロボット４が移動ている状態で、撮像装置１２が所定の頻度で撮影を継続することにより、プレイフィールド１４の複数の位置に対し、高偏光度領域が取得される。図示する例では、ロボット４が位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、・・・（ｘ９，ｙ９）にいるタイミングで、高偏光度領域（例えば高偏光度領域１７０）がそれぞれ得られている。

【0059】

ただし実際には、より高頻度に高偏光度領域を取得してよい。また一度の撮影で得られる高偏光度領域は上述のとおり、撮像装置１２の視野に入っている部分のみとなる。例えば（ｘ２，ｙ２）にいるタイミングでプレイフィールド１４の周縁側にロボット４が移動している場合、その方向が撮影されることにより高偏光度領域の欠けが表れる。これに応じてロボット４を方向転換させることにより、プレイフィールド１４から逸脱するのを防ぐことができる。

【0060】

一方、ロボット４に内蔵したセンサや、ロボット４を外部から撮影する撮像装置などにより位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、・・・（ｘ９，ｙ９）や撮像装置１２の向きを取得できる場合、各位置で得られた高偏光度領域の形状を蓄積して記憶することにより、プレイフィールド１４の範囲を取得できる。すなわち図示するように、統一された座標系で位置座標に対し高偏光度領域を重ね合わせて表すと、その和集合はプレイフィールド１４の範囲を表すことになる。

【0061】

図１１は、ロボット４の代わりにヘッドマウントディスプレイを装着したユーザに、プレイフィールド１４からの逸脱を警告する場合に表示する画面を例示している。表示画面２００は、仮想世界などコンテンツの画像に警告画像２０２を重畳表示した構成を有する。高偏光度領域評価部６０が、ユーザの進行方向に高偏光度領域の欠けを検出したとき、出力データ生成部５６を介して警告画像２０２を重畳表示させる。図示する例では、「方向転換してください」との文字情報を表示している。ただし警告の内容はこれに限らず、望ましい移動方向を示したり図形で表したりしてもよい。あるいはコンテンツの画像自体に、方向転換を必要とするような変化を与えてもよい。

【0062】

次に、以上述べた構成によって実現できる動作について説明する。図１２は情報処理装置１０が、ロボット４などのプレイフィールドからの逸脱を回避させつつ情報処理を行う処理の手順を示すフローチャートである。このフローチャートは、撮像装置１２が偏光画像を含む被写空間の画像を撮影している状態で開始する。まず情報処理装置１０の画像取得部５０は、偏光画像を含む撮影画像のデータを取得する（Ｓ１０）。そして画像解析部５４の偏光度取得部５８は、偏光画像を用いて偏光度の分布を取得する（Ｓ１２）。上述のとおり偏光度は、画像平面のうちプレイフィールド１４が写っている可能性が高い領域に絞って求めてもよい。

【0063】

そして高偏光度領域評価部６０は、しきい値より高い偏光度が得られた領域を抽出し、視点変換を行うことにより高偏光度領域を俯瞰したときの形状を取得する。そして視野範囲で円弧形状に欠けがある場合（Ｓ１４のＹ）、出力データ生成部５６を介して、プレイフィールド１４からの逸脱を回避するためのデータを出力する（Ｓ１６）。例えばロボット４に対し、方向転換させる制御信号を送信する。あるいはコンテンツの画像などに、方向転換を指示する警告画像を重畳させヘッドマウントディスプレイなどの表示装置に送信する。

【0064】

警告を示す音声をヘッドマウントディスプレイや図示しないスピーカーなどに送信してもよい。あるいはユーザが把持するコントローラや装着するヘッドマウントディスプレイに、それらに内蔵させた振動子を振動させる制御信号を送信することで、振動により警告を表してもよい。このように画像、音声、振動のいずれか、またはそれらのうち２つ以上を組み合わせて、ユーザが認識できる形態で出力装置から出力させることにより、逸脱を警告してもよい。

【0065】

高偏光度領域に欠けがない場合（Ｓ１４のＮ）、本来の目的に応じた制御信号、電子コンテンツの表示画像や音声など、通常処理によるデータを生成し出力する（Ｓ１８）。ユーザからの要求などにより処理を停止させる必要がなければ（Ｓ２０のＮ）、Ｓ１０からＳ１８までの処理を繰り返す。処理を停止させる必要に応じて全処理を終了させる（Ｓ２０のＹ）。

【0066】

以上述べた本実施の形態によれば、自由な移動が可能なロボットやユーザが装着するヘッドマウントディスプレイに設けた撮像装置により偏光画像を撮影する。そして撮影視点から見て偏光度がしきい値より高い領域を俯瞰したときの形状に欠けがある場合、法線ベクトルが一様でない、すなわち平面でない箇所が画角内にあると判定する。そして方向転換する制御信号をロボットに送信したり、方向転換を指示する警告画像をヘッドマウントディスプレイに表示させたりする。

【0067】

これにより、段差や面の端を認識できずに移動を続けた結果、プレイフィールドから落下したり転倒したりするのを防ぐことができる。本実施の形態は色情報とは独立した偏光度を用いるため、ガラスなどの透明な面や、周囲の物との区別がつきにくい色の面でも精度よく周縁部分を検出できる。また円弧形状に欠けがあるか否かというシンプルな基準で判定できるため演算などによる誤差の影響が少ない。結果として、ロボットやユーザなどの移動体の自由な動きに対し、安全性を容易に高めることができる。

【0068】

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0069】

例えば本実施の形態では、平面からの形状変化による、高偏光度領域の形状への影響を利用して、プレイフィールドの周縁を検出した。この場合、偏光状態が変化しない同じ材質の平面が続いていれば、それをプレイフィールドと見なすことになる。一方、材質の変化によって偏光状態が変化し、高偏光度領域の形状に影響を与えることを利用すれば、同一平面でもプレイフィールドの範囲を限定することができる。例えば図４に示すように、鏡面反射に比べ拡散反射の偏光度は天頂角によらず低くなる。

【0070】

したがって、例えばプレイフィールドを鏡面反射成分が支配的な材質のマットや平板とし、拡散反射が支配的な材質の面上に敷くことにより、同じ平面であってもプレイフィールドの外側で、高偏光度領域が欠けることになる。これにより、移動体の可動範囲を様々に設定することができる。例えばプレイフィールドの形状自体にゲーム性を持たせたり、ロボットやユーザを外部から撮影して追跡する態様において、撮影画角からはみ出さないようにしたりといった、安全性以外の様々な効果を得ることができる。

【符号の説明】

【0071】

１０ 情報処理装置、 １２ 撮像装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ５０ 画像取得部、 ５２ 画像データ記憶部、 ５４ 画像解析部、 ５６ 出力データ生成部、 ５８ 偏光度取得部、 ６０ 高偏光度領域評価部。

【産業上の利用可能性】

【0072】

以上のように本発明は、ロボット制御装置、電子コンテンツ処理装置など各種情報処理装置およびシステムに利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】