▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-07
(45)【発行日】2023-12-15
(54)【発明の名称】光パターン照射制御装置及び光パターン照射制御方法
(51)【国際特許分類】
G01B 11/25 20060101AFI20231208BHJP
G01C 3/06 20060101ALI20231208BHJP
【ＦＩ】
G01B11/25 H
G01C3/06 110V
G01C3/06 140
【請求項の数】
4
(21)【出願番号】P 2021520697
(86)(22)【出願日】2020-05-07
(86)【国際出願番号】 JP2020018591
(87)【国際公開番号】W WO2020235348
(87)【国際公開日】2020-11-26
【審査請求日】2023-03-27
(31)【優先権主張番号】P 2019093819
(32)【優先日】2019-05-17
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】110000154
【氏名又は名称】弁理士法人はるか国際特許事務所
(72)【発明者】
【氏名】島津 貴志
【審査官】櫻井 仁
(56)【参考文献】
【文献】特開２０１０－０９１４９２（ＪＰ，Ａ）
【文献】特開２０１１－２０９０１９（ＪＰ，Ａ）
【文献】特開２００７－０１７３５５（ＪＰ，Ａ）
【文献】特開２００８－２３２７７６（ＪＰ，Ａ）
【文献】特開２０１７－５３０３５２（ＪＰ，Ａ）
【文献】特開２０１２－０９８０８７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０１Ｃ ３／０６
(57)【特許請求の範囲】
【請求項1】
撮影された画像に基づいて、当該画像の一部を占める、所与の光パターンを照射すべき照射領域を特定する照射領域特定部と、前記光パターンを、前記照射領域に表れている実空間内の場所に照射するよう照射部を制御する照射制御部と、
前記光パターンが照射された場所を撮影した画像に基づいて、当該画像に表れている実空間内の各位置のデプスデータを生成するデプスデータ生成部と、を含み、
前記照射部には、前記光パターンを出射する複数の発光モジュールが含まれており、
前記照射制御部は、前記複数の発光モジュールのうちから、前記照射領域に表れている実空間内の場所に対応付けられる前記発光モジュールを選択し、選択される前記発光モジュールが前記光パターンを出射するよう制御する、
ことを特徴とする光パターン照射制御装置。
【請求項2】
前記照射領域特定部は、ステレオマッチング処理の実行結果の信頼度に基づいて、前記照射領域を特定する、ことを特徴とする請求項１に記載の光パターン照射制御装置。
【請求項3】
前記照射領域特定部は、撮影された画像内の複数の領域のそれぞれについて抽出される特徴点の数に基づいて、前記照射領域を特定する、ことを特徴とする請求項１又は２に記載の光パターン照射制御装置。
【請求項4】
撮影された画像に基づいて、当該画像の一部を占める、所与の光パターンを照射すべき照射領域を特定する照射領域特定ステップと、前記光パターンを、前記照射領域に表れている実空間内の場所に照射するよう照射部を制御する照射制御ステップと、
前記光パターンが照射された場所を撮影した画像に基づいて、当該画像に表れている実空間内の各位置のデプスデータを生成するデプスデータ生成ステップと、を含み、
前記照射部には、前記光パターンを出射する複数の発光モジュールが含まれており、
前記照射制御ステップでは、前記複数の発光モジュールのうちから、前記照射領域に表れている実空間内の場所に対応付けられる前記発光モジュールが選択され、選択される前記発光モジュールが前記光パターンを出射するよう制御される、
ことを特徴とする光パターン照射制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光パターン照射制御装置及び光パターン照射制御方法に関する。
【背景技術】
【0002】
撮影部により撮影される画像からデプスデータを生成する技術が知られている。デプスデータは、例えば、撮影される画像に表れている実空間内の各位置の、当該画像の投影面と交差する方向における位置を示す。
【0003】
床、壁、テーブルなどといった平面状の物体については、特徴点がない、あるいは、特徴点が少ないため、デプスデータの生成が一般的に困難である。このような場所でも精度の高いデプスデータが生成されるようにするため、ハイパワーのプロジェクターが、カメラの露光タイミングに同期させて、ランダムパターンや所定形状の図形のパターン等の所与の光パターンを照射する技術が存在する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記技術では、広い範囲に光パターンが照射されるため無駄な消費電力が発生していた。
【0005】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、デプスデータを生成するための所与の光パターンの照射に係る消費電力を低減できる光パターン照射制御装置及び光パターン照射制御方法を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明に係る光パターン照射制御装置は、撮影された画像に基づいて、当該画像の一部を占める、所与の光パターンを照射すべき照射領域を特定する照射領域特定部と、前記光パターンを、前記照射領域に表れている実空間内の場所に照射するよう照射部を制御する照射制御部と、前記光パターンが照射された場所を撮影した画像に基づいて、当該画像に表れている実空間内の各位置のデプスデータを生成するデプスデータ生成部と、を含む。
【0007】
本発明の一態様では、前記照射領域特定部は、ステレオマッチング処理の実行結果の信頼度に基づいて、前記照射領域を特定する。
【0008】
また、発明の一態様では、前記照射領域特定部は、撮影された画像内の複数の領域のそれぞれについて抽出される特徴点の数に基づいて、前記照射領域を特定する。
【0009】
また、本発明の一態様では、前記照射制御部は、前記照射部の位置及び向きのうちの少なくとも一方を制御する。
【0010】
あるいは、前記照射制御部は、前記照射部に含まれる、前記光パターンを反射する反射部材の位置及び向きのうちの少なくとも一方を制御する。
【0011】
あるいは、前記照射部には、前記光パターンを出射する複数の発光モジュールが含まれており、前記照射制御部は、前記複数の発光モジュールのうちから、前記照射領域に表れている実空間内の場所に対応付けられる前記発光モジュールを選択し、選択される前記発光モジュールが前記光パターンを出射するよう制御する。
【0012】
あるいは、前記照射部は、前記照射領域に表れている実空間内の場所を一部に含む場所に対する照射を行う走査式プロジェクターを含み、前記照射制御部は、前記光パターンを、前記照射領域に表れている実空間内の場所に照射するよう前記走査式プロジェクターを制御する。
【0013】
あるいは、前記照射部は、ロボットに搭載されており、前記照射制御部は、前記ロボットの位置及び向きのうちの少なくとも一方を制御する。
【0014】
また、本発明に係る光パターン照射制御方法は、撮影された画像に基づいて、当該画像の一部を占める、所与の光パターンを照射すべき照射領域を特定するステップと、前記光パターンを、前記照射領域に表れている実空間内の場所に照射するよう照射部を制御するステップと、前記光パターンが照射された場所を撮影した画像に基づいて、当該画像に表れている実空間内の各位置のデプスデータを生成するステップと、を含む。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態に係る光パターン照射制御装置の構成の一例を示す図である。
【図2】本発明の一実施形態に係る光パターン照射制御装置で実行される処理の一例を示すフロー図である。
【図3】照射制御の一例を模式的に示す図である。
【図4】照射制御の一例を模式的に示す図である。
【図5】照射制御の一例を模式的に示す図である。
【図6】露光タイミングと発光タイミングとの関係の一例を示す図である。
【図7】光パターンの照射が行われていない際に撮影された画像の一例を模式的に示す図である。
【図8】光パターンの照射が行われた際に撮影された画像の一例を模式的に示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【0017】
図１は、本発明の一実施形態に係る光パターン照射制御装置１の構成の一例を示す図である。
【0018】
図１に示すように、本実施形態に係る光パターン照射制御装置１には、撮影部１０、デプスエンジン１２、特徴抽出エンジン１４、ＣＰＵ（Central Processing Unit）１６、ドライバ１８、照射部２０、が含まれる。撮影部１０は、例えば、ステレオカメラであり、撮影部１０には、カメラ２２ａ、カメラ２２ｂ、ＩＳＰ（Image Signal Processor）２４ａ、及び、ＩＳＰ２４ｂが含まれる。
【0019】
本実施形態に係る撮影部１０は、所定のフレームレート（例えば１２０ｆｐｓあるいは６０ｆｐｓ）で、画像を撮影する。本実施形態では、カメラ２２ａによる画像の撮影タイミングとカメラ２２ｂによる画像の撮影タイミングとは同期がとられており、所定のフレームレートで一対の画像が生成される。
【0020】
本実施形態に係るカメラ２２ａ、及び、カメラ２２ｂは、可視光と赤外光の両方を撮影可能なカメラである。ここでカメラ２２ａ、及び、カメラ２２ｂは、例えば、赤外光をカットするためのフィルタが外されたモノクロカメラであってもよい。あるいは、カメラ２２ａ、及び、カメラ２２ｂは、例えば、赤外光をカットするためのフィルタが外されたカラーカメラであってもよい。また、カメラ２２ａ、及び、カメラ２２ｂは、可視光用だけでなく赤外光用の画素も実装されており、可視光のデータと赤外光のデータとを分離して生成するものであってもよい。
【0021】
撮影部１０により撮影された画像は、デプスエンジン１２、及び、特徴抽出エンジン１４に入力される。本実施形態では、カメラ２２ａにより撮影された画像は、ＩＳＰ２４ａによる画像処理が実行された上で、デプスエンジン１２、及び、特徴抽出エンジン１４に入力される。また、カメラ２２ｂにより撮影された画像は、ＩＳＰ２４ｂによる画像処理が実行された上で、デプスエンジン１２、及び、特徴抽出エンジン１４に入力される。
【0022】
デプスエンジン１２は、本実施形態では例えば、デプスデータ生成部として、撮影部１０により撮影された画像に基づいて、デプスデータ、及び、信頼度データを生成するデバイスを構成している。デプスエンジン１２は、例えば、撮影部１０により撮影された画像に対してステレオマッチング処理を実行する。ステレオマッチング処理には、撮影部１０により撮影された一対の画像内の互いに類似する領域をテンプレートマッチングにより対応付ける処理が含まれる。ここでは例えば、カメラ２２ａが撮影し、ＩＳＰ２４ａが画像処理を実行した画像内の領域と、カメラ２２ｂが撮影し、ＩＳＰ２４ｂが画像処理を実行した画像内の領域とを対応付ける処理が実行される。例えば、所定の大きさの領域（例えば２０ピクセル四方の領域）を単位として、上述の領域の対応付けが実行されてもよい。以下、当該領域を単位領域と呼ぶこととする。そしてデプスエンジン１２は、ステレオマッチング処理の実行結果に基づいて、デプスデータ、及び、信頼度データを生成する。
【0023】
ここでデプスデータとは、撮影される画像に表れている実空間内の各位置の、当該画像の投影面と交差する方向における位置を示すデータである。また、信頼度データとは、ステレオマッチング処理の実行結果の信頼度（例えば、当該信頼度データに対応付けられるデプスデータの信頼度）を示すデータである。以下の説明では、信頼度データが示す信頼度が高いほど、当該信頼度データには大きな値が設定されることとする。
【0024】
デプスデータは、例えば、複数の画素を含むデプス画像であってもよい。この場合、デプス画像内の各画素は、単位領域に対応付けられる。また、デプス画像内の各画素は、対応する単位領域に表れている実空間内の位置にも対応付けられる。デプス画像内の各画素には、例えば、対応する実空間内の位置の、撮影部１０により撮影された画像の投影面と交差する方向における位置に対応する画素値が設定される。
【0025】
そしてこの場合に、デプス画像内の各画素についての、当該画素に対応付けられる信頼度データが生成されてもよい。ここで信頼度データが示す信頼度が低い領域は、例えば、特徴点がない、あるいは、特徴点が少ないため対応付けができない領域や、類似する領域が複数存在する領域などが該当する。またノイズやオクルージョンの発生によっても、信頼度データが示す信頼度は低くなる。
【0026】
カラーカメラが用いられる場合は、ステレオマッチング処理において、例えば、各画素の輝度値による単位領域の対応付けが行われてもよい。また、可視光用だけでなく赤外光用の画素も実装されているカメラが用いられる場合は、デプスデータの生成には、モノクロ画素のデータが用いられるようにしてもよい。
【0027】
特徴抽出エンジン１４は、本実施形態では例えば、撮影部１０により撮影された画像から特徴点を抽出する処理を実行するデバイスである。なお、本実施形態に係る光パターン照射制御装置１に特徴抽出エンジン１４が含まれていなくてもよい。
【0028】
ＣＰＵ１６は、本実施形態では例えば、プログラムに従って動作するプロセッサである。本実施形態に係るＣＰＵ１６は、照射領域特定部として、撮影された画像に基づいて、当該画像の一部を占める、光パターンを照射すべき照射領域を特定する処理を実行する。ここで例えば、１又は複数の上述の単位領域が、照射領域として特定されてもよい。
【0029】
ドライバ１８は、本実施形態では例えば、照射制御部として、ＣＰＵ１６から受け付ける制御信号に基づいて照射部２０を制御するデバイスを構成している。
【0030】
照射部２０は、本実施形態では例えば、赤外線などの光を物体に照射するデバイスである。照射部２０は、例えば、ＶＣＳＥＬ（Vertical Cavity Surface Emitting LASER）モジュールであってもよいし、ＭＥＭＳ（Micro Electro Mechanical Systems）プロジェクターなどの走査式プロジェクターであってもよい。
【0031】
本実施形態では、ドライバ１８は、所与の光パターンを、ＣＰＵ１６により特定される照射領域に表れている実空間内の場所に照射するよう照射部２０を制御する。ここで当該光パターンは、例えば、ランダムパターンであってもよいし、所定形状の図形のパターンであってもよい。
【0032】
なお、以上の機能は、以上の機能に対応する指令を含むプログラムを光パターン照射制御装置１が実行することにより実装されていてもよい。そして当該プログラムが、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して光パターン照射制御装置１に供給されてもよい。
【0033】
ここで、本実施形態に係る光パターン照射制御装置１において行われる処理の流れの一例を、図２に例示するフロー図を参照しながら説明する。本処理例では、図２に示すＳ１０１又はＳ１０６に示す処理が所定のフレームレートで実行されるよう、図２に示すＳ１０１～Ｓ１０９に示す処理が繰り返し実行される。
【0034】
まず、撮影部１０が一対の画像を撮影する（Ｓ１０１）。
【0035】
そして、デプスエンジン１２が、Ｓ１０１に示す処理で撮影された一対の画像に対するステレオマッチング処理を実行する（Ｓ１０２）。当該ステレオマッチング処理が実行されることにより、例えば、複数の単位領域のそれぞれに対応付けられるデプスデータ、及び、当該単位領域についてのステレオマッチング処理の実行結果の信頼度を示す信頼度データが生成される。
【0036】
そして、ＣＰＵ１６が、Ｓ１０２に示す処理で生成された信頼度データが示す信頼度の値が、所定値以上であるか否かを確認する（Ｓ１０３）。ここで例えば、複数の単位領域のそれぞれに対応付けられる信頼度データが示す信頼度の値の平均値が、所定値以上であるか否かが確認されてもよい。
【0037】
Ｓ１０３に示す処理で、信頼度の値が所定値以上であることが確認された場合は（Ｓ１０３：Ｙ）、Ｓ１０１に示す処理に戻る。
【0038】
Ｓ１０３に示す処理で、信頼度の値が所定値以上でないことが確認された場合は（Ｓ１０３：Ｎ）、ＣＰＵ１６が、照射領域を特定する（Ｓ１０４）。Ｓ１０４に示す処理では例えば、ＣＰＵ１６は、ステレオマッチング処理の実行結果の信頼度に基づいて、照射領域を特定する。ここで所定の信頼度よりも低い信頼度を示す信頼度データに対応する単位領域が、照射領域と特定されてもよい。この場合、複数の照射領域が特定されてもよい。あるいは、最も低い信頼度を示す信頼度データに対応する単位領域が、照射領域と特定されてもよい。
【0039】
そしてドライバ１８が、照射部２０による照射の設定を実行する（Ｓ１０５）。Ｓ１０５に示す処理では、ＣＰＵ１６からドライバ１８に送信される制御信号に応じた照射の設定をドライバ１８が実行してもよい。また、Ｓ１０５に示す処理において、ドライバ１８は、照射部２０の電源をオンにしてもよい。
【0040】
そして、ドライバ１８が、所与の光パターンを、Ｓ１０４に示す処理で特定された照射領域に表れている実空間内の場所に照射するよう照射部２０を制御するとともに、撮影部１０が一対の画像を撮影する（Ｓ１０６）。Ｓ１０６に示す処理では、ＣＰＵ１６からドライバ１８に送信される制御信号に応じた照射をドライバ１８が実行してもよい。Ｓ１０６に示す処理では、照射部２０による所与の光パターンの照射は、カメラ２２ａ及びカメラ２２ｂが露光している期間の一部に行われる。
【0041】
図３に示すように、照射部２０に、所与の光パターンを出射する発光モジュール２６と、当該光パターンを反射する反射部材２８とが含まれていてもよい。この場合に、Ｓ１０５に示す処理で、ドライバ１８が、反射部材２８の位置及び向きのうちの少なくとも一方を制御してもよい。そしてＳ１０６に示す処理で、所与の光パターンが照射領域に表れている実空間内の場所に照射されるようにしてもよい。
【0042】
また、図４に示すように、Ｓ１０５に示す処理で、ドライバ１８が、照射部２０自体の位置及び向きのうちの少なくとも一方を制御してもよい。そして、Ｓ１０６に示す処理で、所与の光パターンが照射領域に表れている実空間内の場所に照射されるようにしてもよい。
【0043】
以上の場合のように、ドライバ１８は、照射部２０の位置や向きを制御するアクチュエータであってもよい。
【0044】
また、図５に示すように、照射部２０に、所与の光パターンを出射する発光モジュール２６が複数含まれていてもよい。複数の発光モジュール２６のそれぞれは、それぞれ実空間内の互いに異なる場所に対応付けられる。この場合に、Ｓ１０５に示す処理で、ドライバ１８が、当該複数の発光モジュール２６のうちから、照射領域に表れている実空間内の場所に対応付けられる発光モジュール２６を選択してもよい。そして、Ｓ１０６に示す処理で、ドライバ１８が、選択される発光モジュール２６が所与の光パターンを出射するよう制御してもよい。
【0045】
この場合のように、ドライバ１８は、所与の光パターンを出射させる発光モジュール２６を切り替えるスイッチであってもよい。
【0046】
また、照射部２０に、照射領域に表れている実空間内の場所を一部に含む場所に対する照射を行う走査式プロジェクターが含まれていてもよい。そして、Ｓ１０５及び１０６に示す処理で、ドライバ１８が、所与の光パターンを、照射領域に表れている実空間内の場所に照射するよう当該走査式プロジェクターを制御してもよい。
【0047】
なお本実施形態において、例えば撮影部１０の位置及び向きの計測や、照射部２０の位置及び向きの計測が行われるようにしてもよい。そして当該計測の結果に基づいて、上述の照射制御（照射の設定、及び、照射）が行われるようにしてもよい。
【0048】
また、撮影部１０の位置及び向きに対する照射部２０の相対的な位置及び向きが固定されている場合については、撮影部１０の位置及び向きと照射部２０の位置及び向きとの対応は所与である。そのためこの場合は、当該所与の対応を表す数式等を用いることにより、上述の照射制御を行うことは可能である。
【0049】
また、例えば照射部２０が、ロボットに搭載されており、照射部２０のロボットに対する相対的な位置や向きが固定されていてもよい。そして、ロボットを動かすことにより、所与の光パターンが照射領域に表れている実空間内の場所に照射されるようにしてもよい。この場合、ドライバ１８が、照射部２０が搭載されているロボットの位置及び向きのうちの少なくとも一方を制御してもよい。
【0050】
例えば、照射部２０が、ロボットの頭部に実装されており、照射部２０のロボットの頭部に対する相対的な位置や向きが固定されていてもよい。そして、ロボットの頭部を動かすことにより、所与の光パターンが照射領域に表れている実空間内の場所に照射されるようにしてもよい。この場合、ドライバ１８が、照射部２０が搭載されているロボットの頭部の位置及び向きのうちの少なくとも一方を制御してもよい。
【0051】
Ｓ１０６に示す処理が終了すると、デプスエンジン１２が、Ｓ１０６に示す処理で撮影された一対の画像に対するステレオマッチング処理を実行する（Ｓ１０７）。
【0052】
そして、ＣＰＵ１６が、所定の消灯条件を満足するか否かを確認する（Ｓ１０８）。ここで、消灯条件を満足することが確認された場合は（Ｓ１０８：Ｙ）、ドライバ１８が、照射部２０の電源をオフにして、照射部２０を消灯して（Ｓ１０９）、Ｓ１０１に示す処理に戻る。
【0053】
一方、消灯条件を満足しないことが確認された場合は（Ｓ１０８：Ｙ）、Ｓ１０４に示す処理に戻る。
【0054】
ここでＳ１０８に示す処理が実行されず、Ｓ１０７に示す処理が実行された後は、必ずＳ１０９に示す処理が実行されてもよい。
【0055】
この場合は、図６に示すように、発光モジュール２６による発光が行われるフレームと、発光モジュール２６による発光が行われないフレームと、が交互に到来する。
【0056】
図６に示すように、本実施形態では例えば、発光モジュール２６による発光が行われるフレームについては、発光モジュール２６による発光が、カメラ２２ａ及びカメラ２２ｂが露光している期間の一部に行われる。
【0057】
一方で、発光モジュール２６による発光が行われないフレームについては、デプスエンジン１２は、所与の光パターンが照射されていない状況で撮影した画像に基づいて、ステレオマッチング処理を実行する。そして発光モジュール２６による発光が行われないフレームに実行されたステレオマッチング処理の結果に基づいて、その次のフレームにおける照射領域の設定が実行される。
【0058】
そして当該次のフレームについては、撮影部１０は、所与の光パターンが照射された場所を撮影する。そして、デプスエンジン１２は、所与の光パターンが照射された場所を撮影した画像に基づいて、当該画像に表れている実空間内の各位置のデプスデータを生成することとなる。
【0059】
図６の例では、時間Ｔ１において撮影された画像に基づくステレオマッチング処理の結果に基づいて、時間Ｔ２において所与の光パターンが照射される照射領域が設定される。そして、時間Ｔ２を一部に含む時間Ｔ３に、当該照射がされた場所の撮影が行われる。同様に、時間Ｔ４において撮影された画像に基づくステレオマッチング処理の結果に基づいて、時間Ｔ５において所与の光パターンが照射される照射領域が設定される。そして、時間Ｔ５を一部に含む時間Ｔ６に、当該照射がされた場所の撮影が行われる。
【0060】
図７は、所与の光パターンの照射が行われていない際に撮影された画像の一例を模式的に示す図である。図８は、光パターンの照射が行われた際に撮影された画像の一例を模式的に示す図である。例えば、図７に示す画像が時間Ｔ１において撮影された際に、領域Ｒが照射領域として特定される。ここでは、特徴点がない、あるいは、特徴点が少ない、テーブルの上の領域Ｒが照射領域に設定されている。この場合、その次のフレームにおいて領域Ｒに所与の光パターンが照射され、時間Ｔ３に図８に示す画像が撮影される。
【0061】
また、Ｓ１０８に示す処理において、ＣＰＵ１６が、Ｓ１０４～Ｓ１０７に示す処理の実行が開始されてからの時間を監視してもよい。そして、監視された時間が所定の時間を超えた場合に、ＣＰＵ１６が、消灯時間を満足すると判定し、ドライバ１８が、Ｓ１０９に示す処理を実行してもよい。あるいは、Ｓ１０８に示す処理において、ＣＰＵ１６が、Ｓ１０１～Ｓ１０３に示す処理が実行されることなくＳ１０４～Ｓ１０７に示す処理が連続して実行された回数を監視してもよい。そして、監視された回数が所定の回数を超えた場合に、ＣＰＵ１６が、消灯時間を満足すると判定し、ドライバ１８が、Ｓ１０９に示す処理を実行してもよい。
【0062】
また、Ｓ１０８に示す処理で、ＣＰＵ１６が、直前のフレームで撮影された画像と当該フレームで撮影された画像の差分を特定してもよい。そして、当該差分が所定の差分より大きい場合に、ＣＰＵ１６が、消灯時間を満足すると判定し、ドライバ１８が、Ｓ１０９に示す処理を実行してもよい。あるいは、所定時間以上、特定される差分が所定の差分より小さい場合に、ＣＰＵ１６が、消灯時間を満足すると判定し、ドライバ１８が、Ｓ１０９に示す処理を実行してもよい。
【0063】
また、光パターン照射制御装置１にモーションセンサが含まれていてもよい。そして、当該フレームにおけるモーションセンサの計測結果である動きの大きさを表す値が、所定値よりも大きい場合に、ＣＰＵ１６が、消灯時間を満足すると判定し、ドライバ１８が、Ｓ１０９に示す処理を実行してもよい。あるいは、所定時間以上、上述の動きの大きさを表す値が所定値より小さい場合に、ＣＰＵ１６が、消灯時間を満足すると判定し、ドライバ１８が、Ｓ１０９に示す処理を実行してもよい。
【0064】
なお、本実施形態において、発光モジュール２６による発光が行われるフレームと、発光モジュール２６の位置や向きの変更が行われるフレームと、が交互に到来するようにしてもよい。また、発光モジュール２６による発光が行われてから次のフレームにおける発光タイミングまでの間に、発光モジュール２６の位置や向きが変更されてもよい。
【0065】
また本実施形態において、ＣＰＵ１６が、撮影部１０により撮影された画像内の複数の領域のそれぞれについて、当該画像から特徴抽出エンジン１４によって抽出された特徴点の数を算出してもよい。当該領域は上述の単位領域と同じ領域であってもよいし異なる領域であってもよい。そして、ＣＰＵ１６が、算出された特徴点の数に基づいて、照射領域を特定してもよい。例えば、撮影された画像内における、算出された特徴点が所定数より少ない領域が、照射領域と特定されてもよい。あるいは、例えば、撮影された画像内における、算出された特徴点が最も少ない領域が、照射領域と特定されてもよい。
【0066】
デプスエンジン１２により生成される信頼度データが示す信頼度が低い原因が、特徴点がないこと、あるいは、特徴点が少ないことによるものではないことがある。このような場合には、特徴抽出エンジン１４により抽出される特徴点に基づいて照射領域を特定することが有効なことがある。
【0067】
また例えば、信頼度データ及び算出される特徴点の数に基づいて、照射領域が特定されてもよい。例えば、Ｓ１０４に示す処理で、所定の信頼度よりも低い信頼度を示す信頼度データに対応する領域が複数特定される場合に、当該複数の領域のうちの、算出された特徴点が最も少ない領域が、照射領域と特定されてもよい。
【0068】
また、ＣＰＵ１６、又は、特徴抽出エンジン１４が、撮影部１０が撮影した画像に対する物体認識処理を実行してもよい。そして例えば、床、壁、テーブルなどといった所定の物体が認識された領域が、照射領域と特定されてもよい。
【0069】
ここで光パターン照射制御装置１に加速度センサが含まれていてもよい。そして上述の物体認識処理において当該加速度センサの計測結果（例えば重力方向の情報）が用いられてもよい。
【0070】
また、照射領域が複数特定される場合に、別の基準（例えば所与の重要度）に基づいていずれかの照射領域が特定されてもよい。そして所与の光パターンが、特定された照射領域に表れている実空間内の場所に照射されるようにしてもよい。
【0071】
また、照射領域が複数特定される場合に、所与の光パターンが、それぞれの照射領域に表れている実空間内の場所に、順次、照射されるようにしてもよい。
【0072】
また本実施形態において、照射部２０による光パターンの照射を行っても、信頼度データが示す信頼度が所定の信頼度よりも高くならない場合は、照射部２０による光パターンの照射が行われないようにしてもよい。例えばＳ１０３に示す処理で平均信頼度の値が所定値以上でないことが所定数のフレームにわたって連続して確認された場合は、光パターン照射制御装置１は、Ｓ１０４及びＳ１０５に示す処理を実行せずに、Ｓ１０１に示す処理に戻ってもよい。例えば、信頼度が低い原因がオクルージョンやノイズである場合には、光パターンの照射を行っても、信頼度データが示す信頼度が所定の信頼度よりも高くならない可能性がある。
【0073】
また本実施形態において、光パターン照射制御装置１にモーションセンサが含まれていてもよい。そして直前のフレームからの移動量が所定の移動量よりも小さい場合は、照射部２０による光パターンの照射が行われないようにしてもよい。
【0074】
本実施形態では以上で説明したように、撮影部１０により撮影された画像に基づいて、当該画像の一部を占める、光パターンを照射すべき照射領域が特定される。そして、所与の光パターンを、照射領域に表れている実空間内の場所に照射するよう照射部２０が制御される。そのため本実施形態によれば、広い範囲に所与の光パターンが照射される場合よりも、消費電力を低減できることとなる。例えば撮影部１０からの距離が所定の距離である場所に光パターンの照射を行う場合、ＦＯＶ（Field of View）が大きいと、照射出力は照射半径の二乗に比例する。そのため、照射半径が半分となれば照射出力は１／４となる。
【0075】
なお、本発明は上述の実施形態に限定されるものではない。
【0076】
例えば、撮影部１０と照射部２０とは、互いに異なるデバイスに設けられていてもよい。
【0077】
また例えば、デプスデータの生成に用いられる画像を撮影する撮影部（以下、第１の撮影部と呼ぶ。）と、照射領域の特定に用いられる画像を撮影する撮影部（以下、第２の撮影部と呼ぶ。）とは、別体であってもよい。この場合、第２の撮影部により撮影される画像に基づいて、照射制御が実行されてもよい。そして第１の撮影部が、当該照射制御により所与の光パターンが照射された物体を撮影してもよい。そして、第１の撮影部が撮影した画像に基づいて、デプスデータが生成されてもよい。ここで例えば、第２の撮影部と照射部２０とは一体のデバイスに設けられており、第１の撮影部が当該デバイスとは別のデバイスに設けられていてもよい。
【0078】
また本実施形態において、一対の画像に基づいて、照射領域が特定される必要はない。例えば、特徴抽出エンジン１４が１つの画像から特徴点を抽出してもよい。そして、当該抽出の結果に基づいて、当該画像内における照射領域が特定されてもよい。
【0079】
また、本発明は、ステレオマッチング方式以外の方式によるデプスデータの生成においても適用可能である。
【0080】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】