(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023067963
(43)【公開日】2023-05-16
(54)【発明の名称】投影システム、投影装置及び投影方法
(51)【国際特許分類】
H04N 5/74 20060101AFI20230509BHJP
G03B 21/00 20060101ALI20230509BHJP
G09G 5/00 20060101ALI20230509BHJP
【FI】
H04N5/74 Z
G03B21/00 D
G09G5/00 510V
G09G5/00 X
G09G5/00 550C
G09G5/00 510B
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023033041
(22)【出願日】2023-03-03
(62)【分割の表示】P 2018095729の分割
【原出願日】2018-05-17
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】渕上 竜司
(57)【要約】
【課題】複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行可能にする。
【解決手段】対象物105、106に対して位置計測及び投影を行う投影装置として複数の計測投影装置100A、100Bを含む投影システムであって、投影装置は、対象物に非可視光の計測光を投影する非可視光投影部と、対象物から反射した計測光の反射光を受光する受光部と、計測光の反射光に基づいて対象物の位置情報を算出する演算部と、対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影部と、を有する。複数の投影装置において、第1の計測投影装置100Aと、第2の計測投影装置100Bとは、異なる投影タイミングで計測光を投影する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
対象物に対して位置計測及び投影を行う複数の投影装置を含む投影システムであって、
前記投影装置は、
前記対象物に非可視光の計測光を投影する非可視光投影部と、
前記対象物から反射した計測光の反射光を受光する受光部と、
前記計測光の反射光に基づいて前記対象物の位置情報を算出する演算部と、
前記対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影部と、を有し、
前記投影装置において、前記非可視光の計測光を投影する時間は、前記受光部で受光した前記反射光に関する情報を前記演算部へ転送する時間よりも短く、
複数の前記投影装置において、第1の投影装置と、第2の投影装置とは、前記第1の投影装置の前記計測光の投影範囲と、前記第2の投影装置の前記計測光の投影範囲が重複する場合には、異なる投影タイミングで前記計測光を投影し、
前記第1の投影装置および前記第2の投影装置の前記非可視光投影部は、前記第1の投影装置の前記受光部で受光された前記反射光に関する情報を、前記第1の投影装置の前記演算部に転送している間に前記非可視光の計測光を投影する、
投影システム。
【請求項2】
請求項1に記載の投影システムであって、
前記第2の投影装置の非可視光投影部は、前記第1の投影装置の演算部が前記位置情報に関する演算中に前記計測光を投影する、
投影システム。
【請求項3】
請求項1又は2に記載の投影システムであって、
前記第2の投影装置の演算部は、前記第1の投影装置が映像コンテンツを投影中に前記位置情報に関する演算を行い、前記対象物の形状及び位置を算出する、
投影システム。
【請求項4】
請求項1から3のいずれか一項に記載の投影システムであって、
前記第1の投影装置の非可視光投影部は、前記第1の投影装置が映像コンテンツを投影中に前記計測光を投影する、
投影システム。
【請求項5】
請求項1から4のいずれか一項に記載の投影システムであって、
前記第2の投影装置の非可視光投影部は、前記受光部で受光した前記反射光に関する情報を前記演算部へ転送中に前記計測光を投影する、
投影システム。
【請求項6】
請求項1から5のいずれか一項に記載の投影システムであって、
前記非可視光の計測光を投影する時間は、前記投影システムにおいて順次動作する投影装置の位相数に応じて設定される、
投影システム。
【請求項7】
請求項6に記載の投影システムであって、
前記投影装置において、前記設定された非可視光の計測光を投影する時間に応じて、前記非可視光投影部の光源の駆動電力を調整する、
投影システム。
【請求項8】
請求項1から7のいずれか一項に記載の投影システムであって、
前記投影タイミングを制御するタイミング制御部を有し、
前記投影装置は、前記タイミング制御部からタイミング信号を受信し、前記タイミング信号に従った所定タイミングで前記計測光を投影する、
投影システム。
【請求項9】
請求項1から7のいずれか一項に記載の投影システムであって、
前記第1の投影装置及び前記第2の投影装置は、前記投影タイミングを制御するタイミング制御部からタイミング信号を受信し、前記タイミング信号に従った所定タイミングで前記計測光を投影する、
投影システム。
【請求項10】
請求項1から7のいずれか一項に記載の投影システムであって、
前記第2の投影装置は、前記第1の投影装置からタイミング信号を受信し、前記タイミング信号に従った所定タイミングで前記計測光を投影する、
投影システム。
【請求項11】
請求項1から10のいずれか一項に記載の投影システムであって、
前記第1の投影装置及び前記第2の投影装置と前記計測光の投影範囲が重複する第3の投影装置は、前記第1の投影装置及び前記第2の投影装置と異なる投影タイミングで前記計測光を投影する、
投影システム。
【請求項12】
対象物に対して位置計測及び投影を行う複数の投影装置を含む投影システムにおける投影装置であって、
前記対象物に非可視光の計測光を投影する非可視光投影部と、
前記対象物から反射した計測光の反射光を受光する受光部と、
前記計測光の反射光に基づいて前記対象物の位置情報を算出する演算部と、
前記対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影部と、を有し、
前記投影装置の前記計測光の投影範囲と、他の投影装置の前記計測光の投影範囲が重複する場合には、異なる投影タイミングで前記計測光を投影し、
前記非可視光の計測光を投影する時間は、前記受光部で受光した前記反射光に関する情報を前記演算部へ転送する時間よりも短く、
前記非可視光投影部は、前記受光部で受光された前記反射光に関する情報を前記演算部に転送している間に、前記非可視光の計測光を投影する、
投影装置。
【請求項13】
請求項12に記載の投影装置であって、
前記他の投影装置からタイミング信号を受信し、前記タイミング信号に従った所定タイミングで前記計測光を投影する、
投影装置。
【請求項14】
請求項12に記載の投影装置であって、
前記他の投影装置に対してタイミング信号を送信し、前記タイミング信号に従った所定タイミングで前記計測光を投影させる、
投影装置。
【請求項15】
対象物に対して位置計測及び投影を行う複数の投影装置を含む投影システムにおける投影方法であって、
前記投影装置において、
前記対象物に非可視光の計測光を非可視光投影部により投影し、
前記対象物から反射した計測光の反射光を受光部により受光し、
前記非可視光の計測光を投影する時間よりも短い時間で、受光した前記反射光に関する情報を演算部へ転送し、
転送された前記反射光に関する情報に基づいて前記対象物の位置情報を演算部により算出し、
前記対象物の位置情報に基づいて可視光の映像コンテンツを可視光投影部により投影し、
複数の前記投影装置において、第1の投影装置と、第2の投影装置とは、
前記第1の投影装置の前記計測光の投影範囲と、前記第2の投影装置の前記計測光の投影範囲が重複する場合には、異なる投影タイミングで前記計測光を投影し、
前記第1の投影装置で受光された前記反射光に関する情報を、前記第1の投影装置の前記演算部に転送している間に前記非可視光の計測光を投影する、
投影方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、映像を対象物に投影する投影システム、投影装置及び投影方法に関する。
【背景技術】
【0002】
スクリーン又は構造物などの対象物に映像を投影する技術、いわゆるプロジェクションマッピングと呼ばれる技術が知られている。プロジェクションマッピングのシステムの中には、撮像機能を備えているシステムがある。例えば、特許文献1には、被写体の3D形状を取得すること、及び被写体を可視光で撮像することを同時に行うことができるシステムが開示されている。
【0003】
また、大画面表示などの用途のために、複数の投影装置を用いた投影システムが種々提案されている。この種の投影システムとしては、投影装置を水平及び垂直方向に複数配置し、各投影装置の投射画面を並べて表示することにより大画面表示を行うマルチプロジェクションシステム、或いは、各投影装置の投射画面を重ねて表示することにより投射画面の明るさの向上を行うスタックプロジェクションシステムがある。例えば、特許文献2には、複数のプロジェクタ装置間で赤外線通信を行うことにより、個々のプロジェクタ装置の操作、或いは全てのプロジェクタ装置の一括操作を簡易に行うことができるシステムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005-258622号公報
【特許文献2】国際公開第2011/001507号
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる投影システム、投影装置及び投影方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、対象物に対して位置計測及び投影を行う複数の投影装置を含む投影システムであって、前記投影装置は、前記対象物に非可視光の計測光を投影する非可視光投影部と、前記対象物から反射した計測光の反射光を受光する受光部と、前記計測光の反射光に基づいて前記対象物の位置情報を算出する演算部と、前記対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影部と、を有し、前記投影装置において、前記非可視光の計測光を投影する時間は、前記受光部で受光した前記反射光に関する情報を前記演算部へ転送する時間よりも短く、複数の前記投影装置において、第1の投影装置と、第2の投影装置とは、前記第1の投影装置の前記計測光の投影範囲と、前記第2の投影装置の前記計測光の投影範囲が重複する場合には、異なる投影タイミングで前記計測光を投影し、前記第1の投影装置および前記第2の投影装置の前記非可視光投影部は、前記第1の投影装置の前記受光部で受光された前記反射光に関する情報を、前記第1の投影装置の前記演算部に転送している間に前記非可視光の計測光を投影する、投影システムを提供する。
【0007】
また、本開示は、対象物に対して位置計測及び投影を行う複数の投影装置を含む投影システムにおける投影装置であって、前記対象物に非可視光の計測光を投影する非可視光投影部と、前記対象物から反射した計測光の反射光を受光する受光部と、前記計測光の反射光に基づいて前記対象物の位置情報を算出する演算部と、前記対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影部と、を有し、前記投影装置の前記計測光の投影範囲と、他の投影装置の前記計測光の投影範囲が重複する場合には、異なる投影タイミングで前記計測光を投影し、前記非可視光の計測光を投影する時間は、前記受光部で受光した前記反射光に関する情報を前記演算部へ転送する時間よりも短く、前記非可視光投影部は、前記受光部で受光された前記反射光に関する情報を前記演算部に転送している間に、前記非可視光の計測光を投影する、投影装置を提供する。
【0008】
また、本開示は、対象物に対して位置計測及び投影を行う複数の投影装置を含む投影システムにおける投影方法であって、前記投影装置において、前記対象物に非可視光の計測光を非可視光投影部により投影し、前記対象物から反射した計測光の反射光を受光部により受光し、前記非可視光の計測光を投影する時間よりも短い時間で、受光した前記反射光に関する情報を演算部へ転送し、転送された前記反射光に関する情報に基づいて前記対象物の位置情報を演算部により算出し、前記対象物の位置情報に基づいて可視光の映像コンテンツを可視光投影部により投影し、複数の前記投影装置において、第1の投影装置と、第2の投影装置とは、前記第1の投影装置の前記計測光の投影範囲と、前記第2の投影装置の前記計測光の投影範囲が重複する場合には、異なる投影タイミングで前記計測光を投影し、前記第1の投影装置で受光された前記反射光に関する情報を、前記第1の投影装置の前記演算部に転送している間に前記非可視光の計測光を投影する、投影方法を提供する。
【発明の効果】
【0009】
本開示によれば、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる。
【図面の簡単な説明】
【0010】
【
図1】本実施の形態に係る計測投影装置の構成及び機能の概要を説明する図
【
図2】本実施の形態に係る投影システムの第1使用例を示す図
【
図3】本実施の形態に係る投影システムの第2使用例を示す図
【
図4】本実施の形態に係る投影システムの第3使用例を示す図
【
図5】本実施の形態に係る投影システムの構成の第1例を示す図
【
図6】本実施の形態に係る投影システムの構成の第2例を示す図
【
図7】本実施の形態に係る計測投影装置の概略構成を示す図
【
図8】本実施の形態に係る不可視光の計測パターンの一例を示す図
【
図9】本実施の形態に係る計測投影装置の変形例の構成を示す図
【
図10】本実施の形態に係る計測投影装置の機能構成の第1例を示すブロック図
【
図11】本実施の形態に係る投影システムの動作の第1例を示すタイムチャート
【
図12】本実施の形態に係る計測投影装置の機能構成の第2例を示すブロック図
【
図13】本実施の形態に係る投影システムの動作の第2例を示すタイムチャート
【
図14】本実施の形態に係る投影システムの構成の第3例を示す図
【
図15】本実施の形態に係る投影システムの動作の第3例を示すタイムチャート
【
図16】本実施の形態に係る投影システムの構成の第4例を示す図
【
図17】本実施の形態に係る投影調整装置の機能構成を示すブロック図
【
図18A】本実施の形態に係る投影システムの構成の第4例を示す図
【
図18B】本実施の形態に係る投影システムの第4例における計測パターンの投影時間の一例を示すタイムチャート
【
図19A】本実施の形態に係る投影システムの第4例における投影範囲の一例を示す図
【
図19B】本実施の形態に係る投影システムの第4例における計測パターンの投影動作の一例を示すタイムチャート
【
図20】本実施の形態に係る投影調整装置による投影調整方法の手順を示すフローチャート
【
図21A】本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第1例を示す図
【
図21B】本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のグラフ表示の第1例を示す図
【
図22A】本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第2例を示す図
【
図22B】本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のグラフ表示の第2例を示す図
【
図23A】本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第3例を示す図
【
図23B】本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のグラフ表示の第3例を示す図
【
図24】本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第4例を示す図
【
図25】本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第5例を示す図
【発明を実施するための形態】
【0011】
[実施の形態の内容に至る経緯]
プロジェクションマッピングなどの、投影対象である対象物に映像コンテンツを投影することを考えた場合、映像コンテンツを対象物に意図通り位置合わせをして投影することが求められる。最終的には、投影装置の座標系から見た対象物の幾何学的な位置情報を得ることが必要となる。
【0012】
また、静的な対象物に投影するときは、投影とは別に事前計測を1度だけ行えばよい。その場合、投影と計測との干渉を無視できる。一方、動的に移動し、及び/又は変形する対象物に対して、それを3D計測しながらその結果に基づいてリアルタイムに誤差のない投影を行うことを考える。その場合、投影中の映像コンテンツに影響を与えないように計測を行うことが求められる。
【0013】
しかしながら、上記の特許文献1は、3D計測用のパターン画像を非可視光により投影することによって、別の場所に設置された可視光光源からの可視光の影響を受けない計測が可能になることを開示しているに過ぎない。特許文献1の技術によれば、撮像装置の座標系に準ずる計測結果しか得られない。
【0014】
計測の分野において、上記の特許文献1以外に、例えば参考非特許文献1及び参考特許文献3に開示されたシステムが知られている。
[参考特許文献3]特開2013-192189号公報
[参考非特許文献1]“高速プロジェクタを用いた3000フレーム毎秒の三次元画像計測システムの開発”,ロボティクス・メカトロニクス講演会講演概要集 2007,”1P1-M02(1)”-”1P1-M02(4)”,2007-05-11
【0015】
参考非特許文献1は、光パターン投影を用いて高速に3D形状を計測する手法を開示している。参考非特許文献1の計測システムは、撮像装置と、光源、レンズ及びミラー素子又は液晶素子を有する投影装置とを備えている。撮像装置は高速度撮影を行う機能を有している。例えば、撮像装置は、6000fpsで高速撮影ができる。投影装置は、1024×768の画素を有するバイナリパターンを6000fps以上で投影できる。
【0016】
また、参考特許文献3は、撮像データに基づいて映像コンテンツを調整する計測システムを開示している。参考特許文献3の計測システムは、撮像装置、投影装置、及び計算装置を備えている。計算装置は、撮像装置により取得された撮像結果から投影対象の画像認識を行う。計算装置は、投影対象を認識した領域に映像コンテンツを投射するようにその映像を生成する。投影装置は、映像コンテンツを投影対象に投影する。
【0017】
上記の参考非特許文献1は、高速に3D計測を行う技術水準を開示しているに過ぎない。投影装置の座標情報を送出するには数十フレーム分の画像が必要になるので、従来、移動物体の3D計測を高速に行うことは困難であった。参考非特許文献1の技術は、高速に計測を行える可能性を示唆した点では有意義であると考えられる。
【0018】
しかしながら、参考非特許文献1は3D計測単体の技術を開示しているだけであり、投影装置の座標系について何ら言及していない。また、参考非特許文献1は、高速撮像後のオフライン処理、すなわち非リアルタイムでの処理について言及している。そもそも、60Hzなどで画像処理を行うことを前提としたパーソナルコンピュータのような計算機アーキテクチャ装置においては、数十ミリ秒以上の遅延が入出力で発生する。その結果、移動物体に映像を投影しながらそれを撮像し、その結果をリアルタイムで投影にフィードバックさせることは困難である。
【0019】
上記の参考特許文献3の技術によれば、撮像装置と投影装置との位置が互いに異なることによって視差が発生する。しかしながら、参考特許文献3は、その視差の解決について何ら言及していないし、システムの高速化についても言及していない。
【0020】
このような状況を鑑み、本願発明者は、赤外光等の不可視光の高速投影が可能な不可視光投影装置と、可視光の高速投影が可能な可視光投影装置と、高速撮影が可能な撮像装置とを有し、高速に不可視光のパターン光による計測光の投影及び撮影を行って対象物の位置を高精度に計測し、対象物に可視光の映像コンテンツを意図通りに位置合わせをして投影を行うことができる投影システムを想到した。
【0021】
ここで、計測光を高速投影して対象物の位置計測を行う投影装置を複数配置した投影システムを想定する。このような投影システムでは、複数の投影装置による投影時間及び投影範囲を調整し、対象物の位置計測及び映像投影を高精度に実行可能にすることが求められる。上記の特許文献2は、複数の投影装置間で赤外線通信を行うことにより、他の投影装置の存在の検出、複数の投影装置の操作を可能とすることについて開示しているに過ぎない。
【0022】
上記のような複数の投影装置を用いて対象物の位置計測及び映像投影を行う投影システムでは、複数の投影装置の投影範囲に重なりが生じる場合、重複領域において計測光に干渉が発生し、的確な位置計測ができないという課題がある。
【0023】
また、高精度の位置計測が可能な投影装置を複数配置する場合、それぞれの投影装置の投影範囲の配置、投影範囲の重なりなど、複数の投影範囲の位置関係を容易に把握できないという課題がある。
【0024】
以下、適宜図面を参照しながら、本開示に係る構成を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0025】
[本実施の形態]
まず、本実施の形態の一例として、複数の投影装置における位置計測用の不可視光の投影時間のタイミングを制御し、計測光の干渉を防止して的確な位置計測を可能とする投影システム、投影装置及び投影方法を例示する。
【0026】
(計測投影装置及び投影システムの概要)
図1は、本実施の形態に係る計測投影装置の構成及び機能の概要を説明する図である。本実施の形態では、対象物に対して映像投影を行う投影装置として、
図1に示すような計測投影装置100を用いて、対象物の位置を計測し、対象物の位置情報に応じて映像を投影する例を示す。ここでは、映像を投影する対象物として、平面又は曲面のスクリーン又は壁面等による第1の対象物105と、この第1の対象物105の前に位置する人物等による第2の対象物106とを想定する。以下、単に対象物105、106と称することもある。人物等の第2の対象物106は、スクリーン等の第1の対象物105の前でダンスなどを行って身体の各部を動かし、移動するものとする。つまり、対象物106は、自身の動きに伴って各部の形状及び位置が変化する状態となっている。このため、対象物105、106に所定の映像コンテンツを投影するために、第1の対象物105に対する第2の対象物106の位置を計測し、対象物106の正確な位置情報を取得する必要がある。
【0027】
計測投影装置100は、受光部の一例としての撮像装置101と、不可視光の計測光の一例としての赤外光を投影する非可視光投影部の一例としての赤外光投影装置102と、可視光を投影する可視光投影部の一例としての可視光投影装置104とを有する。計測投影装置100は、赤外光投影装置102によって投影座標をコード化した赤外光のパターン光を高速投影し、撮像装置101によって対象物105、106を高速撮像することにより、対象物105、106の位置を高速に計測する。対象物の位置計測の詳細については後述する。そして、計測投影装置100は、対象物105、106の位置情報に基づき、特に動いている対象物106の位置に対して常に位置合わせを行った状態で、可視光投影装置104によって所定の映像を投影する。本実施の形態では、後述するように複数の計測投影装置100を適宜配置して投影システムを構成する場合を想定する。
【0028】
ここで、複数の計測投影装置100を用いた投影システムの使用例をいくつか示す。
図2は、本実施の形態に係る投影システムの第1使用例を示す図である。第1使用例は、複数(図示例では3つ)の計測投影装置100を並べて配置し、対象物105、106に対して多面投影を行って広い面積の領域をカバーするように、各計測投影装置100の投影範囲の一部が重なるように投影範囲を設定し、位置計測及び映像投影を行う例である。この場合、投影範囲が重複する領域において、計測光に干渉が発生し、対象物106の位置計測を正確に行えない課題が生じ得る。
【0029】
図3は、本実施の形態に係る投影システムの第2使用例を示す図である。第2使用例は、複数(図示例では3つ)の計測投影装置100を並べて配置し、屋外等において対象物105、106に対して重ね打ち投影によって高輝度の投影を行うように、各計測投影装置100の投影範囲の全部又は大部分が重なるように投影範囲を設定し、位置計測及び映像投影を行う例である。この場合、計測投影装置100毎に対象物105、106に対する投影角度が異なり、投影範囲が重複する計測光の大部分の領域で干渉が発生し、対象物106の位置計測を正確に行えない課題が生じ得る。
【0030】
図4は、本実施の形態に係る投影システムの第3使用例を示す図である。第3使用例は、複数(図示例では3つ)の計測投影装置100を対象物106の周囲を囲むように周状に配置し、ラッピング投影による360度映像の投影を行って立体物を多くの角度から見られるように、対象物106に向かって複数の計測投影装置100から位置計測及び映像投影を行う例である。この場合、各計測投影装置100の投影範囲の多くが重なるため、計測光に干渉が発生し、対象物106の位置計測を正確に行えない課題が生じ得る。
【0031】
本実施の形態では、タイミング制御部によって複数の計測投影装置100における計測光の照射タイミングを制御することにより、計測光の干渉を防止し、上記の課題を解決する。
【0032】
図5は、本実施の形態に係る投影システムの構成の第1例を示す図である。第1例の投影システムは、複数の計測投影装置100A、100Bを有し、これらの計測投影装置100A、100Bによって対象物105、106に対する位置計測と映像投影とを行うものである。第1例では、複数の計測投影装置100A、100Bが互いに接続され、第1の計測投影装置100Aがマスター(master)として機能し、他の第2の計測投影装置100Bがスレーブ(slave)として機能する。マスターの計測投影装置100Aは、装置内部にタイミング制御部を有し、スレーブの計測投影装置100Bの動作タイミングを指示して同期をとり、投影システムの各計測投影装置による位置計測及び映像投影のタイミングを制御する。図示例では、3つの計測投影装置を有する構成を示しており、中央の装置をマスターの計測投影装置P1、左側の装置をスレーブの計測投影装置P2、右側の装置をスレーブの計測投影装置P3としている。
【0033】
図6は、本実施の形態に係る投影システムの構成の第2例を示す図である。第2例の投影システムは、複数の計測投影装置としてスレーブの計測投影装置100Bを有し、これらの計測投影装置100Bによって対象物105、106に対する位置計測と映像投影とを行うものである。第2例では、外部にタイミング制御部の一例としてのタイミングジェネレータ151を有し、複数のスレーブの計測投影装置100Bがタイミングジェネレータ151に接続される構成となっている。タイミングジェネレータ151は、外部に設けたコンピュータなどによって構成され、複数のスレーブの計測投影装置100Bの動作タイミングを指示して同期をとり、投影システムの各計測投影装置による位置計測及び映像投影のタイミングを制御する。図示例では、3つの計測投影装置を有する構成を示しており、中央の計測投影装置P1、左側の計測投影装置P2、右側の計測投影装置P3が共にスレーブとして機能する。
【0034】
(計測投影装置の構成)
次に、計測投影装置の構成及び動作の一例をより詳しく説明する。
【0035】
図7は、本実施の形態に係る計測投影装置の概略構成を示す図である。計測投影装置100は、撮像装置101、赤外光投影装置102、可視光投影装置104、及び演算装置103を備える。
【0036】
本実施の形態では、撮像装置101は参考非特許文献1と同様に毎秒6000フレームの撮影を行うことができる。また、撮像装置101は、内部にバッファリングすることなく大規模な転送帯域を有し、演算装置103に撮像データを出力できる。さらに、撮像装置101は、赤外光領域に感度を有している。以下、これらを前提とし、各装置の機能及び動作の一例を説明する。
【0037】
非可視光投影部の一例としての赤外光投影装置102は、計測光の一例として、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光を投影する。本願明細書では、投影座標系は、可視光投影装置104より投影する投影画像である映像コンテンツの画像の各画素の座標を特定する座標系を意味する。映像コンテンツの画像の各画素を特定する座標を投影座標系の「投影座標」と称する。投影座標は、赤外光投影装置102より投影するパターン画像の各画素の座標とも対応する。
【0038】
赤外光投影装置102は、レンズ光学系111と、赤外LED光源112と、表示デバイス113とを有する。レンズ光学系111は、一枚のレンズで構成されていてもよいし、複数枚のレンズ(レンズ群)で構成されていてもよい。複数のレンズは、例えばズームレンズ及びフォーカスレンズなどを含み得る。
【0039】
赤外LED光源112は、非可視光の一例としての赤外光をパターン光として出射する。非可視光は、例えば、赤外光帯域(概ね700nmから1000nm)の波長を有している。なお、本実施の形態では、非可視光の光源として、赤外LED光源を用いているが、紫外線を出射する光源を利用することもできる。
【0040】
表示デバイス113は、例えば1024×768の升目上にマイクロミラーが配列されたデバイスであり、投影座標をコード化したパターン画像を生成する。表示デバイス113は、バイナリパターンで毎秒30000フレームの映像を出力できる。なお、表示デバイス113は、反射型の光学素子の代わりに、透過型の光学素子により構成するものであってもよいし、液晶デバイスで代替することも可能である。
【0041】
受光部の一例としての撮像装置101は、パターン光を撮像し、パターン光の撮像画像を生成する。撮像装置101は、イメージセンサ、レンズ光学系などを含んでいる。例えば、表示デバイス113と対応させて、1024×768の画素数を有するイメージセンサを用いることができる。その場合、1画素を8bitの分解能とすると、転送帯域は38Gbps程である。ここで、演算装置103は、例えば、FPGA(Field Programmable Gate Array)で実現するものと仮定する。現在の半導体技術水準を考慮すると、38Gbps程の転送帯域は十分に実現できる範囲である。
【0042】
撮像装置101は、撮像座標系を有している。本願明細書では、撮像座標系は、撮像装置101により取得される撮像画像の各画素の座標を特定する座標系を意味する。「投影座標」と区別して、撮像画像の各画素の座標を撮像座標系の「撮像座標」と称する。
【0043】
可視光投影部の一例としての可視光投影装置104は、映像コンテンツを表す映像光を投影する。可視光投影装置104は、レンズ光学系、可視光光源、及び赤外光投影装置102と同様の表示デバイスを有する。可視光投影装置104は、可視光帯域(概ね380nmから780nm)の光を映像光として出射する。簡易化の観点から、可視光光源を単色の可視光LED光源とすることができる。ただし、赤青緑の三色用に3つの光源をそれぞれ設けることにより、フルカラーの映像を投影しても当然構わない。又は、十分高速に回転可能なカラーホイールがあれば、可視光LED光源の代わりに高圧水銀灯などの白色光源を備え、出力にそれを取り付けることにより、フルカラーの映像を投影することができる。また、可視光光源として、高圧水銀灯からダイクロイックプリズムなどで波長別に光を取り出せる光源を利用することができる。このように本開示にはあらゆる光源を利用することができる。
【0044】
演算部の一例としての演算装置103は、撮像画像を、撮像座標系で規定される撮像座標に対応する投影座標を示す投影座標情報に復号し、投影座標系を基準として投影座標情報を対象物までの距離情報に変換し、距離情報に応じて、映像コンテンツの内容を選択的に決定する。
【0045】
図8は、本実施の形態に係る不可視光の計測パターンの一例を示す図である。
図8では、パターン光に対応した、コード化されたパターン画像(座標パターン)の一部を例示している。
図8に示されるパターン画像は、1024×768のマイクロミラーを有する表示デバイス113の各ミラーのX座標及びY座標をグレイコード化した後に、各bitを白黒の2値画像として表すことにより得られる。
【0046】
赤外光投影装置102は、例えば1024×768画素のパターン画像に基づいてパターン光を対象物107(対象物105、106に相当)に投影することができる。画素のX座標及びY座標ともに512より大きく1024以下である。その場合、X座標を表すbit0からbit9までの10ビットがグレイコード化される。X座標と同様に、Y座標を表すbit0からbit9までの10ビットがグレイコード化される。このように、各座標にそれぞれ10ビット、合計20ビットを割り当てることにより、座標情報をコード化できる。以下、40フレームの画像データを利用して、その20ビットの情報の符号化を行う例を説明する。
【0047】
図8の(X9a)はX座標をグレイコード化した後のbit9に対応したパターン画像を示している。また、本実施の形態では、マンチェスタ符号化により投影座標を符号化するので、bit9をビット反転させた反転パターン画像も用いられる。
図8の(X9b)は、(X9a)の画像パターンを反転させた反転パターン画像を示している。同様に、
図8の(X8a)はX座標をグレイコード化した後のbit8に対応したパターン画像を示し、(X8b)は(X8a)の画像パターンを反転させた反転パターン画像を示している。
図8の(X7a)はX座標をグレイコード化した後のbit7に対応したパターン画像を示し、(X7b)は(X7a)の画像パターンを反転させた反転パターン画像を示している。
【0048】
図8の(Y9a)はY座標をグレイコード化した後のbit9に対応したパターン画像を示している。
図8の(Y9b)は、(Y9a)の画像パターンを反転させた反転パターン画像を示している。同様に、
図8の(Y8a)はY座標をグレイコード化した後のbit8に対応したパターン画像を示し、(Y8b)は(Y8a)の画像パターンを反転させた反転パターン画像を示している。
図8の(Y7a)はY座標をグレイコード化した後のbit7に対応したパターン画像を示し、(Y7b)は(Y7a)の画像パターンを反転させた反転パターン画像を示している。
【0049】
図示されていないが、計測可能な解像度まで、例えばX座標及びY座標のbit6から0にもそれぞれ対応したパターン画像及び反転パターン画像が存在する。赤外光投影装置102は、これらパターンを含めた40パターンを対象物107に順次投影する。撮像装置101は、投影されたパターン画像を順次撮像する。
【0050】
図9は、本実施の形態に係る計測投影装置の変形例の構成を示す図である。変形例の計測投影装置140は、
図1及び
図7に示した計測投影装置100の投影装置を一体に構成した例であり、赤外光投影装置及び可視光投影装置を含む投影装置142を有している。このような一体型の投影装置142を備える計測投影装置140を用いてもよい。
【0051】
(計測投影装置の機能構成)
図10は、本実施の形態に係る計測投影装置の機能構成の第1例を示すブロック図である。演算装置103は、計測投影装置100の全体を制御する機能を有している。演算装置103は、例えばコンピュータ、プロセッサに代表される演算装置、又は半導体集積回路によって実現され得る。半導体集積回路とは、例えばASIC(Application Specific Integrated Circuit)及びFPGAなどである。演算装置103は、メモリに、各構成要素の機能を発揮するコンピュータプログラムを実装したものを用い、半導体集積回路内のプロセッサが逐次コンピュータプログラムを実行することにより、各構成要素の機能を実現してもよい。
【0052】
演算装置103は、画像入力部401、パターン復号部402、フレームメモリ部403、コード復号用メモリ部404、座標変換部405、座標変換用メモリ部406、座標補間部407、コンテンツ生成部408、コンテンツメモリ部409、画像出力部410、及びパターン生成部411を有している。演算装置103内の各メモリ部は、例えばRAMなどによって構成され得る。
【0053】
また、演算装置103は、タイミング制御部の一例としての外部同期インタフェース(I/F)152を有している。複数の計測投影装置100を計測投影装置の内部のタイミング制御部によって制御する場合は、マスターの計測投影装置の外部同期インタフェース152がタイミング制御部として機能し、他のスレーブの計測投影装置の外部同期インタフェース152に対してタイミング信号を伝送する。計測投影装置の外部のタイミング制御部によって制御する場合は、外部に設けたタイミングジェネレータ151がタイミング制御部として機能し、複数のスレーブの計測投影装置の外部同期インタフェース152に対してタイミング信号を伝送する。
【0054】
外部同期インタフェース152は、タイミングジェネレータ151又は他の計測投影装置の外部同期インタフェース152と接続する場合、例えば有線にて接続される通信インタフェースであってもよいし、無線にて接続される通信インタフェースであってもよい。有線の通信インタフェースとしては、例えばUSB(Universal Serial Bus)、イーサネット(登録商標)などを用いてよい。無線の通信インタフェースとしては、例えばBluetooth(登録商標)、無線LANなどを用いてよい。なお、外部同期インタフェース152を赤外光等の光源及び光センサによって構成し、光のオンオフ又は光通信によって計測投影装置間の動作タイミングを制御してもよい。
【0055】
(投影システムの動作)
図11は、本実施の形態に係る投影システムの動作の第1例を示すタイムチャートである。本実施の形態では、例えば1ミリ秒などの所定の単位時間を基準にして、この単位時間ごとに、赤外光投影装置102による赤外光の計測パターン投影、撮像装置101によるカメラ露光、読み出し&演算、可視光投影装置104による映像投影を実行する場合を想定する。ここでの「読み出し&演算」とは、撮像装置101が撮像された画像を読み出し、演算装置103へ転送する処理(以下、読み出し転送処理又は演算装置103への転送処理)と演算装置103が転送された撮像画像から位置計測情報の演算処理を意味する。なお、演算装置103による位置計測情報の演算処理は、撮像装置101による読み出し転送処理と同時並行的に実施されてもよいし、撮像装置101による読み出し転送処理(演算装置103への転送処理)の一部又は全てが完了後に実施されてもよい。本実施の形態のように上記2つの処理を同時並行的に実施する場合、位置計測情報の演算は、FPGAなどを用いて専用の演算装置を構成することで、読み出し期間にオーバーラップして実施することが可能である。また、本実施の形態と異なり、撮像画像の読み出し転送に要する時間と位置情報計測に要する時間とは同じでなくてもよい。なお、上述した読み出し転送及び位置計測情報の演算に関しては
図11以降で説明する動作例についても同様である。
【0056】
パターン生成部411は、計測パターン投影の期間において、赤外光投影装置102の赤外LED光源112を点灯させる。パターン生成部411は、上述した方法によりパターン投影用のパターン画像を生成する。パターン生成部411は、赤外光投影装置102の表示デバイス113において計測用のパターン投影を行うように、画像出力部410にパターン画像を示す画像データを出力する。画像出力部410は、パターン生成部411からの画像データと赤外LED光源112の点灯情報とを、赤外光投影装置102及び画像入力部401に出力する。パターン画像を示す計測光のパターン光は不可視光として投影されるので、撮像装置101により撮像されて計測されるが、人間の視覚には影響を及ぼさない。
【0057】
パターン生成部411は、1つのパターンを1/6000秒で出力することができる。パターン生成部411は、計測パターン投影の期間において、X座標及びY座標のそれぞれの10bitの座標画像とその反転画像との合計40フレームを出力する。一方、撮像装置101は、表示デバイス113のフレームを出力するレートと同期して40フレームで撮像を行う。
【0058】
画像出力部410は、パターン生成部411の画像データの出力タイミングと同期して赤外光投影装置102にパターン画像を出力する。赤外光投影装置102は、パターン画像を対象物に投影する。また、画像入力部401は、画像出力部410のパターン画像の出力タイミングと同期して撮像装置101の露光を制御する。これにより、撮像装置101は、カメラ露光の期間において40フレームのパターン画像の撮像を行う。
【0059】
画像入力部401は、読み出し及び演算の期間において、撮像装置101により撮像されたパターン画像の撮像画像(撮像データ)を受信する。画像入力部401は、受信した撮像データをパターン復号部402に送信する。画像入力部401は、画像出力部410と同期しながら受信した撮像データに対応するパターンを判定する。
【0060】
パターン復号部402は、読み出し及び演算の期間において、撮像装置101からのパターン画像を示す撮像画像を、撮像座標系で規定される撮像座標に対応する投影座標を示す投影座標情報に復号する。以下、パターン復号部402の機能をより詳細に説明する。
【0061】
パターン復号部402は、画像入力部401から受信した撮像データがX座標及びY座標の非ビット反転画像であれば、その撮像データをフレームメモリ部403に書き込む。パターン復号部402は、その画像データがX座標及びY座標のビット反転画像であれば、先にフレームメモリ部403に記録された非ビット反転画像を読み出しながら、両者の差分をとる。このように非ビット反転画像とビット反転画像の差分を取ることにより、投影対象の色又は環境光に依存することなく、投影光の「0」と「1」とを判別することができる。上記差分が所定の値以下の領域を、投影光が投影されていない領域として判定し、その領域を計測対象領域から除外することができる。
【0062】
コード復号用メモリ部404には、撮像装置101の画素毎に書き込み領域が設けられている。パターン復号部402は、非ビット反転画像とビット反転画像の差分をとった後、グレイコード化された座標データの各ビット値を、その書き込み領域にビット単位で書き込む。この座標データの書き込み操作が撮像装置101の露光時間の間に40フレーム分実行される。これにより、撮像装置101の各画素に対応する、赤外光投影装置102のX座標及びY座標が存在するか否かを示す情報と、存在する場合のX座標及びY座標のそれぞれを示す10bitの値とが、コード復号用メモリ部404に書き込まれる。パターン復号部402は最終的に、コード復号用メモリ部404に記録されたグレイコードの座標データをバイナリに再変換して座標変換部405に出力する。
【0063】
これまでの処理により、撮像装置101のある画素位置に撮像された投影光が、赤外光投影装置102のどの画素から投影されたのかを知ることができる。つまり、赤外光投影装置102の投影座標、すなわち可視光投影装置104の投影座標系で規定される投影座標と、撮像装置101の撮像座標系で規定される撮像座標との対応関係を知ることができる。したがって、撮像装置101と赤外光投影装置102との互いの位置関係が既知であれば、撮像画素毎に対象物までの距離を三角法により得ることができる。しかしながら、得られる情報は、撮像装置101の撮像画素に対応した距離情報である。そのため、本実施の形態では、撮像装置101の撮像画素に対応した撮像座標の距離情報を赤外光投影装置102の画素座標に対応した距離情報、すなわち可視光投影装置104の投影座標の距離情報に変換する。
【0064】
座標変換部405は、パターン復号部402から受信したデータを、可視光投影装置104の投影座標に対応したアドレスで特定される座標変換用メモリ部406の領域に書き込む。その後、座標変換部405は、座標変換用メモリ部406から、距離情報を可視光投影装置104のX座標及びY座標の順番で読み出すことにより、可視光投影装置104の投影座標に対応した距離情報を生成する。
【0065】
その際、対応点が存在しない投影画素が発生し得る。具体的には、対象物に投影されたパターン画像のうち、ある複数の画素に対応したそれぞれの光が、撮像装置101の1つの撮像画素によって撮像され得る。その場合、グレイコードの特性上、対応点が存在しない投影画素は隣接する2つの投影画素のどちらかの画素座標に丸め込まれるので、片側の投影画素は対応先のない状態となる。
【0066】
座標補間部407は、座標変換部405から、可視光投影装置104の投影座標に対応した距離情報を受信する。座標補間部407は、距離情報の存在しない投影座標に対して距離情報を補間する。これは、補間することが可能な距離情報を有する投影座標が一定数その周辺に存在する箇所に限り、周辺座標の距離情報から線形補間等の補間法を用いて行なわれる。座標補間部407は、投影座標に基づく距離情報をコンテンツ生成部408に出力する。上記のように、パターン画像の撮像画像の読み出しと対象物までの距離情報を含む位置情報の演算とを実行することにより、リアルタイムで高速な位置計測動作が可能になる。
【0067】
コンテンツ生成部408は、映像投影の期間において、投影用の映像コンテンツを生成する。コンテンツ生成部408は、コンテンツメモリ部409に予め記録されていた映像コンテンツを、座標補間部407から受信した距離情報に基づいて加工し、加工した映像コンテンツを画像出力部410に出力する。以下、加工された映像コンテンツを、予め記録された加工前の映像コンテンツと区別して、「加工後の映像コンテンツ」と称する場合がある。
【0068】
コンテンツ生成部408は、座標ずれの無い、対象物までの距離に正確に対応した映像コンテンツを生成する。また、コンテンツ生成部408は、映像コンテンツの内容を距離情報に応じて選択的に決定することができる。例えば一定の距離にある物体だけを切り出して検知し、可視光投影用の映像コンテンツを正確に描画するなどの処理が可能となる。コンテンツ生成部408は、投影用の加工後の映像コンテンツを画像出力部410に出力する。
【0069】
画像出力部410は、映像投影の期間において生成された可視光投影用の映像コンテンツを、可視光投影装置104に出力する。可視光投影装置104は、可視光光源を点灯し、映像コンテンツに対応した映像光を投影する。可視光投影装置104の表示デバイスは、毎秒30000のバイナリフレームを出力することができる。そのため、例えば8.5ミリ秒の間に255フレームを用いて256階調の画像を投影することが可能となる。この投影は可視光光源によってなされるので、人間に視認される。このように、位置計測と投影とを連続的に行うことが可能である。
【0070】
本実施の形態の計測投影装置100では、映像投影と位置計測とを同じ計測投影装置によって行うことにより、投影と計測とのずれの発生を原理的に抑制でき、かつ、可視光の映像に干渉しない幾何学計測の重畳を実現できる。また、演算装置103が撮像装置101により撮像されたパターン画像をデコードできれば、相対的な位置計測には耐えることができる。そのため、設置の精度が十分に確保されなくても、実用に耐え得る。その点において、設置の簡易性を確保できる。また、経年劣化による設置関係の誤差拡大に対して高いロバスト性を得ることができる。
【0071】
ここで、本実施の形態の投影システムにおける複数の計測投影装置の動作について、
図11を用いて説明する。本実施の形態では、マスターの計測投影装置の外部同期インタフェース152又は外部のタイミングジェネレータ151等によるタイミング制御部150によって、タイミング信号を生成して出力し、複数の計測投影装置100の動作タイミングを制御する。計測投影装置の外部同期インタフェース152は、タイミング信号を受信して画像出力部410に入力し、タイミング信号に従って画像出力部410のパターン画像の出力と画像入力部401の撮像画像の入力とを制御する。これにより、複数の計測投影装置間の同期をとる。
【0072】
図11では、3個の計測投影装置P1、P2、P3によって時分割で交代に位置計測を行う場合の動作例を示している。なお、ここでの動作例における位相数は計測投影装置の個数と同様に3である。複数の計測投影装置P1、P2、P3は、タイミング制御部150より出力される所定の単位時間毎のタイミング信号に従って、それぞれ順次交代で赤外光の計測パターン投影及びカメラ露光を行う。計測投影装置P1の計測パターン投影及びカメラ露光が終了すると、次に計測投影装置P2の計測パターン投影及びカメラ露光が行われ、続いて計測投影装置P3の計測パターン投影及びカメラ露光が行われる。
図11におけるタイミング信号の間隔を示す単位時間は、例えば1ミリ秒とする。したがって、1秒間に1000回(1000fps)の計測パターン投影及びカメラ露光を、複数の計測投影装置において順次実行可能となっている。
【0073】
計測投影装置P1、P2、P3は、時分割で交代に計測パターン投影及びカメラ露光を行った後、それぞれ次の単位時間のタイミングで、パターン画像の撮像画像の読み出しと対象物までの距離情報を含む位置情報の演算とを実行する。そして、計測投影装置P1、P2、P3は、それぞれ次の単位時間のタイミングで、計測した対象物の位置情報に応じた映像コンテンツを作成し、映像を投影する。
図11において、動作タイミングを示す各ブロックの1、2、3はフレーム番号の一例を示しており、図示例では3単位時間(3ミリ秒)ごとに1フレームずつ映像投影が行われる。なお、複数の計測投影装置P1、P2、P3の間で映像投影するフレームのタイミングがずれているが、1ミリ秒単位の短い時間であるため、人間の視覚には影響を及ぼさない。
【0074】
このとき、計測投影装置P1、P2、P3は、それぞれ他の計測投影装置と異なる投影タイミングで計測光の投影を行う。計測投影装置P1は、計測投影装置P2、P3と投影範囲が重複しているため、計測投影装置P2、P3と異なる投影タイミングで計測光の投影を行う。なお、計測投影装置P2は、計測投影装置P1と投影範囲が重複しているが、計測投影装置P3とは投影範囲が重複していないので、計測投影装置P2、P3は同じ投影タイミングで計測光の投影を行ってもよい。また、計測投影装置P2は、計測投影装置P1において撮像画像の読み出し及び位置情報の演算を行う演算中のタイミングで、計測光の投影を行う。また、計測投影装置P2は、計測投影装置P1において計測光の投影中のタイミングで、撮像画像の読み出し及び位置情報の演算を行う。また、計測投影装置P1は、自装置にて映像コンテンツの投影中のタイミングで、計測光の投影を行う。
【0075】
このように、本実施の形態では、タイミング制御部によって複数の計測投影装置を制御し、各装置毎に交代で計測光の投影及び露光を行って対象物の位置計測を実行する。これにより、複数の計測投影装置間での計測光の干渉を防止できる。特に、隣り合った計測投影装置において同時に計測光が投影されることを無くし、投影範囲が重複する領域において計測光の干渉を防止できる。したがって、投影システムの各計測投影装置において適切な位置計測を実施することができる。例えば、複数の計測投影装置を用いてダンサーなどの動く対象物に対して位置計測及び映像投影を行う場合に、リアルタイムで正確に位置を計測しながら映像投影を繰り返し行うことが可能になる。また、スクリーンなどの固定された対象物と、ダンサーなどの動く対象物とがある場合に、複数の計測投影装置を用いる投影システムであっても、対象物の位置をリアルタイムで正確に計測し、それぞれの対象物の位置に合わせて個別に映像コンテンツを生成し、投影できる。
【0076】
図12は、本実施の形態に係る計測投影装置の機能構成の第2例を示すブロック図である。計測投影装置の機能構成の第2例は、前述した第1例の計測投影装置の構成を一部変更し、機能追加を行った構成例である。本実施の形態の演算装置123は、設定情報を入力する設定入力部131を有している。その他の構成及び機能は
図10に示した第1例の演算装置103と同様であるので、ここでは第1例と異なる部分についてのみ説明する。
【0077】
設定入力部131は、順次動作する計測投影装置の位相数、或いは同時使用する計測投影装置の数などに応じて、計測光の発光時間の分割数及び計測光の発光光量を設定するための設定情報を入力する。設定情報は、外部に設けたコンピュータなどによる制御装置において生成し、計測投影装置の設定入力部131に伝送するような構成とすればよい。設定入力部131は、入力した設定情報を画像出力部410及び赤外光投影装置102に伝送し、計測光の発光時間及び計測光の発光光量を設定する。
【0078】
本実施の形態では、n個の計測投影装置によって交代で位置計測を行う場合、計測パターン投影及びカメラ露光を行う期間を単位時間の1/nに分割する。また、計測パターン投影の期間を1/nにするのに伴い、不可視光の計測光の発光光量を増加させる。例えば、赤外LED光源の発光時の駆動電流をn倍に増加する。このとき、赤外LED光源の発光時のピーク電力を発光時間に応じて変化させればよい。このため、赤外LED光源の駆動電流に限らず、駆動電圧、PWM比率など、種々の方法で駆動電力を制御可能である。そして、分割した計測パターン投影及びカメラ露光の時間と、増加した駆動電流とを含む設定情報を、設定入力部131から画像出力部410及び赤外光投影装置102、並びに画像出力部410を介して画像入力部401に伝送する。
【0079】
なお、計測投影装置が計測パターン投影、カメラ露光、撮像画像の読み出し転送、位置情報計測の演算、映像投影という一連の処理を高速に行う場合、撮像画像の読み出し転送の処理が律速(すなわち、ボトルネック)となる可能性が高い。このため、計測投影装置は、この一連の処理を高速に実施するために、読み出し転送時間を基準(単位時間)として各処理時間を可変とするように構成される方が好ましい。例えば、計測パターン投影(及びカメラ露光)の期間を読み出し転送時間(単位時間)の1/nにしてもよい。また、ここでの単位時間は、撮像装置及び/又は演算装置の最大限の動作は実施されたときの読み出し転送の処理に要する時間に相当することが好ましい。また、このように単位時間が撮像装置及び/又は演算装置の性能に基づく場合、単位時間は事前に計測投影装置内部のメモリに格納されていてもよいし、計測投影装置外部から所望のネットワークを介して伝送されてきてもよいし、計測投影装置で実際にテストして計測してもよい。
【0080】
図13は、本実施の形態に係る投影システムの動作の第2例を示すタイムチャートである。
図13では、3個の計測投影装置P1、P2、P3によって時分割で交代に位置計測を行う場合の動作例を示している。この場合、計測パターン投影及びカメラ露光を行う期間を通常の単位時間の1/3(例えば1/3ミリ秒)に短く設定し、赤外LED光源の駆動電流(駆動電力)を3倍に増加する。これにより、赤外LED光源は例えば2~3倍程度の発光光量となる。LED光源などでは、単位時間当たりの平均電流によって駆動電流の定格が決まっているため、発光時間を分割して間欠点灯させる場合は、単位時間の平均電流を同じにして最大電流を大きくできる。すなわち、消費電力を変えずに最大発光量を増加できる。なお、ここでの動作例における位相数は計測投影装置の個数と同様に3である。
【0081】
複数の計測投影装置P1、P2、P3は、タイミング制御部150より出力されるタイミング信号に従って、所定の単位時間の1/3の期間でそれぞれ順次交代で赤外光の計測パターン投影及びカメラ露光を行う。図示例では、計測投影装置P1→P2→P3の順番で1つの単位時間で計測パターン投影及びカメラ露光が交互に行われる。そして、計測投影装置P1、P2、P3は、それぞれの計測パターン投影及びカメラ露光が終了した時点で、パターン画像の撮像画像の読み出し及び対象物の位置情報の演算を1つの単位時間で行い、その後、対象物の位置情報に応じた映像コンテンツの作成及び映像投影を1つの単位時間で行う。このとき、赤外光の計測パターン投影及びカメラ露光を行う時間は、撮像画像の読み出し及び位置情報の演算を行う時間よりも短くなっている。
【0082】
本実施の形態では、計測パターン投影及びカメラ露光を行う期間を分割して短くすることによって、位置計測と映像投影のフレームレートを保持したまま、複数の計測投影装置を用いた投影を行うことが可能となる。また、計測光の発光光量を増加することによって、位置計測の精度を向上できる。
【0083】
図14は、本実施の形態に係る投影システムの構成の第3例を示す図である。投影システムの構成の第3例は、計測投影装置のタイミング制御部の構成を変更した構成例である。本実施の形態の投影システムは、複数の計測投影装置として、マスターの計測投影装置160Aと、スレーブの計測投影装置160Bとを有する。スレーブの計測投影装置160Bは、不可視光の計測光を検出する光センサ153を備える。光センサ153は、計測投影装置の第1例の外部同期インタフェース152と同様に、タイミング制御部として機能するものである。その他の構成及び機能は前述した第1例及び第2例と同様であるので、ここでは異なる部分についてのみ説明する。
【0084】
図15は、本実施の形態に係る投影システムの動作の第3例を示すタイムチャートである。
図15では、3個の計測投影装置P1、P2、P3によって時分割で交代に位置計測を行う場合の動作例を示している。ここでは、中央の計測投影装置P2がマスターとして機能し、左側の計測投影装置P1、右側の計測投影装置P3がスレーブとして機能する。なお、ここでの動作例における位相数は2であり、計測投影装置の個数よりも少ない。
【0085】
まず、マスターの計測投影装置P2が、計測パターン投影及びカメラ露光を行う。この際、隣り合う計測投影装置において投影範囲が重複しているため、スレーブの計測投影装置P1、P3において、光センサ153によって不可視光の計測光が受光され、マスターの計測光の投影が検出される。スレーブの計測投影装置P1、P3は、マスターの計測投影装置P2が投影した不可視光の計測光を光センサ153によりタイミング信号として受光する。
【0086】
マスターの計測投影装置P2による計測光の投影が終了すると、スレーブの計測投影装置P1、P3において、光センサ153によって計測光の発光停止を検知し、計測パターン投影開始のトリガとなるタイミング信号を画像出力部410に入力する。これにより、スレーブの計測投影装置P1、P3は、計測パターン投影及びカメラ露光を行う。なお、図示例では、
図13に示した投影システムの動作の第2例と同様に、計測光の発光時間の分割及び計測光の発光光量の増加を行った場合を示している。スレーブの計測投影装置P1、P3において計測光の投影を行っている間、光センサ153によって自装置の計測光が検出されるが、例えば自装置の計測パターン投影時には光センサ153の出力をマスクするなどして、マスターの計測投影装置P2による計測光のみを検出すればよい。
【0087】
このとき、計測投影装置P2は、計測投影装置P1、P3と投影範囲が重複しているため、計測投影装置P1、P3と異なる投影タイミングで計測光の投影を行う。また、計測投影装置P1は、計測投影装置P2と投影範囲が重複しているが、計測投影装置P3とは投影範囲が重複していないので、計測投影装置P1、P3は同じ投影タイミングで計測光の投影を行う。これにより、位相数を計測投影装置の個数より少なくできる。すわなち、計測光の干渉を防止しつつさらに短い時間で効率良く対象物の計測を実行できる。
【0088】
そして、計測投影装置P1、P2、P3は、それぞれの計測パターン投影及びカメラ露光が終了した時点で、パターン画像の撮像画像の読み出し及び対象物の位置情報の演算を1つの単位時間で行い、その後、対象物の位置情報に応じた映像コンテンツの作成及び映像投影を1つの単位時間で行う。
【0089】
本実施の形態では、光センサによるタイミング制御部を備えることによって、外部同期インタフェースなどの通信部を設けることなく、複数の計測投影装置における計測光のタイミング制御を実施できる。
【0090】
以上のように、本実施の形態の投影システムは、対象物105、106に対して位置計測及び投影を行う投影装置として複数の計測投影装置100を含む投影システムである。計測投影装置100は、対象物に非可視光である赤外光の計測光を投影する赤外光投影装置102と、対象物から反射した計測光の反射光を受光して撮像する撮像装置101と、計測光の反射光に基づいて対象物の位置情報を算出する演算装置103と、対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影装置104と、を有する。複数の計測投影装置100において、第1の計測投影装置と、第2の計測投影装置とは、異なる投影タイミングで計測光を投影する。
【0091】
これにより、複数の投影装置における計測光の干渉を防止できる。例えば隣り合う投影装置の投影範囲が重複している場合であっても、計測光の投影タイミングを異なるタイミングに設定することで、計測光の干渉を防止でき、適切な位置計測が可能となる。したがって、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる。
【0092】
また、投影システムにおいて、第2の計測投影装置の赤外光投影装置102は、第1の計測投影装置の演算装置103が位置情報に関する演算中に計測光を投影する。これにより、計測光の干渉を防止しつつ短い時間で効率良く対象物の計測を実行できる。
【0093】
また、投影システムにおいて、第2の計測投影装置の演算装置103は、第1の計測投影装置の可視光投影装置104が映像コンテンツを投影中に位置情報に関する演算を行い、対象物の形状及び位置を算出する。これにより、計測光の干渉を防止しつつ短い時間で効率良く対象物の計測を実行できる。
【0094】
また、投影システムにおいて、第1の計測投影装置の赤外光投影装置102は、第1の計測投影装置の可視光投影装置104が映像コンテンツを投影中に計測光を投影する。これにより、計測光の干渉を防止しつつ短い時間で効率良く対象物の計測と映像の投影を実行できる。
【0095】
また、投影システムにおいて、第2の計測投影装置の赤外光投影装置102は、撮像装置101で受光した反射光に関する情報を演算装置103へ転送中に計測光を投影する。これにより、短い時間で効率良く対象物の計測を実行できる。
【0096】
また、投影システムにおいて、計測投影装置100は、赤外光投影装置102により非可視光の計測光を投影する時間は、撮像装置101で受光した反射光に関する情報を演算装置103へ転送する時間よりも短くなっている。例えば、反射光に関する情報を演算装置103へ転送する時間に対して、投影システムにおける複数の計測投影装置の装置数分の1などの短い時間で計測光を発光させる。これにより、短時間で対象物の位置計測が可能となり、短い時間で効率良く対象物の計測を実行できる。また、計測光の発光時間の短縮に伴って発光量を増加できるので、位置計測の精度向上に寄与できる。
【0097】
また、投影システムにおいて、計測投影装置100は、計測光を投影する時間を、投影システムにおける計測投影装置の数、投影システムにおいて同時使用する計測投影装置の数、投影システムにおいて順次動作する計測投影装置の位相数のうち、少なくとも一つに応じて設定される。例えば、3個の計測投影装置を使用する場合は、通常の演算時間及び投影時間に対して1/3の時間に計測光の投影時間を設定する。また、計測光の発光量は例えば3倍に設定する。このように計測光の投影時間を分割して短くすることによって、短時間で対象物の位置計測が可能となり、位置計測と映像投影のフレームレートを保持したまま、複数の計測投影装置を用いた投影を行うことが可能となる。また、計測光の発光光量を増加することによって、位置計測の精度を向上できる。
【0098】
また、投影システムにおいて、計測投影装置100は、設定された非可視光の計測光を投影する時間に応じて、赤外光投影装置102の光源の駆動電力を調整する。例えば、投影システムにおける計測投影装置の位相数など、非可視光の計測光の発光時間に応じて、赤外LED光源の発光時のピーク電力を変化させる。これにより、計測光の発光時の単位時間の平均電力を同じにした状態で最大電力を大きくでき、最大発光量を増加できるため、位置計測の精度を向上できる。
【0099】
また、投影システムにおいて、投影タイミングを制御するタイミング制御部150を有し、計測投影装置100は、タイミング制御部150からタイミング信号を受信し、タイミング信号に従った所定タイミングで計測光を投影する。タイミング制御部150として、例えば装置外部に設けたタイミングジェネレータ151、装置内部に設けた外部同期インタフェース152、不可視光を検知する光センサ153などを用いる。これにより、複数の計測投影装置100において適切に計測光の投影タイミングを制御し、同期させることができる。
【0100】
また、投影システムにおいて、第1の計測投影装置及び第2の計測投影装置は、例えばスレーブとして機能し、投影タイミングを制御するタイミング制御部150からタイミング信号を受信し、タイミング信号に従った所定タイミングで計測光を投影する。これにより、複数の計測投影装置100において適切に計測光の投影タイミングを制御し、同期させることができる。
【0101】
また、投影システムにおいて、第2の計測投影装置は、例えばスレーブとして機能し、例えばマスターとして機能する第1の計測投影装置からタイミング信号を受信し、タイミング信号に従った所定タイミングで計測光を投影する。これにより、複数の計測投影装置100において適切に計測光の投影タイミングを制御し、同期させることができる。
【0102】
また、投影システムにおいて、第2の計測投影装置は、非可視光を検知する光センサ153を有し、光センサ153によって第1の計測投影装置が投影した非可視光の計測光をタイミング信号として受信する。このように、他の計測投影装置が投影する計測光をタイミング信号として用いて、適切に計測光の投影タイミングを制御し、同期させることが可能となる。
【0103】
また、投影システムにおいて、第1の計測投影装置及び第2の計測投影装置と計測光の投影範囲が重複する第3の計測投影装置は、第1の計測投影装置及び第2の計測投影装置と異なる投影タイミングで計測光を投影する。これにより、複数の計測投影装置における計測光の干渉を防止でき、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる。
【0104】
また、投影システムにおいて、第1の計測投影装置と計測光の投影範囲が重複し、第2の計測投影装置と計測光の投影範囲が重複しない第3の計測投影装置は、第2の計測投影装置と同じ投影タイミングで計測光を投影する。これにより、複数の計測投影装置における計測光の干渉を防止しつつ、短い時間で効率良く対象物の計測を実行できる。
【0105】
本実施の形態の投影装置は、対象物105、106に対して位置計測及び投影を行う複数の投影装置を含む投影システムにおける計測投影装置100である。計測投影装置100は、対象物に非可視光である赤外光の計測光を投影する赤外光投影装置102と、対象物から反射した計測光の反射光を受光して撮像する撮像装置101と、計測光の反射光に基づいて対象物の位置情報を算出する演算装置103と、対象物の位置情報に基づいて可視光の映像コンテンツを投影する可視光投影装置104と、を有する。計測投影装置100は、他の計測投影装置とは異なる投影タイミングで計測光を投影する。これにより、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる。
【0106】
また、投影装置において、他の第1の計測投影装置からタイミング信号を受信し、タイミング信号に従った所定タイミングで計測光を投影する。これにより、複数の計測投影装置100において適切に計測光の投影タイミングを制御可能にし、他の計測投影装置と同期させて計測光の干渉を防止できる。
【0107】
また、投影装置において、他の第2の計測投影装置に対してタイミング信号を送信し、タイミング信号に従った所定タイミングで計測光を投影させる。これにより、複数の計測投影装置100において適切に計測光の投影タイミングを制御し、他の計測投影装置と同期させて計測光の干渉を防止できる。
【0108】
本実施の形態の投影方法は、対象物105、106に対して位置計測及び投影を行う投影装置として複数の計測投影装置100を含む投影システムにおける投影方法である。計測投影装置100において、対象物に非可視光である赤外光の計測光を赤外光投影装置102により投影し、対象物から反射した計測光の反射光を撮像装置101により受光して撮像し、計測光の反射光に基づいて対象物の位置情報を演算装置103により算出し、対象物の位置情報に基づいて可視光の映像コンテンツを可視光投影装置104により投影する。複数の計測投影装置100において、第1の計測投影装置と、第2の計測投影装置とは、異なる投影タイミングで計測光を投影する。これにより、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる。
【0109】
次に、本実施の形態の他の例として、複数の投影装置を有する投影システムにおいて、投影時間及び投影範囲等の投影動作の調整を行う際に、複数の投影範囲の位置関係を容易に把握可能とする投影調整プログラム、及び投影調整方法を例示する。
【0110】
(投影システム及び投影調整装置の構成)
図16は、本実施の形態に係る投影システムの構成の第4例を示す図である。本実施の形態では、
図16に示すような投影システムにおいて、パーソナルコンピュータ(PC)などによって構成される投影調整装置200を用いて、複数の計測投影装置100の投影動作の調整、或いはユーザによる投影動作の調整作業の支援を行う例を示す。ここでは、複数の計測投影装置100によって、対象物105、106に対して多面投影を行って広い面積の領域をカバーするように、各計測投影装置100の投影範囲の一部が重なるように投影範囲を設定する場合を想定する。
【0111】
投影調整装置200は、情報表示用のディスプレイを有するモニタ250が接続され、投影動作調整のための各種の投影情報を含む表示画面をモニタ250に表示する。投影調整装置200は、プロセッサ及びメモリを有するPCなどの情報処理装置によって構成され、所定のコンピュータプログラムを実行することにより、投影情報の表示、投影動作の自動調整などの機能を実現する。
【0112】
図17は、本実施の形態に係る投影調整装置の機能構成を示すブロック図である。投影調整装置200は、処理部210、記憶部220、通信インタフェース(I/F)230を有する。投影調整装置200は、通信インタフェース230を介して計測投影装置100と接続され、計測動作に関する設定情報、投影範囲情報、対象物の位置計測情報などの各種情報を送受信する。投影調整装置200は、表示部240及び入力部260と接続され、表示部240への表示画面の表示、入力部260からの操作指示の入力を行う。
【0113】
記憶部220は、フラッシュメモリ等による半導体メモリ、SSD(Solid State Drive)、HDD(Hard Disk Drive)等によるストレージデバイスなどの少なくともいずれか一つを含む記憶デバイスを有する。記憶部220は、投影動作の調整に関する機能を実行する投影調整プログラム221を記憶する。
【0114】
処理部210は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)等のプロセッサを有する。処理部210は、投影調整プログラム221に従って処理を実行し、位置関係表示211、投影時間設定212等の機能を実現する。
【0115】
通信インタフェース230は、有線通信又は無線通信により計測投影装置100等の外部装置との間で情報の送受信を行うインタフェースである。有線の通信インタフェースとしては、例えばUSB(Universal Serial Bus)、イーサネット(登録商標)などを用いてよい。無線の通信インタフェースとしては、例えばBluetooth(登録商標)、無線LANなどを用いてよい。
【0116】
投影調整装置200は、位置関係表示211の機能として、複数の計測投影装置の投影範囲の配置、投影範囲の重複状態、投影範囲の接続関係等の投影位置情報の表示を、図形表示、テキスト表示、アイコン表示、グラフ表示等の各種表示態様によって表示する。投影調整装置200は、投影時間設定212の機能として、複数の計測投影装置の投影タイミング、投影の順番又は位相などの投影時間に関する設定を、各計測投影装置の投影範囲の配置、接続関係等の投影位置情報に基づいて行う。
【0117】
(投影システムの動作)
ここで、複数の計測投影装置を有する投影システムにおける投影時間の設定及び投影範囲の配置について一例を説明する。
【0118】
図18Aは、本実施の形態に係る投影システムの構成の第4例を示す図である。第4例の投影システムは、複数(図示例では4つ)の計測投影装置100A、100Bを有し、これらの計測投影装置100A、100Bによって対象物105、106に対する位置計測と映像投影とを行うものである。
【0119】
第4例では、一つの計測投影装置(P2)100Aがマスターとして機能し、他の計測投影装置(P1、P3、P4)100Bがスレーブとして機能する。
図18Aではマスターの計測投影装置100Aの内部にタイミング制御部を有するように示しているが、外部にタイミング制御部を有していてもよい。この場合、計測投影装置P2は、マスターとして自装置から最初の投影期間にて計測光を投影するか、或いはスレーブとしてタイミング指示を受けて最初の投影期間にて計測光を投影する。なお、複数の計測投影装置は、有線の通信インタフェースで接続して計測光の投影タイミングを同期させる構成に限らず、無線の通信インタフェースで接続する構成であってもよい。また、
図14の第3例の投影システムで示したような光センサを用いて計測光の投影タイミングを同期させる構成としてもよい。計測投影装置P2による計測パターン投影が終了すると、両隣にある計測投影装置P1、P3が次の投影期間にて計測パターンを投影する。これにより、隣り合う複数の計測投影装置における計測光の干渉を防止する。
【0120】
図18Bは、本実施の形態に係る投影システムの第4例における計測パターンの投影時間の一例を示すタイムチャートである。計測投影装置P2は、最初の投影期間である第1の位相T1にて計測パターンを投影する。計測投影装置P2による計測パターン投影が終了したタイミングで、両隣の計測投影装置P1、P3は、次の投影期間である第2の位相T2にて計測パターンを投影する。そして、計測投影装置P1、P3による計測パターン投影が終了したタイミングで、計測投影装置P2は再び第1の位相T1として計測パターンを投影する。このとき、計測投影装置P3の隣にある計測投影装置P4は、計測投影装置P2と同時に第1の位相T1にて計測パターンを投影する。
【0121】
このとき、計測投影装置P2は、計測投影装置P1、P3と投影範囲が重複しているため、計測投影装置P1、P3と異なる投影タイミング(第1の位相T1)で計測光の投影を行う。また、計測投影装置P1は、計測投影装置P2と投影範囲が重複しているが、計測投影装置P3とは投影範囲が重複していないので、計測投影装置P1、P3は同じ投影タイミング(第2の位相T2)で計測光の投影を行う。
【0122】
投影調整装置200は、上記のような複数の計測投影装置P1~P4の投影時間に関して、各計測投影装置の投影動作の順番、位相、投影タイミングなどを投影範囲の配置等に基づいて決定し、各計測投影装置に設定することが可能である。投影調整装置200における投影調整プログラムの処理の具体例については後述する。
【0123】
このように4つの計測投影装置において交代で計測光を投影することによって、隣り合う計測投影装置の投影範囲が重複していても、計測光の干渉を防止できる。また、投影範囲の重複が2重の場合に2つの位相によって交互に計測光の投影することによって、より短い時間で複数の計測投影装置の位置計測及び映像投影を実行できる。
【0124】
図19Aは、本実施の形態に係る投影システムの第4例における投影範囲の一例を示す図である。第4例の投影システムにおいて、各計測投影装置P1~P4の投影範囲は、例えば
図19Aに示すような配置となるものと仮定する。この場合、投影調整装置200は、各計測投影装置P1~P4の位置計測による投影座標の位置計測情報を用いて、投影範囲を取得する。投影調整装置200は、計測投影装置P1の投影範囲PE1、計測投影装置P2の投影範囲PE2、計測投影装置P3の投影範囲PE3、計測投影装置P4の投影範囲PE4を、図示例のような四角形の図形表示によって表示部240に表示する。ユーザは、このような投影位置情報の表示によって、複数の計測投影装置P1~P4の投影範囲を認識できる。
【0125】
図19Bは、本実施の形態に係る投影システムの第4例における計測パターンの投影動作の一例を示すタイムチャートである。計測投影装置P1~P4は、計測パターンを投影する際に、それぞれの装置に固有の装置IDを示すIDコードを含む計測パターンを発光することも可能である。図示例では、計測投影装置P1はID1、計測投影装置P2はID2、計測投影装置P3はID3、計測投影装置P4はID4をそれぞれ設定しており、各計測投影装置は計測パターンの先頭に自装置のIDコードを含む計測パターンを投影する。計測投影装置P2が計測光を投影すると、投影範囲が重複している計測投影装置P1、P3は、計測投影装置P2による計測光の投影を検知できる。このため、計測投影装置P1、P3は、計測投影装置P2の計測光の投影が終了した時点で、自装置が計測光を投影可能であることを認識できる。したがって、複数の計測投影装置の投影範囲が複雑に重複している場合であっても、各計測投影装置による計測光の投影を認識でき、自装置が計測光を投影すべきタイミングを適切に判定可能である。
【0126】
(投影調整方法の一例)
図20は、本実施の形態に係る投影調整装置による投影調整方法の手順を示すフローチャートである。ここでは、投影調整プログラム221による位置関係表示211及び投影時間設定212に関する処理の一例として、複数の投影範囲の接続関係の表示、及び各計測投影装置の投影タイミングの設定を行う処理手順を示す。
【0127】
投影調整装置200は、処理部210において投影調整プログラム221に従って処理を実行する。まず、投影調整装置200は、ユーザインタフェースとして、表示部240にGUI操作表示を行い、ユーザ操作用の操作画面を表示する(S11)。そして、ユーザ操作に従って投影調整装置200は以降の処理を実行する。ユーザにより計測実施の操作指示がなされると、投影調整装置200は、計測投影装置をカウントするカウンタ値をi=1として初期化し(S12)、続いてi番目(初期状態では1番目)の計測投影装置のプロジェクタ投影を実行させる(S13)。プロジェクタ投影として、上述した計測光の投影を実行させる。このとき、投影調整装置200は、i番目の計測投影装置による計測光の投影を、全ての計測投影装置において撮像装置のカメラで撮影させる(S14)。
【0128】
投影調整装置200は、全ての計測投影装置による撮影結果から、i番目の計測投影装置の投影範囲について、重複の有無、どの計測投影装置と重複しているかなど、投影範囲の接続関係を判定する(S15)。投影範囲の重複がある場合、他の計測投影装置によって計測光が撮像される。計測光が撮像された計測投影装置の位置によって、複数の計測投影装置における投影範囲の接続関係を判定可能である。
【0129】
次に、投影調整装置200は、計測投影装置のカウンタ値をi=i+1とし(S16)、カウンタ値iが計測投影装置の数より小さいかどうかを判定する(S17)。カウンタ値iが計測投影装置の数より小さい場合(S17:Yes)、すなわち投影範囲の接続関係の判定が未処理の計測投影装置がある場合は、上記と同様にステップS13~S17の処理を繰り返す。つまり、投影調整装置200は、全ての計測投影装置について順番に、計測光を投影して他の計測投影装置により撮像する動作を実行させ、それぞれの計測投影装置の投影範囲の接続関係を判定する。この各計測投影装置での計測光の投影及び全計測投影装置での撮像を行う計測処理は、ユーザが計測実施の操作指示を行ったときのみ実行してもよいし、所定時間毎に自動的に実行してもよい。
【0130】
カウンタ値iが計測投影装置の数と等しくなった場合(S17:No)、投影調整装置200は、各計測投影装置の投影範囲の接続関係を示す投影位置情報を生成する。ここでは、一例として投影範囲の接続関係を示すグラフ表示の表示画面を作成する(S18)。そして、投影調整装置200は、表示部240の操作画面にグラフを描画し、各計測投影装置の投影範囲の接続関係を示すグラフ表示を行う(S19)。
【0131】
ユーザにより投影タイミングの自動割り当ての操作指示がなされると、投影調整装置200は、上記作成したグラフ等の投影位置情報に基づき、各計測投影装置の投影範囲間の距離を算出し、起点となる計測投影装置を設定する(S21)。起点となる計測投影装置は、マスターの計測投影装置として設定してもよい。続いて、投影調整装置200は、起点となる計測投影装置から順に、接続している計測投影装置を辿っていき、投影範囲に重複が無い状態で投影タイミングの順番を示すスロット番号を再帰的に割り当てる(S22)。スロット番号は、上述した投影期間の位相に相当する。この各計測投影装置の投影タイミングの割り当て処理は、ユーザが自動割り当ての操作指示を行ったときに、上記のステップS13~S17の計測処理が未完了である場合、計測処理を実行してから投影タイミングの割り当て処理を実行してよい。
【0132】
このように、計測投影装置の投影範囲の接続関係を判定し、接続関係示す投影位置情報を生成して表示することにより、ユーザは複数の計測投影装置の投影範囲の位置関係を容易に把握可能となる。各投影範囲を図形等で示すイメージ表示、各投影範囲の重複等の接続関係をノード及び接続線等で示すグラフ表示などによって、一目でユーザが複数の投影範囲の位置関係を認識でき、視認性が良好な投影位置情報の表示を提供できる。これにより、ユーザが計測投影装置の投影範囲及び/又は投影タイミング等を調整する場合の投影動作の調整作業の支援を効果的に実施できる。
【0133】
また、起点となる計測投影装置の決定、起点の計測投影装置から順に投影タイミングの割り当てを行うことにより、複数の計測投影装置における計測光の干渉を防止しつつ、各投影範囲の配置に応じた適切な投影順序及び位相などの投影タイミングを設定できる。また、計測光投影の起点となる計測投影装置として、効率が良い最適な計測投影装置を設定可能となる。
【0134】
以下に、投影調整装置200による投影位置情報の表示の種々の態様を例示する。
【0135】
図21Aは、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第1例を示す図である。
図21Bは、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のグラフ表示の第1例を示す図である。投影位置情報の表示の第1例は、投影調整装置200による投影位置情報の表示の一例を示したものである。
【0136】
投影調整装置200は、表示部240の操作画面に表示する投影位置情報として、
図21Aに示すような複数の計測投影装置の投影範囲のイメージ表示、又は
図21Bに示すような複数の計測投影装置の投影範囲のグラフ表示を行う。
図21Aのイメージ表示では、複数の計測投影装置100として9個の計測投影装置P1~P9を有する場合に、各計測投影装置P1~P9の投影範囲PE1~PE9を、四角形の図形表示によって模式的に表している。このイメージ表示により、ユーザは投影範囲PE1~PE9の配置及び接続関係を容易に視認できる。また、各計測投影装置の投影範囲351を表示するとともに、投影範囲が2重に重複している2重の投影範囲352、投影範囲が3重に重複している3重の投影範囲353、投影範囲が4重に重複している4重の投影範囲354などを、色又はパターン等によって区別して強調表示してもよい。これにより、ユーザは投影範囲が重複している領域や重複の状態をイメージ表示によって容易に把握できる。
【0137】
図21Bのグラフ表示では、各計測投影装置P1~P9の投影範囲の位置を円マーク等のノード(節)361で表示し、それぞれの投影範囲が重複し接続関係があるノード361の間を接続線362で接続したグラフによって表している。このグラフ表示により、ユーザは各計測投影装置の投影範囲の接続関係を一目で確認できる。また、各計測投影装置P1~P9において、計測光の投影タイミングを示す位相T1~T4を表示してもよい。また、マスターの計測投影装置を設定する場合はマスターの計測投影装置を色又はパターン、マーク等によって識別表示してもよい。なお、
図21Bでは、グラフ表示は接続線362の方向を持たない無向グラフの表示としているが、計測光の干渉が一方向のみである場合は、接続線362において矢印など干渉方向を示す有向グラフの表示としてもよい。例えば、対象物が複雑な形状で第1の計測投影装置が第2の計測投影装置に干渉するが、逆方向に第2の計測投影装置が第1の計測投影装置には干渉しない場合などに、有向グラフの表示とすればよい。
【0138】
ここで、複数の計測投影装置において起点となる計測投影装置の設定、及び各計測投影装置の投影タイミングの自動割り当てについて、
図21A、
図21Bの表示例を用いて具体例を説明する。投影調整装置200は、
図21Aのイメージ表示から、
図21Bのグラフ表示を生成する。各の計測投影装置のノード361において、隣の計測投影装置との間で投影範囲が重複している箇所は、ノード361間が接続線362で接続される。投影調整装置200は、各の計測投影装置のノードについて他のノードとの間の距離を算出し、最も遠いノードの距離が最小となるノード、すなわち他の全てのノードへの到達ステップ数が最小となるノードを抽出し、これを起点の計測投影装置のノードとする。複数のノード間の距離は、例えばダイクストラ法などによって最短経路を算出可能である。起点の計測投影装置をマスターの計測投影装置として設定してもよい。図示例では、中央に位置する計測投影装置P5が他の全ての計測投影装置のノードに1ステップで到達可能であるので、この計測投影装置P5を起点の計測投影装置に設定する。そして、投影調整装置200は、起点の計測投影装置P5のノードから順に、隣接するノードにおいて重複が無いように投影タイミングの順番を示すスロット番号を再帰的に割り当てる。図示例では、計測投影装置P5を第1の位相T1、計測投影装置P4、P6を第2の位相T2、計測投影装置P2、P8を第3の位相T3、計測投影装置P1、P3、P7、P9を第4の位相T4に設定する。
【0139】
投影調整装置200は、上述した複数の計測投影装置の投影範囲の計測処理をリアルタイムで実行し、現在の計測投影装置の配置に応じて投影位置情報のイメージ表示又はグラフ表示を更新する。これにより、ユーザにおいて手動で計測投影装置の投影範囲及び/又は投影タイミング等を調整する場合の投影動作の調整作業の支援を実施する。
【0140】
図22Aは、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第2例を示す図である。
図22Bは、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のグラフ表示の第2例を示す図である。投影位置情報の表示の第2例は、
図21A、
図21Bに示した第1例の状態から一部の計測投影装置の投射範囲が変位した場合を例示するものである。
【0141】
図22Aのイメージ表示のように、図中右下に位置する計測投影装置P9の投影範囲PE9が下側に変位し、計測投影装置P6の投影範囲PE6との重複が無くなった状態を想定する。この場合、
図22Bのグラフ表示では、計測投影装置P9のノードと計測投影装置P6のノードとの間の接続線が表示されず、ユーザは計測投影装置P6とP9との間で干渉が無く接続関係が無くなったことを認識できる。また、
図22Aのイメージ表示によって、投影範囲PE6、PE9の間で不連続の領域が生じたことを認識できる。ユーザは、投影調整装置200による投影位置情報の表示を見ながら、各計測投影装置の投影範囲の配置を確認し、適切な配置となるよう投影範囲を調整できる。また、ユーザは投影位置情報の表示に基づいて複数の計測投影装置の投影動作の順番、位相、投影タイミングなどを設定、調整することも可能である。
【0142】
図23Aは、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第3例を示す図である。
図23Bは、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のグラフ表示の第3例を示す図である。投影位置情報の表示の第3例は、投影調整装置200による投影位置情報の表示の他の例を示したものである。
【0143】
投影調整装置200は、表示部240の操作画面に表示する投影位置情報として、
図23Aに示すような複数の計測投影装置の投影範囲のイメージ表示、又は
図23Bに示すような複数の計測投影装置の投影範囲のグラフ表示を行う。
図23Aのイメージ表示では、複数の計測投影装置100として4個の計測投影装置P1~P4を有する場合に、各計測投影装置P1~P4の投影範囲PE1~PE4を、四角形の図形表示によって模式的に表している。本例では、A領域で示す投影範囲が2重に重複している2重の投影範囲371、B領域で示す投影範囲が3重に重複している3重の投影範囲372を、それぞれ色又はパターン等によって区別して強調表示する。
【0144】
図23Bのグラフ表示では、各計測投影装置P1~P4の投影範囲の位置を円マーク等のノード(節)361で表示し、それぞれの投影範囲が重複し接続関係があるノード361の間を接続線362で接続するとともに、重なりのある箇所を複数種類のノードで強調表示し、投影範囲の重複状態をよりわかりやすく視認可能にしている。図示例では、A領域を2重の重複ノード381、B領域を3重の重複ノード382によって示している。重複箇所を示す重複ノード381、382は、色、パターン、形状などによって重複数、重複領域の大きさなどを区別して表示する。
【0145】
これらのイメージ表示、グラフ表示により、ユーザは複数の計測投影装置の投影範囲が重複している位置、重複している投影範囲の数、重複している計測投影装置間の位置関係など、投影範囲の各種の状態を容易に視認可能である。特に、重複箇所についてもグラフ表示のノードで示すことによって、ユーザは投影範囲の重複数、重複関係などを一目で把握できる。
【0146】
図24は、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第4例を示す図である。
図25は、本実施の形態に係る投影調整装置における複数の計測投影装置の投影範囲のイメージ表示の第5例を示す図である。投影位置情報の表示の第4例及び第5例は、ユーザによる投影動作の調整作業の支援のための投影位置情報の表示例を示したものである。
【0147】
投影調整装置200は、表示部240の操作画面に表示する投影位置情報として、
図24に示すような複数の計測投影装置の投影範囲のイメージ表示を行う。図示例では、複数の計測投影装置の投影範囲を四角形の図形表示によって模式的に表すとともに、各計測投影装置の投影タイミングの位相T1~T4を示している。
【0148】
複数の計測投影装置の投影範囲が隣接する場合、四角形で外周が四辺の投影範囲では最大の重複数は4であり、投影タイミングは4つの位相T1~T4を設定することによって全ての計測投影装置の投影が可能になる。ここで、4重の投影範囲391を色又はパターン等によって区別して表示し、ユーザが投影範囲の重複領域及び重複数を視認可能にしてもよい。
【0149】
図24に示した第4例の状態から、ユーザが一部の計測投影装置の投射範囲を調整して変位させることにより、
図25に示す第5例のようになった場合を想定する。この場合、図中上から2段目と4段目の3つずつ合計6つの計測投影装置の投影範囲を図中左右方向に位置をずらして配置することにより、投影範囲の最大重複数を3にすることができる。この場合、投影タイミングは3つの位相T1~T3を設定することによって全ての計測投影装置の投影が可能になる。ここで、3重の投影範囲392を色又はパターン等によって区別して表示し、ユーザが投影範囲の重複領域及び重複数を視認可能にしてもよい。このように3位相で全ての領域をカバーできるように複数の計測投影装置の投射範囲を調整することによって、効率の良い位置計測及び映像投影を実行可能になる。
【0150】
上記のようなイメージ表示によって、ユーザにおいて適切な投影範囲及び投影タイミングを設定可能なように投影動作の調整作業を支援することができる。なお、投影位置情報の表示において、4位相の投影が必要な4重の投影範囲がある場合にその領域を目立つ色又はマークなどによって警告表示を行うことによって、ユーザにより3位相の投影動作が可能な投影範囲の配置設定が容易にできるように支援することも可能である。また、投影範囲の位置調整時の移動方向、移動量などを算出して支援することも可能である。
【0151】
以上のように、本実施の形態の投影調整プログラムは、対象物105、106に対して位置計測及び投影を行う投影装置として複数の計測投影装置100を含む投影システムにおいて、コンピュータにより計測投影装置100の投影動作の調整に関する処理を実行する投影調整プログラムである。この投影調整プログラムは、例えば投影システムの計測投影装置100と接続される投影調整装置200により実行される。投影調整プログラムは、投影システムの第1の計測投影装置において対象物に非可視光の計測光を投影し、投影システムの第2の計測投影装置において対象物から反射した計測光の反射光を受光し、受光した計測光の反射光に基づいて第1の計測投影装置の投影範囲の接続関係を判定する。また、投影調整プログラムは、接続関係の判定処理を全処理対象の投影装置について実行し、投影システムにおける各計測投影装置の投影範囲の接続関係を示す投影位置情報を生成し、表示部に表示する。
【0152】
これにより、投影装置を複数配置する場合に、投影範囲の重複の有無、重複関係、重複数など、複数の投影範囲の位置関係をユーザが容易に把握可能となる。また、ユーザにおいて適切な投影範囲及び投影タイミングを設定可能なように投影動作の調整作業の支援を効果的に実施可能となる。
【0153】
また、投影調整プログラムにおいて、投影位置情報の表示として、計測投影装置の投影範囲を示すイメージ表示を生成する。これにより、例えば投影範囲の図形表示などのイメージ表示によって、複数の計測投影装置における各投影範囲の配置、投影範囲の重複関係など、複数の投影範囲の位置関係をユーザが容易に把握可能となる。
【0154】
また、投影調整プログラムにおいて、投影位置情報の表示として、計測投影装置の投影範囲の位置を示すノードと、投影範囲の重なりによるノード間の接続関係を示す接続線とを含むグラフ表示を生成する。これにより、グラフ表示のノードによって複数の計測投影装置における各投影範囲の配置を把握でき、また、接続線によって各投影範囲の接続関係(重複の状態)を容易に把握可能となる。
【0155】
また、投影調整プログラムにおいて、複数の計測投影装置の投影範囲において重なりがある場合、重複箇所を強調表示する。これにより、投影範囲の重複箇所を一目で容易に認識でき、各投影範囲の接続関係を容易に把握可能となる。
【0156】
また、投影調整プログラムにおいて、複数の計測投影装置の投影範囲において重なりがある場合、重複箇所において投影範囲の重複状態を示す重複ノードを表示する。これにより、投影範囲の重複箇所、及び重複数などの重複状態を一目で容易に認識でき、各投影範囲の接続関係を容易に把握可能となる。
【0157】
また、投影調整プログラムにおいて、投影範囲の接続関係を示す投影位置情報に基づき、それぞれの計測投影装置の投影範囲間の距離を算出し、他の計測投影装置との距離が最小となる計測投影装置を起点の計測投影装置として設定する。これにより、例えばマスターの計測投影装置など、計測光投影の起点となる計測投影装置を、各計測投影装置の投影範囲の配置に基づいて効率が良い最適な計測投影装置を設定可能となる。
【0158】
また、投影調整プログラムにおいて、起点の計測投影装置から順に、投影範囲に重複が無い状態で投影タイミングを再帰的に割り当てる。これにより、複数の計測投影装置における計測光の干渉を防止しつつ、各投影範囲の配置に応じた適切な投影順序及び位相などの投影タイミングを設定できる。
【0159】
本実施の形態の投影調整方法は、対象物105、106に対して位置計測及び投影を行う投影装置として複数の計測投影装置100を含む投影システムにおいて、計測投影装置100の投影動作の調整に関する処理を実行する投影調整装置200による投影調整方法である。この投影調整方法は、投影システムの第1の計測投影装置において対象物に非可視光の計測光を投影し、投影システムの第2の計測投影装置において対象物から反射した計測光の反射光を受光し、受光した計測光の反射光に基づいて第1の計測投影装置の投影範囲の接続関係を判定する。また、投影調整方法は、接続関係の判定処理を全処理対象の投影装置について実行し、投影システムにおける各計測投影装置の投影範囲の接続関係を示す投影位置情報を生成し、表示部に表示する。これにより、投影装置を複数配置する場合に複数の投影範囲の位置関係を容易に把握できる。
【0160】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0161】
本開示は、複数の投影装置を用いた投影システムにおいて対象物の計測及び映像の投影を適切に実行できる投影システム、投影装置及び投影方法として有用である。
【符号の説明】
【0162】
100、100A、100B、140、160A、160B 計測投影装置
101 撮像装置
102 赤外光投影装置
103 演算装置
104 可視光投影装置
105 第1の対象物
106 第2の対象物
111 レンズ光学系
112 赤外LED光源
113 表示デバイス
131 設定入力部
142 投影装置
150 タイミング制御部
151 タイミングジェネレータ
152 外部同期インタフェース(I/F)
153 光センサ
200 投影調整装置
210 処理部
220 記憶部
221 投影調整プログラム
230 通信インタフェース(I/F)
240 表示部
250 モニタ
260 入力部
401 画像入力部
402 パターン復号部
405 座標変換部
407 座標補間部
408 コンテンツ生成部
410 画像出力部
411 パターン生成部