特許 7401245 画像合成装置、画像合成装置の制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】画像合成装置、画像合成装置の制御方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231212BHJP

   G06F 3/01 20060101ALI20231212BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 510

G06F3/01 570

【請求項の数】 9

(21)【出願番号】P 2019185255

(22)【出願日】2019-10-08

(65)【公開番号】P2021060856

(43)【公開日】2021-04-15

【審査請求日】2022-10-05

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】田宮 圭介

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１８－１３２８４７（ＪＰ，Ａ）

【文献】国際公開第２０１９／１３１１４３（ＷＯ，Ａ１）

【文献】特開２０１１－１７５４３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

現実空間内で撮像装置の装着者が侵入できない除外領域を取得する除外領域取得手段と、
マニピュレータの操作範囲を取得する操作範囲取得手段と、
前記撮像装置から取得した前記装着者の視点と、前記除外領域と、前記マニピュレータの操作範囲とを基に、マニピュレータの表示位置を決定する表示位置決定手段と、
前記撮像装置が撮像した現実画像と仮想物体の画像とマニピュレータの画像とを合成する画像合成手段と、
前記画像合成手段により合成された画像を前記撮像装置に表示する画像表示手段と
を有することを特徴とする画像合成装置。

【請求項2】

前記装着者の可動領域を取得する可動領域取得手段をさらに有し、
前記表示位置決定手段は、前記装着者の可動領域を基に、前記マニピュレータの表示位置を決定することを特徴とする請求項１に記載の画像合成装置。

【請求項3】

前記表示位置決定手段は、前記マニピュレータの操作範囲が有限値でない場合に、前記装着者の可動領域を基に、前記マニピュレータの表示位置を決定することを特徴とする請求項２に記載の画像合成装置。

【請求項4】

前記画像合成手段は、前記撮像装置が撮像した現実画像と前記仮想物体の画像と前記マニピュレータの画像と前記マニピュレータの操作範囲の画像とを合成することを特徴とする請求項１～３のいずれか１項に記載の画像合成装置。

【請求項5】

前記マニピュレータは、前記装着者が前記仮想物体を回転、平行移動、拡大、または縮小させるためのものであることを特徴とする請求項１～４のいずれか１項に記載の画像合成装置。

【請求項6】

前記マニピュレータの操作範囲は、球であることを特徴とする請求項１～５のいずれか１項に記載の画像合成装置。

【請求項7】

前記装着者の可動領域は、前記装着者の腕の長さに基づくことを特徴とする請求項２または３に記載の画像合成装置。

【請求項8】

現実空間内で撮像装置の装着者が侵入できない除外領域を取得する除外領域取得ステップと、
マニピュレータの操作範囲を取得する操作範囲取得ステップと、
前記撮像装置から取得した前記装着者の視点と、前記除外領域と、前記マニピュレータの操作範囲とを基に、マニピュレータの表示位置を決定する表示位置決定ステップと、
前記撮像装置が撮像した現実画像と仮想物体の画像とマニピュレータの画像とを合成する画像合成ステップと、
前記画像合成ステップで合成された画像を前記撮像装置に表示する画像表示ステップと
を有することを特徴とする画像合成装置の制御方法。

【請求項9】

コンピュータを、請求項１～７のいずれか１項に記載された画像合成装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像合成装置、画像合成装置の制御方法およびプログラムに関する。

【背景技術】

【0002】

ヘッドマウントディスプレイなどの撮像装置が撮像した実空間の画像に、コンピュータグラフィックによって表現される仮想現実空間上の仮想物体を合成する複合現実という技術が実用化されている。具体的には、画像合成装置が、撮像装置が撮像した画像と、仮想物体をレンダリングした画像を合成することで実現される。

【0003】

複合現実空間において、画像合成装置は、撮像装置に取り付けられた姿勢センサから取得した情報に基づいて、複合現実空間におけるカメラ位置情報を変更し、撮像装置の動きに仮想物体を追従させる。また、複合現実空間において、撮像装置は、特定のマーカーを含む画像を撮像し、画像合成装置が画像からマーカーの位置を特定することで、マーカーの位置に仮想物体を表示する。なお、マーカーとは、被写体に取り付けて、その三次元座標を特定するための目印である。

【0004】

複合現実空間内では、撮像装置の装着者が、仮想物体を複合現実空間内に表示された装着者自身の手の画像を使用して操作することが多い。具体的には、仮想物体の平行移動、回転、拡大、縮小の操作がこれに相当する。

【0005】

特に、撮像装置の装着者が精度の高い操作を行う場合、マニピュレータと呼ばれる操作用の仮想物体を使って、間接的に仮想物体を操作する方法が知られている（特許文献１参照）。特許文献１には、撮像装置の装着者が、複合現実空間に表示された手で複合現実空間上のマニピュレータ（ハンドラ）に接触した後、手を操作することで、仮想物体を移動、回転する操作が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００８－４０８３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

マニピュレータにより複合現実空間内の仮想物体を操作する場合、マニピュレータの表示位置によっては、操作時に装着者の手が現実物体に衝突したり、立ち入りできない領域に入ったりしてしまう課題がある。

【0008】

本発明の目的は、装着者が、現実物体に衝突したり、立ち入りできない領域に入ったりすること無く、マニピュレータの操作を行うことができるようにすることである。

【課題を解決するための手段】

【0009】

本発明の画像合成装置は、現実空間内で撮像装置の装着者が侵入できない除外領域を取得する除外領域取得手段と、マニピュレータの操作範囲を取得する操作範囲取得手段と、前記撮像装置から取得した前記装着者の視点と、前記除外領域と、前記マニピュレータの操作範囲とを基に、マニピュレータの表示位置を決定する表示位置決定手段と、前記撮像装置が撮像した現実画像と仮想物体の画像とマニピュレータの画像とを合成する画像合成手段と、前記画像合成手段により合成された画像を前記撮像装置に表示する画像表示手段とを有する。

【発明の効果】

【0010】

本発明によれば、装着者が、現実物体に衝突したり、立ち入りできない領域に入ったりすること無く、マニピュレータの操作を行うことができる。

【図面の簡単な説明】

【0011】

【図1】画像処理システムの構成例を示すブロック図である。

【図2】複合現実空間の位置関係を説明する図である。

【図3】画像処理システムの制御方法を示すフローチャートである。

【図4】表示座標算出処理を示すフローチャートである。

【図5】画像処理システムの構成例を示すブロック図である。

【図6】表示座標算出処理を示すフローチャートである。

【図7】画像処理システムの構成例を示すブロック図である。

【図8】表示座標算出処理を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照し、実施形態について説明する。なお、以下に説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施形態の１つである。

【0013】

（第１の実施形態）
図１は、第１の実施形態による画像処理システム１５０の構成例を示す図である。画像処理システム１５０は、画像合成装置１００と、撮像装置１３０と、記憶装置１４０とを有する。画像合成装置１００と撮像装置１３０と記憶装置１４０は、ローカルエリアネットワーク（ＬＡＮ）やインターネットなどのネットワークに接続されており、このネットワークを介して、互いにデータ通信が可能である。

【0014】

撮像装置１３０は、例えば、画像撮像機能と画像表示機能を持つヘッドマウントディスプレイである。また、撮像装置１３０は、装着者の位置および姿勢を撮像情報として取得するセンサ機能を備えている。ただし、センサ機能は、撮像装置１３０の内部ではなく、撮像装置１３０の外部に搭載されてもよい。なお、撮像装置１３０は、１台に限定されず、複数存在してもよい。

【0015】

記憶装置１４０は、仮想物体を構成する図形の頂点の位置、サイズ、および色などを定義したモデルデータ１４１を保存している。モデルデータ１４１は、記憶装置１４０に保存されているとして説明しているが、ネットワークで接続されたパーソナルコンピュータやサーバなどの他の機器に保存されていてもよい。

【0016】

次に、画像合成装置１００について説明する。画像合成装置１００は、例えば、パーソナルコンピュータやサーバなどである。画像合成装置１００は、ＣＰＵ１０１と、メモリ１０２と、マニピュレータ表示部１１０と、除外領域取得部１１１と、画像合成部１１２と、画像表示部１１３とを有する。さらに、画像合成装置１００は、操作範囲取得部１１４と、基準点算出部１１５と、表示座標決定部１１６と、モデル読込部１１７とを有する。

【0017】

ＣＰＵ１０１は、画像合成装置１００の制御を行う。メモリ１０２は、ＣＰＵ１０１が処理を実行する際に用いる作業領域を提供する。マニピュレータ表示部１１０、除外領域取得部１１１、画像合成部１１２、画像表示部１１３、操作範囲取得部１１４、基準点算出部１１５、表示座標決定部１１６、およびモデル読込部１１７は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。図１中の矢印は、データの流れを表現している。

【0018】

図２（ａ）は、撮像装置１３０に表示されている複合現実空間における仮想物体２０１、除外領域２０２、および撮像装置１３０の位置関係を説明するための図である。除外領域２０２は、例えば、６つの頂点座標で定義される直方体として、メモリ１０２などに保存されている。なお、除外領域２０２は、関数表現などの定義形式が限定されず、形状も直方体に限定されない。

【0019】

図２（ｂ）は、図２（ａ）の仮想物体２０１と除外領域２０２に加えて、撮像装置１３０に表示されている複合現実空間におけるマニピュレータ２０４、マニピュレータの表示位置２０５、基準点２０６、初期座標２０７の位置関係を説明するための図である。マニピュレータ２０４は、撮像装置１３０の装着者が仮想物体２０１を回転、平行移動、拡大、または縮小させるためのものである。

【0020】

図３は、画像処理システム１５０の制御方法を示すフローチャートである。撮像装置１３０には、複合現実空間が表示されている。撮像装置１３０には、撮像装置１３０が撮像した背景画像と、モデルデータ１４１をレンダリングした仮想物体２０１の画像が重畳表示されている。なお、仮想物体２０１を定義するモデルデータ１４１は、モデル読込部１１７によって記憶装置１４０から読み込まれた後、レンダリングされる。また、柱などの現実空間における障害物は、除外領域２０２として、複合現実空間上の座標で定義されている。

【0021】

ステップＳ３０１では、マニピュレータ表示部１１０は、撮像装置１３０の装着者から、撮像装置１３０を介して、仮想物体２０１を操作するためのマニピュレータ表示要求を受信する。

【0022】

次に、ステップＳ３０２では、除外領域取得部１１１は、現実空間内で撮像装置１３０の装着者が侵入できない除外領域２０２の座標を取得する。

【0023】

次に、ステップＳ３０３では、画像合成装置１００は、表示座標算出処理を行い、マニピュレータの表示位置２０５を決定する。ステップＳ３０３の詳細は、図４を参照しながら後述する。

【0024】

次に、ステップＳ３０４では、画像合成部１１２は、撮像装置１３０が撮像した現実画像（背景画像）と仮想物体２０１の画像とマニピュレータ２０４の画像のレンダリング結果を合成する。

【0025】

次に、ステップＳ３０５では、画像表示部１１３は、撮像装置（ヘッドマウントディスプレイ）１３０に対して、画像合成部１１２により合成された画像を表示する。

【0026】

図４は、図３のステップＳ３０３の処理の詳細を示すフローチャートである。まず、ステップＳ４０１では、表示座標決定部１１６は、マニピュレータ２０４の原点を配置する複合現実空間上の初期座標２０７を取得する。初期座標２０７は、操作対象の仮想物体２０１の原点（仮想物体２０１を定義しているモデルデータ１４１の原点）の複合現実空間上の座標を示すが、これに限定されない。初期座標２０７は、撮像装置１３０から仮想物体２０１の方向に一定の距離離れた点などでもよい。

【0027】

次に、ステップＳ４０２では、基準点算出部１１５は、撮像装置１３０から取得した装着者の視点（撮像装置１３０の位置座標）と、除外領域２０２の座標と、初期座標２０７から、マニピュレータの表示位置２０５の基準となる基準点２０６の座標を算出する。例えば、基準点算出部１１５は、視点と初期座標２０７を結ぶ直線と除外領域２０２の交点の内、最も視点に近い点を基準点２０６とする。

【0028】

次に、ステップＳ４０３では、操作範囲取得部１１４は、表示対象のマニピュレータ２０４を手で操作する際に想定されるマニピュレータ２０４の操作範囲の座標を取得する。操作範囲は、マニピュレータ２０４の原点を中心に半径Ｒの球が定義されており、メモリ１０２などに保存されている。なお、操作範囲は、関数表現など定義形式は限定されず、形状も球に限定されない。

【0029】

次に、ステップＳ４０４では、表示座標決定部１１６は、表示位置決定部であり、基準点２０６の座標に、補正値としてステップＳ４０３で取得したマニピュレータ２０４の操作範囲を加えて、マニピュレータの表示位置２０５を決定する。例えば、表示座標決定部１１６は、視点と基準点２０６を結ぶ直線上で、基準点２０６から視点方向に操作範囲の半径Ｒ分、平行移動した点をマニピュレータの表示位置２０５とする。例えば、基準点２０６とマニピュレータの表示位置２０５の距離はＲとなる。

【0030】

（第２の実施形態）
図５は、第２の実施形態による画像処理システム１５０の構成例を示す図である。図５の画像処理システム１５０は、図１の画像処理システム１５０に対して、装着者属性取得部５０１を追加したものである。以下、第２の実施形態が第１の実施形態と異なる点を説明する。第２の実施形態は、第１の実施形態でマニピュレータ２０４の操作範囲が有限値でなかった場合でも、装着者の属性情報を使用して、マニピュレータの表示位置２０５の決定を可能にする。操作範囲が有限値でない場合の例として、仮想物体２０１の平行移動、拡大、縮小操作を行うためのマニピュレータ２０４がある。

【0031】

図６は、図３のステップＳ３０３の処理の詳細を示すフローチャートである。図６は、図４に対して、ステップＳ４０４の代わりに、ステップＳ６０１～Ｓ６０３を設けたものである。まず、画像合成装置１００は、図４と同様に、ステップＳ４０１～Ｓ４０３の処理を行う。

【0032】

次に、ステップＳ６０１では、操作範囲取得部１１４は、ステップＳ４０３で取得したマニピュレータ２０４の操作範囲が有限値であるか否かを判定する。操作範囲取得部１１４は、マニピュレータ２０４の操作範囲が有限値である場合（Ｓ６０１でＹｅｓの場合）には、ステップＳ６０３に進む。ステップＳ６０３では、表示座標決定部１１６は、図４のステップＳ４０４と同様に、基準点２０６の座標に、補正値としてステップＳ４０３で取得した操作範囲を加えて、マニピュレータの表示位置２０５を決定する。

【0033】

ステップＳ６０１において、操作範囲取得部１１４は、マニピュレータ２０４の操作範囲が有限値でない場合（Ｓ６０１でＮｏの場合）には、ステップＳ６０２に進む。

【0034】

ステップＳ６０２では、装着者属性取得部５０１は、可動領域取得部であり、撮像装置１３０の装着者の可動領域の座標（装着者の属性情報）を取得する。例えば、装着者属性取得部５０１は、装着者の可動領域の座標として、予め定義された装着者の腕の長さＨをメモリ１０２から取得する。装着者の可動領域の座標は、その他の値を使用してもよく、例えば、人の腕の長さの最大値を固定値として使用することができる。その後、装着者属性取得部５０１は、ステップＳ６０３に進む。

【0035】

ステップＳ６０３では、表示座標決定部１１６は、視点と基準点２０６を結ぶ直線上で、基準点２０６から視点方向に腕の長さＨ分、平行移動した点をマニピュレータの表示位置２０５として決定する。

【0036】

（第３の実施形態）
図７は、第３の実施形態による画像処理システム１５０の構成例を示す図である。図７の画像処理システム１５０は、図５の画像処理システム１５０に対して、操作範囲表示部７０１を追加したものである。以下、第３の実施形態が第２の実施形態と異なる点を説明する。第２の実施形態では、画像表示部１１３がマニピュレータ２０４の表示は行っているが、マニピュレータ２０４の操作範囲については表示していないため、撮像装置１３０の装着者がマニピュレータ２０４の操作範囲を認識することができなかった。第３の実施形態では、操作範囲表示部７０１は、決定した位置でのマニピュレータ２０４の表示に加え、マニピュレータ２０４の操作範囲を表示して、撮像装置１３０の装着者が操作範囲を認識することを可能にする。

【0037】

図８は、図３のステップＳ３０３の処理の詳細を示すフローチャートである。図８は、図６に対して、ステップＳ８０１を追加したものである。まず、画像合成装置１００は、図６と同様に、ステップＳ４０１～Ｓ４０３およびＳ６０１～Ｓ６０３の処理を行う。

【0038】

次に、ステップＳ８０１では、操作範囲表示部７０１は、マニピュレータ２０４の操作範囲（操作可能な範囲）を表示対象として指定する。例えば、操作範囲表示部７０１は、ステップＳ６０１においてマニピュレータ２０４の操作範囲がマニピュレータの表示位置２０５を中心とした半径Ｒの球（有限値）である場合には、この球を表示対象として指定（追加）する。また、操作範囲表示部７０１は、ステップＳ６０１においてマニピュレータ２０４の操作範囲が有限値でない場合には、マニピュレータの表示位置２０５を中心とした半径Ｈ（装着者の腕の長さ）の球を表示対象として指定（追加）する。

【0039】

この後、図３のステップＳ３０４では、画像合成部１１２は、撮像装置１３０が撮像した現実画像（背景画像）と仮想物体２０１の画像とマニピュレータ２０４の画像のレンダリング結果と、マニピュレータ２０４の操作範囲の画像のレンダリング結果を合成する。マニピュレータ２０４の操作範囲は、例えば、上記のように、マニピュレータの表示位置２０５を中心とした球である。ステップＳ３０５では、画像表示部１１３は、撮像装置（ヘッドマウントディスプレイ）１３０に対して、画像合成部１１２により合成された画像を表示する。

【0040】

第１～第３の実施形態によれば、除外領域２０２の取得により、複合現実空間において撮像装置１３０の装着者が、現実物体に衝突したり、立ち入りできない領域に入ったりすること無く、マニピュレータ２０４の仮想物体の操作を行うことができる。

【0041】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0042】

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0043】

１１０ マニピュレータ表示部、１１１ 除外領域取得部、１１２ 画像合成部、１１３ 画像表示部、１１４ 操作範囲取得部、１１５ 基準点算出部、１１６ 表示座標決定部、１１７ モデル読込部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】