特開 2024-174424 視界調整システム、視界調整装置および視界調整方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024174424

(43)【公開日】2024-12-17

(54)【発明の名称】視界調整システム、視界調整装置および視界調整方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241210BHJP

【ＦＩ】

G06F3/01 510

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023092237

(22)【出願日】2023-06-05

(71)【出願人】

【識別番号】000233491

【氏名又は名称】株式会社日立システムズ

(74)【代理人】

【識別番号】110000198

【氏名又は名称】弁理士法人湘洋特許事務所

(72)【発明者】

【氏名】深澤 祐介

(72)【発明者】

【氏名】仲村柄 真人

(72)【発明者】

【氏名】壷内 将之

(72)【発明者】

【氏名】小原 清弘

(72)【発明者】

【氏名】菊地 克朗

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA64

5E555BA02

5E555BA08

5E555BB02

5E555BB08

5E555BC04

5E555BE17

5E555CA42

5E555CB48

5E555CB66

5E555CC04

5E555DA08

5E555DB18

5E555DB44

5E555DC09

5E555DC31

5E555DD01

5E555EA22

5E555FA00

(57)【要約】

【課題】利用者の視点と異なる位置から適切に撮像する技術を提供する。
【解決手段】
視界調整システムであって、利用者の視点と異なる位置から撮像して画像を取得する画像取得部と、画像に含まれる物体を検出し、所定の対象物か否か判定する対象物特定部と、所定の対象物が画像内に含まれるか否かを対象物ごとに利用者に知らせる通知出力指示部と、を備えることを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

利用者の視点と異なる位置から撮像して画像を取得する画像取得部と、
前記画像に含まれる物体を検出し、所定の対象物か否か判定する対象物特定部と、
所定の前記対象物が前記画像内に含まれるか否かを前記対象物ごとに前記利用者に知らせる通知出力指示部と、
を備えることを特徴とする視界調整システム。

【請求項2】

請求項１に記載の視界調整システムであって、
前記画像内に含まれない前記対象物の検出状態に応じて、前記対象物が前記画像内に含まれるよう前記利用者の動作を誘導する誘導部、
を備えることを特徴とする視界調整システム。

【請求項3】

請求項２に記載の視界調整システムであって、
前記対象物には、少なくとも、人間の手または所定の図形のいずれかが含まれる、
ことを特徴とする視界調整システム。

【請求項4】

請求項２に記載の視界調整システムであって、
前記対象物には、少なくとも、所定の図形が含まれ、
前記誘導部は、所定の前記図形が前記画像で未検出の場合には、該図形を示して前記利用者の動作を誘導する、
ことを特徴とする視界調整システム。

【請求項5】

請求項２に記載の視界調整システムであって、
前記対象物には、少なくとも、人間の手および所定の図形が含まれ、
前記誘導部は、所定の前記図形が前記画像で未検出であって、前記人間の手を検出済みの場合には、前記利用者の腕を移動させるよう誘導する、
ことを特徴とする視界調整システム。

【請求項6】

請求項５に記載の視界調整システムであって、
前記誘導部は、前記利用者の腕の移動を検出した場合であって、所定の前記図形が前記画像で未検出のままである場合には、前記利用者を後方へ移動するよう誘導する、
ことを特徴とする視界調整システム。

【請求項7】

請求項２に記載の視界調整システムであって、
前記対象物には、少なくとも、人間の手および所定の図形が含まれ、
前記誘導部は、前記人間の手および前記図形を検出済みの場合であって、前記図形が前記画像からフレームアウトした場合には、前記画像取得部の位置を移動させるよう誘導する、
ことを特徴とする視界調整システム。

【請求項8】

請求項２に記載の視界調整システムであって、
前記対象物には、少なくとも、人間の手および所定の図形が含まれ、
前記誘導部は、前記人間の手および前記図形を検出済みの場合であって、前記図形が前記人間の手により遮られた場合には、前記利用者の腕を所定の方向に移動させるよう誘導する、
ことを特徴とする視界調整システム。

【請求項9】

請求項８に記載の視界調整システムであって、
前記誘導部が前記利用者の腕を移動させるよう誘導する方向は、前記利用者の体の左右中心方向である、
ことを特徴とする視界調整システム。

【請求項10】

利用者の視点と異なる位置から撮像した画像を受け付ける画像受付部と、
前記画像に含まれる物体を検出し、所定の対象物か否か判定する対象物特定部と、
所定の前記対象物が前記画像内に含まれるか否かを前記対象物ごとに前記利用者に知らせる情報を前記利用者が装着する装置に出力させる通知出力指示部と、
を備えることを特徴とする視界調整装置。

【請求項11】

情報処理装置を用いる視界調整方法であって、
前記情報処理装置は、
利用者の視点と異なる位置から撮像して画像を取得する画像取得ステップと、
前記画像に含まれる物体を検出し、所定の対象物か否か判定する対象物特定ステップと、
所定の前記対象物が前記画像内に含まれるか否かを前記対象物ごとに前記利用者に知らせる通知出力指示ステップと、
を実施することを特徴とする視界調整方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視界調整システム、視界調整装置および視界調整方法に関するものである。

【背景技術】

【0002】

特許文献１には、「画像信号が入力され、該画像信号に基づく画像から表示装置の表示領域に応じた画像範囲を有する表示画像を生成する画像処理装置であって、前記画像信号に基づく画像における関心物体の位置である関心位置を算出する関心位置算出部と、前記関心位置と前記画像範囲とに基づいて、前記関心位置が前記画像範囲から外れる確度を表すフレームアウト確度を算出するフレームアウト確度算出部と、前記フレームアウト確度に基づいて、前記画像信号に基づく画像に施す改変処理の処理変数を決定する改変変数決定部と、決定した前記処理変数に基づいて前記画像信号に基づく画像に前記改変処理を施して前記表示画像の信号を生成する画像変更部と、を具備することを特徴とする画像処理装置」と記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－１７００４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記技術では、関心物体のフレームアウトを防ぐように誘導するために、撮影した画像を加工することが可能であるが、撮像装置が利用者の視点と略同一であることを前提とするものである。また、撮像した画像を利用者が確認しながら撮像装置の視界を調整する前提である。これに対し、利用者の視点と異なる位置から撮像している画像を確認することなく適切に対象物を撮像することは難しい。

【0005】

本発明の目的は、利用者の視点と異なる位置から適切に撮像する技術を提供することにある。

【課題を解決するための手段】

【0006】

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る視界調整システムは、利用者の視点と異なる位置から撮像して画像を取得する画像取得部と、前記画像に含まれる物体を検出し、所定の対象物か否か判定する対象物特定部と、所定の前記対象物が前記画像内に含まれるか否かを前記対象物ごとに前記利用者に知らせる通知出力指示部と、を備える。

【0007】

また、上記の視界調整システムにおいては、前記画像内に含まれない前記対象物の検出状態に応じて、前記対象物が前記画像内に含まれるよう前記利用者の動作を誘導する誘導部、を備えるものであってもよい。

【0008】

また、上記の視界調整システムにおいては、前記対象物には、少なくとも、人間の手または所定の図形のいずれかが含まれるものであってもよい。

【0009】

また、上記の視界調整システムにおいては、前記対象物には、少なくとも、所定の図形が含まれ、前記誘導部は、所定の前記図形が前記画像で未検出の場合には、該図形を示して前記利用者の動作を誘導するものであってもよい。

【0010】

また、上記の視界調整システムにおいては、前記対象物には、少なくとも、人間の手および所定の図形が含まれ、前記誘導部は、所定の前記図形が前記画像で未検出であって、前記人間の手を検出済みの場合には、前記利用者の腕を移動させるよう誘導するものであってもよい。

【0011】

また、上記の視界調整システムにおいては、前記誘導部は、前記利用者の腕の移動を検出した場合であって、所定の前記図形が前記画像で未検出のままである場合には、前記利用者を後方へ移動するよう誘導するものであってもよい。

【0012】

また、上記の視界調整システムにおいては、前記対象物には、少なくとも、人間の手および所定の図形が含まれ、前記誘導部は、前記人間の手および前記図形を検出済みの場合であって、前記図形が前記画像からフレームアウトした場合には、前記画像取得部の位置を移動させるよう誘導するものであってもよい。

【0013】

また、上記の視界調整システムにおいては、前記対象物には、少なくとも、人間の手および所定の図形が含まれ、前記誘導部は、前記人間の手および前記図形を検出済みの場合であって、前記図形が前記人間の手により遮られた場合には、前記利用者の腕を所定の方向に移動させるよう誘導するものであってもよい。

【0014】

また、上記の視界調整システムにおいては、前記誘導部が前記利用者の腕を移動させるよう誘導する方向は、前記利用者の体の左右中心方向であってもよい。

【0015】

また、本願に係る別の実施態様に係る視界調整装置は、利用者の視点と異なる位置から撮像した画像を受け付ける画像受付部と、前記画像に含まれる物体を検出し、所定の対象物か否か判定する対象物特定部と、所定の前記対象物が前記画像内に含まれるか否かを前記対象物ごとに前記利用者に知らせる情報を前記利用者が装着する装置に出力させる通知出力指示部と、を備える。

【0016】

また、本願に係る別の実施態様に係る視界調整方法は、情報処理装置を用いる視界調整方法であって、前記情報処理装置は、利用者の視点と異なる位置から撮像して画像を取得する画像取得ステップと、前記画像に含まれる物体を検出し、所定の対象物か否か判定する対象物特定ステップと、所定の前記対象物が前記画像内に含まれるか否かを前記対象物ごとに前記利用者に知らせる通知出力指示ステップと、を実施する。

【0017】

本発明によると、利用者の視点と異なる位置から適切に撮像する技術を提供することができる。ただし、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0018】

【図1】第一の実施形態に係る視界調整システムの構成例を示す図である。

【図2】ウェアブル端末の外観およびカメラ視界の例を示す図である。

【図3】対象物記憶部に格納されるデータ構造の例を示す図である。

【図4】ウェアラブル端末のハードウェア構成を示す図である。

【図5】視界調整処理のフローの例を示す図である。

【図6】誘導処理の出力例を示す図である。

【図7】誘導処理の出力例を示す図である。

【図8】誘導処理の出力例を示す図である。

【図9】誘導処理の出力例を示す図である。

【図10】第二の実施形態に係る視界調整システムの構成例を示す図である。

【図11】第二の実施形態に係る視界調整処理のフローの例を示す図である。

【発明を実施するための形態】

【0019】

以下に、本発明に係る第一の実施形態を適用した視界調整システム１の実施形態について、図面を参照して説明する。

【0020】

図１は、本発明の第一の実施形態に係る視界調整システム１の構成例を示す図である。本実施形態において想定する視界調整システム１においては、ウェアラブル端末１００が含まれる。該システムにおいては、利用者１０は、ウェアラブル端末１００を身体（例えば眼鏡型装置、いわゆるスマートグラス等である場合には、顔）に装着した状態で操作対象物５００に対して所定の操作を行う。例えば、操作対象物５００のメンテナンス作業や、設置作業、利用操作等の作業を行う。操作対象物５００には、様々なものが当てはまる。必ずしも操作を行う対象でなくともよく、例えば調理の場面では食材や、内装工事の場面では建築材、ゲーム実況等の動画配信者の場合にはゲーム装置の設置されている環境内のインテリア等、教育の場面では答案用紙等であってもよい。

【0021】

ウェアラブル端末１００は、利用者１０が身体の一部に着脱可能に取り付け可能な計算機全般を含む、いわゆるウェアラブルデバイスとも呼ばれる装置である。望ましくは、ウェアラブル端末１００は、利用者に装着され、利用者の視野と同方向を撮像した画像情報を取得可能であり、利用者の知覚する音声情報を得ることができる。スマートグラスは、そのようないわゆるウェアラブルデバイスの一つであり、装着時に利用者の両手が拘束されにくいものであるため、操作性向上を狙う利用者の支援をより効率よく行うことができる。

【0022】

なお、ウェアラブル端末１００は、利用者１０が所有する端末であってもよいし、利用者１０が属する組織から利用者に貸与される端末であってもよい。

【0023】

図２は、ウェアブル端末の外観およびカメラ視界の例を示す図である。ウェアラブル端末１００は、利用者１０の目４００の視野４１０をなるべく遮らず装着できる眼鏡型装置である。また、ウェアラブル端末１００の一部（例えば、右目側のつるの端部）には、利用者１０の目４００の視野４１０方向に、視野４１０とは異なる視点で撮像するカメラ１７が設けられている。

【0024】

すなわち、カメラ１７の視点は、利用者１０の左右の目の視点のいずれとも異なる位置（例えば、右目側数センチメートル程度）にオフセットされているといえる。そのため、利用者１０が見える視界と、カメラ１７が撮像する画像の視界との間には相違があり、利用者１０の視点から見えるものがカメラ１７では撮像できない、あるいはその逆の事態も発生する。

【0025】

また、カメラ１７が撮像した画像をリアルタイムにウェアラブル端末１００単体では見ることができない。つまり、カメラ１７の視界や対象物の映り込み具合を利用者１０はリアルタイムには確認できない。

【0026】

ウェアラブル端末１００は、記憶部１１０と、表示制御部１２０と、画像処理部１５０と、音声出力部１６０と、通信部１７０と、を含む。

【0027】

表示制御部１２０は、通知表示部１２１を含む。通知表示部１２１は、ウェアラブル端末１００の装着者すなわち利用者１０に対して、透過型のディスプレイを介して表示を行う。いわば、通知表示部１２１は、利用者向けの表示部であり、例えば視覚表示情報を眼鏡の装着者側に近いレンズ面に像を投影させることで装着者にレンズ越しで重畳させて情報を表示させる。

【0028】

記憶部１１０は、対象物記憶部１１１を含む。対象物記憶部１１１は、オブジェクト検出を行う対象物の情報を格納する。

【0029】

図３は、対象物記憶部のデータ構造を示す図である。対象物記憶部１１１には、対象物識別子１１１ａと、対象物名称１１１ｂと、対象物代理アイコン１１１ｃと、対象物情報１１１ｄと、が含まれる。

【0030】

対象物識別子１１１ａは、カメラ１７で撮像した画像からオブジェクト検出を行う対象物を識別する情報である。対象物名称１１１ｂは、対象物の名称情報である。対象物代理アイコン１１１ｃは、対象物が検知されたか否かの結果を表示する際に用いるアイコン画像情報を特定する情報である。対象物情報１１１ｄは、オブジェクト検出を行うためのモデル情報等の情報である。例えば、対象物がＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）マーカーであれば、ＡＲマーカーを検出するためのモデル情報が対象物情報１１１ｄに格納される。なお、ここで、モデルとは、いわゆる深層学習等の機械学習を行った学習済みモデルを指し、画像に対象物が含まれるか検出・識別することができる。また、対象物が人間の手であれば、手を検出するためのモデル情報が対象物情報１１１ｄに格納される。なお、対象物には、少なくとも、人間の手または所定の図形（上記のＡＲマーカ等）のいずれかが含まれる。また、モデルは、対象物が人間の手あるいは所定の図形、あるいは所定の機器等のいずれであっても予め対象物記憶部１１１において対象物情報１１１ｄとして指定されたオブジェクト検出を行うことができるものであってもよい。

【0031】

図１の説明に戻る。画像処理部１５０には、画像取得部１５１と、対象物特定部１５２と、通知出力指示部１５３と、誘導部１５４と、が含まれる。画像取得部１５１は、ウェアラブル端末１００により取得した外部の画像、すなわち利用者の視野方向かつ利用者の視点と異なる位置から撮像して画像を取得する。

【0032】

対象物特定部１５２は、画像に含まれる物体を検出し、所定の対象物か否か判定する。ここで、対象物特定部１５２は、対象物記憶部１１１に含まれる対象物を検出するようにしてもよい。対象物特定部１５２による検出には、画像処理による公知の物体検知の仕組み（物体の類似を判定するアルゴリズムによる解析や、機械学習を行った学習済みモデル（畳み込みニューラルネットワーク）等による各種の検知方法）を採用することができる。

【0033】

通知出力指示部１５３は、所定の前記対象物が前記画像内に含まれるか否かを前記対象物ごとに前記利用者に知らせる。具体的には、通知出力指示部１５３は、通知表示部１２１にて表示する画面情報を生成し、通知表示部１２１に受け渡す。

【0034】

誘導部１５４は、画像内に含まれない前記対象物の検出状態に応じて、対象物が画像内に含まれるよう利用者の動作を誘導する。例えば、誘導部１５４は、所定の図形が画像上で未検出の場合には、該図形を示して利用者の動作を誘導する。また、誘導部１５４は、所定の図形が画像上で未検出であって、人間の手を検出済みの場合には、利用者の腕を移動させるよう誘導する。また、誘導部１５４は、利用者の腕の移動を検出した場合であって、所定の図形が画像上で未検出のままである場合には、利用者を後方へ移動するよう誘導する。また、誘導部１５４は、人間の手および図形を検出済みの場合であって、図形が画像からフレームアウトした場合には、画像取得部の位置を移動させるよう誘導する。また、誘導部１５４は、人間の手および図形を検出済みの場合であって、図形が人間の手により遮られた場合には、利用者の腕を所定の方向に移動させるよう誘導する。なお、誘導部１５４が利用者の腕を移動させるよう誘導する方向は、カメラ１７の視点からみた利用者の体の左右中心方向が望ましい。

【0035】

音声出力部１６０は、出力対象の音声情報を音声読み上げや音声の再生等により出力する、いわゆるスピーカーあるいはＤＡＣ（Ｄｉｇｉｔａｌ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）である。通信部１７０は、他の装置との通信を制御する。具体的には、通信部１７０は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等による近距離電波通信を制御するものであることが望ましい。しかし、通信部１７０は、５Ｇネットワークあるいは４Ｇネットワーク等の携帯電話通信網に参加するもの、あるいはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の所定の有線通信を制御するものであってもよい。

【0036】

図４は、ウェアラブル端末１００のハードウェア構成を示す図である。ウェアラブル端末１００は、プロセッサ１１と、メモリ１２と、ストレージ１３と、透過ディスプレイ１５と、通信装置１６と、カメラ１７と、各装置をつなぐバスと、を少なくとも備える。また、他に、ウェアラブル端末１００は、接触入力装置を備えるものであってもよい。なお、接触入力装置は、例えば眼鏡型のウェアラブルデバイスの場合には、眼鏡のつる部分への接触をクリック入力として受け付け、接触状態で摺動させる方向をスクロール入力として受け付けるものであってよいが、これに限られるものではない。

【0037】

プロセッサ１１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置であり、メモリ１２又はストレージ１３に記録されたプログラムに従って処理を実行する。ウェアラブル端末１００では、メモリ１２又はストレージ１３上に読み出されたプログラムに従って動作するプロセッサ１１により処理が行われる。画像処理部１５０、画像取得部１５１、対象物特定部１５２、通知出力指示部１５３、誘導部１５４は、プロセッサ１１がプログラムを実行することにより各々の機能を実現する。

【0038】

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はフラッシュメモリ等の記憶装置であり、プログラムやデータが一時的に読み出される記憶エリアとして機能する。ストレージ１３は、書き込み及び読み出し可能な記憶装置である。記憶部１１０は、メモリ１２又はストレージ１３によりその機能が実現される。なお、記憶部１１０は、通信装置１６を介して接続される記憶装置によってその機能が実現されてもよい。

【0039】

透過ディスプレイ１５は、出力を行うためのインターフェースを提供する装置であり、ディスプレイに出力を行う。より具体的には、透過ディスプレイ１５は、装着者から視認可能なようにレンズ面に画像を投影するプロジェクション装置、あるいはレンズ面に応じて設けられた半透過型のディスプレイ装置等の表示装置である。しかし、これに限定されるものではなく、例えば利用者１０の網膜に結像させる光を照射可能な表示装置であってもよい。

【0040】

通信装置１６は、ウェアラブル端末１００を外部の装置と通信接続するためのインターフェースである。例えば、通信装置１６は、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ等、あるいは無線ＬＡＮ等に参加する所定の周波数帯域（例えば、２．４ＧＨｚ（ギガヘルツ）あるいは５．２～５．６ＧＨｚ帯）の電波を利用できるアンテナを用いて無線通信を行う。また、通信装置１６は、５Ｇネットワークあるいは４Ｇネットワーク等の携帯電話通信網に参加する所定の電波を利用できるアンテナを用いて無線通信を行うものであってもよいし、あるいは有線ＬＡＮや光ファイバーによる有線通信網による有線通信を行うものであってもよい。

【0041】

カメラ１７は、ウェアラブル端末１００を装着した利用者の視野を含む画像情報を取得する。

【0042】

なお、ウェアラブル端末１００の各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、ウェアラブル端末１００の各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。また、ウェアラブル端末１００の画像処理部１５０は、ハードウェア（ＡＳＩＣ、ＧＰＵなど）により構築されてもよい。

【0043】

上記したウェアラブル端末１００の表示制御部１２０は、透過ディスプレイ１５によって実現される。また、音声出力部１６０は、図示しないスピーカー装置により実現される。また、通信部１７０は、通信装置１６により実現される。

【0044】

以上が、ウェアラブル端末１００のハードウェア構成である。

【0045】

[動作の説明]次に、本実施形態における視界調整システム１の動作を説明する。図５は、本実施形態における視界調整処理のフローの例を示す図である。視界調整処理は、ウェアラブル端末１００の電源が投入されるか、開始指示を受け付けると、開始される。

【0046】

まず、ウェアラブル端末１００の画像取得部１５１は、カメラ１７を制御して画像を取得する（ステップＳ１０１）。ここで、取得する画像は、静止画あるいは短い所定の間隔で取得した連続する静止画を含んで構成される動画（例えば、６０ｆｐｓ）である。

【0047】

そして、対象物特定部１５２は、ステップＳ１０１にて取得した画像に映り込んでいる所定のオブジェクトを検出する（ステップＳ１０２）。この際、対象物特定部１５２は、画像処理による公知の物体検知の仕組み（物体の類似を判定するアルゴリズムによる解析や、機械学習を行った学習済みモデル（畳み込みニューラルネットワーク）等による各種の検知方法により対象物を推定する。

【0048】

そして、対象物特定部１５２は、オブジェクトごとに対象物か否か判定する（ステップＳ１０３）。具体的には、対象物特定部１５２は、対象物記憶部１１１に格納されている対象物を特定し、ステップＳ１０２にて検出したオブジェクトごとに対象物であるか否か判定する。

【0049】

そして、通知出力指示部１５３は、映り込んでいる対象物の代理アイコンを強調表示させる（ステップＳ１０４）。具体的には、通知出力指示部１５３は、ステップＳ１０３にて対象物と判定されたオブジェクトについて、対象物に相当するアイコンの色を検知されたことを知らせるために注意を惹くように（例えば、アイコンを緑表示する）画面情報を生成し、通知表示部１２１に画面情報を表示させる。オブジェクトが検出されない対象物については、通知出力指示部１５３は、対象物に相当するアイコンを標準色（例えば、白）表示する画面情報を生成し、通知表示部１２１に画面情報を表示させる。なお、アイコンで表示することに加えて、音声出力部１６０から所定の音声（メッセージ読み上げ音声、あるいは対象物ごとに異なるビープ音等）を出力するようにしてもよい。

【0050】

例えば、通知出力指示部１５３は、検出されていないオブジェクトが手であり、対象物である場合には、手を示す所定のアイコン図形を画面右上に白表示するよう画面情報を構成する。通知出力指示部１５３は、検出されたオブジェクトがＡＲマーカーであり、対象物である場合には、ＡＲマーカーを示す所定のアイコン図形を画面右上に緑表示するよう画面情報を構成する。

【0051】

そして、誘導部１５４は、全ての対象物が画像に映り込んでいるか否か判定する（ステップＳ１０５）。具体的には、誘導部１５４は、対象物記憶部１１１に格納されている対象物を特定し、特定された全ての対象物が対象物特定部１５２により映り込んでいると判定されたか否かを判定する。全ての対象物が画像に映り込んでいる場合（ステップＳ１０５にて「Ｙｅｓ」の場合）には、誘導部１５４は、視界調整処理を終了させる。

【0052】

全ての対象物が画像に映り込んでいない場合（ステップＳ１０５にて「Ｎｏ」の場合）には、誘導部１５４は、誘導処理を開始する（ステップＳ１０６）。誘導処理の具体的な内容は、後述する。

【0053】

以上が、視界調整処理である。視界調整処理によれば、撮像範囲に対象物が含まれているか否かを透過ディスプレイ１５上のアイコンにより利用者１０に表示することができるため、利用者の視点と異なる位置から適切に撮像することができる。

【0054】

図６は、誘導処理の出力例を示す図である。誘導処理の例として、図６では、ＡＲマーカーと手を検出した後に、手によりＡＲマーカーが遮られた場合の誘導例を示す。

【0055】

手のアイコン６５０は、手６３０が映り込んでいることから、透過ディスプレイ１５において緑表示されるアイコンである。ＡＲマーカーのアイコン６４０は、ＡＲマーカー６２０が映り込んでいることから、透過ディスプレイ１５において緑表示されるアイコンである。左上図は、ＡＲマーカー６２０と、手６３０の両方が映り込んでおり、いずれのアイコンも緑表示されている状態を示す。

【0056】

右下図は、ＡＲマーカー６２０が移動した手６３０´により遮られた状態を示す。つまり、ＡＲマーカー６２０が映り込まなくなった状態である。この状態では、ＡＲマーカーのアイコン６４０´は、透過ディスプレイ１５において白表示されるアイコンである。また、透過ディスプレイ１５には、「ＡＲマーカーを遮っています 腕を左へずらしてください」との誘導メッセージが誘導部１５４により表示される。なお、誘導メッセージで腕を移動させる方向を提示する際には、誘導部１５４は、カメラ１７の視点からみた利用者１０の体の左右中心方向を提示するようにしてもよい。カメラ１７の視点と利用者１０の視差の関係で、体の左右中心方向へ手を動かす動作には無理がないためである。

【0057】

図７は、誘導処理の出力例を示す図である。誘導処理の例として、図７では、ＡＲマーカーと手を検出した後に、カメラ１７が（利用者１０の右側に）ずれた場合の誘導例を示す。

【0058】

手のアイコン６５０は、手６３０が映り込んでいることから、透過ディスプレイ１５において緑表示されるアイコンである。ＡＲマーカーのアイコン６４０は、ＡＲマーカー６２０が映り込んでいることから、透過ディスプレイ１５において緑表示されるアイコンである。左上図は、ＡＲマーカー６２０と、手６３０の両方が映り込んでおり、いずれのアイコンも緑表示されている状態を示す。

【0059】

右下図は、ＡＲマーカー６２０が移動したカメラによりフレームアウトした状態を示す。つまり、ＡＲマーカー６２０が映り込まなくなった状態である。この状態では、ＡＲマーカーのアイコン６４０´は、透過ディスプレイ１５において白表示されるアイコンである。また、透過ディスプレイ１５には、「カメラ位置を戻してください」との誘導メッセージが誘導部１５４により表示される。これは、誘導部１５４がＡＲマーカー６２０のフレームアウトを検知することにより実現する。

【0060】

図８は、誘導処理の出力例を示す図である。誘導処理の例として、図８では、ＡＲマーカーと手をどちらも未検出の状態から、ＡＲマーカーが検出された場合の誘導例を示す。

【0061】

手のアイコン６５０´は、手の一部６３５しか映り込んでいないことから、透過ディスプレイ１５において白表示されるアイコンである。ＡＲマーカーのアイコン６４０´は、ＡＲマーカー６２０が映り込んでいないことから、透過ディスプレイ１５において白表示されるアイコンである。左上図は、ＡＲマーカー６２０と、手６３０の両方とも映り込んでおらず、いずれのアイコンも白表示されている状態を示す。透過ディスプレイ１５には、「（ＡＲマーカーの図形を示す画像）のようなＡＲマーカーを探してください」との誘導メッセージが誘導部１５４により表示される。

【0062】

右下図は、ＡＲマーカー６２０が映り込んだ状態を示す。つまり、ＡＲマーカー６２０が映り込むようになった状態である。この状態では、ＡＲマーカーのアイコン６４０は、透過ディスプレイ１５において緑表示されるアイコンである。

【0063】

図９は、誘導処理の出力例を示す図である。誘導処理の例として、図９では、手を認識した後に、ＡＲマーカーの検出のための誘導を行う場合の誘導例を示す。

【0064】

手のアイコン６５０は、手６３０が映り込んでいることから、透過ディスプレイ１５において緑表示されるアイコンである。ＡＲマーカーのアイコン６４０´は、ＡＲマーカー６２０が映り込んでいないことから、透過ディスプレイ１５において白表示されるアイコンである。左上図は、手６３０のみが映り込んでおり、手のアイコン６５０のみ緑表示されている状態を示す。この場合、透過ディスプレイ１５には、「腕を左下へずらしてください」との誘導メッセージが誘導部１５４により表示される。つまり、ＡＲマーカーが未検出であって、人間の手を検出済みの場合に相当し、誘導部１５４は、利用者１０の腕を移動させるよう誘導する。

【0065】

右上図は、手６３０が移動した状態を示す。この状態では、ＡＲマーカーのアイコン６４０´は、透過ディスプレイ１５において白表示されるアイコンである。また、透過ディスプレイ１５には、「一歩後ろへ下がってください」との誘導メッセージが誘導部１５４により表示される。これは、誘導部１５４が手６３０の移動を検知することにより実現する。つまり、利用者の腕の移動を検出した場合であって、ＡＲマーカーが未検出のままである場合に相当し、誘導部１５４は、利用者１０を後方へ移動するよう誘導する。

【0066】

右下図は、利用者１０が後方へ移動した状態を示す。つまり、手６３０とＡＲマーカー６２０とが両方映り込むようになった状態である。この状態では、手のアイコン６５０は、手６３０が映り込んでいることから、透過ディスプレイ１５において緑表示されるアイコンである。また、ＡＲマーカーのアイコン６４０は、透過ディスプレイ１５において緑表示されるアイコンである。

【0067】

以上が、誘導処理の例である。誘導処理によれば、撮像した画像を見ることなく、対象物の映り込みを誘導することができる。そのため、利用者の視点と異なる位置から適切に撮像することができるといえる。

【0068】

以上が、第一の実施形態に係る視界調整システム１である。第一の実施形態によれば、利用者の視点と異なる位置から適切に撮像することができる。

【0069】

本発明は、上記の第一の実施形態に制限されない。上記の第一の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。例えば、上記の第一の実施形態においては、ウェアラブル端末１００は眼鏡型ウェアラブル端末を想定しているが、これに限られない。例えば、頭部をより広く覆うヘルメット型のウェアラブル端末であってもよいし、片眼のみに取り付けるウェアラブル端末であってもよい。

【0070】

図１０は、このような変形例のうち、第二の実施形態に係る視界調整システムの構成例を示す図である。第二の実施形態においては、ウェアラブル端末１００において物体検知や誘導の演算を行うのではなく、ネットワークを介して視界調整装置２００において行うことで、ウェアラブル端末１００に必要な演算能力を低く抑えることができる。これは、特に視界調整システム１においてウェアラブル端末１００を複数運用する場合には、全体としてのハードウェアコスト、ウェアラブル端末１００のソフトウェアアップデート管理等の運用コストの削減効果が期待できる。

【0071】

第二の実施形態に係る視界調整システム１´は、基本的に第一の実施形態に係る視界調整システム１と略同様であるが、一部相違がある。以下、相違点を中心に説明する。

【0072】

ウェアラブル端末１００´は、対象物記憶部１１１と、対象物特定部１５２と、通知出力指示部１５３と、誘導部１５４を備える必要はない。しかし、通信部１７０は、視界調整装置２００と各種の通信経路を経由して通信可能である。この通信経路は、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、無線ＬＡＮ等の近距離電波通信、５Ｇネットワークあるいは４Ｇネットワーク等の携帯電話通信網、あるいはＵＳＢ等の所定の通信線のいずれかまたはこれらに相当するものであってよい。

【0073】

視界調整装置２００には、記憶部２１０と、画像処理部２２０と、通信部２３０と、が含まれる。記憶部２１０は、対象物記憶部２１１を含む。対象物記憶部２１１は、オブジェクト検出を行う対象物の情報を格納する。対象物記憶部２１１は、第一の実施形態における対象物記憶部１１１と同様のデータ構造を備える。

【0074】

画像処理部２２０には、画像受付部２２１と、対象物特定部２２２と、通知出力指示部２２３と、誘導部２２４と、が含まれる。画像受付部２２１は、ウェアラブル端末１００´から送信された画像を受け付ける。対象物特定部２２２と、通知出力指示部２２３と、誘導部２２４とは、それぞれ基本的に対象物特定部１５２と、通知出力指示部１５３と、誘導部１５４と同様の処理を行う。

【0075】

通信部２３０は、ウェアラブル端末１００´等の他の装置との通信を制御する。具体的には、通信部２３０は、例えばＢｌｕｅｔｏｏｔｈ、無線ＬＡＮ、ＮＦＣ等による近距離電波通信を制御するものであることが望ましい。しかし、通信部２３０は、５Ｇネットワークあるいは４Ｇネットワーク等の携帯電話通信網に参加するもの、あるいはＵＳＢ等の所定の有線通信を制御するものであってもよい。

【0076】

図１１は、第二の実施形態に係る視界調整処理のフローの例を示す図である。第二の実施形態に係る視界調整処理のフローの例のうち、第一の実施形態に係る視界調整処理のフローの例と番号が共通する処理は、同内容の処理である。

【0077】

まず、ウェアラブル端末１００´の画像取得部１５１は、カメラ１７を制御して画像を取得し、視界調整装置２００へ送信する（ステップＳ１０１´）。

【0078】

そして、視界調整装置２００の画像受付部２２１は、送信された画像を受信する（ステップＳ２０１）。そして、対象物特定部２２２は、ステップＳ２０１にて取得した画像に映り込んでいる所定のオブジェクトを検出する（ステップＳ１０２）。そして、対象物特定部２２２は、オブジェクトごとに対象物か否か判定する（ステップＳ１０３）。

【0079】

そして、通知出力指示部２２３は、映り込んでいる対象物の代理アイコンを強調表示させて通知表示部１２１に画面情報を表示させる指示を送信する（ステップＳ１０４）。これを受けて、通知表示部１２１は、代理アイコンの表示を強調表示へと変更する（ステップＳ２０２）。

【0080】

例えば、通知出力指示部２２３は、検出されていないオブジェクトが手であり、対象物である場合には、手を示す所定のアイコン図形を画面右上に白表示するよう画面情報を構成する。通知出力指示部２２３は、検出されたオブジェクトがＡＲマーカーであり、対象物である場合には、ＡＲマーカーを示す所定のアイコン図形を画面右上に緑表示するよう画面情報を構成する。

【0081】

そして、誘導部２２４は、全ての対象物が画像に映り込んでいるか否か判定する（ステップＳ１０５）。具体的には、誘導部２２４は、対象物記憶部２１１に格納されている対象物を特定し、特定された全ての対象物が対象物特定部２２２により映り込んでいると判定されたか否かを判定する。全ての対象物が画像に映り込んでいる場合（ステップＳ１０５にて「Ｙｅｓ」の場合）には、誘導部２２４は、視界調整処理を終了させる。

【0082】

全ての対象物が画像に映り込んでいない場合（ステップＳ１０５にて「Ｎｏ」の場合）には、誘導部２２４は、ウェアラブル端末１００´に対する誘導処理を開始する（ステップＳ１０６）。誘導処理の具体的な内容は、前述と同様である。

【0083】

以上が、第二の実施形態に係る視界調整システム１´における視界調整処理である。視界調整処理によれば、撮像範囲に対象物が含まれているか否かを透過ディスプレイ１５上のアイコンにより利用者１０に表示することができるため、利用者の視点と異なる位置から適切に撮像することができる。

【0084】

なお、視界調整装置２００は、例えばサーバー装置、パーソナルコンピューター、いわゆるスマートフォンやタブレット端末、携帯電話装置を含む情報処理装置であり、他の装置と通信可能な処理装置である。

【0085】

視界調整装置２００は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信装置１６と、各装置をつなぐバスと、を少なくとも備える。

【0086】

画像処理部２２０、画像受付部２２１、対象物特定部２２２、通知出力指示部２２３、誘導部２２４は、プロセッサ１１がプログラムを実行することにより各々の機能を実現する。

【0087】

記憶部２１０は、メモリ１２又はストレージ１３によりその機能が実現される。なお、記憶部２１０は、通信装置１６を介して接続される記憶装置によってその機能が実現されてもよい。通信部２３０は、通信装置１６によって実現される。

【0088】

なお、視界調整装置２００の各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、視界調整装置２００の各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。また、視界調整装置２００の画像処理部２２０は、ハードウェア（ＡＳＩＣ、ＧＰＵなど）により構築されてもよい。

【0089】

なお、ウェアラブル端末１００、視界調整装置２００のそれぞれの構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

【0090】

以上が、第二の実施形態に係る視界調整システム１´である。第二の実施形態に係る視界調整システム１´によれば、利用者の視点と異なる位置から適切に撮像するのみならず、ウェアラブル端末１００に必要な演算能力を低く抑えることができる。これは、特にウェアラブル端末１００´を複数運用する場合には、全体としてのハードウェアコスト、ウェアラブル端末１００´のソフトウェアアップデート管理等の運用コストの削減効果が期待できる。

【0091】

以上、第一の実施形態および第二の実施形態を用いて説明した。上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。

【0092】

以上、本発明について、実施形態を中心に説明した。

【符号の説明】

【0093】

１・・・視界調整システム、１０・・・利用者、１００・・・ウェアラブル端末、１１０・・・記憶部、１１１・・・対象物記憶部、１２０・・・表示制御部、１２１・・・通知表示部、１５０・・・画像処理部、１５１・・・画像取得部、１５２・・・対象物特定部、１５３・・・通知出力指示部、１５４・・・誘導部、１６０・・・音声出力部、１７０・・・通信部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】