知財求人 - 知財ポータルサイト「IP Force」
特開2025-2830画像処理システム、画像処理装置、画像処理方法、及び、コンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025002830
(43)【公開日】2025-01-09
(54)【発明の名称】画像処理システム、画像処理装置、画像処理方法、及び、コンピュータプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20241226BHJP
G06F 3/01 20060101ALI20241226BHJP
G06F 3/04815 20220101ALI20241226BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
G06F3/04815
【審査請求】有
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023103193
(22)【出願日】2023-06-23
(71)【出願人】
【識別番号】517040102
【氏名又は名称】ＰｗＣコンサルティング合同会社
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100163902
【弁理士】
【氏名又は名称】市川 奈月
(72)【発明者】
【氏名】▲柳▼澤 慧
(72)【発明者】
【氏名】佐々木 智広
(72)【発明者】
【氏名】南 政樹
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA03
5B050BA06
5B050BA09
5B050BA11
5B050BA13
5B050CA07
5B050CA08
5B050EA04
5B050EA19
5B050EA26
5B050FA02
5B050FA05
5E555AA27
5E555AA59
5E555AA64
5E555BA08
5E555BA18
5E555BA22
5E555BA87
5E555BB08
5E555BB18
5E555BB22
5E555BE16
5E555BE17
5E555CA42
5E555CB47
5E555DA08
5E555DA09
5E555DB37
5E555DB57
5E555DC09
5E555DC43
5E555DD08
5E555EA05
5E555FA00
(57)【要約】
【課題】条件に応じて画像を処理する。
【解決手段】画像処理システムは、ユーザに装着されるディスプレイと、演算回路を含み、ユーザの属性に応じた映像をディスプレイに表示させる画像処理装置と、を備える画像処理システムであって、演算回路は、周辺環境の映像を取得し、ユーザの属性を取得し、ユーザの属性に応じて、周辺環境の一部を、周辺環境の構造とは異なる構造に見えるように加工する加工方法を決定し、決定された加工方法に従って、映像の一部を加工し、加工された映像をディスプレイに表示させる。
【選択図】図１
【解決手段】画像処理システムは、ユーザに装着されるディスプレイと、演算回路を含み、ユーザの属性に応じた映像をディスプレイに表示させる画像処理装置と、を備える画像処理システムであって、演算回路は、周辺環境の映像を取得し、ユーザの属性を取得し、ユーザの属性に応じて、周辺環境の一部を、周辺環境の構造とは異なる構造に見えるように加工する加工方法を決定し、決定された加工方法に従って、映像の一部を加工し、加工された映像をディスプレイに表示させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
ユーザに装着されるディスプレイと、演算回路を含み、ユーザの属性に応じた映像を前記ディスプレイに表示させる画像処理装置と、を備える画像処理システムであって、
前記演算回路は、
周辺環境の映像を取得し、
ユーザの属性を取得し、
前記ユーザの属性に応じて、前記周辺環境の一部を、前記周辺環境の構造とは異なる構造に見えるように加工する加工方法を決定し、
決定された前記加工方法に従って、前記映像の一部を加工し、
加工された映像を前記ディスプレイに表示させる
画像処理システム。
前記演算回路は、
周辺環境の映像を取得し、
ユーザの属性を取得し、
前記ユーザの属性に応じて、前記周辺環境の一部を、前記周辺環境の構造とは異なる構造に見えるように加工する加工方法を決定し、
決定された前記加工方法に従って、前記映像の一部を加工し、
加工された映像を前記ディスプレイに表示させる
画像処理システム。
【請求項2】
演算回路を含み、ユーザの属性に応じた映像をディスプレイに表示させる画像処理装置であって、
前記演算回路は、
周辺環境の映像を取得し、
ユーザの属性を取得し、
前記ユーザの属性に応じて、前記周辺環境の一部を、前記周辺環境の構造とは異なる構造に見えるように加工する加工方法を決定し、
決定された前記加工方法に従って、前記映像の一部を加工し、
加工された映像を前記ディスプレイに表示させる
画像処理装置。
前記演算回路は、
周辺環境の映像を取得し、
ユーザの属性を取得し、
前記ユーザの属性に応じて、前記周辺環境の一部を、前記周辺環境の構造とは異なる構造に見えるように加工する加工方法を決定し、
決定された前記加工方法に従って、前記映像の一部を加工し、
加工された映像を前記ディスプレイに表示させる
画像処理装置。
【請求項3】
前記演算回路は、
前記加工方法を決定する前に、前記ユーザの属性に応じて、前記ユーザに最適な前記周辺環境を特定し、
前記加工方法は、
前記特定された周辺環境の一部を加工する
請求項２に記載の画像処理装置。
前記加工方法を決定する前に、前記ユーザの属性に応じて、前記ユーザに最適な前記周辺環境を特定し、
前記加工方法は、
前記特定された周辺環境の一部を加工する
請求項２に記載の画像処理装置。
【請求項4】
前記特定された周辺環境は、前記ユーザが移動可能な移動ルートであって、
前記加工方法は、
当該移動ルートでの移動を前記ユーザに促すように前記移動ルートの一部を加工する
請求項３に記載の画像処理装置。
前記加工方法は、
当該移動ルートでの移動を前記ユーザに促すように前記移動ルートの一部を加工する
請求項３に記載の画像処理装置。
【請求項5】
前記演算回路は、
前記ユーザが前記特定された周辺環境へ向けて移動しなかった場合に、前記加工を継続する
請求項４に記載の画像処理装置。
前記ユーザが前記特定された周辺環境へ向けて移動しなかった場合に、前記加工を継続する
請求項４に記載の画像処理装置。
【請求項6】
前記演算回路は、
前記ユーザの属性に応じて、前記特定された周辺環境の前記加工方法を決定する
請求項３ないし５のいずれか１に記載の画像処理装置。
前記ユーザの属性に応じて、前記特定された周辺環境の前記加工方法を決定する
請求項３ないし５のいずれか１に記載の画像処理装置。
【請求項7】
前記ディスプレイは、歩行する前記ユーザに装着されるウェアラブル装置であって、
前記ユーザの属性は、前記ユーザに求められる運動強度に関する情報を含み、
前記演算回路は、
運動強度が異なる複数の異なる歩行のルートを含み、前記ルートのそれぞれにルートを移動する場合に要する運動強度が関連付けられる空間の三次元情報を記憶する記憶装置にアクセス可能であって、
前記加工方法の決定において、前記空間の三次元情報を参照し、前記ユーザに求められる運動強度と最も近い運動強度となるルートを選択し、
前記映像の加工において、前記周辺環境に現実に含まれる物理的な構造とは異なるように表示されるとともに、選択された前記ルートの運動強度が、選択されていない前記ルートの運動強度よりも少なく表示されるように、前記映像の一部を加工する
請求項２に記載の画像処理装置。
前記ユーザの属性は、前記ユーザに求められる運動強度に関する情報を含み、
前記演算回路は、
運動強度が異なる複数の異なる歩行のルートを含み、前記ルートのそれぞれにルートを移動する場合に要する運動強度が関連付けられる空間の三次元情報を記憶する記憶装置にアクセス可能であって、
前記加工方法の決定において、前記空間の三次元情報を参照し、前記ユーザに求められる運動強度と最も近い運動強度となるルートを選択し、
前記映像の加工において、前記周辺環境に現実に含まれる物理的な構造とは異なるように表示されるとともに、選択された前記ルートの運動強度が、選択されていない前記ルートの運動強度よりも少なく表示されるように、前記映像の一部を加工する
請求項２に記載の画像処理装置。
【請求項8】
記憶装置及び演算回路を含み、ユーザによって制御される移動体の移動環境をディスプレイに表示させる画像処理装置であって、
前記演算回路は、
周辺環境の映像を取得し、
移動体の移動ルートに関する環境を示す環境条件を取得し、
前記環境条件と、前記記憶装置に記憶される複数のルートの状態とを比較して、前記移動体に最適な移動ルートを選択し、
当該選択された移動ルートでの移動を促すように前記映像の一部を加工し、
加工された映像を前記ディスプレイに表示させる
画像処理装置。
前記演算回路は、
周辺環境の映像を取得し、
移動体の移動ルートに関する環境を示す環境条件を取得し、
前記環境条件と、前記記憶装置に記憶される複数のルートの状態とを比較して、前記移動体に最適な移動ルートを選択し、
当該選択された移動ルートでの移動を促すように前記映像の一部を加工し、
加工された映像を前記ディスプレイに表示させる
画像処理装置。
【請求項9】
演算回路を含み、ユーザの姿勢情報を含むユーザの属性に応じた映像をディスプレイに表示させる画像処理装置であって、
前記演算回路は、
ユーザの属性を取得し、
予め定められる理想的な姿勢と、前記ユーザの姿勢情報とを比較して、前記ユーザの姿勢の改善の要否を判定し、
前記ユーザの姿勢の改善の必要があるとき、前記映像の加工において、前記ユーザに姿勢の修正を促すように、前記映像の一部を、前記映像の構造とは異なる構造に見えるように加工する加工方法を決定し、
決定された前記加工方法に従って、前記映像の一部を加工し、
加工された映像を前記ディスプレイに表示させる
画像処理装置。
前記演算回路は、
ユーザの属性を取得し、
予め定められる理想的な姿勢と、前記ユーザの姿勢情報とを比較して、前記ユーザの姿勢の改善の要否を判定し、
前記ユーザの姿勢の改善の必要があるとき、前記映像の加工において、前記ユーザに姿勢の修正を促すように、前記映像の一部を、前記映像の構造とは異なる構造に見えるように加工する加工方法を決定し、
決定された前記加工方法に従って、前記映像の一部を加工し、
加工された映像を前記ディスプレイに表示させる
画像処理装置。
【請求項10】
演算回路を含み、ユーザの嗜好を含むユーザの属性に応じた映像をディスプレイに表示させる画像処理装置であって、
前記映像は、ユーザの嗜好と、当該嗜好に応じて表示される異なる複数の状態が関連付けられ、
前記演算回路は、
ユーザの属性を取得し、
前記ユーザの嗜好に関連付けられる状態を選択し、前記映像の一部を、前記映像の構造とは異なる構造に見えるように加工する加工方法を決定し、
決定された前記加工方法に従って、前記映像の一部を加工し、
加工された映像を前記ディスプレイに表示させる
画像処理装置。
前記映像は、ユーザの嗜好と、当該嗜好に応じて表示される異なる複数の状態が関連付けられ、
前記演算回路は、
ユーザの属性を取得し、
前記ユーザの嗜好に関連付けられる状態を選択し、前記映像の一部を、前記映像の構造とは異なる構造に見えるように加工する加工方法を決定し、
決定された前記加工方法に従って、前記映像の一部を加工し、
加工された映像を前記ディスプレイに表示させる
画像処理装置。
【請求項11】
演算回路を含む画像処理装置で実行され、ユーザの属性に応じた映像をディスプレイに表示させる画像処理方法であって、
前記演算回路は、
周辺環境の映像を取得し、
ユーザの属性を取得し、
前記ユーザの属性に応じて、前記周辺環境の一部を、前記周辺環境の構造とは異なる構造に見えるように加工する加工方法を決定し、
決定された前記加工方法に従って、前記映像の一部を加工し、
加工された映像を前記ディスプレイに表示させる
画像処理方法。
前記演算回路は、
周辺環境の映像を取得し、
ユーザの属性を取得し、
前記ユーザの属性に応じて、前記周辺環境の一部を、前記周辺環境の構造とは異なる構造に見えるように加工する加工方法を決定し、
決定された前記加工方法に従って、前記映像の一部を加工し、
加工された映像を前記ディスプレイに表示させる
画像処理方法。
【請求項12】
前記演算回路は、
前記ユーザが前記加工方法に従って加工された一部を有する周辺構造に近づいた場合、前記加工された周辺構造の一部を、前記加工前の周辺構造に戻すように再加工する再加工方法を決定し、
決定された前記再加工方法に従って、前記映像の一部を再加工し、
再加工された映像を前記ディスプレイに表示させる
請求項１１に記載の画像処理方法。
前記ユーザが前記加工方法に従って加工された一部を有する周辺構造に近づいた場合、前記加工された周辺構造の一部を、前記加工前の周辺構造に戻すように再加工する再加工方法を決定し、
決定された前記再加工方法に従って、前記映像の一部を再加工し、
再加工された映像を前記ディスプレイに表示させる
請求項１１に記載の画像処理方法。
【請求項13】
情報処理装置に、請求項１１または１２に記載の画像処理方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイに表示する画像を処理する画像処理装置、画像処理方法、及び、コンピュータプログラムに関する。
【背景技術】
【0002】
情報技術の進歩やビッグデータの利用の拡大に伴い、ユーザの嗜好や環境の条件等に合わせた情報の選択やリコメンドが盛んとなっている。例えば、ＥＣサイトでは、顧客の嗜好を分析して商品をリコメンドする。また、自動車の搭乗者に、効果的に情報を提供する技術もある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１４０４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、リコメンドの方法やタイミングには種々あるが、例えば、ユーザが自然にリコメンドされた情報を受け入れることができると、ユーザにとっても満足度が高くなるため理想的である。
【0005】
上記に鑑み、本発明は、条件に応じて画像を処理する画像処理装置、画像処理方法、及び、コンピュータプログラムを提供する。
【課題を解決するための手段】
【0006】
本開示に係る画像処理システムは、ディスプレイにアクセス可能な演算回路を含み、ユーザの属性に応じた映像を前記ディスプレイに表示させる画像処理システムであって、前記演算回路は、周辺環境の映像を取得し、ユーザの属性を取得し、前記ユーザの属性に応じて、前記周辺環境の一部を、前記周辺環境の構造とは異なる構造に見えるように加工する加工方法を決定し、決定された前記加工方法に従って、前記映像の一部を加工し、加工された映像を前記ディスプレイに表示させる。
【発明の効果】
【0007】
本開示の画像処理装置、画像処理方法、及び、コンピュータプログラムは、条件に応じて画像を処理することができる。
【図面の簡単な説明】
【0008】
【図1】第１実施形態に係る画像処理システムの構成を示すブロック図である。
【図2A】第１実施形態に係る画像処理システムで処理される前の画像例である。
【図5】第２実施形態に係る画像処理システムの構成を示すブロック図である。
【図7】第３実施形態に係る画像処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【0009】
以下に、図面を参照して本開示に係る画像処理システム、画像処理装置、画像処理方法、及び、コンピュータプログラムについて説明する。本開示の画像処理システムは、取得する条件に応じて、画像を処理する。なお、以下の説明では、同一の構成について、同一の符号を付して説明を省略する。
【0010】
［第１実施形態：移動する人間のルートを誘導する際の画像処理］
〈画像処理システム〉
図１に示す第１実施形態に係る画像処理システム１Ａは、受け付ける条件に応じて、ユーザの行動を誘導するように画像を処理する。第１実施形態に係る画像処理システム１Ａは、図１に示すように、画像処理装置１０Ａと、ウェアラブル装置２０Ａとがネットワーク３０を介して接続される。ウェアラブル装置２０Ａは、移動可能なユーザに装着される。画像処理装置１０Ａの演算回路１１は、周辺環境の映像を取得し、ユーザの属性を取得し、ユーザの属性に応じて、周辺環境の一部を、周辺環境の構造とは異なる構造に見えるように加工する加工方法を決定し、決定された加工方法に従って、三次元映像の一部を加工し、加工された三次元映像をウェアラブル装置２０Ａのディスプレイ２４に表示させる。ここで、ユーザの属性は、ユーザに求められる運動強度に関する情報を含み、演算回路１１は、記憶装置１２に記憶される、異なる運動強度が必要とされる複数の異なるルートを含む空間の三次元情報を参照し、ユーザに求められる運動強度と最も近い運動強度となるルートを選択し、ユーザに選択したルートの選択を促すように周辺環境の映像を加工する。これにより、ウェアラブル装置２０Ａで周辺環境の映像を観ながら移動するユーザは、自然にユーザにとって好ましいルートで移動することができる。
〈画像処理システム〉
図１に示す第１実施形態に係る画像処理システム１Ａは、受け付ける条件に応じて、ユーザの行動を誘導するように画像を処理する。第１実施形態に係る画像処理システム１Ａは、図１に示すように、画像処理装置１０Ａと、ウェアラブル装置２０Ａとがネットワーク３０を介して接続される。ウェアラブル装置２０Ａは、移動可能なユーザに装着される。画像処理装置１０Ａの演算回路１１は、周辺環境の映像を取得し、ユーザの属性を取得し、ユーザの属性に応じて、周辺環境の一部を、周辺環境の構造とは異なる構造に見えるように加工する加工方法を決定し、決定された加工方法に従って、三次元映像の一部を加工し、加工された三次元映像をウェアラブル装置２０Ａのディスプレイ２４に表示させる。ここで、ユーザの属性は、ユーザに求められる運動強度に関する情報を含み、演算回路１１は、記憶装置１２に記憶される、異なる運動強度が必要とされる複数の異なるルートを含む空間の三次元情報を参照し、ユーザに求められる運動強度と最も近い運動強度となるルートを選択し、ユーザに選択したルートの選択を促すように周辺環境の映像を加工する。これにより、ウェアラブル装置２０Ａで周辺環境の映像を観ながら移動するユーザは、自然にユーザにとって好ましいルートで移動することができる。
【0011】
以下では、画像処理システム１Ａは、身体のリハビリテーション（以下、「リハビリ」とする）を行う際に、歩行がプログラムに組み込まれた一例で説明する。具体的には、患者のリハビリを担当する医療従事者、例えば、理学療法士がオペレータとなって画像処理装置１０Ａを操作し、リハビリを受ける患者がユーザとなってウェアラブル装置２０Ａを着用して、リハビリで利用される空間を歩行する一例で説明する。したがって、以下の例では、ユーザに好ましいルートは、リハビリの観点でユーザの運動能力の回復のために好ましいルートである。
【0012】
なお、図１に示す例では、画像処理システム１Ａは、画像処理装置１０Ａとウェアラブル装置２０Ａとを含む例で説明するが、これに限定されない。例えば、ウェアラブル装置２０Ａ内の記憶装置２２で必要な情報を記憶しており、ウェアラブル装置２０Ａ内の演算回路２１で必要な処理を実行可能であれば、ウェアラブル装置２０Ａに画像処理装置１０Ａが一体化されていてもよい。
【0013】
《ウェアラブル装置》
ウェアラブル装置２０Ａは、例えば、ヘッドマウントディスプレイやスマートグラス等のユーザの頭部に装着し、ユーザの目の前にディスプレイを備える。例えば、このウェアラブル装置２０Ａは、周辺環境を表す映像を表示可能であるため、例えば、いわゆる、光学シースルー型又は、ビデオシースルー型の装置である。光学シースルー型である場合、ウェアラブル装置２０Ａは、レンズを通してユーザが視認できる周辺環境の映像に、ユーザが好ましいルートを選択するために一部の情報が追加された映像を表示する。ビデオシースルー型である場合、ウェアラブル装置２０Ａは、内蔵のカメラで撮影される周辺環境の映像に、ユーザの属性に応じた好ましいルートを選択するために一部の情報が加工された映像を表示する。なお、以下では、ウェアラブル装置２０Ａがビデオシースルー型である一例で説明する。例えば、一部の情報は、画像を構成する一部の形状であってもよいし、明度や色彩であってもよいし、マークや文字等がであってもよい。したがって、例えば、本開示のウェアラブル装置２０Ａの利用によって、複合現実（ＭＲ）や拡張現実（ＡＲ）を実現することができる。
ウェアラブル装置２０Ａは、例えば、ヘッドマウントディスプレイやスマートグラス等のユーザの頭部に装着し、ユーザの目の前にディスプレイを備える。例えば、このウェアラブル装置２０Ａは、周辺環境を表す映像を表示可能であるため、例えば、いわゆる、光学シースルー型又は、ビデオシースルー型の装置である。光学シースルー型である場合、ウェアラブル装置２０Ａは、レンズを通してユーザが視認できる周辺環境の映像に、ユーザが好ましいルートを選択するために一部の情報が追加された映像を表示する。ビデオシースルー型である場合、ウェアラブル装置２０Ａは、内蔵のカメラで撮影される周辺環境の映像に、ユーザの属性に応じた好ましいルートを選択するために一部の情報が加工された映像を表示する。なお、以下では、ウェアラブル装置２０Ａがビデオシースルー型である一例で説明する。例えば、一部の情報は、画像を構成する一部の形状であってもよいし、明度や色彩であってもよいし、マークや文字等がであってもよい。したがって、例えば、本開示のウェアラブル装置２０Ａの利用によって、複合現実（ＭＲ）や拡張現実（ＡＲ）を実現することができる。
【0014】
図１に示すように、ウェアラブル装置２０Ａは、演算回路２１と、記憶装置２２と、入力装置２３と、出力装置であるディスプレイ２４及びスピーカ２５と、通信回路２６と、センサ２９と、カメラ２８とを備えることができる。
【0015】
演算回路２１は、ウェアラブル装置２０Ａ全体の制御を司るコントローラである。演算回路２１は、記憶装置２２に記憶されるコンピュータプログラムを実行することにより各種の処理を実行する。また、演算回路２１は、所定の機能を実現する専用に設計されたハードウェア回路でもよい。例えば、演算回路２１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサであってもよい。
【0016】
記憶装置２２は、種々の情報を記録する記憶媒体である。記憶装置２２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶装置２２は、映像の表示処理の過程で利用される種々のデータを記憶する。例えば、記憶装置２２は、通信回路２６を介して画像処理装置１０Ａから受信するデータ、センサ２９、カメラ２８、ＧＰＳ受信機２７で得られるデータ等を記憶する。
【0017】
入力装置２３は、例えば、ウェアラブル装置２０Ａの電源のオンオフや、種々の調整用や操作用の信号等の入力に利用可能な操作ボタンである。
【0018】
ディスプレイ２４は、ウェアラブル装置２０Ａを装着するユーザに視認可能な映像を表示する。ここで、ディスプレイ２４は、視差が考慮された一組の右眼用と左眼用の映像をそれぞれ表示する右眼用のディスプレイと左眼用のディスプレイとを含むことができる。
【0019】
スピーカ２５は、音声を出力する必要がある場合にウェアラブル装置２０Ａに備えられる。
【0020】
通信回路２６は、画像処理装置１０Ａ等の外部の装置とのデータ通信を可能とする。データ通信は、ネットワーク３０を介して無線及び／又は有線による公知の通信規格にしたがって行われ得る。例えば、有線によるデータ通信は、イーサネット（登録商標）規格、及び／又はＵＳＢ（登録商標）規格等に準拠して動作する半導体集積回路の通信コントローラを通信回路１５として用いることによって行われる。また無線によるデータ通信は、ＬＡＮ（Local Area Network）に関するＩＥＥＥ８０２．１１規格、及び／又は移動体通信に関する、いわゆる４Ｇ／５Ｇと呼ばれる、第４世代／第５世代移動通信システム等に準拠して動作する半導体集積回路の通信コントローラを通信回路１５として用いることによって行われる。
【0021】
ＧＰＳ受信機２７は、衛星測位システムであるグローバルポジショニングシステム（ＧＰＳ）の複数の衛星から送信される信号を受信し、ウェアラブル装置２０Ａの位置を算出する。これにより、演算回路２１は、ウェアラブル装置２０Ａを装着するユーザの位置を取得することができる。
【0022】
カメラ２８は、ウェアラブル装置２０Ａの周辺環境を撮影する。
【0023】
演算回路２１は、所定のタイミングで、ＧＰＳ受信機２７を介して、ウェアラブル装置２０Ａの現在地を取得する。演算回路２１は、例えば、ユーザの移動の開始のタイミングで現在地を取得してもよいし、その後の移動が終了するまでの定期的なタイミングで現在地を取得してもよいし、現在地を逐次取得してもよい。また、演算回路２１は、取得した現在地を、通信回路２６を介して画像処理装置１０Ａに送信する。
【0024】
演算回路２１は、ウェアラブル装置２０Ａの利用が開始されると、カメラ２８によって、周辺環境の映像を取得する。また、演算回路２１は、取得した映像を、通信回路２６を介して画像処理装置１０Ａに送信する。
【0025】
演算回路２１は、通信回路２６を介して、画像処理装置１０Ａから映像を受信する。また、演算回路２１は、受信した映像をディスプレイ２４に表示する。ここで、映像は、カメラ２８で撮影された周辺環境の映像に、ユーザ毎の条件に応じて、ユーザが好ましいルートで移動するように一部の情報が加工された信号である。
【0026】
《画像処理装置》
図１に示すように、画像処理装置１０Ａは、演算回路１１と、記憶装置１２と、入力装置１３と、出力装置１４と、通信回路１５とを備えることができる。
図１に示すように、画像処理装置１０Ａは、演算回路１１と、記憶装置１２と、入力装置１３と、出力装置１４と、通信回路１５とを備えることができる。
【0027】
演算回路１１は、演算回路２１と同様の構成であって、画像処理装置１０Ａ全体の制御を司るコントローラである。演算回路１１は、記憶装置１２に記憶されるコンピュータプログラムＰ１を実行することにより各種の処理を実行する。
【0028】
入力装置１３は、操作信号や必要な情報の入力に利用される操作ボタン、キーボード、マウス、タッチパネル、マイクロフォン等である。また、出力装置１４は、処理結果やデータの出力に利用されるディスプレイ、スピーカ等である。
【0029】
通信回路１５は、通信回路２６と同様の構成であって、ウェアラブル装置２０Ａ等の外部の装置とのデータ通信を可能とする。
【0030】
記憶装置１２は、記憶装置２２度同様の構成であって、種々の情報を記録する記憶媒体である。記憶装置１２は、画像処理装置１０Ａの実行に利用されるコンピュータプログラムＰ１に加え、映像の表示処理の過程で利用される種々のデータを記憶する。例えば、記憶装置１２は、予め、空間情報Ｄ１等を記憶することができる。また、画像処理を実行する過程でウェアラブル装置２０Ａから受信するデータを記憶することができる。
【0031】
空間情報Ｄ１は、ウェアラブル装置２０Ａの移動の対象となる三次元空間を示す情報である。具体的には、空間情報Ｄ１は、空間で取得された三次元点群データであり得る。この空間情報Ｄ１を利用することで、複数のルートが示されるとともに、複数のルートを移動する際の条件が示される。例えば、空間情報Ｄ１により、各ルートの起伏が特定される。また、空間情報Ｄ１は、三次元点群データに加え、空間の各点を示す情報を含んでもよい。例えば、空間上のある点に存在する物体や施設の名称やカテゴリ等の情報を含むことができる。さらに、空間情報Ｄ１は、後述するユーザの属性に応じて当該ユーザが誘導されるべき周辺環境に関する情報をあらかじめ有してもよい。例えば、空間情報Ｄ１は、特定の属性を有するユーザに対してのみ、周辺環境の一部を加工するという情報を有してもよい。
【0032】
演算回路１１は、オペレータの操作に従って、入力装置１３を介して、ユーザの属性を受け付ける。演算回路１１は、受け付けたユーザの属性を、記憶装置１２に記憶させる。例えば、ユーザの属性は、ユーザが「リハビリ中である」ことを示す情報である。また、ユーザの属性は、リハビリに関する「プログラム内容」、リハビリにおいて「必要な運動の程度」、ユーザの「運動強度を決定するための情報」等を含んでいてもよい。例えば、ユーザの属性は、病名や、疾患のある部位の名称等を含むことができる。または、複数の患者のリハビリのプログラムが記憶装置１２に記憶されている場合、演算回路１１は、オペレータの操作にしたがって、対象の患者であるユーザのプログラムを読み出しても良い。
【0033】
演算回路１１は、オペレータの操作に従って、入力装置１３を介して、ユーザの目的地を受け付ける。また、演算回路１１は、受け付けた目的地を、記憶装置１２に記憶させる。
【0034】
演算回路１１は、通信回路１５を介して、ウェアラブル装置２０Ａから送信された現在地を受信する。また、演算回路１１は、受信した現在地を、記憶装置１２に記憶させる。
【0035】
演算回路１１は、記憶装置１２に記憶される空間情報Ｄ１を参照して、出発地から目的地まで移動可能な複数のルートをルートの候補として選択する。ルート候補の選択は、任意の条件に基づいて判断してよい。例えば、出発地から目的地までの移動可能な複数のルートのそれぞれの移動時間を算出し、移動時間の最も短いルートから順に３つのルートをルート候補として選択してよい。また、演算回路１１は、選択された複数のルートの候補から、ユーザの属性に応じて、ユーザに好適な１つのルートを選択する。すなわち、演算回路１１は、複数のルートの候補から、ユーザの属性で定められる条件に合致する１つのルートを「ユーザが選択すべきルート」として選択する。
【0036】
例えば、演算回路１１は、ユーザの属性から、リハビリ中であることが特定され、「所定の強度の運動が必要である」ことが条件とされるユーザには、複数のルートの候補から、この条件で求められる運動強度に最も近い運動強度となるルートを選択する。一方、運動が制限されるユーザには、演算回路１１は、複数のルートの候補から、運動強度が制限値よりも低いルートを選択する。具体的には、演算回路１１は、複数のルートの候補に対し、空間情報Ｄ１を参照して運動強度を求める。その後、演算回路１１は、各ルートの候補から、ユーザの条件に最適なルートを選択する。また、それぞれのルートにかかる空間情報Ｄ１が、「運動強度の強いルート」や「運動強度の弱いルート」などの情報をあらかじめ有していてもよい。その場合、演算回路１１は、各ルートにかかる空間情報Ｄ１の情報を参照し、当該情報に基づいて、ユーザが移動することが望ましいルート（ユーザの行動が誘導されるべき周辺環境）を特定してよい。なお、一般的に、軽度のリハビリ中のユーザの場合、ある程度の広い空間において、ユーザがリハビリのためのルートを複数のルートの候補から自由に選択することができる。また、ユーザが生活習慣病の改善中の場合にも、ユーザは、ユーザ自身でルートを自由に選択して多く運動することが求められる。なお、リハビリ中のユーザに最適なルートの条件は、理学療法士などの指示に基づいて、演算回路１１に事前に設定されてもよい。例えば、ユーザの属性で示されるユーザの条件と、当該ユーザに最適とされる周辺環境との関係を示すデータは、予め記憶装置１２に記憶されていてもよい。また、当該データは、好ましい加工方法を関連付けていてもよい。
【0037】
演算回路１１は、ユーザが選択すべきと特定されたルートがユーザ自身に選択され易くなるように、すなわち、ユーザにとって魅力的なルートと映るように当該特定された周辺環境の一部を加工する加工方法を決定し、映像を加工する。具体的には、演算回路１１は、映像の加工において、ユーザが選択すべきと特定されたルートの運動強度が、実空間でルートを移動した際に要求されるよりも少なく表示されるように映像の一部を加工する。一般的に、ユーザは、身体に負担をかけたくないため、運動強度が低く見えるルートを選択する傾向がある。したがって、演算回路１１は、運動強度が高いためにユーザに選択されにくいルートがユーザの選択すべきルートとして特定されている場合、運動強度が低く見えるように（ユーザに選択され易い周辺環境となるように）映像を加工する。具体的には、演算回路１１は、坂道の傾斜が大きい場合、坂道の傾斜が小さく見えるように映像を加工してもよい。また、階段がある場合、演算回路１１は、出発地から目的地までの段が低く見えるように映像を加工してもよい。例えば、予め、「所定以上の傾斜であるとき、ユーザに魅力的であるとする」、「所定以上の傾斜であるとき、ユーザに選択されやすい」等の条件を定めていてもよい。なお、予め定められる傾斜は、ユーザに魅力的又は選択されやすい傾斜の初期値であって、ユーザの行動や好みによって変更され得る。
【0038】
例えば、図２Ａは、実空間を現実の尺度で示す図であるとする。図２Ａに示すように、現在地Ｄから目的地Ａまでのルートの候補として、階段のある第１のルートＲ１と、階段のない第２のルートＲ２とがあり、第１のルートＲ１が選択されたとする。一方、図２Ａに示すように階段がある場合、ユーザにとって階段のない第２のルートＲ２の方が、運動強度が低く見え、ユーザに選択され易いルートに見えるため、第２のルートを選ぶ傾向にある。したがって、階段の演算回路１１は、図２Ｂに示すように、出発地Ｄから目的地Ａまでの映像を段が低く見えるように加工してもよい。これにより、第１のルートＲ１の運動強度が低く見えることになり、ユーザは、第１のルートＲ１を選択する可能性が高くなる。その他、階段の段差の数が多い場合、演算回路１１は、映像に階段の段差の数を減らすような画像処理を行ってもよい。さらに、演算回路１１は、選択されなかったルートについては、ユーザに選択されやすくなるような画像処理をさらに継続する。すなわち、演算回路１１は、傾斜がさらに緩やかに見えるような画像処理をさらに行ってもよい。これにより、傾斜は、最初の画像処理よりもさらに緩やかに見えるように画像処理される。また、演算回路１１は、段の高さがさらに小さく見える画像処理を行ったり、階段の段差の数をさらに減らすような画像処理を行ってもよい。なお、坂道や階段等を調整した場合、ユーザがそれらの地点（加工された一部を有する周辺環境）に近づいた場合には、演算回路１１は、正確な尺度（当該加工前の一部を有する周辺環境）で表示されるように映像を再度加工して表示する。つまり、ユーザが緩やかな傾斜に加工された坂道に近づいたとき、演算回路１１は、これらの緩やかな傾斜に加工された坂道を加工前の傾斜に戻す再加工方法を決定し、その決定された再加工方法に従って、坂道が元の傾斜となるように映像を再加工して表示する。これは、誤った尺度での表示を続けた場合に事故が発生する恐れを防止するためである。
【0039】
例えば、演算回路１１は、画像の加工には、スマートフォンアプリのスナップチャットのランドマーカー等のフィルタ機能で利用される加工技術を利用してもよい。なお、これらの画像処理では、演算回路１１は、処理された部分をユーザに違和感なく表示するために、セマンテックセグメンテーションやインスタンスセグメンテーションにより、画像処理をピクセル単位で調整してもよい。セマンテックセグメンテーションとは、画像全体や一部の検出でなく、ピクセル（画素）単位でどのカテゴリに属するかのラベル付けを行う画像処理方法である。インスタンスセグメンテーションとは、同一の分類でラベル付けされたインスタンスについてピクセル単位で識別する画像処理方法である。例えば、処理された部分が歪んでる場合、セマンテックセグメンテーションによりピクセル単位で当該部分の画像処理を調整してよい。また、ユーザに違和感なく表示するために段差を変更するだけでは十分でない場合には、演算回路１１は、階段の先の床の部分の位置を段差の変更と合わせて低く見せるよう画像処理し、かつその変更に合わせ壁と床との境界部分についても、セマンテックセグメンテーションによりピクセル単位で調整してよい。そのほか、階段の段差が低くなるように加工する際には、演算回路１１は、階段の一つの段を複製して一番下に追加して段数を増やし、そのうえで階段の全ての段差を均一に低くする処理を行ってよい。反対に、階段の段差が高くなるように加工する際には、演算回路１１は、階段の一つの段を削除し、そのうえで階段の全ての段差を均一に高くする処理を行ってよい。なお、物体についてのラベル付け画像処理は、上述した通りピクセル単位で行うが、画像表示の際には、ピクセル単位の点群データからメッシュを自動生成して表示してもよい。
【0040】
他の例として、一般的に、ユーザは、明るく見えるルートを選択する傾向がある。つまり、明るく見えるルートは、ユーザの行動が当該明るく見えるルートに向けて誘導され易く、またユーザにとって魅力的に映る。したがって、演算回路１１は、選択を誘導するルートについては、映像の明度や彩度を調整してユーザに明るく見えるような画像処理を行ってもよい。さらに、演算回路１１は、選択されなかったルートについては、映像の明度や彩度を調整してユーザに暗く見えるような画像処理を行ってもよい。
【0041】
更に他の例として、ユーザは興味を持つ物体等があるルートを魅力的に感じて選択する傾向がある。したがって、演算回路１１は、ユーザが興味のある仮想の物体や拡張現実（ＡＲ）にかかる画像等、例えば、ユーザの嗜好に合わせた植物、彫刻、壁紙、家具等をルート上に配置するような画像処理を行ってもよい。また、例えば、ルート候補のうち一つのルートの空間情報Ｄ１に「10代の女性向けの店舗の情報」が含まれ、ユーザが「10代の女性」という属性を有する場合、演算回路１１は、当該空間情報Ｄ１を含むルートを「当該ユーザの行動を誘導すべきルート」として特定してもよい。そして、演算回路１１は、当該空間情報Ｄ１を含むルートの一部について、ユーザの行動が誘導されるように加工してもよい。このとき、演算回路１１は、ユーザの「10代の女性」という属性に応じて加工方法を決定してもよい。具体的には、当該ルートのみに10代の女性が好むキャラクターの仮想物体を表示させるように加工してもよい。これにより、全てのルートや周辺環境に関連するキャラクターなどの仮想物体を全て表示させる広告形態とは異なり、「ユーザの行動を誘導すべきルート」のみが目立つことになり、当該ルートへのユーザの行動を強く促すことができる。また、演算回路１１は、当該キャラクターの仮想物体を表示させた場合に、表示させた時点からユーザがそのルートを選択するまでの時間の長さや、ユーザが当該キャラクターを注視する時間の長さ等に基づいて、次回以降の仮想物体の表示方法を改善することもできる。
【0042】
その他の方法で映像を加工して、ルートの候補からユーザが選択すべきとして特定されたルートを、ユーザに提示してもよい。例えば、ルートを表示する画像において、選択されたルートにポジティブな情報を重畳したり、選択されないルートにネガティブな情報を重畳してもよい。一例として、ユーザの属性として、リハビリにおいて「必要な運動強度」を含むとする。この場合、演算回路１１は、各ルートの候補について、運動強度を計算によりそれぞれ算出して求め、各ルートの運動強度や、必要な運動強度とルートの運動強度との差分を表す数値やマークを含むように映像を加工してもよい。
【0043】
さらに、例えば、ルートの候補に、何らかの事情でユーザが誘導されるべきでないルートがあるとき、ユーザの行動が誘導されにくいように映像加工してもよい。例えば、工事中で道幅が狭くなっている等の状態でありユーザが別のルートを選択する方が好ましいルート等がありうる。例えば、誘導されるべきでないルートを狭く見えるように加工したり、暗く見えるように加工することで、ユーザが誘導されにくくなる。
【0044】
《ウェアラブル装置における処理》
図３に示すフローチャートを用いて、ウェアラブル装置２０Ａにおける一連の処理について説明する。なお、以下の処理は一例であり、可能な範囲で処理を並行して行っても良いし、処理の順序を入れ替えてもよい。
図３に示すフローチャートを用いて、ウェアラブル装置２０Ａにおける一連の処理について説明する。なお、以下の処理は一例であり、可能な範囲で処理を並行して行っても良いし、処理の順序を入れ替えてもよい。
【0045】
演算回路２１は、ＧＰＳ受信機２７を用いて、ウェアラブル装置２０Ａの位置を求めることで、ユーザの現在地を取得する（Ｓ００１）。演算回路２１は、ステップＳ００１で取得したユーザの現在地を、通信回路２６を介して画像処理装置１０Ａに送信する（Ｓ００２）。
【0046】
また、演算回路２１は、カメラ２８を用いて、ウェアラブル装置２０Ａの周辺環境の映像を取得する（Ｓ００３）。演算回路２１は、ステップＳ００３で取得した周辺環境の映像を、通信回路２６を介して画像処理装置１０Ａに送信する（Ｓ００４）。
【0047】
続いて、画像処理装置１０Ａで加工された映像を、通信回路２６を介して受信する（Ｓ００５）。演算回路２１は、ステップＳ００５で受信した映像を、ディスプレイ２４に表示させる（Ｓ００６）。
【0048】
その後も、演算回路２１は、定期的等の所定のタイミングで、ＧＰＳ受信機２７を用いて、ユーザの現在地を取得する（Ｓ００７）。演算回路２１は、ステップＳ００７で取得したユーザの現在地を、通信回路２６を介して画像処理装置１０Ａに送信する（Ｓ００８）。
【0049】
例えば、演算回路２１は、終了とされるまで、ステップＳ００３に戻り、ステップＳ００３～Ｓ００８の処理を繰り返す（Ｓ００９）。
【0050】
《画像処理装置における処理》
図４に示すフローチャートを用いて、画像処理装置１０Ａにおける画像処理について説明する。なお、以下の処理は一例であり、可能な範囲で処理を並行して行っても良いし、処理の順序を入れ替えてもよい。
図４に示すフローチャートを用いて、画像処理装置１０Ａにおける画像処理について説明する。なお、以下の処理は一例であり、可能な範囲で処理を並行して行っても良いし、処理の順序を入れ替えてもよい。
【0051】
演算回路１１は、入力装置１３を介して、ユーザの属性を受け付ける（Ｓ１０１）。
【0052】
演算回路１１は、入力装置１３を介して、目的地を受け付ける（Ｓ１０２）。
【0053】
演算回路１１は、通信回路１５を介して、ウェアラブル装置２０Ａから送信されたユーザの現在地を受信する（Ｓ１０３）。
【0054】
演算回路１１は、記憶装置１２に記憶される空間情報Ｄ１を参照し、ステップＳ１０３で受信したユーザの現在地から、ステップＳ１０２で受け付けた目的地まで移動する複数のルートの候補を選択する（Ｓ１０４）。
【0055】
演算回路１１は、ステップＳ１０４で生成した複数のルートの候補のなかから、ステップＳ１０１で受け付けたユーザの属性を条件として、この条件に合致する１つのルートを選択する（Ｓ１０５）。
【0056】
演算回路１１は、通信回路１５を介して、ウェアラブル装置２０Ａから送信されたウェアラブル装置２０Ａの周辺環境の映像を受信する（Ｓ１０６）。
【0057】
演算回路１１は、ステップＳ１０１で受け付けたユーザの属性に応じて、ステップＳ１０６で受信した周辺環境の映像に対し、ステップＳ１０５で選択されたルートがユーザに選択されるための加工方法を決定する（Ｓ１０７）。
【0058】
演算回路１１は、ステップＳ１０７で決定した加工方法に従って画像を加工する（Ｓ１０８）。
【0059】
演算回路１１は、ステップＳ１０８で加工された映像を、通信回路１５を介して、ウェアラブル装置２０Ａに送信する（Ｓ１０９）。
【0060】
その後も、演算回路１１は、通信回路１５を介して、ウェアラブル装置２０Ａから送信されたユーザの現在地を取得する（Ｓ１１０）。
【0061】
演算回路１１は、ユーザの現在地が、ステップＳ１０５で選択されたルート上にあるか否かを判定する（Ｓ１１１）。
【0062】
また、演算回路１１は、ユーザの現在地が、ステップＳ１０２で受け付けた目的地であるか否かを判定する（Ｓ１１２）。
【0063】
演算回路１１は、ユーザの現在地が、目的地となり処理を終了するまで（Ｓ１１２でＹＥＳ）、ステップＳ１０６に戻り、ステップＳ１０６～Ｓ１１２の処理を繰り返す。ここで、例えば、ステップＳ１１０で取得された現在地が、ステップＳ１０５で選択されたルート上にない場合、ステップＳ１０７において、演算回路１１は、再度、ユーザが選択すべきと特定されたルートがユーザに選択されるように、映像の加工方法を実行する。一方、ステップＳ１１０で取得された現在地が、ステップＳ１０５で選択されたルート上にある場合、ステップＳ１０７において、演算回路１１は、例えば、ユーザが選択されたルートを安全に歩行できるように、画像の加工方法を決定する。
【0064】
このように、画像処理システム１Ａでは、画像処理装置１０Ａは、ユーザに設定される条件を用いて、ユーザが現在地から目的地まで移動する際のユーザにとって好ましいルートを選択する。また、画像処理装置１０Ａは、選択されたルートが、ユーザにとって魅力的に見えるように表示されるように、映像の画像処理を行ない、ウェアラブル装置２０Ａに送信する。ウェアラブル装置２０Ａは、画像処理装置１０Ａから送信された映像を受信し、ディスプレイ２４に表示することができる。これにより、画像処理システム１Ａでは、映像を観たユーザは、自然にユーザにとって好ましいルートを選択しやすくなる。
【0065】
《他の適用例》
上述した実施形態では、画像処理システム１Ａが、リハビリにおいて利用される一例で説明した。しかしながら、画像処理システム１Ａは、その他の様々な場面で利用することができる。例えば、ユーザは、地図上で指定する目的地まで移動する際にルートを検索する場面で画像処理システム１Ａを利用してもよい。
上述した実施形態では、画像処理システム１Ａが、リハビリにおいて利用される一例で説明した。しかしながら、画像処理システム１Ａは、その他の様々な場面で利用することができる。例えば、ユーザは、地図上で指定する目的地まで移動する際にルートを検索する場面で画像処理システム１Ａを利用してもよい。
【0066】
（ユーザの消費カロリーの管理）
例えば、ユーザの属性は、ユーザが「減量する必要があること」や「食事習慣の改善が望ましいこと」及び、ユーザの目標の「消費カロリー」を含むとする。この場合、演算回路１１は、複数のルートの候補から、目標の消費カロリーに最も近い運動量となるルートを選択する。また、空間情報Ｄ１で飲食店等の情報を含み、ルートの候補に、ユーザが過去に利用したことのある複数の飲食店等が存在する場合、演算回路１１は、その情報を考慮してもよい。具体的には、例えば、演算回路１１は、ユーザが過去に利用したことのある飲食店等を利用する場合の一般的な摂取カロリーについてスコアを設け、スコアの合計の昇順で、ルートを選択してもよい。また、演算回路１１は、選択されたルート又は選択されないルートに対し、それらの飲食店で飲食する場合の摂取カロリー等の情報目視可能に含む映像を生成してもよい。
例えば、ユーザの属性は、ユーザが「減量する必要があること」や「食事習慣の改善が望ましいこと」及び、ユーザの目標の「消費カロリー」を含むとする。この場合、演算回路１１は、複数のルートの候補から、目標の消費カロリーに最も近い運動量となるルートを選択する。また、空間情報Ｄ１で飲食店等の情報を含み、ルートの候補に、ユーザが過去に利用したことのある複数の飲食店等が存在する場合、演算回路１１は、その情報を考慮してもよい。具体的には、例えば、演算回路１１は、ユーザが過去に利用したことのある飲食店等を利用する場合の一般的な摂取カロリーについてスコアを設け、スコアの合計の昇順で、ルートを選択してもよい。また、演算回路１１は、選択されたルート又は選択されないルートに対し、それらの飲食店で飲食する場合の摂取カロリー等の情報目視可能に含む映像を生成してもよい。
【0067】
（ユーザの嗜好に合わせた表示）
また上述した例では、画像処理システム１Ａは、移動するユーザの実際の位置をＧＰＳ受信機２７で取得し、空間情報Ｄ１で示される実際の三次元空間に合わせてルートを選択している。また、画像処理システム１Ａが加工する映像は、ユーザの現在の周辺環境の映像である。これに対し、画像処理システム１Ａは、カメラ２８を備えることは必須ではない。ユーザの属性として、ユーザの嗜好を含み、思考に応じて表示される予め異なる複数の映像や加工方法が関連付けられて記憶装置１２に記憶される場合、画像処理システム１Ａは、ユーザの嗜好に応じた映像を表示させることができる。演算回路１１は、加工方法の決定において、ユーザの嗜好に関連付けられる状態を選択し、映像の加工において、選択された状態に映像を加工する。これにより、ユーザの嗜好に合わせた広告等を三次元空間内に含む映像を加工することができる。また例えば、ユーザが入力装置２３を介して仮想空間内で移動するアバターのルートをユーザの嗜好に合わせて加工することができる。さらに、ユーザの手で自ら入力装置２３を操作する場合だけに限られず、入力装置２３が脳侵襲デバイスである場合には、ユーザの脳での思考に応じて加工することもあり得る。したがって、画像処理システム１Ａは、複合現実や拡張現実に加え、仮想現実（ＶＲ）でもルートを選択し、映像を加工することができる。なお、仮想現実の場合には、ＧＰＳ受信機２７によって特定される位置ではなく、ユーザの操作によって特定される位置に基づいてルートが選択される。
また上述した例では、画像処理システム１Ａは、移動するユーザの実際の位置をＧＰＳ受信機２７で取得し、空間情報Ｄ１で示される実際の三次元空間に合わせてルートを選択している。また、画像処理システム１Ａが加工する映像は、ユーザの現在の周辺環境の映像である。これに対し、画像処理システム１Ａは、カメラ２８を備えることは必須ではない。ユーザの属性として、ユーザの嗜好を含み、思考に応じて表示される予め異なる複数の映像や加工方法が関連付けられて記憶装置１２に記憶される場合、画像処理システム１Ａは、ユーザの嗜好に応じた映像を表示させることができる。演算回路１１は、加工方法の決定において、ユーザの嗜好に関連付けられる状態を選択し、映像の加工において、選択された状態に映像を加工する。これにより、ユーザの嗜好に合わせた広告等を三次元空間内に含む映像を加工することができる。また例えば、ユーザが入力装置２３を介して仮想空間内で移動するアバターのルートをユーザの嗜好に合わせて加工することができる。さらに、ユーザの手で自ら入力装置２３を操作する場合だけに限られず、入力装置２３が脳侵襲デバイスである場合には、ユーザの脳での思考に応じて加工することもあり得る。したがって、画像処理システム１Ａは、複合現実や拡張現実に加え、仮想現実（ＶＲ）でもルートを選択し、映像を加工することができる。なお、仮想現実の場合には、ＧＰＳ受信機２７によって特定される位置ではなく、ユーザの操作によって特定される位置に基づいてルートが選択される。
【0068】
［第２実施形態：モビリティデバイスのルートを誘導する際の画像処理］
〈画像処理システム〉
第１実施形態に係る画像処理システム１Ａは、ユーザの属性に応じて、ユーザの行動を誘導するように画像を処理する一例で説明した。これに対し、図５に示す第２実施形態に係る画像処理システム１Ｂは、ユーザの属性以外の条件に応じて、ユーザの行動を誘導するように画像を処理する。画像処理システム１Ｂは、図５に示すように、画像処理装置１０Ｂと、表示装置２０Ｂとがネットワーク３０を介して接続される。画像処理装置１０Ｂの演算回路１１は、周辺環境の映像を取得し、モビリティデバイスが移動可能な移動ルートに関する環境を示す環境条件を取得し、環境条件と、記憶装置１２に記憶される複数のルートの状態を比較して、モビリティデバイスの移動に好ましい移動ルートを選択し、選択された移動ルートでの移動を促すように映像の一部を加工し、加工された映像を表示装置２０Ｂのディスプレイ２４に表示させる。これにより、表示装置２０Ｂを利用してモビリティデバイスを運転するユーザは、自然に、選択された好ましいルートで移動することができる。
〈画像処理システム〉
第１実施形態に係る画像処理システム１Ａは、ユーザの属性に応じて、ユーザの行動を誘導するように画像を処理する一例で説明した。これに対し、図５に示す第２実施形態に係る画像処理システム１Ｂは、ユーザの属性以外の条件に応じて、ユーザの行動を誘導するように画像を処理する。画像処理システム１Ｂは、図５に示すように、画像処理装置１０Ｂと、表示装置２０Ｂとがネットワーク３０を介して接続される。画像処理装置１０Ｂの演算回路１１は、周辺環境の映像を取得し、モビリティデバイスが移動可能な移動ルートに関する環境を示す環境条件を取得し、環境条件と、記憶装置１２に記憶される複数のルートの状態を比較して、モビリティデバイスの移動に好ましい移動ルートを選択し、選択された移動ルートでの移動を促すように映像の一部を加工し、加工された映像を表示装置２０Ｂのディスプレイ２４に表示させる。これにより、表示装置２０Ｂを利用してモビリティデバイスを運転するユーザは、自然に、選択された好ましいルートで移動することができる。
【0069】
例えば、第２実施形態で説明するモビリティデバイスは、自動車であったり、電動車椅子、ドローン等の移動体であり得る。以下では、モビリティデバイスが自動車である一例で説明する。また、第２実施形態で説明する好ましいルートは、「環境に配慮したルート」であり得る。環境に配慮されたルートは、「エコなルート」とも表される。ユーザは、映像に従ってこのような環境に配慮されたルートを自然に選択することで、温室効果ガスの排出量を削減することができる。
【0070】
図５では、画像処理システム１Ｂは、画像処理装置１０Ｂと、表示装置２０Ｂと、これらを接続するネットワーク３０を含む一例で説明するが、これに限定されない。例えば、画像処理装置１０Ｂと、表示装置２０Ｂとが一体化されていてもよい。
【0071】
《表示装置》
表示装置２０Ｂは、例えば、モビリティデバイスに設置される。図５に示すように、表示装置２０Ｂも、図１を用いて上述したウェアラブル装置２０Ａと同様に、演算回路２１、記憶装置２２、入力装置２３、ディスプレイ２４、スピーカ２５、通信回路２６、ＧＰＳ受信機２７及びカメラ２８等を備える。
表示装置２０Ｂは、例えば、モビリティデバイスに設置される。図５に示すように、表示装置２０Ｂも、図１を用いて上述したウェアラブル装置２０Ａと同様に、演算回路２１、記憶装置２２、入力装置２３、ディスプレイ２４、スピーカ２５、通信回路２６、ＧＰＳ受信機２７及びカメラ２８等を備える。
【0072】
なお、表示装置２０Ｂのディスプレイ２４は、自動車のフロントウィンドウがディスプレイとして機能していてもよいし、カーナビゲーションシステムのディスプレイであってもよい。
【0073】
ＧＰＳ受信機２７は、モビリティデバイスに備えられる、モビリティデバイスの位置を算出する。これにより、演算回路２１は、モビリティデバイスを利用するユーザの位置を取得することができる。
【0074】
カメラ２８は、例えば、モビリティデバイスの運転手となるユーザの視点でモビリティデバイスの周辺環境の映像を撮影する。
【0075】
演算回路２１は、所定のタイミングで、ＧＰＳ受信機２７を介して、表示装置２０Ｂの現在地を取得する。演算回路２１は、例えば、モビリティデバイスの移動の開始のタイミングで現在地を取得してもよいし、その後の移動が終了するまでの定期的なタイミングで現在地を取得してもよいし、現在地を逐次取得してもよい。また、演算回路２１は、取得した現在地を、通信回路２６を介して画像処理装置１０Ｂに送信する。
【0076】
演算回路２１は、モビリティデバイスの利用が開始されると、カメラ２８によって、周辺環境の映像を取得する。また、演算回路２１は、取得した映像を、通信回路２６を介して画像処理装置１０Ｂに送信する。なお、仮に、カメラ２８によって取得される映像が画像処理装置１０Ｂで利用されない場合、映像の送信は必須ではない。また、カメラ２８で撮影される映像が画像処理装置１０Ｂで利用されない場合、カメラ２８による撮影は必須ではなく、また、カメラ２８自体も必須ではない。
【0077】
また、例えば、表示装置２０Ｂがカーナビゲーションシステムに一体化される場合、演算回路２１には、入力装置２３を介してモビリティデバイスの目的地が入力され得る。このとき、演算回路２１は、入力された目的地を、通信回路２６を介して画像処理装置１０Ｂに送信する。
【0078】
演算回路２１は、通信回路２６を介して、画像処理装置１０Ｂから映像を受信する。また、演算回路２１は、受信した映像をディスプレイ２４に表示する。ここで、映像は、カメラ２８で撮影された周辺環境の映像に、モビリティデバイスが利用するルートの状況やモビリティデバイスとルートとの相互作用等に応じて、ユーザが、好ましいルートで移動するように一部の情報が加工された信号である。
【0079】
《画像処理装置》
画像処理装置１０Ｂは、例えば、モビリティデバイスに設置される。図５に示すように、画像処理装置１０Ｂも、図１を用いて上述した画像処理装置１０Ａと同様に、演算回路１１、記憶装置１２、入力装置１３、出力装置１４及び通信回路１５を備えることができる。
画像処理装置１０Ｂは、例えば、モビリティデバイスに設置される。図５に示すように、画像処理装置１０Ｂも、図１を用いて上述した画像処理装置１０Ａと同様に、演算回路１１、記憶装置１２、入力装置１３、出力装置１４及び通信回路１５を備えることができる。
【0080】
画像処理装置１０Ｂの記憶装置１２は、空間情報Ｄ１に加え、予め、環境情報Ｄ２を記憶することができる。環境情報Ｄ２は、モビリティデバイスの移動の対象となる空間の環境を示す情報である。例えば、環境情報Ｄ２は、道路の舗装の種別（アスファルト、砂利、コンクリート、土等）、風速、風向、及び／又は雨量を含むことができる。ここで環境情報Ｄ２は、風速、風向及び／又は雨量として、現在値だけではなく、将来の予測値を含むこともできる。また、環境情報Ｄ２は、道路の勾配に関する情報、道路の渋滞に関する情報、工事や事故等に基づく道路の通行止めに関する情報も含むことができる。なお、環境情報Ｄ２は逐次更新され得る。
【0081】
演算回路１１は、オペレータの操作に従って、入力装置１３を介して、モビリティデバイスの属性を受け付ける。または、演算回路１１は、通信回路１５を介して、表示装置２０Ｂから送信されたモビリティデバイスの属性を受信する。演算回路１１は、受け付けたモビリティデバイスの属性を、記憶装置１２に記憶させる。例えば、モビリティデバイスの属性は、モビリティデバイスの重量やサイズ、モビリティデバイスが有するタイヤの材質、性質及び／又は使用年数等を含むことができる。
【0082】
演算回路１１は、通信回路１５を介して、ウェアラブル装置２０Ａから送信された現在地を受信する。また、演算回路１１は、受信した現在地を、記憶装置１２に記憶させる。
【0083】
演算回路１１は、記憶装置１２に記憶される空間情報Ｄ１を参照して、出発地から目的地まで移動可能な複数のルートの候補として選択する。また、演算回路１１は、環境条件を取得する。具体的には、演算回路１１は、記憶装置１２に記憶される環境情報Ｄ２から、選択した複数のルートの候補に関する情報を、環境条件として抽出する。さらに、演算回路１１は、取得した環境条件及びモビリティデバイスの属性に応じて、予め定められる条件に合致する１つのルートを選択する。ここで予め定められる条件は、上述したような「環境に配慮したルート」である。
【0084】
例えば、演算回路１１は、選択された複数のルートの距離に加え、道路の舗装やモビリティデバイスのタイヤと関連付けられる摩擦係数、道路の勾配、モビリティデバイスの重量等に応じて、モビリティデバイスでの消費エネルギーを求める。このとき、演算回路１１は、各ルートの材質（例えば、アスファルト、コンクリート、砂利等）、雨量、積雪、気温に応じた雪解けの状況等を考慮して消費エネルギーを調整してもよい。具体的には、演算回路１１は、向かい風の場合には、消費エネルギーが増加され、追い風の場合には、消費エネルギーが低減されるように調整してもよい。その他、演算回路１１は、雨の場合には、道路とタイヤとの摩擦が低くなり、消費エネルギーが低減するように調整してもよい。また、演算回路１１は、これらの設定や調整に基づいて、選択された複数のルートごとに消費エネルギーを算出してもよい。そして、演算回路１１は、最も消費エネルギーの少ないルートを「環境に配慮したルート」と決定してよい。なお、例えば、タイヤと関連付けられる摩擦係数としては、タイヤのホイールの質量や半径ならびに道路の形状等に応じた、摩擦係数、動摩擦係数および静止摩擦係数を用いて、物理マテリアルの摩擦モデルに基づいてタイヤの動き（消費エネルギー）を算出してよい。
【0085】
演算回路１１は、例えば、「環境に配慮したルート」がユーザ自身に選択されるように画像処理を行って、映像を生成する。例えば、演算回路１１は、選択を誘導するルートについては、映像の明度や彩度を調整してユーザに明るく見えるように加工してもよい。さらに、演算回路１１は、選択させないようにしたルートについては、映像の明度や彩度を調整してユーザに暗く見えるように加工してもよい。一般に、ユーザは、明るく見えるルートを選択しやすいためである。また、各ルートに、移動に要する消費エネルギーを数値やマーク等の情報を重畳して加工してもよい。なお、例えば、表示装置２０Ｂのディスプレイ２４がカーナビゲーションシステムのディスプレイである場合、演算回路１１が生成する映像は、カーナビゲーションシステムのディスプレイに表示される地図に情報を追加した画像であり得る。
【0086】
《表示装置における処理》
表示装置２０Ｂにおける処理は、図３に示すフローチャートを用いて、上述したウェアラブル装置２０Ａにおける一連の処理と同一であるため、説明を省略する。
表示装置２０Ｂにおける処理は、図３に示すフローチャートを用いて、上述したウェアラブル装置２０Ａにおける一連の処理と同一であるため、説明を省略する。
【0087】
《画像処理装置における処理》
図６に示すフローチャートを用いて、画像処理装置１０Ｂにおける画像処理について説明する。なお、以下の処理は一例であり、可能な範囲で処理を並行して行っても良いし、処理の順序を入れ替えてもよい。
図６に示すフローチャートを用いて、画像処理装置１０Ｂにおける画像処理について説明する。なお、以下の処理は一例であり、可能な範囲で処理を並行して行っても良いし、処理の順序を入れ替えてもよい。
【0088】
演算回路１１は、入力装置１３を介して、モビリティデバイスの属性を受け付ける（Ｓ２０１）。
【0089】
演算回路１１は、入力装置１３を介して、又は、通信回路１５を介して、目的地を受け付ける（Ｓ２０２）。
【0090】
演算回路１１は、通信回路１５を介して、表示装置２０Ｂから送信されたモビリティデバイスの現在地を受信する（Ｓ２０３）。
【0091】
演算回路１１は、記憶装置１２に記憶される空間情報Ｄ１を参照し、ステップＳ２０３で受信したモビリティデバイスの現在地から、ステップＳ２０２で受け付けた目的地まで移動する複数のルートの候補を選択する（Ｓ２０４）。
【0092】
演算回路１１は、記憶装置１２に記憶される環境情報Ｄ２から、ステップＳ２０４で選択されたルートの候補に関する情報を抽出することで、環境条件を取得する（Ｓ２０５）。
【0093】
演算回路１１は、ステップＳ２０５取得された環境条件及びステップＳ２０１で受け付けたモビリティデバイスの属性に応じて、予め定められる条件に合致する１つのルートを選択する（Ｓ２０６）。
【0094】
演算回路１１は、通信回路１５を介して、表示装置２０Ｂから送信された表示装置２０Ｂの周辺環境の映像を受信する（Ｓ２０７）。
【0095】
演算回路１１は、ステップＳ２０７で受信した周辺環境の映像を、所定のルールで加工する（Ｓ２０８）。例えば、演算回路１１は、ステップＳ２０６で選択されたルートがユーザに選択されるように映像を加工する。なお、ここで加工する映像は、ステップＳ２０７で受信した映像ではなく、記憶装置１２に予め記憶される地図を示す映像であってもよい。
【0096】
演算回路１１は、ステップＳ２０８で加工した映像を、通信回路１５を介して、表示装置２０Ｂに送信する（Ｓ２０９）。
【0097】
その後も、演算回路１１は、通信回路１５を介して、表示装置２０Ｂから送信されたモビリティデバイスの現在地を取得する（Ｓ２１０）。
【0098】
演算回路１１は、モビリティデバイスの現在地が、ステップＳ２０６で選択されたルート上にあるか否かを判定する（Ｓ２１１）。
【0099】
また、演算回路１１は、モビリティデバイスの現在地が、ステップＳ２０２で受け付けた目的地であるか否かを判定する（Ｓ２１２）。
【0100】
演算回路１１は、モビリティデバイスの現在地が、目的地となるまで（Ｓ２１２でＹＥＳ）、ステップＳ２０７に戻り、ステップＳ２０７～Ｓ２１２の処理を繰り返す。
【0101】
このように、画像処理システム１Ｂでは、画像処理装置１０Ｂは、環境情報、モビリティデバイスの属性、及び、予め定められる条件を用いて、モビリティデバイスが現在地から目的地まで移動する際に好ましいルートを選択する。また、画像処理装置１０Ｂは、選択されたルートが、ユーザにとって魅力的に見えるように表示されるように、映像を加工し、表示装置２０Ｂに送信する。表示装置２０Ｂは、画像処理装置１０Ｂから送信された加工された映像を受信し、ディスプレイ２４に表示することができる。これにより、画像処理システム１Ｂでは、加工された映像を観たユーザは、自然にユーザにとって好ましいルートを選択しやすくなる。
【0102】
《他の適用例》
上述した実施形態では、画像処理システム１Ｂが、現在地から目的地までの環境に配慮したルートを提示する一例で説明した。しかしながら、画像処理システム１Ｂは、その他の様々な場面で利用することができる。例えば、ユーザは、地図を利用するルート検索において、画像処理システム１Ａを利用してもよい。
上述した実施形態では、画像処理システム１Ｂが、現在地から目的地までの環境に配慮したルートを提示する一例で説明した。しかしながら、画像処理システム１Ｂは、その他の様々な場面で利用することができる。例えば、ユーザは、地図を利用するルート検索において、画像処理システム１Ａを利用してもよい。
【0103】
また、演算回路１１は、複数のルートの中に、犯罪発生率が高い場所や事故発生率が高い場所が含まれるルートがあるとき、そのような危険なルートは選択しないように映像を加工してもよい。例えば、演算回路１１は、選択されたルートと危険なルートとの明度や彩度を調整するように加工してもよい。また、例えば、危険なルートには、「スリ多発 注意」、「事故多発 注意」等の記載される仮想の看板等を表示するように加工してもよい。
【0104】
さらに、画像処理システム１Ｂにおいても、記憶装置１２において、環境や予め複数の映像が記憶され、ユーザの操作によって特定される位置を使用する場合、複合現実及び拡張現実に加え、仮想現実でもルートを選択し、映像を加工することができる。
【0105】
［第３実施形態：人間の姿勢を改善する際の画像処理］
〈画像処理システム〉
第１実施形態及び第２実施形態で説明した画像処理システム１Ａ、１Ｂは、現在地から目的地までのルートを検索し、好ましいルートが選択されるように画像処理する一例で説明した。これに対し、図７に示す第３実施形態に係る画像処理システム１Ｃは、ディスプレイを利用するユーザの姿勢が好ましい状態ではない場合に改善させるシステムである。このとき、ユーザは、パーソナルコンピュータ等に接続されるディスプレイを利用していてもよい。または、ユーザはディスプレイを有するヘッドマウントディスプレイやゴーグル等のウェアラブル装置を装着していてもよい。以下では、ユーザが、ヘッドマウントディスプレイ等のユーザの頭に装着するウェアラブル装置２０Ｃである一例で説明する。したがって、画像処理システム１Ｃは、画像処理装置１０Ｃから送信された映像をウェアラブル装置２０Ｃで表示するシステムであって、その際のユーザの姿勢を改善する例で説明する。画像処理装置１０Ｃの演算回路１１は、予め定められる理想的な姿勢と、ユーザの姿勢情報とを比較して、ユーザの姿勢の改善の要否を判定し、ユーザの姿勢の改善の必要があるとき、映像の加工において、ユーザに姿勢の修正を促すように映像の一部を加工する。
〈画像処理システム〉
第１実施形態及び第２実施形態で説明した画像処理システム１Ａ、１Ｂは、現在地から目的地までのルートを検索し、好ましいルートが選択されるように画像処理する一例で説明した。これに対し、図７に示す第３実施形態に係る画像処理システム１Ｃは、ディスプレイを利用するユーザの姿勢が好ましい状態ではない場合に改善させるシステムである。このとき、ユーザは、パーソナルコンピュータ等に接続されるディスプレイを利用していてもよい。または、ユーザはディスプレイを有するヘッドマウントディスプレイやゴーグル等のウェアラブル装置を装着していてもよい。以下では、ユーザが、ヘッドマウントディスプレイ等のユーザの頭に装着するウェアラブル装置２０Ｃである一例で説明する。したがって、画像処理システム１Ｃは、画像処理装置１０Ｃから送信された映像をウェアラブル装置２０Ｃで表示するシステムであって、その際のユーザの姿勢を改善する例で説明する。画像処理装置１０Ｃの演算回路１１は、予め定められる理想的な姿勢と、ユーザの姿勢情報とを比較して、ユーザの姿勢の改善の要否を判定し、ユーザの姿勢の改善の必要があるとき、映像の加工において、ユーザに姿勢の修正を促すように映像の一部を加工する。
【0106】
図７では、画像処理システム１Ｃは、画像処理装置１０Ｃと、ウェアラブル装置２０Ｃと、これらを接続するネットワーク３０を含む一例で説明するが、これに限定されない。例えば、画像処理装置１０Ｃと、ウェアラブル装置２０Ｃとが一体化されていてもよい。
【0107】
《表示装置》
図７に示すように、ウェアラブル装置２０Ｃも、図１を用いて上述したウェアラブル装置２０Ａと比較して、演算回路２１、記憶装置２２、入力装置２３、ディスプレイ２４、スピーカ２５、通信回路２６を備える点で同一である。一方、ウェアラブル装置２０Ｃは、ＧＰＳ受信機２７及びカメラ２８の代わりに、センサ２９を備える。
図７に示すように、ウェアラブル装置２０Ｃも、図１を用いて上述したウェアラブル装置２０Ａと比較して、演算回路２１、記憶装置２２、入力装置２３、ディスプレイ２４、スピーカ２５、通信回路２６を備える点で同一である。一方、ウェアラブル装置２０Ｃは、ＧＰＳ受信機２７及びカメラ２８の代わりに、センサ２９を備える。
【0108】
センサ２９は、ユーザの姿勢を検出する。具体的には、センサ２９は、例えば、ジャイロセンサであって、ウェアラブル装置２０Ｃの傾きを検出することができる。センサ２９によって検出されたウェアラブル装置２０Ｃの傾きを用いて、ウェアラブル装置２０Ｃを装着するユーザの姿勢を示す情報を求めることができる。
【0109】
演算回路２１は、センサ２９の検出結果を取得すると、取得した検出結果を用いて、ユーザの姿勢を示す情報（例えば、背骨の傾きを表す角度）を求める。また、演算回路２１は、通信回路２６を介して、求めた姿勢を示す情報を画像処理装置１０Ｃに送信する。ここで、演算回路２１は、定期的なタイミングでセンサ２９から検出結果を取得してもよいし、センサ２９の検出結果を逐次取得してもよい。
【0110】
演算回路２１は、通信回路２６を介して、画像処理装置１０Ｃから送信された映像を受信する。また、演算回路２１は、受信した映像をディスプレイ２４に表示させる。
【0111】
《画像処理装置》
図７に示すように、画像処理装置１０Ｃも、図１を用いて上述した画像処理装置１０Ａと同様に、演算回路１１、記憶装置１２、入力装置１３、出力装置１４及び通信回路１５を備えることができる。なお、図７に示すように、画像処理装置１０Ｃの記憶装置１２は、空間情報Ｄ１を記憶せず、ウェアラブル装置２０Ｃのディスプレイ２４に表示させる映像情報Ｄ３を記憶する点で画像処理装置１０Ａの記憶装置１２と異なる。ここで、映像情報Ｄ３の内容は、限定されない。例えば、映像情報Ｄ３は、映画等の映像である。また、映像情報Ｄ３は、ウェアラブル装置２０Ｃからの操作に応じてストーリーが変更されるゲーム等の映像である。
図７に示すように、画像処理装置１０Ｃも、図１を用いて上述した画像処理装置１０Ａと同様に、演算回路１１、記憶装置１２、入力装置１３、出力装置１４及び通信回路１５を備えることができる。なお、図７に示すように、画像処理装置１０Ｃの記憶装置１２は、空間情報Ｄ１を記憶せず、ウェアラブル装置２０Ｃのディスプレイ２４に表示させる映像情報Ｄ３を記憶する点で画像処理装置１０Ａの記憶装置１２と異なる。ここで、映像情報Ｄ３の内容は、限定されない。例えば、映像情報Ｄ３は、映画等の映像である。また、映像情報Ｄ３は、ウェアラブル装置２０Ｃからの操作に応じてストーリーが変更されるゲーム等の映像である。
【0112】
演算回路１１は、通信回路１５を介して、ウェアラブル装置２０Ｃから送信されたユーザの姿勢を示す情報を受信する。
【0113】
演算回路１１は、ウェアラブル装置２０Ｃから受信したユーザの姿勢を示す情報を用いて、ウェアラブル装置２０Ｃのディスプレイ２４に表示する映像を加工する加工方法を決定し、決定した方法で映像を加工する。例えば、記憶装置１２において、矯正が必要な姿勢を示す角度の閾値の範囲と、その場合の画像を加工方法との関係を示すテーブルを記憶していてもよい。または、記憶装置１２において、矯正が必要な姿勢を示す角度とその補正方法との関係を示す数式を記憶していてもよい。
【0114】
例えば、ユーザが、垂直軸に対して前方に５度傾いている場合、演算回路１１は、ディスプレイに表示する映像を、現在のユーザの傾きより極端に傾いた状態（例えば、垂直軸に対して前方に１０度傾いた状態）となるように加工する。これにより、ディスプレイ２４に映される映像が見にくくなることで、ユーザに自然な姿勢の改善を誘導することができる。また、映像を傾いた状態に加工して表示した後にもユーザの姿勢が変更されない場合、演算回路１１は、更に極端に傾いた状態（例えば、垂直軸に対して１５度傾いた状態）となるように加工してもよい。なお、映像を加工した後にユーザの姿勢が変更された場合には、演算回路１１は、映像を正しい状態に戻してもよい。
【0115】
または、演算回路１１は、ユーザの姿勢に合わせて、ユーザの姿勢を改善するように、映像のフレームの一部を明るく調整したり暗く調整してもよい。例えば、ユーザが猫背である場合、フレームの上の方を明るくするように調整してもよい。
【0116】
《ウェアラブル装置における処理》
図８に示すフローチャートを用いて、ウェアラブル装置２０Ｃにおける一連の処理について説明する。なお、以下の処理は一例であり、可能な範囲で処理を並行して行っても良いし、処理の順序を入れ替えてもよい。
図８に示すフローチャートを用いて、ウェアラブル装置２０Ｃにおける一連の処理について説明する。なお、以下の処理は一例であり、可能な範囲で処理を並行して行っても良いし、処理の順序を入れ替えてもよい。
【0117】
演算回路２１は、センサ２９の検出結果を用いて、ユーザの姿勢情報を取得する（Ｓ３０１）。演算回路２１は、ステップＳ３０１で取得したユーザの姿勢情報を、通信回路２６を介して画像処理装置１０Ｃに送信する（Ｓ３０２）。
【0118】
続いて、通信回路２６を介して、画像処理装置１０Ｃから映像を受信する（Ｓ３０３）。演算回路２１は、ステップＳ３０３で受信した映像を、ディスプレイ２４に表示させる（Ｓ３０４）。ここで、ステップＳ３０２で送信した姿勢情報で示されるユーザの傾きに応じて、映像は加工されている可能性がある。
【0119】
その後も、演算回路２１は、定期的等の所定のタイミングで、センサ２９の検出結果を用いて、ユーザの姿勢情報を取得する（Ｓ３０５）。演算回路２１は、ステップＳ３０５で取得したユーザの姿勢情報を、通信回路２６を介して画像処理装置１０Ｃに送信する（Ｓ３０６）。
【0120】
例えば、演算回路２１は、終了とされるまで、ステップＳ３０３に戻り、ステップＳ３０３～Ｓ３０７の処理を繰り返す（Ｓ３０７）。
【0121】
《画像処理装置における処理》
図９に示すフローチャートを用いて、画像処理装置１０Ｃにおける画像処理について説明する。なお、以下の処理は一例であり、可能な範囲で処理を並行して行っても良いし、処理の順序を入れ替えてもよい。
図９に示すフローチャートを用いて、画像処理装置１０Ｃにおける画像処理について説明する。なお、以下の処理は一例であり、可能な範囲で処理を並行して行っても良いし、処理の順序を入れ替えてもよい。
【0122】
演算回路１１は、入力装置１３を介して、ユーザの姿勢情報を取得する（Ｓ４０１）。
【0123】
演算回路１１は、ステップＳ４０１で取得した姿勢情報に基づいて、ユーザが姿勢の改善が不要な好ましい姿勢であるか否かを判定する（Ｓ４０２）。
【0124】
ユーザが好ましい姿勢ではないとき（Ｓ４０２でＮＯ）、ステップＳ４０１で取得した姿勢情報に基づいて、演算回路１１は、映像の加工方法を決定する（Ｓ４０３）。具体的には、演算回路１１は、ユーザの姿勢に合わせて映像を傾けたり、映像の一部の明るさを調整するように加工する。
【0125】
演算回路１１は、ステップＳ４０３で決定した加工方法で、記憶装置１２に記憶される映像情報Ｄ３を加工する（Ｓ４０４）。
【0126】
演算回路１１は、ステップＳ４０４で加工された映像を、通信回路１５を介して、ウェアラブル装置２０Ｃに送信する（Ｓ４０５）。
【0127】
その後も、演算回路１１は、通信回路１５を介して、ウェアラブル装置２０Ｃから送信されたユーザの姿勢情報を取得する（Ｓ４０６）。
【0128】
演算回路１１は、目的地となり処理を終了するまで（Ｓ４０７でＹＥＳ）、ステップＳ４０２に戻り、ステップＳ４０２～Ｓ４０７の処理を繰り返す。
【0129】
このように、画像処理システム１Ｃでは、画像処理装置１０Ｃは、ウェアラブル装置２０Ｃから受信するユーザの姿勢情報から、ユーザが姿勢を改善する必要がある場合、姿勢を改善させるように映像を加工する。また、画像処理装置１０Ｃは、加工された映像をウェアラブル装置２０Ｃに送信する。ウェアラブル装置２０Ｃは、画像処理装置１０Ｃから送信された映像を受信し、ディスプレイ２４に表示することができる。これにより、画像処理システム１Ｃでは、ユーザの姿勢が傾いている場合には、傾きに合わせて加工された映像が表示されるため、ユーザは自然に姿勢を改善することができる。
【0130】
《他の姿勢検出例》
上述した実施形態では、画像処理システム１Ｃが、ウェアラブル装置２０Ｃに内蔵されるセンサを利用してユーザの姿勢情報を検出する一例で説明した。しかしながら、画像処理システム１Ｃの姿勢の検出方法はこれに限定されない。例えば、画像処理システム１Ｃは、ユーザの衣服等にセンサを取り付けて、ユーザの姿勢を検出してもよい。ユーザの背中にセンサを取り付けることで、ユーザの姿勢を正確に検出しやすくなる。または、画像処理システム１Ｃは、ユーザの画像等を取得してOpenPose等の技術を用いる画像処理を用いてユーザの姿勢を検出可能であってもよい。さらに、画像処理システム１Ｃは、光学トラッカ技術等を利用してユーザの姿勢を検出可能であってもよい。
上述した実施形態では、画像処理システム１Ｃが、ウェアラブル装置２０Ｃに内蔵されるセンサを利用してユーザの姿勢情報を検出する一例で説明した。しかしながら、画像処理システム１Ｃの姿勢の検出方法はこれに限定されない。例えば、画像処理システム１Ｃは、ユーザの衣服等にセンサを取り付けて、ユーザの姿勢を検出してもよい。ユーザの背中にセンサを取り付けることで、ユーザの姿勢を正確に検出しやすくなる。または、画像処理システム１Ｃは、ユーザの画像等を取得してOpenPose等の技術を用いる画像処理を用いてユーザの姿勢を検出可能であってもよい。さらに、画像処理システム１Ｃは、光学トラッカ技術等を利用してユーザの姿勢を検出可能であってもよい。
【0131】
［変形例］
《機械学習モデルの改善》
上述した各実施形態に係る画像処理システム１Ａ～１Ｃは、ユーザの行動を誘導する例で説明した。しかしながら、画像処理システム１Ａ～１Ｃは、人間であるユーザの行動を誘導するばかりでなく、映像を利用して教師あり機械学習を行って生成された機械学習モデルの改善に利用してもよい。例えば、所定の動作を繰り返す制御を行う機械学習モデルを利用するとき、画像処理システムの処理で生成された画像を学習に利用してもよい。例えば、学習により得られた画像からセマンティックセグメンテーションを用いて特定される物体名、領域の位置、領域のサイズ等をラベルとしてもちいることができる。また、画像処理システムは、教師あり学習に限定されず、教師なし学習を利用した機械学習モデルの改善に利用しうる。
《機械学習モデルの改善》
上述した各実施形態に係る画像処理システム１Ａ～１Ｃは、ユーザの行動を誘導する例で説明した。しかしながら、画像処理システム１Ａ～１Ｃは、人間であるユーザの行動を誘導するばかりでなく、映像を利用して教師あり機械学習を行って生成された機械学習モデルの改善に利用してもよい。例えば、所定の動作を繰り返す制御を行う機械学習モデルを利用するとき、画像処理システムの処理で生成された画像を学習に利用してもよい。例えば、学習により得られた画像からセマンティックセグメンテーションを用いて特定される物体名、領域の位置、領域のサイズ等をラベルとしてもちいることができる。また、画像処理システムは、教師あり学習に限定されず、教師なし学習を利用した機械学習モデルの改善に利用しうる。
【産業上の利用可能性】
【0132】
本開示は、映像を利用したユーザの行動の誘導に有用である。
【符号の説明】
【0133】
１Ａ,１Ｂ,１Ｃ 画像処理システム
１０Ａ,１０Ｂ,１０Ｃ 画像処理装置
１１ 演算回路
１２ 記憶装置
１３ 入力装置
１４ 出力装置
１５ 通信回路
Ｄ１ 空間情報
Ｄ２ 環境情報
Ｄ３ 映像情報
２０Ａ,２０Ｃ ウェアラブル装置
２０Ｂ 表示装置
２１ 演算回路
２２ 記憶装置
２３ 入力装置
２４ ディスプレイ
２５ スピーカ
２６ 通信回路
２７ ＧＰＳ受信機
２８ カメラ
２９ センサ
１０Ａ,１０Ｂ,１０Ｃ 画像処理装置
１１ 演算回路
１２ 記憶装置
１３ 入力装置
１４ 出力装置
１５ 通信回路
Ｄ１ 空間情報
Ｄ２ 環境情報
Ｄ３ 映像情報
２０Ａ,２０Ｃ ウェアラブル装置
２０Ｂ 表示装置
２１ 演算回路
２２ 記憶装置
２３ 入力装置
２４ ディスプレイ
２５ スピーカ
２６ 通信回路
２７ ＧＰＳ受信機
２８ カメラ
２９ センサ
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】