特許 7570867 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06F 3/048 20130101AFI20241015BHJP

【ＦＩ】

G06F3/048

【請求項の数】 11

(21)【出願番号】P 2020161332

(22)【出願日】2020-09-25

(65)【公開番号】P2022054254

(43)【公開日】2022-04-06

【審査請求日】2023-09-22

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】神野 敬行

【審査官】田中 洋行

(56)【参考文献】

【文献】特開２０１９－１０２０１８（ＪＰ，Ａ）

【文献】特開２００５－１２２７１９（ＪＰ，Ａ）

【文献】特開２０１８－０７７７０２（ＪＰ，Ａ）

【文献】特開２００８－２０６７４１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／００６２９２７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

対象データを取得する取得手段と、
前記対象データが物体の質感情報を有するか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記対象データに対応する画像を表示手段に表示する表示制御手段と、を有し、
前記表示制御手段は、前記判定手段が前記対象データが前記物体の質感情報を有すると判定した場合、前記対象データに対応する前記物体の、互いに異なるパラメータを用いたレンダリングにより生成される複数のフレームを含む動画像を前記表示手段に表示し、
前記表示制御手段は、前記判定手段が前記対象データが前記物体の質感情報を有さないと判定した場合、前記対象データに対応する前記物体の静止画像を前記表示手段に表示することを特徴とする画像処理装置。

【請求項2】

前記パラメータは、照明の方向、前記物体の向き、観察方向、観察距離、前記物体と照明との距離のうち少なくとも１つであることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記判定手段による判定結果に基づいて、前記動画像を表す動画像データ又は前記静止画像を表す静止画像データを生成する生成手段をさらに有し、
前記表示制御手段は、前記生成手段により生成された前記動画像データが表す前記動画像又は前記静止画像データが表す前記静止画像を前記表示手段に表示することを特徴とする請求項１又は請求項２に記載の画像処理装置。

【請求項4】

前記パラメータの変え方を設定する設定手段をさらに有し、
前記表示制御手段は、前記設定されたパラメータの変え方に基づいて、前記対象データに対応する前記動画像を前記表示手段に表示することを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。

【請求項5】

前記設定手段は、ユーザの指示に基づいて、時間軸に沿った前記パラメータの変え方を設定することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記設定手段は、開始指示から終了指示までの間に指示された、時間軸に沿った前記パラメータの変化を受け付けることを特徴とする請求項４又は請求項５に記載の画像処理装置。

【請求項7】

前記設定手段は、マウス又はユーザの指を用いたドラッグ操作による、前記パラメータの変化を示す指示を受け付けることを特徴とする請求項４乃至請求項６のいずれか一項に記載の画像処理装置。

【請求項8】

前記パラメータは、照明の方向であって、
前記複数のフレーム間で前記物体上のハイライトの位置が互いに異なるように、前記照明の方向を異ならせることを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。

【請求項9】

前記表示制御手段は、前記対象データに対応する複数の動画像を前記表示手段に表示する場合、前記複数の動画像の間で再生開始フレームとフレームレートとを同期させることを特徴とする請求項１乃至請求項８のいずれか一項に記載の画像処理装置。

【請求項10】

コンピュータを請求項１乃至請求項９のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

【請求項11】

対象データを取得する取得ステップと、
前記対象データが物体の質感情報を有するか否かを判定する判定ステップと、
前記判定ステップにおける判定結果に基づいて、前記対象データに対応する画像を表示手段に表示する表示制御ステップと、を有し、
前記表示制御ステップにおいて、前記判定ステップにおいて前記対象データが前記物体の質感情報を有すると判定された場合、前記対象データに対応する前記物体の、互いに異なるパラメータを用いたレンダリングにより生成される複数のフレームを含む動画像を前記表示手段に表示し、
前記表示制御ステップにおいて、前記判定ステップにおいて前記対象データが前記物体の質感情報を有さないと判定された場合、前記対象データに対応する前記物体の静止画像を前記表示手段に表示することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体の質感を表現するための画像処理技術に関する。

【背景技術】

【0002】

インターネットショッピングの普及により、商品の色や形だけでなく質感についても、ＰＣやタブレット端末、スマートフォンの画面上に表現することへの要求が高まっている。物体の素材や塗装などの質感を表現するために、３ＤＣＧの様々な手法が用いられている。特許文献１は、光源、物体、視点の位置に応じて、物体の質感を表現する２次元画像を生成する技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－１２２７１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１においては、複数の観察条件において物体の質感を確認したい場合、観察条件を変える度にユーザが光源情報や視点情報などを入力する必要がある。

【0005】

本発明は、観察条件を変えるためにユーザが情報を入力することなく、複数の観察条件における物体の質感を提示するための処理を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明に係る画像処理装置は、対象データを取得する取得手段と、前記対象データが物体の質感情報を有するか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記対象データに対応する画像を表示手段に表示する表示制御手段と、を有し、前記表示制御手段は、前記判定手段が前記対象データが前記物体の質感情報を有すると判定した場合、前記対象データに対応する前記物体の、互いに異なるパラメータを用いたレンダリングにより生成される複数のフレームを含む動画像を前記表示手段に表示し、前記表示制御手段は、前記判定手段が前記対象データが前記物体の質感情報を有さないと判定した場合、前記対象データに対応する前記物体の静止画像を前記表示手段に表示することを特徴とする。

【発明の効果】

【0007】

本発明によれば、観察条件を変えるためにユーザが情報を入力することなく、複数の観察条件における物体の質感を提示することができる。

【図面の簡単な説明】

【0008】

【図1】画像処理装置のハードウェア構成を示すブロック図

【図2】画像処理装置の機能構成を示すブロック図

【図3】画像処理装置が実行する処理を示すフローチャート

【図4】ユーザインタフェースの例を示す図

【図5】画像処理装置の機能構成を示すブロック図

【図6】ユーザインタフェースの例を示す図

【図7】画像処理装置が実行する処理を示すフローチャート

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0010】

［第１実施形態］
＜画像処理装置のハードウェア構成＞
図１は、画像処理装置１のハードウェア構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インタフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインタフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１２などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１２などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１４が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０が接続される。ＳＡＴＡ Ｉ／Ｆ１０６には、シリアルバス１１１を介して、ＨＤＤ１１２や各種記録メディアの読み書きを行う汎用ドライブ１１３が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１２や汎用ドライブ１１３にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインタフェース）をディスプレイ１１４に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。

【0011】

＜画像処理装置の機能構成＞
図２は、画像処理装置１の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２またはＨＤＤ１１２に格納されたプログラムを読み出して実行することによって、図２に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていても良い。

【0012】

画像処理装置１は、取得部２０１と、判定部２０２と、生成部２０３と、表示制御部２０４と、を有する。取得部２０１は、対象データとして、物体の質感情報を有するデータ、もしくは、２次元の静止画像データを取得する。本実施形態における質感情報を有するデータは、３Ｄモデル形式のデータであり、ｗａｖｅｆｒｏｎｔ ＯＢＪ形式で記述されている。ｗａｖｅｆｒｏｎｔ ＯＢＪ形式のデータを用いてレンダリングを行う際には、３Ｄテクスチャ形式であるＭＴＬ形式ファイルが参照される。また、２次元の静止画像データは、ＪＰＧ形式などの画像データである。

【0013】

判定部２０２は、取得部２０１が取得した対象データが、物体の質感情報を有するデータであるか否かを判定する。生成部２０３は、判定部２０２により物体の質感情報を有すると判定された対象データに対して、観察条件が異なる複数のフレームを含むＭＰ４形式などの動画像データを生成する。表示制御部２０４は、判定部２０２が質感情報を有するデータであると判定した対象データに対して、生成部２０３が生成した、観察条件が異なる複数のフレームを含む動画像データを表示（自動的に再生）する。表示制御部２０４は、判定部２０２が質感情報を有するデータでないと判定した対象データに対して、対象データを２次元の静止画として表示する。

【0014】

＜画像処理装置が実行する処理の流れ＞
以下、図３を参照して画像処理装置１が実行する処理の詳細を説明する。図３のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。Ｓ３０１において、取得部２０１は、対象データを取得する。本実施形態における取得部２０１は、ユーザの指示入力に応じて、ＨＤＤ１１２などの記憶装置から４種類の対象データを取得する。

【0015】

Ｓ３０２において、取得部２０１は、対象データに対して、１ｂｉｔの信号である質感フラグ（ｆｌｇ）をＯＦＦ（ｆｌｇ＝０）に設定する。質感フラグは、取得部２０１により取得された各対象データに付与される。Ｓ３０３において、判定部２０２は、Ｓ３０１において取得された対象データが質感情報を有するデータであるか否かを判定する。Ｓ３０４において、判定部２０２は、対象データが質感情報を有するデータであると判定した場合に、判定された対象データに対応する質感フラグをＯＮ（ｆｌｇ＝１）に設定（更新）する。

【0016】

Ｓ３０５において、生成部２０３は、質感フラグがＯＮの対象データに対して、観察条件が異なる複数のフレームを含む動画像データを生成する。動画像データの生成には、公知のバンプマッピングやレイトレーシング、フォトンマッピングなどの手法を用いることができる。尚、Ｓ３０３において対象データが質感情報を有するデータでないと判定された場合は、Ｓ３０４及びＳ３０５の処理をスキップする。

【0017】

Ｓ３０６において、表示制御部２０４は、対象データに対応する質感フラグに基づいて、動画像データが表す動画像の表示、もしくは、静止画像データが表す静止画像の表示を行う。表示制御部２０４は、対象データの質感フラグがＯＮ（ｆｌｇ＝１）である場合、Ｓ３０５において生成された動画像データが表す動画像をディスプレイ１１４に表示する。表示制御部２０４は、対象データの質感フラグがＯＦＦ（ｆｌｇ＝０）である場合、Ｓ３０１において取得された静止画像データが表す２次元の静止画像をそのままディスプレイ１１４に表示する。Ｓ３０７において、表示制御部２０４は、取得された全ての対象データに対して表示が完了したか否かを判定する。取得された全ての対象データに対して表示が完了していない場合には、次の対象データに対してＳ３０２以降の処理を行う。取得された全ての対象データに対して表示が完了した場合には、処理を終了する。

【0018】

＜表示制御部による表示＞
図４を用いて表示制御部２０４における処理の詳細を説明する。図４はディスプレイ１１４上に表示されるＵＩの例を示す図である。ウィンドウ４０１は、画像を表示するための表示領域である。表示画像４０２、表示画像４０３、表示画像４０４、表示画像４０５は、Ｓ３０１において取得された４種類の対象データそれぞれに対して表示された画像である。図４の例においては、色や質感の異なる４種類の物体が表示されており、物体表面におけるハイライト領域は、物体表面に照明が映り込んでいることを示している。図４（ａ）はある時刻Ａにおける表示結果を示し、図４（ｂ）は時刻Ａとは異なる時刻Ｂにおける表示結果を示している。表示画像４０２及び表示画像４０５は、Ｓ３０３において質感情報を有すると判定された対象データに対応する表示結果であり、観察条件が異なる複数のフレームを含む動画像である。表示画像４０３及び表示画像４０４は、Ｓ３０３において質感情報を有しないと判定された対象データに対応する表示結果であり、２次元の静止画像である。表示画像４０２及び表示画像４０５について、図４（ａ）と図４（ｂ）とを比較すると、表示時刻に応じて物体表面のハイライト領域の位置が変化している。これは、観察条件（照明の方向）を変えてレンダリングした結果を表示時間に応じて表示しているためである。

【0019】

尚、表示制御部２０４は、表示される動画像同士について、再生開始フレームとフレームレートとを同期させ、同一の観察条件で表示する。これにより、異なる物体間で、複数の観察条件における色や質感を比較することができる。ボタン４０６は、動画と静止画とを切り替えるためのボタンである。表示制御部２０４は、ボタン４０６の押下を受け付けると、表示される動画像の再生と停止とを切り替える。

【0020】

＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、対象データを取得し、対象データが物体の質感情報を有するか否かを判定する。判定結果に基づいて、対象データに対応する画像を表示する。対象データが物体の質感情報を有する場合、対象データに対応する、観察条件が異なる複数の画像を含む動画像を表示する。これにより、観察条件を変えるためにユーザが情報を入力することなく、複数の観察条件における物体の質感を提示することができる。

【0021】

＜変形例＞
本実施形態においては、観察条件として照明の方向を変化させたが、照明と物体との距離や物体の向き、観察方向、観察距離など、ＣＧレンダリングにおいて変更可能なパラメータであれば、これらのいずれの条件を変更しても良い。また、複数の条件を複合的に変更しても良い。

【0022】

［第２実施形態］
第１実施形態においては、質感情報を有するデータに対して、観察条件が異なる複数のフレームを含む動画像を生成し、自動的に再生した。本実施形態においては、質感情報を有するデータに対して、観察条件を設定し、設定した観察条件に基づいて動画を再生する。尚、本実施形態における画像処理装置のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。

【0023】

＜画像処理装置の機能構成＞
図５は、画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、取得部２０１と、観察条件設定部５０１と、判定部２０２と、生成部２０３と、表示制御部２０４と、を有する。観察条件設定部５０１は、観察条件の変え方を設定する。図６を用いて観察条件設定部５０１の処理の詳細を説明する。図６は観察条件を設定するために表示されるＵＩの例を示す図である。ウィンドウ６０１は、観察条件を設定するための設定領域である。領域６０２は照明方向を設定するための領域であり、領域６０３は物体の向きを設定するための領域である。領域６０４は観察方向を設定するための領域であり、領域６０５は観察距離を設定するための領域である。

【0024】

領域６０２において照明方向の変え方を設定する場合、ユーザは領域６０２における開始ボタンを押下し、マウスや指などを用いたドラッグ操作により光源６０６を任意方向に連続的に移動させた後に、領域６０２における停止ボタンを押下する。領域６０３において物体の向きの変え方を設定する場合、ユーザは領域６０３における開始ボタンを押下し、マウスや指などを用いたドラッグ操作により物体の座標軸６０７を任意方向に連続的に回転させた後に、領域６０３における停止ボタンを押下する。領域６０４において観察方向の変え方を設定する場合、ユーザは領域６０４における開始ボタンを押下し、マウスや指などを用いたドラッグ操作により観察位置を示すカメラ６０８を任意方向に連続的に移動させた後に、領域６０４における停止ボタンを押下する。領域６０５において観察距離の変え方を設定する場合、ユーザは領域６０５における開始ボタンを押下し、マウスや指などを用いたドラッグ操作により観察距離を示すスライダー６０９の位置を任意に変更した後に、領域６０５における停止ボタンを押下する。

【0025】

観察条件設定部５０１は、開始ボタン及び停止ボタンの押下に応じて、その間にユーザにより指示された観察条件の変化を時間軸に沿って保存する。ウィンドウ６０１における設定完了ボタンが押下されると、観察条件設定部５０１は、観察条件の設定を完了する。尚、設定される観察条件は１つであっても複数であっても良い。また、変更を加えなかった項目は初期値がそのまま適用される。

【0026】

＜画像処理装置が実行する処理の流れ＞
以下、図７を参照して画像処理装置１が実行する処理の詳細を説明する。図７のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。尚、Ｓ３０１～Ｓ３０４、Ｓ３０６、Ｓ３０７の処理は第１実施形態と同等の処理であるため説明を省略する。

【0027】

Ｓ７０１において、観察条件設定部５０１は、対象データに対して、観察条件の変え方を設定する。本実施形態における観察条件設定部５０１は、複数の対象データに対して同一の観察条件の変え方を設定する。Ｓ７０２において、生成部２０３は、設定された観察条件の変え方に基づいて、観察条件が異なる複数のフレームを含む動画像データを生成する。

【0028】

＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、動画を再生する際の観察条件の変え方を設定し、設定した観察条件の変え方に基づいて動画像データを生成する。これにより、異なる物体間で、ユーザの望んだ順に、複数の観察条件における色や質感を比較することができる。

【0029】

＜変形例＞
本実施形態においては、複数の対象データに対して同一の観察条件の変え方を設定したが、各対象データに対して別々に観察条件の変え方を設定しても良い。また、１つの対象データに対して、複数の観察条件の変え方を設定しても良い。これにより、１つの物体に対して複数の観察条件における色や質感を同時に確認し、比較することができる。

【0030】

また、本実施形態においては、対象データを取得した後に観察条件を設定したが、処理の順番は上記の一例に限られない。例えば、観察条件の設定を先に行ってから、対象データを取得しても良い。また、対象データの取得と観察条件の設定とを並行して行っても良い。また、質感フラグの更新後に、観察条件の設定を行っても良い。

【0031】

［その他の実施形態］
上述した実施形態においては、質感情報を有する対象データに対して動画像データを生成し表示したが、動画像データではなく、ＧＩＦアニメーションなどの連続静止画像データを生成し表示しても良い。この場合、連続静止画像データに含まれる複数の静止画像は、それぞれが異なる観察条件に対応している。

【0032】

また、上述した実施形態における質感情報を有するデータは、ｗａｖｅｆｒｏｎｔ ＯＢＪ形式で記述されていたが、Ａｕｔｏｄｅｓｋ ＦＢＸ形式など、他の形式のデータであっても良い。

【0033】

また、上述した実施形態においては、生成部２０３が判定部２０２による判定結果に基づいて動画像データを生成したが、予めＣＧレンダリングされた連続静止画像や、観察条件を異ならせながら物体を撮像して得られた動画や連続静止画像を用いても良い。この場合、Ｓ３０１において、取得部２０１は、予めＣＧレンダリング又は撮像により得られた対象データに併せて質感フラグＯＮの情報を取得する。静止画像には、併せて質感フラグＯＦＦの情報を取得する。これにより、判定部２０２及び生成部２０３における処理を行わずに、表示制御部２０４による表示を行うことができる。

【0034】

また、上述した実施形態は、ＨＴＭＬファイルに自動記述するプログラムとして提供することが可能である。質感情報を有するデータについてはＸ３Ｄ形式のファイルを生成することによりＨＴＭＬファイルから参照することができる。ＨＴＭＬファイルを生成することにより、インターネットに公開してブラウザ上で表示することが可能となる。

【0035】

本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0036】

１ 画像処理装置
２０１ 取得部
２０２ 判定部
２０４ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】