特開 2023-120977 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023120977

(43)【公開日】2023-08-30

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 5/50 20060101AFI20230823BHJP

【ＦＩ】

G06T5/50

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022024146

(22)【出願日】2022-02-18

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】米田 優

(72)【発明者】

【氏名】戸波 一成

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA11

5B057BA23

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE08

5B057CH07

5B057DA16

5B057DB02

5B057DB09

(57)【要約】

【課題】再現性が悪い第１の出力画像と第２の出力画像を無駄に生成してしまうことを抑制する。
【解決手段】画像処理装置は、複数の視点に対応する複数の入力画像を入力する入力部と、第１の出力画像と第２の出力画像を重ね合わせて観察する視点を変えたときに各視点に対応する前記入力画像を少なくとも部分的に再現する前記第１の出力画像と前記第２の出力画像を、前記複数の入力画像を用いて生成する画像生成部と、前記第１の出力画像と前記第２の出力画像を生成する前に、生成後の第１の出力画像と第２の出力画像が再現する再現画像の再現性を判定する判定部と、を有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

複数の視点に対応する複数の入力画像を入力する入力部と、
第１の出力画像と第２の出力画像を重ね合わせて観察する視点を変えたときに各視点に対応する前記入力画像を少なくとも部分的に再現する前記第１の出力画像と前記第２の出力画像を、前記複数の入力画像を用いて生成する画像生成部と、
前記第１の出力画像と前記第２の出力画像を生成する前に、生成後の第１の出力画像と第２の出力画像が再現する再現画像の再現性を判定する判定部と、
を有する、画像処理装置。

【請求項2】

前記判定部は、前記複数の入力画像を、変換品質ごとに予め用意した、入力視点画像と、変換後の観察視点画像の変換プロファイルと比較して、前記第１の出力画像と前記第２の出力画像の変換品質を判定する、請求項１に記載の画像処理装置。

【請求項3】

前記判定部は、
前記入力画像を、複数の領域に分割し、
前記領域ごとに、前記領域内の画素値の平均を前記変換プロファイルと比較して、前記領域の変換品質を判定する、請求項２に記載の画像処理装置。

【請求項4】

前記変換プロファイルは、前記入力視点画像と前記観察視点画像の前記領域内の画素値の平均データを含む、請求項３に記載の画像処理装置。

【請求項5】

前記判定部による判定結果をユーザに通知する通知部を有する、請求項１乃至４のいずれか一項に記載の画像処理装置。

【請求項6】

前記判定結果に対する前記ユーザによる許可操作又は実行操作を受け付けた場合、前記画像生成部は、前記第１の出力画像と前記第２の出力画像を生成する、請求項５に記載の画像処理装置。

【請求項7】

前記判定結果に対する前記ユーザによる許可操作又は実行操作を受け付けていない場合、前記画像生成部は、前記第１の出力画像と前記第２の出力画像の生成を行わない、請求項５又は６に記載の画像処理装置。

【請求項8】

前記画像生成部は、前記再現画像の再現性が良好でない場合、前記第１の出力画像と前記第２の出力画像の生成を中止する、請求項１乃至４のいずれか一項に記載の画像処理装置。

【請求項9】

複数の視点に対応する複数の入力画像を入力する入力処理と、
第１の出力画像と第２の出力画像を重ね合わせて観察する視点を変えたときに各視点に対応する前記入力画像を少なくとも部分的に再現する前記第１の出力画像と前記第２の出力画像を、前記複数の入力画像を用いて生成する画像生成処理と、
前記第１の出力画像と前記第２の出力画像を生成する前に、生成後の前記第１の出力画像と前記第２の出力画像が再現する画像の再現性を判定する判定処理と、
をコンピュータが実行する、画像処理方法。

【請求項10】

複数の視点に対応する複数の入力画像を入力する入力処理と、
第１の出力画像と第２の出力画像を重ね合わせて観察する視点を変えたときに各視点に対応する前記入力画像を少なくとも部分的に再現する前記第１の出力画像と前記第２の出力画像を、前記複数の入力画像を用いて生成する画像生成処理と、
前記第１の出力画像と前記第２の出力画像を生成する前に、生成後の前記第１の出力画像と前記第２の出力画像が再現する画像の再現性を判定する判定処理と、
をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

視点に依存して観察される画像が変化する印刷物を実現する技術として、ライトフィールドプリントと呼ばれる技術が知られている。例えば、複数のシーンビューを含むコンテンツに基づいて、第１の標的パターンと第２の標的パターンを生成し、透明前層に第１の標的パターンを印刷し、透明後層に第２の標的パターンを印刷する技術が知られている（例えば、特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0003】

特許文献１に開示された技術により、複数の視点に対応した複数の入力画像に基づいて、第１の出力画像と第２の出力画像を重ね合わせて観察する視点を変えたときに各視点に対応する入力画像を再現する第１の出力画像と第２の出力画像を生成することができる。

【0004】

しかし、この方法では、第１の出力画像と第２の出力画像を生成するまで、視点の変化に応じて見え方が変化する生成後の画像の再現性が分からないため、再現性が悪い第１の出力画像と第２の出力画像を無駄に生成してしまう場合がある。

【0005】

本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、再現性が悪い第１の出力画像と第２の出力画像を無駄に生成してしまうことを抑制する。

【課題を解決するための手段】

【0006】

上記の課題を解決するため、一実施形態に係る画像処理装置は、複数の視点に対応する複数の入力画像を入力する入力部と、第１の出力画像と第２の出力画像を重ね合わせて観察する視点を変えたときに各視点に対応する前記入力画像を少なくとも部分的に再現する前記第１の出力画像と前記第２の出力画像を、前記複数の入力画像を用いて生成する画像生成部と、前記第１の出力画像と前記第２の出力画像を生成する前に、生成後の第１の出力画像と第２の出力画像が再現する再現画像の再現性を判定する判定部と、を有する。

【発明の効果】

【0007】

本発明の一実施形態によれば、再現性が悪い第１の出力画像と第２の出力画像を無駄に生成してしまうことを抑制することができる。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る画像処理システムのシステム構成の例を示す図である。

【図2】一実施形態に係るライトフィールド印刷物について説明するための図である。

【図3】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。

【図4】一実施形態に係る画像処理装置の機能構成の例を示す図である。

【図5】第１の実施形態に係る画像処理装置の処理の例を示すフローチャートである。

【図6】一実施形態に係る複数の入力画像のイメージを示す図である。

【図7】一実施形態に係る判定処理の例を示すフローチャートである。

【図8】一実施形態に係る入力画像の分割方法の例を示す図である。

【図9】一実施形態に係る変換プロファイルとの比較について説明するための図である。

【図10】一実施形態に係る判定結果の例を示す図である。

【図11】第２の実施形態に係る画像処理装置の処理の例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

【0010】

＜システム構成＞
図１は、一実施形態に係る画像処理システムのシステム構成の例を示す図である。画像処理システム１は、例えば、画像処理装置１０と印刷装置２０とを含む。印刷装置２０は、例えば、ＵＳＢ（Universal Serial Bus）ケーブル等の有線ケーブル、近距離無線通信、又はＬＡＮ（Local Area Network）等の通信ネットワークを介して、画像処理装置１０と通信可能に接続されている。

【0011】

画像処理装置１０は、例えば、コンピュータの構成を有する情報処理装置、又は複数のコンピュータを含むシステムである。画像処理装置１０は、所定のプログラムを実行することにより、複数の視点に対応する複数の入力画像１１－１、１１－２、・・・１１－Ｎ（Ｎは、２以上の整数）に基づいて、第１の出力画像１２Ａと第２の出力画像１２Ｂを生成する。

【0012】

画像処理装置１０が生成する第１の出力画像１２Ａと第２の出力画像１２Ｂは、第１の出力画像１２Ａと第２の出力画像１２Ｂとを重ね合わせて観察する視点を変えたときに、各視点に対応する入力画像を少なくとも部分的に再現する。例えば、画像処理装置１０は、印刷装置２０を用いて、透明シートなどの透過性転写媒体の両面に。第１の出力画像１２Ａと第２の出力画像１２Ｂとを両面印刷することにより、所望のライトフィールド印刷物を生成することができる。

【0013】

複数の入力画像１１－１、１１－２、・・・１１－Ｎは、複数の視点に対応する画像データである。複数の入力画像１１－１、１１－２、・・・１１－Ｎは、所望のライトフィールド印刷物が得られるように、例えば、ユーザ側が用意する。なお、以下の説明において、複数の入力画像１１－１、１１－２、・・・１１－Ｎを、単に「入力画像１１」と呼ぶ場合がある。

【0014】

画像処理装置１０は、複数の入力画像１１－１、１１－２、・・・１１－Ｎに基づいて、所定の最適化問題を解くことにより。第１の出力画像１２Ａと第２の出力画像１２Ｂとを生成する。第１の出力画像１２Ａと第２の出力画像１２Ｂは、最適化問題を解くことにより得られる特有のパターン画像であり、第１の出力画像１２Ａと第２の出力画像１２Ｂとを重ね合わせることで意味のある画像（ライトフィールド画像）が再現される。

【0015】

印刷装置２０は、画像処理装置１０からの印刷指示に応じて、第１の出力画像１２Ａと第２の出力画像１２Ｂを、透過性転写媒体１３Ｃの両面に画像形成することにより、ライトフィールド印刷物１３を出力する。ライトフィールド印刷物１３は、透過性転写媒体１３Ｃと、略平行に離間して配置された表面の画像層１３Ａ及び裏面の画像層１３Ｂを含む。ライトフィールド印刷物１３、観察する視点を変えることで観察される画像が変化する、いわゆるライトフィールドプリント（Light Field Print）である。

【0016】

複数の入力画像１１が、所定の被写体の複数の視点から観察したときの画像を表現している場合、ライトフィールド印刷物１３は、被写体を立体的に表現した印刷物となる。しかしながら、本実施形態に係るライトフィールド印刷物１３は、立体視を与えるものに限定されない。例えば、複数の入力画像が、異なる被写体を表現している場合、ライトフィールド印刷物１３は、視点を変化させることにより観察される被写体が変わる印刷物であってもよい。

【0017】

図２は、一実施形態に係るライトフィールド印刷物について説明するための図である。ライトフィールド印刷物１３は、透過性転写媒体１３Ｃの表面に第１の出力画像１２Ａに基づく表面の画像層１３Ａが形成され、裏面に第２の出力画像１２Ｂに基づく裏面の画像層１３Ｂが形成されている。また、透過性転写媒体１３Ｃの表面および裏面は、平坦で離間されているため、表面の画像層１３Ａと裏面の画像層１３Ｂは、略平行に離間して配置されたものとなる。

【0018】

本実施形態に係る印刷装置２０による画像形成は、トナーやインクなどの顕色材を透過性転写媒体１３Ｃの両面に付着し、定着させることにより行う。両面に対して画像形成をすることによって、特許文献１の従来技術で行われていた透明層の貼り合わせの作業が必要なくなり、簡便にライトフィールド印刷物１３を得ることが可能となる。また、貼り合わせた層の間に空気や接着剤などの材料が入り込むことで画像が劣化するのを防止することができる。

【0019】

ライトフィールド印刷物１３は、透過性転写媒体１３Ｃに厚みがあることにより、視点によって表面の画像層１３Ａと裏面の画像層１３Ｂを通過する画素の組合せが異なるという原理に基づく。各視点によって画素の組合せが異なることを利用して、光強度を視点ごとに変化させることが可能となる。これにより、各視点で見える画像が異なるライトフィールド印刷物１３を得ることができる。この複数の視点から見える画像が、ライトフィールド印刷による再現画像である。再現画像は、転写媒体の面に対する視点の角度ごとに定められた入力画像１１の近似画像である。観察者は、ライトフィールド印刷物１３を観察する視点を変えたときに、視点に対応する入力画像１１の近似画像を１枚ずつ見ることが可能となる。なお、上述した視線が通過する画素の組み合わせにおける画素間の位置関係が視点を規定する。

【0020】

なお、透過性転写媒体１３Ｃは、可視光を透過し、平坦な２つの転写面を有する媒体であり、透明媒体である場合に加えて、裏面画像の印刷が透けて見える程度の半透明媒体であってもよい。これは、透過性転写媒体１３Ｃが、完全に透明ではなく、半透明でも、表面の画像層１３Ａと裏面の画像層１３Ｂを通過する光強度が視点によって変わるためである。

【0021】

図１に示したシステム構成により、画像処理システム１は、複数の入力画像１１を第１の出力画像１２Ａと第２の出力画像１２Ｂに変換し、印刷装置２０で両面印刷することにより、ライトフィールド印刷物１３を生成することができる。

【0022】

しかし、従来の技術では、第１の出力画像１２Ａと第２の出力画像１２Ｂを生成するまで、視点の変化に応じて見え方が変化する生成後の画像の再現性が分からないため、再現性が悪い第１の出力画像と第２の出力画像を無駄に生成してしまう場合がある。

【0023】

そこで、本実施形態に係る画像処理システム１は、第１の出力画像１２Ａと第２の出力画像１２Ｂを生成する前に、生成後の画像の再現性を判定する機能を有している。例えば、画像処理装置１０は、複数の入力画像１１を、変換品質ごとに予め用意した、入力視点画像と、変換後の観察視点画像の変換プロファイルと比較して、第１の出力画像１２Ａと第２の出力画像１２Ｂの変換品質を判定する。

【0024】

これにより、本実施形態に係る画像処理システム１によれば、再現性が悪い第１の出力画像１２Ａと第２の出力画像１２Ｂを無駄に生成してしまうこと、及び無駄に出力（印刷）してしまうことを抑制することができる。

【0025】

＜ハードウェア構成＞
（画像処理装置のハードウェア構成）
画像処理装置１０は、例えば、図３に示すようなコンピュータ３００のハードウェア構成を有している。或いは、画像処理装置１０は、複数のコンピュータ３００によって構成される。

【0026】

図３は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ３００は、例えば、図３に示されるように、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、ＨＤ（Hard Disk）３０４、ＨＤＤ（Hard Disk Drive）コントローラ３０５、ディスプレイ３０６、外部機器接続Ｉ／Ｆ（Interface）３０７、ネットワークＩ／Ｆ３０８、キーボード３０９、ポインティングデバイス３１０、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable)ドライブ３１２、メディアＩ／Ｆ３１４、及びバスライン３１５等を備えている。

【0027】

これらのうち、ＣＰＵ３０１は、コンピュータ３００全体の動作を制御する。ＲＯＭ３０２は、例えば、ＩＰＬ（Initial Program Loader）等のコンピュータ３００の起動に用いられるプログラムを記憶する。ＲＡＭ３０３は、例えば、ＣＰＵ３０１のワークエリア等として使用される。ＨＤ３０４は、例えば、ＯＳ（Operating System）、アプリケーション、デバイスドライバ等のプログラムや、各種データを記憶するストレージデバイスの一例である。ＨＤＤコントローラ３０５は、例えば、ＣＰＵ３０１の制御に従ってＨＤ３０４に対する各種データの読み出し又は書き込みを制御する。

【0028】

ディスプレイ３０６は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。なお、ディスプレイ３０６は、コンピュータ３００の外部に設けられていても良い。外部機器接続Ｉ／Ｆ３０７は、例えば、印刷装置２０等の様々な外部装置を、コンピュータ３００に接続するための、例えば、ＵＳＢ（Universal Serial Bus）等のインタフェースである。ネットワークＩ／Ｆ３０８は、例えば、通信ネットワークを利用して、他の装置と通信するためのインタフェースである。

【0029】

キーボード３０９は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス３１０は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行なう入力手段の一種である。なお、キーボード３０９、及びポインティングデバイス３１０は、コンピュータ３００の外部に設けられていても良い。ＤＶＤ－ＲＷドライブ３１２は、着脱可能な記憶媒体の一例としてのＤＶＤ－ＲＷ３１１に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷ３１１は、ＤＶＤ－ＲＷに限らず、他の記憶媒体であっても良い。

【0030】

メディアＩ／Ｆ３１４は、フラッシュメモリ等のメディア３１３に対するデータの読み出し又は書き込み（記憶）を制御する。バスライン３１５は、上記の各構成要素を電気的に接続するためのアドレスバス、データバス及び各種の制御信号等を含む。

【0031】

なお、図３に示したコンピュータ３００のハードウェア構成は一例である。コンピュータ３００は、例えば、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ネットワークＩ／Ｆ３０８、及びバスライン３１６を有していれば、他は任意の構成であって良い。

【0032】

＜機能構成＞
（画像処理装置の機能構成）
図４は、一実施形態に係る画像処理装置の機能構成の例を示す図である。画像処理装置１０は、例えば、ＣＰＵ３０１が所定のプログラムを実行することにより、入力部４０１、画像生成部４０２、判定部４０３、通知部４０４、受付部４０５、出力部４０６、及び記憶部４０７等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。

【0033】

入力部４０１は、画像処理装置１０に、複数の視点に対応する複数の入力画像１１を入力する入力処理を実行する。例えば、入力部４０１は、ネットワークＩ／Ｆ３０８、外部機器接続Ｉ／Ｆ３０７に接続した外部メモリ、又はメディア３１３等から、複数の入力画像１１の入力を受け付ける。

【0034】

複数の入力画像１１は、好ましくは、３以上の視点に対応した３つ以上の入力画像１１－１～１１－Ｎ（Ｎ≧３）を含む。なお、入力画像１１－１～１１－Ｎの各々には、所定の視点（１、２、…ｘ、…、Ｎ）が設定されており、各視点と入力画像１１－１～１１―Ｎとの対応関係を記述した視点情報が含まれている。視点情報は、複数の入力画像１１のデータとは別に与えられてもよいし、ファイル名に所定の規則（連番など）に従って埋め込まれて、各入力画像１１－１～１１－Ｎのデータとともに与えられてもよい。後者の場合は、入力部４０１は、ファイル名から視点との対応関係を解釈することができる。

【0035】

複数の入力画像１１は、複数の視点の各々から観察した場合の所望の画像を規定するものであり、所望のライトフィールド印刷物が得られるようにユーザ側が用意するものである。入力部４０１は、ユーザが入力した複数の入力画像１１等を、例えば、画像生成部４０２、及び判定部４０３等に渡す。

【0036】

画像生成部４０２は、重ねあわせて観察する視点を変えたときに各視点に対応する入力画像１１を少なくとも部分的に再現する第１の出力画像１２Ａと第２の出力画像１２Ｂを、複数の入力画像１１を用いて生成する生成処理を実行する。

【0037】

例えば、画像生成部４０２は、複数の入力画像１１に基づいて、最適化処理によって、透過性転写媒体に両面印刷すべき第１の出力画像１２Ａと第２の出力画像１２Ｂの組を生成する。最適化処理は、透過性転写媒体の両面に、第１の出力画像１２Ａと第２の出力画像１２Ｂに基づく表面の画像層と裏面の画像層が形成された場合に、観察する視点を変えたときに各視点に対応する入力画像１１を少なくとも部分的に再現するように行われる。

【0038】

なお、通常は、画像生成部４０２が、複数の入力画像１１に基づいて第１の出力画像１２Ａと第２の出力画像１２Ｂを生成する際に、入力画像１１が圧縮され、情報量が減少することになる。このため、最適化処理では、入力画像１１が近似的に再現される。

【0039】

最適化処理は、複数の入力画像１１に基づいて、試行中の１組の仮の出力画像を離間して配置した複数の画像層により各視点で再現される再現画像と各視点に対応した入力画像との差異が最小化されるように１組の出力画像を最適化するものである。なお、この段階では、離間して配置された複数の画像層が転写媒体に両面印刷されることは最適化計算に組み込まれておらず、離間して配置された複数の画像層により再現される画像（以下、再現画像と呼ぶ）と入力画像との誤差が最小化される。再現画像と入力画像との誤差は、複数の視点にわたる差分の総和であり、これが目的関数となる。最適化処理は、勾配降下法等の公知の技術を用いて実行することができる。

【0040】

また、画像生成部４０２は、最適化処理で生成された一組の出力画像のいずれか一方に対し、両面印刷の開き方向に応じて画像反転を行う反転処理を実行する。これにより、画像生成部４０２は、最終的な第１の出力画像１２Ａと第２の出力画像１２Ｂを生成することができる。

【0041】

判定部４０３は、画像生成部４０２が、第１の出力画像１２Ａと第２の出力画像１２Ｂを生成する前に、生成後の第１の出力画像１２Ａと第２の出力画像１２Ｂが再現する再現画像の再現性を判定する判定処理を実行する。例えば、判定部４０３は、複数の入力画像１１を、変換品質ごとに予め用意した、入力視点画像と、変換後の観察視点画像の変換プロファイルと比較して、第１の出力画像１２Ａと第２の出力画像１２Ｂの変換品質を判定する。なお、判定部４０３が実行する判定処理については、具体的な例を例示して後述する。

【0042】

通知部４０４は、判定部４０３による判定結果を、ユーザに通知する通知処理を実行する。例えば、通知部４０４は、入力した複数の入力画像１１を用いて、第１の出力画像１２Ａと第２の出力画像１２Ｂを生成した場合の変換品質（例えば、「良」、「中」、「悪」等）を示す通知を、ディスプレイ３０６等の表示部に表示する。ただし、判定部４０３による判定結果は、変換品質に限られず、例えば、再現性の良否、又は再現性の良さを示す数値等であってもよい。また、通知部は、判定部４０３による判定結果を、音声、又はテキストメッセージ等で通知してもよい。

【0043】

この通知により、ユーザは、例えば、画像生成部４０２が生成する第１の出力画像１２Ａと第２の出力画像１２Ｂが再現する再現画像の再現性が悪い場合、第１の出力画像１２Ａと第２の出力画像１２Ｂの生成を中止することができる。また、再現画像の再現性が良いとも悪いとも言えない場合（変換品質が「中」である場合等）、ユーザは、他の入力画像１１の有無、緊急度、又は重要度等に応じて、第１の出力画像１２Ａと第２の出力画像１２Ｂを生成するか否かを判断することができる。これにより、本実施形態に係る画像処理システム１によれば、再現性が悪い第１の出力画像と第２の出力画像を無駄に生成してしまうことを抑制することができる。

【0044】

受付部４０５は、例えば、キーボード３０９、又はポインティングデバイス３１０等の入力デバイスを用いて、通知部４０４が通知した判定結果に対するユーザの入力操作を受け付ける受付処理を実行する。例えば、受付部４０５は、ユーザによる、第１の出力画像１２Ａと第２の出力画像１２Ｂの生成を許可する許可操作、又はライトフィールド印刷物１３の印刷の実行を要求する実行操作等を受け付ける。

【0045】

受付部４０５が、第１の出力画像１２Ａと第２の出力画像１２Ｂの生成を許可する許可操作、又はライトフィールド印刷物１３の印刷の実行を要求する実行操作を受け付けた場合、画像生成部４０２は画像生成処理を実行する。一方、受付部４０５が、第１の出力画像１２Ａと第２の出力画像１２Ｂの生成の中止を要求する中止操作、又はライトフィールド印刷物１３の印刷の中止を要求する中止操作を受け付けた場合、画像生成部４０２は画像生成処理を中止する。なお、受付部４０５が、所定の時間内に、許可操作又は実行操作を受け付けていない場合、画像生成部４０２は、例えば、画像生成処理を中止してもよい。

【0046】

出力部４０６は、画像生成部４０２が生成した第１の出力画像１２Ａと第２の出力画像１２Ｂに基づいて、印刷装置２０に対して印刷データを含む印刷指示を出力する。この印刷指示には、例えば、透過性転写媒体がセットされた給紙トレイの指定、両面印刷の指定等の印刷設定情報が含まれる。

【0047】

記憶部４０７は、例えば、ＣＰＵ３０１が実行するプログラム、ＨＤ３０４、ＨＤＤコントローラ３０５等によって実現され、前述した、変換品質ごとの変換プロファイル、複数の入力画像１１を含む様々なデータ、情報、及びプログラム等を記憶する。

【0048】

上記の各機能構成により、画像処理装置１０は、再現性が悪い第１の出力画像と第２の出力画像を無駄に生成してしまうことを抑制することができる。

【0049】

別の一例として、画像処理装置１０は、通知部４０４が判定結果を通知してから、受付部４０５がユーザの操作を受け付けるまでの間に、第１の出力画像１２Ａと第２の出力画像１２Ｂの生成を行い、出力部４０６が印刷指示の出力を保留するものであってもよい。この場合、画像処理装置１０は、第１の出力画像１２Ａと第２の出力画像１２Ｂの生成を許可する許可操作を受け付けたときに、速やかに印刷指示を出力できるとともに、再現性が悪いライトフィールド印刷物を無駄に印刷してしまうことを抑制することができる。

【0050】

＜処理の流れ＞
続いて、本実施形態に係る画像処理方法の処理の流れについて説明する。

【0051】

［第１の実施形態］
（画像処理装置の処理）
図５は、第１の実施形態に係る画像処理装置の処理の例を示すフローチャートである。この処理は、例えば、図４で説明した各機能構成を有する画像処理装置１０が実行する処理の一例を示している。

【0052】

ステップＳ５０１において、入力部４０１は、複数の視点に対応する複数の入力画像の入力を受け付ける。

【0053】

図６は、一実施形態に係る複数の入力画像のイメージを示す図である。例えば、横方向（Ｘ方向）の視点の数をＸとし、縦方向（Ｙ方向）の視点の数をＹとすると、図６に示すように、複数の入力画像６００の数はＸ×Ｙ枚となる。また、ここでは、複数の入力画像６００のうち、各視点における入力画像を、図６に示すように、入力画像Ｉａｂ（１≦ａ≦Ｙ、１≦ｂ≦Ｘ）で表す。

【0054】

ステップＳ５０２において、判定部４０３は、画像生成部４０２が生成する、生成後の第１の出力画像１２Ａと第２の出力画像１２Ｂが再現する再現画像の再現性を判定する判定処理を実行する。なお、判定部４０３が実行する判定処理については、別のフローチャートを用いて後述する。

【0055】

ステップＳ５０３において、通知部４０４は、判定部４０３による判定結果をユーザに通知する。

【0056】

ステップＳ５０４において、受付部４０５は、ユーザによる、第１の出力画像１２Ａと第２の出力画像１２Ｂの生成を許可する許可操作を受け付けたか否かを判断する。許可操作を受け付けた場合、受付部４０５は、処理をステップＳ５０５に移行させる。一方、許可操作を受け付けていない場合、受付部４０５は、図５の処理を終了する。

【0057】

例えば、受付部４０５は、ユーザによる第１の出力画像１２Ａと第２の出力画像１２Ｂの生成を拒否する拒否操作を受け付けた場合、許可操作を受け付けていないと判断してもよい。また、受付部４０５は、所定の時間以上、許可操作を受け付けていない場合、許可操作を受け付けていないと判断してもよい。

【0058】

ステップＳ５０５に移行すると、画像生成部４０２は、入力部４０１から受け付けた複数の入力画像６００に基づいて、第１の出力画像１２Ａと第２の出力画像１２Ｂを生成する。

【0059】

ステップＳ５０６において、出力部４０６は、画像生成部４０２が生成した第１の出力画像１２Ａと第２の出力画像１２Ｂに基づくライトフィールド印刷を、印刷装置２０に指示する。

【0060】

図５の処理により、画像処理装置１０は、画像生成部４０２が第１の出力画像１２Ａと第２の出力画像１２Ｂを生成する前に、再現画像の再現性を判定し、ユーザに通知する。また、画像処理装置１０は、ユーザによる許可操作を受け付けるまで、第１の出力画像１２Ａと第２の出力画像１２Ｂを生成しないので、再現性が悪い第１の出力画像１２Ａと第２の出力画像１２Ｂを無駄に生成してしまうことを抑制することができる。

【0061】

なお、図５に示した画像処理装置の処理は一例である。例えば、図５のステップＳ５０４において、受付部４０５は、許可操作に代えて（又は加えて）、ライトフィールド印刷の実行を要求する実行操作を受け付けたときに、処理をステップＳ５０５に移行させてもよい。

【0062】

さらに、この場合、画像処理装置１０は、ユーザの操作を待っている間に、ステップＳ５０５の処理を実行し、実行操作を受け付けた場合に、ステップＳ５０６の処理を実行してもよい。これにより、画像処理装置１０は、再現性が悪い第１の出力画像１２Ａと第２の出力画像１２Ｂを無駄に印刷してしまうことを抑制することができる。

【0063】

要するに、画像処理装置１０は、第１の出力画像１２Ａと第２の出力画像１２Ｂを生成する前に、再現画像の再現性を判定してユーザに通知し、ユーザによる承認が得られるまで、画像生成処理、又は出力処理の実行を保留するものであれば良い。

【0064】

（判定処理）
図７は、一実施形態に係る判定処理の例を示すフローチャートである。この処理は、例えば、図５のステップＳ５０２において、判定部４０３が実行する判定処理の例を示している。

【0065】

ステップＳ７０１において、判定部４０３は、各視点における入力画像Ｉａｂを複数の領域に分割する。例えば、各入力画像Ｉａｂの横方向の解像度をｋ１Ｘ、縦方向の解像度をｋ２Ｙとする。この場合、判定部４０３は、各視点における入力画像Ｉａｂを、横方向の視点の数Ｘ、及び縦方向の視点の数Ｙに応じて、例えば、図８に示すように、複数の領域Ｉａｂｉｊ（１≦ｉ≦ｋ２、１≦ｊ≦ｋ１）に分割する。ここで分割した各領域は、十分に小さいので、領域内で画素値が均一に近いとみなすことができる。

【0066】

ステップＳ７０２において、判定部４０３は、分割した領域ごとに、領域内の画素値の平均を算出する。

【0067】

ステップＳ７０３において、判定部４０３は、算出した領域内の画素値の平均を、変換品質ごとに予め用意した変換プロファイルと比較して、生成後の第１の出力画像１２Ａと第２の出力画像１２Ｂの変換品質を判定する。なお、第１の出力画像１２Ａと第２の出力画像１２Ｂの変換品質の判定は、第１の出力画像１２Ａと第２の出力画像１２Ｂが再現する再現画像の再現性の判定の一例である。例えば、第１の出力画像１２Ａと第２の出力画像１２Ｂの変換品質が良い場合、第１の出力画像１２Ａと第２の出力画像１２Ｂが再現する再現画像の再現性が高くなる。

【0068】

図９は、一実施形態に係る変換プロファイルとの比較について説明するための図である。画像処理装置１０は、例えば、図９に示すような、変換品質ごとに、予め用意した変換プロファイル（Ａ－１）、（Ａ－２）、（Ａ－３）、（Ａ－４）を、記憶部４０７等に記憶しておく。

【0069】

また、判定部４０３は、図８に示すような、各視点における入力画像Ｉａｂを分割した複数の領域Ｉａｂｉｊのうち、Ｙ＝１とし、Ｘの値を視点番号１、２、・・・、Ｘとした場合における、視点番号と領域内画素値の平均との関係を表すグラフ９０１を作成する。この場合、視点番号１は領域Ｉ１１ｉｊを、視点番号２は領域Ｉ１２ｉｊを、視点番号Ｘは領域Ｉ１Ｘｉｊを表す。

【0070】

判定部４０３は、作成したグラフ９０１を、予め用意した変換プロファイル（Ａ－１）、（Ａ－２）、（Ａ－３）、（Ａ－４）と比較して、領域Ｉ１１ｉｊ、Ｉ１２ｉｊ、・・・Ｉ１Ｘｉｊの変換品質を判定する。

【0071】

変換プロファイルは、各視点における入力視点画像と、変換後の観察視点画像の領域内画素値の平均の関係を示している。変換プロファイルは、図９に示すように、各視点番号に対応する、入力視点画像と観察視点画像の領域内画素値の平均データを含む。図９の例では、変換プロファイル（Ａ－１）、（Ａ－２）は、変換品質が「良」である場合の変換プロファイルの例を示している。また、変換プロファイル（Ｂ）は、変換品質が「中」である場合の変換プロファイルの例を示しており、変換プロファイル（Ｃ）は、変換品質が「低」である場合の変換プロファイルの例を示している。

【0072】

例えば、判定部４０３は、領域Ｉ１１ｉｊの変換品質を判定する場合、グラフ９０１の視点番号１における入力画像の領域内画素値の平均を、複数の変換プロファイルの視点番号１の領域内画素値の平均と比較し、最も値が近い変換プロファイルの変換品質を判定結果とする。同様にして、判定部４０３は、他の領域Ｉ１２ｉｊ、・・・Ｉ１Ｘｉｊについても、視点番号２、・・・、Ｘにおいて、変換品質を判定する。

【0073】

さらに、判定部４０３は、Ｙ＝２以降の場合についても、同様にして、各領域の変換品質を判定することにより、例えば、図１０に示すような、入力画像Ｉａｂの判定結果１０００を作成することができる。

【0074】

例えば、図５のステップＳ５０３において、通知部４０４は、図１０に示すような判定結果１０００を、入力画像Ｉａｂごと、判定部４０３による判定結果としてユーザに通知する。ただし、これに限られず、通知部４０４は、例えば、変換品質が悪い入力画像Ｉａｂの情報を、判定部４０３による判定結果としてユーザに通知しても良い。この場合、通知部４０４は、変換品質が「悪」である領域の割合が閾値以上の入力画像Ｉａｂを、変換品質が悪い入力画像Ｉａｂと判断してもよい。

【0075】

［第２の実施形態］
（画像処理装置の処理）
図２は、第２の実施形態に係る画像処理装置の処理の例を示すフローチャートである。この処理は、例えば、図４で説明した各機能構成を有する画像処理装置１０が実行する処理の別の一例を示している。なお、基本的な処理内容は、図５で説明した第１の実施形態に係る画像処理装置の処理と同様なので、ここでは、第１の実施形態と同様の処理内容に関する詳細な説明は省略する。

【0076】

ステップＳ１１０１において、入力部４０１は、例えば、図６に示すような、複数の視点に対応する複数の入力画像６００の入力を受け付ける。

【0077】

ステップＳ１１０２において、判定部４０３は、画像生成部４０２が生成する、生成後の第１の出力画像１２Ａと第２の出力画像１２Ｂが再現する再現画像の再現性を判定する判定処理を実行する。例えば、判定部４０３は、入力画像Ｉａｂの各々に対して、図７に示すような判定処理を実行し、図１０に示すような判定結果１０００を得る。

【0078】

ステップＳ１１０３において、判定部４０３は、再現画像の再現性が良好であるか否かを判断する。例えば、判定部４０３は、図１０に示すような判定結果１０００において、変換品質が「悪」である領域の割合が、予め定めた第１の閾値以下である場合、入力画像ａｂの再現性が良好と判断しても良い。また、判定部４０３は、再現性が良好な入力画像ａｂの割合が、予め定めた第２の閾値以上である場合、生成後の第１の出力画像１２Ａと第２の出力画像１２Ｂが再現する再現画像の再現性が良好と判断しても良い。

【0079】

再現性が良好である場合、判定部４０３は、処理をステップＳ１１０４に移行させる。一方、再現性が良好でない場合、判定部４０３は、処理をステップＳ１１０６に移行させる。

【0080】

ステップＳ１１０４に移行すると、画像生成部４０２は、入力部４０１から受け付けた複数の入力画像６００に基づいて、第１の出力画像１２Ａと第２の出力画像１２Ｂを生成する。

【0081】

ステップＳ１１０５において、出力部４０６は、画像生成部４０２が生成した第１の出力画像１２Ａと第２の出力画像１２Ｂに基づくライトフィールド印刷を、印刷装置２０に指示する。

【0082】

一方、ステップＳ１１０３からステップＳ１１０６に移行すると、通知部４０４は、入力画像６００の変更、又は修正を促すメッセージ等を、ユーザに通知する。好ましくは、この通知には、例えば、再現性が悪い（変換品質が悪い）入力画像Ｉａｂの情報が含まれる。これにより、ユーザは、再現性が悪い入力画像Ｉａｂを変更、又は修正することが容易になる。

【0083】

第２の実施形態においても、第１の実施形態と同様に、再現性が悪い第１の出力画像１２Ａと第２の出力画像１２Ｂを無駄に生成してしまうこと、及び無駄に印刷してしまうことを抑制することができる。

【0084】

以上、本発明の各実施形態によれば、再現性が悪い第１の出力画像１２Ａと第２の出力画像１２Ｂを無駄に生成してしまうことを抑制することができる。

【0085】

＜補足＞
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0086】

また、図４に示した画像処理装置１０の機能構成は一例である。例えば、図４の画像処理装置１０が有する各機能構成は、複数のコンピュータ３００に分散して設けられていてもよい。また、記憶部４０７は、例えば、通信ネットワークを介して通信可能な、ストレージサーバ、又はクラウドサービス等によって実現されるものであってもよい。さらに、画像生成部４０２は、例えば、通信ネットワークを介して通信可能なクラウドサービス等を利用して、第１の出力画像１２Ａと第２の出力画像１２Ｂを生成してもよい。

【符号の説明】

【0087】

１ 画像処理システム
１０ 画像処理装置
１１、６００ 複数の入力画像
１２Ａ 第１の出力画像
１２Ｂ 第２の出力画像
３００ コンピュータ
４０１ 入力部
４０２ 画像生成部
４０３ 判定部
４０４ 通知部
Ａ－１、Ａ－２、Ｂ、Ｃ 変換プロファイル

【先行技術文献】

【特許文献】

【0088】

【特許文献1】特表２０１８－５３７０４６号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】