(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023154753
(43)【公開日】2023-10-20
(54)【発明の名称】デザイン支援装置、デザインを支援する方法、及びコンピュータプログラム
(51)【国際特許分類】
G06V 10/82 20220101AFI20231013BHJP
G06F 3/04845 20220101ALI20231013BHJP
G06F 3/04847 20220101ALI20231013BHJP
G06T 11/80 20060101ALI20231013BHJP
G06T 7/00 20170101ALI20231013BHJP
G06T 1/00 20060101ALI20231013BHJP
G06T 1/40 20060101ALI20231013BHJP
【FI】
G06V10/82
G06F3/04845
G06F3/04847
G06T11/80 A
G06T7/00 350C
G06T1/00 300
G06T1/40
【審査請求】有
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022064305
(22)【出願日】2022-04-08
(71)【出願人】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(74)【代理人】
【識別番号】100160691
【弁理士】
【氏名又は名称】田邊 淳也
(74)【代理人】
【識別番号】100157277
【弁理士】
【氏名又は名称】板倉 幸恵
(72)【発明者】
【氏名】原田 匠
(72)【発明者】
【氏名】堺 浩之
【テーマコード(参考)】
5B050
5B057
5E555
5L096
【Fターム(参考)】
5B050AA03
5B050BA11
5B050BA18
5B050BA20
5B050CA07
5B050DA04
5B050EA09
5B050FA02
5B050FA05
5B050FA12
5B050FA13
5B057AA20
5B057CA12
5B057CA16
5B057CB12
5B057CB16
5B057DC40
5E555AA48
5E555BA02
5E555BA06
5E555BB02
5E555BB06
5E555CA02
5E555CA12
5E555CA18
5E555CA47
5E555CB40
5E555CC03
5E555DA23
5E555DB53
5E555DC13
5E555DC18
5E555DC32
5E555DC35
5E555DC36
5E555DC61
5E555DD11
5E555EA20
5E555FA00
5L096CA22
5L096DA01
5L096HA11
5L096KA04
(57)【要約】
【課題】印象を考慮した画像の生成が可能な技術を提供する。
【解決手段】デザイン支援装置は、初期画像と、画像生成のための条件と、を取得する取得部と、取得された初期画像から、印象を変更した画像の候補である候補画像を生成する画像生成部と、画像生成部により生成された候補画像が条件を満たすまで、画像生成部による候補画像の生成を繰り返し実行させる画像判定部と、条件を満たした候補画像を出力させる出力制御部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
デザイン支援装置であって、
初期画像と、画像生成のための条件と、を取得する取得部と、
取得された前記初期画像から、印象を変更した画像の候補である候補画像を生成する画像生成部と、
前記画像生成部により生成された前記候補画像が前記条件を満たすまで、前記画像生成部による前記候補画像の生成を繰り返し実行させる画像判定部と、
前記条件を満たした前記候補画像を出力させる出力制御部と、
を備える、デザイン支援装置。
【請求項2】
請求項1に記載のデザイン支援装置であって、
前記条件には、画像の印象を規定する印象パラメータについての、パラメータ項目と、項目内容とが含まれ、
さらに、前記パラメータ項目について、前記画像生成部により生成された前記候補画像の印象を予測する印象予測部を備え、
前記画像判定部は、前記印象予測部により予測された前記パラメータ項目についての前記印象が、前記条件において指定された前記パラメータ項目についての前記項目内容を満たす場合に、前記候補画像が前記条件を満たしたと判定する、デザイン支援装置。
【請求項3】
請求項2に記載のデザイン支援装置であって、
前記パラメータ項目には、
喚起される感情の質的な違いを規定する感情価と、
感情が引き起こす身体的及び認知的喚起の程度を規定する覚醒度と、
視覚的に感じる美観の程度を規定する審美性と、
の少なくとも1つ以上が含まれる、デザイン支援装置。
【請求項4】
請求項2または請求項3に記載のデザイン支援装置であって、
前記出力制御部は、前記候補画像に加えてさらに、前記印象予測部により予測された前記印象を出力させる、デザイン支援装置。
【請求項5】
請求項1に記載のデザイン支援装置であって、
前記条件には、さらに、前記候補画像の生成数が含まれ、
前記画像判定部は、さらに、前記条件を満たした前記候補画像が、前記生成数で指定された枚数だけ生成されるまで、前記画像生成部による前記候補画像の生成を繰り返し実行させる、デザイン支援装置。
【請求項6】
請求項1に記載のデザイン支援装置であって、
前記条件には、前記初期画像と前記画像生成部により生成された前記候補画像との間において許容される類似度を表す項目内容が含まれ、
前記画像判定部は、前記画像生成部により生成された前記候補画像の前記初期画像に対する類似度が、前記条件において指定された前記項目内容を満たす場合に、前記候補画像が前記条件を満たしたと判定する、デザイン支援装置。
【請求項7】
デザインを支援する方法であって、情報処理装置が、
初期画像と、画像生成のための条件と、を取得する取得工程と、
取得された前記初期画像から、印象を変更した画像の候補である候補画像を生成する画像生成工程と、
生成された前記候補画像が前記条件を満たすまで、前記画像生成工程による前記候補画像の生成を繰り返し実行させる画像判定工程と、
前記条件を満たした前記候補画像を出力させる出力制御工程と、
を実行する、方法。
【請求項8】
コンピュータプログラムであって、情報処理装置に、
初期画像と、画像生成のための条件と、を取得する取得機能と、
取得された前記初期画像から、印象を変更した画像の候補である候補画像を生成する画像生成機能と、
生成された前記候補画像が前記条件を満たすまで、前記画像生成機能による前記候補画像の生成を繰り返し実行させる画像判定機能と、
前記条件を満たした前記候補画像を出力させる出力制御機能と、
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デザインを支援する技術に関する。
【背景技術】
【0002】
画像(デザイン)を自動的に生成可能な種々の装置が知られている。例えば、特許文献1及び非特許文献1には、利用者が指定した条件(デザインのテイストや、顔画像における所望の属性)に応じて、画像を生成する装置が記載されている。例えば、特許文献2~4には、CycleGAN(Cycle-Consistent Generative Adversarial Networks)を利用して、新規性がある画像や、奇抜な画像を生成する装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-91665号公報
【特許文献2】特開2021-120801号公報
【特許文献3】特開2021-168078号公報
【特許文献4】特開2020-154844号公報
【非特許文献】
【0004】
【非特許文献1】Shradha Agrawal, Shankar Venkitachalam, Dhanya Raghu, Deepak Pai, "Directional GAN: A Novel Conditioning Strategy for Generative Networks", May 13, 2021, arXiv:2105.05712v2.
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、人の感情は、認知機能に大きな影響を及ぼすこと、具体的には、記憶、思考、問題解決、意思決定、注意力等に大きな影響を及ぼすことが知られている。そして、画像は、視覚を通じて人の感情に直接的に作用するため、画像を見た際に人が受ける「印象」を操作することは、画像(デザイン)を自動的に生成する装置において有意である。この点、特許文献1~4、及び非特許文献1に記載の技術では、印象を考慮した画像の生成については何ら考慮されていないという課題があった。
【0006】
本発明は、上述した課題の少なくとも一部を解決するためになされたものであり、印象を考慮した画像の生成が可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、上述した課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【0008】
(1)本発明の一形態によれば、デザイン支援装置が提供される。このデザイン支援装置は、初期画像と、画像生成のための条件と、を取得する取得部と、取得された前記初期画像から、印象を変更した画像の候補である候補画像を生成する画像生成部と、前記画像生成部により生成された前記候補画像が前記条件を満たすまで、前記画像生成部による前記候補画像の生成を繰り返し実行させる画像判定部と、前記条件を満たした前記候補画像を出力させる出力制御部と、を備える。
【0009】
この構成によれば、画像生成部は、取得された初期画像から、印象を変更した画像の候補である候補画像を生成し、画像判定部は、画像生成部により生成された候補画像が条件を満たすまで、画像生成部による候補画像の生成を繰り返し実行させる。すなわち、本構成のデザイン支援装置によれば、条件を満たす候補画像が得られるまで、印象を変更した様々な候補画像が生成されることとなるため、印象を考慮した画像の生成が可能となる。
【0010】
(2)上記形態のデザイン支援装置において、前記条件には、画像の印象を規定する印象パラメータについての、パラメータ項目と、項目内容とが含まれ、さらに、前記パラメータ項目について、前記画像生成部により生成された前記候補画像の印象を予測する印象予測部を備え、前記画像判定部は、前記印象予測部により予測された前記パラメータ項目についての前記印象が、前記条件において指定された前記パラメータ項目についての前記項目内容を満たす場合に、前記候補画像が前記条件を満たしたと判定してもよい。
この構成によれば、画像生成のための条件には、画像の印象を規定する印象パラメータについての、パラメータ項目と、項目内容とが含まれる。このため、印象予測部は、パラメータ項目に沿って候補画像の印象を予測できると共に、画像判定部は、項目内容を用いて候補画像が条件を満たしたか否かを判定できる。この結果、本構成のデザイン支援装置によれば、条件により指定された印象を持つ画像を生成することができる。また、本構成によれば、印象パラメータという、いわゆる心理特性パラメータ(物理特性ではないパラメータ)を編集することで画像が得られるため、「画像のRGB値、色相、彩度、明度等」の物理特性パラメータを編集することで画像を得る周知のソフトウェアと比較して、所望の画像が得られるまでの試行錯誤を必要としないため、利用者の所望の画像が得られるまでの時間が短い。さらに、本構成によれば、周知のソフトウェアと比較して、物理特性パラメータに対する理解(例えば、RGB値をどの程度変更すると、得られる画像がどの程度変化するかといった技術理解)を必要とせず、より直感的な印象パラメータによる画像生成が可能となる。さらに、周知のソフトウェアでは、利用者の所望の画像を得るためには、複数の異なる物理特性パラメータを組み合わせて適用する必要があったが、変更可能な物理特性パラメータの数は膨大であり、パラメータ調整作業が複雑を極めるという課題があった。この点、本構成によれば、周知のソフトウェアにおける上記の課題を有することなく、条件により指定された印象を持つ画像を生成できる。
【0011】
(3)上記形態のデザイン支援装置において、前記パラメータ項目には、喚起される感情の質的な違いを規定する感情価と、感情が引き起こす身体的及び認知的喚起の程度を規定する覚醒度と、視覚的に感じる美観の程度を規定する審美性と、の少なくとも1つ以上が含まれてもよい。
この構成によれば、パラメータ項目には、喚起される感情の質的な違いを規定する感情価と、感情が引き起こす身体的及び認知的喚起の程度を規定する覚醒度と、視覚的に感じる美観の程度を規定する審美性と、の少なくとも1つ以上が含まれるため、利用者は、印象自体(印象そのもの)を条件として指定できる。また、パラメータ項目に感情価が含まれることにより、ポジティブな感情(例えば、快、喜び)を喚起する印象と、ネガティブな感情(例えば、不快、悲しみ)を喚起する印象とを規定できる。また、パラメータ項目に覚醒度が含まれることにより、興奮性を喚起する印象と、鎮静性を喚起する印象とを規定できる。ここで一般に、人の認知機能に影響を及ぼす「感情」は、感情価と覚醒度との2次元で成り立つことが知られている。このため、パラメータ項目に感情価と覚醒度との両方を含むこととすれば、画像を視認した人の感情に対して、より効果的に訴求可能な印象を与えた画像を生成できる。さらに、パラメータ項目に審美性が含まれることにより、画像における美観の程度を規定できる。
【0012】
(4)上記形態のデザイン支援装置において、前記出力制御部は、前記候補画像に加えてさらに、前記印象予測部により予測された前記印象を出力させてもよい。
この構成によれば、出力制御部は、候補画像に加えてさらに、印象予測部により予測された印象を出力させる。このため、利用者は、出力された候補画像を実際に見て感じた印象に加えてさらに、印象予測部による予測結果を考慮できる。この結果、デザイン支援装置の使い勝手をより向上できる。
【0013】
(5)上記形態のデザイン支援装置において、前記条件には、さらに、前記候補画像の生成数が含まれ、前記画像判定部は、さらに、前記条件を満たした前記候補画像が、前記生成数で指定された枚数だけ生成されるまで、前記画像生成部による前記候補画像の生成を繰り返し実行させてもよい。
この構成によれば、画像判定部はさらに、条件を満たした候補画像が、生成数で指定された枚数だけ生成されるまで、画像生成部による候補画像の生成を繰り返し実行させる。この結果、本構成のデザイン支援装置によれば、条件により指定された枚数の画像を生成することができるため、多くの候補画像の生成と提示とによって、使用者の発想を超えた画像(デザイン)を得ることが可能となる。
【0014】
(6)上記形態のデザイン支援装置において、前記条件には、前記初期画像と前記画像生成部により生成された前記候補画像との間において許容される類似度を表す項目内容が含まれ、前記画像判定部は、前記画像生成部により生成された前記候補画像の前記初期画像に対する類似度が、前記条件において指定された前記項目内容を満たす場合に、前記候補画像が前記条件を満たしたと判定してもよい。
この構成によれば、画像生成のための条件には、初期画像と候補画像との間において許容される類似度を表す項目内容が含まれる。このため、画像判定部は、項目内容を用いて候補画像が条件を満たしたか否かを判定できる。この結果、本構成のデザイン支援装置によれば、条件により指定された類似度を持つ画像を生成することができる。
【0015】
なお、本発明は、種々の態様で実現することが可能であり、例えば、デザイン支援装置、情報処理装置、画像生成装置、画像生成表示装置、これら各装置の機能を実現するために情報処理装置において実行される方法、これら各装置を含むシステム、これら各装置やシステムの機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。
【図面の簡単な説明】
【0016】
【
図1】本発明の一実施形態としてのデザイン支援装置の概略図である。
【
図2】画像生成処理の処理手順の一例を示すフローチャートである。
【
図5】第2実施形態のデザイン支援装置の概略図である。
【
図6】第2実施形態の画像生成処理の処理手順の一例を示すフローチャートである。
【
図7】第3実施形態のデザイン支援装置の概略図である。
【発明を実施するための形態】
【0017】
<第1実施形態>
図1は、本発明の一実施形態としてのデザイン支援装置100の概略図である。デザイン支援装置100は、利用者によって指定された条件1及び初期画像2から、条件1に適合し、かつ、初期画像2から印象を変更した画像の候補である候補画像20を生成し、出力させる装置である。デザイン支援装置100は、ネットワークを介して利用者にサービスを提供するサーバ装置として構成され得る。また、所定のアプリケーションが利用者の端末(PCやスマートフォン)にインストールされることにより、利用者の端末がデザイン支援装置100として機能してもよい。以降の例では、デザイン支援装置100がサーバ装置である場合について例示する。
【0018】
デザイン支援装置100は、CPU110と、記憶部120と、通信部130と、ROM/RAM140とを備えており、各部はバスにより相互に接続されている。CPU110は、ROM140に格納されているコンピュータプログラムをRAM140に展開して実行することにより、デザイン支援装置100の各部を制御する。そのほかCPU110は、条件取得部111、画像取得部112、画像生成部113、印象予測部114、画像判定部115、及び出力制御部116としても機能する。
【0019】
条件取得部111は、後述の画像生成処理において、利用者の端末からネットワークを介して、利用者によって指定された条件1を取得する。本実施形態では、条件1には、印象パラメータについての、パラメータ項目と、項目内容とが含まれている。ここで「印象パラメータ」とは、画像を見た際に人が感じる印象(以降「画像の印象」とも呼ぶ)を規定するためのパラメータである。本実施形態では、印象パラメータのパラメータ項目として、以下のa1~a3がすべて含まれる。
(a1)感情価:喚起される感情の質的な違いを規定する尺度。本実施形態では、感情価は、0以上1以下の数値で表され、0に近いほどネガティブな感情(例えば、不快、悲しみ)を表し、1に近いほどポジティブな感情(例えば、快、喜び)を表す。
(a2)覚醒度:感情が引き起こす身体的及び認知的喚起の程度を規定する尺度。本実施形態では、覚醒度は、0以上1以下の数値で表され、0に近いほど鎮静性が高い状態を表し、1に近いほど興奮性が高い状態を表す。
(a3)審美性:視覚的に感じる美観の程度を規定する尺度。本実施形態では、審美性は、0以上1以下の数値で表され、0に近いほど審美性が低い(例えば、醜い)状態を表し、1に近いほど審美性が高い(例えば、美しい)状態を表す。
【0020】
条件1には、
図1に示すように、パラメータ項目a1~a3と共に、各パラメータ項目a1~a3に対応する項目内容が含まれている。
図1の例では、感情価の項目内容として0.7、覚醒度の項目内容として0.5、審美性の項目内容として0.7が指定されている。なお、
図1で示す項目内容はあくまで一例である。このように、条件1のパラメータ項目(a1~a3の各項目そのもの)は、利用者がどのような基準で画像の印象を操作したいかを表す。また、条件1の項目内容(0.7,0.5,0.7)は、パラメータ項目により規定される基準において、どのような印象の画像を得たいかを表す。
【0021】
なお、条件1には、印象パラメータのパラメータ項目a1~a3のいずれかに代えて、下記b1,b2に例示するような他のパラメータ項目と、パラメータ項目b1,b2に対応する項目内容とが含まれてもよい。
(b1)印象度:記憶への残りやすさの程度を規定する尺度。本実施形態では、印象度は、0以上1以下の数値で表され、0に近いほど記憶への残りやすさが低い(例えば、印象が薄い)状態を表し、1に近いほど記憶への残りやすさが高い(例えば、印象的な)状態を表す。
(b2)魅力度:魅了しやすさの程度を規定する尺度。本実施形態では、魅力度は、0以上1以下の数値で表され、0に近いほど人を魅了する力が低い状態を表し、1に近いほど人を魅了する力が高い(例えば、多くの人に好まれる)状態を表す。
【0022】
なお、条件1には、印象パラメータ項目a1~a3,b1,b2、及び、印象パラメータ項目a1~a3,b1,b2に対応する項目内容に加えて、下記c1,c2に例示するような追加条件が含まれていてもよい。
(c1)画像生成数:画像生成処理において出力される画像の数の指定であり、任意の自然数。
(c2)候補画像の類似可否:画像生成処理において複数の候補画像が生成される場合(項目c1が2以上である場合)に、複数の候補画像が相互に類似してもよいか、否かの指定。
【0023】
画像取得部112は、後述の画像生成処理において、利用者の端末からネットワークを介して、利用者によって指定された初期画像2を取得する。初期画像2としては、利用者の任意の画像(例えば、顔写真、風景写真、イラスト等)を指定できる。なお、条件取得部111と画像取得部112とは「取得部」として機能する。
【0024】
画像生成部113は、後述の画像生成処理において、初期画像2を利用して、初期画像2から印象を変更した画像の候補(以降「候補画像」とも呼ぶ)を生成する。印象予測部114は、後述の画像生成処理において、候補画像の印象を予測する。画像判定部115は、後述の画像生成処理において、候補画像が、利用者により指定された条件1を満たすまで、画像生成部113による候補画像の生成を繰り返し実行させる。出力制御部116は、条件1を満たす候補画像20をネットワークを介して送信することにより、利用者の端末に出力させる。画像生成部113、印象予測部114、画像判定部115、及び出力制御部116の処理の詳細は後述する。
【0025】
記憶部120は、フラッシュメモリ、メモリカード、ハードディスク等で構成される。記憶部120には、画像生成モデル121と、印象予測モデル122とが予め記憶されている。画像生成モデル121は、画像を生成するために用いられる学習済モデルであり、例えばGAN(Generative Adversarial Network)により実現されている。印象予測モデル122は、画像の印象を予測するために用いられる学習済モデルである。印象予測モデル122は、画像を入力とし、条件1の印象パラメータ項目a1~a3についての評価値を出力とするニューラルネットワークとして実現できる。
【0026】
通信部130は、他の装置との間における、図示しない通信インターフェースを介した通信を制御する。他の装置には、利用者の端末や、図示しない他のサーバ等が含まれる。なお、デザイン支援装置100は、図示しない入出力部を備えていてもよい。入力部としては、例えば、タッチパネル、キーボード、マウス、音声入力デバイス等を採用できる。出力部としては、例えば、タッチパネル、モニタ、音声出力デバイス等を採用できる。
【0027】
図2は、画像生成処理の処理手順の一例を示すフローチャートである。画像生成処理は、条件1に適合する候補画像20を生成及び出力する処理であり、デザイン支援装置100により実行される。画像生成処理は、任意の契機により開始され得る。例えば、画像生成処理は、利用者の端末にインストールされた所定のアプリケーションの開始を契機として実行されてよい。
【0028】
ステップS10において条件取得部111は、利用者の端末から、ネットワークを介して送信された条件1(上述した、印象パラメータのパラメータ項目及び項目内容)を取得する。ステップS12において画像取得部112は、利用者の端末から、ネットワークを介して送信された初期画像2を取得する。なお、ステップS10とS12とは、実行順序が逆でもよいし、一時(同時)に実行されてもよい。
【0029】
図3は、取得画面の説明図である。
図3(A)は、取得画面の一例を示し、
図3(B)は、取得画面の他の例を示す。ステップS10,S12において条件取得部111は、条件1と、初期画像2とを取得するための取得画面30を、利用者の端末に表示させてもよい。
図3(A)の例では、取得画面30には、印象パラメータ項目a1~a3(感情価、覚醒度、審美性)の各項目内容を利用者が入力するための文字入力ボックス31と、初期画像2を指定するための画像指定ボタン32と、これらの入力内容をデザイン支援装置100へと送信する送信ボタン33と、を含んでいる。
図3(B)の例では、印象パラメータ項目a1~a3(感情価、覚醒度、審美性)の各項目内容を、文字入力ボックス31ではなく、スライダーバー34によって入力可能としている。スライダーバー34を用いれば、より直感的な入力が可能となる。なお、スライダーバーに代えて、択一性のラジオボタン等を用いて、多段階から1つを選択する方式を採用してもよい。
【0030】
ステップS14において画像生成部113は、ステップS12で取得された初期画像2に類似し、かつ、初期画像2から印象を変更した画像の候補(以降「候補画像」とも呼ぶ)を生成する。具体的には、画像生成部113は、初期画像2を用いて、画像生成モデル121の入力変数である潜在変数を推定し、推定した潜在変数を画像生成モデル121に入力する。画像生成部113は、画像生成モデル121から出力された画像(すなわち、入力された潜在変数に応じて初期画像2から印象が変更された画像)を取得し、候補画像とする。なお、潜在変数の推定は、周知の最適化計算により実施できる。
【0031】
ステップS16において印象予測部114は、ステップS14で生成された候補画像の印象を予測する。具体的には、印象予測部114は、生成された候補画像を印象予測モデル122に入力する。上述の通り、印象予測モデル122は、画像を入力とし、条件1の印象パラメータ項目a1~a3についての評価値を出力とするニューラルネットワークである。このため、印象予測部114は、印象予測モデル122から出力された評価値を取得し、この評価値を予測された印象(以降「印象予測結果」とも呼ぶ)とする。
【0032】
ステップS18において画像判定部115は、ステップS16で得られた印象予測結果を用いて、候補画像の画像判定を行う。具体的には、画像判定部115は、ステップS16で得られた印象予測結果(詳細には、印象予測部114により予測された印象パラメータ項目a1~a3についての印象の評価値)が、条件1で指定された印象パラメータ項目a1~a3についての項目内容(
図1の例では、0.7,0.5,0.7)を満たす場合に、候補画像が条件1を満たしたと判定する。ここで、画像判定部115は、印象予測結果が、条件1の項目内容と「一致する場合」に限らず、条件1の項目内容に「近い場合」に、候補画像が条件1を満たしたと判定する。画像判定部115は、印象予測結果と、条件1の項目内容との間の距離情報を用いて、印象予測結果が、条件1の項目内容に近いか否かを判定できる。
【0033】
ステップS20において画像判定部115は、印象予測結果が、条件1の項目内容を満たすか否か(換言すれば、印象予測結果が、条件1の項目内容に近いか否か)を判定する。条件1を満たす場合(ステップS20:OK)、画像判定部115は、候補画像を出力制御部116に送信すると共に、処理をステップS22に遷移させる。一方、ステップS20において条件1を満たさない場合(ステップS20:NG)、画像判定部115は、処理をステップS14に遷移させ、画像生成部113による候補画像の生成、印象予測部114による印象予測、及び画像判定部115による画像判定を繰り返し実行させる。この際、画像判定部115は、印象予測結果と条件1の項目内容との間の距離情報を、画像生成部113に送信(フィードバック)する。画像生成部113は、再度のステップS14において、フィードバックされた距離情報を用いて潜在変数を決定することにより、条件1の項目内容に近づくような候補画像を生成する。
【0034】
ステップS22において出力制御部116は、画像判定部115から取得した候補画像と、印象予測部114から取得した印象予測結果(ステップS16において印象予測部114により予測された印象パラメータ項目a1~a3についての印象の評価値)と、を利用者の端末に送信する。この結果、利用者の端末には、
図1に示すように、候補画像20と印象予測結果10とが出力される。
【0035】
なお、条件1に追加条件c1(画像生成数)が含まれている場合、画像判定部115は、条件1で指定された印象パラメータ項目a1~a3についての項目内容を満たした候補画像が、追加条件c1で指定された枚数だけ生成されるまで、ステップS14~S20を繰り返し実行させればよい。そうすれば、利用者の端末には、
図1に示すように、複数(図示の例では3つ)の、候補画像20と印象予測結果10とが出力される。
【0036】
なお、条件1に追加条件c2(候補画像の類似可否)が含まれている場合、画像判定部115は、条件1で指定された印象パラメータ項目a1~a3についての項目内容を満たした候補画像が、追加条件c1で指定された枚数だけ生成され、なおかつ、各候補画像の類似度が追加条件c2の指定内容に沿うまで、ステップS14~S20を繰り返し実行させればよい。画像判定部115は、画像の類似度を、LPIPS(Learned Perceptual Image Patch Similarity)、特徴点マッチング、ヒストグラム比較などで評価してよい。また、画像判定部115は、ステップS20において、印象予測結果と条件1の項目内容との間の距離情報に加えて、画像間の類似度の評価結果を送信(フィードバック)してよい。
【0037】
図4は、候補画像20の出力態様の一例を示す図である。
図2のステップS22において出力制御部116は、
図4に示すような態様で候補画像20を出力(表示)させてもよい。
図4の例では、円環状のサークル40の中心に、利用者が指定した初期画像2が配置されている。また、サークル40の環の上には、画像生成処理によって生成された複数の候補画像20が配置されている。
図4の例では、追加条件c1に規定された画像生成数=8の場合を例示しており、各画像は、感情価が0に近い(ネガティブ)な候補画像20が環の左側寄りに配置され、感情価が1に近い(ポジティブ)な候補画像20が環の右側寄りに配置されている。なお、
図4の例では、画像に含まれるオブジェクト(太陽や山)の形状は同一であるが、本デザイン支援装置100は、画像に含まれるオブジェクトの形状そのものも変更してよい。
【0038】
以上説明した通り、第1実施形態のデザイン支援装置100によれば、画像生成部113は、取得された初期画像2から、印象を変更した画像の候補である候補画像を生成し、画像判定部115は、画像生成部113により生成された候補画像が条件1を満たすまで、画像生成部113による候補画像の生成を繰り返し実行させる。すなわち、デザイン支援装置100によれば、条件1を満たす候補画像20が得られるまで、印象を変更した様々な候補画像が生成されることとなるため、印象を考慮した画像の生成が可能となる。
【0039】
また、第1実施形態のデザイン支援装置100によれば、画像生成のための条件1には、画像の印象を規定する印象パラメータについての、パラメータ項目a1~a3と、項目内容とが含まれる。このため、印象予測部114は、パラメータ項目a1~a3に沿って候補画像の印象を予測できると共に、画像判定部115は、項目内容を用いて候補画像が条件1を満たしたか否かを判定できる。この結果、デザイン支援装置100によれば、条件1により指定された印象を持つ画像20を生成することができる。また、デザイン支援装置100によれば、印象パラメータという、いわゆる心理特性パラメータ(物理特性ではないパラメータ)を編集することで画像が得られるため、「画像のRGB値、色相、彩度、明度等」の物理特性パラメータを編集することで画像を得る周知のソフトウェアと比較して、所望の画像が得られるまでの試行錯誤を必要としないため、利用者の所望の画像20が得られるまでの時間が短い。さらに、デザイン支援装置100によれば、周知のソフトウェアと比較して、物理特性パラメータに対する理解(例えば、RGB値をどの程度変更すると、得られる画像がどの程度変化するかといった技術理解)を必要とせず、より直感的な印象パラメータによる画像生成が可能となる。さらに、周知のソフトウェアでは、利用者の所望の画像を得るためには、複数の異なる物理特性パラメータを組み合わせて適用する必要があったが、変更可能な物理特性パラメータの数は膨大であり、パラメータ調整作業が複雑を極めるという課題があった。この点、デザイン支援装置100によれば、周知のソフトウェアにおける上記の課題を有することなく、条件により指定された印象を持つ画像20を生成できる。
【0040】
さらに、第1実施形態のデザイン支援装置100によれば、パラメータ項目a1~a3には、喚起される感情の質的な違いを規定する感情価a1と、感情が引き起こす身体的及び認知的喚起の程度を規定する覚醒度a2と、視覚的に感じる美観の程度を規定する審美性a3と、の少なくとも1つ以上が含まれるため、利用者は、印象自体(印象そのもの)を条件1として指定できる。また、パラメータ項目a1~a3に感情価a1が含まれることにより、ポジティブな感情(例えば、快、喜び)を喚起する印象と、ネガティブな感情(例えば、不快、悲しみ)を喚起する印象とを規定できる。また、パラメータ項目a1~a3に覚醒度a2が含まれることにより、興奮性を喚起する印象と、鎮静性を喚起する印象とを規定できる。ここで一般に、人の認知機能に影響を及ぼす「感情」は、感情価a1と覚醒度a2との2次元で成り立つことが知られている。このため、パラメータ項目a1~a3に感情価a1と覚醒度a2との両方を含むこととすれば、画像を視認した人の感情に対して、より効果的に訴求可能な印象を与えた画像20を生成できる。さらに、パラメータ項目a1~a3に審美性a3が含まれることにより、画像における美観の程度を規定できる。
【0041】
さらに、第1実施形態のデザイン支援装置100によれば、出力制御部116は、候補画像20に加えてさらに、印象予測部114により予測された印象(印象予測結果10)を出力させる。このため、利用者は、出力された候補画像20を実際に見て感じた印象に加えてさらに、印象予測部114による印象予測結果10を考慮できる。この結果、デザイン支援装置100の使い勝手をより向上できる。
【0042】
さらに、第1実施形態のデザイン支援装置100によれば、画像判定部115はさらに、条件1を満たした候補画像20が、追加条件c1の生成数で指定された枚数だけ生成されるまで、画像生成部113による候補画像の生成を繰り返し実行させる。この結果、デザイン支援装置100によれば、条件1により指定された枚数の画像20を生成することができるため、多くの候補画像20の生成と提示とによって、使用者の発想を超えた画像(デザイン)を得ることが可能となる。
【0043】
<第2実施形態>
図5は、第2実施形態のデザイン支援装置100Aの概略図である。第2実施形態のデザイン支援装置100Aは、利用者から指定される条件1Aの内容が、第1実施形態とは相違する。第2実施形態のデザイン支援装置100Aは、印象予測部114と印象予測モデル122とを備えておらず、画像判定部115に代えて画像判定部115Aを備え、出力制御部116に代えて出力制御部116Aを備えている。
【0044】
第2実施形態の条件1Aには、印象パラメータに代えて、許容類似度を表す項目内容(0.5)が含まれている。ここで「許容類似度」とは、初期画像2と、画像生成部113により生成された候補画像20との間において許容される類似度を規定するための数値である。本実施形態では、許容類似度は、0以上1以下の数値で表され、0に近いほど初期画像2と候補画像20とが類似し、1に近いほど初期画像2と候補画像20との乖離が大きい。なお、条件1Aには、第1実施形態で説明したと同様に、追加条件c1,c2(画像生成数、候補画像の類似可否)が含まれてよい。
【0045】
図6は、第2実施形態の画像生成処理の処理手順の一例を示すフローチャートである。第2実施形態の画像生成処理では、
図2で説明したステップS16が実行されず、ステップS18~S22に代えて、ステップS18A~S22Aが実行される。
【0046】
ステップS18Aにおいて画像判定部115Aは、候補画像の画像判定を行う。具体的には、画像判定部115Aは、ステップS14で生成された候補画像の、ステップS12で取得された初期画像2に対する類似度が、条件1Aで指定された許容類似度以下である場合に、候補画像が条件1Aを満たしたと判定する。ここで画像判定部115Aは、画像の類似度を、LPIPS(Learned Perceptual Image Patch Similarity)、特徴点マッチング、ヒストグラム比較などで評価できる。
【0047】
ステップS20Aにおいて画像判定部115Aは、候補画像が条件1Aを満たすか否かを判定する。条件1Aを満たす場合(ステップS20A:OK)、画像判定部115Aは、候補画像を出力制御部116Aに送信すると共に、処理をステップS22Aに遷移させる。一方、ステップS20Aにおいて条件1Aを満たさない場合(ステップS20A:NG)、画像判定部115Aは、処理をステップS14に遷移させ、画像生成部113におる候補画像の生成、及び画像判定部115Aによる画像判定を繰り返し実行させる。この際、画像判定部115Aは、候補画像の初期画像2に対する類似度を、画像生成部113に送信(フィードバック)する。画像生成部113は、再度のステップS14において、フィードバックされた距離情報を用いて潜在変数を決定することにより、条件1Aの項目内容に近づくような候補画像を生成する。
【0048】
ステップS22Aにおいて出力制御部116Aは、画像判定部115Aから取得した候補画像を利用者の端末に送信する。この結果、利用者の端末には、
図5に示すように、候補画像20が出力される。なお、
図5の例では、条件1Aに追加条件c1(画像生成数)が含まれた結果、複数(図示の例では3つ)の候補画像20が出力されている。
【0049】
このように、条件1Aには、印象パラメータとは異なる条件が指定されてもよい。また、印象予測部114による候補画像の印象予測は、省略されてもよい。このような第2実施形態のデザイン支援装置100Aによっても、上述した第1実施形態と同様の効果を奏することができる。また、第2実施形態のデザイン支援装置100Aによれば、画像生成のための条件1Aには、初期画像2と候補画像20との間において許容される類似度を表す項目内容が含まれる。このため、画像判定部115Aは、項目内容を用いて候補画像20が条件1Aを満たしたか否かを判定できる。この結果、第2実施形態のデザイン支援装置100Aによれば、条件1Aにより指定された類似度を持つ画像20を生成することができる。
【0050】
<第3実施形態>
図7は、第3実施形態のデザイン支援装置100Bの概略図である。第3実施形態のデザイン支援装置100Bは、利用者から指定された条件1Bに「画像決定条件」が含まれることにより、画像決定条件に応じた初期画像を自動的に生成し取得する。換言すれば、デザイン支援装置100Bでは、利用者から初期画像2の取得をすることなく、候補画像20を生成できる。第3実施形態のデザイン支援装置100Bは、画像取得部112に代えて画像取得部112Bを備えると共に、記憶部120に画像DB123が予め記憶されている。
【0051】
第3実施形態の条件1Bに含まれる画像決定条件は、デザイン支援装置100Bが初期画像を生成するために用いられる条件である。画像決定条件には、初期画像を特徴付ける1つ以上の条件が含まれている。画像決定条件としては、例えば、初期画像に配置されるオブジェクトを指定する条件(人、物、地物等)や、当該オブジェクトの詳細を指定する条件(例えば、人の場合、性別、年齢といった外観上の特徴)が含まれ得る。
【0052】
画像DB123には、画像取得部112Bが画像を生成、取得するために用いるデータベースである。画像DB123には画像を生成するための種々のデータが、種々の態様で格納されている。具体的には、画像DB123には、画像そのものが多数記憶されていてもよい。また、画像DB123には、画像を構成するための、オブジェクトを表すレイヤー画像や、背景を表すレイヤー画像が多数記憶されていてもよい。
【0053】
画像生成処理(
図2)のステップS12において、画像取得部112Bは、ステップS10で取得された条件1Bの画像決定条件を用いて画像DB123を検索し、画像DB123に記憶されている画像やレイヤー画像を用いて、初期画像2を生成する。このようにすれば、利用者は初期画像2を準備する必要がなく、どのような画像を初期画像としたいかを画像決定条件により指定すればよいため、使い勝手を向上できる。このような第3実施形態のデザイン支援装置100Bによっても、上述した第1実施形態と同様の効果を奏することができる。
【0054】
<本実施形態の変形例>
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。そのほか、例えば次のような変形も可能である。
【0055】
[変形例1]
上記実施形態では、デザイン支援装置100,100A,100Bの構成の一例を示した。しかし、デザイン支援装置100の構成はあくまで一例であり、任意の態様を採用できる。例えば、デザイン支援装置100の機能は、複数のサーバ装置が協働することにより実現されてもよい。具体的には、条件取得部111~出力制御部116のうちの少なくとも一部があるサーバにより実行され、他の一部が別のサーバにより実行されてもよい。また、利用者の端末としては、ナビゲーション専用装置、ゲーム機、ウェアラブルデバイス等の種々の装置を採用できる。
【0056】
[変形例2]
上記実施形態では、画像生成処理の処理手順の一例を例示した。しかし、これら処理手順は種々の変更が可能であり、各ステップにおける処理内容の追加/省略/変更をしてもよく、ステップ(手順)の実行順序を変更してもよい。
【0057】
例えば、
図2の画像生成処理のステップS22において、印象予測結果10の出力は省略してもよい。例えば、
図2,6のステップS22,S22Aにおいて、候補画像20に加えてさらに、他の情報を出力してもよい。他の情報としては、例えば、ステップS18により求められた距離情報(印象予測結果と、条件1の項目内容との間の距離情報)や、条件1を満たさず不採用とされた候補画像を利用できる。
【0058】
[変形例3]
上記第1~3実施形態のデザイン支援装置100,100A,100Bの構成、及び上記変形例1,2のデザイン支援装置100,100A,100Bの構成は、適宜組み合わせてもよい。例えば、第1実施形態で説明した条件1と、第2実施形態で説明した条件1Aと、を両方満足する候補画像を生成するように、デザイン支援装置100を構成してもよい。例えば、第2実施形態のデザイン支援装置100Bにおいて、第3実施形態で説明した初期画像の自動生成を採用してもよい。
【0059】
以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。
【0060】
本発明は、以下の形態としても実現することが可能である。
[適用例1]
デザイン支援装置であって、
初期画像と、画像生成のための条件と、を取得する取得部と、
取得された前記初期画像から、印象を変更した画像の候補である候補画像を生成する画像生成部と、
前記画像生成部により生成された前記候補画像が前記条件を満たすまで、前記画像生成部による前記候補画像の生成を繰り返し実行させる画像判定部と、
前記条件を満たした前記候補画像を出力させる出力制御部と、
を備える、デザイン支援装置。
[適用例2]
適用例1に記載のデザイン支援装置であって、
前記条件には、画像の印象を規定する印象パラメータについての、パラメータ項目と、項目内容とが含まれ、
さらに、前記パラメータ項目について、前記画像生成部により生成された前記候補画像の印象を予測する印象予測部を備え、
前記画像判定部は、前記印象予測部により予測された前記パラメータ項目についての前記印象が、前記条件において指定された前記パラメータ項目についての前記項目内容を満たす場合に、前記候補画像が前記条件を満たしたと判定する、デザイン支援装置。
[適用例3]
適用例1または適用例2に記載のデザイン支援装置であって、
前記パラメータ項目には、
喚起される感情の質的な違いを規定する感情価と、
感情が引き起こす身体的及び認知的喚起の程度を規定する覚醒度と、
視覚的に感じる美観の程度を規定する審美性と、
の少なくとも1つ以上が含まれる、デザイン支援装置。
[適用例4]
適用例1から適用例3のいずれか一項に記載のデザイン支援装置であって、
前記出力制御部は、前記候補画像に加えてさらに、前記印象予測部により予測された前記印象を出力させる、デザイン支援装置。
[適用例5]
適用例1から適用例4のいずれか一項に記載のデザイン支援装置であって、
前記条件には、さらに、前記候補画像の生成数が含まれ、
前記画像判定部は、さらに、前記条件を満たした前記候補画像が、前記生成数で指定された枚数だけ生成されるまで、前記画像生成部による前記候補画像の生成を繰り返し実行させる、デザイン支援装置。
[適用例6]
適用例1から適用例5のいずれか一項に記載のデザイン支援装置であって、
前記条件には、前記初期画像と前記画像生成部により生成された前記候補画像との間において許容される類似度を表す項目内容が含まれ、
前記画像判定部は、前記画像生成部により生成された前記候補画像の前記初期画像に対する類似度が、前記条件において指定された前記項目内容を満たす場合に、前記候補画像が前記条件を満たしたと判定する、デザイン支援装置。
[適用例7]
デザインを支援する方法であって、情報処理装置が、
初期画像と、画像生成のための条件と、を取得する取得工程と、
取得された前記初期画像から、印象を変更した画像の候補である候補画像を生成する画像生成工程と、
生成された前記候補画像が前記条件を満たすまで、前記画像生成工程による前記候補画像の生成を繰り返し実行させる画像判定工程と、
前記条件を満たした前記候補画像を出力させる出力制御工程と、
を実行する、方法。
[適用例8]
コンピュータプログラムであって、情報処理装置に、
初期画像と、画像生成のための条件と、を取得する取得機能と、
取得された前記初期画像から、印象を変更した画像の候補である候補画像を生成する画像生成機能と、
生成された前記候補画像が前記条件を満たすまで、前記画像生成機能による前記候補画像の生成を繰り返し実行させる画像判定機能と、
前記条件を満たした前記候補画像を出力させる出力制御機能と、
を実行させる、コンピュータプログラム。
【符号の説明】
【0061】
1,1A,1B…条件
2…初期画像
10…印象予測結果
20…候補画像
30…取得画面
31…文字入力ボックス
32…画像指定ボタン
33…送信ボタン
34…スライダーバー
40…サークル
100,100A,100B…デザイン支援装置
110…CPU
111…条件取得部
112,112B…画像取得部
113…画像生成部
114…印象予測部
115,115A…画像判定部
116,116A…出力制御部
120…記憶部
121…画像生成モデル
122…印象予測モデル
130…通信部
140…ROM/RAM