【文献】
芝田 隆広,金銀銅ツール2010,ネトラン 第4巻 第1号,日本,株式会社にゅーあきば,2010年 1月 1日,p.31〜33
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
本発明は、プロセス、装置、システム、合成物、コンピュータ読み取り可能なストレージ媒体に実装されたコンピュータプログラム製品、並びに/又は結合先のメモリに記憶された命令及び/若しくは結合先のメモリによって提供される命令を実行するように構成されるプロセッサなどのプロセッサのような、数々の形態で実現することができる。本明細書では、これらの実現形態、又は本発明がとりえるその他のあらゆる形態が、技術と称されてよい。総じて、開示されたプロセスのステップの順序は、本発明の範囲内で変更されてよい。別途明記されない限り、タスクを実施するように構成されるものとして説明されるプロセッサ又はメモリなどのコンポーネントは、所定時にタスクを実施するように一時的に構成される汎用コンポーネントとして、又はタスクを実施するように製造された特殊コンポーネントとして実装されてよい。本明細書で使用される「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成される1つ以上のデバイス、回路、並びに/又は処理コアを言う。
【0015】
本発明の原理を例示す添付の図面とともに、以下で、本発明の1つ以上の実施形態の詳細な説明が提供される。本発明は、このような実施形態との関わりのもとで説明されるが、いずれの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定され、本発明は、数々の代替形態、変更形態、及び均等物を網羅している。以下の説明では、本発明の完全な理解を与えるために、数々の具体的詳細が明記されている。これらの詳細は、例示を目的として提供され、本発明は、これらの詳細の一部又は全部を伴わずとも、特許請求の範囲にしたがって実施されえる。明瞭さを期するために、本発明に関係する技術分野で知られる技術要素は、本発明が不必要に不明瞭とならないように、詳細な説明を省略されている。
【0016】
検索のフィルタ処理のために画像品質を分析する方法が開示される。前景及び背景を決定するために、画像が分析される。決定された前景及び背景に基づいて、画像から特性パラメータが抽出される。一部の実施形態では、特性パラメータには、背景複雑性、平均勾配値、前景−背景コントラスト、鮮明度、及びターゲットサイズがある。画像品質計算モデルを使用し、特性パラメータに基づいて、画像品質スコアが算出される。一部の実施形態では、画像品質計算モデルは、予めトレーニングされた機械学習モデルである。一部の実施形態では、画像品質計算モデルは、サポートベクトルマシンである。一部の実施形態では、画像品質計算モデルから画像品質スコアが作成される。
【0017】
一部の実施形態では、画像品質スコアは、検索される画像について算出される。一部の実施形態では、ユーザが検索クエリを入力する。画像を含む検索結果が得られる。画像を含む検索結果は、画像に関連する画像品質スコアにしたがってランク付けされる又はフィルタ処理される。例えば、ユーザが、電子商取引ウェブサイト上で製品を検索し、その製品の検索は、特定の品質を有する製品画像をともなう製品のみが示されるようにフィルタ処理される。
【0018】
図1は、検索のフィルタ処理のために画像品質を分析するためのシステムのための環境の一実施形態を示す図である。クライアント110上のユーザが、(インターネット又はプライベートネットワークなどのネットワークを通じて)サーバ112に画像をアップロードする。一部の実施形態では、クライアント110が、画像の品質を分析する。一部の実施形態では、サーバ112が、画像の品質を分析する。一部の実施形態では、画像品質は、画像の特性に応じた画像の品質のスコアとして表される。
【0019】
一部の実施形態では、ユーザは、サーバ112によって運営される電子商取引ウェブサイトで製品を販売している店主であり、サーバ112によって運営されるウェブサイトに製品の画像をアップロードする。一部の実施形態では、クライアント110上のユーザは、サーバ112にクエリをサブミットし、サーバ112は、画像を含む検索結果を返す。一部の実施形態では、サーバは、画像の画像品質スコアに基づいて検索結果をランク付けする又はフィルタ処理する。一部の実施形態では、ユーザは、クライアント110上の買い物客であり、サーバ112によって運営される電子商取引ウェブサイトで提供されている製品を探している。一部の実施形態では、買い物客は、製品を検索するためにサーバ112にクエリをサブミットし、サーバ112は、製品画像の画像品質スコアによってランク付けされた又はフィルタ処理された製品画像を含む検索結果を返す。より良い写真を電子商取引ウェブサイト上にアップロードした店主がウェブ検索において推奨され、また、より優れた検索経験が買い手に与えられるように、サーバ112上の検索エンジンは、例えば、検索結果をランク付けするときに画像品質スコアを考慮に入れる。画像品質分析のその他の応用も使用可能である。
【0020】
様々な実施形態において、クライアント110は、サーバ112と通信しているコンピュータ、ラップトップ、若しくはスマートフォン、タブレット、カメラ、スキャナなどのモバイル機器、又は画像を取得する及び/若しくは作成することができるその他の適切な機器のうちの1つ以上であってよい。一部の実施形態では、クライアント110は、インターネット、LAN、WiFi、携帯電話用データネットワーク(例えば3G若しくはLTE若しくはWiMax)を通じて、又は近距離通信を通じて、又はその他の任意の適切な接続を通じてサーバ112と通信している。
【0021】
図2は、画像品質を分析される代表的な画像を示す図である。画像210及び画像212は、画像品質が分析される画像の一例を示している。画像210は、前景にある白い容器に入った「ビタミンC」製品と、背景とを描いている。画像212は、前景にあるグレーの容器に入った「ビタミンC」製品と、グレーにテクスチャ加工された背景とを示している。一部の実施形態では、画像210は、前景と背景との間のコントラストが高く、写真のなかの製品のサイズが大きいゆえに、より高い画像品質を有すると見なされ、画像212は、背景がテクスチャ加工されていて複雑であり、背景と前景との間のコントラストが低く、画像のサイズと比較して製品のサイズが小さいゆえに、より低い画像品質を有すると見なされる。
【0022】
図3Aは、検索のフィルタ処理のために画像品質を分析するための方法の一実施形態を示すフローチャートである。
図1のサーバ112によって、300の少なくとも一部が実施される。一部の実施形態では、
図1のクライアント110によって、300の一部が実施される。
【0023】
ステップ310では、検索クエリが受信される。一部の実施形態では、クライアント上のユーザが、検索クエリを入力し、当該クエリは、クライアントによって受信され、サーバに送られる。サーバは、検索クエリを受信する。一部の実施形態では、サーバは、ユーザによって作成されたものではない(例えば、別の検索エンジン、サーバ、又はウェブクローラによって作成された)検索クエリを受信する。
【0024】
ステップ312では、画像を含む一連の検索結果が受信される。一部の実施形態では、検索クエリを受信するサーバが、画像を含む一連の検索結果も取得する。
【0025】
ステップ314では、画像に関連する画像品質スコアが決定される。一部の実施形態では、サーバは、画像を含む各検索結果に関連する画像品質スコアも取得する。一部の実施形態では、画像品質スコアは、事前に算出され、画像とともに記憶されている。したがって、検索結果を取得するときに、関連する画像品質スコアも取得される。一部の実施形態では、検索結果は、データベースの中の、画像が関連付けられているオブジェクトであり、画像品質スコアは、オブジェクトとともに記憶されている。一部の実施形態では、画像がサーバにアップロードされるときに、画像品質スコアが算出され、画像に関連付けられる。例えば、電子商取引ウェブサイト上に製品を掲載する店主が、製品の写真をウェブサイトにアップロードし、そのアップロードの際に、画像品質スコアが算出される。一部の実施形態では、検索のために画像のデータベースが用意され、各画像について画像品質スコアが算出され、画像に関連付けられる。例えば、電子商取引ウェブサイト検索ツールに、高品質の製品画像を上位に置く特徴が追加され、製品情報及び製品画像を含む製品データベースは、画像品質スコアを含むように処理される。
【0026】
一部の実施形態では、サーバは、検索結果を取得するのと同時に画像品質スコアを算出する。一部の実施形態では、サーバは、前もって画像品質スコアを算出する。
【0027】
ステップ316では、画像を含む一連の検索結果が、画像に関連する画像品質スコアに基づいてランク付けされる又はフィルタ処理される。一部の実施形態では、サーバが、画像品質スコアを使用して、画像を含む一連の検索結果をランク付けする又はフィルタ処理する。一部の実施形態では、クライアントが、画像品質スコアを使用して、画像を含む一連の検索結果をランク付けする又はフィルタ処理する。
【0028】
一部の実施形態では、検索結果に画像を含めることが、画像品質スコアに基づく。例えば、一連の検索結果は、各画像に関連する画像品質スコアに基づいてフィルタ処理され、所定の閾値未満の画像品質スコアを有する検索結果は、示されない、すなわち、ユーザに提示される検索結果のリストに含められない。
【0029】
図3Bは、画像の画像品質スコアを算出する一実施形態を示すフローチャートである。一部の実施形態では、プロセス320は、検索結果を取得するときに314を実行に移すために使用される。一部の実施形態では、プロセス320は、検索のために画像が前処理されるときに実施される。一部の実施形態では、画像は、製品データベースにアップロードされるときに、検索のために前処理される。
【0030】
ステップ321では、画像の前景及び背景が決定される。画像は、画像品質が分析されている画像である。一部の実施形態では、前景は、物体を含む。背景は、画像のうち、前景を含まない部分である。例えば、製品画像の前景は、製品であり、背景は、製品画像の場面設定(例えば、均一色の背景幕)である。
【0031】
ステップ322では、画像の特性パラメータが決定される。一部の実施形態では、特性パラメータは、背景複雑性、平均勾配値、前景/背景コントラスト、鮮明度の測定値、及び前景サイズのうちの1つ以上を含む。
【0032】
ステップ324では、少なくとも一部には特性パラメータに基づいて、画像品質スコアが算出される。一部の実施形態では、画像品質スコアは、予めトレーニングされた画像品質計算モデルを使用して算出される。一部の実施形態では、画像品質計算モデルは、サポートベクトルマシン(SVM)である。サポートベクトルマシンは、機械学習モデルの一種である。一部の実施形態では、SVMは、トレーニング画像のセットを使用して予めトレーニングされている。
【0033】
一部の実施形態では、画像品質計算モデルは、トレーニング画像のセットを選択することによって、及び画像品質スコアなどの画像品質計算モデルからの出力結果を各トレーニング画像について設定することによって予めトレーニングされている。各トレーニング画像から特性パラメータが抽出され、画像品質計算モデルへの入力として使用され、結果得られた画像品質スコアが用途に適した尺度にしたがって設定され、そうして画像品質計算モデルがトレーニングされる。したがって、同様の特性パラメータをともなうトレーニング画像に類似した画像が画像品質計算モデルに入力されたときは、その画像品質計算モデルの出力は、トレーニング画像について事前に決定された画像品質スコアと同様の画像品質スコアである。例えば、背景とのコントラストに優れた大きいシャンプー容器のトレーニング画像が選択され、高スコア89を有するように設定される。別のラップトップコンピュータのトレーニング画像はコントラストが低く、製品の画像が小さいので、そのラップトップの画像は、スコア70を有するように設定される。これらの画像及びその他の画像は、画像品質計算モデルをトレーニングするために、画像品質計算モデルに供給される。したがって、シャンプー容器の画像に似た同様の特性パラメータを有する画像は、89に類似したスコアを受信し、ラップトップコンピュータに似た画像は、70という低いスコアに終わる。一部の実施形態では、トレーニング画像の選択、及び各トレーニング画像についての画像品質スコアは、画像品質システム管理者によって設定される。
【0034】
一部の実施形態では、画像品質スコアは、0から100までの尺度である。一部の実施形態では、画像品質スコアは、0から1までの尺度である。一部の実施形態では、画像品質スコアは、1から10までの尺度に設定される。画像品質スコアの用途に適した任意の尺度も使用可能である。一部の実施形態では、画像品質スコアは、画像品質計算モデルによって特定の尺度で算出され、次いで、異なる尺度を得るために定数で乗算される。
【0035】
図4は、画像の前景及び背景を決定する一実施形態を示すフローチャートである。一部の実施形態では、プロセス400は、
図3Bのステップ321を実行に移すために使用される。
【0036】
ステップ410では、画像の外枠ゾーンが決定される。画像は、品質が分析されるべき画像である。一部の実施形態では、外枠ゾーンは、画像の全辺における画像の各縁から所定の境界ゾーンを取ることによって決定される。例えば、画像の全ての縁から面積比にしてターゲット画像の20%が外枠ゾーンとして取られる。大半の写真は、なかでも特に製品画像は、画像の中心に前景すなわち製品が位置していると想定される。一部の実施形態では、画像の縁から所定の距離までが、外枠ゾーンとして取られる。
【0037】
総じて、外枠ゾーンに含まれる画像は、主に、背景から形成された画像であり、画像の背景部分は、総じて、より単色系であり、要するに、外枠ゾーンは、より高い平坦性を有する。したがって、外枠ゾーンに対してなされる後続のステップを通じて、画像全体の背景ゾーンの主要な色及び背景ゾーンのシードゾーンを決定し、それらシードゾーンの拡張を通じて、最終的に背景ゾーン全体を得ることが可能である。つまり、背景ゾーン及び前景ゾーンを決定することが可能である。
【0038】
412では、所定の数(n1)の色ゾーンを得るために、外枠ゾーンの画素がクラスタ化される。一部の実施形態では、画素は、色タイプで(例えば、画素のRGB値にしたがって)カテゴリ分けされ、次いで、2つの異なる色タイプの中央値(又は相加平均値(mean))の間の色ベース距離(すなわち、RGB色値を使用して測定されたユークリッド距離)を決定すること、及び2つの色タイプの間の色ベース距離が所定の閾値未満の場合には色タイプを1つのグループにまとめることを繰り返すことによって、複数の色ゾーンにクラスタ化される。クラスタ化プロセスは、(同じ値の画素が同じ色タイプに属するように)色タイプによって分類された個々の画素から開始して、外枠ゾーン内において2つの異なる色ゾーン又は色タイプの間の画素の最大色距離が閾値以上であるように色ゾーンが形成されるまで続けられる。不連続な幾つかの色領域が、同じ色ゾーンに属することができる。
【0039】
ステップ414では、外枠ゾーンに対する各色ゾーンの面積比が決定される。色ゾーンの面積比を得るために、各色ゾーンの面積は、ステップ410で決定された外枠ゾーンの面積で除算される。
【0040】
ステップ416では、面積比閾値を超える第2の複数の色ゾーンが決定される。一部の実施形態では、面積比閾値は、事前に決定される。次いで、外枠ゾーンの色ゾーンのなかから、所定の面積比閾値を超える第2の複数の色ゾーンが決定される。一部の実施形態では、第2の複数の色ゾーンの色ゾーンの数は、n2として記される。
【0041】
ステップ418では、第2の複数の色ゾーンの各色ゾーンの色平坦度の値が決定される。色ゾーンのばらつき(すなわち、色値の差の測定値)が、色平坦度の測定値として使用される。
【0042】
ステップ420では、第2の複数の色ゾーンの中から、色平坦度閾値を超える色平坦度をそれぞれ有するシードゾーンのセットが決定される。このようなシードゾーンの数は、n3として記される。一部の実施形態では、決定されたシードゾーンのセットは、外枠ゾーンと比較して最も高い平坦度と最も高い面積比とを有する色ゾーンを含んでいる。シードゾーンのセットは、背景の色ゾーンを表している(すなわち、外枠ゾーンのみを含むのではない)と見なされる。
【0043】
ステップ422では、シードゾーンは、画像の背景を得るために拡張される。一部の実施形態では、シードゾーンの拡張は、隣接する画素が所定の距離未満の色ベースユークリッド距離を有するかどうかを決定することを含む。一部の実施形態では、所定の距離は、画像の標準偏差の倍数である。隣接画素からシードゾーンまでが所定の距離未満である場合は、その隣接画素は、シードゾーンに加えられる。シードゾーンと隣接シードゾーンの画素との間の色ベースのユークリッド距離が所定の距離を超えるまで、プロセスは繰り返され、隣接画素がシードゾーンに加えられる。一部の実施形態では、所定の距離は、0から1までに及ぶ画像標準偏差の倍数である。例えば、色ベースユークリッド距離の所定の距離は、0.5画像標準偏差である。
【0044】
一部の実施形態では、隣接画素が、背景からシードゾーンに加えられる(すなわち、ステップ410で決定された外枠ゾーンよりも大きくなる)。外枠ゾーンからシードゾーンを成長させた後に、背景全域が得られる。画像が複雑であるほど画像の標準偏差は大きいので、シードゾーンの成長も大きくなる。
【0045】
ステップ424では、画像の前景が決定される。一部の実施形態では、前景は、画像のうち、ステップ420で決定された背景に含まれない部分である。
【0046】
図5は、画像品質の分析で使用される又は決定されるデータの一実施形態を示すブロック図である。画像510から、
図4のプロセス400によって前景及び背景512が決定され、次いで、特性パラメータ520が決定され、少なくとも一部には当該特性パラメータに基づいて画像品質スコアが決定される(例えば、
図3Bのステップ324)。
【0047】
画像510は、画像品質を分析されるべき画像である。前景及び背景512は、画像510から決定される。背景複雑性、前景/背景コントラスト、鮮明度、及びターゲットサイズのうちの1つ以上を含む特性パラメータ520が、画像510と、決定された前景及び背景(例えば512)とを使用して決定される。
【0048】
一部の実施形態では、特性パラメータの1つに、背景複雑性522が含まれる。背景複雑性は、画像の背景の無秩序性を表すために使用される。一部の実施形態では、背景複雑性には、背景の平均勾配値が含まれる。平均勾配が高いほど、背景は複雑である。一部の実施形態では、背景複雑性は、以下によって算出される。
【0049】
1.勾配の大きさのグラフGを得るために、画像の背景にSobel演算子を適用する。
【0050】
2.勾配の大きさの合計を得るために、勾配の大きさのグラフを足し合わせる。
【0051】
3.画像の背景複雑性を表す平均勾配Tを得るために、勾配の大きさの合計を画素の数Pnで除算する。
【0053】
Tを平均勾配値、Sgを勾配の大きさの合計、Pnを画素の数として、T=Sg/Pnである。
【0054】
一部の実施形態では、Sobel演算子は、背景のみならず、画像全域にも適用されるが、背景複雑性Tでは、背景領域のなかの画素のみが足し合わされ、計算に入れられる。
【0055】
一部の実施形態では、特性パラメータの1つに、前景−背景コントラスト524が含まれる。前景−背景コントラスト524は、背景と比較した前景のコントラストの強さを反映させるために使用される。
【0056】
一部の実施形態では、前景−背景コントラスト524を算出する方法は、以下を含む。
【0057】
1.前景色ゾーンを決定し、各前景色ゾーンの面積と前景の面積との間の面積比を算出する。
【0058】
一部の実施形態では、前景色ゾーンの決定は、n個の色タイプを得るために、決定された前景のなかの画素をクラスタ化することを含む。一部の実施形態では、画素をクラスタ化する方法は、
図4のプロセス400における、背景を決定するための方法と同様である。
【0059】
一部の実施形態では、各前景色ゾーンの面積と前景の面積との間の面積比Aiの算出は、各前景色ゾーンの面積を決定することと、それを前景の面積で除算することとを含む(ここで、iは、1から、前景のなかの色タイプの数又は色ゾーンの数であるnまでの指数である)。一部の実施形態では、面積比では、同じ色の前景色ゾーンがあわせて数えられ、それらの面積が足し合わされる。一部の実施形態では、各前景色ゾーンは、色タイプにかかわらず、個別に数えられる。
【0060】
2.背景色ゾーンを決定し、各背景色ゾーンの面積と前景の面積との間の面積比を算出する。
【0061】
一部の実施形態では、背景色ゾーンの決定は、m個の色タイプを得るために、決定された背景のなかの画素をクラスタ化することを含む。一部の実施形態では、背景の中の画素のクラスタ化は、
図4のプロセス400で成されたクラスタ化と同様である。一部の実施形態では、
図4のステップ412で決定された色ゾーンが、背景色ゾーンとして使用され、
図4のステップ412で決定された色ゾーンの数が、色タイプの数mである。一部の実施形態では、背景のなかの画素は、
図4のプロセス400で背景を決定するときとは異なる数の色ゾーンにクラスタ化され、したがって、mは、色ゾーンの数であることも可能である。
【0062】
一部の実施形態では、各背景色ゾーンの面積と前景の面積との間の面積比Djの算出は、各背景色ゾーンの面積を決定することと、それを前景の面積で除算することとを含む(ここで、jは、1から、背景の中の色タイプの数又は色ゾーンの数であるmまでの指数である)。一部の実施形態では、面積比を算出するときに、同じ色タイプ(例えば緑と黄緑)の背景色ゾーンが同じ色ゾーンとして数えられ、それらの面積が足し合わされる。
【0063】
3.各前景色ゾーンと各背景色ゾーンとの間のユークリッド色ベース距離Lijを算出する。一部の実施形態では、ユークリッド色ベース距離は、カラースケース(例えば、RGB、CYM、色相/彩度/明度、色相/彩度/輝度)上における2つの色ゾーンの色の間の距離である。
【0064】
4.ユークリッド色ベース距離と、面積比Ai(すなわち、前景面積に対する前景色ゾーンの面積比)と、面積比Dj(すなわち、前景面積に対する背景色ゾーンの面積比)とに基づいて、前景−背景コントラストMを決定する。
【0067】
ここで、Mは、前景−背景コントラストであり、Lijは、各前景色ゾーンと各背景色ゾーンとの間のユークリッド色ベース距離であり、Aiは、前景の面積に対する前景色ゾーンの面積比であり、iは、1から、前景の中の色ゾーン又は色タイプの数であるnまでの指数であり、Djは、前景の面積に対する背景色ゾーンの面積比であり、jは、1から、背景の中の色タイプ又は色ゾーンの数であるmまでの指数である。
【0068】
一部の実施形態では、特性パラメータの1つに、鮮明度526が含まれる鮮明度526は、画像の空間解像度の測定値である。一部の実施形態では、鮮明度は、以下のように決定される。
【0069】
1.前景の画素値Riを、所定のサイズのブロックに分割する。一部の実施形態では、所定のサイズは、Nの長さ及び幅(例えばN×Nのブロック)を有し、Mは、画像のなかのブロックの総数であり、iは、1からMまでの指数である。一部の実施形態では、Nは、画像のサイズに比例する。画像が大きい場合には、Nは、大きくなるように選ばれる。画像が小さい場合には、Nもまた、小さくなるように選ばれる。
【0070】
2.各ブロックについてDCT係数行列Ciを得るために、各ブロックの画素値Riに対して離散コサイン変換(DCT)を実施する(ここで、iは、1から、画像のなかのブロックの総数であるMまでの指数である)。
【0071】
3.画像の中のブロックについて、DCT係数行列Ciに基づいてヒストグラム行列Hを作成する。行列Hの各指数の値を決定するための式は、以下のとおりである。
【0073】
ここで、iは、1から、画像の中のブロックの数であるMまでの指数であり、Ci(k)は、i番目のブロックのDCT係数行列Ciの中のk番目の要素の値であり、Nは、ブロックのサイズであり、DCT
minは、既定の閾値である。
【0074】
ヒストグラム行列Hは、N×N個の要素を有する行列であり、各要素の値は、式2を使用して算出され、Hkでは、ブロックの、所定のDCT
minよりも大きいDCT係数Ci(k)のみが足し合わされる。
【0075】
4.加重行列Wと、各ブロックのヒストグラムとを使用して、前景の鮮明度を算出する。式は、以下のとおりである。
【0077】
ここで、V
maxは、所定の閾値である。W(k)及びHkは、指数kによって関係付けられる。式3における不等式もまた、条件である。条件H(k)>V
max×H0を満たすk番目の要素について、対応するW(k)がSに加算される。Sは、鮮明度であり、これは、条件H(k)>V
max×H0を満たすW(k)要素の和である。
【0078】
加重行列Wの行及び列の数は、ブロックのサイズである値Nに関係付けられる。例えば、N=8の場合における、8×8加重行列Wの一例を、表1に示す。
【表1】
【0079】
一部の実施形態では、特性パラメータの1つに、前景サイズ528が含まれる。前景サイズ528は、画像全体に対する前景の比を反映させるために使用される。一部の実施形態では、前景サイズ528は、画像の面積に対する前景面積の面積比として表される。一部の実施形態では、前景サイズは、前景の長さ及び幅として表される。一部の実施形態では、前景の長さ及び幅は、前景を取り巻く最小囲み矩形の長さ及び幅である。
【0080】
画像の特性パラメータが決定されたら、それらは、画像の品質スコアを計算するために、予めトレーニングされた品質計算モデルに入力される。品質スコアは、検索結果のランク付け及びフィルタ処理を助けるために、プロセス300などのプロセスによって使用される。
【0081】
図6は、上述された画像品質分析方法に対応する画像品質分析システムの一実施形態を示すブロック図である。システムは、画像のターゲットゾーン及び背景ゾーンを決定するように構成された決定ユニット410と、上記ターゲットゾーン及び/又は背景ゾーンに基づいて特性パラメータを算出するように構成された第1の計算ユニット420と、算出された特性パラメータを既定の品質計算モデルのための入力値として取り、上記特性パラメータに対応する画像品質分析結果を算出するように構成された第2の計算ユニット430とを含む。
【0082】
図7は、システム600の決定ユニット610の一実施形態を示すブロック図である。図に示されるように、ユニット610は、画像に対して既定の面積比の外枠ゾーンを決定するように構成された第1の決定サブユニット510と、既定のn1個の色タイプの色ゾーンを得るために外枠ゾーンに対してクラスタ化を実施するように構成されたクラスタ化ユニット520と、上記n1個の色タイプの色ゾーンにしたがって背景ゾーンのシードゾーンを決定するように構成された第2の決定サブユニット530と、シードゾーンを中心ととらえ、該シードゾーンに隣接する全ての画素と隣接シードゾーンのなかの画素との間の色ベースユークリッド距離が画像標準偏差の既定の倍数よりも大きくなるまで、シードゾーンに隣接する各画素と隣接シードゾーンのなかの画素との間の色ベースユークリッド距離が画像標準偏差の既定の倍数以下であることが確認されたときにそれらの画素をシードゾーンに加えるように構成された成長サブユニット540と、全てのシードゾーンを画像の背景ゾーンとして、そして全てのシードゾーン以外のゾーンを画像ターゲットゾーンとしてとらえるように構成された第3の決定サブユニット550とを含む。
【0083】
好ましくは、
図7に示されるように、第2の決定サブユニット730は、n1個の色タイプの各色ゾーンの、外枠ゾーンに対する面積比を算出し、面積比が面積比閾値を超えるn2個の色タイプの色ゾーンを選択するように構成された第1の計算サブモジュール5301と、n2個の色タイプの各色ゾーンのゾーン平坦度を算出し、平坦度が平坦度閾値を超えるn3個の色タイプの色ゾーンを選択し、それらのn3個の色タイプの色ゾーンをシードゾーンとしてとらえるように構成された第2の計算サブモジュール5302とを含む。ここで、n1≧n2≧n3であり、n2及びn3は自然数である。
【0084】
一部の実施形態では、画像の特性パラメータは、背景複雑性、前景−背景コントラスト、全体解像度、及び製品サイズのうちの1つ以上を含む。
【0085】
第1の計算ユニット620は、第1の計算サブユニットを含む。該第1の計算サブユニットは、上記背景ゾーンにしたがって背景ゾーンから平均勾配値を抽出し、この平均勾配値を背景複雑性の数値としてとらえるように構成される。
【0086】
一部の実施形態では、第1の計算サブユニットは、画像について勾配の大きさのグラフGを得るためにSobel演算子を使用し、背景ゾーンの勾配の大きさの合計と、Sgと、背景ゾーンのなかの画素の数Pnとを推定するために勾配の大きさのグラフGを使用し、背景ゾーンについての平均勾配Tを算出するために勾配の大きさの合計sgと、画素数Pnとを使用する。式は、T=Sg/Pnである。
【0087】
第1の計算サブユニット620は、更に、第2の計算ユニットを含む。該第2の計算ユニットは、既定のn個のタイプの色ゾーンを得るためにターゲットゾーンに対してクラスタ化を実施し、ターゲットゾーンに対する各タイプの色ゾーンの面積比Aiを計算する。iは、1以上で且つn以下である。第2の計算ユニットは、また、既定のm個のタイプの色ゾーンを得るために背景ゾーンにクラスタ化を施し、ターゲットゾーンに対する各タイプの色ゾーンの面積比Djを算出する。jは、1以上で且つm以下である。第2の計算ユニットは、更に、ターゲットゾーンのなかの各タイプの色と、背景ゾーンのなかの各タイプの色との間のユークリッド距離Lijを算出し、当該色間のユークリッド距離と、色の比とを使用して上記前景−背景コントラストを算出する。
【数4】
【0088】
第1の計算ユニット620は、更に、第3の計算サブユニットを含む。この第3の計算サブユニットは、ターゲットゾーンを既定のサイズの画像ブロックに分割し、画像ブロックについてのDCT係数行列を得るために各画像ブロックの画素値に対してDCT変換を実施し、各画像ブロックについてのDCT係数行列に基づいて画像ブロックに対応するヒストグラムを作成し、各画像ブロックのヒストグラムと加重行列とに基づいてターゲットゾーンの全体解像度を算出する。
【0089】
第1の計算ユニット620は、更に、第4の計算サブユニットを含む。この第4の計算サブユニットは、ターゲットゾーンの面積と、画像ゾーン全体の総面積とを決定し、画像ゾーンに対するターゲットゾーンの面積比を算出する、及び/又はターゲットゾーンのなかの最小囲み矩形を算出し、当該矩形の長さ及び幅を得る。
【0090】
好ましくは、
図6に示されるように、システム600は、更に、トレーニングユニット440を含む。このトレーニングユニットは、特定の品質の画像をトレーニングサンプルとして選択し、上記画像のそれぞれから特性パラメータを抽出し、各画像の画像品質分析結果を予め設定し、上記画像の特性パラメータ及び画像品質分析結果に基づいてトレーニングを行い、入力として画像特性パラメータを及び出力として画像品質分析結果を使用するSVM適合モデルをトレーニングして仕上げ、このSVM適合モデルを上記既定の品質計算モデルとして使用する。
【0091】
図6及び
図7に示されている画像品質分析システムでは、決定ユニットは、画像のターゲットゾーン及び背景ゾーンを決定し、第1の計算ユニットは、上記ターゲットゾーン及び/又は背景ゾーンに基づいて画像の特性パラメータを算出し、第2の計算ユニットは、算出された特性パラメータに対応する画像品質分析結果を得るために上記特性パラメータを既定の品質計算モデルに入力する。このようにして、画像の品質分析が実現される。
【0092】
本出願の実施形態の画像品質分析方法及び画像品質分析システムは、
図1に示されているネットワークシステムのみならず、それ以外にも適用することができる。これらの方法及びシステムは、例えば、製品画像の品質分析を店主に提供するために商業会場に直接にインストールされたクライアントなどの、その他の環境における画像品質分析にも適用することができる。
【0093】
したがって、上述された本出願の実施形態における製品画像品質分析方法を使用して得られる製品画像品質分析結果は、ウェブサイトサーバの製品検索プロセスに適用することができる。これらの結果は、ウェブサイトサーバが製品検索を行うときの製品検索結果を更に選別するための基準として機能することができる。上記は、製品検索の単なる一例に過ぎず、この技術は、その他の形態のターゲット画像検索に適用可能である。一部の実施形態では、画像品質分析結果が計算された後、ウェブサイトサーバは、ユーザ検索リクエストを受信し、この検索リクエストによってもたらされるターゲット特性情報に基づいてターゲット検索を行って、ターゲット検索結果を得る。ウェブサーバは、更に、ターゲット検索結果の中で各ターゲットの画像品質分析結果が既定の分析結果閾値を超えているかどうかを相次いで査定し、超えていない場合には、そのターゲットに対応する情報は、検索結果のリストから除外され、ユーザに対して提示されず、超えていない場合には、その製品に対応する情報は、検索結果のリストの中に維持され、ユーザに対して提示することができる。
【0094】
一部の実施形態では、検索結果を選別する代わりに、ウェブサイトサーバは、上記査定ステップを、各ターゲットの画像品質分析結果に基づいてターゲット検索結果をランク付けしてこれらのランク付けされた検索結果をユーザに対して提示することに置き換える。
【0095】
一部の実施形態では、ターゲットが、複数のターゲット画像に相当している。このような状況では、ターゲットに対応する画像についての品質分析結果に基づいて、ターゲットについての画像品質分析結果を算出することができる。例えば、品質スコアの平均(average)又は相加平均(mean)が算出されるだろう。
【0096】
一部の実施形態では、システム600又は700は、更に、ユーザ検索リクエストを受信し、該検索リクエストによってもたらされるターゲット特性情報に基づいてターゲット検索を行って、ターゲット検索結果を得る検索ユニットと、ターゲットに対応する各画像の品質分析結果に基づいて、ターゲットに対応する画像品質分析結果を算出する第3の計算ユニットと、ターゲット検索結果の中で各ターゲットの画像品質分析結果が既定の分析結果閾値を超えているかどうかを相次いで査定し、超えていない場合には、そのターゲットに対応する情報をターゲット検索結果から除外し、超えている場合には、そのターゲット情報をターゲット検索結果の中に維持する査定ユニットと、を含む。
【0097】
一部の実施形態では、システム600又は700は、更に、ユーザ検索リクエストを受信し、この検索リクエストによってもたらされるターゲット特性情報に基づいてターゲット検索を行って、ターゲット検索結果を得る検索ユニットを含む。
【0098】
一部の実施形態では、システム600又は700は、更に、ターゲットに対応する各画像の品質分析結果に基づいて、ターゲットに対応する画像品質分析結果を算出する第3の計算ユニットを含む。
【0099】
一部の実施形態では、システム600又は700は、更に、ターゲットに画像品質分析結果に基づいてターゲット検索結果をランク付けするランク付けユニットを含む。
【0100】
上述されたユニット及び/又はモジュールは、1つ以上の汎用プロセッサ上で実行されるソフトウェアコンポーネントとして、又はプログラム可能論理装置及び/若しくは特定の機能を実施するように設計された特殊用途向け集積回路などのハードウェアとして、又はそれらの組み合わせとして実装することができる。一部の実施形態では、モジュールは、本発明の実施形態に記載された方法を(パソコン、サーバ、ネットワーク機器などの)計算装置に実行させるための幾つかの命令を含み尚且つ(光ディスク、フラッシュストレージデバイス、モバイルハードディスクなどの)不揮発性のストレージ媒体に記憶させることができるソフトウェア製品の形で具現化することができる。モジュールは、1つのデバイスに実装されてよい、又は複数のデバイスに分散されてよい。モジュールの機能は、互いに合体されてよい、又は複数の小モジュールに更に分割されてよい。
【0101】
本出願の実施形態における画像品質分析方法及び画像品質分析システムの応用例では、ウェブサイトサーバは、ターゲット検索を行うときに、ターゲット画像品質分析結果にしたがってターゲット検索結果を選別する又はランク付けする。結果は、ユーザによって閲覧される全てのターゲット、又はユーザによって初めに閲覧される初めのターゲットが、より優れた画像品質を有する。この手法は、画像品質が劣るターゲットをユーザが閲覧する頻度を減らす。これは、そうして、クライアント及びウェブサイトサーバによって使い切られる伝送帯域幅を少なくし、ネットワーク伝送リソースを節約する。更に、クライアントとウェブサイトサーバとの間における相互作用の回数が少なくなり、また、ウェブサイトサーバにかかるデータ処理の負担も軽減される。これは、データ処理の速度及びウェブサイトサーバの効率を向上させる。
【0102】
以上の実施形態は、理解を明瞭にすることを目的として幾らか詳細に説明されてきたが、本発明は、与えられた詳細に限定されない。本発明を実現するには、多くの代替的手法がある。開示された実施形態は、例示的なものであり、非限定的である。
適用例1:方法であって、1つ以上のプロセッサを使用して、画像に関連する画像品質スコアを決定することであって、前記画像の前景及び背景を決定し、前記前景及び前記背景に基づいて、前記画像の1つ以上の特性パラメータのセットを算出し、少なくとも一部には、前記特性パラメータのセットに基づいて、前記画像品質スコアを算出し、前記画像品質スコアを算出することは、予めトレーニングされた画像品質計算モデルを使用することを含む、こと、を含む、画像に関連する画像品質スコアを決定することと、検索クエリに応えて、一連の画像を含む一連の検索結果を作成することと、前記画像を含めること又は前記検索結果をランク付けすることは、少なくとも一部には、前記一連の画像に関連する画像品質スコアに基づくこと、を備える方法。
適用例2:適用例1に記載の方法であって、前記画像の前景及び背景を決定することは、前記画像の縁からの既定値を使用して、前記画像の外枠ゾーンを決定し、複数の色ゾーンを得るために、前記外枠ゾーンのなかの画素をクラスタ化し、各色ゾーンは、色タイプに対応しており、シードゾーンを決定し、前記画像の前記背景を得るために、前記シードゾーンを拡張させ、前記前景を決定すること、を含む、方法。
適用例3:適用例2に記載の方法であって、前記シードゾーンを拡張させることは、中心としてのシードゾーンから始まって、前記シードゾーンに隣接する画素が所定の距離未満の色ベースユークリッド距離を有するかどうかを決定し、前記隣接画素が所定の距離未満である場合に、前記隣接画素を前記シードゾーンに加え、前記シードゾーンと隣接シードゾーンの画素との間の色ベースユークリッド距離が前記所定の距離以上になるまで、前記色ベースユークリッド距離に基づいて隣接画素を前記シードゾーンに加えることを繰り返すこと、を含む、方法。
適用例4:適用例2に記載の方法であって、シードゾーンを決定することは、前記外枠ゾーンの面積に対する各色ゾーンの面積比を算出し、面積比閾値を超える第2の複数の色ゾーンを決定し、前記第2の複数の色ゾーンの中の各色ゾーンのゾーン平坦度を決定し、前記第2の複数の色ゾーンの中から、色平坦度閾値を超える色ゾーンであるシードゾーンを決定することと、を含む、方法。
適用例5:適用例1に記載の方法であって、前記特性パラメータは、前記背景の平均勾配値である背景複雑性を含む、方法。
適用例6:適用例1に記載の方法であって、前記特性パラメータは、前景−背景コントラストを含む、方法。
適用例7:適用例6に記載の方法であって、前景−背景コントラストは、前記前景の前景色ゾーンを決定し、各前景色ゾーンの面積と前記前景の面積との間の面積比を算出し、背景色ゾーンを決定し、各背景色ゾーンの面積と前記前景の面積との間の面積比を算出し、各前景色ゾーンと各背景色ゾーンとの間のユークリッド色ベース距離を算出し、前記ユークリッド色ベース距離及び前記面積比に基づいて、前記前景−背景コントラストを決定することによって決定され、前記前景−背景コントラストは、式
【数5】
を使用して算出され、ここで、Mは、前記前景−背景コントラストであり、Lijは、各前景色ゾーンと各背景色ゾーンとの間のユークリッド色ベース距離であり、Aiは、前記前景の面積に対する前記前景色ゾーンの面積比であり、Djは、前記前景の面積に対する前記背景色ゾーンの面積比である、方法。
適用例8:適用例1に記載の方法であって、前記特性パラメータは、鮮明度を含み、前記鮮明度は、前記前景を所定のサイズのブロックに分割し、各ブロックについてDCT係数行列を得るために、各ブロックの画素値に対して離散コサイン変換(DCT)を実行し、各ブロックについての前記DCT係数行列に基づいて、各ブロックについてのヒストグラムを作成し、各ブロックの前記ヒストグラムと、加重行列とに基づいて、前記前景の鮮明度を算出すること、によって決定される、方法。
適用例9:適用例1に記載の方法であって、前記特性パラメータは、前景サイズを含む、方法。
適用例10:適用例9に記載の方法であって、前記前景サイズは、前記前景の面積及び前記画像の総面積を決定し、前記画像の面積に対する前記前景の面積比を算出すること、によって決定される、方法。
適用例11:適用例9に記載の方法であって、前記前景サイズは、前記前景の最小囲み矩形を決定し、前記最小囲み矩形の長さ及び幅を決定することし、によって決定される、方法。
適用例12:適用例1に記載の方法であって、前記画像品質計算モデルは、サポートベクトルマシン(SVM)を含む、方法。
適用例13:適用例12に記載の方法であって、前記画像品質計算モデルは、複数のトレーニング画像を選択し、前記トレーニング画像から特性パラメータを抽出し、前記トレーニング画像に対応する画像品質スコアを設定し、トレーニング画像について抽出された特性パラメータと同様な特性パラメータを有する新しい画像が前記画像品質計算モデルに入力されたときに、前記トレーニング画像と同様な画像品質スコアがもたらされるように、前記トレーニング画像の前記抽出された特性パラメータと、前記対応する画像品質スコアとを使用して、前記サポートベクトルマシンをトレーニングすることによってトレーニングされている、方法。
適用例14:適用例1に記載の方法であって、前記画像についての前記画像品質スコアは、前記検索クエリが受信される前に算出される、方法。
適用例15:システムであって、1つ以上のプロセッサであって、1つ以上のプロセッサを使用して、画像に関連する画像品質スコアを決定し、前記画像に関連する画像品質スコアを決定することは、前記画像の前景及び背景を決定し、前記前景及び前記背景に基づいて、前記画像の1つ以上の特性パラメータのセットを算出し、少なくとも一部には、前記特性パラメータのセットに基づいて、前記画像品質スコアを算出し、前記画像品質スコアの算出は、予めトレーニングされた画像品質計算モデルを使用することを含むこと、を含み、検索クエリに応えて、一連の画像を含む一連の検索結果を作成し、前記画像を含めること又は前記検索結果をランク付けすることは、少なくとも一部には、前記一連の画像に関連する画像品質スコアに基づき、前記1つ以上のプロセッサに接続され、前記1つ以上のプロセッサに命令を提供するように構成されている1つ以上のメモリと、を備える、システム。
適用例16:非一時的なコンピュータ読み取り可能ストレージ媒体に実装されたコンピュータプログラム製品であって、1つ以上のプロセッサを使用して、画像に関連する画像品質スコアを決定するためのコンピュータ命令と、画像品質スコアの決定は、前記画像の前景及び背景を決定し、前記前景及び前記背景に基づいて、前記画像の1つ以上の特性パラメータのセットを算出し、少なくとも一部には、前記特性パラメータのセットに基づいて、前記画像品質スコアを算出し、前記画像品質スコアを算出することは予めトレーニングされた画像品質計算モデルを使用することを含む、ことを含み、検索クエリに応えて、一連の画像を含む一連の検索結果を作成するためのコンピュータ命令と、前記画像を含めること又は前記検索結果をランク付けすることは、少なくとも一部には、前記一連の画像に関連する画像品質スコアに基づく、ことを備えるコンピュータプログラム製品。