(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-11-30
(45)【発行日】2023-12-08
(54)【発明の名称】ＡＩ魚拓に関する画像処理装置
(51)【国際特許分類】
B44C 5/06 20060101AFI20231201BHJP
G06T 5/00 20060101ALI20231201BHJP
G06T 3/00 20060101ALI20231201BHJP
G06T 1/00 20060101ALI20231201BHJP
G06T 3/60 20060101ALI20231201BHJP
G06T 3/40 20060101ALI20231201BHJP
G06T 7/00 20170101ALI20231201BHJP
G06V 40/10 20220101ALI20231201BHJP
【ＦＩ】
B44C5/06 K
G06T5/00 710
G06T3/00 775
G06T5/00 735
G06T5/00 740
G06T1/00 510
G06T3/60
G06T3/40
G06T7/00 350C
G06V40/10
【請求項の数】
5
(21)【出願番号】P 2023033898
(22)【出願日】2023-03-06
【審査請求日】2023-03-07
【早期審査対象出願】
(73)【特許権者】
【識別番号】523043692
【氏名又は名称】中島 健太
(74)【代理人】
【識別番号】100185270
【弁理士】
【氏名又は名称】原田 貴史
(74)【代理人】
【識別番号】100225347
【弁理士】
【氏名又は名称】鬼澤 正徳
(72)【発明者】
【氏名】中島 健太
【審査官】岩見 勤
(56)【参考文献】
【文献】特開２０２０－０８８７９４（ＪＰ，Ａ）
【文献】特開２０１９－１３３２７６（ＪＰ，Ａ）
【文献】特開２０１０－１３４５６７（ＪＰ，Ａ）
【文献】国際公開第２０１３／０９９２７１（ＷＯ，Ａ１）
【文献】特開２０１５－０４９８０６（ＪＰ，Ａ）
【文献】特開２０１１－１８２２５５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ４４Ｃ １／００ － ７／０８
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ５／００
Ｇ０６Ｔ ３／００
Ｇ０６Ｔ ３／６０
Ｇ０６Ｔ ３／４０
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ ４０／１０
(57)【特許請求の範囲】
【請求項1】
以下の（Ａ）～（Ｅ）を備える、ＡＩ魚拓に関する画像処理装置。（Ａ）第１機械学習に基づいて、魚の画像から前記魚の種類を判別可能な魚種判別部、
（Ｂ）第２機械学習に基づいて、魚の種類に応じて訓練された重みを使用して魚体に相当する魚体部分画像の切り取りを行う魚体部分切取部、
（Ｃ）第３機械学習に基づいて、画像に写った魚体の向きを判別し修正後、配置の最適化を行う向き修正・配置部、
（Ｄ）前記魚体部分画像及び前記画像から大きさの基準となる複数の基準位置に基づいて魚体の大きさを測定可能な測定部、
（Ｅ）前記配置が最適化された前記魚体部分画像及び前記魚の種類を出力可能な出力部。
【請求項2】
前記出力部は、前記向きが修正され、最適な位置に配置された前記魚体部分画像に魚種及び大きさの情報を合わせてソーシャルメディアに出力可能である、請求項１に記載の画像処理装置。
【請求項3】
以下の（Ｈ）をさらに備える、請求項１に記載の画像処理装置。
（Ｈ）画像強調アルゴリズムに基づいて、前記魚体部分画像に対し、Ｃｏｌｏｒ Ｄｏｄｇｅ技法、コントラスト標準化、及びＥｄｇｅ強調を組み合わせたインパクト強調処理を行う画像強調部。
【請求項4】
以下の（Ｉ）をさらに備える、請求項１に記載の画像処理装置。
（Ｉ）第５機械学習に基づいて、前記魚体部分画像の画風を変換可能な画風変換部。
【請求項5】
前記画風変換部は、前記第５機械学習に基づいて、前記魚拓で使用される背景・書体を、ユーザーの好みに応じた画風に作成及び／又は修正することのできる、請求項４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＡＩ魚拓を作成する画像処理装置に関するものである。
【背景技術】
【0002】
釣りあげた魚の像を写し取った魚拓を作成することが行われている。伝統的な手順で魚拓を作成する場合、まず、釣り人は、釣りあげた魚を釣具店まで持っていき、長さの測定を鑑定人に依頼する。さらに、釣り人は、釣具店等を通じて魚拓技術技師へ魚を送り、魚拓の作画を依頼する。しかしながら、このような伝統的な手順では、釣り人は、自分で釣りあげた魚を食べることができない。また、伝統的な手順では、魚拓の作成依頼から魚拓の受領まで１か月以上かかる場合がある。加えて、鑑定人による計測、魚拓技術技師への発送、手描きによる作画の各プロセスで多大な費用が掛かり得る。結果として、魚拓の作成において、特殊な撮影機材を必要とし、手作業や費用などの負担が大きい。そのため、魚拓をデジタル化し、さらにＡＩを利用して魚拓（ＡＩ魚拓）を作成することにより、これら課題を解決することが求められている。
【0003】
デジタル魚拓の作成に関し、特許文献１は、魚を撮像して魚体画像を得る撮像部と、上記魚体画像を白黒化する白黒処理部と、上記白黒化された魚体画像中の魚体部分を抽出する抽出部と、上記抽出された魚体部分を分割して複数の分割画像を得る分割部と、上記複数の分割画像のうち、上記魚体部分の中央に対応した分割画像の拡大率よりも上記魚体部分の周辺に対応した分割画像の拡大率を大きくして各分割画像を拡大して魚拓画像を生成する魚拓画像生成部と、上記生成された魚拓画像を出力する出力部を具備することを特徴とする魚拓写真撮影機能を有する撮像装置を開示している。
【0004】
特許文献１の技術は、魚体の厚みも考慮することでより実際の魚拓に近い感じの魚拓風写真を得うる。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１１－１８２２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、特許文献１の技術は、該技術に特有の部材を備える特殊な撮像装置を必要とする。そのため、特許文献１の技術は、特殊な撮影機材を必要とすることなく魚拓を作成する点において、さらなる改良の余地がある。
【0007】
加えて、一般的に魚拓の作成においては、魚体の向き及び配置の調整等により例示される魚拓の価値を高める作業が求められ得る。手作業で魚体の向きを調整する場合、向きの調整を行う手作業における時間及び金銭的なコストが釣り人の負担となり得る。特許文献１の技術は、魚体の向きを自動的に調整することを開示していない。特許文献１の技術は、魚体の向き及び配置の調整等の作業において、さらなる改良の余地がある。
【0008】
本発明の目的は、機械学習・深層学習の適用により、特殊な撮影機材を必要としないこと、手作業による負担を低減すること、及び作画により得られる魚拓の価値を高めることを実現する手段を提供することである。
【課題を解決するための手段】
【0009】
本発明者は、上記課題を解決するために鋭意検討した結果、機械学習・深層学習に基づいて、魚種を判別し、魚体部分の切取、画像の向きの判別・修正及び配置の最適化、魚体の大きさの計測、魚拓作画のそれぞれを、判別された魚種ごとに訓練されたニューラルネットワークの重みを用いた自動処理にて実現することによって、上記の目的を達成できることを見出した。そして、本発明者は、本発明を完成させるに至った。以下において、機械学習・深層学習を使用しての、魚種判別、魚体切取、向きの判別・修正、配置の最適化、計測及び作画により得られる魚拓をＡＩ魚拓と呼ぶ。具体的に、本発明は１．特徴に係る発明、２．計測に係る発明、３．作画に係る発明、４．画風変換による魚拓作成に係る発明、５．画風変換を利用した魚拓で使用する書体及び背景に係る発明、６．アウトプットに係る発明の６つの構成要素から成る。以下において上記の各項目について説明する。
【0010】
第１の特徴に係る発明は、以下の（Ａ）～（Ｅ）を備える、ＡＩ魚拓に関する画像処理装置（図１、画像処理装置１）を提供する。
（Ａ）魚体の画像を取得可能な画像取得部、
（Ｂ）第１機械学習に基づいて、前記画像から前記魚の種類を判別可能な魚種判別部、
（Ｃ）第２機械学習に基づいて、魚の種類に応じて訓練された重みを使用して魚体に相当する魚体部分画像の切り取りを行う魚体部分切取部、
（Ｄ）第３機械学習に基づいて、画像に写った魚体の向きを判別し修正後、配置の最適化を行う向き修正・配置部、
（Ｅ）前記配置が最適化された前記魚体部分画像及び前記魚の種類を出力可能な出力部。
（Ａ）魚体の画像を取得可能な画像取得部、
（Ｂ）第１機械学習に基づいて、前記画像から前記魚の種類を判別可能な魚種判別部、
（Ｃ）第２機械学習に基づいて、魚の種類に応じて訓練された重みを使用して魚体に相当する魚体部分画像の切り取りを行う魚体部分切取部、
（Ｄ）第３機械学習に基づいて、画像に写った魚体の向きを判別し修正後、配置の最適化を行う向き修正・配置部、
（Ｅ）前記配置が最適化された前記魚体部分画像及び前記魚の種類を出力可能な出力部。
【0011】
第１の特徴に係る発明の画像取得部は、特殊な撮影機材によって撮影されたものに魚の画像を限定していない。よって、第１の特徴に係る発明は、特殊な撮影機材を必要とすることなく、ＡＩ魚拓の作成に係る画像処理を実現できる。また、第１の特徴に係る発明の魚種判別部は、第１機械学習によって魚種を自動的に判別できる。これにより、魚に詳しくない釣り人であっても自分で釣り上げた魚の種類を即座に判別でき、さらに後に続く魚体部分切取における手作業による負担を被ることを免れる。
【0012】
ところで、魚体の輪郭は、魚種によって異なる。したがって、魚種を判別することなく機械学習によって魚体に相当する部分画像の切り取りを行おうとすると、誤って認識された輪郭に沿って部分画像が切り取られることが懸念される。第１の特徴に係る発明の魚体部分切取部は、第２機械学習及び判別された魚の種類に基づいて魚体部分画像を切り取る。よって、第１の特徴に係る発明は、魚種による魚体の輪郭の相違を踏まえた適切な魚体部分画像の切り取りを実現できる。
【0013】
加えて、魚体の向きを特徴づける要素は、魚種によって異なり得る。したがって、魚種を判別することなく機械学習によって魚体の向きを判別しようとすると、向きの誤判別が懸念される。第１の特徴に係る発明の向き修正・配置部は、第３機械学習及び判別された魚の種類に基づいて魚体部分画像の向きを修正する。よって、第１の特徴に係る発明は、魚種による魚体の向きを特徴づける要素の相違を踏まえた適切な向きの修正を実現できる。適切な向きの修正を踏まえた配置の最適化が実現されることにより、第１の特徴に係る発明は魚拓の価値を高め得る。
【0014】
第１の特徴に係る発明は、魚種判別、魚体部分切取、向き修正・配置を含む一連の画像処理を、釣り人、鑑定人、技師等の手作業を要することなく自動的に実行できる。よって、第１の特徴に係る発明は、ＡＩ魚拓の作成において、手作業による負担を著しく低減し、かつ最適な魚体の配置を得ることができる。
【発明の効果】
【0015】
本発明は、ＡＩ魚拓の作成において、特殊な撮影機材を必要としないこと、手作業による負担を低減すること、及び芸術としての魚拓の価値を高めることを両立可能な手段を提供できる。
【図面の簡単な説明】
【0016】
【発明を実施するための形態】
【0017】
以下は、本発明の実施形態の一例について、図面を参照しながら詳細に説明するものである。
【0018】
＜画像処理システムＳ＞
図１は、本実施形態の画像処理システムＳのハードウェア構成及びソフトウェア構成の一例を示すブロック図である。以下、本実施形態の画像処理システムＳの好ましい態様の一例が図１を用いて説明される。
図１は、本実施形態の画像処理システムＳのハードウェア構成及びソフトウェア構成の一例を示すブロック図である。以下、本実施形態の画像処理システムＳの好ましい態様の一例が図１を用いて説明される。
【0019】
画像処理システムＳは、少なくとも画像処理装置１を含む。画像処理システムＳは、画像処理装置１とネットワークＮを介して通信可能な端末Ｔを含むことが好ましい。以下、画像処理システムＳは、単に「システムＳ」とも称される。
【0020】
〔画像処理装置１〕
画像処理装置１は、制御部１１、記憶部１２、通信部１３を備える。画像処理装置１の種類は、特に限定しない。画像処理装置１の種類は、例えば、サーバ装置、クラウドサーバ、端末等でよい。端末は、例えば、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレット端末等である。画像処理装置１の種類が端末である場合、画像処理装置１は、カメラ等の撮影部と、画像を表示可能な表示部とをさらに備えることが好ましい。
画像処理装置１は、制御部１１、記憶部１２、通信部１３を備える。画像処理装置１の種類は、特に限定しない。画像処理装置１の種類は、例えば、サーバ装置、クラウドサーバ、端末等でよい。端末は、例えば、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレット端末等である。画像処理装置１の種類が端末である場合、画像処理装置１は、カメラ等の撮影部と、画像を表示可能な表示部とをさらに備えることが好ましい。
【0021】
［制御部１１］
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。
【0022】
制御部１１は、必要に応じて記憶部１２及び／又は通信部１３と協働する。そして、制御部１１は、画像処理装置１で実行される本実施形態のプログラムのソフトウェア構成要素である、画像取得部１１１、魚種判別部１１２、魚体部分切取部１１３、向き修正・配置部１１４、基準位置取得部１１５、測定部１１６、画像強調部１１７、画風変換部１１８、出力部１１９等を実現する。本実施形態のプログラムのソフトウェア構成要素それぞれが提供する機能は、後述する画像処理の好ましい流れの説明において示される。
【0023】
［記憶部１２］
記憶部１２は、データ及び／又はファイルが記憶される装置であって、ハードディスク、半導体メモリ、記録媒体、及びメモリカード等によるデータのストレージ部を有する。
記憶部１２は、データ及び／又はファイルが記憶される装置であって、ハードディスク、半導体メモリ、記録媒体、及びメモリカード等によるデータのストレージ部を有する。
【0024】
記憶部１２は、ネットワークＮを介してＮＡＳ、ＳＡＮ、クラウドストレージＣＳ、ファイルサーバ及び／又は分散ファイルシステム等の記憶装置又は記憶システムとの接続を可能にする仕組みを有してもよい。ＮＡＳは、Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅの略語である。ＳＡＮは、Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋの略語である。
【0025】
記憶部１２には、マイクロコンピューターで実行されるプログラム、魚拓テーブル１２１、第１機械学習、第２機械学習、第３機械学習、第４機械学習、画像強調アルゴリズム、第５機械学習等が記憶されている。
【0026】
（魚拓テーブル１２１）
図２は、魚拓テーブル１２１の一例である。魚拓テーブル１２１には、魚の画像、該画像に基づく魚拓画像等が格納される。魚拓テーブル１２１には、該魚の画像から切り抜かれた、魚体に相当する部分画像（魚体部分画像）及びＣｏｌｏｒ Ｄｏｄｇｅプロセスを経て対比標準化及びＥｄｇｅ（エッジ）の強調が成された魚体の画像（処理後画像）がさらに格納されることが好ましい。Ｃｏｌｏｒ Ｄｏｄｇｅプロセスは、画像にパターンを被せ、パターンの白いところほど、画像の色を明るくする処理である。また、魚拓テーブル１２１には、魚の種類、魚の大きさ、魚に関する日時等によって例示される魚に関する各種情報がさらに格納されることが好ましい。
図２は、魚拓テーブル１２１の一例である。魚拓テーブル１２１には、魚の画像、該画像に基づく魚拓画像等が格納される。魚拓テーブル１２１には、該魚の画像から切り抜かれた、魚体に相当する部分画像（魚体部分画像）及びＣｏｌｏｒ Ｄｏｄｇｅプロセスを経て対比標準化及びＥｄｇｅ（エッジ）の強調が成された魚体の画像（処理後画像）がさらに格納されることが好ましい。Ｃｏｌｏｒ Ｄｏｄｇｅプロセスは、画像にパターンを被せ、パターンの白いところほど、画像の色を明るくする処理である。また、魚拓テーブル１２１には、魚の種類、魚の大きさ、魚に関する日時等によって例示される魚に関する各種情報がさらに格納されることが好ましい。
【0027】
魚拓テーブル１２１には、上述の各種情報を識別できる魚拓ＩＤと、対応する利用者情報とが関連付けて格納されることが好ましい。これにより、画像処理装置１は、魚拓ＩＤを用いて上述の各種情報を管理し得る。
【0028】
図２に示す例では、魚拓ＩＤ「Ｆ０００１」、端末Ｔ等から取得された魚の画像、該画像から切り抜かれた魚体部分に対して向き修正及び配置の最適化を施した魚体画像（魚体部分画像）、それに基づいてＣｏｌｏｒ Ｄｏｄｇｅプロセスを経て対比の標準化及びＥｄｇｅの強調が成された魚体の画像（処理後画像）、ＡＩ画風変換により作成された魚拓画像、魚の種類「アカマツカサ」、魚の大きさ「２４ｃｍ」、魚に関する日時「２０２２年４月１日」とが互いに関連付けられて格納されている。これにより、画像処理装置１は、取得されたアカマツカサの画像に画像処理を施し、魚拓画像、魚の種類「アカマツカサ」、及び魚の大きさ「２４ｃｍ」を出力できる。
【0029】
（第１機械学習）
参照される図は、図１に戻る。第１機械学習は、画像からの魚種判別に関する訓練済みの機械学習である。第１機械学習は、例えば、二項分類（Ｂｉｎａｒｙ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）及び／又は多項分類（Ｍｕｌｔｉｃｌａｓｓ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に類する機械学習を含む。第１機械学習の手法は、特に限定されない。
参照される図は、図１に戻る。第１機械学習は、画像からの魚種判別に関する訓練済みの機械学習である。第１機械学習は、例えば、二項分類（Ｂｉｎａｒｙ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）及び／又は多項分類（Ｍｕｌｔｉｃｌａｓｓ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に類する機械学習を含む。第１機械学習の手法は、特に限定されない。
【0030】
第１機械学習は、後述する第２機械学習と一体の機械学習でもよい。第２機械学習と一体の第１機械学習として、例えば、物体検出（Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）に類する機械学習であって、検出された物体（魚体）の種類と該物体に該当する部分画像とを出力可能な機械学習が挙げられる。
【0031】
（第２機械学習）
第２機械学習は、魚の種類に応じた魚体に相当する部分画像（魚体部分画像）の切り取りに関する訓練済みの機械学習である。第２機械学習は、例えば、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）、インスタンスセグメンテーション（Ｉｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）、物体検出（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）、及び／又は主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）に類するニューラルネットワークを用いた機械学習を含む。
第２機械学習は、魚の種類に応じた魚体に相当する部分画像（魚体部分画像）の切り取りに関する訓練済みの機械学習である。第２機械学習は、例えば、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）、インスタンスセグメンテーション（Ｉｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）、物体検出（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）、及び／又は主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）に類するニューラルネットワークを用いた機械学習を含む。
【0032】
第２機械学習の手法は、特に限定されない。第２機械学習の手法は、例えば、Ｙｏｌｏ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）やＭａｓｋ Ｒ－ＣＮＮ等によって例示される特徴量の検出に用いられる各種手法でよい。第２機械学習は、魚の種類を出力可能な機械学習であることが好ましい。これにより、第２機械学習は、第１機械学習と一体の機械学習として構成可能となる。
【0033】
（第３機械学習）
第３機械学習は、画像に写った魚体の向きの判別に関する訓練済みの機械学習である。第３機械学習は、例えば、目、胸びれ、尾ひれ等によって例示される魚体の特徴量を検出する機械学習と、切り取られた魚体の向きとなる主軸を決定する機械学習を複合したものである。第３機械学習は、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）、インスタンスセグメンテーション（Ｉｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）、物体検出（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）、及び／又は主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）に類するニューラルネットワークを用いた機械学習を含む。第３機械学習の手法は、特に限定されない。
第３機械学習は、画像に写った魚体の向きの判別に関する訓練済みの機械学習である。第３機械学習は、例えば、目、胸びれ、尾ひれ等によって例示される魚体の特徴量を検出する機械学習と、切り取られた魚体の向きとなる主軸を決定する機械学習を複合したものである。第３機械学習は、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）、インスタンスセグメンテーション（Ｉｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）、物体検出（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）、及び／又は主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）に類するニューラルネットワークを用いた機械学習を含む。第３機械学習の手法は、特に限定されない。
【0034】
（第４機械学習）
第４機械学習は、物差し、巻尺等に記された目盛り、数字等といった大きさの基準となる位置（以降これを基準位置と呼ぶ）を画像から取得することに関する訓練済みの機械学習である。第４機械学習は、例えば、物差しの目盛り、物差しに描かれた数字等によって、例示される魚体の大きさの基準となる対象の特徴量を検出する機械学習を含む。第４機械学習は、セマンティックセグメンテーション、インスタンスセグメンテーション、物体検出、及び／又は主成分分析に類するニューラルネットワークを用いた機械学習を含む。第４機械学習の手法は、特に限定されない。
第４機械学習は、物差し、巻尺等に記された目盛り、数字等といった大きさの基準となる位置（以降これを基準位置と呼ぶ）を画像から取得することに関する訓練済みの機械学習である。第４機械学習は、例えば、物差しの目盛り、物差しに描かれた数字等によって、例示される魚体の大きさの基準となる対象の特徴量を検出する機械学習を含む。第４機械学習は、セマンティックセグメンテーション、インスタンスセグメンテーション、物体検出、及び／又は主成分分析に類するニューラルネットワークを用いた機械学習を含む。第４機械学習の手法は、特に限定されない。
【0035】
（画像強調アルゴリズム）
画像強調アルゴリズムは、Ｃｏｌｏｒ Ｄｏｄｇｅ技法、コントラスト標準化、エッジ強調により画像を強調するアルゴリズムである。Ｃｏｌｏｒ Ｄｏｄｇｅ技法は、魚体がステージの上でスポットライトをあてられたかのように見える画像効果を与える。これにより、Ｃｏｌｏｒ Ｄｏｄｇｅ技法が適用された画像では、魚体の明るい部分はくっきりと、暗い部分はぼやけて見えるようになる。加えて、明暗のコントラストのノーマライズによる標準化及び画像のエッジ強調の組み合わせは、魚体のぼやけた部分でも輪郭の消失を防ぐ画像効果を与える。画像強調アルゴリズムによる画像強調処理の詳細は、後述の画像強調ステップにおいてより詳細に説明される。
画像強調アルゴリズムは、Ｃｏｌｏｒ Ｄｏｄｇｅ技法、コントラスト標準化、エッジ強調により画像を強調するアルゴリズムである。Ｃｏｌｏｒ Ｄｏｄｇｅ技法は、魚体がステージの上でスポットライトをあてられたかのように見える画像効果を与える。これにより、Ｃｏｌｏｒ Ｄｏｄｇｅ技法が適用された画像では、魚体の明るい部分はくっきりと、暗い部分はぼやけて見えるようになる。加えて、明暗のコントラストのノーマライズによる標準化及び画像のエッジ強調の組み合わせは、魚体のぼやけた部分でも輪郭の消失を防ぐ画像効果を与える。画像強調アルゴリズムによる画像強調処理の詳細は、後述の画像強調ステップにおいてより詳細に説明される。
【0036】
（第５機械学習）
第５機械学習は、画風の変換に関する訓練済みの機械学習である。第５機械学習は、例えば、ＡＩ画風変換（Ｎｅｕｒａｌ Ｓｔｙｌｅ ＴｒａｎｓｆｅｒやＳｔａｂｌｅ Ｄｉｆｆｕｓｉｏｎ等）に類する機械学習を含む。第５機械学習は、変換対象となる画像と画風に関する情報に基づいてＡＩ画風変換後の画像を出力可能な機械学習であることが好ましい。さらに、第５機械学習はユーザーの好みに応じて、魚拓で使用する背景及び書体のＡＩ画風変換にも利用することができる。第５機械学習の手法は、特に限定されない。
第５機械学習は、画風の変換に関する訓練済みの機械学習である。第５機械学習は、例えば、ＡＩ画風変換（Ｎｅｕｒａｌ Ｓｔｙｌｅ ＴｒａｎｓｆｅｒやＳｔａｂｌｅ Ｄｉｆｆｕｓｉｏｎ等）に類する機械学習を含む。第５機械学習は、変換対象となる画像と画風に関する情報に基づいてＡＩ画風変換後の画像を出力可能な機械学習であることが好ましい。さらに、第５機械学習はユーザーの好みに応じて、魚拓で使用する背景及び書体のＡＩ画風変換にも利用することができる。第５機械学習の手法は、特に限定されない。
【0037】
［通信部１３］
通信部１３は、画像処理装置１をネットワークＮに接続して端末Ｔ等の各種端末等と通信可能にするものであれば特に限定されない。通信部１３として、例えば、携帯電話ネットワークに対応した無線装置、無線ＬＡＮに接続可能なデバイス、及びイーサネット規格に対応したネットワークカード等が挙げられる。
通信部１３は、画像処理装置１をネットワークＮに接続して端末Ｔ等の各種端末等と通信可能にするものであれば特に限定されない。通信部１３として、例えば、携帯電話ネットワークに対応した無線装置、無線ＬＡＮに接続可能なデバイス、及びイーサネット規格に対応したネットワークカード等が挙げられる。
【0038】
［その他の構成要素］
画像処理装置１は、魚の画像を撮影可能な撮影部（図示せず）、制御部１１への各種指示を入力可能な入力部（図示せず）、作成したＡＩ魚拓等を表示可能な表示部（図示せず）等をさらに備えていてもよい。これらを備えた画像処理装置１として、例えば、後述する画像処理を実行可能なプログラム（アプリ）がインストールされたスマートフォン、タブレット端末等の各種端末が挙げられる。
画像処理装置１は、魚の画像を撮影可能な撮影部（図示せず）、制御部１１への各種指示を入力可能な入力部（図示せず）、作成したＡＩ魚拓等を表示可能な表示部（図示せず）等をさらに備えていてもよい。これらを備えた画像処理装置１として、例えば、後述する画像処理を実行可能なプログラム（アプリ）がインストールされたスマートフォン、タブレット端末等の各種端末が挙げられる。
【0039】
〔ネットワークＮ〕
ネットワークＮの種類は、画像処理装置１及び端末Ｔ等を互いに通信可能にするものであれば特に限定されない。ネットワークＮの種類は、例えば、インターネット、携帯電話ネットワーク、無線ＬＡＮ等である。
ネットワークＮの種類は、画像処理装置１及び端末Ｔ等を互いに通信可能にするものであれば特に限定されない。ネットワークＮの種類は、例えば、インターネット、携帯電話ネットワーク、無線ＬＡＮ等である。
【0040】
〔端末Ｔ〕
端末Ｔは、魚の画像を取得可能であれば、特に限定されない。端末Ｔは、画像処理装置１と一体に構成されていてもよく、画像処理装置１と別体に構成されていても良い。画像処理装置１と別体に構成された端末Ｔは、取得した魚の画像を画像処理装置１に提供する処理と、画像処理装置１が出力した魚拓画像等を取得する処理を実行可能であることが好ましい。このような端末Ｔとして、これらの処理を実行可能な所定のプログラムがインストールされたカメラ付の端末が挙げられる。カメラ付の端末は、例えば、スマートフォン、タブレット端末等である。
端末Ｔは、魚の画像を取得可能であれば、特に限定されない。端末Ｔは、画像処理装置１と一体に構成されていてもよく、画像処理装置１と別体に構成されていても良い。画像処理装置１と別体に構成された端末Ｔは、取得した魚の画像を画像処理装置１に提供する処理と、画像処理装置１が出力した魚拓画像等を取得する処理を実行可能であることが好ましい。このような端末Ｔとして、これらの処理を実行可能な所定のプログラムがインストールされたカメラ付の端末が挙げられる。カメラ付の端末は、例えば、スマートフォン、タブレット端末等である。
【0041】
〔画像処理装置１で行われる画像処理のメインフローチャート〕
図３は、画像処理装置１で行われる画像処理の好ましい流れの一例を示すメインフローチャートである。図４は、図３に続く図である。図５は、図４に続く図である。以下、図３から図５までを用いて、画像処理の好ましい流れの一例が説明される。以下、「機械学習に基づく処理を行う」ことは、単に「機械学習を行う」と称される。
図３は、画像処理装置１で行われる画像処理の好ましい流れの一例を示すメインフローチャートである。図４は、図３に続く図である。図５は、図４に続く図である。以下、図３から図５までを用いて、画像処理の好ましい流れの一例が説明される。以下、「機械学習に基づく処理を行う」ことは、単に「機械学習を行う」と称される。
【0042】
まず、画像処理装置１は、魚の画像を取得すべく、ステップＳ１からステップＳ２までの取得ステップを実行する。
【0043】
［ステップＳ１：魚の画像を取得可能か判別］
図１にある制御部１１は、記憶部１２及び通信部１３と協働して画像取得部１１１を実行する。そして、制御部１１は、魚の画像を取得可能か判別する処理を実行する（ステップＳ１、魚画像取得可否判別ステップ）。取得可能であると判別した場合、制御部１１は、処理をステップＳ２に移す。取得可能であると判別しなかった場合、制御部１１は、処理をステップＳ１に移す。
図１にある制御部１１は、記憶部１２及び通信部１３と協働して画像取得部１１１を実行する。そして、制御部１１は、魚の画像を取得可能か判別する処理を実行する（ステップＳ１、魚画像取得可否判別ステップ）。取得可能であると判別した場合、制御部１１は、処理をステップＳ２に移す。取得可能であると判別しなかった場合、制御部１１は、処理をステップＳ１に移す。
【0044】
魚画像取得可否判別ステップは、特に限定されない。魚画像取得可否判別ステップは、例えば、端末Ｔから魚の画像を受信した場合に取得可能であると判別する手順、画像処理装置１において魚の画像が撮影された場合に取得可能であると判別する手順、画像処理装置１において魚の画像が指定された場合に取得可能であると判別する手順等の１以上を含むステップでよい。
【0045】
［ステップＳ２：魚の画像を取得］
制御部１１は、魚の画像を取得する処理を実行する（ステップＳ２、取得実行ステップ）。ここで取得実行ステップは、取得した魚の画像を魚拓テーブル１２１に格納する手順を含むことが好ましい。ステップＳ２で取得された画像は、後述される魚種判別プロセスを経た後、魚体の部分画像を切り取る一連の処理において使用されるものである。
制御部１１は、魚の画像を取得する処理を実行する（ステップＳ２、取得実行ステップ）。ここで取得実行ステップは、取得した魚の画像を魚拓テーブル１２１に格納する手順を含むことが好ましい。ステップＳ２で取得された画像は、後述される魚種判別プロセスを経た後、魚体の部分画像を切り取る一連の処理において使用されるものである。
【0046】
画像処理装置１は、魚種を判別すべく、ステップＳ３からステップＳ４までの魚種判別ステップを実行する。ここで魚種判別ステップは、利用者が魚種を手動で入力しても良い。これにより、画像処理装置１は、利用者の希望をより反映した魚拓を作成できる。
【0047】
［ステップＳ３：魚の種類が手動で指定されたか判別］
制御部１１は記憶部１２と協働して魚種判別部１１２を実行する。そして、制御部１１は、魚の種類が手動で指定されたか判別する処理を実行する（ステップＳ３、魚種手動指定判別ステップ）。指定されたと判別した場合、制御部１１は、指定された魚の種類を魚拓テーブル１２１に格納し、処理をステップＳ５に移す。指定されなかったと判別した場合、制御部１１は、処理をステップＳ４に移す。
制御部１１は記憶部１２と協働して魚種判別部１１２を実行する。そして、制御部１１は、魚の種類が手動で指定されたか判別する処理を実行する（ステップＳ３、魚種手動指定判別ステップ）。指定されたと判別した場合、制御部１１は、指定された魚の種類を魚拓テーブル１２１に格納し、処理をステップＳ５に移す。指定されなかったと判別した場合、制御部１１は、処理をステップＳ４に移す。
【0048】
［ステップＳ４：魚の種類を判別］
続いて、制御部１１は記憶部１２と協働して魚種判別部１１２を実行する。魚種判別部１１２において使用される第１機械学習と、後述の魚体部分切取部１１３で使用される第２機械学習とが一体の機械学習である場合、該一連の処理は、一体の処理として行われることが好ましい。また、第１機械学習と第２機械学習とが別体の機械学習である場合、該一連の処理は、別々の処理として行われることが好ましい。以下は、該一連の処理を別々の処理として実行する場合の説明であるが、該一連の処理を一体の処理として実行する場合も同様である。
続いて、制御部１１は記憶部１２と協働して魚種判別部１１２を実行する。魚種判別部１１２において使用される第１機械学習と、後述の魚体部分切取部１１３で使用される第２機械学習とが一体の機械学習である場合、該一連の処理は、一体の処理として行われることが好ましい。また、第１機械学習と第２機械学習とが別体の機械学習である場合、該一連の処理は、別々の処理として行われることが好ましい。以下は、該一連の処理を別々の処理として実行する場合の説明であるが、該一連の処理を一体の処理として実行する場合も同様である。
【0049】
制御部１１は、画像からの魚種判別に関する第１機械学習に基づいてステップＳ２で取得された画像から魚の種類を判別する処理を実行する（ステップＳ４、魚種判別ステップ）。魚種判別ステップは、判別された魚の種類を魚拓テーブル１２１に格納する手順を含むことが好ましい。その後、制御部１１は処理をステップＳ５に移す。
【0050】
［ステップＳ５：魚体の部分画像を切り取り］
制御部１１は、記憶部１２と協働して魚体部分切取部１１３を実行する。そして、制御部１１は、ステップＳ３又はステップＳ４に係る魚の種類に基づいて、ステップＳ２で取得された画像から魚体に相当する部分画像の切り取りに関する第２機械学習を実行する（ステップＳ５、魚体部分切取ステップ）。魚体部分切取ステップは、切り取られた部分画像を魚拓テーブル１２１に格納する手順を含むことが好ましい。その後、制御部１１は処理をステップＳ６に移す。
制御部１１は、記憶部１２と協働して魚体部分切取部１１３を実行する。そして、制御部１１は、ステップＳ３又はステップＳ４に係る魚の種類に基づいて、ステップＳ２で取得された画像から魚体に相当する部分画像の切り取りに関する第２機械学習を実行する（ステップＳ５、魚体部分切取ステップ）。魚体部分切取ステップは、切り取られた部分画像を魚拓テーブル１２１に格納する手順を含むことが好ましい。その後、制御部１１は処理をステップＳ６に移す。
【0051】
ここで、画像処理装置１は、魚の種類に応じた魚体に相当する部分画像の切り取りに関する第２機械学習を用いることにより、あらかじめ魚種ごとに訓練された重みを使用した部分画像の切り取りを行える。これにより、画像処理装置１は、切り取りの精度を高め得る。
【0052】
続いて画像処理装置１は、ステップＳ６にて魚体の部分画像の向きを判別し、ステップＳ７の向き修正及び配置の最適化へと移行する。
【0053】
［ステップＳ６：魚体の向きを判別］
制御部１１は、記憶部１２と協働して向き修正・配置部１１４を実行する。ここで、制御部１１は、ステップＳ５で切り取られた魚体部分画像における魚体の向きを判別する処理を実行する（ステップＳ６、向き判別ステップ）。ここで、魚体の向きの判別とは、写真に撮影された魚体の側面が、頭を前にして右側であるか左側であるかを判別するステップのことである。向き判別ステップは、例えば、機械学習を用いた主成分分析により主成分座標系での主軸である魚体の第１軸及び第２軸を取得し、深層学習を用いて目、胸びれ、尾ひれ等によって例示される魚体の特徴量を検出したのち、各特徴量と各主軸との相対的な位置関係から魚体の向きを判別する一連の手順を含む。その後、制御部１１は、処理をステップＳ７に移す。
制御部１１は、記憶部１２と協働して向き修正・配置部１１４を実行する。ここで、制御部１１は、ステップＳ５で切り取られた魚体部分画像における魚体の向きを判別する処理を実行する（ステップＳ６、向き判別ステップ）。ここで、魚体の向きの判別とは、写真に撮影された魚体の側面が、頭を前にして右側であるか左側であるかを判別するステップのことである。向き判別ステップは、例えば、機械学習を用いた主成分分析により主成分座標系での主軸である魚体の第１軸及び第２軸を取得し、深層学習を用いて目、胸びれ、尾ひれ等によって例示される魚体の特徴量を検出したのち、各特徴量と各主軸との相対的な位置関係から魚体の向きを判別する一連の手順を含む。その後、制御部１１は、処理をステップＳ７に移す。
【0054】
［ステップＳ７：魚体の向きの修正・配置の最適化］
制御部１１は、記憶部１２と協働して向き修正・配置部１１４を実行する。ここで、制御部１１は、ステップＳ６で判別された向きに基づいてステップＳ５で切り取られた魚体部分画像における魚体の向きを修正し、配置の最適化処理を実行する（ステップＳ７、向き修正・配置の最適化ステップ）。その後、制御部１１は処理をステップＳ８に移す。
制御部１１は、記憶部１２と協働して向き修正・配置部１１４を実行する。ここで、制御部１１は、ステップＳ６で判別された向きに基づいてステップＳ５で切り取られた魚体部分画像における魚体の向きを修正し、配置の最適化処理を実行する（ステップＳ７、向き修正・配置の最適化ステップ）。その後、制御部１１は処理をステップＳ８に移す。
【0055】
向き修正・配置の最適化ステップは、例えば、魚体が所定の向きになるよう画像を回転及び上下・左右反転させる一連の手順を含む。該手順は、代表的な例として、魚体が左下を向くようにする場合、ステップＳ５で検出された各特徴量について、魚体の目が修正後の画像の左側、胸びれが修正後の画像の下側、尾ひれが修正後の画像の右側になるよう回転、必要に応じて上下・左右反転させる一連の手順を有する。魚体の向きを他の向きにする場合も同様である。また、向き修正・配置の最適化ステップは、前述の第３機械学習を用いた主成分分析により得られた主軸が、画像の縦方向及び／又は横方向と所定の角度になるよう画像を回転させる手順を含んでも良い。
【0056】
向き修正・配置の最適化ステップは、ステップＳ６で判別された向きに基づいて魚体部分画像の大きさ及び／又は配置を修正する手順を含んでも良い。これにより、ＡＩ魚拓における魚体部分画像の配置がよりいっそう最適化可能となる。
【0057】
画像処理装置１は、魚体の大きさを測定すべく、ステップＳ８の測定判別ステップとステップＳ９からステップＳ１０までの基準位置取得ステップとステップＳ１１の測定ステップとを実行可能であることが好ましい。
【0058】
［ステップＳ８：外部で魚体の大きさを測定したか判別］
制御部１１は、記憶部１２と協働して測定部１１６を実行する。そして、制御部１１は、外部で魚体の大きさを測定したか判別する処理を実行する（ステップＳ８、測定判別ステップ）。測定したと判別した場合、制御部１１は、処理をステップＳ１２に移す。測定したと判別しなかった場合、制御部１１は、処理をステップＳ９に移す。
制御部１１は、記憶部１２と協働して測定部１１６を実行する。そして、制御部１１は、外部で魚体の大きさを測定したか判別する処理を実行する（ステップＳ８、測定判別ステップ）。測定したと判別した場合、制御部１１は、処理をステップＳ１２に移す。測定したと判別しなかった場合、制御部１１は、処理をステップＳ９に移す。
【0059】
［ステップＳ９：基準位置を取得可能か判別］
制御部１１は、記憶部１２と協働して基準位置取得部１１５を実行する。そして、制御部１１は、大きさの基準となる基準位置をステップＳ２で取得された画像から取得可能か判別する処理を実行する（ステップＳ９、基準位置取得可否判別ステップ）。取得可能であると判別した場合、制御部１１は、処理をステップＳ１０に移す。取得可能であると判別しなかった場合、制御部１１は、処理をステップＳ１２に移す。
制御部１１は、記憶部１２と協働して基準位置取得部１１５を実行する。そして、制御部１１は、大きさの基準となる基準位置をステップＳ２で取得された画像から取得可能か判別する処理を実行する（ステップＳ９、基準位置取得可否判別ステップ）。取得可能であると判別した場合、制御部１１は、処理をステップＳ１０に移す。取得可能であると判別しなかった場合、制御部１１は、処理をステップＳ１２に移す。
【0060】
基準位置取得可否判別ステップの手法については、特に限定されない。基準位置取得可否判別ステップは、例えば、ステップＳ２で取得された画像中に、大きさの基準となる物差し等の物体（Ｃａｌｉｂｒａｔｉｏｎ Ｔａｒｇｅｔ）が物体検出に関する機械学習によって検出された場合に、基準位置を取得可能であると判別する手順等を含む。大きさの基準となる物体は、特に限定されない。大きさの基準となる物体は、例えば、物差し、巻尺等に記された目盛り、数字等が一般的であるが、１００円玉やペットボトル容器などでも可能である。
【0061】
［ステップＳ１０：基準位置を取得］
制御部１１は、記憶部１２と協働して基準位置取得部１１５を実行する。そして、制御部１１は、第４機械学習に基づいて、ステップＳ２で取得された画像から複数の基準位置を取得する処理を実行する（ステップＳ１０、基準位置取得実行ステップ）。その後、制御部１１は処理をステップＳ１１に移す。
制御部１１は、記憶部１２と協働して基準位置取得部１１５を実行する。そして、制御部１１は、第４機械学習に基づいて、ステップＳ２で取得された画像から複数の基準位置を取得する処理を実行する（ステップＳ１０、基準位置取得実行ステップ）。その後、制御部１１は処理をステップＳ１１に移す。
【0062】
［ステップＳ１１：魚体の大きさを測定］
制御部１１は、記憶部１２と協働して測定部１１６を実行する。そして、制御部１１は、ステップＳ２で取得された画像及びステップＳ１０で取得された基準位置に基づいて魚体の大きさを測定する処理を実行する（ステップＳ１１、測定ステップ）。その後制御部１１は、処理をステップＳ１２に移す。測定ステップは、測定された魚体の大きさを魚拓テーブル１２１に格納する手順を含むことが好ましい。
制御部１１は、記憶部１２と協働して測定部１１６を実行する。そして、制御部１１は、ステップＳ２で取得された画像及びステップＳ１０で取得された基準位置に基づいて魚体の大きさを測定する処理を実行する（ステップＳ１１、測定ステップ）。その後制御部１１は、処理をステップＳ１２に移す。測定ステップは、測定された魚体の大きさを魚拓テーブル１２１に格納する手順を含むことが好ましい。
【0063】
測定ステップは、特に限定されない。測定ステップは、例えば、ステップＳ１０で取得された複数の基準位置に対して主成分分析を行い、物差し・巻尺等の向きを判別したのち、該向きに沿った主成分座標軸上での物差し・巻尺等の大きさと、ステップＳ５で切り取られた魚体部分画像の大きさとの相対関係から魚体の大きさを測定する手順等を含む。
【0064】
測定ステップは、外部のプログラムによって魚の画像から測定された魚体の大きさを取得する手順を含んでも良い。このような外部のプログラムとして、例えば、スマートフォンのカメラで撮影された画像において、利用者にタップされた２点間の距離を測定するプログラム等が挙げられる。
【0065】
［ステップＳ１２：インパクトを強調］
制御部１１は、記憶部１２と協働して画像強調部１１７を実行する。まず、制御部１１は、ステップＳ５で切り取られ、ステップＳ７で向きの修正・配置の最適化が施された魚体の部分画像に対しＣｏｌｏｒ Ｄｏｄｇｅ工程を施す。その後、得られた画像に対し、色及び明暗の対比（コントラスト）の標準化を行うことで、コントラストの最適化を実施する。さらに、これにより得られた画像に対し、Ｅｄｇｅの強調工程を施す（ステップＳ１２、画像強調ステップ）。これら一連の手順により、ステップＳ５で切り取られた魚体部分画像のインパクトが強調され、単なるグレースケール変換と異なる魚拓画像となる。該ステップは、作成された魚拓画像を魚拓テーブル１２１に格納する手順を含むことが好ましい。その後、制御部１１は処理をステップＳ１３に移す。画像強調ステップは、利用者の好みに応じてスキップすることも可能である。その場合、プロセスは後続のステップＳ１３へと移行する。
制御部１１は、記憶部１２と協働して画像強調部１１７を実行する。まず、制御部１１は、ステップＳ５で切り取られ、ステップＳ７で向きの修正・配置の最適化が施された魚体の部分画像に対しＣｏｌｏｒ Ｄｏｄｇｅ工程を施す。その後、得られた画像に対し、色及び明暗の対比（コントラスト）の標準化を行うことで、コントラストの最適化を実施する。さらに、これにより得られた画像に対し、Ｅｄｇｅの強調工程を施す（ステップＳ１２、画像強調ステップ）。これら一連の手順により、ステップＳ５で切り取られた魚体部分画像のインパクトが強調され、単なるグレースケール変換と異なる魚拓画像となる。該ステップは、作成された魚拓画像を魚拓テーブル１２１に格納する手順を含むことが好ましい。その後、制御部１１は処理をステップＳ１３に移す。画像強調ステップは、利用者の好みに応じてスキップすることも可能である。その場合、プロセスは後続のステップＳ１３へと移行する。
【0066】
ここで、Ｃｏｌｏｒ Ｄｏｄｇｅについて詳述する。Ｃｏｌｏｒ Ｄｏｄｇｅ工程は、魚体がステージの上でスポットライトをあてられたかのように見える画像効果を生み出すのに利用される。すなわち、それにより魚体の明るい部分はくっきりと、暗い部分はぼやけて見えるようになる。それに加え、色及び明暗の対比の標準化を行うことで、過度な配色及び明るさを生み出すのを防ぎ、ビジュアルの最適化を行っている。さらに、魚体の輪郭、鱗、鰭、目、口、側線等のＥｄｇｅの強調により、Ｃｏｌｏｒ Ｄｏｄｇｅ工程で魚体のぼやけてしまった部分であっても、輪郭の消失を防ぐ画像効果が得られる。これら３つの複合画像処理工程は、世間一般で言われる単なるモノクロ化や、デジタル魚拓に関する既存の特許には存在しない作画技法である。ここで対比の標準化工程は、色の濃さ及び明るさに関する所定の選択肢を表示するよう指令し、利用者の好みに応じ選択された設定に基づいて濃さを調整する一連の処理を含んでも良い。
【0067】
画像処理装置１は、ステップＳ１３からステップＳ１４までのＡＩ画風変換ステップを含むことが好ましい。これにより、画像処理装置１は、利用者の嗜好に応じた画風に変換された魚拓画像を生成でき、芸術としてのＡＩ魚拓の価値を高め得る。
【0068】
［ステップＳ１３：ＡＩ画風変換を指示されたか判別］
制御部１１は、記憶部１２及び通信部１３と協働して画風変換部１１８を実行する。そして、制御部１１は、ＡＩ画風変換を指示されたか判別する処理を実行する（ステップＳ１３、ＡＩ画風変換指示判別ステップ）。指示されたと判別した場合、制御部１１は、処理をステップＳ１４に移す。指示されたと判別しなかった場合、制御部１１は、処理をステップＳ１５に移す。
制御部１１は、記憶部１２及び通信部１３と協働して画風変換部１１８を実行する。そして、制御部１１は、ＡＩ画風変換を指示されたか判別する処理を実行する（ステップＳ１３、ＡＩ画風変換指示判別ステップ）。指示されたと判別した場合、制御部１１は、処理をステップＳ１４に移す。指示されたと判別しなかった場合、制御部１１は、処理をステップＳ１５に移す。
【0069】
ＡＩ画風変換指示判別ステップは、特に限定されない。ＡＩ画風変換指令判別ステップは、例えば、端末Ｔ等を介して利用者から画風の変換を指示された場合にＡＩ画風変換を指示されたと判別する手順でよい。
【0070】
［ステップＳ１４：画風を変換］
制御部１１は、記憶部１２と協働して画風変換部１１８を実行する。制御部１１は、第５機械学習に基づいて、ステップＳ４で切り取られた魚体部分画像、又はＣｏｌｏｒ Ｄｏｄｇｅ後の対比の標準化・Ｅｄｇｅの最適化を行った画像に対して、画風を変換する処理を実行する（ステップＳ１４、ＡＩ画風変換実行ステップ）。これにより、芸術としてのＡＩ魚拓の価値をいっそう高め得る。ここで、ＡＩ画風変換実行ステップは、魚拓で使用する書体及び背景のデザイン修正へ利用してもよい。ＡＩ画風変換実行ステップは、画風が変換された魚拓画像を魚拓テーブル１２１に格納する手順を含むことが好ましい。その後、制御部１１は処理をステップＳ１５に移す。
制御部１１は、記憶部１２と協働して画風変換部１１８を実行する。制御部１１は、第５機械学習に基づいて、ステップＳ４で切り取られた魚体部分画像、又はＣｏｌｏｒ Ｄｏｄｇｅ後の対比の標準化・Ｅｄｇｅの最適化を行った画像に対して、画風を変換する処理を実行する（ステップＳ１４、ＡＩ画風変換実行ステップ）。これにより、芸術としてのＡＩ魚拓の価値をいっそう高め得る。ここで、ＡＩ画風変換実行ステップは、魚拓で使用する書体及び背景のデザイン修正へ利用してもよい。ＡＩ画風変換実行ステップは、画風が変換された魚拓画像を魚拓テーブル１２１に格納する手順を含むことが好ましい。その後、制御部１１は処理をステップＳ１５に移す。
【0071】
画像処理装置１は、大きさの計測が不可能な場合であっても、ステップＳ１７の出力ステップを実行する。基準位置取得ステップ及び測定ステップが実行される場合、出力ステップは、魚体の大きさの出力に関するステップＳ１５からステップＳ１６までの処理を含むことが好ましい。
【0072】
［ステップＳ１５：魚体の大きさを出力可能か判別］
制御部１１は、記憶部１２と協働して出力部１１９を実行する。そして、制御部１１は、魚体の大きさを出力可能か判別する処理を実行する（ステップＳ１５、大きさ出力可否判別ステップ）。出力可能であると判別した場合、制御部１１は、処理をステップＳ１６に移す。出力可能であると判別しなかった場合、制御部１１は、処理をステップＳ１７に移す。大きさ出力可否判別ステップは、例えば、測定ステップで大きさが測定されている場合に魚体の大きさを出力可能であると判別する手順等を含む。
制御部１１は、記憶部１２と協働して出力部１１９を実行する。そして、制御部１１は、魚体の大きさを出力可能か判別する処理を実行する（ステップＳ１５、大きさ出力可否判別ステップ）。出力可能であると判別した場合、制御部１１は、処理をステップＳ１６に移す。出力可能であると判別しなかった場合、制御部１１は、処理をステップＳ１７に移す。大きさ出力可否判別ステップは、例えば、測定ステップで大きさが測定されている場合に魚体の大きさを出力可能であると判別する手順等を含む。
【0073】
［ステップＳ１６：魚体の大きさを出力］
制御部１１は、記憶部１２及び通信部１３と協働して出力部１１９を実行する。ステップＳ１６、大きさ付出力実行ステップは、ステップＳ１１で魚体の大きさが得られた場合、その情報をステップＳ１７へ渡す。そうでない場合は該ステップを省略する。
制御部１１は、記憶部１２及び通信部１３と協働して出力部１１９を実行する。ステップＳ１６、大きさ付出力実行ステップは、ステップＳ１１で魚体の大きさが得られた場合、その情報をステップＳ１７へ渡す。そうでない場合は該ステップを省略する。
【0074】
［ステップＳ１７：魚拓を出力］
制御部１１は、記憶部１２及び通信部１３と協働して出力部１１９を実行する。制御部１１は、ステップＳ１からステップＳ１４までの処理で向きが修正され描かれたＡＩ魚拓とステップＳ３からステップＳ４までの処理で判別された魚の種類を出力する処理を実行する（ステップＳ１７、出力実行ステップ）。ステップＳ１５で魚体の大きさが出力可能でないと判別された場合は、大きさに関する情報は添付されなくともよい。
制御部１１は、記憶部１２及び通信部１３と協働して出力部１１９を実行する。制御部１１は、ステップＳ１からステップＳ１４までの処理で向きが修正され描かれたＡＩ魚拓とステップＳ３からステップＳ４までの処理で判別された魚の種類を出力する処理を実行する（ステップＳ１７、出力実行ステップ）。ステップＳ１５で魚体の大きさが出力可能でないと判別された場合は、大きさに関する情報は添付されなくともよい。
【0075】
［ＳＮＳ出力ステップ］
出力実行ステップは、利用者の指示に応じて上述のＡＩ魚拓等をＳＮＳ等のソーシャルメディアに出力可能なＳＮＳ出力ステップ（図示せず）をさらに含むことが好ましい。これにより、ＡＩ魚拓を用いたオンライン釣り大会を主催する場合、大会の主催者及び参加者等は、該大会を通じて作成したＡＩ魚拓及び元画像を、各種ソーシャルメディアを通じて宣伝できる。これにより、主催者等は、該宣伝によるさらなる参加者獲得を目指すことができる。また、画像処理システムＳの運用者は、該宣伝による画像処理システムＳの利用者増加を見込み得る。
出力実行ステップは、利用者の指示に応じて上述のＡＩ魚拓等をＳＮＳ等のソーシャルメディアに出力可能なＳＮＳ出力ステップ（図示せず）をさらに含むことが好ましい。これにより、ＡＩ魚拓を用いたオンライン釣り大会を主催する場合、大会の主催者及び参加者等は、該大会を通じて作成したＡＩ魚拓及び元画像を、各種ソーシャルメディアを通じて宣伝できる。これにより、主催者等は、該宣伝によるさらなる参加者獲得を目指すことができる。また、画像処理システムＳの運用者は、該宣伝による画像処理システムＳの利用者増加を見込み得る。
【0076】
［ＮＦＴ出力ステップ］
出力実行ステップは、利用者の指示に応じて、上述のＡＩ魚拓及び魚の大きさ等をブロックチェーン上のＮＦＴとして出力可能なＮＦＴ出力ステップ（図示せず）をさらに含むことが好ましい。これにより、利用者は、ブロックチェーン上に改ざん困難なＮＦＴとして出力されたＡＩ魚拓及び魚の大きさ等の信頼できる証拠によって、作成した魚拓が自己のものであることを示し得る。
出力実行ステップは、利用者の指示に応じて、上述のＡＩ魚拓及び魚の大きさ等をブロックチェーン上のＮＦＴとして出力可能なＮＦＴ出力ステップ（図示せず）をさらに含むことが好ましい。これにより、利用者は、ブロックチェーン上に改ざん困難なＮＦＴとして出力されたＡＩ魚拓及び魚の大きさ等の信頼できる証拠によって、作成した魚拓が自己のものであることを示し得る。
【0077】
＜画像処理システムＳの使用例＞
以下、本実施形態の画像処理システムＳの使用例が説明される。
以下、本実施形態の画像処理システムＳの使用例が説明される。
【0078】
〔ＡＩ魚拓の生成〕
まず、魚を釣り上げた利用者がＡＩ魚拓を生成する使用例が説明される。
まず、魚を釣り上げた利用者がＡＩ魚拓を生成する使用例が説明される。
【0079】
［魚の画像の取得］
魚を釣り上げた利用者は、スマートフォン等で撮影する等して、釣り上げた魚の画像を画像処理装置１に提供する。画像処理装置１は、該魚の画像を取得する。図６は、魚の画像の一例である。図６に示す魚の画像は、背景として写りこんだ他の魚等を含んでいるため、このままではＡＩ魚拓として利用できないため、魚拓作成に利用する魚体の切り取り、選別等の処理を行う必要がある。
魚を釣り上げた利用者は、スマートフォン等で撮影する等して、釣り上げた魚の画像を画像処理装置１に提供する。画像処理装置１は、該魚の画像を取得する。図６は、魚の画像の一例である。図６に示す魚の画像は、背景として写りこんだ他の魚等を含んでいるため、このままではＡＩ魚拓として利用できないため、魚拓作成に利用する魚体の切り取り、選別等の処理を行う必要がある。
【0080】
［魚種の判別及び魚体部分画像の切り取り］
画像処理装置１は、図６の画像から魚種がアカマツカサであると判別し、該判別に基づいて魚体部分画像を切り取る。図７は、判別された魚種に基づいて図６の画像から切り取られた魚体部分画像の一例である。
画像処理装置１は、図６の画像から魚種がアカマツカサであると判別し、該判別に基づいて魚体部分画像を切り取る。図７は、判別された魚種に基づいて図６の画像から切り取られた魚体部分画像の一例である。
【0081】
［向きの修正］
画像処理装置１は、魚体の向きを判別する。そして、画像処理装置１は、判別された向きに基づいて魚体の向きを修正し、最適な配置を行う。図７に示す例では、魚体の第１主軸Ｘ１、第２主軸Ｙ１、魚体の目Ｅ、胸びれＰ、尾ひれＣが第３機械学習によって検出され、魚体の向きを判別可能としている。図８は、魚体部分画像の向きを修正して得られたモノクロ画像の一例である。図８に示す例では、画像処理装置１は、判別された向きに基づいて、魚体の配置が左下の方向を向くように自動修正している。
画像処理装置１は、魚体の向きを判別する。そして、画像処理装置１は、判別された向きに基づいて魚体の向きを修正し、最適な配置を行う。図７に示す例では、魚体の第１主軸Ｘ１、第２主軸Ｙ１、魚体の目Ｅ、胸びれＰ、尾ひれＣが第３機械学習によって検出され、魚体の向きを判別可能としている。図８は、魚体部分画像の向きを修正して得られたモノクロ画像の一例である。図８に示す例では、画像処理装置１は、判別された向きに基づいて、魚体の配置が左下の方向を向くように自動修正している。
【0082】
［大きさの測定］
画像処理装置１は、複数の基準位置を取得し、該基準位置に基づいて、魚体の大きさを測定する。図９は、画像からの基準位置取得に関する説明図である。図９に示す例では、巻尺に記された数字である数字１から数字５が、第１基準位置Ｌ１から第５基準位置Ｌ５として取得されている。また、図９に示す例では、第１基準位置Ｌ１から第５基準位置Ｌ５に対する主成分分析によって、巻尺の主軸Ｘ２が取得されている。第１基準位置Ｌ１から第５基準位置Ｌ５及び該向きに基づいて、画像処理装置１は、魚体の大きさを測定する。
画像処理装置１は、複数の基準位置を取得し、該基準位置に基づいて、魚体の大きさを測定する。図９は、画像からの基準位置取得に関する説明図である。図９に示す例では、巻尺に記された数字である数字１から数字５が、第１基準位置Ｌ１から第５基準位置Ｌ５として取得されている。また、図９に示す例では、第１基準位置Ｌ１から第５基準位置Ｌ５に対する主成分分析によって、巻尺の主軸Ｘ２が取得されている。第１基準位置Ｌ１から第５基準位置Ｌ５及び該向きに基づいて、画像処理装置１は、魚体の大きさを測定する。
【0083】
［画像の強調］
画像処理装置１は、Ｃｏｌｏｒ Ｄｏｄｇｅ、コントラスト標準化、Ｅｄｇｅ強調により、魚体部分画像のインパクトを強調する。図１０は、図８の画像のインパクトを強調した画像の一例である。インパクト強調により、単なるモノクロ画像とは異なる迫力のあるＡＩ魚拓画像が得られる。
画像処理装置１は、Ｃｏｌｏｒ Ｄｏｄｇｅ、コントラスト標準化、Ｅｄｇｅ強調により、魚体部分画像のインパクトを強調する。図１０は、図８の画像のインパクトを強調した画像の一例である。インパクト強調により、単なるモノクロ画像とは異なる迫力のあるＡＩ魚拓画像が得られる。
【0084】
［画風の変換］
利用者からの指示に応じて、画像処理装置１は、画風を変換する。図１１は、図１０の魚体部分画像の画風を変換した魚拓画像の一例である。図１１に示す例では、画風が変換されたＡＩ魚拓は、単なるデジタル魚拓ではなく、芸術作品としての魚拓であるとの印象を与え得る。
利用者からの指示に応じて、画像処理装置１は、画風を変換する。図１１は、図１０の魚体部分画像の画風を変換した魚拓画像の一例である。図１１に示す例では、画風が変換されたＡＩ魚拓は、単なるデジタル魚拓ではなく、芸術作品としての魚拓であるとの印象を与え得る。
【0085】
〔ＡＩ魚拓を用いた釣り大会等への利用〕
以下では、ＡＩ魚拓を用いて釣り大会等を開催する使用例が説明される。上述の通り、本実施形態の画像処理システムＳは、ＡＩ技術（機械学習・深層学習）を利用した迅速かつ正確な計測、及び該計測に基づいたＡＩ魚拓の作画が可能である。
以下では、ＡＩ魚拓を用いて釣り大会等を開催する使用例が説明される。上述の通り、本実施形態の画像処理システムＳは、ＡＩ技術（機械学習・深層学習）を利用した迅速かつ正確な計測、及び該計測に基づいたＡＩ魚拓の作画が可能である。
【0086】
伝統的な手順で魚の大きさを測定し、魚拓を作成する釣り大会の開催場所は、鑑定人・魚拓技術技師等を手配可能な場所に制限されると考えられる。また、従来のように特殊な撮影機材を用いてデジタル魚拓を作成する釣り大会の開催場所は、当該撮影機材を手配可能な場所に制限されると考えられる。
【0087】
一方、本実施形態の画像処理システムＳを用いる場合、釣り大会等の主催者等は、魚の大きさを計測可能な場所及び撮影機材を手配可能な場所に関わらず釣り大会等を開催できる。これにより、主催者等は、例えば、オンラインによる釣り大会等によって例示されるより広範囲での釣り大会を開催できる。
【0088】
〔ＡＩ魚拓の商品化〕
以下では、ＡＩ魚拓を商品化する使用例が説明される。上述の通り、本実施形態の画像処理システムＳは、ＡＩ技術（機械学習・深層学習）を利用した迅速かつ正確な計測、及び優美な作風に基づいたＡＩ魚拓の作画が可能である。
以下では、ＡＩ魚拓を商品化する使用例が説明される。上述の通り、本実施形態の画像処理システムＳは、ＡＩ技術（機械学習・深層学習）を利用した迅速かつ正確な計測、及び優美な作風に基づいたＡＩ魚拓の作画が可能である。
【0089】
これにより、画像処理システムＳの運用者等は、出力されたＡＩ魚拓を用いたデザインの各種商品を販売するサービスを提供できる。このような商品は、例えば、ＡＩ魚拓があしらわれたＴシャツ、マグカップ、カレンダー、年賀状等が挙げられる。
【0090】
以上、本発明の好ましい態様の一例が説明された。なお、本発明の思想の範疇において、当業者は、各種の変更例及び修正例に想到し得るものである。よって、それら変更例及び修正例は、上述の一例と同様に、本発明の範囲に属するものと了解される。例えば、前述の実施の形態に対して、当業者が適宜、構成要素の追加、削除若しくは設計変更を行ったもの、又は、工程の追加、省略若しくは条件変更を行ったものは、本発明の要旨を備えている限り、上述の一例と同様に、本発明の範囲に含まれる。
【符号の説明】
【0091】
Ｓ 画像処理システム
１ 画像処理装置
１１ 制御部
１１１ 画像取得部
１１２ 魚種判別部
１１３ 魚体部分切取部
１１４ 向き・配置修正部
１１５ 基準位置取得部
１１６ 測定部
１１７ 画像強調部
１１８ 画風変換部
１１９ 出力部
１２ 記憶部
１２１ 魚拓テーブル
１３ 通信部
Ｃ 尾ひれ
Ｅ 目
Ｌ１－Ｌ５ 第１－第５基準位置
Ｎ ネットワーク
Ｐ 胸びれ
Ｔ 端末
Ｘ１ 第１主軸
Ｙ１ 第２主軸
Ｘ２ 巻尺の向き
１ 画像処理装置
１１ 制御部
１１１ 画像取得部
１１２ 魚種判別部
１１３ 魚体部分切取部
１１４ 向き・配置修正部
１１５ 基準位置取得部
１１６ 測定部
１１７ 画像強調部
１１８ 画風変換部
１１９ 出力部
１２ 記憶部
１２１ 魚拓テーブル
１３ 通信部
Ｃ 尾ひれ
Ｅ 目
Ｌ１－Ｌ５ 第１－第５基準位置
Ｎ ネットワーク
Ｐ 胸びれ
Ｔ 端末
Ｘ１ 第１主軸
Ｙ１ 第２主軸
Ｘ２ 巻尺の向き
【要約】 （修正有）
【課題】特殊な撮影機材を必要としないこと、手作業による負担を低減すること及び芸術としての魚拓の価値を高めることを両立可能な手段としてのＡＩ魚拓を作成する画像処理装置を提供する。
【解決手段】画像処理システムＳにおいて、画像処理装置１は、以下の（Ａ）～（Ｉ）を備える。
（Ａ）魚の画像を取得可能な画像取得部１１１
（Ｂ）第１機械学習による魚種判別部１１２
（Ｃ）第２機械学習による魚体部分切取部１１３
（Ｄ）第３機械学習による魚体の向き修正・配置部１１４
（Ｅ）第４機械学習による基準位置取得部１１５
（Ｆ）魚体の大きさの測定部１１６
（Ｇ）画像強調アルゴリズムに基づくインパクト強調処理による画像強調部１１７
（Ｈ）第５機械学習によるＡＩ画風変換部１１８
（Ｉ）魚体部分画像及び魚種等の出力部１１９
【選択図】図１
【解決手段】画像処理システムＳにおいて、画像処理装置１は、以下の（Ａ）～（Ｉ）を備える。
（Ａ）魚の画像を取得可能な画像取得部１１１
（Ｂ）第１機械学習による魚種判別部１１２
（Ｃ）第２機械学習による魚体部分切取部１１３
（Ｄ）第３機械学習による魚体の向き修正・配置部１１４
（Ｅ）第４機械学習による基準位置取得部１１５
（Ｆ）魚体の大きさの測定部１１６
（Ｇ）画像強調アルゴリズムに基づくインパクト強調処理による画像強調部１１７
（Ｈ）第５機械学習によるＡＩ画風変換部１１８
（Ｉ）魚体部分画像及び魚種等の出力部１１９
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
