審判番号 不服2023-012960
請求人 オッポ広東移動通信有限公司(代理人 弁理士4名)
特願2021-552228「インループフィルタリングの実現方法、装置及びコンピュータ記憶媒体」拒絶査定不服審判事件〔令和2年9月10日国際公開、WO2020/177134、令和4年4月20日国内公表、特表2022-522860〕について、次のとおり審決する。
結 論
本件審判の請求は、成り立たない。
理 由
第1 手続の経緯
本願は、2019年(平成31年)3月7日を国際出願日とする出願であって、その手続の経緯は以下のとおりである。
令和3年9月2日 手続補正書の提出
令和4年11月30日付け 拒絶理由通知書
令和5年3月3日 手続補正書及び意見書の提出
令和5年5月10日付け 拒絶査定
令和5年8月3日 審判請求書及び手続補正書の提出
令和5年9月15日付け 前置報告書
令和6年6月24日付け 拒絶理由通知書(当審)
令和6年9月24日 手続補正書及び意見書の提出
令和6年11月19日付け 拒絶理由通知書(当審)
令和7年1月10日 意見書の提出
第2 本願発明
本願の請求項1から12に係る発明は、令和6年9月24日になされた手続補正により補正された特許請求の範囲の請求項1から12に記載された事項により特定されるものと認められるところ、その請求項1に係る発明(以下、「本願発明」という。)は、以下のとおりのものである。
ここで、記号「A」から「E」は、分説するために当審が付したものであり、記号「A」から「E」に対応する発明特定事項を、以下「構成A」から「構成E」という。
〔本願発明〕
「A インループフィルタリングの実現方法であって、
B フィルタリング対象画像を取得することと、
C 前記フィルタリング対象画像の少なくとも2つの画像成分のうちの各画像成分に対して成分処理を行って、成分処理後の少なくとも2つの画像成分を取得し、前記成分処理はサンプリング又は再構成処理を含むことと、
D 前記成分処理後の少なくとも2つの画像成分をインループフィルタに一括で入力してインループフィルタリング処理を行って、前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得することと、
E を含み、
B 前記フィルタリング対象画像を取得することは、
B1 符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像を前記フィルタリング対象画像とすること、
B2 又は、
B3 前記符号化対象ビデオにおける前記オリジナル画像に対してビデオ符号化処理を行うことによって再構成画像を生成し、前記再構成画像に対してデブロッキングフィルタリング処理を行って、デブロッキングフィルタリング処理後の画像を前記フィルタリング対象画像とすること
B4 を含む、
A インループフィルタリングの実現方法。」
第3 補正の適否、及び当審の拒絶の理由
1 補正の適否
令和6年9月24日になされた手続補正(以下、「本件補正」という。)は、特許請求の範囲の記載を補正するものであり、その適否について以下検討する。ここで、下線は補正箇所を示す。
〔本件補正前(令和5年8月3日になされた手続補正後)の特許請求の範囲〕
「 【請求項1】
インループフィルタリングの実現方法であって、
フィルタリング対象画像を取得することと、
前記フィルタリング対象画像の少なくとも2つの画像成分に基づいて、それぞれ前記少なくとも2つの画像成分のうちの各画像成分に対して成分処理を行って、成分処理後の少なくとも2つの画像成分を取得することと、
前記成分処理後の少なくとも2つの画像成分に対して融合処理を行うことと、
前記融合処理に基づいてインループフィルタリング処理を行って、前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得することと、を含み、
前記フィルタリング対象画像を取得することは、
符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像を前記フィルタリング対象画像とすること、又は、
前記符号化対象ビデオにおける前記オリジナル画像に対してビデオ符号化処理を行うことによって再構成画像を生成し、前記再構成画像に対して所定フィルタリング処理を行って、所定フィルタリング処理後の画像を前記フィルタリング対象画像とすることを含む、インループフィルタリングの実現方法。
【請求項2】
前記融合処理を行うことは、前記少なくとも2つの画像成分を一括で入力することを含む、請求項1に記載の方法。
【請求項3】
成分処理後の少なくとも2つの画像成分を取得する前に、前記方法は更に、
前記フィルタリング対象画像の少なくとも2つの画像成分に基づいて、それぞれ各画像成分に対応する第1補助情報を決定することを含み、
前記第1補助情報は少なくともブロック分割情報及び/又は量子化パラメータ情報を含む、請求項1に記載の方法。
【請求項4】
前記フィルタリング対象画像の少なくとも2つの画像成分に基づいて、それぞれ前記少なくとも2つの画像成分のうちの各画像成分に対して成分処理を行って、成分処理後の少なくとも2つの画像成分を取得することは、
前記フィルタリング対象画像の少なくとも2つの画像成分に基づいて、それぞれ前記少なくとも2つの画像成分のうちの各画像成分と各画像成分に対応する第1補助情報を追加処理して、処理後に前記フィルタリング対象画像の少なくとも2つの画像成分を取得することを含む、請求項3に記載の方法。
【請求項5】
前記成分処理後の少なくとも2つの画像成分に対して融合処理を行うことは、
前記フィルタリング対象画像の少なくとも2つの画像成分、及び各画像成分に対応する第1補助情報を融合処理して、前記フィルタリング対象画像の融合情報を取得することを含む、請求項3に記載の方法。
【請求項6】
前記融合処理に基づいてインループフィルタリング処理を行って、前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得することは、
前記融合処理に基づいて、それぞれ前記少なくとも2つの画像成分のうちの少なくとも1つの画像成分に対応する残差情報を取得することと、
前記少なくとも2つの画像成分のうちの少なくとも1つの画像成分と前記少なくとも1つの画像成分に対応する残差情報を加算演算して、前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得することと、を含む、請求項1に記載の方法。
【請求項7】
それぞれ前記少なくとも2つの画像成分のうちの各画像成分に対して成分処理を行って、成分処理後の少なくとも2つの画像成分を取得する前に、前記方法は更に、
前記フィルタリング対象画像の少なくとも2つの画像成分に基づいて、それぞれ各画像成分に対応する第2補助情報を決定することを含み、
前記第2補助情報は前記第1補助情報と異なる、請求項3~5のいずれか1項に記載の方法。
【請求項8】
前記成分処理後の少なくとも2つの画像成分に対して融合処理を行うことは、
前記フィルタリング対象画像の少なくとも2つの画像成分、及び各画像成分に対応する第2補助情報を融合処理して、前記フィルタリング対象画像の融合情報を取得することを含む、請求項4に記載の方法。
【請求項9】
前記融合処理に基づいてインループフィルタリング処理を行って、前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得することは、
前記フィルタリング対象画像の少なくとも2つの画像成分に基づいて、それぞれ前記少なくとも2つの画像成分のうちの各画像成分と各画像成分に対応する第2補助情報を追加処理して、処理後に前記フィルタリング対象画像の少なくとも2つの画像成分を取得することを含む、請求項5に記載の方法。
【請求項10】
前記方法は更に、
前記フィルタリング対象画像の前記少なくとも2つの画像成分に対して、低解像度の画像成分を選択することと、
前記低解像度の画像成分に対してアップサンプリング処理を行うことと、を含む、請求項1~9のいずれか1項に記載の方法。
【請求項11】
インループフィルタリングの実現装置であって、取得ユニット、分路ユニット、決定ユニット及びフィルタリングユニットを備え、
前記取得ユニットはフィルタリング対象画像を取得するように設定され、
前記分路ユニットは、フィルタリング対象画像の少なくとも2つの画像成分に基づいて、それぞれ前記少なくとも2つの画像成分のうちの各画像成分に対して成分処理を行って、成分処理後の少なくとも2つの画像成分を取得するように設定され、
前記決定ユニットは、前記成分処理後の少なくとも2つの画像成分に対して融合処理を行うように設定され、
前記フィルタリングユニットは、前記融合処理に基づいてインループフィルタリング処理を行って、前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得するように設定され、
前記取得ユニットは更に、
符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像を前記フィルタリング対象画像とするように設定され、又は、
前記符号化対象ビデオにおける前記オリジナル画像に対してビデオ符号化処理を行うことによって再構成画像を生成し、前記再構成画像に対して所定フィルタリング処理を行って、所定フィルタリング処理後の画像を前記フィルタリング対象画像とするように設定される、インループフィルタリングの実現装置。
【請求項12】
前記決定ユニットは、前記少なくとも2つの画像成分を一括で入力するように設定される、請求項11に記載のインループフィルタリングの実現装置。
【請求項13】
前記決定ユニットは更に、前記フィルタリング対象画像の少なくとも2つの画像成分に基づいて、それぞれ各画像成分に対応する第1補助情報を決定するように設定され、前記第1補助情報は少なくともブロック分割情報及び/又は量子化パラメータ情報を含む、請求項11に記載のインループフィルタリングの実現装置。
【請求項14】
前記分路ユニットは更に、前記フィルタリング対象画像の少なくとも2つの画像成分に基づいて、それぞれ前記少なくとも2つの画像成分のうちの各画像成分と各画像成分に対応する第1補助情報を追加処理して、処理後に前記フィルタリング対象画像の前記少なくとも2つの画像成分を取得するように設定される、請求項13に記載のインループフィルタリングの実現装置。」
〔本件補正後の特許請求の範囲〕
「 【請求項1】
インループフィルタリングの実現方法であって、
フィルタリング対象画像を取得することと、
前記フィルタリング対象画像の少なくとも2つの画像成分のうちの各画像成分に対して成分処理を行って、成分処理後の少なくとも2つの画像成分を取得し、前記成分処理はサンプリング又は再構成処理を含むことと、
前記成分処理後の少なくとも2つの画像成分をインループフィルタに一括で入力してインループフィルタリング処理を行って、前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得することと、を含み、
前記フィルタリング対象画像を取得することは、
符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像を前記フィルタリング対象画像とすること、又は、
前記符号化対象ビデオにおける前記オリジナル画像に対してビデオ符号化処理を行うことによって再構成画像を生成し、前記再構成画像に対してデブロッキングフィルタリング処理を行って、デブロッキングフィルタリング処理後の画像を前記フィルタリング対象画像とすることを含む、インループフィルタリングの実現方法。
【請求項2】
前記成分処理は更に、前記少なくとも2つの画像成分のうちの各画像成分に対してそれぞれ対応の補助情報を追加することを含み、及び/又は、前記成分処理後の少なくとも2つの画像成分をインループフィルタに一括で入力することは、前記成分処理後の少なくとも2つの画像成分及び対応の補助情報をマージすることを含み、前記補助情報は第1補助情報を含み、
成分処理後の少なくとも2つの画像成分を取得する前に、前記方法は更に、
前記フィルタリング対象画像の少なくとも2つの画像成分に基づいて、それぞれ各画像成分に対応する第1補助情報を決定することを含み、
前記第1補助情報は少なくともブロック分割情報及び/又は量子化パラメータ情報を含む、請求項1に記載の方法。
【請求項3】
前記少なくとも2つの画像成分のうちの各画像成分に対してそれぞれ対応の補助情報を追加することは、
前記少なくとも2つの画像成分のうちの各画像成分に対してそれぞれ対応の第1補助情報を追加することを含む、請求項2に記載の方法。
【請求項4】
前記成分処理後の少なくとも2つの画像成分及び対応の補助情報をマージすることは、
前記成分処理後の少なくとも2つの画像成分及び対応の第1補助情報をマージすることを含む、請求項2に記載の方法。
【請求項5】
前記インループフィルタリング処理を行って、前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得することは、
それぞれ前記少なくとも2つの画像成分のうちの少なくとも1つの画像成分に対応する残差情報を取得することと、
前記少なくとも2つの画像成分のうちの少なくとも1つの画像成分と前記少なくとも1つの画像成分に対応する残差情報を加算演算して、前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得することと、を含む、請求項1に記載の方法。
【請求項6】
前記補助情報は更に第2補助情報を含み、成分処理後の少なくとも2つの画像成分を取得する前に、前記方法は更に、
前記フィルタリング対象画像の少なくとも2つの画像成分に基づいて、それぞれ各画像成分に対応する第2補助情報を決定することを含み、
前記第2補助情報は少なくともブロック分割情報及び/又は量子化パラメータ情報を含み、且つ前記第1補助情報と異なる、請求項2~4のいずれか1項に記載の方法。
【請求項7】
前記補助情報は更に第2補助情報を含み、前記第2補助情報は少なくともブロック分割情報及び/又は量子化パラメータ情報を含み、且つ前記第1補助情報と異なり、前記成分処理後の少なくとも2つの画像成分及び対応の補助情報をマージすることは、
前記成分処理後の少なくとも2つの画像成分及び対応の第2補助情報をマージすることを含む、請求項3に記載の方法。
【請求項8】
前記補助情報は更に第2補助情報を含み、前記第2補助情報は少なくともブロック分割情報及び/又は量子化パラメータ情報を含み、且つ前記第1補助情報と異なり、前記少なくとも2つの画像成分のうちの各画像成分に対してそれぞれ対応の補助情報を追加することは、
前記少なくとも2つの画像成分のうちの各画像成分に対してそれぞれ対応の第2補助情報を追加することを含む、請求項4に記載の方法。
【請求項9】
前記サンプリング又は再構成処理は更に、
前記フィルタリング対象画像の前記少なくとも2つの画像成分に対して、低解像度の画像成分を選択することと、
前記低解像度の画像成分に対してアップサンプリング処理を行うことと、を含む、請求項1~8のいずれか1項に記載の方法。
【請求項10】
インループフィルタリングの実現装置であって、取得ユニット、分路ユニット、決定ユニット及びインループフィルタを備え、
前記取得ユニットはフィルタリング対象画像を取得するように設定され、
前記分路ユニットは、前記フィルタリング対象画像の少なくとも2つの画像成分のうちの各画像成分に対して成分処理を行って、成分処理後の少なくとも2つの画像成分を取得するように設定され、前記成分処理はサンプリング又は再構成処理を含み、
前記決定ユニットは、前記成分処理後の少なくとも2つの画像成分を前記インループフィルタに一括で入力するように設定され、
前記インループフィルタは、インループフィルタリング処理を行って、前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得するように設定され、
前記取得ユニットは更に、
符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像を前記フィルタリング対象画像とするように設定され、又は、
前記符号化対象ビデオにおける前記オリジナル画像に対してビデオ符号化処理を行うことによって再構成画像を生成し、前記再構成画像に対してデブロッキングフィルタリング処理を行って、デブロッキングフィルタリング処理後の画像を前記フィルタリング対象画像とするように設定される、インループフィルタリングの実現装置。
【請求項11】
前記分路ユニットは更に前記少なくとも2つの画像成分のうちの各画像成分に対してそれぞれ対応の補助情報を追加するように設定され、及び/又は、前記決定ユニットは更に前記成分処理後の少なくとも2つの画像成分及び対応の補助情報をマージするように設定され、前記補助情報は第1補助情報を含み、
前記決定ユニットは更に、前記フィルタリング対象画像の少なくとも2つの画像成分に基づいて、それぞれ各画像成分に対応する第1補助情報を決定するように設定され、前記第1補助情報は少なくともブロック分割情報及び/又は量子化パラメータ情報を含む、請求項10に記載のインループフィルタリングの実現装置。
【請求項12】
前記分路ユニットは前記少なくとも2つの画像成分のうちの各画像成分に対してそれぞれ対応の第1補助情報を追加するように設定される、請求項11に記載のインループフィルタリングの実現装置。」
そして、本件補正は、願書に最初に添付した明細書、特許請求の範囲及び図面(特に、段落0027、0034、0039、0041、0042、0059、0060、0072、及び0073)に記載した事項の範囲内においてなされたものであり、かつ、その補正前に受けた拒絶理由通知において特許をすることができないものか否かについての判断が示された発明と、その補正後の特許請求の範囲に記載される事項により特定される発明とが、特許法第37条の発明の単一性の要件を満たす一群の発明に該当するものとなるようになされたものである。
したがって、本件補正は適法になされたものである。
2 当審の拒絶の理由
令和6年11月19日付けで通知した当審の拒絶の理由は、「この出願の下記の請求項に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明であるから、特許法第29条第1項第3号に該当し、特許を受けることができない。」、及び「この出願の下記の請求項に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。」というものであり、請求項1、5、9、及び10に係る発明に対して、以下の引用文献3が引用された。
引用文献3:Chih-Wei Hsu et al., Description of SDR video coding technology proposal by MediaTek, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 11 Apr. 2018, Document: JVET-J0018 (version 2), pp. i, 22-32, <URL: https://jvet-experts.org/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0018-v2.zip>< JVET-J0018.docx>
第4 引用文献に記載された事項、及び引用発明の認定
1 引用文献3に記載された事項
本願の国際出願日前の2018年4月11日に公開され、令和6年11月19日付け拒絶理由通知書(当審)において引用された、Chih-Wei Hsu et al., Description of SDR video coding technology proposal by MediaTek, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 11 Apr. 2018, Document: JVET-J0018 (version 2), pp. i, 22-32, <URL: https://jvet-experts.org/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0018-v2.zip>< JVET-J0018.docx>(以下、「引用文献3」という。)には、以下の記載がある(下線は強調のために当審で付したものであり、以下同様。)。
ア
「2.8 In-loop filters
In this contribution, there are five in-loop filters in the video codec system. The processing order is deblocking filter (DF), non-local mean loop filter (NLMLF), sample adaptive offset (SAO), adaptive loop filter (ALF), and convolution neural network loop filter (CNNLF), sequentially. In the following subsections, these five in-loop filter are introduced one by one.
2.8.1 Deblocking filter
In general, deblocking filter (DF) consists of 2 main parts: filtering decisions and filtering operations.Filtering decisions are used to determine the filter types (e.g., no filtering, or weak/strong filtering) for each block edge. Filtering operations are then applied to filter the samples at both sides of block boundaries based on the filtering decisions.」(22頁17行から23頁5行)
(当審訳:2.8 インループフィルタ
この寄書では、ビデオコーデックシステムに5つのインループフィルタが存在する。処理の順序は、デブロッキングフィルタ(DF)、非局所平均ループフィルタ(NLMLF)、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)、及び畳み込みニューラルネットワークループフィルタ(CNNLF)の順序である。以下の各小節では、これら5つのインループフィルタが1つずつ紹介される。
2.8.1 デブロッキングフィルタ
一般に、デブロッキングフィルタ(DF)は、フィルタリング決定及びフィルタリング操作という2つの主要部分から構成される。フィルタリング決定は、各ブロックエッジに対してフィルタの種類(例えば、フィルタリングなし、又は弱い/強いフィルタリング)を決定するために使用される。次に、フィルタリング決定に基づいて、ブロック境界の両側のサンプルをフィルタリングするためのフィルタリング操作が適用される。)
イ
「2.8.2 Non-local mean loop filter
Non-local mean (NLM) is often applied in image denoising. In this contribution, non-local mean is utilized as one in-loop filter to reduce the compression error in the video coding system and is called non-local mean loop filter (NLMLF). The basic flow of NLMLF is described as follows. First, the current frame is divided into non-overlapping 8x8 patches. Based on the received on/off flags, NLMLF is performed on those enabled patches.」(27頁26行から31行)
(当審訳:2.8.2 非局所平均ループフィルタ
非局所平均(NLM)は、画像のノイズ除去にしばしば適用される。この寄書では、非局所平均はビデオコーディングシステムにおける圧縮誤差を減少させるためのインループフィルタの1つとして利用され、非局所平均ループフィルタ(NLMLF)と呼ばれる。NLMLFの基本的な流れは以下のように説明される。まず、現在のフレームは重ならない8x8のパッチに分割される。受信したオン/オフフラグに基づいて、NLMLFは有効なパッチに対して実行される。」
ウ
「2.8.4 Adaptive loop filter
Adaptive loop filter (ALF) was utilized as one in-loop filter during HEVC standardization. The concept is to utilize Wiener filter to reduce sample distortions. In this contribution, ALF is also integrated. The basic decoding process of ALF is similar to that of SAO. First, sample classification is performed for each to-be-processed sample to select a corresponding filter, if necessary. Next, the filtered results are generated by applying filtering with the corresponding filters on to-be-processed samples. The side information of ALF is signaled at slice level and CTB level. At slice header, one flag to indicate whether ALF is enabled or disabled, the selection of sample classifiers, coefficients of slice filters, and the supported CTB modes, are signaled for each color component. For each CTB, one on/off flag and the selected CTB mode with related information are coded.」(29頁26行から35行)
(当審訳:2.8.4 適応ループフィルタ
適応ループフィルタ(ALF)は、HEVC標準化の際にインループフィルタの1つとして利用された。この概念は、ウィーナーフィルタを使用してサンプルの歪みを減少させることである。この寄書でもALFが統合されている。ALFの基本的な復号プロセスはSAOのそれに類似している。まず、処理対象の各サンプルに対してサンプル分類が行われ、必要に応じて対応するフィルタが選択される。次に、処理対象のサンプルに対して対応するフィルタを適用することでフィルタリング結果が生成される。ALFのサイド情報はスライスレベル及びCTBレベルでシグナリングされる。スライスヘッダでは、ALFが有効か無効かを示すフラグ、サンプル分類器の選択、スライスフィルタの係数、及びサポートされたCTBモードが各色成分に対してシグナリングされる。各CTBに対しては、オン/オフフラグ及び選択されたCTBモードが関連情報とともに符号化される。)
エ
「2.8.5 Convolution neural network loop filter
Convolution neural network (CNN) is successful in many applications, e.g., face/people/vehicle/object/… detection/recognition, image signal processing including denoising, sharpening, and super-resolution, and so on. In this contribution, CNN is applied as one in-loop filter stage and called convolutional neural network loop filter (CNNLF). The inputs of CNNLF include three kinds of data types, reconstructed samples, prediction samples, and residual samples. The reconstructed samples (Reco.) are ALF output samples, the prediction samples (Pred.) are inter or intra prediction output samples, and the residual samples (Resi.) are inverse quantization and inverse transform output samples. The outputs of CNNLF are the restored reconstructed samples.An 8-layer neural network for luma component and another 8-layer neural network for chroma components are designed, as shown in Figure 23 (a) and (b), respectively, where the numbers in a layer, MxMxNxP, are used to represent HorizontalSpatialFilterSizeInOneChannel x VerticalSpatialFilterSizeInOneChannel x NumberOfInputChannels x NumberOfFiltersInOneLayer. The operation in each layer is filtering with a rectified linear unit (ReLu) right after each filter, except the last layer. For the luma neural network, the 18 input channels are 4 x {Y-Reco., Y-Pred., Y-Resi.}, {U-Reco., U-Pred., U-Resi.}, and {V-Reco., V-Pred., V-Resi.}. The data of 4 x {Y-Reco., Y-Pred., Y-Resi.} are generated by 2x2 subsampling a luma block into 4 different subblocks, and each subblock is treated as one input channel. For example, if one to-be-processed luma block is Width x Height, then 2x2 subsampling is applied to generate 4 subblocks of size Width/2 x Height/2, in Packing for Luma. After finishing the processes of 8 layers, unPackingLuma generates a filtered block with size equal to Width x Height by integrating the 4 subblocks into one block and adding the filtered results on top of Y-Reco.As for chroma componenets, U and V are processed simultaneously. The 36 input channels are 4 x {AvgY-Reco., AvgY-Pred., AvgY-Resi.}, 4 x {U-Reco., U-Pred., U-Resi.}, and 4 x {V-Reco., V-Pred., V-Resi.}, where AvgY-Xxxx. is generated by averaging 4 luma samples first if the YUV format is 420. unPackingChroma generates the two filtered chroma blocks, after finishing the processes of 8 layers.」(31頁1行から24行)
(当審訳:2.8.5 畳み込みニューラルネットワークループフィルタ
畳み込みニューラルネットワーク(CNN)は、顔/人/車両/物体などの検出/認識、ノイズ除去、シャープニング、超解像を含む画像信号処理など、多くのアプリケーションで成功を収めている。この寄書では、CNNはインループフィルタの1つの段階として適用され、畳み込みニューラルネットワークループフィルタ(CNNLF)と呼ばれる。CNNLFの入力は、再構成されたサンプル、予測サンプル、残差サンプルの3種類のデータタイプを含む。再構成されたサンプル(Reco.)はALFの出力サンプルであり、予測サンプル(Pred.)はインター又はイントラ予測の出力サンプル、残差サンプル(Resi.)は逆量子化及び逆変換の出力サンプルである。CNNLFの出力は、復元され再構成されたサンプルである。図23(a)及び(b)にそれぞれ示されるように、ルマ成分用の8層のニューラルネットワークと、クロマ成分用のもう1つの8層のニューラルネットワークが設計されており、ここで層内の数値、MxMxNxPは、HorizontalSpatialFilterSizeInOneChannel x VerticalSpatialFilterSizeInOneChannel x NumberOfInputChannels x NumberOfFiltersInOneLayerを表すために用いられる。各層の操作は、最後の層を除いて、各フィルタの直後に整流線形ユニット(ReLu)を用いたフィルタリングである。ルマニューラルネットワークについて、18の入力チャネルは4x{Y-Reco.,Y-Pred.,Y-Resi.}、{U-Reco.,U-Pred.,U-Resi.}、及び{V-Reco.,V-Pred.,V-Resi.}である。4x{Y-Reco.,Y-Pred.,Y-Resi.}のデータは、ルマブロックを2x2サブサンプリングして4つの異なるサブブロックに分割することによって生成され、各サブブロックは1つの入力チャネルとして扱われる。例えば、処理対象のルマブロックがWidth x Heightである場合、Packing for Lumaにおいて、Width/2 x Height/2サイズの4つのサブブロックを生成するために、2x2サブサンプリングが適用される。8層の処理が完了した後、unPackingLumaは、4つのサブブロックを1つのブロックに統合し、さらにY-Reco.の上にフィルタリングされた結果を加えることによって、サイズがWidth x Heightに等しいフィルタリングされたブロックを生成する。クロマ成分については、UとVが同時に処理される。36の入力チャネルは、4x{AvgY-Reco.,AvgY-Pred.,AvgY-Resi.}、4x{U-Reco.,U-Pred.,U-Resi.}、及び4x{V-Reco.,V-Pred.,V-Resi.}であり、ここでAvgY-XxxxはYUVフォーマットが420の場合、最初に4つのルマサンプルを平均化することによって生成される。8層の処理が完了した後、unPackingChromaは、2つのフィルタリングされたクロマブロックを生成する。)
オ
「
〔図省略〕
」(Figure 23)
(当審訳:図23.CNNLFのニューラルネットワーク設計.(a)ルマニューラルネットワーク.(b)クロマニューラルネットワーク.)
2 引用発明の認定
ア
上記1のアの2.8節には、「ビデオコーデックシステムに5つのインループフィルタが存在する」こと、及び「処理の順序は、デブロッキングフィルタ(DF)、非局所平均ループフィルタ(NLMLF)、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)、及び畳み込みニューラルネットワークループフィルタ(CNNLF)の順序である」こと、が記載されている。
ここで、5つのインループフィルタを処理する順序を特定することは、インループフィルタを処理する方法を特定することであるといえる。
したがって、引用文献3には、ビデオコーデックシステムに存在する5つのインループフィルタを、デブロッキングフィルタ(DF)、非局所平均ループフィルタ(NLMLF)、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)、及び畳み込みニューラルネットワークループフィルタ(CNNLF)の順序で処理する方法、が記載されているといえる。
イ
上記1のエには、「CNNLFの入力は、再構成されたサンプル、予測サンプル、残差サンプルの3種類のデータタイプを含む。再構成されたサンプル(Reco.)はALFの出力サンプルであり、予測サンプル(Pred.)はインター又はイントラ予測の出力サンプル、残差サンプル(Resi.)は逆量子化及び逆変換の出力サンプルである。CNNLFの出力は、復元され再構成されたサンプルである。」との記載がある。
したがって、引用文献3には、CNNLFの入力は、再構成されたサンプル(Reco.)、予測サンプル(Pred.)、及び残差サンプル(Resi.)の3種類のデータタイプを含み、再構成されたサンプルはALFの出力サンプルであり、予測サンプルはインター又はイントラ予測の出力サンプルであり、残差サンプルは逆量子化及び逆変換の出力サンプルであり、CNNLFの出力は復元され再構成されたサンプルであること、が記載されているといえる。
ウ
上記1のエには、「図23(a)・・・に・・・示されるように、ルマ成分用の8層のニューラルネットワーク・・・が設計されており・・・。・・・ルマニューラルネットワークについて、18の入力チャネルは4x{Y-Reco.,Y-Pred.,Y-Resi.}、{U-Reco.,U-Pred.,U-Resi.}、及び{V-Reco.,V-Pred.,V-Resi.}である。4x{Y-Reco.,Y-Pred.,Y-Resi.}のデータは、ルマブロックを2x2サブサンプリングして4つの異なるサブブロックに分割することによって生成され、各サブブロックは1つの入力チャネルとして扱われる。例えば、処理対象のルマブロックがWidth x Heightである場合、Packing for Lumaにおいて、Width/2 x Height/2サイズの4つのサブブロックを生成するために、2x2サブサンプリングが適用される。8層の処理が完了した後、unPackingLumaは、4つのサブブロックを1つのブロックに統合し、さらにY-Reco.の上にフィルタリングされた結果を加えることによって、サイズがWidth x Heightに等しいフィルタリングされたブロックを生成する。」との記載がある。
また、上記1のオの図23(a)からは、Packing for LumaとunPackingLumaの間にL1からL8の8層の処理を含むルマニューラルネットワークが見て取れる。
したがって、引用文献3には、ルマ成分用の8層のニューラルネットワークが設計され、ルマニューラルネットワークについての18の入力チャネルは4x{Y-Reco.,Y-Pred.,Y-Resi.}、{U-Reco.,U-Pred.,U-Resi.}、及び{V-Reco.,V-Pred.,V-Resi.}であり、4x{Y-Reco.,Y-Pred.,Y-Resi.}のデータは、ルマブロックを2x2サブサンプリングして4つの異なるサブブロックに分割することによって生成され、各サブブロックは1つの入力チャネルとして扱われ、例えば、処理対象のルマブロックがWidth x Heightである場合、Packing for Lumaにおいて、Width/2 x Height/2サイズの4つのサブブロックを生成するために、2x2サブサンプリングが適用され、8層の処理が完了した後、unPackingLumaは、4つのサブブロックを1つのブロックに統合し、さらにY-Reco.の上にフィルタリングされた結果を加えることによって、サイズがWidth x Heightに等しいフィルタリングされたブロックを生成すること、が記載されているといえる。
エ
上記1のエには、「図23・・・(b)に・・・示されるように、・・・クロマ成分用のもう1つの8層のニューラルネットワークが設計されており・・・。・・・クロマ成分については、UとVが同時に処理される。36の入力チャネルは、4x{AvgY-Reco.,AvgY-Pred.,AvgY-Resi.}、4x{U-Reco.,U-Pred.,U-Resi.}、及び4x{V-Reco.,V-Pred.,V-Resi.}であり、ここでAvgY-XxxxはYUVフォーマットが420の場合、最初に4つのルマサンプルを平均化することによって生成される。8層の処理が完了した後、unPackingChromaは、2つのフィルタリングされたクロマブロックを生成する。」との記載がある。
また、上記1のオの図23(b)からは、Packing for ChromaとunPackingChromaの間にL1からL8の8層の処理を含むクロマニューラルネットワークが見て取れる。
したがって、引用文献3には、クロマ成分用のもう1つの8層のニューラルネットワークが設計され、クロマ成分については、UとVが同時に処理され、36の入力チャネルは、4x{AvgY-Reco.,AvgY-Pred.,AvgY-Resi.}、4x{U-Reco.,U-Pred.,U-Resi.}、及び4x{V-Reco.,V-Pred.,V-Resi.}であり、ここでAvgY-XxxxはYUVフォーマットが420の場合に最初に4つのルマサンプルを平均化することによって生成され、8層の処理が完了した後、unPackingChromaは、2つのフィルタリングされたクロマブロックを生成すること、が記載されているといえる。
上記アからエをまとめると、引用文献3には、以下の発明(以下、「引用発明」という。)が記載されていると認められる。(記号「a」から「d」は当審が付したものであり、記号「a」から「d」に対応する事項を、以下、「構成a」から「構成d」という。また、(ア)から(エ)は上記アからエに対応する。)
〔引用発明〕
「a ビデオコーデックシステムに存在する5つのインループフィルタを、デブロッキングフィルタ(DF)、非局所平均ループフィルタ(NLMLF)、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)、及び畳み込みニューラルネットワークループフィルタ(CNNLF)の順序で処理する方法であって、(ア)
b CNNLFの入力は、再構成されたサンプル(Reco.)、予測サンプル(Pred.)、及び残差サンプル(Resi.)の3種類のデータタイプを含み、再構成されたサンプルはALFの出力サンプルであり、予測サンプルはインター又はイントラ予測の出力サンプルであり、残差サンプルは逆量子化及び逆変換の出力サンプルであり、CNNLFの出力は復元され再構成されたサンプルであり、(イ)
c ルマ成分用の8層のニューラルネットワークが設計され、ルマニューラルネットワークについての18の入力チャネルは4x{Y-Reco.,Y-Pred.,Y-Resi.}、{U-Reco.,U-Pred.,U-Resi.}、及び{V-Reco.,V-Pred.,V-Resi.}であり、4x{Y-Reco.,Y-Pred.,Y-Resi.}のデータは、ルマブロックを2x2サブサンプリングして4つの異なるサブブロックに分割することによって生成され、各サブブロックは1つの入力チャネルとして扱われ、例えば、処理対象のルマブロックがWidth x Heightである場合、Packing for Lumaにおいて、Width/2 x Height/2サイズの4つのサブブロックを生成するために、2x2サブサンプリングが適用され、8層の処理が完了した後、unPackingLumaは、4つのサブブロックを1つのブロックに統合し、さらにY-Reco.の上にフィルタリングされた結果を加えることによって、サイズがWidth x Heightに等しいフィルタリングされたブロックを生成し、(ウ)
d クロマ成分用のもう1つの8層のニューラルネットワークが設計され、クロマ成分については、UとVが同時に処理され、36の入力チャネルは、4x{AvgY-Reco.,AvgY-Pred.,AvgY-Resi.}、4x{U-Reco.,U-Pred.,U-Resi.}、及び4x{V-Reco.,V-Pred.,V-Resi.}であり、ここでAvgY-XxxxはYUVフォーマットが420の場合に最初に4つのルマサンプルを平均化することによって生成され、8層の処理が完了した後、unPackingChromaは、2つのフィルタリングされたクロマブロックを生成する、(エ)
a 方法。」
第5 本願発明と引用発明の対比、及び判断
1 本願発明と引用発明の対比
以下、本願発明と引用発明を対比する。
(1)構成Aについて
引用発明の構成aにおける「・・・5つのインループフィルタを、デブロッキングフィルタ(DF)、非局所平均ループフィルタ(NLMLF)、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)、及び畳み込みニューラルネットワークループフィルタ(CNNLF)の順序で処理する方法」は、5つのインループフィルタを記載された順序で処理することによって、インループフィルタリングを実現する方法であるといえる。
したがって、引用発明の「ビデオコーデックシステムに存在する5つのインループフィルタを、デブロッキングフィルタ(DF)、非局所平均ループフィルタ(NLMLF)、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)、及び畳み込みニューラルネットワークループフィルタ(CNNLF)の順序で処理する方法」(構成a)は、本願発明の「インループフィルタリングの実現方法」(構成A)に相当する。
(2)構成B、E、及びB1からB4について
ア
本願発明の構成B、E、及びB1からB4には、
「B フィルタリング対象画像を取得することと、
・・・
E を含み、
B 前記フィルタリング対象画像を取得することは、
B1 符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像を前記フィルタリング対象画像とすること、
B2 又は、
B3 前記符号化対象ビデオにおける前記オリジナル画像に対してビデオ符号化処理を行うことによって再構成画像を生成し、前記再構成画像に対してデブロッキングフィルタリング処理を行って、デブロッキングフィルタリング処理後の画像を前記フィルタリング対象画像とすること
B4 を含む、」
と記載されているから、本件発明における構成Bは、構成B1、又はB3を選択的に含んでいる。
イ
一方、引用発明の構成aは「ビデオコーデックシステムに存在する5つのインループフィルタを、・・・処理する方法」であるところ、「ビデオコーデックシステム」が符号化器を備えることは、動画像符号化の技術分野における技術常識である。当該技術常識について必要であれば、例えば、特表2018-534824号公報(特に、段落0059)、特表2018-533871号公報(特に、段落0002)、又は特開2018-88715号公報(特に、段落0001及び0002)を参照されたい。
また、符号化処理の中にインループフィルタリング処理が含まれ、符号化対象動画像における入力画像を動画像符号化処理することにより生成された再構成画像に対してインループフィルタリング処理が行われることも、技術常識である。当該技術常識について必要であれば、例えば、特開2018-107692号公報(特に、段落0019から0033、及び図2)、特開2018-88691号公報(特に、段落0072から0079、及び図4)、又は特開2018-152852号公報(特に、段落0042から0046、0055から0057、0065から0074、及び図1)を参照されたい。
よって、引用発明の「ビデオコーデックシステムに存在する5つのインループフィルタを、デブロッキングフィルタ(DF)、非局所平均ループフィルタ(NLMLF)、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)、及び畳み込みニューラルネットワークループフィルタ(CNNLF)の順序で処理する方法」(構成a)は、符号化処理方法に含まれ、符号化対象動画像(本願発明の「符号化対象ビデオ」に相当。)における入力画像(本願発明の「オリジナル画像」に相当。)を動画像符号化処理(本願発明の「ビデオ符号化処理」に相当。)することにより再構成画像(本願発明の「再構成画像」に相当。)を生成し、当該再構成画像に対してデブロッキングフィルタ(DF)処理を行い、当該DF処理後の画像を、後続の非局所平均ループフィルタ(NLMLF)の対象画像(本願発明の「フィルタリング対象画像」に相当。)とするものといえる。
そして、引用発明の構成aは、DF処理後の画像を、後続のNLMLFの対象画像(フィルタリング対象画像)として取得することを含むから、本願発明の「フィルタリング対象画像を取得することと」(構成B)、「を含」む(構成E)ことに相当する。
また、引用発明の構成aにおいて、生成した再構成画像に対して「デブロッキングフィルタ(DF)」処理を行うことは、本願発明の構成B3において「再構成画像に対してデブロッキングフィルタリング処理を行」うことに相当するから、引用発明の構成aは、本願発明の「前記符号化対象ビデオにおける前記オリジナル画像に対してビデオ符号化処理を行うことによって再構成画像を生成し、前記再構成画像に対してデブロッキングフィルタリング処理を行って、デブロッキングフィルタリング処理後の画像を前記フィルタリング対象画像とすること」(構成B3)「を含む」(構成B4)ことに相当する。
以上をまとめると、引用発明の構成aは、構成Bが選択的に含む構成B1又はB3のうち構成B3を含む点で本願発明と一致するから、引用発明の構成aにおいて、「ビデオコーデックシステムに存在する5つのインループフィルタを、デブロッキングフィルタ(DF)、非局所平均ループフィルタ(NLMLF)、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)、及び畳み込みニューラルネットワークループフィルタ(CNNLF)の順序で処理する」ことは、本願発明の「フィルタリング対象画像を取得することと、」(構成B)「を含み、」(構成E)「前記フィルタリング対象画像を取得することは、」(構成B)「符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像を前記フィルタリング対象画像とすること、」(構成B1)「又は、」(構成B2)「前記符号化対象ビデオにおける前記オリジナル画像に対してビデオ符号化処理を行うことによって再構成画像を生成し、前記再構成画像に対してデブロッキングフィルタリング処理を行って、デブロッキングフィルタリング処理後の画像を前記フィルタリング対象画像とすること」(構成B3)「を含む、」(構成B4)ことに相当する。
(3)構成C、及びEについて
ア
本願発明の構成C、及びEには、
「C 前記フィルタリング対象画像の少なくとも2つの画像成分のうちの各画像成分に対して成分処理を行って、成分処理後の少なくとも2つの画像成分を取得し、前記成分処理はサンプリング又は再構成処理を含むことと、
・・・
E を含み、」
と記載されているから、本件発明の構成Cにおける「成分処理」は、「サンプリング処理」又は「再構成処理」を選択的に含んでいる。
イ
一方、引用発明における「CNNLFの入力は、再構成されたサンプル(Reco.)・・・を含み、再構成されたサンプルはALFの出力サンプルであ」る(構成b)。
また、引用発明において、「クロマ成分用のもう1つの8層のニューラルネットワークが設計され、・・・36の入力チャネルは、4x{AvgY-Reco.,AvgY-Pred.,AvgY-Resi.}、4x{U-Reco.,U-Pred.,U-Resi.}、及び4x{V-Reco.,V-Pred.,V-Resi.}であ」る(構成d)。
そうすると、引用発明において「クロマ成分用のもう1つの8層のニューラルネットワーク」、すなわちCNNLF、に入力される「再構成されたサンプル(Reco.)」は、「4xAvgY-Reco.」、「4xU-Reco.」、及び「4xV-Reco.」であるといえる。
ここで、構成cの「4x{Y-Reco.,Y-Pred.,Y-Resi.}のデータは、ルマブロックを2x2サブサンプリングして4つの異なるサブブロックに分割することによって生成され、各サブブロックは1つの入力チャネルとして扱われ」るとの記載を参酌すると、「クロマ成分用のもう1つの8層のニューラルネットワーク」に入力される前記「4xAvgY-Reco.」、「4xU-Reco.」、及び「4xV-Reco.」のそれぞれもまた、ブロックを2x2サブサンプリングすることによって生成され、各サブブロックは1つの入力チャネルとして扱われるものと解される。
また、「再構成されたサンプル(Reco.)」である前記「4xAvgY-Reco.」、「4xU-Reco.」、及び「4xV-Reco.」を生成する際の各サブブロックは1つの入力チャネルとして扱われるから、前記「4xAvgY-Reco.」、「4xU-Reco.」、及び「4xV-Reco.」のそれぞれは、再構成された「サンプル」単体のY成分、U成分、及びV成分ではなく、再構成された「画像」のY成分、U成分、及びV成分であると解される。
さらに、引用発明が構成aにおいて「ビデオコーデックシステムに存在する5つのインループフィルタを、デブロッキングフィルタ(DF)、非局所平均ループフィルタ(NLMLF)、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)、及び畳み込みニューラルネットワークループフィルタ(CNNLF)の順序で処理する」ことが、DF処理後の画像を、後続のNLMLFの対象画像として取得することを含むことは、上記(2)イで説示したとおりであるから、引用発明におけるCNNLFの対象画像(フィルタリング対象画像)は、DF処理後の画像を、NLMLF、SAO、及びALFの順序でさらに処理して得られたものといえる。
そして、「クロマ成分用のもう1つの8層のニューラルネットワーク」、すなわちCNNLF、に入力される「4xAvgY-Reco.」、「4xU-Reco.」、及び「4xV-Reco.」のそれぞれは、上述のとおり、再構成された「画像」のY成分、U成分、及びV成分を意味すると解されるところ、当該Y成分、U成分、及びV成分は、前記DF処理後の画像に含まれており、NLMLF、SAO、及びALFの順序でさらに処理された後、ブロックを2x2サブサンプリングすることによって生成されて、CNNLFに入力されると解される。
ここで、引用発明の「2x2サブサンプリング」は、本願発明の構成Cにおける「サンプリング処理」に相当するとともに、「サンプリング処理」を選択的に含む構成Cの「成分処理」にも相当する。
また、引用発明の「クロマ成分用のもう1つの8層のニューラルネットワーク」に入力される「4xAvgY-Reco.」、「4xU-Reco.」、及び「4xV-Reco.」は、「2x2サブサンプリング」することによって生成された「画像」のY成分、U成分、及びV成分であるから、本願発明の構成Cにおける「成分処理後の少なくとも2つの画像成分」に相当する。
そして、引用発明において「4xAvgY-Reco.」、「4xU-Reco.」、及び「4xV-Reco.」を生成するためにそれぞれ「2x2サブサンプリング」する前の各「ブロック」もまた、「画像」のY成分、U成分、及びV成分であるといえる。
そうすると、本願発明の構成Cにおける「前記フィルタリング対象画像の少なくとも2つの画像成分のうちの各画像成分」と、引用発明において「4xAvgY-Reco.」、「4xU-Reco.」、及び「4xV-Reco.」を生成するためにそれぞれ「2x2サブサンプリング」する前の各「ブロック」は、「フィルタリング対象画像の少なくとも2つの画像成分のうちの各画像成分」である点で共通し、また、「フィルタリング対象画像」について、本願発明の構成Cでは、「前記フィルタリング対象画像」との発明特定事項を有し、「符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像」(構成B1)、又は「前記再構成画像に対してデブロッキングフィルタリング処理を行っ」た「デブロッキングフィルタリング処理後の画像」(構成B3)であることを特定しているのに対して、引用発明では、DF処理後の画像(本願発明の「前記フィルタリング対象画像」に相当。上記(2)イを参照。)を、NLMLF、SAO、及びALFの順序でさらに処理して得られたものであって、当該発明特定事項を有しない点で相違する。
ウ
ところで、引用発明における「CNNLFの入力は、再構成されたサンプル(Reco.)・・・を含み、再構成されたサンプルはALFの出力サンプルであ」る(構成b)から、ALFでは再構成処理されたサンプルが出力されるといえる。
また、引用発明において、「ルマニューラルネットワークについての18の入力チャネルは4x{Y-Reco.,Y-Pred.,Y-Resi.}、{U-Reco.,U-Pred.,U-Resi.}、及び{V-Reco.,V-Pred.,V-Resi.}であり、4x{Y-Reco.,Y-Pred.,Y-Resi.}のデータは、ルマブロックを2x2サブサンプリングして4つの異なるサブブロックに分割することによって生成され、各サブブロックは1つの入力チャネルとして扱われ」る(構成c)。
そうすると、引用発明においてALFから出力されて「ルマニューラルネットワーク」、すなわちCNNLF、に入力される「再構成されたサンプル(Reco.)」は、「4xY-Reco.」、「U-Reco.」、及び「V-Reco.」であるといえる。
ここで、前記「4xY-Reco.」を生成する際の各サブブロック、並びに、「U-Reco.」、及び「V-Reco.」は、それぞれ1つの入力チャネルとして扱われるから、再構成された「サンプル」単体のY成分、U成分、及びV成分ではなく、再構成された「画像」のY成分、U成分、及びV成分であると解される。
さらに、引用発明の「ビデオコーデックシステムに存在する5つのインループフィルタを、デブロッキングフィルタ(DF)、非局所平均ループフィルタ(NLMLF)、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)、及び畳み込みニューラルネットワークループフィルタ(CNNLF)の順序で処理する方法」(構成a)が、符号化処理方法に含まれ、符号化対象動画像(符号化対象ビデオ)における入力画像(オリジナル画像)を動画像符号化処理(ビデオ符号化処理)することにより再構成画像を生成し、当該再構成画像に対してDF処理を行い、当該DF処理後の画像を、後続のNLMLFの対象画像(本願発明の「前記フィルタリング対象画像」に相当。上記(2)イを参照。)とすることは、上記(2)イで説示したとおりであるから、引用発明における「ALFの出力サンプル」(再構成されたサンプル)は、符号化対象動画像(符号化対象ビデオ)における入力画像(オリジナル画像)を動画像符号化処理(ビデオ符号化処理)することにより生成した再構成画像をDF、NLMLF、及びSAOの順序で処理し、さらにALFにおいて再構成処理されたサンプルであると解される。
そして、ALFから出力されて「ルマニューラルネットワーク」、すなわちCNNLF、に入力される「4xY-Reco.」、「U-Reco.」、及び「V-Reco.」のそれぞれは、上述のとおり、再構成された「画像」のY成分、U成分、及びV成分を意味すると解されるところ、当該Y成分、U成分、及びV成分は、前記DF処理後の画像に含まれており、NLMLF、及びSAOの順序でさらに処理された後、ALFから出力されると解される。
ここで、引用発明のALFにおける「再構成処理」は、本願発明の構成Cにおける「再構成処理」に相当するとともに、「再構成処理」を選択的に含む構成Cの「成分処理」にも相当する。
また、引用発明の「ルマニューラルネットワーク」に入力される「4xY-Reco.」、「U-Reco.」、及び「V-Reco.」は、ALFで「再構成処理」された「画像」のY成分、U成分、及びV成分であるから、本願発明の構成Cにおける「成分処理後の少なくとも2つの画像成分」に相当する。
さらに、本願発明の構成Cにおける「前記フィルタリング対象画像の少なくとも2つの画像成分のうちの各画像成分」と、引用発明のALFにおいて再構成処理を行う前の「画像」のY成分、U成分、及びV成分は、「フィルタリング対象画像の少なくとも2つの画像成分のうちの各画像成分」である点で共通し、また、「フィルタリング対象画像」について、本願発明の構成Cでは、「前記フィルタリング対象画像」との発明特定事項を有し、「符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像」(構成B1)、又は「前記再構成画像に対してデブロッキングフィルタリング処理を行っ」た「デブロッキングフィルタリング処理後の画像」(構成B3)であることを特定しているのに対して、引用発明では、DF処理後の画像(前記フィルタリング対象画像)を、NLMLF、及びSAOの順序でさらに処理して得られたものであって、当該発明特定事項を有しない点で相違する。
エ
上記アからウをまとめると、本願発明の「前記フィルタリング対象画像の少なくとも2つの画像成分のうちの各画像成分に対して成分処理を行って、成分処理後の少なくとも2つの画像成分を取得し、前記成分処理はサンプリング又は再構成処理を含むことと、」(構成C)「を含」む(構成E)ことと、引用発明の「ビデオコーデックシステムに存在する5つのインループフィルタを、デブロッキングフィルタ(DF)、非局所平均ループフィルタ(NLMLF)、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)、及び畳み込みニューラルネットワークループフィルタ(CNNLF)の順序で処理」し(構成a)、「CNNLFの入力は、再構成されたサンプル(Reco.)・・・を含み、再構成されたサンプルはALFの出力サンプルであり」(構成b)、「ルマニューラルネットワークについての18の入力チャネルは4x{Y-Reco.,Y-Pred.,Y-Resi.}、{U-Reco.,U-Pred.,U-Resi.}、及び{V-Reco.,V-Pred.,V-Resi.}であり、4x{Y-Reco.,Y-Pred.,Y-Resi.}のデータは、ルマブロックを2x2サブサンプリングして4つの異なるサブブロックに分割することによって生成され、各サブブロックは1つの入力チャネルとして扱われ」(構成c)、「クロマ成分用のもう1つの8層のニューラルネットワークが設計され、・・・36の入力チャネルは、4x{AvgY-Reco.,AvgY-Pred.,AvgY-Resi.}、4x{U-Reco.,U-Pred.,U-Resi.}、及び4x{V-Reco.,V-Pred.,V-Resi.}であ」る(構成d)ことは、「フィルタリング対象画像の少なくとも2つの画像成分のうちの各画像成分に対して成分処理を行って、成分処理後の少なくとも2つの画像成分を取得し、前記成分処理はサンプリング又は再構成処理を含むことと、」「を含」む点で共通し、また、「フィルタリング対象画像」について、本願発明の構成Cでは、「前記フィルタリング対象画像」との発明特定事項を有し、「符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像」(構成B1)、又は「前記再構成画像に対してデブロッキングフィルタリング処理を行っ」た「デブロッキングフィルタリング処理後の画像」(構成B3)であることを特定しているのに対して、引用発明では、DF処理後の画像(前記フィルタリング対象画像)を、NLMLF、及びSAOの順序で、又は、NLMLF、SAO、及びALFの順序で、さらに処理して得られたものであって、当該発明特定事項を有しない点で相違する。
(4)構成D、及びEについて
ア
本願発明の構成D、及びEには、
「D 前記成分処理後の少なくとも2つの画像成分をインループフィルタに一括で入力してインループフィルタリング処理を行って、前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得することと、
E を含み、」
と記載されている。
イ
一方、引用発明では、「ルマニューラルネットワークについての18の入力チャネルは4x{Y-Reco.,Y-Pred.,Y-Resi.}、{U-Reco.,U-Pred.,U-Resi.}、及び{V-Reco.,V-Pred.,V-Resi.}であり、・・・8層の処理が完了した後、unPackingLumaは、4つのサブブロックを1つのブロックに統合し、さらにY-Reco.の上にフィルタリングされた結果を加えることによって、・・・フィルタリングされたブロックを生成」する(構成c)。
ここで、「ルマニューラルネットワーク」、すなわちCNNLF、に入力される「4xY-Reco.」、「U-Reco.」、及び「V-Reco.」が、本願発明の構成Cにおける「成分処理後の少なくとも2つの画像成分」に相当することは、上記(3)ウで説示したとおりである。
また、引用発明の「ルマニューラルネットワーク」(CNNLF)についての「18の入力チャネル」は一括して入力されると解されるところ、引用発明の「ルマニューラルネットワーク」は、本願発明の構成Dにおける「インループフィルタ」に相当し、さらに、当該「ルマニューラルネットワーク」に「18の入力チャネル」が一括して入力されることは、本願発明の構成Dにおける「インループフィルタに一括で入力」することに相当する。
加えて、引用発明の「ルマニューラルネットワーク」において「8層の処理が完了」することは、本願発明の構成Dにおける「インループフィルタリング処理を行」ったことに相当する。
その上、引用発明の「ルマニューラルネットワーク」(CNNLF)の対象画像(フィルタリング対象画像)が、DF処理後の画像(本願発明の「前記フィルタリング対象画像」に相当。)を、NLMLF、及びSAOの順序でさらに処理された後、ALFにおいて再構成処理されたものであることは、上記(3)ウで説示したとおりである。
そして、引用発明の「フィルタリングされたブロック」は、「4つのサブブロックを1つのブロックに統合し」、さらに「Y-Reco.」すなわち「再構成されたサンプル(Reco.)」のY成分の上にフィルタ結果を加えることによって生成されたものであり、3つの画像成分(Y、U、V)のうちのY成分を含むものであるから、本願発明の構成Dにおける「フィルタリングした後の少なくとも1つの画像成分」に相当する。
そうすると、引用発明の構成cにおける「8層の処理が完了した後、・・・4つのサブブロックを1つのブロックに統合し、さらにY-Reco.の上にフィルタリングされた結果を加えることによって、・・・フィルタリングされたブロックを生成」することは、本願発明の構成Dにおける「前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得すること」と、「フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得すること」である点で共通し、また、「フィルタリング対象画像」について、本願発明の構成Dでは、「前記フィルタリング対象画像」との発明特定事項を有し、「符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像」(構成B1)、又は「前記再構成画像に対してデブロッキングフィルタリング処理を行っ」た「デブロッキングフィルタリング処理後の画像」(構成B3)であることを特定しているのに対して、引用発明では、DF処理後の画像(「前記フィルタリング対象画像」)を、NLMLF、及びSAOの順序でさらに処理して得られたものであって、当該発明特定事項を有しない点で相違する。
ウ
ところで、引用発明では、「クロマ成分用のもう1つの8層のニューラルネットワークが設計され、クロマ成分については、・・・36の入力チャネルは、4x{AvgY-Reco.,AvgY-Pred.,AvgY-Resi.}、4x{U-Reco.,U-Pred.,U-Resi.}、及び4x{V-Reco.,V-Pred.,V-Resi.}であり、・・・8層の処理が完了した後、unPackingChromaは、2つのフィルタリングされたクロマブロックを生成する」(構成d)。
ここで、「クロマ成分用のもう1つの8層のニューラルネットワーク」、すなわちCNNLF、に入力される「4xAvgY-Reco.」、「4xU-Reco.」、及び「4xV-Reco.」が、本願発明の構成Cにおける「成分処理後の少なくとも2つの画像成分」に相当することは、上記(3)イで説示したとおりである。
また、引用発明の「クロマ成分用のもう1つの8層のニューラルネットワーク」(CNNLF)についての「36の入力チャネル」は一括して入力されると解されるところ、引用発明の「クロマ成分用のもう1つの8層のニューラルネットワーク」は、本願発明の構成Dにおける「インループフィルタ」に相当し、さらに、当該「クロマ成分用のもう1つの8層のニューラルネットワーク」に「36の入力チャネル」が一括して入力されることは、本願発明の構成Dにおける「インループフィルタに一括で入力」することに相当する。
加えて、引用発明の「クロマ成分用のもう1つの8層のニューラルネットワーク」において「8層の処理が完了」することは、本願発明の構成Dにおける「インループフィルタリング処理を行」ったことに相当する。
その上、引用発明の「クロマ成分用のもう1つの8層のニューラルネットワーク」(CNNLF)の対象画像(フィルタリング対象画像)が、DF処理後の画像(本願発明の「前記フィルタリング対象画像」に相当。)を、NLMLF、SAO、及びALFの順序でさらに処理して得られたものといえることは、上記(3)イで説示したとおりである。
そして、引用発明の「2つのフィルタリングされたクロマブロック」は、3つの画像成分(Y、U、V)のうちのU成分、及びV成分を含むものであるから、本願発明の構成Dにおける「フィルタリングした後の少なくとも1つの画像成分」に相当する。
そうすると、引用発明の構成dにおける「8層の処理が完了した後、unPackingChromaは、2つのフィルタリングされたクロマブロックを生成する」ことは、本願発明の構成Dにおける「前記フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得すること」と、「フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得すること」である点で共通し、また、「フィルタリング対象画像」について、本願発明の構成Dでは、「前記フィルタリング対象画像」との発明特定事項を有し、「符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像」(構成B1)、又は「前記再構成画像に対してデブロッキングフィルタリング処理を行っ」た「デブロッキングフィルタリング処理後の画像」(構成B3)であることを特定しているのに対して、引用発明では、DF処理後の画像(「前記フィルタリング対象画像」)を、NLMLF、SAO、及びALFの順序でさらに処理して得られたものであって、当該発明特定事項を有しない点で相違する。
(5)
上記(1)から(4)を総合すると、本願発明と引用発明は、以下の点で一致し、また相違する。
<一致点>
「A インループフィルタリングの実現方法であって、
B フィルタリング対象画像を取得することと、
C’ フィルタリング対象画像の少なくとも2つの画像成分のうちの各画像成分に対して成分処理を行って、成分処理後の少なくとも2つの画像成分を取得し、前記成分処理はサンプリング又は再構成処理を含むことと、
D’ 前記成分処理後の少なくとも2つの画像成分をインループフィルタに一括で入力してインループフィルタリング処理を行って、フィルタリング対象画像をフィルタリングした後の少なくとも1つの画像成分を取得することと、
E を含み、
B 前記フィルタリング対象画像を取得することは、
B1 符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像を前記フィルタリング対象画像とすること、
B2 又は、
B3 前記符号化対象ビデオにおける前記オリジナル画像に対してビデオ符号化処理を行うことによって再構成画像を生成し、前記再構成画像に対してデブロッキングフィルタリング処理を行って、デブロッキングフィルタリング処理後の画像を前記フィルタリング対象画像とすること
B4 を含む、
A インループフィルタリングの実現方法。」
<相違点>
「フィルタリング対象画像」について、本願発明の構成C、及びDでは、「前記フィルタリング対象画像」すなわち、「符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像」(構成B1)、又は「デブロッキングフィルタリング処理後の画像」(構成B2)であることが特定されているのに対して、引用発明では、DF処理後の画像(前記フィルタリング対象画像)を、NLMLF、及びSAOの順序で、又は、NLMLF、SAO、及びALFの順序で、さらに処理して得られたものである点。
2 相違点についての判断
(1)相違点についての当審の判断
上記相違点について検討する。
引用文献3には、「デブロッキングフィルタ(DF)は、フィルタリング決定・・・から構成される。フィルタリング決定は、各ブロックエッジに対してフィルタの種類(例えば、フィルタリングなし、・・・)を決定するために使用される。」(上記第4の1アの2.8.1節)、「受信したオン/オフフラグに基づいて、NLMLFは有効なパッチに対して実行される。」(上記第4の1イ)、及び「スライスヘッダでは、ALFが有効か無効かを示すフラグ、・・・が各色成分に対してシグナリングされる。」(上記第4の1ウ)との記載がある。
よって、引用発明のビデオコーデックシステムに存在する5つのインループフィルタのうち、少なくとも、DF、NLMLF、及びALFは、無効化する場合があり、SAOについても同様であると解される。
したがって、引用発明において、NLMLF、SAO、及びALFをいずれも無効化することによって、CNNLFの対象画像(フィルタリング対象画像)を、DF処理後の画像(本願発明の「前記フィルタリング対象画像」に相当。)とすることは、当業者が容易に想到し得たことである。
また、引用発明において、DF、NLMLF、SAO、及びALFをいずれも無効化することによって、CNNLFの対象画像(フィルタリング対象画像)を、DF処理前の再構成画像、すなわち、符号化対象動画像(本願発明の「符号化対象ビデオ」に相当。)における入力画像(本願発明の「オリジナル画像」に相当。)を動画像符号化処理(本願発明の「ビデオ符号化処理」に相当。)することにより生成された再構成画像(上記1(2)イを参照。)とし、本願発明の「符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像」(構成B1)とすることもまた、当業者が容易に想到し得たことである。
したがって、本願発明は、引用発明に基いて、当業者が容易に発明をすることができたものである。
(2)請求人の主張について
ア
審判請求人は、令和7年1月10日に提出された意見書の「意見の内容」において、以下のとおり主張している。
(ア)
「引用文献3におけるフィルタリング処理過程は、DF、NLMLF、SAO、ALF及びCNNLFを順次に行うフィルタリング処理を含み、つまり、DFの処理の後に、NLMLF、SAO、ALFの処理を更に行う必要があり、最後はCNNLFの処理であります。従って、引用文献3に開示されたフィルタリング実現過程と本願請求項1によるフィルタリング実現過程は実質的に異なっています。引用文献3には少なくとも、フィルタリング対象画像を取得すること、前記成分処理後の少なくとも2つの画像成分をインループフィルタに一括で入力してインループフィルタリング処理を行うこと、「前記フィルタリング対象画像を取得することは、符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化処理を行うことによって生成された再構成画像を前記フィルタリング対象画像とすること、又は、前記符号化対象ビデオにおける前記オリジナル画像に対してビデオ符号化処理を行うことによって再構成画像を生成し、前記再構成画像に対してデブロッキングフィルタリング処理を行って、デブロッキングフィルタリング処理後の画像を前記フィルタリング対象画像とすることを含む」ことが開示されていません。」(2頁6行から19行)
(イ)
「引用文献3のフィルタリング過程と比較すると、本願請求項1のインループフィルタリングの実現方法はより簡素で、効率が高く、画像フィルタリングの効率を向上させることができます。本願請求項1のインループフィルタリングの実現方法は引用文献3のフィルタリング過程に対して明らかなものではありません。」(2頁21行から24行)
(ウ)
「引用文献3のフィルタリング過程において、CNNLFの入力データにおける再構成サンプルはALFの出力サンプルであり、つまり、CNNLFの入力はALFの出力に依存し、これは、CNNLFの処理の前に、ALFの処理を行わなければならないことを意味します。従って、引用文献3では本願のフィルタリング過程と実質的に異なるフィルタリング過程を明確に教示しています。当業者は引用文献3の教示に基づいて、創造性の労働がない場合、ALFの処理の無効化を少なくとも想到せず、本願請求項1によるフィルタリング過程も想到しません。よって、本願請求項1によるインループフィルタリングの実現方法は引用文献3に開示されたフィルタリング過程に対して明らかなものではありません。」(2頁35行から43行)
イ
そこで請求人の上記主張(ア)から(ウ)についてまとめて検討する。
引用文献3に、NLMLF、及びALFを無効化する場合があることが明記されていること、及びSAOについても同様と考えられることは、上記(1)で説示したとおりであって、「引用文献3におけるフィルタリング処理過程は、・・・DFの処理の後に、NLMLF、SAO、ALFの処理を更に行う必要があ」ることや、「当業者は引用文献3の教示に基づいて、創造性の労働がない場合、ALFの処理の無効化を少なくとも想到」しないことを前提とする請求人の上記主張(ア)から(ウ)は、その前提が誤りであるから、いずれも採用できない。
(3)まとめ
以上のとおり、本願発明は、引用発明に基いて、当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により、特許を受けることができない。
第6 むすび
以上のとおり、本願発明は、引用発明に基いて、当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により、特許を受けることができない。
したがって、本願は、その余の請求項について論及するまでもなく、拒絶をすべきものである。
よって、結論のとおり審決する。
令和7年3月17日
審判長 特許庁審判官 畑中 高行
特許庁審判官 坂本 聡生
特許庁審判官 圓道 浩史
(行政事件訴訟法第46条に基づく教示)
この審決に対する訴えは、この審決の謄本の送達があった日から30日(附加期間がある場合は、その日数を附加します。)以内に、特許庁長官を被告として、提起することができます。
審判長 畑中 高行
出訴期間として在外者に対し90日を附加する。
出典:特許庁「審決公報」(令和7年8月29日発行・号数2025-008、公報発行サイト https://www.gazette.jpo.go.jp/scciidl010 )を加工して作成(加工:TaiLexi AI)
本文は公表資料(PDF 等)から機械的に抽出・整形したもので、改行や記号に誤りを含むことがあります。正確な文言は原本でご確認ください。