審判番号 不服2023-000858
請求人 LINEヤフー株式会社(代理人 弁理士法人酒井国際特許事務所)
特願2020-50261「出力装置、出力方法及び出力プログラム」拒絶査定不服審判事件〔令和3年9月27日出願公開、特開2021-149697、請求項の数(12)〕について、次のとおり審決する。
結 論
原査定を取り消す。
本願の発明は、特許すべきものとする。
理 由
第1 手続の経緯
本願は、令和2年3月19日の出願であって、その手続の経緯は以下のとおりである。
令和4年5月19日付け:拒絶理由通知書
令和4年7月25日 :意見書、手続補正書の提出
令和4年10月18日付け:拒絶査定
令和5年1月18日 :審判請求書、手続補正書の提出
令和5年7月4日付け:拒絶理由通知書
令和5年9月11日 :意見書、手続補正書の提出
第2 原査定の概要
原査定(令和4年10月18日付け拒絶査定)の概要は次のとおりである。
本願請求項1-2、6、9-12に係る発明は、以下の引用文献1-5に記載された発明に基づいて、その発明の属する技術の分野における通常の知識を有する者(以下「当業者」という。)が容易に発明をすることができたものであるから、特許法29条2項の規定により特許を受けることができない。
引用文献等一覧
1.特開2019-139089号公報
2.特開2014-206683号公報
3.特開2012-119996号公報(周知技術を示す文献)
4.特許第6392950号公報(周知技術を示す文献)
5.特開2017-175584号公報(周知技術を示す文献)
第3 当審拒絶理由の概要
当審が令和5年7月4日付けで通知した拒絶理由(以下「当審拒絶理由」という。)の概要は次のとおりである。
この出願は、特許請求の範囲の記載が下記の点で、特許法36条6項2号に規定する要件を満たしていない。
請求項1、11、12には、「所定のコンテキストを有する波形情報」と記載されているが、「所定のコンテキストを有する対象発言」との関係が不明確である。
また、請求項1を引用する請求項2-10にも同様の理由が該当する。
第4 本願発明
本願請求項1-12に係る発明(以下、それぞれ「本願発明1」-「本願発明12」という。)は、令和5年9月11日提出の手続補正書により補正された特許請求の範囲の請求項1-12に記載された事項により特定される発明であり、本願発明1-12は以下のとおりの発明である。
「 【請求項1】
所定のコンテキストを有する対象発言を発話する前に行った事前発言が示す音声の波形情報が入力された場合に、当該対象発言の発生を予測することを学習した予測モデルを用いて、所定の検知装置によって検知された、当該所定の検知装置または検知された利用者に係る状態を含む検知情報に基づいて、所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測する予測部と、
当該所定のコンテキストを有する対象発言に係る音声の波形情報が発生すると予測された場合に、当該波形情報とは逆位相の波形情報を出力する出力部と
を備えることを特徴とする出力装置。
【請求項2】
前記予測部は、前記所定のコンテキストを有する対象発言に係る音声の波形情報として、所定の波形を有する波形情報が発生するか否かを予測する
ことを特徴とする請求項1に記載の出力装置。
【請求項3】
前記予測部は、
前記所定の検知装置によって検知情報が検知されたときの前記所定の検知装置が示す位置に基づいて、前記所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測し、
前記出力部は、
前記所定の検知装置によって検知情報が検知された位置が過去に前記所定のコンテキストを有する対象発言に係る音声の波形情報が検知された位置と類似する場合に、当該波形情報とは逆位相の波形情報を前記過去に所定のコンテキストを有する対象発言に係る音声の波形情報が検知された方向に出力する
ことを特徴とする請求項1又は2に記載の出力装置。
【請求項4】
前記予測部は、
前記所定の検知装置によって検知情報が検知されたときの時間に関する時間情報に基づいて、前記所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測し、
前記出力部は、
前記所定の検知装置によって検知情報が検知された時間情報が過去に前記所定のコンテキストを有する対象発言に係る音声の波形情報が検知された時間情報と類似する場合に、当該波形情報とは逆位相の波形情報を出力する
ことを特徴とする請求項1~3のいずれか1つに記載の出力装置。
【請求項5】
前記予測部は、
前記所定の検知装置によって過去に検知情報が検知されたときの天候に関する天候情報に基づいて、前記所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測し、
前記出力部は、
前記所定の検知装置によって検知情報が検知された天候情報が過去に前記所定のコンテキストを有する対象発言に係る音声の波形情報が検知された天候情報と類似する場合に、当該波形情報とは逆位相の波形情報を出力する
ことを特徴とする請求項1~4のいずれか1つに記載の出力装置。
【請求項6】
前記予測部は、
前記検知情報に基づいて推定されるコンテキストに基づいて、前記所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測する
ことを特徴とする請求項1~5のいずれか1つに記載の出力装置。
【請求項7】
前記予測部は、
前記コンテキストとして、過去に前記所定の検知装置によって利用者が前記所定のコンテキストを有する音声を発話した際に検知された当該利用者の状態と類似する状態が検知された場合に、当該所定のコンテキストを有する音声の波形情報が発生するかと予測する
ことを特徴とする請求項6に記載の出力装置。
【請求項8】
前記予測部は、
前記コンテキストを有する音声を発話した際の利用者の感情に基づいて、前記所定のコンテキストを有する音声の波形情報が発生するか否かを予測する
ことを特徴とする請求項7に記載の出力装置。
【請求項9】
前記予測部は、
過去に前記所定の検知装置によって検知された検知情報に基づいて、前記所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測する
ことを特徴とする請求項1~8のいずれか1つに記載の出力装置。
【請求項10】
前記予測部は、
前記所定の検知装置によって検知された検知情報に基づく第1の波形情報と、前記過去に前記所定の検知装置によって検知された検知情報に基づく前記所定のコンテキストを有する対象発言に係る音声の第2の波形情報であって、当該第1の波形情報とは異なる他の第2の波形情報との類似性に基づいて、前記所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測する
ことを特徴とする請求項9に記載の出力装置。
【請求項11】
コンピュータが実行する出力方法であって、
所定のコンテキストを有する対象発言を発話する前に行った事前発言が示す音声の波形情報が入力された場合に、当該対象発言の発生を予測することを学習した予測モデルを用いて、所定の検知装置によって検知された、当該所定の検知装置または検知された利用者に係る状態を含む検知情報に基づいて、所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測する予測工程と、
当該所定のコンテキストを有する対象発言に係る音声の波形情報が発生すると予測された場合に、当該波形情報とは逆位相の波形情報を出力する出力工程と
を含むことを特徴とする出力方法。
【請求項12】
所定のコンテキストを有する対象発言を発話する前に行った事前発言が示す音声の波形情報が入力された場合に、当該対象発言の発生を予測することを学習した予測モデルを用いて、所定の検知装置によって検知された、当該所定の検知装置または検知された利用者に係る状態を含む検知情報に基づいて、所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測する予測手順と、
当該所定のコンテキストを有する対象発言に係る音声の波形情報が発生すると予測された場合に、当該波形情報とは逆位相の波形情報を出力する出力手順と
をコンピュータに実行させるための出力プログラム。」
第5 引用文献、引用発明
1 引用文献1、引用発明
(1)引用文献1
原査定の拒絶の理由に引用された引用文献1には、以下の記載がある(下線は、当審で付した。以下同じ。)。
「【背景技術】
【0002】
近年、音声認識技術を用いてユーザが発した音声を自動的に解析し、インターネットに接続してユーザが要求する情報を検索および取得するサービスを提供する情報端末装置(例えば、スマートフォン、スマートスピーカ等を含むスマート家電および対話式ロボット等)の普及が進んでいる。このような情報端末装置が存在する家庭内や公共施設、職場等での会話中に発した個人情報(自宅の住所や電話番号等)が、意図せずネットワーク上に流出してしまうおそれが生じている。例えば、情報端末装置のユーザ(例えば、子供やお年寄り等)が個人情報を意識せずに発話する場合や、情報端末装置の存在に気づかない人が発する個人情報を含む音声が情報端末装置に誤って入力される場合等、個人情報が意図せず外部に漏洩してしまうおそれがある。このため、音声認識機能を有する情報端末装置において、個人情報の流出を防止する技術が求められている。例えば、特許文献1には、音声信号中に含まれる個人情報を削除する技術が開示されている。」
「【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術は、情報端末装置に入力された音声が、例えば個人情報等のユーザが秘匿を所望する情報に一致する可能性が生じた段階で、当該情報の流出を防止することができないという問題がある。それにより、入力された音声に個人情報が含まれていることが判明した場合に、その音声がすでにネットワークに流出してしまっている、といった望ましくない事態が生じるおそれがある。
本発明は、このような点に鑑みてなされたものであり、情報端末装置に入力された音声が、ユーザが秘匿を所望する情報に一致する可能性が生じた段階で、当該情報の流出を防止することができる音声秘匿装置を提供することを目的とする。」
「【図1】
〔図省略〕
」
「【0009】
1.第1実施形態
本発明の第1実施形態に係る音声秘匿装置について、図1から図3を参照して説明する。まず、第1実施形態に係る音声秘匿装置を含む音声認識システムの構成について図1を用いて説明する。
【0010】
(1-1)音声認識サービスシステムの構成
図1は、本実施形態による音声秘匿装置10を含む音声認識サービスシステム9の概略構成を示す図である。音声認識サービスシステム9は、音声秘匿装置10を備える音声処理装置1と、インターネット等のネットワーク3を介して音声処理装置1と接続される音声認識サーバ100と、音声認識サーバ100と接続されるサーバ500とによって構成される。サーバ500は、例えば、検索システム(検索エンジン)を構成するサーバである。音声認識サービスシステム9は、ユーザが音声によって要求する情報の検索、取得等を行うサービスを提供するシステムである。
【0011】
音声認識サーバ100は、ネットワーク3を介して音声処理装置1から送信された音声データ(例えばユーザの発話に基づく音声データ)を受信すると、受信した音声データについて音声認識を行い、この音声認識の結果をサーバ500に送信する。サーバ500は、送信された音声認識結果に基づいて、情報検索等の処理を行ってユーザが要求した情報を取得し、取得した情報(処理結果)をネットワーク3を介して音声処理装置1に返す。これにより、音声処理装置1は、サーバ500から返された情報をユーザに対して出力できる。このようにして、音声認識サービスシステム9は、ユーザからの音声入力に応じたサービス(例えば、情報検索サービス)を提供できる。
【0012】
[音声処理装置]
図1に示すように、音声処理装置1は、音声入力装置11と音声秘匿装置10と対話処理装置110とを備えている。音声処理装置1は、例えばスマートフォン、スマートスピーカ、対話式ロボットやスマート家電等の音声認識機能とネットワーク通信機能とを有する装置(例えば、情報端末装置)である。音声処理装置1は、収音装置(マイク等)から入力された音声を音声入力装置11において解析してデジタル音声データに変換し、このデジタル音声データを、音声秘匿装置10を経てネットワーク3に出力する。これにより音声処理装置1は、入力された音声データを、ネットワーク3を介して音声認識サーバ100に送信できる。なお、音声処理装置1は、ネットワーク通信機能を有していなくてもよい。例えば、音声処理装置1は、ネットワークへの接続によらないサービス(例えば、アラーム、対話、メモ機能等)を提供する装置であってもよい。
【0013】
音声入力装置11は、所定の音声発生源が発した音声データ(音声信号)を入力可能になっている。ここで、音声入力装置11に入力される音声データ(以降、「入力音声データ」と称する)は、例えば音声処理装置1のユーザの発話した音声(入力音声)が想定される。音声発生源は、音声処理装置1のユーザに限られず、例えば音声を発する装置であってもよい。音声入力装置11は、例えば、マイク等の収音装置(不図示)を備えている。音声入力装置11は、収音装置からアナログ信号として入力された入力音声データ(アナログ音声データ)を規定されたサンプリング周波数でサンプリングしてアナログ-デジタル(A-D)変換を行い、デジタル信号(デジタル音声データ)を生成する。
【0014】
音声入力装置11は、入力音声データ(アナログ音声データ)から生成したデジタル音声データを、音声秘匿装置10に出力する。具体的には、音声入力装置11は、生成したデジタル音声データをA-D変換時におけるサンプリング単位で音声秘匿装置10に出力する。サンプリング単位のデジタル音声データは、時系列が保持された状態となっている。また、本例において、音声入力装置11は、音声処理装置1を構成する一要素として説明するが、本発明はこれに限られない。音声入力装置11は、音声秘匿装置10の構成要素であってもよい。
【0015】
[音声秘匿装置]
本実施形態による音声秘匿装置10は、音声処理装置1に入力された音声(入力音声データ)のうち音声処理装置1のユーザが秘匿を所望する情報(以降、「秘匿情報」と称する場合がある)が含まれるおそれがある入力音声データを秘匿する。ここで、入力音声データの秘匿とは、音声処理装置1から秘匿情報を含むおそれのある音声データの出力を停止することをいう。これにより、音声秘匿装置10は、音声処理装置1からネットワーク3を介して秘匿情報が流出することを防止できる。本例において、秘匿情報として想定される情報は、例えば個人情報である。ここで、個人情報とは、個人を特定可能な情報(住所、電話番号、誕生日、種々のパスワード等)や、金融資産に関する情報(クレジットカードやキャッシュカードの識別番号、銀行口座番号)等が挙げられる。なお、本発明の音声秘匿装置10によって流出を防止する対象の秘匿情報は、ここで列挙した個人情報に限られない。音声秘匿装置10は、音声処理装置1のユーザが秘匿情報として予め登録した任意の情報の流出を防止できる。
【0016】
以下、図1を参照して、音声秘匿装置10について詳細に説明する。
音声秘匿装置10は、音声認識部12と、判定部13と、記憶部14と、音声データ秘匿部15とを有している。音声処理装置1の音声入力装置11において入力音声データから生成されたデジタル音声データは、音声秘匿装置10の音声認識部12に入力されるとともに、音声データ秘匿部15にも入力される。」
「【図5A】
〔図省略〕
」
「【0083】
(第1実施形態の変形例1)
次に、図5Aを用いて、第1実施形態の変形例1について説明する。変形例1は、音声秘匿装置10が実行する秘匿情報判定処理および音声秘匿処理の内容が上記第1実施形態と異なる。具体的には、変形例1において、音声秘匿装置10は、入力音声データ中に個人情報等を含む内容の発話を行うと予測される情報(秘匿予測情報)が含まれるか否かに基づいて入力音声データ中に個人情報等の秘匿情報が含まれるおそれがあるか否かを判定し、該判定に応じてデジタル音声データのバッファ出力の可否を決定する。ここで、秘匿予測情報としては、例えば「電話番号は」、「名前は」のように続けて個人情報が発話されると予測されるキーワードが想定される。
【0084】
変形例1において記憶部14には、秘匿予測情報リストが記憶されている。秘匿予測情報リストは、秘匿情報リスト141と同様にテーブル形式で複数の秘匿予測情報を蓄積している。また、秘匿予測情報リストに蓄積されている秘匿予測情報は、秘匿情報と同様に、音声処理装置1のユーザが音声処理装置1と接続された所定の情報端末装置を用いて予め登録した情報である。なお、変形例1において、記憶部14には秘匿予測情報リストのみが記憶されていてもよいし、秘匿予測情報リストおよび秘匿情報リスト141の両方が記憶されていてもよい。
【0085】
図5Aは、変形例1における秘匿情報判定処理および音声秘匿処理を時系列で説明する図である。本例において、秘匿予測情報リストには、秘匿予測情報として「電話番号は」という内容を示す秘匿予測音素系列「(デンワバンゴウワ)」(秘匿予測情報1)および「名前は」という内容を示す秘匿予測音素系列「(ナマエワ)」(秘匿予測情報2)が少なくとも蓄積されているとする。図5Aは、音声入力装置11から入力音声として秘匿予測情報1と完全一致する内容が含まれる音声(本例では「電話番号は09001234567」)が入力された場合における秘匿情報判定処理の一例を示している。本例における一連の入力音声は図3における入力音声と同一内容である。このため、図5Aでは図3と同様に、入力音声が区間1~16の16個の区間に分けて表されている。
【0086】
図5Aに示すように、判定部13は、時刻t20において、区間1に含まれるデジタル音声データに対応する出力音素「den(デン)」について、秘匿予測情報1の秘匿予測情報音素系列と前方一致すると判定する。また、判定部13は、秘匿予測音素系列と前方一致した出力音素を所定の記憶領域で保持し、時刻t21までの期間において、区間2~5に対応するデジタル音声データを順次結合した結合出力音素系列を生成する。
【0087】
判定部13は、時刻t21の期間において生成した結合出力音素系列「デンワバンゴウワ」(区間1~5に対応する出力音素の結合)と、秘匿予測情報1の秘匿予測音素系列(「デンワバンゴウワ」)とが完全一致すると判定し、秘匿予測情報1に対応する秘匿予測情報判定信号(個別)を高(High)レベルに設定する。信号レベルが高レベルの秘匿予測情報判定信号は、出力音素が秘匿予測音素系列と完全一致していることを示す。また、判定部13は、時刻t21において、結合出力音素系列「デンワバンゴウワ」と、秘匿予測情報2の秘匿予測音素系列(「ナマエワ」)とが完全一致しないと判定し、秘匿予測情報2に対応する秘匿予測情報判定信号(個別)を低(Low)レベルに設定する。信号レベルが低レベルの秘匿予測情報判定信号(個別)は、出力音素が秘匿予測音素系列と完全一致していないことを示す。判定部13は、秘匿予測情報1、2に対応する秘匿予測情報判定信号(個別)の論理和をとって、高レベルの秘匿予測情報判定信号(総合)を音声データ秘匿部15に出力する。
【0088】
また、判定部13は、時刻t21において秘匿予測情報1に対応する秘匿予測情報判定信号(個別)を高(High)レベルに設定すると、時刻t22以降、予め定められた一定期間(例えば5秒間)に亘って音声認識部12から出力音素が出力される度に、秘匿予測情報1に対応する秘匿予測情報判定信号(個別)を高レベルに設定し、高レベルの秘匿予測情報判定信号(総合)を音声データ秘匿部15に出力する。音声データ秘匿部15の出力制御部150は、時刻t21において判定部13から高レベルの秘匿予測情報判定信号を受信すると、時刻t22以降、低レベルの秘匿予測情報判定信号(総合)を受信するまでの期間、すなわち上述の一定期間に亘って音声入力装置11からバッファ151に入力されたデジタル音声データを削除する。すなわち、変形例1において、この一定期間が、バッファ151からデジタル音声データが出力されない出力停止期間となる。本例では、図5Aに示すように、時刻t22から時刻t23までの期間において、判定部13がレベルの秘匿予測情報判定信号(総合)を音声データ秘匿部15に出力し、該期間中にバッファ151に入力された区間6~16に含まれるデジタル音声データ(入力音声「ゼロキューゼロゼロイチニーサンヨンゴロクナナ」に対応)が、出力制御部150により順次削除される。
【0089】
このように、変形例1において、音声秘匿装置10は、判定部13により入力音声に秘匿予測情報と一致する内容が含まれると判定されたこと、すなわち、入力音声データとキーワード(音声秘匿情報)とが一致するおそれがあると判定されたことに基づいて、判定後の予め定められた一定期間(出力停止期間)に音声処理装置1のユーザから入力された入力音声データに対応するデジタル音声データ(音声入力装置11からバッファ151に入力されたデジタル音声データ)の内容を秘匿する(バッファ出力を停止する)ことができる。これにより、変形例1における音声秘匿装置10は、個人情報等を含む秘匿情報をユーザが発話するよりも前の時点、すなわちユーザが秘匿情報を発話することが予測された時点で入力音声の内容を秘匿することができる。また、出力停止期間において出力制御部150は、バッファ151に入力されたデジタル音声データを削除する。これにより、変形例1における音声秘匿装置10は、個人情報等のユーザが秘匿を所望する情報(秘匿情報)の流出を確実に防止することができる。」
「【図6】
〔図省略〕
」
「【0096】
2.第2実施形態
次に、本発明の第2実施形態による音声秘匿装置について図6および図7を用いて説明する。本実施形態による音声秘匿装置20は、情報端末装置等の一構成要素としてではなく単独で構成される点で、第1実施形態による音声秘匿装置10と異なる。音声秘匿装置20は例えば、スマートスピーカ等の音声認識機能を備えた情報端末装置の近傍に配置されて、情報端末装置のユーザが秘匿を所望する秘匿情報を妨害音の出力により秘匿する装置である。
【0097】
図6に示すように、音声秘匿装置20は、音声入力部21と、エコーキャンセラ22と、音声認識部12と、判定部13と、記憶部14と、音声データ秘匿部25とを有している。音声秘匿装置20において、第1実施形態による音声秘匿装置10と同一の作用効果を有する構成は、図1に示す音声秘匿装置10と同一の符号を付し、詳細な説明は省略する。
【0098】
音声入力部21は、第1実施形態による音声秘匿装置10を有する音声処理装置1(図1参照)が備える音声入力装置11と同様の機能を有する。音声入力部21は、入力音声データから生成されたデジタル音声データをサンプリング単位でエコーキャンセラ22に出力する。
【0099】
エコーキャンセラ22は、音響エコーを抑制、除去する機能を有する。音声秘匿装置20において抑制、除去の対象となる音響エコーは、音声入力部21に収音された、音声秘匿装置20からの妨害音に対応する入力音声データである。例えば、エコーキャンセラ22は、音声入力部21からサンプリング単位で入力されたデジタル音声データから、妨害音に該当する信号を除去して、妨害音が除去されたデジタル音声データを音声認識部12に出力する。これにより、音声認識部12は、妨害音を含まないデジタル音声データについて逐次音声認識処理を実行し、出力音素を判定部13に出力することができる。
【0100】
音声秘匿装置20における記憶部14は、秘匿情報リスト142を有している。秘匿情報リスト142には、秘匿情報リスト141と同様に音声秘匿装置20のユーザが秘匿を所望する秘匿情報(個人情報等のキーワード)が秘匿情報音素系列として蓄積されている。さらに秘匿情報リスト142には、各秘匿情報音素系列に紐づけて一致度合判定値が記憶されている。一致度合判定値は、秘匿情報音素系列を構成する音素のうち結合出力音素系列と前方一致している音素の割合を示す値である。詳しくは後述するが、音声秘匿装置20における判定部13は、秘匿情報判定処理において一致度合判定値を用いる。
【0101】
音声データ秘匿部25は、秘匿情報に該当するおそれがある内容を含む音声(秘匿対象音声)を秘匿する音声秘匿処理を実行する。本実施形態による音声秘匿装置20において、秘匿対象音声の秘匿は、秘匿対象音声に重畳させて所定の妨害音を出力することを示す。音声秘匿装置20が妨害音を出力すると、音声秘匿装置20の近傍に配置された情報端末装置には、秘匿対象音声とともに妨害音が入力される。これにより、情報端末装置は、秘匿対象音声の認識が困難となり、秘匿対象音声が情報端末装置を介してネットワーク上に流出することが防止される。
【0102】
音声データ秘匿部25は、妨害音を出力可能な波形出力器(妨害音出力部の一例)251と、波形出力器が生成した波形に対応する妨害音を出力するスピーカ(妨害音出力部の一例)252と、判定部13による秘匿情報判定結果に基づいて波形出力器251における妨害音声波形の生成を制御することにより、スピーカ252からの妨害音の出力を制御する妨害音出力制御部250と、を有している。波形出力器251が生成する波形による妨害音としては、例えば、テレビ放送等において自主規制音として用いられる音(所謂、ピー音)や、ブザー音等が想定される。妨害音出力制御部250は、判定部13が導出した秘匿情報判定結果に基づいて妨害音の出力可否を決定し、波形出力器251における妨害音声波形の生成を制御する。波形出力器251は、妨害音出力制御部250が妨害音を出力可能と判定した場合に妨害音声波形を生成し、生成した妨害音声波形を含む信号をスピーカ252に送信する。これにより、秘匿情報判定結果に基づいて妨害音声がスピーカ252から出力され、秘匿対象音声が秘匿される。また、波形出力器251が生成する妨害音声波形に相当する音声波形は、予めエコーキャンセラ22に入力されている。このため、エコーキャンセラ22は、入力音声データに含まれる妨害音に相当するデジタル信号を、デジタル音声データから除去することができる。」
「【図7】
〔図省略〕
」
「【0103】
(2-1)音声秘匿処理
次に、図6を参照しつつ図7を用いて、音声データ秘匿部25における音声秘匿処理の流れの一例を説明する。図7は、音声秘匿処理の流れを説明するフローチャートである。音声秘匿処理は、妨害音出力制御部250による妨害音出力の制御により、秘匿対象音声の認識を困難にする処理である。本実施形態において音声秘匿処理は、秘匿情報判定処理結果が判定部13から音声データ秘匿部25に入力されたことに基づいて実行される。すなわち、音声秘匿処理は、音声入力部21に入力音声データが入力されて、エコーキャンセラ22での音響エコーの除去を経てサンプリング単位で音声認識部12に出力され、判定部13において秘匿情報判定処理が実行される度に繰り返し実行される。
【0104】
(ステップS31)
ステップS31において、妨害音出力制御部250は、判定部13から秘匿情報判定結果を受信し、ステップS32の処理に移る。
【0105】
(ステップS32)
ステップS32において妨害音出力制御部250は、判定部13から受信した秘匿情報判定信号に基づいて秘匿情報判定結果を確認し、音声認識部12においてデジタル音声データを音素レベルで認識した出力音素が、秘匿情報音素系列と前方一致しているか否かを判定する。妨害音出力制御部250は、高レベルの秘匿情報判定信号を受信した場合に出力音素が秘匿情報音素系列と前方一致していると判定し、ステップS33の処理に移る。妨害音出力制御部250は、信号レベルが高レベルの秘匿情報判定信号を受信したことで、処理対象のデジタル音声データが秘匿対象音声に対応すると認識する。一方、妨害音出力制御部250は、低レベルの秘匿情報判定信号を受信した場合に出力音素が秘匿情報音素系列と前方一致していないと判定し、ステップS34の処理に移る。妨害音出力制御部250は、信号レベルが低レベルの秘匿情報判定信号を受信したことで、処理対象のデジタル音声データが秘匿対象音声に対応しないと認識する。
【0106】
(ステップS33)
ステップS33において、妨害音出力制御部250は、波形出力器251から妨害音を出力させ、音声秘匿処理を終了する。妨害音出力制御部250は、ステップS33において出力音素が秘匿情報音素系列と前方一致していないと判定されるまで、波形出力器251における妨害音出力を継続する。
【0107】
(ステップS34)
ステップS34において、妨害音出力制御部250は、波形出力器251において妨害音が出力中か否かを判定する。妨害音出力制御部250は妨害音が出力中であると判定するとステップS35の処理に移る。一方、妨害音出力制御部250は妨害音が出力中でないと判定すると音声秘匿処理を終了する。
【0108】
(ステップS35)
ステップS35において、妨害音出力制御部250は、波形出力器251における妨害音の出力を停止して、音声秘匿処理を終了する。
【0109】
このように、本実施形態による音声秘匿装置20において、音声データ秘匿部25の妨害音出力制御部250は、判定部13により個人情報等のキーワードと入力音声データとが一致するおそれがある(例えば、出力音素が秘匿情報音素系列と前方一致している)と判定された場合に、波形出力器251(妨害音出力部の一例)に妨害音声波形を生成させることで、スピーカ252(妨害音出力部の一例)から妨害音声波形に基づく妨害音(所定の妨害音の一例)を出力させる。これにより、音声秘匿装置20は、ユーザが登録した秘匿情報(例えば個人情報等を含むキーワード)を含むおそれのある秘匿対象音声を秘匿し、秘匿対象音声が音声認識機能を有する情報端末装置を介してネットワーク上に流出(音声認識サーバ等へ送信)されるのを防止することができる。」
ここで、引用文献1に記載されている事項について検討する。
上記【0013】の「音声入力装置11は、所定の音声発生源が発した音声データ(音声信号)を入力可能になっている。ここで、音声入力装置11に入力される音声データ(以降、「入力音声データ」と称する)は、例えば音声処理装置1のユーザの発話した音声(入力音声)が想定される。」との記載及び上記【0098】の「音声入力部21は、第1実施形態による音声秘匿装置10を有する音声処理装置1(図1参照)が備える音声入力装置11と同様の機能を有する。」との記載から、引用文献1には、「音声入力部21は、ユーザの発話した入力音声データを入力可能になっている」ことが記載されていると認められる。
また、上記【0083】の「具体的には、変形例1において、音声秘匿装置10は、入力音声データ中に個人情報等を含む内容の発話を行うと予測される情報(秘匿予測情報)が含まれるか否かに基づいて入力音声データ中に個人情報等の秘匿情報が含まれるおそれがあるか否かを判定し、該判定に応じてデジタル音声データのバッファ出力の可否を決定する。」との記載及び上記【0089】の「このように、変形例1において、音声秘匿装置10は、判定部13により入力音声に秘匿予測情報と一致する内容が含まれると判定されたこと、すなわち、入力音声データとキーワード(音声秘匿情報)とが一致するおそれがあると判定されたことに基づいて、判定後の予め定められた一定期間(出力停止期間)に音声処理装置1のユーザから入力された入力音声データに対応するデジタル音声データ(音声入力装置11からバッファ151に入力されたデジタル音声データ)の内容を秘匿する(バッファ出力を停止する)ことができる。」との記載から、引用文献1には、「判定部13は、秘匿予測情報が含まれるか否かに基づいて入力音声データ中に個人情報等の秘匿情報が含まれるおそれがあるか否かを判定する」ことが記載されていると認められる。
(2)引用発明
上記(1)から、特に下線部に着目すると、引用文献1には次の発明(以下「引用発明」という。)が記載されている。
「音声秘匿装置20は、音声入力部21と、判定部13と、記憶部14と、音声データ秘匿部25とを有しており、
音声入力部21は、ユーザの発話した入力音声データを入力可能になっており、
判定部13は、秘匿予測情報が含まれるか否かに基づいて入力音声データ中に個人情報等の秘匿情報が含まれるおそれがあるか否かを判定し、
秘匿情報として想定される情報は、例えば個人情報であり、ここで、個人情報とは、個人を特定可能な情報(住所、電話番号、誕生日、種々のパスワード等)や、金融資産に関する情報(クレジットカードやキャッシュカードの識別番号、銀行口座番号)等が挙げられ、
秘匿予測情報は、入力音声データ中に個人情報等を含む内容の発話を行うと予測される情報であり、
記憶部14には、秘匿予測情報リストが記憶されており、
秘匿予測情報リストには、秘匿予測情報として「電話番号は」という内容を示す秘匿予測音素系列「(デンワバンゴウワ)」(秘匿予測情報1)および「名前は」という内容を示す秘匿予測音素系列「(ナマエワ)」(秘匿予測情報2)が少なくとも蓄積されており、
判定部13は、時刻t21の期間において生成した結合出力音素系列「デンワバンゴウワ」(区間1~5に対応する出力音素の結合)と、秘匿予測情報1の秘匿予測音素系列(「デンワバンゴウワ」)とが完全一致すると判定し、秘匿予測情報1に対応する秘匿予測情報判定信号(個別)を高(High)レベルに設定し、
音声データ秘匿部25は、妨害音を出力可能な波形出力器(妨害音出力部の一例)251と、波形出力器が生成した波形に対応する妨害音を出力するスピーカ(妨害音出力部の一例)252と、判定部13による秘匿情報判定結果に基づいて波形出力器251における妨害音声波形の生成を制御することにより、スピーカ252からの妨害音の出力を制御する妨害音出力制御部250と、を有しており、
妨害音出力制御部250は、判定部13が導出した秘匿情報判定結果に基づいて妨害音の出力可否を決定し、波形出力器251における妨害音声波形の生成を制御し、
波形出力器251は、妨害音出力制御部250が妨害音を出力可能と判定した場合に妨害音声波形を生成し、生成した妨害音声波形を含む信号をスピーカ252に送信し、秘匿情報判定結果に基づいて妨害音声がスピーカ252から出力される
ことを特徴とする音声秘匿装置20。」
2 引用文献2
原査定の拒絶の理由に引用された引用文献2には、以下の記載がある。
「【0014】
音声生成装置12は、さらに、音声取得部16から音声の音声信号を取得する。音声生成装置12は、上記位置データで特定される位置関係にいる第三者22等の位置に到達する発話者20からの音声を減衰させる音声信号を生成して、音声出力部18に出力する。発話者20からの音声を減衰させる音声信号は、例えば、第三者22等の位置で、発話者20からの音声とは逆位相となる音声信号、発話者20の音声よりも大きな音量である音楽やニュース等の音声信号、発話者20からの音声と合成させることで発話者20からの音声を相対的に減衰させる音声信号等である。これによって、第三者等の位置で、発話者20からの音声を減衰させることができる。また、発話者20の会話内容を第三者に理解させなくすることができる。」
3 引用文献3
原査定の拒絶の理由に引用された引用文献3には、以下の記載がある。
「【0066】
「雑音低減処理」は、制御部101が、レンズ制御信号をレンズ駆動部203に送信すると共に、雑音低減部206に雑音低減処理を実行するように指示を出すことで実行される。雑音低減部206は、この指示を受けると、バッファメモリ207から、その区間の前(前学習期間302)及び/またはその区間の後(後学習期間303)の音声信号を読出す。このとき、同時に雑音発生区間301の音声信号を読出してもよい。そして、バッファメモリ207に記録された音声信号における雑音発生区間301の音声信号を置き換えるための「予測音声信号」を前学習期間302及び/または後学習期間303の音声信号から生成する。次に、バッファメモリ207の雑音発生区間301に対応するアドレスに再び書き込む。この動作を、バッファメモリ207に音声信号が書き込まれてから、読出されるまでの間に行う。この「予測音声信号」は、雑音発生区間301の音声信号を、その区間の前(前学習期間302)及び/またはその区間の後(後学習期間303)の音声信号に基づいて生成した音声信号である、生成方法は後述する。この様にして図3(a)のような雑音が混入した音声信号から図3(c)のような雑音発生区間の音声信号を生成した音声信号で置き換えた音声信号を生成することができるのである。」
4 引用文献4
原査定の拒絶の理由に引用された引用文献4には、以下の記載がある。
「【0038】
〔1-2-2.情報提供装置が実行する検出処理の一例について〕
続いて、情報提供装置10は、上述した学習処理により学習が行われた学習モデルM1を用いた測定処理、すなわち、音声区間の始端と終端とを検出する検出処理を実行する。まず、情報提供装置10は、マイク等を用いて、利用者の発話Aを含む音響信号を取得する(ステップS2)。そして、情報提供装置10は、学習モデルに音声データを入力することで、利用者の発話の始端と終端とを検出する(ステップS3)。例えば、情報提供装置10は、音響信号を複数のフレームに分割した音声データを生成する。そして、情報提供装置10は、音声データを先頭フレームから順に学習モデルM1の入力層に入力する。
【0039】
このような場合、情報提供装置10は、学習モデルM1に音声データを入力し、始端確度、終端確度、およびその他確度を算出する。そして、情報提供装置10は、始端確度が閾値τ以上となり、他の確度が閾値τに満たない場合は、始端タグの値「1」を出力し、他のタグの値「0」を出力する。また、情報提供装置10は、終端確度が閾値τ以上となり、他の確度が閾値τに満たない場合は、終端タグの値「1」を出力し、他のタグの値「0」を出力する。
【0040】
また、情報提供装置10は、各フレームについて出力したタグの値から、音声区間の始端から終端を検出する。例えば、情報提供装置10は、始端タグが「1」となった最初のフレームから、終端タグが「1」となった最後のフレームまでの区間を音声区間として検出する。なお、情報提供装置10は、このような処理以外にも、始端タグや終端タグの値に基づいて音声区間を抽出するのであれば、任意のルールに基づいて、音声区間を抽出してもよい。例えば、情報提供装置10は、始端タグが「1」となった最初のフレームから、終端タグが「1」となった最後のフレームまでのフレーム数が所定の閾値に満たなかった場合、さらにその後で終端タグが「1」となったフレームまでを音声区間として抽出してもよい。
【0041】
そして、情報提供装置10は、始端から終端までの範囲に含まれる音声、すなわち、音声区間に含まれる音声に応じた応答を出力する(ステップS4)。例えば、情報提供装置10は、音声区間に含まれる音声をテキストデータに変換し、変換後のテキストデータに基づいて、路線検索等の各種の処理を実行し、実行結果を利用者に対して提供する。
【0042】
〔1-3.音声区間について〕
ここで、上述した例では、情報提供装置10は、音響信号のうち利用者の発話を含む音声区間の抽出を行った。ここで、情報提供装置10は、任意の粒度で設定された音声区間を設定することができる。
【0043】
例えば、情報提供装置10は、音響信号のうち音声認識に関する所定の要件を満たす音声が含まれる区間の特徴を学習モデルM1に学習させてもよい。例えば、利用者の発話に基づいて処理を実行する場合、かかる発話には処理の実行に必要な情報(例えば、主語と目的語との組や検索に必要な各種のクエリを示す単語)が含まれる必要がある。そこで、情報提供装置10は、学習データLD1として、音響信号のうち、利用者の発話の音声が含まれる区間であって、音声認識結果を用いた処理において一つの単位として用いられる利用者による発話が含まれる区間を音声区間として示す学習データLD1を準備し、かかる学習データLD1を用いて、学習モデルM1の学習を行ってもよい。より具体的な例をを挙げると、情報提供装置10は、音響信号に「横浜の」という発話に続いて所定期間以内の無音状態が続いた後に「天気は?」といった発話が含まれる場合、「横浜の」という音声の先頭部分から「天気は?」という音声の終端部分までを音声区間とする学習データLD1を用いて学習を行ってもよい。
【0044】
このような学習データLD1を用いて学習が行われた学習モデルM1は、音声区間であって、音声認識結果を用いた処理において一つの単位として用いられる発話を含む音声区間の特徴を学習することとなる。例えば、学習モデルM1は、ある単語の末尾にその単語を目的語として示す「の」といった音声が含まれる場合は、その後に無音区間が含まれていたとしても、その無音区間の先に利用者の発話の続きがあると予測し、その無音区間が音声区間中の無音区間であると推定する。この結果、学習モデルM1は、処理に必要なひとかたまりの発話を含む区間を音声区間として抽出することができる。
【0045】
なお、上述した処理は、あくまで一例であり、情報提供装置10は、任意の粒度の発話を含む音声区間を抽出するように、学習モデルM1の学習を行ってよい。すなわち、情報提供装置10は、音声認識結果を用いた処理を基準として条件のみならず、例えば、音声をテキストデータに変換する処理や、利用者が発話する言語の特性等に基づく条件で区切られた音声区間の始端、終端およびその他の特徴を学習させてもよい。例えば、情報提供装置10は、利用者が発話する言語に応じた文節を音声区間とする学習データLD1の学習を行わせることで、利用者が発話する言語に応じた文節に応じた音声区間の始端、終端、その他の特徴を学習モデルM1に学習させてもよい。
【0046】
また、情報提供装置10は、どれくらいの長さの区間を音声区間とするかを学習モデルM1に学習させてもよい。例えば、情報提供装置10は、音声区間の長さが所定の閾値を超えないように、学習モデルM1のチューニングを行ってもよい。かかるチューニングは、学習データLD1に設定する始端タグから終端タグまでの期間を所定の閾値以下とすることで、学習モデルM1に学習させてもよく、事後的に設定してもよい。例えば、情報提供装置10は、始端から終端までの長さが所定の閾値を超え、かつ、出力層が算出した確度の値に応じて、事後的に音声区間を分割してもよい。
【0047】
ここで、情報提供装置10は、音声認識の対象としたい音声が含まれる範囲を音声区間とし、かかる音声区間の特徴、すなわち、音声認識の対象としたい音声の特徴を学習させてもよい。例えば、音響信号には、認識対象としたい利用者の発話以外にも、他の利用者の発話の音やテレビの音等といった背景音声が含まれる場合がある。ここで、認識対象としたい利用者の発話と、他の利用者の発話との間には、音量の違いがあると予測され、認識対象としたい利用者の発話とテレビの音との間には、周波数特性の違いがあると予測される。
【0048】
そこで、情報提供装置10は、音声認識の対象としたい音声が含まれる範囲を音声区間とする学習データLD1を用いて学習モデルM1の学習を行うことで、上述した各種背景音声と音声認識の対象としたい音声との違いの特徴を学習モデルM1に学習させてもよい。すなわち、情報提供装置10は、始端タグや終端タグに加え、その他タグを設定することで、各種背景音声が含まれる範囲の特徴、すなわち、音声認識の対象としたい音声とは異なる音声の特徴を学習モデルM1に学習させることができる。この結果、情報提供装置10は、音声認識の精度をさらに向上させることができる。
【0049】
〔1-4.始端と終端との学習について〕
ここで、学習モデルM1は、測定時にLSTMを用いて将来の予測を行うこととなる。そこで、情報提供装置10は、学習時において、未来の情報を入力することで、予測精度を向上させてもよい。例えば、情報提供装置10は、あるフレーム(以下、「学習対象フレーム」と記載する。)における音声データとともに、学習対象フレームにおける始端タグや終端タグを教師データとして学習モデルM1を学習するのではなく、学習対象フレームよりも先のフレームにおける始端タグや終端タグを教師データとして学習モデルM1の学習を行ってもよい。
【0050】
すなわち、情報提供装置10は、学習対象フレームよりも後のフレームの音響信号が音声区間の始端であるか否かを示す始端タグと、学習対象フレームよりも後のフレームの音響信号が音声区間の終端であるか否かを示す終端タグと、学習対象フレームが音声区間の始端または終端以外の区間であるか否かを示すその他タグとの間の関係性を学習モデルM1に学習させてもよい。例えば、情報提供装置10は、学習対象フレームよりも20フレーム後の始端タグと終端タグとを教師データとして、学習モデルM1の学習を行ってもよい。
【0051】
ここで、情報提供装置10は、学習対象フレームよりも所定の第1フレーム数だけ後のフレームの音響信号が音声区間の始端であるか否かを示す始端タグと、学習対象フレームよりも所定の第2フレーム数だけ後のフレームであって、第1フレーム数よりも多い第2フレーム数だけ後のフレームの音響信号が音声区間の終端であるか否かを示す終端タグと、学習対象フレームが音声区間の始端または終端以外の区間であるか否かを示すその他タグとの間の関係性を学習モデルM1に学習させてもよい。例えば、情報提供装置10は、学習対象フレームよりも20フレーム後の始端タグと、学習対象フレームよりも40フレーム後の終端タグとを入力してもよい。」
5 引用文献5
原査定の拒絶の理由に引用された引用文献5には、以下の記載がある。
「【0039】
LPC処理は、まず、図4(b)に示すように、カメラ駆動音が存在する区間の音声信号を破棄する。次に、音声予測に用いる線形予測係数の導出(学習動作)と線形予測係数を用いた信号の予測(予測動作)を行い、予測動作により求めた信号で、雑音が存在する雑音区間(予測区間)の音声信号を埋めていく。図4(c)は、雑音区間を予測信号でうめていく途中の波形を示す。LPC処理は、予測区間の信号を捨てる前の学習区間から、補間に使用する信号(予測信号)を生成するので、雑音の大きさ自体は問題にならない。予測区間が短いほど、より良い結果を得ることができ、LPC処理としては性能が良いということになる。
【0040】
線形予測を用いるにあたっては、現在の信号とこれに隣接する有限個(ここではp個とする)の標本値との間に次の様な線形1次結合関係を仮定する。
【数1】
〔図省略〕
但し、式(1)において、εtは平均値0、分散σ²の互いに無相関な確率変数である。ここで、xtが過去の値から予測されるように式(1)を変形すると、次のようになる。すなわち、
【数2】
〔図省略〕
式(2)によると、εtが十分に小さい場合、近傍p個の線形和によって現在の値が表現される。xtを上記の予測によって求めた後、更にその近似が十分に良ければ、xt+1も同じく近傍p個の線形和によって求められる。このように、εtを十分に小さくすることが出来れば、順次、値を予測して信号を求める事が出来る。そこで、εtを最小にする様なαiの求め方を考える。ここでは、εtを最小にするようなαiを求める動作が学習動作に相当する。
【0041】
学習区間においてεtの2乗和を最小化すれば良いので、学習の開始時刻t0、終了時刻をt1とすると、
【数3】
〔図省略〕
但し、αi=1である。ここで式を簡単にするために、
【数4】
〔図省略〕
とする。式(3)を最小化する様にαiを決める為には、式(3)のαj(j=1,2、・・・・、p)に関する偏微分を0として解けば良い。この結果、
【数5】
〔図省略〕
式(5)は、p個の線形連立一次方程式を解くことで、αiを決定出来る事を示している。式(5)の内、cijはxi-j(i=1、2、・・・・、p)から求める事ができる。すなわち、式(5)からαiを求める事ができる。
【0042】
式(5)に従ってαiを決定した場合、εtの2乗和は最小化されている。このとき、式(2)から、xtの値はx^tを予測信号として用いる事ができる。更にxt+1についても同様に近傍のp-1個と予測によって求めた信号から近似値を得ることが出来る。これを順次繰り返す事で、予測区間の信号を生成できる。ここでは、求められたαiから予測区間の近似を求める動作を予測動作と呼ぶ。
【0043】
好適な学習動作と予測動作を説明する。図4に示すように、学習動作に予測区間近傍の信号を用いる。これは、音声信号が短時間の領域に着目すると比較的繰り返し性が高い性質を利用している。図4に示すように、雑音が存在する区間(雑音区間)より時間的に前の隣接区間を学習区間1とし、学習区間1に対して学習動作と予測動作の計算を実行する。学習区間1での学習動作に基づき予測区間の信号を生成することを前方予測と呼ぶ。前方予測の予測区間の後半では、図4(d)に示すように、予測区間の後方になるにつれて予測信号が小さくなり、かつ、元の音声信号が大きくなるような重み付けの加算平均をとることで、元の音声信号と滑らかに接続できる。
【0044】
高音質LPC処理部204の処理は、上述の通り、演算負荷が大きい。特に、CPUを使う場合、積和演算の繰り返しが高負荷となり、リアルタイムを損ねる。そこで、本実施例では、リアルタイム処理が可能になるほどにLPC処理を簡易化した簡易LPC処理部202を設け、記録時には、簡易LPC処理部202を使い、記録後に高音質LPC処理部204を使うようにした。
【0045】
簡易LPC処理部202は、図5に示すように、学習区間の音声データを間引くことで,学習動作の演算処理量を削減する。さらに、簡易LPC処理部202は、図4で示す学習区間2を用いた学習動作は行わず、学習区間1を用いた学習動作のみを行う。このように演算処理を削減することで、相対的に演算速度が遅いCPUであっても、リアルタイムで行う雑音を除去できる。ただし、学習区間の音声データの一部を間引いて予測信号を生成するので、LPCの予測精度が低下する。
【0046】
本実施例では、ユーザからの記録指示による撮影時には、簡易LPC処理部202が、リアルタイムにLPCによるノイズ除去の処理を行う。そして、ユーザの記録停止指示によるRAW画像データ及び音声の記録停止後に、制御部161は、高音質LPC処理部204により記録媒体152の直前に記録された音声データにノイズ除去処理を行わせ、記録媒体152に記録し直す。制御部161は、高音質LPC処理された音声データが記録媒体152に記録された後、もとの簡易LPC処理された音声データを記録媒体152から消去する。高音質なLPC処理は、記録媒体152に記録されたRAW画像データを、記録停止後に高画質現像部112により高画質現像処理を行うタイミングで、同時に実行される。
【0047】
カメラ制御部104が、撮像光学部101に絞り動作を行うように制御するとき、制御部161に絞り動作の発生タイミングを通知するのが好ましい。制御部161は、絞り動作の発生タイミングに応じて簡易LPC処理部202に絞り駆動期間を知らせることができ、これにより、簡易LPC処理部202は雑音区間をより短く決定でき、適正なタイミングでLPC処理を行える。光学ズームのズーム駆動音及び合焦のためのフォーカス駆動音についても同様である。
【0048】
制御部161は、RAW画像と共に簡易LPC処理された音声を記録する際、絞りの駆動期間を示す情報を記録媒体152に記録する。高音質LPC処理部204は、記録媒体152に記録される絞り駆動期間の情報を参照することで、雑音区間をより適切に短い期間で決定でき、LPC処理で雑音を適切に低減できる。
【0049】
図6は、簡易LPC処理部202と高音質LPC処理部204を切り替える制御部161のスイッチ206を制御する動作のフローチャートを示す。S601で、制御部161は、ユーザからの指示によるRAW動画と音声の記録中(撮影中)か否かを判別する。撮影中(音声記録の場合には、音声記録中)である場合(S601)、S602で、制御部161は、簡易LPC処理部202にリアルタイムLPC処理を行わせる。具体的には、制御部161は、スイッチ206に簡易LPC処理部202の出力を選択させ、高音質LPC処理部204の動作を停止させる。撮影中でない場合(S602)、S603で、制御部161は、高音質LPC処理部204にLPC処理を行わせる。具体的には、制御部161は、スイッチ206に高音質LPC処理部204の出力を選択させ、簡易LPC処理部202の動作を停止させる。
【0050】
このように、本実施例ではリアルタイムでは困難なノイズ低減処理を音声信号に適用して記録することができる。
【実施例2】
【0051】
高音質LPC処理部204のLPC処理として、雑音区間より時間的に後の隣接区間を学習区間2とし、学習区間1,2に対して学習動作と予測動作の計算を実行するようにしてもよい。学習区間2での学習動作に基づき予測区間の信号を生成することを後方予測と呼ぶ。
【0052】
図7に示す波形例を参照して、前方予測と後方予測を併用するLPC処理を説明する。図7(a)は処理前の音声信号波形を示す。図7(b)は、図7(a)に示す信号をLPC処理する途中の段階での音声信号の波形を示す。図7(c)は、図7(a)に示す音声信号をLPC処理する途中の段階での音声信号の波形を示す。図7(d)は、図7(a)に示す信号をLPC処理し、処理した音声を補間する音声信号を示す。いずれも、横軸は時間を示し、縦軸は音声出力量(デシベル:dB)を示す。図7に示す波形例では、音声入力部171により取り込んだ外部または周囲の音声に、撮像装置100の駆動音が重畳している。
【0053】
学習区間1を使って学習動作及び予測動作を行い、学習区間2を使って学習動作と予測動作を行う。前者で得られる予測信号と後者で得られる予測信号を傾斜した重みを付けて加重平均する。予測区間の学習区間1に近いところでは、前者で得られる予測信号に対する重みを大きくし、予測区間の学習区間2に近いところでは、前者で得られる予測信号に対する重みを大きくする。」
第6 対比・判断
1 本願発明1について
(1)対比
本願発明1と引用発明とを対比すると、次のことがいえる。
ア 引用発明の「個人情報」は、本願発明1の「所定のコンテキストを有する対象発言」に相当する。なお、本願明細書【0016】には、「このような電話番号を示す対象発言は、プライバシを毀損する恐れがある。そこで、情報処理装置100は、このようなプライバシを毀損する恐れのある発言を、所定のコンテキストを有する発言、すなわち、対象発言とする。」と記載されている。
イ 引用発明の「秘匿予測情報」は、「個人情報等を含む内容の発話を行うと予測される情報」であるから、上記アを踏まえると、本願発明1の「所定のコンテキストを有する対象発言を発話する前に行った事前発言」に相当する。
ウ 引用発明の「発話した入力音声データ」は、音声技術分野の技術常識に照らすと、本願発明1の「発言が示す音声の波形情報」に相当する。
エ 引用発明の「判定」は、本願発明1の「予測」に相当する。そして、引用発明の「判定部13」は、「入力音声データ中に個人情報等の秘匿情報が含まれるおそれがあるか否かを判定」することから、上記ア、ウを踏まえると、本願発明1の「所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測する予測部」に相当する。
オ 引用発明において、「音声秘匿装置20は、音声入力部21と、判定部13と、記憶部14と、音声データ秘匿部25とを有しており」、「音声入力部21は、ユーザの発話した入力音声データを入力可能になっており」、「判定部13は、秘匿予測情報が含まれるか否かに基づいて入力音声データ中に個人情報等の秘匿情報が含まれるおそれがあるか否かを判定し」、「秘匿情報として想定される情報は、例えば個人情報であり、ここで、個人情報とは、個人を特定可能な情報(住所、電話番号、誕生日、種々のパスワード等)や、金融資産に関する情報(クレジットカードやキャッシュカードの識別番号、銀行口座番号)等が挙げられ」、「秘匿予測情報は、入力音声データ中に個人情報等を含む内容の発話を行うと予測される情報であり」、「記憶部14には、秘匿予測情報リストが記憶されており」、「秘匿予測情報リストには、秘匿予測情報として「電話番号は」という内容を示す秘匿予測音素系列「(デンワバンゴウワ)」(秘匿予測情報1)および「名前は」という内容を示す秘匿予測音素系列「(ナマエワ)」(秘匿予測情報2)が少なくとも蓄積されており」、「判定部13は、時刻t21の期間において生成した結合出力音素系列「デンワバンゴウワ」(区間1~5に対応する出力音素の結合)と、秘匿予測情報1の秘匿予測音素系列(「デンワバンゴウワ」)とが完全一致すると判定」することから、音声秘匿装置20は、個人情報を発話する前に行った秘匿予測情報が示す入力音声データが入力された場合に、個人情報に係る入力音声データが発生するか否かを判定する判定部13を備えているといえる。
したがって、上記ア-エを踏まえると、引用発明の「個人情報を発話する前に行った秘匿予測情報が示す入力音声データが入力された場合に、個人情報に係る入力音声データが発生するか否かを判定する判定部13」は、本願発明1の「所定のコンテキストを有する対象発言を発話する前に行った事前発言が示す音声の波形情報が入力された場合に、当該対象発言の発生を予測することを学習した予測モデルを用いて、所定の検知装置によって検知された、当該所定の検知装置または検知された利用者に係る状態を含む検知情報に基づいて、所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測する予測部」と、「所定のコンテキストを有する対象発言を発話する前に行った事前発言が示す音声の波形情報が入力された場合に、所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測する予測部」である点で共通するといえる。
カ 引用発明において、「音声秘匿装置20は、音声入力部21と、判定部13と、記憶部14と、音声データ秘匿部25とを有しており」、「判定部13は、時刻t21の期間において生成した結合出力音素系列「デンワバンゴウワ」(区間1~5に対応する出力音素の結合)と、秘匿予測情報1の秘匿予測音素系列(「デンワバンゴウワ」)とが完全一致すると判定し、秘匿予測情報1に対応する秘匿予測情報判定信号(個別)を高(High)レベルに設定し」、「音声データ秘匿部25は、妨害音を出力可能な波形出力器(妨害音出力部の一例)251と、波形出力器が生成した波形に対応する妨害音を出力するスピーカ(妨害音出力部の一例)252と、判定部13による秘匿情報判定結果に基づいて波形出力器251における妨害音声波形の生成を制御することにより、スピーカ252からの妨害音の出力を制御する妨害音出力制御部250と、を有しており」、「妨害音出力制御部250は、判定部13が導出した秘匿情報判定結果に基づいて妨害音の出力可否を決定し、波形出力器251における妨害音声波形の生成を制御し」、「波形出力器251は、妨害音出力制御部250が妨害音を出力可能と判定した場合に妨害音声波形を生成し、生成した妨害音声波形を含む信号をスピーカ252に送信し、秘匿情報判定結果に基づいて妨害音声がスピーカ252から出力される」ことから、音声秘匿装置20は、秘匿予測情報判定信号を高レベルに設定された場合に、妨害音声を出力する音声データ秘匿部25を備えているといえる。ここで、「秘匿予測情報判定信号を高レベルに設定された場合」とは、「個人情報に係る入力音声データが発生すると予測された場合」であるといえる。また、引用発明の「妨害音声を出力する」構成は、本願発明1の「当該波形情報とは逆位相の波形情報を出力する」構成と、「特定の波形情報を出力する」構成である点で共通するといえる。
したがって、上記ア-エを踏まえると、引用発明の「秘匿予測情報判定信号を高レベルに設定された場合に、妨害音声を出力する音声データ秘匿部25」は、本願発明1の「当該所定のコンテキストを有する対象発言に係る音声の波形情報が発生すると予測された場合に、当該波形情報とは逆位相の波形情報を出力する出力部」と、「当該所定のコンテキストを有する対象発言に係る音声の波形情報が発生すると予測された場合に、特定の波形情報を出力する出力部」である点で共通するといえる。
キ 上記ア-カを踏まえると、引用発明の「音声秘匿装置20」は、以下の相違点を除いて、本願発明1の「出力装置」に相当する。
以上のことから、本願発明1と引用発明との一致点及び相違点は、次のとおりである。
(一致点)
「所定のコンテキストを有する対象発言を発話する前に行った事前発言が示す音声の波形情報が入力された場合に、所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測する予測部と、
当該所定のコンテキストを有する対象発言に係る音声の波形情報が発生すると予測された場合に、特定の波形情報を出力する出力部と
を備えることを特徴とする出力装置。」
(相違点1)
所定のコンテキストを有する対象発言を発話する前に行った事前発言が示す音声の波形情報が入力された場合に、所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測する際に、本願発明1では、「当該対象発言の発生を予測することを学習した予測モデルを用いて」いるのに対し、引用発明では、当該構成について特定されていない点。
(相違点2)
所定のコンテキストを有する対象発言を発話する前に行った事前発言が示す音声の波形情報が入力された場合に、所定のコンテキストを有する対象発言に係る音声の波形情報が発生するか否かを予測する際に、本願発明1では、「所定の検知装置によって検知された、当該所定の検知装置または検知された利用者に係る状態を含む検知情報に基づいて」いるのに対し、引用発明では、当該構成について特定されていない点。
(相違点3)
出力部により出力される特定の波形情報が、本願発明1では、「当該波形情報とは逆位相の波形情報」であるのに対し、引用発明では、「妨害音声」である点。
(2)相違点についての判断
事案に鑑みて、上記相違点2について先に検討する。
引用文献2-5には、上記相違点2に係る本願発明1の構成について記載も示唆もなく、また、このような構成が本願の出願前において周知技術であったともいえない。
したがって、当業者といえども、引用発明及び引用文献2-5に記載された技術から、上記相違点2に係る本願発明1の構成を容易に想到することはできない。
よって、他の相違点について判断するまでもなく、本願発明1は、当業者であっても、引用発明及び引用文献2-5に記載された技術に基づいて容易に発明できたものとはいえない。
2 本願発明2-10について
本願発明2-10は、本願発明1を減縮した発明である。したがって、本願発明1と同一の構成を備えるものであるから、本願発明1と同じ理由により、当業者であっても、引用発明及び引用文献2-5に記載された技術に基づいて容易に発明できたものとはいえない。
3 本願発明11、12について
本願発明11、12は、それぞれ、本願発明1に対応する「出力方法」、「出力プログラム」の発明であり、本願発明1とカテゴリ表現が異なるだけの発明である。したがって、本願発明11、12は、本願発明1の構成に対応する構成を実質的に備えるものであるから、本願発明1と同じ理由により、当業者であっても、引用発明及び引用文献2-5に記載された技術に基づいて容易に発明できたものとはいえない。
第7 原査定についての判断
上記第6のとおり、本願発明1-12は、当業者であっても、引用発明及び引用文献2-5に記載された技術に基づいて容易に発明できたものとはいえない。
したがって、原査定を維持することはできない。
第8 当審拒絶理由についての判断
令和5年9月11日提出の手続補正書において、補正前の請求項1、11、12の「所定のコンテキストを有する波形情報」を「所定のコンテキストを有する対象発言に係る音声の波形情報」と補正し、また、補正前の請求項1、11、12の「当該所定のコンテキストを有する波形情報」を「当該波形情報」と補正した結果、この拒絶の理由は解消した。
第9 むすび
以上のとおり、原査定の理由によって、本願を拒絶することはできない。
また、他に本願を拒絶すべき理由を発見しない。
よって、結論のとおり審決する。
令和5年10月30日
審判長 特許庁審判官 山澤 宏
特許庁審判官 岩間 直純
特許庁審判官 野崎 大進
出典:特許庁「審決公報」(令和5年12月28日発行・号数2023-012、公報発行サイト https://www.gazette.jpo.go.jp/scciidl010 )を加工して作成(加工:TaiLexi AI)
本文は公表資料(PDF 等)から機械的に抽出・整形したもので、改行や記号に誤りを含むことがあります。正確な文言は原本でご確認ください。