Hiho's Blog

Brainwave Idea Challenge(脳波アイデアソン)見てきた

BMI(Brain Machine Interface)を作る、PGVというベンチャー企業がある。 11月、PGVの開催するアイデアソンが開かれた。 今回のお題は、高性能ウェアラブル脳波センサーの利用のアイデア出しだ。 BMIに興味があったので参加したかったが、アイデアソン枠が埋まっていたので、ブログ枠の観覧者として申し込んだ。

Read More

CREPE(A Convolutional REpresentation for Pitch Estimation)使ってみた

畳み込みニューラルネットを使ったピッチ推定手法、CREPEが提案された1PyPIが用意されていて、発話音声にも簡単に適用できそうだったので試してみた。

Read More

CycleGANノンパラレル結月ゆかり声質変換やってみた

目次

  • (背景)自分の声を結月ゆかりにしたい。前回はパラレルデータのアライメントが問題になったので、ノンパラレルデータの手法を試したい。
  • (手法)CycleGANを使ったノンパラレル声質変換を試みた。
  • (結果)アライメントしなくても聞き取れる音声が生成できた。しかし、言語性を保ちつつ声質変換できるパラメータは見つけられなかった。
  • (考察)CycleGANを用いて性能の良い声質変換を得るのは難しいと思った。Identity以外のお手頃な制約手法が見つかれば,また挑戦してみたい。

この記事は、技術系同人誌SIGNICO vol.5の掲載記事「CycleGANを用いたリアルタイム結月ゆかり声質変換」の結果音声を中心に載せています。 詳しい手法や解説などは同人誌の記事をご参照ください。

Read More

ディープラーニングの力で結月ゆかりの声になってみた

目次

  • (背景)自分の声を結月ゆかりにしたい。前回はあまりクオリティが良くなかったので、手法を変えて質を上げたい。
  • (手法)声質変換を、低音質変換と高音質化の二段階に分けてそれぞれ学習させた。画像分野で有名なモデルを使った。
  • (結果)性能が飛躍的に向上し、かなり聞き取れるものになった。
  • (考察)精度はまだ改善の余地があり、多対多声質変換にすることで精度が向上すると考えられる。今回の結果を論文化したい。
Read More

Chainerを使った研究開発時のクラス設計

この記事はChainer Advent Calendar 2017の23日目の記事です。

僕は普段、Chainerを使って研究開発しています。 このとき、クラスをどう分けるべきかよく悩みます。 いろいろやってみてある程度固まってきたので、自分なりにまとめてみました。

Read More

DeepLearningでも声質変換したい!

これはドワンゴ Advent Calendar 2017の9日目の記事です。

漫画やアニメを見ていると、可愛い女の子になって可愛い女の子と他愛もない会話をして過ごす日常に憧れます。 そんな感じで、可愛い女の子になりたい人は多いと思います1。 しかし残念なことに、現在の技術で真の可愛い女の子になるのはとても難しいです。 じゃあせめて仮想でいいから可愛い女の子になりたいですよね(バーチャルyoutuberキズナアイみたいな)。 しかし、仮に姿を可愛い女の子にしても、声が可愛くなければ願いは叶いません。 ということで、声を可愛くする声質変換を目指してみました。 今回は僕の声をDeepLearningの力を借りて結月ゆかりにしました。

Read More

マストドンアイドル チュートリアル

なに?

マストドンアイドルに厳格な定義はありません。 その意味は、漠然と、マストドンで人気のある人を指しています。 狭義には、friends.nicoで生放送する人のことを指します。

だれが?

創作活動をしている、あるいはしたいと思っているが、モチベーションが湧かない人向けです。

なぜ?

チャット感覚での交流が行われるマストドンは、創作活動のフィードバックを得られやすいためです。

Read More

声優統計コーパスをアライメントしてみる

目次

  • (背景)声質変換用のデータを作るために音声アライメントを試してみたい
  • (手法)声優統計コーパスのデータを使用し、MFCCでアライメントした
  • (結果)アライメント後の音声はところどころ伸びていた。無音とする閾値を下げると伸びは抑制された。
  • (考察)もっと完璧に揃うと思っていた。
話者1のメルスペクトログラム
話者2のメルスペクトログラム
Read More

ブログ作りました

技術系の日記をつける予定です。

Read More