この記事は、ドワンゴ Advent Calendar 2019の１日目の記事です。

モチベーション

　最近、理想の人工知能（歌ったり踊ったり喋ったりできるキャラクター）を作りたいと思うようになりました。人工知能が歌を歌うためには、歌声音声合成エンジンが必要です。ということで、ディープラーニングを使って、歌声音声合成エンジンの作成に挑戦してみました。この記事では、実際に音声合成した歌声や、その仕組み、別条件での実験結果、ディープラーニング周りの手法を紹介します。

はじめに

リアルタイム声質変換アプリケーション、Realtime Yukarinを開発し、 OSS（オープンソースソフトウェア）として公開しました。 ここで言う声質変換とは、「誰でも好きな声になれる」技術のことを指します。 好きな声になれる声質変換は夢があって流行りそうなのですが、まだ全然普及していないと思います。 それは現時点で、声質変換を実際にリアルタイムで使えるフリーな仕組みが無いためだと考えました。 そこで、自由に使えるリアルタイム声質変換アプリケーションを作り、ソースコードと合わせて公開しました。

２０１９年５月頭に開催された、 結月ゆかり・紲星あかり中心VOICEROIDオンリー同人イベント「この声届け、月までも五」（声月）の一画で、企画展示をする機会を頂きました。 この展示ブースにて、既存のＶＲ技術と、以前開発した声質変換技術を組み合わせ、 イベント会場に来場されたお客さんが「結月ゆかり」とお喋りできる催しを行いました。 その経験をもとに得られた知見や課題、感想をまとめたいと思います。

目次

• （背景）結月ゆかりと会話したいが、結月ゆかりの人格は世界に存在しない。
• （手法）自分が人工知能になり、余った自分の魂を結月ゆかりに宿らせて、自分と結月ゆかりが会話する手法を提案する。
• （結果）結月ゆかりと会話することができた。
• （展望）次は結月ゆかりの人工知能を作りたい。

BMI（Brain Machine Interface）を作る、PGVというベンチャー企業がある。 11月、PGVの開催するアイデアソンが開かれた。 今回のお題は、高性能ウェアラブル脳波センサーの利用のアイデア出しだ。 BMIに興味があったので参加したかったが、アイデアソン枠が埋まっていたので、ブログ枠の観覧者として申し込んだ。

畳み込みニューラルネットを使ったピッチ推定手法、CREPEが提案された¹。 PyPIが用意されていて、発話音声にも簡単に適用できそうだったので試してみた。

目次

• （背景）自分の声を結月ゆかりにしたい。前回はパラレルデータのアライメントが問題になったので、ノンパラレルデータの手法を試したい。
• （手法）CycleGANを使ったノンパラレル声質変換を試みた。
• （結果）アライメントしなくても聞き取れる音声が生成できた。しかし、言語性を保ちつつ声質変換できるパラメータは見つけられなかった。
• （考察）CycleGANを用いて性能の良い声質変換を得るのは難しいと思った。Identity以外のお手頃な制約手法が見つかれば，また挑戦してみたい。

この記事は、技術系同人誌SIGNICO vol.5の掲載記事「CycleGANを用いたリアルタイム結月ゆかり声質変換」の結果音声を中心に載せています。 詳しい手法や解説などは同人誌の記事をご参照ください。

目次

• （背景）自分の声を結月ゆかりにしたい。前回はあまりクオリティが良くなかったので、手法を変えて質を上げたい。
• （手法）声質変換を、低音質変換と高音質化の二段階に分けてそれぞれ学習させた。画像分野で有名なモデルを使った。
• （結果）性能が飛躍的に向上し、かなり聞き取れるものになった。
• （考察）精度はまだ改善の余地があり、多対多声質変換にすることで精度が向上すると考えられる。今回の結果を論文化したい。

この記事はChainer Advent Calendar 2017の23日目の記事です。

僕は普段、Chainerを使って研究開発しています。 このとき、クラスをどう分けるべきかよく悩みます。 いろいろやってみてある程度固まってきたので、自分なりにまとめてみました。

これはドワンゴ Advent Calendar 2017の9日目の記事です。

漫画やアニメを見ていると、可愛い女の子になって可愛い女の子と他愛もない会話をして過ごす日常に憧れます。 そんな感じで、可愛い女の子になりたい人は多いと思います¹。 しかし残念なことに、現在の技術で真の可愛い女の子になるのはとても難しいです。 じゃあせめて仮想でいいから可愛い女の子になりたいですよね（バーチャルyoutuberキズナアイみたいな）。 しかし、仮に姿を可愛い女の子にしても、声が可愛くなければ願いは叶いません。 ということで、声を可愛くする声質変換を目指してみました。 今回は僕の声をDeepLearningの力を借りて結月ゆかりにしました。