ディープラーニングの力で誰でもゆかりさんの声になれる声変換技術を作ってみた
December 28, 2020
2年ほど前に、自分の声を結月ゆかりにする声質変換技術を作り、動画を投稿しました。この技術には利用者の音声データが大量に必要であるという欠点があり、ゆかりさんになりたいというみなさんの願いを叶えるのが難しい状態でした。そこで、この技術を利用者の音声データが不要になるように改良し、誰でも簡単に使えるようにしました。ここではその技術について解説します。
December 28, 2020
2年ほど前に、自分の声を結月ゆかりにする声質変換技術を作り、動画を投稿しました。この技術には利用者の音声データが大量に必要であるという欠点があり、ゆかりさんになりたいというみなさんの願いを叶えるのが難しい状態でした。そこで、この技術を利用者の音声データが不要になるように改良し、誰でも簡単に使えるようにしました。ここではその技術について解説します。
July 17, 2020
私は仕事でも趣味でもディープラーニングをしています。趣味ではいつもGoogle Colaboratoryを使ってお金をかけずにディープラーニングしていたのですが、Colabは1日12時間ほどしかGPUを使えず、しかも頻繁に学習タスクを回していると弱いGPUしか利用できなくなるので、進捗があまりよくありませんでした。そこで、お金を使って進捗を出すことを考えました。
Google Cloud Platform(GCP)なら、ちょっと弱めのGPU(Tesla T4)を1時間あたり約12円で借りられます。これならまあ趣味の予算で可能だと感じたので実際にやってみたのですが、GCPは思った以上に複雑で、わかりづらい点が多くありました。そこでこのブログでは、GCPに登録するところから、1コマンドでディープラーニングできる環境を構築するまでの方法を紹介します。
December 1, 2019
この記事は、ドワンゴ Advent Calendar 2019の1日目の記事です。
最近、理想の人工知能(歌ったり踊ったり喋ったりできるキャラクター)を作りたいと思うようになりました。人工知能が歌を歌うためには、歌声音声合成エンジンが必要です。ということで、ディープラーニングを使って、歌声音声合成エンジンの作成に挑戦してみました。この記事では、実際に音声合成した歌声や、その仕組み、別条件での実験結果、ディープラーニング周りの手法を紹介します。
September 27, 2019
リアルタイム声質変換アプリケーション、Realtime Yukarinを開発し、 OSS(オープンソースソフトウェア)として公開しました。 ここで言う声質変換とは、「誰でも好きな声になれる」技術のことを指します。 好きな声になれる声質変換は夢があって流行りそうなのですが、まだ全然普及していないと思います。 それは現時点で、声質変換を実際にリアルタイムで使えるフリーな仕組みが無いためだと考えました。 そこで、自由に使えるリアルタイム声質変換アプリケーションを作り、ソースコードと合わせて公開しました。
May 26, 2019
2019年5月頭に開催された、 結月ゆかり・紲星あかり中心VOICEROIDオンリー同人イベント「この声届け、月までも五」(声月)の一画で、企画展示をする機会を頂きました。 この展示ブースにて、既存のVR技術と、以前開発した声質変換技術を組み合わせ、 イベント会場に来場されたお客さんが「結月ゆかり」とお喋りできる催しを行いました。 その経験をもとに得られた知見や課題、感想をまとめたいと思います。
March 3, 2019
Read MoreNovember 19, 2018
BMI(Brain Machine Interface)を作る、PGVというベンチャー企業がある。 11月、PGVの開催するアイデアソンが開かれた。 今回のお題は、高性能ウェアラブル脳波センサーの利用のアイデア出しだ。 BMIに興味があったので参加したかったが、アイデアソン枠が埋まっていたので、ブログ枠の観覧者として申し込んだ。
May 3, 2018
Read MoreApril 22, 2018
この記事は、技術系同人誌SIGNICO vol.5の掲載記事「CycleGANを用いたリアルタイム結月ゆかり声質変換」の結果音声を中心に載せています。 詳しい手法や解説などは同人誌の記事をご参照ください。
February 13, 2018
Read More