音声文字起こしからクリエイティブな出力まで一気通貫！BubbleとOpenAIで実装！
昨今、様々なサービスに生成AIが組み込まれ、私たちの業務や働き方も大きく変わろうとしています。
OpenAI社が提供するChatGPTもその一つ。ChatGPTを正しく活用すれば、日々の業務だけでなく、私たちの生活にも大変便利になります。
今回はそのOpenAI社が提供する音声認識技術（Whisper API）と自然言語処理技術（ChatGPT API）を使って、音声の文字起こしからクリエイティブな出力まで一気通貫でできるアプリを開発した事例をご紹介します。
Whisperとは？
Whisperとは、OpenAIが提供する音声認識モデルです。
音声ファイルをテキストに変換したり、英語に翻訳したりすることができます。
Whisperは、Webから収集した68万時間の多言語の音声データで学習されており、高い精度で入力した音声を文字起こしすることが可能です。
そして、各々開発したアプリやサービス内にWhisperの技術を取り入れることができる「Whisper API」が今年の春に公開されたことにより、一般的にも活用の範囲が広がっています。
開発したアプリ
今回開発したのは「Mr.モジオ・コス」と名付けた単機能アプリです。
開発したアプリはこちら
※現在、iOSでは動きませんので、Android端末かPCでお試しください。
bubbleでデザインやワークフローを組み立て、OpenAIのChatGPT APIとWhisper APIを利用して開発しました。
Whisper APIで音声データをテキストに変換した後、ChatGPT APIでそのテキストを多様な形にアレンジできるようにしています。
最大の特徴は録音した音声データから様々なコンテンツを生成させられる点です。
会議議事録作成やインタビューの文字起こしなど、様々な場面で使えそうです。
実際に使ってみた
これから検証として、以下の文章を読み上げてみます。
"桃太郎は、日本の伝説的な英雄です。彼は桃から生まれ、仲間の犬、猿、鷲と共に鬼ヶ島に向かい、鬼を倒すために冒険しました。その勇気や仲間との協力は日本の文化で称えられており、子供たちに勇敢さや協力の大切さを教える物語として広く愛されています。桃太郎の冒険は日本の伝承の中で特別な位置を占め、彼の名前は日本の歴史と文化に欠かせないものとなっています。"
見るからに噛みそうな文章を録音します。
動画で見たい方はこちら
マイクのアイコンをクリックするとレコーディングが始まります。
会社にいるので、声量は控えめにしています。
レコーディング中は「Mr.モジオ・コス」の背景が変わります。
期待通りに噛んでしまいました。
レコーディングが終わったら[ 解析する ]をクリックします。
すると、どんな文章にアレンジしたいか選択肢が出現！
選択肢は、下記の5つを用意しました。
・ありのままの文章
・美しい日本語にした文章
・所々にユーモアを交えた文章
・要点を箇条書きにまとめた文章
・プレスリリース用に添削された文章
まずは、「ありのままの文章」にします。
"桃太郎は日本の伝説的な英雄です。彼は桃から生まれ、仲間の犬、猿、鷲と共に鬼ヶ島に向かい、鬼を倒すために冒険しました。その勇気や仲間との協力は日本の文化で称えられており、子どもたちに勇敢さや協力の大切さを教える物語として広く愛されています。桃太郎の冒険は日本の伝承の中で特別な位置を占め、彼の名前は日本の歴史と文化に欠かせないものとなっています。"
パーフェクトですね！！
しかも、噛み噛みの文章をあたかも噛んでいないように文字起こししてくれています。
動画で見たい方はこちら
次は「美しい日本語にした文章」にしてみます。
"桃太郎は、伝説的な日本の英雄であり、彼の物語は美しい日本語で語り継がれています。彼は、桃から生まれた存在であり、心強い仲間である犬、猿、鷲と共に鬼ヶ島への冒険に挑みました。彼の勇敢さや仲間とも協力は、日本の文化で非常に高く評価されており、子供たちに勇気や協力の重要性を伝える大切な物語として愛されています。桃太郎の冒険は、日本の伝承の中で特別な位置を占めており、彼の仲間たちも同様に、日本の歴史と文化に欠かせない存在です。"
そもそも原文が美しくない日本語ではないのでよく分かりませんが、なんとなく変化がありましたね。
最後は、「要点を箇条書きにまとめた文章」にしてみます。
・桃太郎は桃から生まれ、伝説的な英雄です。
・彼は犬、猿、鷲と一緒に鬼ヶ島に向かい、鬼を倒すために冒険しました。
・彼の勇気や仲間との協力は日本の文化で称えれています。
・桃太郎の物語は子どもたちに勇敢さや協力の大切さを教えるために広く愛されています。
・桃太郎と彼の仲間は日本の歴史と文化においても欠かせない存在です。
しっかりと要点を箇条書きでまとめてくれましたね！
出力されたテキストは「コピーアイコン」をクリックして、簡単に有効活用できます。
感想
今回は、bubbleとOpenAI社が提供するAPIのみで開発しました。
基本的にデスクトップでもスマホでも動作するのですが、Mac製品（iPhoneやiPad）だと「This browser does not support capturing sounds.Please use another one.」と表示されてしまいます。
ここはなんとかできる方法を探したいですね。
精度に関しては、非常に高いことが分かりました。
また、アレンジの選択肢を増やせば、業務日誌など報告業務にも活かしたり、kintoneやLINE WORKSなど外部サービスに飛ばすこともできます。
生成AIはじめ様々なテクノロジーの進化により、業務改善やDXの形が変わってきました。
新しいテクノロジーを使って業務やバックオフィスを効率よくしていきませんか？
フルバックでは企業・団体に合わせたDX・業務改善を支援しています。