マルチモーダルとは
マルチモーダルは、文章に加えて、画像・音声・動画など複数の種類の情報を1つのモデルで扱える性質です。「モーダル」は情報の種類を指す言葉で、文章だけを扱うモデルはシングルモーダルと呼ばれます。
モデルは、画像や音声も内部で扱える形に変換し、文章と同じように処理します。そのため、写真を見せて「何が写っているか」を説明させたり、グラフの画像から数値の傾向を読み取らせたりできます。音声を直接聞き取って答える、画像を生成するといった使い方もあります。
実務では、これまで人が目で見て転記していた作業に効果があります。手書きの書類、紙の帳票、ホワイトボードの写真、製品の不具合写真などを、文章に置き換えて扱えるようになります。説明しにくい画面の状態も、スクリーンショットを渡せば伝わります。
一方で、画像の細部や小さな文字、表の数値は読み違えることがあります。図の内容をもっともらしく取り違えることもあります。数値や固有名詞を含む読み取り結果は、元の画像と照らし合わせて確かめます。
具体例
紙の申込書を文章にする
郵送で届く手書きの申込書を、写真に撮ってモデルに渡しました。「氏名、住所、希望コースを表の形で書き出し、読み取れない文字は［不明］とする」と指示すると、入力作業の下書きができます。読み取れない箇所を明示させたので、人が確認すべき場所がすぐ分かります。確認を終えたものだけを顧客台帳に登録します。
エラー画面をそのまま相談する
業務システムでエラーが出たとき、画面のスクリーンショットを貼り付けて「このエラーの意味と、まず確認すべきことを教えて」と聞きます。エラーの文言を書き写す手間が省け、画面の状態も伝わります。社外のサービスに貼る場合は、画面に個人情報や機密情報が写っていないかを先に確かめます。