日本語の処理性能が高いLLMになるという。LLMの普及に伴い課題となっている、電力やコスト増加といった課題の解決を目指す。 日本語性能に関するtsuzumiと他LLMとの対戦結果 ※クリックすると拡大画像が見られます 近年、OpenAIの「ChatGPT」をはじめとするLLMが注目を集めている。これらは膨大な知識をモデル内に有することで高い言語処理性能を示す一方で、例えば「GPT-3」の場合、学習に要するエネルギーとして原発1基1時間分の電力量が必要となる。また、運用に大規模なGPUクラスターが必要で、さまざまな業界に特化するためのチューニングや推論にかかるコストも膨大となるため、サステナビリティおよび、企業が学習環境を準備するための経済的負担面が課題となっている。 こうした課題を踏まえNTTは、研究所が保有する40年以上に及ぶ自然言語処理研究の蓄積、AI分野の研究力を生かし、パラメーターのサイズが6億の超軽量版「tsuzumi-0.
6B）および、20分の1（tsuzumi-7B）に低減できるとしている。 軽量によるコストメリットの例-1 ※クリックすると拡大画像が見られます 軽量によるコストメリットの例-2 ※クリックすると拡大画像が見られます 対応言語は日本語と英語。長年の研究で得た知見を生かせるため、特に日本語の処理性能は高いという。英語の場合も世界トップクラスと同程度の性能を実現可能で、多言語にも今後対応する予定だ。 実際の言語モデルの回答比較とGPT-4の判定例 ※クリックすると拡大画像が見られます 効率的に知識を学習させることのできるアダプター（事前学習済みモデルの外部に追加されるサブモジュール）により、例えば、特定の業界に特有の言語表現や知識に対応するようなチューニングを、少ない追加学習量で実現可能。言語化されていないグラフィカルな表示や音声のニュアンス、顔の表情などを理解し、現実世界での人との協調作業を可能とするような、マルチモーダル（入力する情報の種類をテキスト、画像、音声などから組み合わせて使う能力をもった人工知能）への対応も予定する。 視覚的読解技術の実施例...
日本 最新ニュース, 日本 見出し
Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。
ソース: pc_watch - 🏆 44. / 63 続きを読む »
ソース: internet_watch - 🏆 23. / 63 続きを読む »
ソース: jijicom - 🏆 32. / 63 続きを読む »
ソース: Sankei_news - 🏆 68. / 53 続きを読む »
ソース: goonewsedit - 🏆 40. / 63 続きを読む »
ソース: shunkannews - 🏆 17. / 63 続きを読む »