。NIIが主宰し、大学や企業から500名以上が参加する「LLM勉強会」が7月から構築を始めたもので、事前学習とチューニングが完了したことから公開された。
LLM-jp-13Bはパラメーター数が130億で、約1450億トークンの日本語コーパス、約1450億の英語コーパス、約100億トークンのプログラムコードで学習させた。学習にはデータ活用社会創成プラットフォームmdx（エヌビディアのGPU「A100」96基）を使用し、モデル構築にはマイクロソフト・リサーチが開発したDeepSpeedを利用した。 現時点では開発初期段階であり、モデルの性能を示す評価値は国内で公開された他のモデルと同程度だとしている。NIIは今後、産業技術総合研究所（産総研）や東京工業大学と協力して世界トップ級のLLMの構築を進めるとしており、産総研のAI橋渡しクラウド（ABCI）を利用して1750億パラメーターの大規模言語モデルの構築に着手しているという。1750億パラメーターはオープンAI（OpenAI）のGPT-3に匹敵する規模となる。
このニュースをすぐに読めるように要約しました。ニュースに興味がある場合は、ここで全文を読むことができます。 続きを読む:
日本 最新ニュース, 日本 見出し
Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。
【調査レポート】弁当箱のどんな内容の口コミを参考にする？1位は「密閉性」という結果に！株式会社レビュー株式会社レビュー（https://jafmate.co.jp/）が運営する暮らしに役立つ情報メディア「口コミの森」（ https://jafmate.co.jp/review/ ）は、日本全国の20代以上の方を…
ソース: Pre_Online - 🏆 48. / 63 続きを読む »
NII�A130���p�����[�^��LLM��z�@�R�[�p�X�Ȃǂ�S���J�@�u����̌����Ɏ����邽�߁vNII�́A�p�����[�^��130���̑�K�͌��ꃂ�f���iLLM�j�uLLM-jp-13B�v����J�����B�A�J�f�~�A��Y�ƊE�̌����J���Ɏ����邽�߁A�R�[�p�X��c�[���Ȃǂ�܂߂Ă��ׂăI�[�v���ɂ���B
ソース: topitmedia - 🏆 93. / 51 続きを読む »
産総研、世界トップレベルの生成AIの開発を開始産業技術総合研究所（産総研）は10月17日、同研究所や東京工業大学（東工大）などが主宰する勉強会「LLM-jp」が、世界トップレベルの生成AIの基盤となる大規模言語モデル（LLM）の開発を始めると発表した。
ソース: weeklyascii - 🏆 94. / 51 続きを読む »
世界トップレベルのLLM目指す。産総研が複数大学と構築に着手国立研究開発法人産業技術総合研究所(産総研)は17日、東京工業大学、大学共同利用機関法人 情報・システム研究機構 国立情報学研究所(NII)が主宰するLLM研究開発チーム「LLM-jp」と合同で、生成AIの基盤となる世界トップレベルの大規模言語モデル(LLM)の構築の開発を始めると発表した。第一歩として、LLM-jpが従来国産LLMの10倍の規模という「1,750億個」のパラメータ数を持つLLMの構築に着手するという。
ソース: pc_watch - 🏆 44. / 63 続きを読む »
ＢｏｆＡの７－９月、トレーディング収入と純金利収入が予想上回るバンク・オブ・アメリカ（ＢｏｆＡ）が17日発表した７－９月（第３四半期）決算は、トレーディング収入が少なくとも過去７年で最高となり、純金利収入（ＮＩＩ）もアナリスト予想を上回った。引き続き米利上げと相場変動の恩恵を受けた。
ソース: BloombergJapan - 🏆 4. / 68 続きを読む »
シュワブの７－９月期、純金利収入が24％減－預金は予想ほど減少せず米金融サービス会社チャールズ・シュワブが16日発表した７－９月（第３四半期）決算は、純金利収入（ＮＩＩ）が前年同期比24％減の22億ドル（約3300億円）となった。顧客がより高利回りの商品に現金を移動させたことが背景にある。
ソース: BloombergJapan - 🏆 4. / 68 続きを読む »