PKSHA、日本マイクロソフト支援のもと新たな大規模言語モデルを開発

株式会社PKSHA Technology（代表取締役：上野山 勝也、以下PKSHA）は、世界で初めて「Retentive Network（RetNet）」を活用した日英大規模言語モデル（Large Language Model、以下LLM）を開発することを、お知らせします。なお、開発は日本マイクロソフト株式会社（本社：東京都港区、以下日本マイクロソフト）の技術支援のもと行われています。PKSHAは「人とソフトウエアの共進化」というビジョンの元、今回のLLM開発を通じ、ビジネスにおける生成AIの実用性を高め、主にコンタクトセンターや社内ヘルプデスクにおける生産性向上を支援してまいります。2024年4月以降、段階的にビジネス現場での実運用を開始する予定です。...

既に公開されているLLMは、基盤となるアーキテクチャに「Transformer」を使用しているケースが主流ですが、本モデルは、その後継といわれるRetNetを使用する世界初の日英モデルです。RetNetは、マイクロソフトの研究開発機関であるMicrosoft Researchによって開発され、学習速度、長文入力時の推論速度やメモリ効率が優れている上に、従来と同等以上の精度を持つことが示されています。メモリ効率に優れるということは、従来モデルよりも少ないGPUで運用することが出来、コスト面でも優れていると言えます。このアーキテクチャを使用することで効率的な長文理解と優れた回答速度を両立する日英対応のLLMを実現します。

モデルのパラメータ数としては、コンタクトセンター等における実装を視野に、出力精度と運用コストのバランスに優れた70億パラメータを採用しました。このモデルを活用することで、例えば日本語の新聞紙2ページの情報量を入力した際に、精度を保ちながら従来モデルの約3.

日本 最新ニュース, 日本 見出し

Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。

WordPress ストアロケータープラグイン DocoDoco Store Locator をリリースWordPress ストアロケータープラグイン DocoDoco Store Locator をリリース 株式会社Geolocation Technologyのプレスリリース
ソース: PRTIMES_TECH - 🏆 113. / 51 続きを読む »

Payment Technology、「給与デジタル払い」の社会実装に向け、労働経済学の専門ゼミ 日本大学経済学部 安藤ゼミと共同研究を開始Payment Technology、「給与デジタル払い」の社会実装に向け、労働経済学の専門ゼミ 日本大学経済学部 安藤ゼミと共同研究を開始 Payment Technologyのプレスリリース
ソース: PRTIMES_JP - 🏆 114. / 51 続きを読む »

「B2Bアクセス企業解析レポート」ChatGPTを活用したAI分析機能リリースのお知らせ「B2Bアクセス企業解析レポート」ChatGPTを活用したAI分析機能リリースのお知らせ 株式会社Geolocation Technologyのプレスリリース
ソース: PRTIMES_TECH - 🏆 113. / 51 続きを読む »

「てくてくスタンプアプリ」リリースのお知らせ「てくてくスタンプアプリ」リリースのお知らせ 株式会社Geolocation Technologyのプレスリリース
ソース: PRTIMES_TECH - 🏆 113. / 51 続きを読む »

【iPhone15を購入した111名に聞いた！】9割以上がiPhone15の「保証」に加入、7割超が保証に月1000円以上かけていることが明らかに！【iPhone15を購入した111名に聞いた！】9割以上がiPhone15の「保証」に加入、7割超が保証に月1000円以上かけていることが明らかに！ 株式会社Warranty technologyのプレスリリース
ソース: PRTIMES_TECH - 🏆 113. / 51 続きを読む »

＜デジタル給与払いに関する解説ウェビナーのお知らせ＞『人事労務担当者向け【デジタル給与払い】あなたのギモンにお答えします！』＜デジタル給与払いに関する解説ウェビナーのお知らせ＞『人事労務担当者向け【デジタル給与払い】あなたのギモンにお答えします！』 Payment Technologyのプレスリリース
ソース: PRTIMES_TECH - 🏆 113. / 51 続きを読む »