「Transformer」後継と期待される「RetNet」活用 PKSHAが日英対応の独自LLMを開発日本MSも協力

📆 2024/03/28 21:33:00
📰 topitmedia

⏱ Reading Time:
35 sec. here
2 min. at publisher
📊 Quality Score:
News: 17%
Publisher: 51%

日本見出しニュース

日本最新ニュース,日本見出し

AIベンチャー・PKSHA Technologyは「RetNet」技術を活用した日英大規模言語モデルを開発したと発表した。RetNetを使用した日英モデルは世界初。同社の上野山勝也代表は「これによって生成AIの活用が一段前に進む」と自信を見せる。

AIベンチャー・PKSHA Technology（東京都文京区）は3月28日、「RetNet」技術を活用した日英大規模言語モデル（LLM）を開発したと発表した。RetNetを使用した日英モデルは世界初で、日本マイクロソフトの技術支援により実現。PKSHA Technologyの上野山勝也代表は「これによって生成AIの活用が一段前に進む」と自信を見せる。

左から、PKSHA Communication、PKSHA Workplaceの佐藤哲也代表、PKSHA Technologyの上野山勝也代表、日本マイクロソフト執行役員常務最高技術責任者の野嵜弘倫さん、PKSHA Technology アルゴリズムエンジニア VPoEの森下賢志さん、PKSHA Technology アルゴリズムリードの稲原宗能さん今回開発したLLMの最大の特徴であるRetNetとは「Retentive Network」の略称で、米Microsoft Researchが開発した技術だ。現在、LLMのアーキテクチャには「Transformer」が使われているのが主流だが、Microsoftは「RetNetはこの後継として期待される」と説明している。

RetNetは、Transformerと比べてより効率的にデータを処理できる。Transformerと比較したとき、GPUのメモリ消費が約3分の1、レイテンシは約15分の1に抑えられ、スループットは最大8倍速いという。このためRetNetを採用したLLMでは、必要なメモリを少なくしながら、長文入力時の応答速度の向上が見込めるとしている。TransformerのLLMでは、入力文字数が増えていくことで文章の出力にかかる時間も比例して増えていく。一方、PKSHA Technologyが今回開発したLLMでは、文字数が増えても出力かかる時間はほぼ一定に。2万文字を入力したときの出力速度を比較すると、速度は約3.3倍上がり、応答時間にすると約70％削減できたとしている。

コメントを書く

このニュースをすぐに読めるように要約しました。ニュースに興味がある場合は、ここで全文を読むことができます。続きを読む:

日本最新ニュース, 日本見出し

Similar News:他のニュースソースから収集した、これに似たニュース記事を読むこともできます。

PLATEAUから生まれる“未来社会のデジタルインフラ”とはどんなものか？国土交通省が推進する、3D都市モデルの整備／活用／オープンデータ化の取組み「Project PLATEAU（プロジェクト・プラトー）」。今回はアクセンチュア編として、スペースデータ、NTTインフラネットの2社をゲストに招き、現実空間と仮想空間が融合していく未来社会の基盤づくりとPLATEAUをめぐる議論が行われた。
ソース: asciijpeditors - 🏆 98. / 51 続きを読む »

日本 最新ニュース, 日本 見出し

日本最新ニュース, 日本見出し