世界各国が血眼になってGPUを確保する中、とてつもないLLMがリリース、1ビットLLM 全ての推論を加算のみ GPU不要になる可能性も | watch@2ちゃんねる
最新記事(外部)
お勧め記事(外部)

世界各国が血眼になってGPUを確保する中、とてつもないLLMがリリース、1ビットLLM 全ての推論を加算のみ GPU不要になる可能性も

スポンサーリンク

1 :2024/02/29(木) 16:34:34.47 ID:/Cz/NJMF9.net

Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits(https://arxiv.org/pdf/2402.17764.pdf)
」だ。
彼らが発表したグラフを引用しよう。
画像

この表によると、BitNetはLlamaよりも3倍高速でしかも高精度ということになる。
この圧倒的なスピードの秘密は、BitNetが文字通り「1ビットで処理している」からだ。

通常、LLMをふくむディープラーニングされたニューラルネットは巨大な行列の積和演算(掛け算と足し算)を必要とする。
推論時も学習時もそうだ。

しかし、1ビット、つまり、行列の中身が0か1しかないのであれば、全ての計算を加算演算のみにできる。
加算と乗算では計算速度も負荷も段違いに異なるため、これだけのスピードの差が出ている。また、当然ながらメモリ効率も高い。

このため、この論文では「積和演算に最適化されたGPUではなく、加算処理のみに特化した新しいハードウェアの出現」までもが予言されている。
今現在、世界各国が血眼になってGPUを確保し、囲い込んでいることを考えると、実に痛快な論文だ。
詳細はソース 2024/2/28
https://news.goo.ne.jp/article/wirelesswire/business/wirelesswire-20240286094.html

Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。

[2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
https://arxiv.org/abs/2402.17764

従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。

今回の手法を利用することで行列演算に必要なかけ算の量を大幅に削減できるため、論文では「1bitの大規模言語モデル用の新たなハードウェア設計への扉を開く」と述べられています。

詳細はソース 2024/2/29
https://gigazine.net/news/20240229-microsoft-1bit-llm/

 



3 :2024/02/29(木) 16:35:47.29 ID:fbqN50KT0.net
何の話してんのか全然わからん

 
4 :2024/02/29(木) 16:37:28.33 ID:uWp7j9nh0.net
ふむふむなるほど全くわからん

 
5 :2024/02/29(木) 16:38:10.67 ID:QqzsS9+y0.net
なるほどーふーむ

 
6 :2024/02/29(木) 16:38:21.04 ID:o4HXO5Vb0.net
超簡単なRISCプロセッサー?

 
7 :2024/02/29(木) 16:38:31.35 ID:r0KBiFNw0.net
1ビットなのに3つの値が分からん

 

27 :2024/02/29(木) 16:43:38.75 ID:/RYO2aKb0.net
>>7

1.58ビットと書いてあるじゃん

  

365 :2024/02/29(木) 18:27:51.31 ID:CJ4LhImc0.net
>>27

どの道わからんなそれ
なんなんだその半端は

  

424 :2024/02/29(木) 18:45:15.59 ID:/RYO2aKb0.net
>>365

情報理論を勉強すれば分かるようになるよ

  

577 :2024/02/29(木) 19:28:15.34 ID:s/isLZ820.net
>>27

1.58BのBはBillion=10億だよ
BitのBじゃないよ

  
8 :2024/02/29(木) 16:40:01.88 ID:D1nzz2mw0.net
スマホの操作減らせ
はい/いいえ
ログイン
とかとにかく操作が多い

 
11 :2024/02/29(木) 16:40:10.59 ID:2lku4xnd0.net
天才っているんだなぁ

 
15 :2024/02/29(木) 16:40:27.93 ID:xAl/EghQ0.net
NVIDIA終了のお知らせ

 
17 :2024/02/29(木) 16:40:35.25 ID:Ujt5AlD60.net
メモリ使用効率良すぎだろ
ブレイクスルーレベルだはこんなの

 
21 :2024/02/29(木) 16:41:05.55 ID:WVEIhqDx0.net
んで実用レベルに達するのはいつ

 
22 :2024/02/29(木) 16:41:10.55 ID:SgsmzYaV0.net
よく分からんけどすごいな

 
23 :2024/02/29(木) 16:42:05.96 ID:UA/pLDLs0.net
つまり人類は滅亡するって事だな!

 
24 :2024/02/29(木) 16:42:15.22 ID:FkFgDKi50.net
マイニングマチコ先生

 
25 :2024/02/29(木) 16:42:41.69 ID:Qwf92oqV0.net
つまり俺のちんこを上げたり下げたりするだけで高速な処理が出来るの?

 

298 :2024/02/29(木) 18:08:28.52 ID:QW0+Wmfv0.net
>>25

1秒間に100万回上げ下げしてもげてしまえ

  
26 :2024/02/29(木) 16:43:20.19 ID:ovSCEAY30.net
中国のチームというのがなんとも…
スパイウェア入ってそう

 
31 :2024/02/29(木) 16:45:32.46 ID:YMsuL2FO0.net
全く理解不能

 

コメント

  1. 匿名 より:

    クソ釣り記事かと思ったら、案外ありえそうなアプローチ
    とは言え表現力的に、頭が悪くなりがちな気はするが

  2. 匿名 より:

    中国だから全く信用できないのがな

  3. 匿名 より:

    なにがなにやらさっぱりワカラン

タイトルとURLをコピーしました