-
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits(https://arxiv.org/pdf/2402.17764.pdf)」だ。
彼らが発表したグラフを引用しよう。
画像
この表によると、BitNetはLlamaよりも3倍高速でしかも高精度ということになる。
この圧倒的なスピードの秘密は、BitNetが文字通り「1ビットで処理している」からだ。通常、LLMをふくむディープラーニングされたニューラルネットは巨大な行列の積和演算(掛け算と足し算)を必要とする。
推論時も学習時もそうだ。しかし、1ビット、つまり、行列の中身が0か1しかないのであれば、全ての計算を加算演算のみにできる。
加算と乗算では計算速度も負荷も段違いに異なるため、これだけのスピードの差が出ている。また、当然ながらメモリ効率も高い。このため、この論文では「積和演算に最適化されたGPUではなく、加算処理のみに特化した新しいハードウェアの出現」までもが予言されている。
今現在、世界各国が血眼になってGPUを確保し、囲い込んでいることを考えると、実に痛快な論文だ。
詳細はソース 2024/2/28
https://news.goo.ne.jp/article/wirelesswire/business/wirelesswire-20240286094.htmlMicrosoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。[2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
https://arxiv.org/abs/2402.17764従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。
今回の手法を利用することで行列演算に必要なかけ算の量を大幅に削減できるため、論文では「1bitの大規模言語モデル用の新たなハードウェア設計への扉を開く」と述べられています。
詳細はソース 2024/2/29
https://gigazine.net/news/20240229-microsoft-1bit-llm/ -
写真は絶対駄目やから
-
何の話してんのか全然わからん
-
ふむふむなるほど全くわからん
-
なるほどーふーむ
-
超簡単なRISCプロセッサー？
-
1ビットなのに3つの値が分からん
-
>>7
1.58ビットと書いてあるじゃん -
スマホの操作減らせ
はい/いいえ
ログイン
とかとにかく操作が多い -
天才っているんだなぁ
-
想定より早く進むウ●コマン化に
↓ -
ＮＶＩＤＩＡ終了のお知らせ
-
メモリ使用効率良すぎだろ
ブレイクスルーレベルだはこんなの -
大谷さん結婚だって
-
>>18
結婚したのか
俺以外の男と🥺 -
衆院神奈川3区から立候補している幸福実現党公認のいき愛子陣営の運動員を棒でた
亀岡容疑者は、いき氏の演説中に、「ふざけるな!」と叫び、長さ約50センチの棒で殴りかかろうとした。これを止めに入った運動員の(たとい時、創価学会男子にいるを示す「創価班」の3/4) AAS
公明党は「創価部」の意見を無視で中心メン
バーである北岡伸一座長代理に来てもらって、くわしく聞きたとちなみに日野は創価
聖教新聞でインタビュー受けてたし、福岡で地区部長やってる6創価というと、スクエニのCGデザイナー後藤宣広もそうだな -
1butじゃ
あ
すら書けんだろ -
んで実用レベルに達するのはいつ
-
よく分からんけどすごいな
-
つまり人類は滅亡するって事だな！
-
マイニングマチコ先生
-
つまり俺のち●こを上げたり下げたりするだけで高速な処理が出来るの？
-
中国のチームというのがなんとも…
スパイウェア入ってそう -
ガンダムで
-
全く理解不能
-
NVDA暴落きちゃうの？
-
>>32
既にナイアガラ状態だよ -
>>34
700ドル割ってから起こして -
中国だから詐欺の確率9割だな
-
とりあえずグラボの値段は下がるのか？
あとnVidiaの株は？下がったら買い？ -
エヌビ死亡かよ、半導体銘柄も死亡で日経終わるじゃん
-
値が0と1で示すって2ビットじゃないの
-
GPUが不要になる
-
まじかよ！
ちょっとコンビニでLLM買ってくる！ -
昔1ビットオーディオっての売ってた会社があったな
-
赤いGPU
-
asicかよ
-
マズいわ
逃げるか？ -
なんて技術だよ
1ビットLLMが商品化されたなら、CRJやSunCrownが完成しているってことじゃない
これからは９Seven^tenの時代が来るんだな -
何を行っているのかわからない
-
ソフトとハードの
バランスブレイカーきたねこれ -
中国ねぇ…
-
これからはわざわざGPU用意しなくてもじゃなくてCPUだけで計算できるようになるよ
コスパもスピードもめっちゃあがるよ
って論文 -
あーこれね
理屈上はうまく行きそうだけど
やってみるとそうは行かないんだよね -
期待して開いたらチャイナチームって見てガッカリだよ
これまでチャイナが発表した先進技術で実売まで漕ぎ着けた物
一つでもあるのだろうか？ -
＞「-1」「0」「1」の3つの値
1ビットじゃねーじゃん
おまけに1/4無駄っぽい -
何言ってるか分からない人が多いと思うから説明しとくよ
論理というのは詰まるところ足し算なんだよたとえば
1+1=2
ほらね？
世界各国が血眼になってGPUを確保する中、とてつもないLLMがリリース、1ビットLLM 全ての推論を加算のみ GPU不要になる可能性も
コメント