Meta の次期 Llama AI モデルは、他のものよりも「大きい」GPU クラスターでトレーニングされています

Meta の次期 Llama AI モデルは、他のものよりも「大きい」GPU クラスターでトレーニングされています


Llama 4 を開発するためにこのような膨大なチップを管理するには、特有のエンジニアリング上の課題が発生し、膨大なエネルギーが必要になる可能性があります。メタ幹部らは水曜日、企業によるより強力なAI開発の取り組みを妨げている米国の一部地域におけるエネルギーアクセスの制約に関するアナリストの質問を回避した。

ある推定によると、100,000 個の H100 チップのクラスターには 150 メガワットの電力が必要です。対照的に、米国最大の国立研究所用スーパーコンピューター El Capitan は 30 メガワットの電力を必要とします。メタは今年、データセンターやその他のインフラストラクチャーの整備に最大400億ドルの資本を投じると予想しており、これは2023年から42パーセント以上増加する。同社は来年その支出がさらに急激に増加すると予想している。

メタの総運営費は今年約9%増加した。しかし、全体の売上高(主に広告によるもの)は22%以上急増し、ラマへの取り組みに数十億ドルをつぎ込んでいるにもかかわらず、同社のマージンはさらに拡大し、より大きな利益を得ることができた。

一方、最先端の AI 開発における現在のリーダーとみなされている OpenAI は、開発者にモデルへのアクセス料金を請求しているにもかかわらず、資金を使い果たしています。今のところ非営利ベンチャーのままである同社は、現在ChatGPTを支えているモデルの後継であるGPT-5をトレーニングしていると述べた。 OpenAIはGPT-5が前世代よりも大型になると述べているが、訓練に使用しているコンピュータークラスターについては何も述べていない。 OpenAIはまた、GPT-5にはスケールに加えて、最近開発された推論アプローチなど、他のイノベーションも組み込む予定だと述べた。

CEOのサム・アルトマン氏は、GPT-5は前世代と比べて「大幅な進歩」になると述べた。先週、アルトマン氏は、OpenAIの次期フロンティアモデルが12月までにリリースされるとの報道に対し、Xについて「フェイクニュースは制御不能だ」と書いて反論した。

Googleの最高経営責任者(CEO)サンダー・ピチャイ氏は火曜日、同社の生成AIモデルのGeminiファミリーの最新バージョンが開発中であると述べた。

Meta の AI に対するオープンなアプローチは、時には物議を醸すこともありました。一部の AI 専門家は、大幅に強力な AI モデルを自由に利用できるようにすることは、犯罪者がサイバー攻撃を開始したり、化学兵器や生物兵器の設計を自動化したりするのに役立つ可能性があるため、危険である可能性があると懸念しています。 Llama は不正行為を制限するためにリリース前に微調整されていますが、これらの制限を削除するのは比較的簡単です。

GoogleやOpenAIが独自システムを推進しているにもかかわらず、ザッカーバーグ氏はオープンソース戦略について強気な姿勢を崩さない。同氏は水曜日、「開発者が利用できる選択肢の中で、オープンソースが最も費用対効果が高く、カスタマイズ可能で、信頼性が高く、パフォーマンスが高く、使いやすいものになることは明らかだ」と語った。 「そして、ラマがこの分野で先頭に立っていることを誇りに思います。」

ザッカーバーグ氏は、Llama 4の新機能により、メタサービス全体でより幅広い機能を強化できるはずだと付け加えた。現在、Llama モデルに基づく署名製品は、Facebook、Instagram、WhatsApp、その他のアプリで利用できる Meta AI として知られる ChatGPT に似たチャットボットです。

ザッカーバーグ氏によると、毎月5億人以上がメタAIを利用しているという。 Meta は、時間の経過とともに、この機能内の広告を通じて収益が得られると期待しています。 「人々がそれを利用するクエリの範囲は拡大するだろうし、そこに到達するにつれて収益化の機会も時間の経過とともに存在するだろう」とメタの最高財務責任者スーザン・リー氏は水曜日の電話会議で語った。広告から収益が得られる可能性があるため、Meta は他のすべての人のために Llama に補助金を出すことができるかもしれません。



Source link

Leave a Reply

Your email address will not be published. Required fields are marked *