Hon Hai研究所が推論機能を備えた従来の中国語LLMを発表

2025-03-10 20:00

AI研究センターによる最初のバージョンは、数学と推論で優れた性能を発揮しています。

台北、2025年3月11日/PRNewswire/ -- Hon Hai研究所は本日、台湾のAI技術の発展において新たなマイルストーンを打ち立てる、初の繁体字中国語大型言語モデル(LLM)の発表を行いました。このモデルは、より効率的で低コストなモデル訓練方法を用いてわずか4週間で完成しました。

Hon Hai・テクノロジー・グループ(「フォックスコン」)(TWSE:2317)によって支援されているこの研究所は、世界最大の電子機器メーカーであり、主要な技術ソリューションプロバイダーであると述べ、コードネーム「FoxBrain」のLLMは将来的にオープンソース化され、一般に公開される予定であると発表しました。元々、グループの内部システムで使用されるアプリケーション向けに設計されており、データ分析、意思決定支援、ドキュメントコラボレーション、数学、推論と問題解決、コード生成などの機能をカバーしています。

FoxBrainは強力な理解力と推論能力を示すだけでなく、台湾ユーザーの言語スタイルにも最適化されており、数学的および論理的推論テストで優れたパフォーマンスを発揮します。

「最近数ヶ月間、推論能力の深化とGPUの効率的な利用が、AI分野における主流の発展となってきました。私たちのFoxBrainモデルは、計算能力を盲目的に蓄積するのではなく、トレーニングプロセスを最適化することに焦点を当てた非常に効率的なトレーニング戦略を採用しました」と、Hon Hai研究所の人工知能研究センター所長であるリー・ユンフイ博士は述べました。「慎重に設計されたトレーニング方法とリソースの最適化を通じて、強力な推論能力を持つローカルAIモデルを成功裏に構築しました。」

FoxBrainのトレーニングプロセスは、NVIDIA H100 GPUsによって支えられ、NVIDIA Quantum-2 InfiniBandネットワーキングでスケールされ、約4週間で完了しました。最近市場に投入された推論モデルと比較して、より効率的で低コストなモデル訓練方法は、台湾のAI技術の発展に新たなマイルストーンを打ち立てました。

FoxBrainは、70Bパラメータを持つMeta Llama 3.1アーキテクチャに基づいています。TMMLU+テストデータセットのほとんどのカテゴリにおいて、同じスケールのLlama-3-Taiwan-70Bを上回り、特に数学と論理的推論において優れた性能を発揮しています(FoxBrainのTMMLU+ベンチマークについてはFig.1を参照してください)。以下はFoxBrainの技術仕様とトレーニング戦略です。

  • 独自の技術を通じて24のトピックカテゴリのデータ拡張方法と品質評価を確立し、伝統的な中国語の高品質な事前トレーニングデータとして98Bトークンを生成しました。
  • コンテキストウィンドウの長さ: 128Kトークン
  • トレーニングに120台のNVIDIA H100 GPUを使用し、総計2,688 GPU日分の計算コストがかかりました。
  • 高性能と安定性を確保するために、マルチノード並列トレーニングアーキテクチャを採用しました。
  • 独自の適応的推論反射技術を使用して、モデルを自律的推論に訓練しました。

Fig. 1: TMMLU+ benchmark results of FoxBrain, Meta-Llama-3.1-70B and Taiwan-Llama-70B
Fig. 1: TMMLU+ benchmark results of FoxBrain, Meta-Llama-3.1-70B and Taiwan-Llama-70B

テスト結果では、FoxBrainはベースのMeta Llama 3.1モデルと比較して数学において包括的な改善を示しました。台湾Llamaと比較して数学テストで大きな進展を遂げ、現在の最良の伝統的な中国語大規模モデルである台湾Llamaを超え、同じクラスのMetaの現在のモデルを数学的推論能力で上回りました。DeepSeekの蒸留モデルにはまだわずかな差がありますが、その性能はすでに世界のトップレベルに非常に近いです。

FoxBrainの開発は、データ収集、クリーニング、拡張から、継続的事前学習、教師ありファインチューニング、RLAIF、適応推論反映に至るまで、独立した研究を通じて段階的に行われ、限られた計算リソースにもかかわらず、世界クラスのAIモデルに近い利益を達成しました。この大規模言語モデルの研究は、台湾の技術者がAIモデル分野で国際的な競争相手と競えることを示しています。

FoxBrainは当初、グループ内のアプリケーション用に設計されていましたが、今後、グループはテクノロジーパートナーと協力してFoxBrainのアプリケーションを拡大し、オープンソース情報を共有し、製造、サプライチェーン管理、インテリジェントな意思決定におけるAIの普及を促進していく予定です。

モデルのトレーニング中、NVIDIAは台北-1スーパーコンピュータと技術相談を通じてサポートを提供し、Hon Hai Research InstituteがNVIDIA NeMoを使用してモデルの事前トレーニングを成功裏に完了できるようにしました。FoxBrainは、Foxconnの三大プラットフォームのアップグレードを推進する重要なエンジンにもなるでしょう。スマート製造、スマートEV、スマートシティ。

FoxBrainの結果は、NVIDIA GTC 2025セッション「オープンソースからフロンティアAIへ」で初めて主要な会議で共有される予定です。3月20日に「ファウンデーションモデルの構築、カスタマイズ、拡張」。

Hon Hai研究所について

その研究所には5つの研究センターがあります。各センターには平均40名のハイテクR&D専門家がおり、全員が新技術の研究開発、フォックスコンの技術と製品の革新パイプラインの強化、グループの「腕力」から「頭脳」への変革を支援する取り組み、フォックスコンの「3+3」戦略の競争力強化に注力しています。

Foxconnについてはこちらをご覧ください。

  1. 木原官房長官 広島県呉市に整備予定の多機能複合防衛拠点「防衛力抜本的強化において極めて重要な意義」
  2. 「酒を飲んで暴れ出したのをおさえるため殴った」雑誌『egg』元モデル・川端かな子さん殺害で逮捕の42歳同居男「殺すつもりはなかった」とも
  3. 宮城・南三陸町で名産のマダコ水揚げ始まる 「西の明石、東の志津川」濃厚なうまみと歯応えが特徴 漁は来年1月まで
  4. 大阪・枚方の3歳女児“虐待死”子ども家庭センターが7月に市からの通告受理後も一時保護せず 面会や警察への即時共有もなし
  5. 【稲葉浩志】ソロデビュー30周年を迎える来年 ソロとして初となる東京ドーム公演開催「節目の年のチャレンジとして、東京ドーム公演が決まりました」
  6. 「なんでここにクマが」群馬の住宅街で50代男性襲われ顔にけが 捜索続く 近くでは車も親子クマに襲われる被害 小中は保護者送迎
  7. 生成AIなど活用 参議院で「DX活用の国会改革検討PT」初会合 自民が改革項目案提示
  8. NTTドコモ 今月3回目の通信障害に対し、藤井総務大臣「根本原因の究明求める」
  9. 「食事後、色々言われて面白くなくて刺した」東京・中野の路上女性殺害 39歳男コンカフェの客と従業員として約4年前に知り合い計画的犯行か
  10. 「法令違反はなかった」関文科大臣が強調 議員会館で会費9万円 政治資金パーティーに厚労省官僚を招き医薬品企業関係者に制度説明
  1. 群馬・前橋の住宅街でクマ出没 50代男性襲われけが 近くでは車もボンネット被害…小中学校はきょう保護者送迎のみ登下校
  2. 【速報】ロシア機と推定される航空機が一時“領空侵犯” 「全く受け入れられず」小泉防衛大臣 福岡・沖ノ島上空 同様ルートは13年ぶり
  3. 【ISSEI】2026年末でTOBE退所を発表「不器用な僕を救ってくれたのが、HIP HOPでした」「これからも僕の新しい挑戦を見守ってくれたら嬉しいです」
  4. 外で必死に生きていたガリガリの兄妹猫→別々に暮らし始めるも、久しぶりに『再会』して…涙あふれる光景に「本当に良かった」の声
  5. 韓国半導体大手SKハイニックスが世界初の半導体部品実証ラインを来年5月完成へ 総投資70兆円超の巨大工場公開
  6. ナゼ?「白い麻婆豆腐」がじわじわ拡大…“赤にない魅力”で令和の新定番に?【THE TIME,】
  7. イランが放射性物質を拡散する「汚い爆弾」の攻撃を計画か ワシントンでトランプ政権高官を標的に CNN報道 化学兵器の使用も
  8. 友人とLINE通話中、歯磨きをするため『少しだけ放置した』結果→戻った時の『まさかの光景』に2万いいね あまりに尊い画面に思わずほっこり
  9. 【 エビ中 】中山莉子 当面の間、活動を休止へ「心身の体調不良が続いており」出演予定の公演も見合わせ 【 私立恵比寿中学 】
  10. 【 辻希美・長女 】 希空 黄金色に焼き上がった本格手作り塩パンを公開 「家族みんな喜んでくれて嬉しい」 成形前の生地から焼き上がりまで披露
  11. 愛子さま シンガポール公式訪問へ羽田空港を出発 外交関係樹立60周年で招待 21日まで滞在し大統領表敬や博物館視察など予定
  12. ロシア「高市総理とプーチン大統領の会談の可能性排除せず」国営メディア報道