newsify

Neural Magic

Neural Magic インフォグラフィック

1. サービス概要

Neural Magicは、高価なGPUを使用せず、汎用的なCPU上でディープラーニングモデルを高速に実行するための「エッジAIオプティマイザー」および推論エンジンを提供しています。

  • 主な機能:
  • モデルのスパース化（Sparsification）: 独自の剪定（Pruning）および量子化技術を用いて、モデルの精度を維持しながらパラメータを削減し、計算負荷を大幅に低減。
  • DeepSparse: CPUに最適化された推論ランタイム。モデルをキャッシュメモリに収まるように処理を最適化し、GPUクラスのパフォーマンスを実現。
  • SparseML / SparseZoo: オープンソースの最適化ライブラリ、および事前学習・最適化済みのモデルリポジトリ。
  • vLLM への貢献: 大規模言語モデル（LLM）の高速推論のためのオープンソースプロジェクト「vLLM」の主要なコントリビューターとして、LLMの圧縮・最適化を主導。
  • ユーザー数: 具体的なユーザー数は非公開ですが、2023年時点でSparseZooからのモデルダウンロード数は累計100万回を超えており、オープンソースコミュニティ（Slack等）のメンバーは1,400名以上とされています。
  • 対応プラットフォーム: * Intel、AMD製などの汎用CPU（x86、ARMなど）。
  • 主要クラウド（AWS、Azure、GCP、DigitalOcean）、Akamai等の分散型エッジプラットフォーム。
  • Red Hat OpenShift AI を含むハイブリッドクラウド環境。

2. 使用している技術スタック

Neural Magicの技術は、MITの研究成果に基づいた独自のアルゴリズムに支えられています。

  • 推論エンジン: DeepSparse（CPU上でテンソル演算を効率化するためのカスタムカーネルを搭載）。
  • 最適化技術: * 非構造化スパース化（Unstructured Sparsity）: CPUのキャッシュ効率を最大限に高める独自の手法。
  • SparseGPT / SquareHead: 高度な剪定と知識蒸留（Distillation）を組み合わせたLLM最適化アルゴリズム。
  • 言語・フレームワーク: Python, C++, PyTorch, TensorFlow, ONNX（標準フォーマットとして使用）。
  • 主要ライブラリ: vLLM, LLM Compressor, SparseML。
  • インフラ: Linuxベース、Red Hat Enterprise Linux (RHEL)、OpenShift。

3. 会社概要

  • 運営会社名: Neural Magic, Inc.（2024年11月にRed Hat, Inc.により買収が発表され、現在はRed Hat傘下）。
  • 設立年: 2018年（一部のソースでは2017年とされる）。
  • 本社所在地: 米国マサチューセッツ州サマービル（55 Davis Square, Suite 3, Somerville, MA 02144）。
  • 従業員数: 約20名〜50名程度（2024年〜2026年の各調査データによる）。

4. 沿革、資本構成、国籍、役員情報

  • 沿革: * 2018年: MIT CSAILの研究者らによりスピンアウトして設立。
  • 2019年: シードラウンドで500万ドルを調達。
  • 2021年: シリーズAで3,000万ドル（累計5,000万ドル）を調達。元Red Hat CTOのBrian Stevens氏をCEOに招聘。
  • 2024年3月: Akamaiとの戦略的パートナーシップを発表。
  • 2024年11月: Red Hatによる買収契約を締結（2025年1月に完了）。
  • 資本構成: * Red Hatによる完全買収により、現在はIBM（Red Hatの親会社）の資本下にある。
  • 過去の主要投資家: Andreessen Horowitz (a16z), New Enterprise Associates (NEA), Pillar VC, Comcast Ventures, Verizon Ventures, VMware等。
  • 国籍: 米国。
  • 役員情報（キャリア・国籍）: * Nir Shavit（共同創業者）: MIT教授。計算機科学の権威。イスラエル・米国籍。
  • Alexander Matveev（共同創業者）: MITの研究科学者。分散コンピューティングの専門家。
  • Brian Stevens（CEO）: 元Red Hat最高技術責任者(CTO)および元Google Cloud副社長。オープンソース戦略の第一人者。米国籍。
  • Dan Alistarh（主要メンバー）: ISTA（オーストリア科学技術研究所）教授。機械学習の研究リード。ルーマニア籍。
エッジAIオプティマイザー に戻る