超大規模言語モデルを動かすための基盤構築
Cloudflareのインフラ上で高速に大規模言語モデル（LLM）を動かすために、独自の技術スタックを構築しました。本記事では、高性能なAI推論を誰でも利用できるようにするために必要な、設計上のトレードオフや技術的な最適化について解説します。
Vlad Krasnov
当社がCloudflareのネットワーク向けに最も効率的な推論エンジンを構築した方法
Infireは、リソース使用率を最大化するためにさまざまなテクニックを採用したLLM推論エンジンで、Cloudflareのワークロードにおいて優れたパフォーマンスで、より効率的にAIモデルを提供できるようにします。
