タグ:

AWSはNVIDIA Inference Xfer Library（NIXL）とElastic Fabric Adapter（EFA）の統合サポートを発表しました。この統合により、Amazon EC2上で分散型の大規模言語モデル推論を高速化できます。KVキャッシュのスループット向上、トークン間遅延の削減、メモリ利用の最適化が実現され、追加費用なく利用可能です。

Amazon BedrocがNVIDIA Nemotron 3 Superを新たにサポートし、複雑なマルチエージェント応用向けのMoEモデルが利用可能になりました。このモデルはエージェント向けワークロード向けに設計され、長期のマルチステップタスクでコンテキストを失わずに高速かつ低コストな推論を実現します。インフラ構築不要で、フルマネージドAPIを通じて簡単に既存ワークフローに統合でき、OpenAI API仕様との互換性により本番環境への迅速なデプロイが可能です。

Amazon OpenSearch Service で OpenSearch 3.5 がサポートされ、エージェントAI機能の大幅な改善が実現されました。会話メモリとコンテキスト管理により、マルチターン会話での一貫性のある応答が可能になり、LLMへのトークンコスト削減も実現します。ノーコードエージェントインターフェースとLLMを活用した検索品質評価により、コードを書かずに高度なAIアプリケーションを構築・最適化できます。