IBM представила llm-d 1.0 для корпоративного ИИ-инференса

International Business Machines (NYSE: IBM) совместно с партнерами Red Hat, Google Cloud, CoreWeave и NVIDIA представила платформу llm-d 1.0 с открытым исходным кодом для инференса — выполнения обученных моделей ИИ. Проект находится под управлением Cloud Native Computing Foundation, что указывает на его соответствие общим облачным стандартам для использования ИИ в производственной среде. Платформа предназначена для масштабируемого инференса больших языковых моделей с акцентом на затраты в корпоративных средах различных отраслей.