Nvidia представила новый графический процессор для инференса с длинным контекстом

На саммите по инфраструктуре ИИ во вторник компания Nvidia анонсировала новый графический процессор Rubin CPX, разработанный для работы с контекстными окнами размером более 1 миллиона токенов. Контекстное окно — это объём входных данных, который модель может одновременно учитывать; его увеличение позволяет анализировать более длинные документы и сложные цепочки взаимодействий. Графические процессоры Nvidia широко используются для обучения и инференса больших языковых моделей в дата-центрах по всему миру. В отрасли растёт интерес к длинному контексту: например, Google заявляла, что Gemini 1.5 поддерживает окна контекста до 1 миллиона и даже 2 миллионов токенов.