Компания GSI Technology сообщает о 3-секундной задержке до первого токена при мультимодальном выводе LLM на платформе Gemini-II в условиях обработки на границе сети

Результаты тестирований демонстрируют быстрое многомодальное вычисление на периферийных устройствах с улучшенной производительностью до 300% на ватт по сравнению с конкурентными решениями. Эти достижения позволяют значительно снизить энергопотребление, что особенно важно для устройств с ограниченными ресурсами, таких как смартфоны и IoT-устройства. По мере развития технологий в области искусственного интеллекта и машинного обучения, такие улучшения в эффективности являются критически важными для внедрения новых приложений и улучшения пользовательского опыта.

В последнее время растёт интерес к оптимизации алгоритмов машинного обучения для более быстро и энергоэффективного выполнения задач на периферийных устройствах. Это связано с увеличением количества интеллектуальных устройств, которые требуют обработки данных в режиме реального времени.