Hace unas semanas, la empresa Tenstorrent, que fabrica chips, recaudó casi 700 millones de dólares en financiamiento. Ahora, los desarrolladores pueden probar los aceleradores de inteligencia artificial de Tenstorrent en Koyeb. Tenstorrent vende procesadores de IA que utilizan la arquitectura de conjunto de instrucciones RISC-V y ha creado su propia biblioteca de redes neuronales de código abierto, llamada TT-NN, así como un modelo de programación de bajo nivel, TT-Metalium. Esta empresa forma parte de un grupo que busca alternativas a las GPU de Nvidia y a su biblioteca CUDA, compitiendo con otras como Axelera, Etched y Groq.
Koyeb, fundado por exejecutivos de Scaleway, se centra en desarrollar una plataforma de nube sin servidor para desarrolladores que buscan una capa de abstracción en la infraestructura de la nube. Compite con empresas como Fly.io, Railway y Render. Koyeb permite a los desarrolladores desplegar aplicaciones en varias máquinas virtuales utilizando una interfaz de línea de comandos o un simple git push tras integrarse con el repositorio de código. Soporta contenedores Docker y muchos lenguajes populares.
Una de las características principales de Koyeb es que puede escalar automáticamente una aplicación a cientos de servidores si es necesario, y cuando hay menos tráfico, puede reducir la infraestructura del servidor. En los últimos meses, Koyeb se ha enfocado especialmente en aplicaciones de IA. Gracias a su naturaleza sin servidor, puede ofrecer una experiencia de baja latencia para cargas de trabajo de IA. En cuanto al hardware, Koyeb ha implementado las placas PCIe de Tenstorrent en sus centros de datos. Los desarrolladores pueden acceder al SDK de bajo nivel TT-Metalium de Tenstorrent para escribir programas de host y kernel.
En la documentación y paneles de administración de Koyeb, los desarrolladores encontrarán dos nuevos tipos de instancias:
– La instancia TT-N300S tiene 24 GB de memoria GDDR6, 192 MB de SRAM y proporciona hasta 466 TFLOPS en FP8. Se combina con 64 GB de RAM y 4 vCPUs.
– La instancia TT-Loudbox cuenta con cuatro N300S. Los desarrolladores obtienen 96 GB de GDDR6, 768 MB de SRAM y hasta 1,864 TFLOPS en FP8. Tiene 256 GB de RAM y 16 vCPUs.
Con este lanzamiento, Koyeb busca posicionarse como una plataforma de nube independiente del hardware. “Esto nos recuerda el debut de ARM en el mercado de servidores con chips de alto rendimiento”, dijo Yann Leger, cofundador y CEO de Koyeb. “Desde que introdujimos ARM al mercado con Scaleway hace años, ofreciendo servidores completamente personalizados en 2013-2014, tenemos la experiencia de desplegar diversas arquitecturas y operar diferentes hardware”, añadió.
Por su parte, Tenstorrent busca socios para construir un ecosistema de desarrolladores en torno a su modelo de programación de código abierto. Se necesitará un esfuerzo conjunto para ofrecer una alternativa al stack de IA de Nvidia.
