TorchTPU, yapay zekâ uygulamalarının Google'ın kendi yapay zekâ çipleri olan Tensor Processing Unit'lerde (TPU) çalışmasını sağlıyor.
Mevcut PyTorch uygulamaları, kodun yeniden yazılmasına gerek kalmadan basit bir yapılandırma değişikliğiyle TPU'lara ve dolayısıyla Google Cloud'a taşınabiliyor.
Amazon ise bir gün önce benzer bir ürün olan TorchNeuron'u yayımlamıştı; bu ürün yapay zekâ uygulamalarını Amazon'un Trainium çipine ve AWS'ye taşıyor.
Yapay zekâ uygulamalarının çoğu varsayılan olarak Nvidia'nın GPU'larında çalışacak şekilde yazılıyor.
Geliştiricilerin ve girişimlerin yapay zekâ modellerini oluşturmak, eğitmek ve çalıştırmak için kullandığı PyTorch da bu GPU'lar dikkate alınarak şekillendi.
Meta, PyTorch'u 2016'da, Nvidia GPU'ları yapay zekâ araştırmalarında zaten standart donanım olduğu dönemde geliştirdi; bu nedenle birçok özelliği özellikle bu GPU'lar için tasarlandı.
Meta, projeyi 2022'de büyük açık kaynaklı projeleri yöneten kâr amacı gütmeyen kuruluş Linux Foundation'a devretti.
Çip ve bulut değiştirmeyi kolaylaştırmak, geliştiricileri Nvidia'ya bağlı tutan bir engeli azaltıyor; ancak bu, geliştiricilerin toplu halde Nvidia'dan ayrılacağı anlamına gelmiyor.
Amazon ayrıca ana PyTorch projesine, çeşitli özellikleri Nvidia'nın çiplerinden ayıran kod gönderiyor; böylece araç seti varsayılan olarak her donanımla çalışabilecek. Google ise başka yollarla daha da ileri gidebileceğini belirtiyor: TorchTPU'nun popüler yapay zekâ geliştirme araçlarıyla iyi çalışması için Meta, Hugging Face, Inferact (vLLM'in geliştiricisi), RadixArk (SGLang'in geliştiricisi) ve diğer kuruluşlarla doğrudan çalıştı. Google ayrıca geliştiricilerin uygulamalarını çiplerine ve bulutuna taşımasına ve bu sırada hataları gidermesine yardımcı olacak bir TPU ajan paketi sundu. Telefonlarda, dizüstü bilgisayarlarda ve gömülü cihazlarda yapay zekâ çalıştırmaya yarayan aracı LiteRT'yi de PyTorch uygulamalarıyla daha iyi çalışacak şekilde güncelledi.