Существуют центральные процессоры (ЦП), графические процессоры (GPU) и даже блоки обработки данных (DPU) – все они сейчас хорошо известны и широко распространены. В частности, графические процессоры приобрели особое значение в последнее время с появлением искусственного интеллекта (ИИ).
Возможно, вы также слышали о тензорных процессорах (TPU), которые созданы Google и доступны только через их облачные сервисы.
Но что такое ТПУ и зачем они вам могут понадобиться?
Короче говоря, это устройства обработки, настроенные для использования с многомерными данными, которые можно найти в операциях обработки ИИ. Но прежде чем мы подробно изложим их характеристики, давайте посмотрим, как они сравниваются с другими типами процессоров.
Процессоры, как мы все, вероятно, знаем, являются основой всех вычислений. Сегодня ядро является ключевым словом, поскольку несколько ядер – другими словами, отдельные процессоры внутри ЦП – выполняют несколько вычислительных функций.
Процессоры на самом деле являются процессорами общего назначения в компьютерном мире. Они обрабатывают входящие инструкции и исходящие сообщения другим частям системы, а также общую оркестровку событий. Это потому, что они могут одновременно обрабатывать множество наборов функций, и у них это хорошо получается.
Но с тех пор, как появились центральные процессоры, возникла необходимость переложить трудоемкие операции на более специализированные чипы.
Какая польза от TPU, когда существуют графические процессоры?
Так появились графические процессоры. Первоначально, как следует из названия, они были созданы для обработки графики в играх, но позже начали находить применение в искусственном интеллекте. Это связано с тем, что обработка графики полностью связана с матричными операциями. Другими словами, в вычислениях, в которых используются матрицы – например, в нескольких измерениях – было обнаружено, что они также подходят для операций ИИ.
Но хотя графические процессоры и могут выполнять матричные операции, они, как мы увидим, не настолько адаптированы для этой задачи, как TPU.
В последнее время Nvidia в некоторой степени стала синонимом рынка графических процессоров для сценариев использования ИИ, но они также доступны и от других поставщиков.
Что делают ДПУ?
Кроме того, существуют DPU, развернутые на серверах для управления передачей данных, сокращения данных, обеспечения безопасности и аналитики. Здесь эти задачи разгружаются с ЦП с помощью DPU, чтобы обеспечить большую специализацию участвующих задач, освобождая ЦП для более общих задач и задач по оркестрации.
DPU доступны от Intel, Nvidia, Marvell и AMD, а также в облаке, например, от Amazon Web Services с ее картами Nitro.
Что особенного в ТПУ?
Впервые TPU были использованы примерно в 2016 году. Это, как уже говорилось выше, тензорные процессоры. Тензор — это форма матрицы или многомерного числа, ключевой элемент обработки ИИ, который присваивает и использует многомерные числа объектам для их обработки.
Независимо от того, используются ли в TPU Google специальные математические тензоры или нет, ключевой особенностью, характеризующей их, является то, что они построены на базе микросхем ASIC, адаптированных для вычислений, включающих многомерные числа. ASIC означает «интегральная схема для конкретного приложения». Это означает, что аппаратное обеспечение разработано специально для конкретных операций. В частности, ASIC в TPU называются устройствами умножения матриц (MXU).
Именно это отличает TPU от CPU, которые являются процессорами общего назначения. DPU и GPU могут быть построены на основе ASIC или программируемых вентильных матриц (FPGA), которые не предназначены для выполнения одной задачи, но могут быть настроены по мере необходимости для широкого спектра применений.
Тензорный ASIC Google в его TPU был разработан для использования с его программной платформой TensorFlow AI с открытым исходным кодом, которая помогает запускать передовые аналитические модели AI, в которых данные группируются с помощью многомерных шаблонов.
TPU доступны от Google и предоставляются как услуга. Последняя версия, TPU v5p, обеспечивает пиковую производительность 459 операций с плавающей запятой в секунду (терафлопс). В настоящее время, помимо TensorFlow, TPU Google поддерживают другие платформы искусственного интеллекта, такие как PyTorch и Jax, с возможностью классификации и генерации изображений, а также с возможностью больших операций с языковыми моделями.
Сказав все это о специализации ТПУ, любой, кто думает о создании собственных систем искусственного интеллекта, все равно не сможет их купить. Графические процессоры справятся с этой задачей так же хорошо, и вопрос о том, есть ли у TPU преимущество в производительности, еще не решен. Просто если вы хотите работать в облаке (Google), TPU будут хорошо сочетаться с доступным там стеком программного обеспечения для искусственного интеллекта.