Ga naar inhoud
Supekkupuru

OrangePi AI Studio Pro: 352 TOPS AI Box

Published on
OrangePi AI Studio Pro: 352 TOPS AI Box

Orange Pi heeft de "OrangePi AI Studio Pro" aangekondigd, uitgerust met twee Ascend 310 processors. Met een AI-rekencapaciteit van 352 TOPS en tot 192GB LPDDR4X is het gepositioneerd als een "AI Box" die via USB4 (Type-C) met een host verbindt. Meer een externe AI-accelerator dan een traditionele SBC.

Orange Pi kondigt de OrangePi AI Studio Pro aan. Productinformatie is te vinden op de officiële Ascend Community-pagina.

Dit apparaat is een AI-box met twee Huawei Ascend 310 processors, goed voor 352 TOPS aan AI-kracht en maximaal 192GB LPDDR4X-geheugen. Het werkt als een "externe AI-accelerator" die via USB4 (Type-C) wordt aangesloten op een host-PC om AI-inferentietaken over te nemen.

In plaats van zelfstandig te werken met sensoren via GPIO of netwerk zoals een SBC, lijkt het bedoeld voor een opstelling waarbij de host het netwerk en de opslag beheert en de AI-verwerking aan deze box overlaat. Een product dat mikt op het segment tussen de Jetson Orin NX (70-100 TOPS) en een datacenter.

Inhoudsopgave

Specificaties

■ OrangePi AI Studio Pro
AI ProcessorAscend 310 x2 (16 CPU cores, 16 AI cores)
AI Prestaties352 TOPS
GeheugenLPDDR4X 96GB / 192GB (Max 4266Mbps)
Lokale OpslagSPI Flash 32MB x2
Hoofd I/OUSB4 (Type-C) x1
VoedingDC 12V, 20A (240W klasse, 5.5x2.5mm jack)
Koeling12V 4-pin ventilatoraansluiting x2
Afmetingen207.7 x 132.6 x 40mm (poten 6mm)
OSUbuntu 22.04.5 (Kernel 5.15.0.126), Windows (gepland)

Twee Ascend 310 processors voor 352 TOPS en maximaal 192GB LPDDR4X in een behuizing met USB4-verbinding. Primaire informatie over netwerk of opslaguitbreiding is niet bevestigd, en de configuratie lijkt beperkt tot één USB4-poort. Het is verstandig om te wachten op meer I/O-details voor aanschaf.

Kenmerken

AI Processor (Ascend 310 x2, 352 TOPS)

Duidelijk is dat er twee Huawei Ascend 310 chips worden gebruikt voor een totaal van 352 TOPS. Er worden 16 CPU-cores en 16 AI-cores vermeld.

Wat is de Ascend 310?: Een door Huawei ontwikkelde AI-accelerator met Da Vinci-architectuur. Waar de Ascend 910 voor de cloud is, richt de 310 zich op edge-inferentie. Gemaakt op een 12nm proces, heeft het normaal gesproken 8/16 TOPS per chip. De "2 chips, 352 TOPS" specificatie suggereert hier een afwijkende interne configuratie.

Vergelijking met Concurrenten

ProductAI (TOPS)GeheugenVerbindingPrijs
OrangePi AI Studio Pro352 TOPSMax 192GBUSB4 (Type-C)Onbekend
NVIDIA Jetson AGX Orin275 TOPS64GBOnboard~$2,000
NVIDIA Jetson Orin NX70-1008-16GBM.2~$400-600
Hailo-826 TOPSHostM.2/USB~$100-150

352 TOPS is veel hoger dan de concurrentie, maar let op de rekenvoorwaarden (INT8/FP16/Sparse). Jetson AGX Orin's 275 TOPS is bijvoorbeeld Sparse INT8.

Toepassingen zijn onder meer OCR, objectdetectie, gezichtsherkenning, en Large Language Models (LLM). Met tot 192GB geheugen is het geschikt voor zware modellen of parallelle verwerking. Modellen worden uitgerold via de Ascend "CANN" software stack.

Geheugen en Opslag

LPDDR4X geheugen van 96GB of 192GB is uitzonderlijk groot voor een edge AI-bord, wat ruimte biedt voor LLM's. Een 70B-model draaien zonder kwantisatie wordt hiermee mogelijk.

Opslag beperkt zich in de specs tot SPI Flash 32MB x2. Of het OS hierop staat of via USB4 vanaf de host draait, is nog onduidelijk.

Voeding en Koeling

Met een 12V/20A (240W) voeding is actieve koeling noodzakelijk. Er zijn twee ventilatoraansluitingen. Het verbruik is fors vergeleken met de ~60W van een Jetson AGX Orin.

Netwerk en Uitbreiding

Behalve RGB-verlichting en ventilatoren worden er geen uitbreidingen zoals Ethernet, Wi-Fi of GPIO genoemd. De USB4-verbinding met de host is de levenslijn; netwerk en opslag worden waarschijnlijk door de host afgehandeld.

Uiterlijk

Een doosvormig apparaat van 207.7 x 132.6 x 40mm, bedoeld voor op een bureau. Het ontwerp oogt simpel en industrieel. Details van de poorten ontbreken nog.

Overig

OS en Boot

Ubuntu 22.04.5 wordt ondersteund, Windows volgt. Installatieprocedures zijn nog onbekend. Voor ontwikkeling is de CANN stack vereist (conversie vanuit PyTorch/TensorFlow).

Beschikbaarheid

Prijs en verkoopkanalen zijn nog niet bevestigd.

Samenvatting

De OrangePi AI Studio Pro is een unieke "AI Box" met enorme rekenkracht (352 TOPS) en geheugen (192GB). Het is puur gericht op het offloaden van AI-taken via USB4.

Ideaal voor wie grote LLM's lokaal wil draaien of parallelle modellen wil versnellen. Ook interessant voor wie het Ascend-ecosysteem wil verkennen. Niet geschikt als standalone SBC met sensoren. Ook het hoge stroomverbruik en de specifieke software-stack zijn punten van overweging.

Wacht op officiële documentatie voor de definitieve specs en procedures.