온디바이스 AI는 AI 연산을 클라우드 서버로 보내지 않고 스마트폰·PC 등 기기 자체에서 처리하는 방식입니다. 응답 속도가 빠르고 인터넷 연결 없이도 동작하며 개인정보가 기기 밖으로 나가지 않는다는 장점이 있지만, 기기에 탑재된 메모리·NPU 성능의 한계 때문에 클라우드 AI보다 다룰 수 있는 모델 크기가 작습니다. 애플의 'Apple Intelligence', 퀄컴·Arm 기반 NPU를 탑재한 스마트폰 AP(애플리케이션 프로세서) 경쟁이 대표적인 사례입니다.