Alibaba MNN

알리바바 MNN(Mobile Neural Network)은 알리바바 그룹에서 개발한 오픈소스 경량화 딥러닝 추론(Inference) 및 학습(Training) 프레임워크이다. 해당 프레임워크는 리소스가 제한된 모바일 기기 및 임베디드 시스템에서 고성능 연산을 수행하도록 설계되었다.

주요 특징은 다음과 같다.

  1. 다중 프레임워크 지원 (범용성): 자체 제공되는 MNN 컨버터를 통해 TensorFlow, PyTorch, ONNX, Caffe 등으로 학습된 모델을 MNN 전용 그래프 포맷으로 변환하여 실행한다.
  2. 높은 이식성: 서드파티 라이브러리에 대한 의존성이 거의 없다. Android, iOS와 같은 모바일 운영체제는 물론 Windows, macOS, Linux 환경에서도 독립적으로 구동된다.
  3. 하드웨어 최적화 및 가속: ARM 및 x86 CPU 아키텍처에 대한 어셈블리 레벨의 최적화가 적용되어 있다. 또한 Metal, OpenCL, Vulkan 등을 활용한 GPU 가속과 하드웨어 NPU 백엔드를 지원하여 연산 지연 시간(Latency)을 최소화한다.

모바일 환경을 표적으로 하는 다른 주요 서구권 프레임워크와의 비교 데이터는 다음과 같다.

특징Alibaba MNNTensorFlow LitePyTorch Mobile
개발(주도) 기업AlibabaGoogleMeta (Facebook)
기본 모델 포맷자체 포맷 (.mnn)자체 포맷 (.tflite)자체 포맷 (.ptl)
호환성TF, PyTorch, ONNX, Caffe 모델 변환 지원주요 TensorFlow 모델 위주 변환 지원PyTorch 생태계에 종속됨
운영체제 지원Android, iOS, Linux, Windows, macOSAndroid, iOS, Linux, MicrocontrollersAndroid, iOS, Linux
하드웨어 가속 APIOpenCL, Vulkan, Metal, NPUNNAPI, CoreML, Metal, HexagonVulkan, NNAPI, CoreML, Metal

출처 데이터:

  1. Jiang, J., et al. “MNN: A Universal and Efficient Inference Engine.” arXiv preprint arXiv:2002.12418, Cornell University. (https://arxiv.org/abs/2002.12418)
  2. InfoQ. “Alibaba Open Sources Mobile Neural Network.” (https://www.infoq.com)
  3. Alibaba MNN Official GitHub Repository. (https://github.com/alibaba/MNN)

Entities