I like Machine Learning / Deep Learning.

2 minute read

ONNX(Open Neural Network Exchange)



0. Introduction




ONNX(Open Neural Network Exchange)는 Facebook과 Microsoft가 공동으로 개발한 Open Source Project입니다.

현재, 다양한 Deep Learning Framework가 존재하고 있으며, 각 Framework는 각기 다양한 형식으로 훈련된 Model File Format을 사용하며, 서로 호환되지 않습니니다.

내가 구현하려는 서비스에 적합한 Pre-Trained Model이 하필 내가 사용하지 않는 Framework으로 Train되었다던지,

적용할 시스템에서 해당 Pre-Trained Model을 사용하지 못하는 환경이라면 난감하기 그지 없겠지요.

이런 상황에서 빛을 발하는 것이 바로 ONNX입니다.

ONNX는 다양한 Deep Learning Framework에서 Train된 Model들을 일관성을 보장하며 서로 호환가능한 Model File Format으로 변환시켜 줍니다.

또한, Python, C++, C# 및 Java와 같은 여러 Programming Language를 지원하고 있습니다.




1. Model Conversion


ONNX의 핵심은 Computational Graphs를 보편적인 방법으로 표현하는 것입니다.

Data Graph라고도 불리는 이 Graph는 각 Model의 구성 요소 또는 Node와 이들 사이를 연결하는 Edge를 정의하고 있습니다.

현재 Neural Network 방식을 사용하는 Deep Learning Framework은 Data Graph 방식을 사용하여 Model을 표현하며,

각 Deep Learning Framework은 개발자가 Data Graph를 구성할 수 있고, 처리할 수 있는 방식을 제공합니다.

ONNX는 Data Graph의 Common Representation을 제공함으로써 개발자가 작업에 적합한 Framework를 선택할 수 있도록 합니다.




2. Examples of Model Conversion


  • ONNX는 현재 많이 사용되고 있는 Deep Learning Framework 대부분을 지원하고 있습니다.

  • 아래 Link에서 ONNX File Format Conversion에 대한 자세한 자료가 있습니다.

    • https://github.com/onnx/tutorials



2.1 Conversion to ONNX


  • 각 Framework의 Model File을 ONNX File Format으로 변환하는 방법은 아래 표에서 확인할 수 있습니다.


Framework / Tool Installation Tutorial  
Caffe apple/coremltools and onnx/onnxmltools Example  
Caffe2 part of caffe2 package Example  
Chainer chainer/onnx-chainer Example  
Cognitive Toolkit (CNTK) built-in Example  
CoreML (Apple) onnx/onnxmltools Example  
Keras onnx/tensorflow-onnx Example n/a
LibSVM onnx/onnxmltools Example n/a
LightGBM onnx/onnxmltools Example n/a
MATLAB Deep Learning Toolbox Example  
ML.NET built-in Example  
MXNet (Apache) part of mxnet package docs github Example  
PyTorch part of pytorch package Example1, Example2, export for Windows ML, Extending support  
SciKit-Learn onnx/sklearn-onnx Example n/a
SINGA (Apache) - Github (experimental) built-in Example  
TensorFlow onnx/tensorflow-onnx Examples  



2.2 Load from ONNX File


  • ONNX File로 되어 있는 Model을 각 Framework에서 읽어서 사용하는 방법은 아래 표에서 확인할 수 있습니다.


Framework / Tool Installation Tutorial
Caffe2 Caffe2 Example
Cognitive Toolkit (CNTK) built-in Example
CoreML (Apple) onnx/onnx-coreml Example
MATLAB Deep Learning Toolbox Converter Documentation and Examples
Menoh Github Packages or from Nuget Example
ML.NET Microsoft.ML Nuget Package Example
MXNet (Apache) - Github MXNet API
Example
ONNX Runtime See onnxruntime.ai Documentation
SINGA (Apache) - Github [experimental] built-in Example
Tensorflow onnx-tensorflow Example
TensorRT onnx-tensorrt Example
Windows ML Pre-installed on Windows 10 API
Tutorials - C++ Desktop App, C# UWP App
Examples
Vespa.ai Vespa Getting Started Guide Real Time ONNX Inference
Distributed Real Time ONNX Inference for Search and Passage Ranking




3. Usage Scenario


  • 아래 Link에서 ONNX를 사용하는 다양한 Usage를 보여주고 있습니다.
    • https://github.com/onnx/tutorials#end-to-end-tutorials


  • 제 생각에는 ONNX를 사용해서 얻을 수 있는 가장 큰 이점은 바로 ONNX Runtime을 사용하는 것이 아닌가 하는데요, 이에 관해서는 다른 Post로 좀 더 알아보도록 하겠습니다.

  • 이번 Post에서는 ONNX에 대해서 간단하게 알아보았습니다.
  • ONNX의 가장 큰 장점은 Framework간 Model File의 자유로운 변환이며, 다음으로는 ONNX Runtime을 사용할 수 있다는 것이 아닐까 합니다.
  • 글 읽어 주셔서 감사하고, 조금이나마 도움이 되었기를 바랍니다.


You May Also Enjoy