[공부] AutoML 내용 정리

정의

• Auto-WEKA (2013)

• auto-sklearn (2015)

• TPOT (2016)

• AutoKeras (2019)

• Neural Network Intelligence (2019)

• AutoGluon (2020)

AutoML이 기여하는 부분

• 모델을 학습하고 평가할 때 다양한 알고리즘들과 연관된 하이퍼 파라미터들을 실험하고 성능을 비교하여 최상의 성능을 갖는 모델을 찾는 과정을 자동화 하는 문제

• 인공 신경망 기술을 활용함에 있어서 문제에 적합한 architecture를 찾는 과정을 자동화 하는 문제

문제

Combined Algorithm Selection and Hyper-parameter (CASH) optimization

종류

• Conventional optimization: grid search, random search, genetic algorithm, simulated annealing
• 전통적인 방법

• Reinforcement learning: Successive-halving, Hyperband

• Bayesian optimization: Gaussian Processes (GP), Sequential Model-based Algorithm Configuration (SMAC), FLASH: Fast Bayesian Optimization for Data Analytic Pipelines, FABOLAS

• Hybrid: BOHB, Maxtrix Factorization
• BO 프레임워크 내에서 다양한 방법들을 적용하는 중

Neural Architecture Search (NAS)

• search space를 어떻게 정의하고

• 어떤 search 알고리즘을 적용하느냐

NAS 문제를 풀기 위한 주요 방법들:

• Evolutionary algorithm: NEAT, AmeobaNet, Hierarchical NAS, JASQNet

• Reinforcement learning: NAS with RL, NASNet, MnasNet, ENAS

• Relaxation: One-Shot NAS, DARTS, ProxylessNAS

AutoML 작동방식

1. 모델 훈련을 위한 데이터가 제공되며 이는 AutoML 시스템의 입력물이 된다. 데이터는 일반적으로 전처리된 정제된 대용량 데이터셋으로, 모델 훈련에 사용할 준비가 돼있다.

2. AutoML 시스템은 데이터를 전처리하며, 주로 feature 엔지니어링 및 정규화 작업이 포함된다. 이는 데이터를 모델이 학습하는데 더 적합하게 만들어주고 모델의 정확도를 향상시킬 수 있다.

3. AutoML 시스템은 다양한 알고리즘과 하이퍼파라미터를 사용하여 여러 모델을 훈련한다. 이를 통해 시스템은 데이터에 가장 잘 맞는 모델을 찾을 수 있다.

4. AutoML 시스템은 훈련된 모델의 성능을 평가하고 가장 우수한 성능을 보이는 모델을 선택한다. 이 모델은 그 후 AutoML 시스템의 출력물이 된다.

5. 그런 다음 사용자는 훈련된 모델을 사용하여 이전에 보지 못한 데이터를 기반으로 예측하거나 작업할 수 있다. 이는 일반적으로 모델을 웹 서비스로 배포하여 다른 응용 프로그램이나 사용자가 액세스할 수 있도록 만들어 준다.

Output

Input

하이퍼파라미터

실제 종류 및 특징

OSS (Open Source Software)

• 오픈소스 기반의 라이브러리 형태로 제공
• Scikit-learn 기반의 Auto-sklearn, TPOT
• Scikit-learn 기반의 AutoML 라이브러리는 구조화된 데이터에 보다 적합하고 기존 Scikit-learn 의 전처리 방식을 자동화하여 적용 가능
• Keras 기반의 AutoKeras
• Tensorflow 기반의 AdaNet
• Tensorflow, Keras 기반의 라이브러리는 텍스트, 이미지 처리와 같은 딥러닝 모델에 적합하며, 효율적인 신경망 구조 탐색

장점

단점

예시

import autosklearn.classification

clf = autosklearn.classification.AutoSklearnClassifier()
clf.fit(X_train, y_train)
results = clf.predict(X_test)

import autokeras

clf = autokeras.ImageClassifier()
clf.fit(X_train, y_train)
results = clf.predict(X_test)

Cloud Provider Solution

Amazon Lex

• 자연어 이해

• 음성 인식

• 사용자 정의 가능한 대화 흐름

• 다른 AWS 서비스와의 통합

Google Cloud AutoML

• AutoML Vision: 이미지 인식 작업을 위한 머신러닝 모델을 훈련한다. 예를 들어 객체 감지 및 분류와 같은 작업이 포함.

• AutoML Natural Language: 자연어 처리 작업을 위한 머신러닝 모델을 훈련시킨다. 감정 분석 및 개체 인식과 같은 작업이 여기에 포함된다.

• AutoML Tables: 구조화된 데이터를 위한 머신러닝 모델을 훈련시킨다. 데이터베이스나 CSV 파일에서 가져온 테이블 형식의 데이터 등이 여기에 해당한다.

Enterprise solution

• 데이터 준비, 피처 엔지니어링 : 데이터를 카탈로그화, 프로파일링, 전처리 (이미지, 텍스트 데이터 처리 가능)

• 자동 모델 생성, 모델 검증 : 타겟 설정 후 학습 실행하면 수십 개의 모델을 생성, 성능 비교, 정확도와 예측 속도를 기반으로 배포할 모델 추천

• 모델 배포, 모니터링 : 클릭을 통해 모델을 배포, 서비스 상태 및 정확성 모니터링 기능, 모델 해석

H2O AutoML

• AutoML: H2O AutoML에서 제공하는 주요 서비스로, 사용자가 회귀, 분류, 클러스터링을 포함한 다양한 작업에 대한 머신러닝 모델을 훈련할 수 있게 한다.

• Grid Search: H2O AutoML의 기능 중 하나로, 사용자가 주어진 머신러닝 모델에 대한 최적의 하이퍼파라미터 조합을 자동으로 탐색할 수 있게 한다.

• 모델 관리: 사용자가 훈련된 머신러닝 모델을 관리할 수 있게 해주며, 이는 저장, 정리 및 응용 프로그램이나 기타 서비스에서 사용하기 위한 배포를 포함한다.

Reference

• Xbrain, JungKap Park

• https://data-minggeul.tistory.com/12

• https://www.run.ai/guides/automl#:~:text=What Is Automated Machine Learning,model selection%2C and hyperparameter tuning.

• https://www.datarobot.com/