AI Korea 2019 리뷰

AI Korea 2019 리뷰 (공유용)


1. [산업체 세션2] SKT T-Brain, 김지원(SKT)

현재 SKT T-Brain 부서에서 진행해왔던 그리고 진행하고 있는 프로젝트들에 대해 소개하고 관련 이슈를 제시하는 세션이었습니다. SKT T-Brain 팀은 크게 4가지 이슈로 나뉘어 프로젝트를 진행하고 있습니다.

  1. Meta AI
    ‘AI가 AI를 만든다’ 라는 슬로건을 걸고 딥러닝 모델 학습 자동화 플랫폼 시스템을 구축하는 팀으로, Meta AI 인터페이스, 핵심 알고리즘 개발, 클러스터 인프라 구축 등으로 나뉘어 개발이 이루어지고 있습니다. 이 팀은 주어진 데이터를 학습하는 데 가장 효율적인 Neural Net과 그에 맞는 hyperparameter들을 자동적으로 탐색하여, 전문가나 사용자의 개입을 최소화함과 동시에 가장 적합한 AI 솔루션을 제공함을 주 목적으로 두고 있습니다. 현재 SKT T-brain 팀에서 가장 활발하게 개발되고 있다고 합니다.
  2. Conversational AI
    자연어처리와 관련된 연구개발 팀으로, Question Answering, Dialogue Management 등의 연구를 통해 대화형 인공지능 개발(ex. NUGU) 에 주력하고 있습니다.
  3. Visual AI
    컴퓨터비전과 관련된 연구개발 팀으로, Visual Question Answering, Visual Turing Test, Visual Relationship Detection 연구 등을 주력으로 하며 특히 자율주행 관련 테스크에 주목하고 있다고 합니다.
  4. Music AI
    AI 스피커 ‘네모’를 통해 활용하려 하는 상용화 서비스로서 Singing Voice & Instrument Performance Translation 을 주로 연구하는데, 이 기술은 입력된 음악을 사용자가 원하는 목소리 및 악기 연주 스타일로 자동 변환해주는 기술입니다.

T-Brain 에서 연구하고 있는 주제들 전부 정말 흥미진진 했습니다. 특히, Auto Meta와 같은 자동 모델 구축 및 최적화 알고리즘이 정말 필요한 일 일까 궁금하기도 합니다. NasNet을 강하게 비판했던 논문(Exploring Randomly Wired Neural Networks for Image Recognition)이 기억에 남는데, 여기서 주장하는 이야기가 아예 헛소리는 아니지 않을까…? 라는 생각이 들었습니다. 다른 분들은 어떻게 생각하는지 궁금하고 주제에 대해 이야기를 나누어보고 싶습니다.


2. [패턴인식/기계학습 여름학교 3] 최적화를 위한 반복법, 김동환(KAIST)

딥러닝의 최적화 메서드들에 대한 수학적 접근들을 주로 다루었던 세션입니다.

이 세션을 듣고 말로만 듣던 Convex Optimization(볼록 최적화) 분야가 이런 거구나 알게 되었습니다. 한편으로는 딥러닝 기저에 깔려있는 아이디어들이 모두 이러한 수학적 증명 및 논리로부터 시작되었음을 느낄 수 있었고 생각보다 흥미로운 내용들이 많다는 것을 알게 되었습니다. 항상 당연하게만 생각하던 딥러닝 메서드들에 대해 왜? 라는 반문을 할 수 있었고, 그런 반문에서부터 breakthrough가 일어남을 배울 수도 있었습니다. 이 세션은 개인적으로 가장 인상적인 세션이었습니다. 딥러닝 관련 공부를 하면서 답답한(?) 부분 중 하나가 바로 어떤 결과에 대한 명확한 논증이 어렵다는 점이 아닐까 싶은데요. 학습 과정을 설명하기 위한 시각화나 여러 추측 실험이 있긴 있는 것 같은데, 수학적 증명을 통한 명확한 해석을 찾아보기는 어려웠던 것 같습니다. 이 세션을 통해 볼록 최적화 문제에 대해 한번 공부해보고 싶다는 생각을 하게 되었습니다.

(+) 최적화 공부 시작하기에 좋은 자료


3. [패턴인식/기계학습 여름학교 5] 시계열 데이터와 기계학습 문제를 풀기 위한 신경망 구조, 정준영(Google DeepMind)

시계열 데이터(time-series data) 문제를 풀 수 있는 딥러닝 모델들을 주로 다룬 Introduction 세션입니다. 고전적 솔루션인 Kalman, Hidden Markov model부터 기본 RNN과 Long-term dependency 문제, 그 문제를 해결하기 위해 제안됐었던 LSTM, GRU 등 전체 흐름을 짚어보며 각 모델의 주요 아이디어를 recap 하는 시간이었습니다. 특별한 주제를 다룬 세션은 아니었지만, 최근 많이 들리는 XLNet 에 대해 관심 있었기 때문에 후반부 내용이 흥미로웠습니다. 전반부(RNN ~ Transformer) 내용은 이전에 정리해둔 내용이 있으므로, 세션의 후반부(BERT, XLNet, Transformer XL)를 중심으로 리뷰하겠습니다.

NLP task solution들의 전체적 흐름을 정리하고 동시에 최근 활발히 연구되고 있는 주제들에 대해서 짧게 리뷰한 세션이었습니다. 특히 BERT와 XLNet에 대해 전체적인 개요를 짚어주시고 향후 NLP 연구 방향에 대한 개인적 의견도 들을 수 있어 좋았습니다.