딥 러닝 (Deep Learning) , 한번 살펴보고 가실께요.

오랜만에 포스팅입니다.

오늘 포스팅할 내용은 딥러닝에 대한 최근 트랜드를 한번 정리해서 공유하고자 합니다. 사실 저는 플랫폼이나 인프라에 더 관심을 가지고 있고 기계학습에 대해서는 아주 깊이 알고 있지는 못합니다. 그렇다고 전혀 모르는 것도 아니지만 ^^.  아무튼 최근 딥러닝에 대한 관심과 돌아가는 형국이 그냥 지나칠 상황은 아닌 것 같아서 조사한 내용을 모처럼 공유하고자 합니다.

아시다시피 그간 빅데이터쪽 시장은 머신러닝쪽 보다는 기업시장에서의 분석 플랫폼과 기존 데이터 웨어하우스 나 데이터마트를 대체하거나 통합솔루션을 만드는  쪽에 좀더 집중을 하고 있는 듯 합니다. 아무래도 기존 솔루션 시장을 유지하면서 진화하기에는 이런 방향이 크게 틀리지도 않고 돈을 쓸 곳도 당장은 기업들이기 때문에 이것에 맞추어서 진화하는 것이 맞겠죠. 클라우데라에 대한 엄청난 투자 역시 이러한 분위기에 걸맞는 것이라고 볼 수도 있지요.

그러다보니 기업시장에서의  머신러닝이라는 분야는  제한적일 수밖에 없었는데요. 역시나 구글, 페이스북과 같은 회사들은 자신들의 B2C 서비스에서 활용할 수 있는 머신러닝 연구개발과 활용에 적극적인 투자와 우수 인력들에 대한 스카웃에 열을 올리는 모습입니다.

최근 가트너는 2014년 주목할 만한 기술 분야중 하나로 딥러닝을 꼽으면서 2017년이 되면 컴퓨터의 10%는 데이터 처리가 아닌 딥 러닝기반의 학습을 하고 있을 것이라고 얘기하고 있고 DNN 알고리즘을 활용하는 음성인식 어플리케이션에는 2배로 늘어난다고 얘기하고 있습니다. (http://www.gartner.com/newsroom/id/2603215)

올해초 구글은 설립한지 불과 3년 밖에 되지 않은 런던에 있는 딥마인드(DeepMind)라는 회사를  4억달러가 넘는 금액으로 인수를 하였습니다.  이 회사 인수를 위해서 구글과 페이스북이 경쟁을 벌였다는 얘기들도 들리더군요.  이 회사명이 얘기해주듯이 딥 러닝 전문가들이 설립한 회사입니다. 이 회사를 인수하면서 딥 러닝에 대한 시장의 관심들이 커졌지만 구글은 이전부터 이러한 딥 러닝 알고리즘에 기반한 다양한 연구와 투자를 해오고 있었습니다. (http://recode.net/2014/01/26/exclusive-google-to-buy-artificial-intelligence-startup-deepmind-for-400m)

스탠포드대학의 앤드류 응(Andrew Ng) 과 구글이 딥 러닝 프로젝트를 구성해서 2012년 16,000개의 컴퓨터 프로세스와 10억개 이상의 뉴럴네트워크 그리고 DNN을 이용해서 유튜브내 천만개되는 비디오중에서 고양이를 인식한 연구는 크게 언론에 보고되기도 했습니다.  이 연구가 의미가 있는 것은 앞서 말한 학습데이터가 없은 비지도학습(unsupervised 머신러닝 – 즉 컴퓨터에게 “이러한 이미지는 고양이다”라고 가르쳐주지 않았다) 이라는 점입니다. 즉 학습세트를 만들지 않고 스스로 이미지를 인지해서 분류해낸 것이죠. 이 소프트웨어 프레임워크를 논문에서는 DistBelief로 언급하고 있습니다.
(http://www.nytimes.com/2012/06/26/technology/in-a-big-network-of-computers-evidence-of-machine-learning.html?_r=1&)

이 발표 이후 사람들은 구글의 막대한 컴퓨팅 리소스를 이용해서(1000대가 넘는 컴퓨터, 1백만불의 비용등등) 이러한 딥 러닝 분석을 하는 것이 현실적인가? 라는 반론에 대해서 앤드류 응교수는 이듬해 GPU 기반으로 저비용으로 뉴럴네트워크를 구성할 수 있는 기술을 논문으로 공개하였습니다. 개발된 코드를 오픈소스로 공개하는 것은 아직 결정하지 않았지만 약 $20,000의 비용으로 딥 러닝 알고리즘을 학습할 수 있는 것은 머신러닝 관련된 학계와 기업에 있어서는 파괴적 혁신에 가깝다고 할 수 있고 제가 사실상 딥러닝 기술이 향후 머신러닝 분야에 큰 임팩을 줄 수 있다고 보는 부분입니다. 만일 이 기술이 오픈소스로 공개된다면 어떠한 파급효과를 가져올까 상상을 해보십시요.  (http://www.wired.com/2013/06/andrew_ng/)

그런데 2주전 이 앤드류 응 교수가 중국 바이두의 IDL (Institute of Deep Learning)의 산호세 연구소를 맡게 되었다는 소식입니다.

이 얘기가 왜 흥미롭냐면 참고로 딥러닝 분야에서는 몇몇 대가들이 계십니다.  캐나다 대학의 Geoffery Hinton 교수 , 이 분은 구글이 이 양반이 설립한 회사를 사버리면서 채용을 해버렸죠. DeepMind의 설립자와 연구원들도 이 분 제자들이죠. 뉴욕 대학의 Yenn LeCun , 이 분 역시 페이스북에 채용되어서 LAB을 맡고 계시고 최근에 앤드류 응교수가 바이두로 가게 된 것입니다. 그리고 토론토 대학의 Yoshue Bengio 교수가 있습니다. 이 분은 학계에 남기로 했다는 얘기가 들립니다만 아무튼 흥미로운 것은 이 4분이 최근까지 딥러닝에 연구 협력을 긴밀히 해왔는데 이렇게 각자 흩어지게 된 것입니다.  세계적으로 가장 많은 컨텐츠와 빅데이터 플랫폼을 갖춘 이 회사로 흩어진 이 분들의 경쟁과 협력을 통해서 딥러닝 분야 , 넓게는 머신러닝 분야에서의 획기적인 기술발전이 이루어지지 않을까 합니다. 실제 LeCun 교수가 최근 Reddit  에서 나눈 얘기중에 보면 페이스북에서 넉넉한 자원과 인력 그리고  데이터를 가지고 뚜렷한 목적성을 가지고 연구개발을 했을 때의 장점을 언급하고 있습니다. (http://www.reddit.com/r/MachineLearning/comments/25lnbt/ama_yann_lecun)

그리고 페이스북 역시 DeepFace 라고 하는 딥 러닝 기반의 사진 내 얼굴 인식 기술을 선보이는 등 이에 대한 기술투자와 전문가 영입을 늘리고 있습니다.
(https://gigaom.com/2014/03/18/facebook-shows-off-its-deep-learning-skills-with-deepface/, https://www.facebook.com/publications/546316888800776/)

앞서 말씀드렸듯이 바이두는 아예 써니베일과 북경에 IDL을 작년에 설립해서 적극적으로 인력과 연구를 진행하고 있습니다. 연구는 써니베일에서 서비스는 북경의 연구소에서 진행하는 듯 보입니다. (http://idl.baidu.com/en/IDL-about.html)

아무튼 딥러닝에 관심이 있으신 분이라면 아래의 링크에서 공부할 것 , 연습할 것을 찾아보시면 어떨까 합니다. 파이썬 기반으로 구현된 라이브러리 소개되어 있고 튜토리얼도 있습니다. (http://deeplearning.net)

그리고 LeCun 교수도 언급을 하고 있고 딥러닝쪽에서 많이 활용하고 있는 툴킷으로는 LuaJit 기반 Torch7 이라는 것이 있습니다. 제가 이쪽 분야에 대해서는 아주 깊이는 모르지만 Lua를 활용하는 머신러닝 라이브러리가 있다는 사실은 이번에 처음 알게 되었습니다. (http://torch.ch/)

그리고 마지막으로는 국내에서는 음성인식 분야부터 시작해서 네이버와 다음쪽에서 딥러닝에 대한 연구를 깊이 하고 서비스까지 론칭한 것을 알고 계실텐데요. (네이버나 다음의 음성검색) 작년 DevView 발표 자료도 참고해보면 네이버랩의 김정희씨가  딥러닝에 대해서 국내에서는 가장 활발하게  알리고 다니시는 것 같습니다.  (http://deview.kr/2013/detail.nhn?topicSeq=39)

딥러닝에 대한 기술은 워낙 어렵고 접근하기 힘들지만 트랜드 , 분위기 정도를 알고 있다가 여력이 될테 뛰어드는 것은 어떨까 생각됩니다. 워낙 투자와 리소스가 많이 필요한 일이 거든요. 그러고보니 이 분야의 어떤 스타트업이 생각나네요.