여전히 빅데이터에 대한 관심이 뜨겁습니다. 좀처럼 수그러들줄을 모르네요. 작년 첫 포스팅을 할 때만 해도 올해 하반기에 접어들면 빅데이터에 대한 열기가 식을 것 같았습니다. 하지만 빅데이터라는 것이 이제는 기존 관계형 데이터베이스와 데이터웨어하우스 기반으로 구축된 데이터 플랫폼에서 하둡과 NoSQL기술을 기반으로하는 데이터 플랫폼으로 전환해나가면서 필요한 모든 기술과 솔루션을 포함하고 있을뿐 아니라 과학,기업,인터넷,앱 등등에서 엄청나게 발생하고 있는 대용량 데이터에 기반하는 분석시스템,예측시스템 및 관련 기술,솔루션 등등을 망라하게 되면서 더욱 더 빅데이터는 그 영역이 넓어지고 자연히 관심과 기대가 더욱 커지는것 같습니다.
결국 요즘 분위기는 데이터와 관련이 있는것이라면 그것이 무엇이든 모두 빅데이터의 범주에 넣어서 얘기들 하고 있는 것이죠. 이러다보니 기존 데이터 시스템, 데이터 분석 솔루션들은 하나같이 빅데이터 전문 업체로써 그 영역을 넗히고 있고 이제 대부분의 데이터웨어하우스업체나 통계솔루션업체들은 당연하고 심지어 하드웨어 업체들도 하둡 플랫폼에 최적화된 하드웨어를 내놓으면서 홍보하기 바빠 보입니다.
물론 기 투자된 데이터 플랫폼을 유지하면서 이러한 하둡이나 NoSQL시스템과의 연동 및 인프라를 제공해준다면야 기업 입장에서는 더할 나위없이 좋다고 생각이 들겠지만 현실적으로는 상당히 이질적인 두개 이상의 데이터플랫폼이 연계되어 운영된다는 것은 현실적으로 쉬운일이 아닙니다. 레거시 시스템을 당장 버릴 수도 없고 빅데이터 플랫폼을 도입하자면 투자비와 운영비가 되려 크게 늘어날 수밖에 없습니다. 두배가 아니라 그 이상이 될 수도 있는 것입니다. 더불어 필요한 소프트엔지니어와 시스템 엔지니어는 이쪽 분야에는 턱없이 부족한 상황이구요.
사실 기존의 데이터 플랫폼 인력들((DBA, 데이터마이너, 시스템 엔지니어) 이 쉽사리 빅데이터 플랫폼 분야로 올려고도 하지 않습니다. 기존 시장이 충분히 크고 표준화되어 있는 기술기반위에서 엔지니어들은 안정적인 기술 경력를 쌓기가 현실적으로 유리하기 때문입니다. 빅데이터 분야, 하둡, NoSQL은 새로운 분야에 관심이 많은 엔지니어나 향후 소프트웨어 분야중에서 어디를 가야할지를 고민하는 초보 엔지니어들에게 더 관심이 많다고 볼 수 있습니다. 따라서 초기에는 빅데이터 기술을 투자하는 것에 대한 결정도 과제를 추진하는 것도 만만한 문제가 아닙니다. 그래서일까요, 2012년말 현재까지도 관심에 비해서 국내 여러 기업들의 빅데이터 플랫폼 도입이 지지부진한 것도 이러한 이유들도 어느정도 있지 않을까 생각이 듭니다. 잘 운영되고 있는 레거시 데이터 시스템을 두고 새로운 시스템, 플랫폼을 도입한다는 것은 정말 쉽지 않은 것이죠.
이렇듯 빅데이터에 대한 업계의 발빠른 대응과 온갖 마케팅 활동에 비해 실제 실적은 그다지 많지 않은 편이라고 생각됩니다. 모르겠습니다. 어쩌면 빅데이터 프로젝트가 아닌데 빅데이터 프로젝트로 포장되어서 도입이 되고 있을 수도 있을 것 같기도 하구요. 아무튼 업체들은 자신들의 솔루션을 이용해서 실질적인 성공사례를 찾기에 바쁘고 성공사례를 만들기에 바쁘기겠지만 이것 역시 시간이 걸리는 일이기에 2013년도가 되어도 미국의 여러 성공사례들처럼 한국에도 많은 성공사례들이 나오기는 쉽지 않을 것으로 보여집니다. 외국의 사례가 그대로 적용되기도 쉽지 않을테고 많은 POC(Proof of Concept) 과제가 수행되겠지만 몇몇 군데를 제외하고는 성공적인 사례를 찾아보기 힘들 것으로 예상됩니다. (너무 비관적인가요?) . 더불어서 빅데이터 플랫폼이나 과제들이 보통은 고객기반의 사용로그를 활용하는 경우가 많기 때문에 기업들이 드러내놓고 성공사례를 내세워 얘기하기도 쉽지 않은 것도 국내 빅데이터 시장의 기술적인 교류와 협력을 막는 요인중 하나가 아닐까 생각됩니다.
그리고 여러번 언급하긴 했지만 이제 빅데이터 플랫폼, 특히 하둡이나 NoSQL 기술을 도입해서 할 만한 곳들은 이미 내부적으로 시스템을 구축하고 그 조직적 역량과 플랫폼의 고도화에 힘쓰고 있습니다. 그런데 아이러니하게도 예산이 많지 않은 기업에서 기존 MySQL기반으로 처리하지 못했던 규모의 데이터를 5-10대의 소규모 하둡 클러스터를 기반으로 대용량 데이터 시스템을 구축해서 활용하는 사례들이 제법 있다는 것입니다. 이 얘기는 오라클 기반의 데이터 플랫폼을 이미 갖추고 있는 중견 기업들의 경우 오히려 X86기반의 범용서버을 이용한 하둡 클러스터를 도입하는데에는 어려움이 있지만 그조차 예산이 없어 MySQL와 X86/리눅스 기반의 시스템을 가지고 있던 기업들에게는 하둡이나 NoSQL이 매우 매력적인 데이터 플랫폼으로 활용될 수 있음을 얘기해주는 것은 아닐까 보여집니다. 결국은 ROI의 문제겠지요. 투자 대비 이득을 고려했을때 작은 규모의 클러스터는 상대적으로 적은 비용으로 구축, 운영이 가능하지만 어느 규모 이상의 하둡 클러스터, NoSQL등의 빅데이터 플랫폼 도입은 구축, 운영과 더불어 앞서 말한바와 같이 레거시 시스템과의 연동, 마이그레이션이라는 이중 부담을 가지게 되는 것이죠.
다시 말하면 포털회사, 통신회사, 인터넷 커머스 회사, 삼성전자, LG전자와 같은 디바이스와 플랫폼을 이용해서 글로벌서비스를 하고 있는 업체들은 당연히 이러한 빅데이터 플랫폼에 대한 니즈가 있고 이미 많은 역량과 인프라를 가지고 있고 무엇보다 충분한 투자 여력이 있는 반면 대부분의 기업에서는 오히려 이러한 빅데이터 플랫폼의 도입이 앞서 말한 이유로 쉽게 실행될 수 없는 것입니다. 반면 작은 소기업에서 데이터 분석 플랫폼에 대한 니즈가 있는 경우에는 대부분 리눅스기반의 오픈소스로 공개된 빅데이터 기술들을 잘만 활용하면 그 규모는 작겠지만 – 빅데이터라고 말할 수도 없겠지만 – 보다 실용적이고 최적화되어 사용할 수 있음을 의미합니다.
이렇다보니 아무래도 국내에서는 빅데이터 솔루션 업체들이 쉽게 돈을 벌기는 어려울 것 같습니다. 하지만 X86 하드웨어를 판매하고 있는 HP,IBM, Dell과 같은 업체들은 이 분야에서 꾸준히 매출을 올리지 않을까 생각됩니다. 최근엔 델이나 HP가 하둡과 같은 분산 스토리지와 컴퓨팅에 최적화된 하드웨어를 별도로 설계해서 내놓은 것을 보면 역시 돈 벌 수 있는 소프트웨어, 솔루션이 아니라 하드웨어뿐이라는 생각이다. 우리나라는 여전히 빅데이터 솔루션 업체를 SI를 맡기는 외주업체 이상으로 그 가치를 인정하고 대우해줄거라고 생각되지 않기 때문입니다. 솔직히 이 분야에서 꾸준히 투자를 하고 버티고 있는 국내의 토종 빅데이터 솔루션 업체라고 한다면 넥스알, 그루터, 클라우다인 정도가 다가 아닐까 싶습니다.
결국 국내의 빅데이터 시장이 성장하는데에는 한계가 너무나도 명확해보입니다. 클라우드 컴퓨팅이 그랬듯이 국내에서의 빅데이터 시장은 그렇게 낙관적이지 않을 것으로 보이는데도 사람들은 아직도 빅데이터에 대한 얘기를 하고, advanced analytics, predictive analytics 등등 이런 얘기들을 하고 있죠.안드로이드, 아이폰과 같은 백엔드 플랫폼에서는 이러한 빅데이터 기술과 클라우드 컴퓨팅 기술을 바탕으로 사용자들에게 분명 다양한 가치와 경험을 제공해주고 있고 점점 더 고도화되고 있지만 정작 국내에서는 딱히 주목받는 서비스도 솔루션도 기업들도 보이지 않습니다. 어찌보면 구글, 페이스북, 애플, 트위트등과 같은 글로벌 인터넷 서비스들이 많은 이들에게 착시효과를 주고 있는 것은 아닐까 생각되기도 합니다.
쓰다보니 작년말에 처음 빅데이에 대한 글을 포스팅할 때와 크게 다르지 않게 매우 비관적으로 이쪽 시장에 대해서 전망을 하고 마네요. 그래도 앞으로 새로이 시작하는 데이터 플랫폼 프로젝트들에는 빅 데이터 기술들이 고려되고 하나씩 하나씩 녹아들어가겠죠. 다만, 시장이 원하는 만큼 크게 성장하지 않을 것이라는 겁니다. 리눅스로 돈 벌었다고 하는 사람을 주위에 본적이 없는 것처럼 말이죠.
결국 이러한 빅 데이터나 클라우드 컴퓨팅과 같은 소프트웨어 기술, 시스템 기술을 가진 엔지니어, 솔루션에 대한 가치와 그에 부합하는 대우를 하지 않는 상황에서는 이러한 기술적인 시류와 조류도 큰 임팩트를 국내 시장에 주는 것은 어렵지 않겠습니까?
그래도, 그래도 말이죠. 이 분야에서 공부를 하고 사업을 준비하고 과제를 준비하시는 분들께 새로운 기회와 돈 많이 벌 수 있는 2013년이 되길 기원해봅니다. 새해 복 많이 받으세요.
Happy New Year.
우승이의 블로그 