빅데이터에 대한 단상… 빅데이터는 오는가?

여전히 빅데이터에 대한 얘기들이 많이들 오가고 있지만 국내에서는 이렇다할 빅데이터 기반의 성공사례를 찾아보기 힘듭니다. 하지만 조용히 하둡 및 다양한 NoSQL등을 활용하여 내부 사업의 분석 역량을 높이고 활용하는 회사들은 있습니다. 바로 포털이나 게임회사, 통신회사들이 그렇습니다.

이미 내부의 개발역량을 갖추고 있거니와  데이터의 규모와 사업적인 니즈에 따라서 수년전부터 이러한 기술에 관심을 가지고 자체 플랫폼을 만들어서 활용을 하고 있다는 것은 알만한 분들은 잘 알고 있는 일입니다.

저 개인적으로는  지난 3-4년간 정말 좋은 환경과 정말 좋은 보스를 만나서 큰 방해를 받지 않고 바닥부터 빅데이터 플랫폼을 다지는 프로젝트를 할 수 있어서 이제서야 빅데이터에 대해서 조금은 아는체를 할 수 있는 처지가 되었는데요. 현실적으로 저와 같은 경험을 가질 수 있는 곳이 국내에 얼마나 될까요?

문제는 이러한 기술들이 국내 여러 기업이나 분야에서 보편적으로 활용되고 있을까요? 활용이 될까요?  여러 언론과 다양한 업체가 주체하는 빅데이터 컨퍼런스에 혹시나 하고 가봐도  그렇게 잘 활용되고 있는지 체감하기 힘들더군요. 늘 비슷비슷한 분들이나 업체들이 나와서 사례와 설명을 하고 있으니까요.  어찌보면 이유는 간단합니다. 대부분 기존의 RDBMS 로도 충분히 처리가 되고 있고 벤더들도 열심히 기존 레거시 시스템을 보전해주면서 단계적으로 업그레이드와 기술지원을 잘(?) 해주고 있으니까요.

다시 한번 말씀드리지만 빅데이터와 관련된 플랫폼 구축과 운영은 반드시 기업내의 인력이 추진해야 합니다. 실력있는 솔루션 업체의 기술지원과 컨설팅을 받더라도 반드시 내부의 소프트웨어 인력, 데이터 과학자를 함께 양성하면서 전략적으로 접근을 해야 합니다. 누차 제 블로그를 통해서도 말씀을 드렸지만 데이터를 확보하는 단계에서부터 벽에 부딛히게 되고 이에 대한 투자를 통해서 얻을 수 있는 ROI 를 제대로 설명하기가 힘든 것이 바로 초기 단계이기 때문에 그렇습니다. 이러한 과정을 넘어서고 어느정도 데이터를 수집할 수 있는 체계가 갖추어져야지만 이를 기반으로 다양한 데이터의 분석과 데이터 마이닝을 통해서 그 가치를 찾아나갈 수 있기 때문입니다. 찾을 수 있다는 것이 아니라 찾아나갈 수 기회가 생긴다는 점을 명심하세요.

하지만 생각해보세요. 초기에 내부의 기술 및 운영 역량이 없는 기업들이 하둡과 같은 빅데이터 플랫폼을 벤더의 도움없이 선듯 도입한다는 것은 말이 안되겠죠. 되려 국내에 하둡, 클라우드, NoSQL 기술과 역량을 가진 몇몇 중견 솔루션 회사들이 있긴 하지만 이들이 국내에서 이러한 솔루션과 기술을 제대로 세일즈해서 큰돈을 벌었다는 얘기가 들리지는 않고 되려 일반 SI 업체 대우나 받으면서 상처 받은 얘기를 듣곤 합니다. 국내에 몇 없지만 이러한 솔루션 업체들의 경험과 역량을 좀더 인정하고 그 가치에 해당하는 비용을 지불한다면 상대적으로 적은 시간과 비용으로 구축할 수 있을거라고 믿습니다. 물론 내부의 기술력을 함께 키우는 노력도 하면서 말이죠.

이 분야에 별 경험이 없는 겉만 번지르르한 어설픈 컨설턴트들의 얘기를 듣고 추진했다가는 고스란히 자신들의 속내를 다 까발리고 프로젝트가 끝나고 나면 아무것도 남지 않게 되버리는 것이 바로 빅데이터 프로젝트일 수 있습니다. 그래서 경험이 있는 국내 솔루션 업체와의 협력과 더불어 내부의 데이터 과학자 양성, 데이터 플랫폼에 대한 DevOps의 양성등이 필요하다는 점을 반복해서 강조하는 것입니다.

이렇게 말하지만 그래도 제가 아는 한 국내 굴지의 몇몇 대기업들은 이에 대한 투자를 본격적으로 이미 시작했고 작지만 나름의 성과를 얻고 있다고 말씀드렸는데요. 이곳에 계신  여러분들의 경험들이 외부에 많이 알려지고 커뮤니케이션이 더욱 활발하게 이루어졌으면 하는 바램이지만 우리나라의 대기업은 애매한 보안과 규정때문에 내부의 정말  능력있는 엔지니어분들과의 교류가 사회적인 정서상 그리고 시스템적으로 막혀져 있다는 생각이 듭니다.

사실 이러한 분들 현업때문에 무지 바빠기도 하죠. 아주 소수의 분들만이 커뮤니티에 얼굴을 내밀뿐이죠.  불과 얼마전까지만 해도 제 자신이 그랬었으니까요. 지금은 조금 여유가 있지만 크게 다르지 않다고 생각됩니다.

그리고 한가지 더 말씀드리고 싶은 것은 아무래도 빅데이터의 본격적인 활성화는 클라우트 컴퓨팅의 활성화 시점과 맞물려 갈 수 밖에 없을 것 같습니다. 적어도 클라우트 컴퓨팅은 필요조건이 되지 않을까 보여집니다. 어쩌면 이러한 클라우드 컴퓨팅의 적극적인 활용을 통해서 최근 해외 진출을 꿈꾸는 국내 여러 스타업들이 바로 이러한 기술의 수혜자이자 리더가 되지 않을까 하는 생각도 듭니다. 대기업들이 아닌 미국의 실리콘밸리의 웹서비스 회사들처럼 말이죠.

Advertisements
이 글은 IT 카테고리에 분류되었고 , 태그가 있습니다. 고유주소 북마크.

빅데이터에 대한 단상… 빅데이터는 오는가?에 1개의 응답

  1. 이상부댓글:

    네 공감되는 글입니다.
    좋은 글 잘읽고 갑니다^^

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

%s에 연결하는 중