구름(Cloud) 속 빅데이터(Big Data)

최근 구글이 Google I/O 에서 빅데이터 플랫폼(google compute engine) 으로 MapR 을 선택했다는 소식이 들리더군요. (http://bit.ly/Lx9cS2)  Cloudera, Hortonworks 만큼 나름 노력을 해서 기업형 하둡배포판을 만들고 별로 재미를 보지 못하던 MapR 은 이번기회에 좀 숨통이 트일려나 모르겠습니다. 아무튼 구글이 빅데이터 서비스로 BigQuery, PredictionAPI 등을 간간히 공개를 해왔었는데 결국 오픈 플랫폼인 하둡을 품기로 결정을 한 것 같습니다. 글쎄요 MapR 은 최적화를 위해서 내부를 C/C++로 구현했다고 하는데 이러한 부분이 구글의 인프라와 잘 맞아떨어져서 선택했을까요? 그건 저도 잘 모르겠습니다. 아무튼 이로써 아마존, 마이크로소프트, 구글의 클라우드 서비스에서 빅데이터 플랫폼은 하둡으로 정리가 된 듯 싶습니다.

클라우드 기반의 빅데이터 플랫폼이 왜 필요할까요? 여러가지 장단점이 존재하겠지만 무엇보다도 클라우드상에서 서비스를 개발하고 있는 스타트업들이 자신들의 서비스로그를 저장하고 분석하기 위해서  자신들의 서비스가 동작하고 있는 클라우드 서비스를 이용하는 것이 제일 좋겠죠. 여기에 분석할 수 있는 도구들도 함께 제공되고 있으니 마다할리가 없습니다.  특히 아마존과 같은 경우에는 데이터 전송에 따른 추가적인 네트워크 비용이 발생하지 않기 때문에 이러한 기업들에게는 매우 좋은 선택이 될 수밖에 없습니다.

그밖에도 임시로 데이터 분석을 위해서 비싼 클러스터 컴퓨팅 환경을 구축하는 것도 현실적으로 불가능하고 설사 투자를 했다고 하더라고 지속적인 운영과 그 비용을 감당하는 것은 매우 어렵습니다. 그래서 그런지 학계에서는 이러한 클라우드를 잘 활용하여 대용량 실험결과에 대한 분석을 매우 저렴한 비용으로 해결하고 있습니다.   바이오인포매틱 빅데이터 사례중에서 유전자분석을 위해서 클라우드 서비스를 이용해서 하둡을 설치해서 분석결과를 뽑아냄으로써 매우 저렴하게 분석을 할 수 있었다는 것도 있었구요.

물론 기업내에서 발생하는 민감한 데이터에 대한 분석을 함부로 퍼블릭 클라우드에 저장하고 분석하지는 않겠지만 앞으로 클라우드상에서의 빅데이터에 대한 저장에 필요한 스토리지 영역과 분석 플랫폼 시장은 당연히 커지게 될 것입니다.

그나저나 국내 사정은 어떨까요? 국내에서는 KT 가 넥스알, 아헴스등을 인수하고 오픈소스를 기반으로 클라우드 환경을 구축하고 그 위에 하둡을 올리는 작업등을 열심히 하면서 비지니스를 준비해나가고 있는 것으로 압니다만 빅데이터 시장도 제대로 열리지 않은 상태에서 클라우드 서비스위에서의 빅데이터 플랫폼 사업이 당장 잘 될 것 같지는 않습니다.  그래도 … 준비는 해야죠.

1-2년 지나서 외산 솔루션, 컨설팅회사에게 엄청나게 많은 돈을 주고 수업료를 주면서 아 그때 조금만 투자를 해놓을걸 하고 후회할 수는 없는 노릇이잖아요. 게다가 대부분의 빅데이터 관련 솔루션들이 오픈소스인데 말이죠.

아래 그림은 O’Reilly Radar Team이 내놓은 Planning for Big Data 라는 단행본에서 발췌한 내용을 살짝 수정한 것입니다.   이 책의 목차와 내용을 보시면 아시겠지만 제가 그동안 이 블로그를 통해서 다룬 주제들과 일맥상통하더군요. (깔때기? ^^)

About these ads
이 글은 IT 카테고리에 분류되었고 , , 태그가 있습니다. 고유주소 북마크.

구름(Cloud) 속 빅데이터(Big Data)에 1개의 응답

  1. charsyam댓글:

    그런데 HDFS on Azure 면 이름만 봐서는 소량 파일 관리에는 어려울듯한 느낌이 물신 풍기네요.

댓글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

%s에 연결하는 중