빅데이터에 대해 파헤쳐 봅시다 팍팍~!

◆빅데이터가 뭐죠?

21세기 기업에게 가장 중요한 자산은 ‘데이터’이며 이를 관리하고 여기서 가치를 이끌어내지 못하면 경쟁에서 살아남을 수 없게 되었습니다.

빅데이터는 ‘빅(Big)+데이터(Data)’의 단순 합성어가 아니라

기존의 기업 환경에서 사용되는 ‘정형화된 데이터’는 물론 미처 활용하지 못하고 있는 ‘반정형화된 데이터’를 모두 포함하는 개념이 빅데이터 입니다.

빅데이터는 단순히 대용량 데이터 그 자체만을 지칭하는 것이 아니라 그 '데이터를 효과적으로 처리하고 분석할 수 있는 기술'에 초점을 둔 용어입니다.

기업의 관점에서는 ‘가치를 생성할 수 있는 데이터’를 빅데이터라고 해석하기도 합니다.

그렇다면 과거에는 이런 빅데이터가 중요치 않았을까요?

물론 예전에도 슈퍼컴퓨터를 이용해 거대한 양의 데이터를 분석할 수 있었습니다.

하지만 이는 비용 대비 효과가 낮았습니다. 수십 수백억원을 들여야만 대용량 데이터를 분석할 수 있었고, 이는 정부 차원에서나 할 수 있는 일이었습니다.

하지만 현재의 '빅데이터 시대'는 저렴한 비용으로 엄청난 데이터를 효과적으로 처리하고 분석할 수 있게 되었습니다.

하둡의 기술이 뜨면서 기업은 과거 대용량 데이터 처리에 들었던 비용과는 비교가 안될 정도의 저렴한 비용으로 복잡한 데이터 안에서 기업에게 필요한 정보만을 추출하고 이를 기존 정보와 통합해 가치창출이 가능하게 되었습니다.

기억하세요! 같은 데이터라해도 기업이 많은 비용을 들여 분석해야 하는 데이터라면 빅데이터가 아닙니다.

◆빅데이터 전문가는 뭘하죠?

기업은 자신들이 보유하고 있는 데이터를 분석해 원하는 결과를 얻어내고 이를 바탕으로 가치창출을 하고싶어합니다.

데이터를 수집 및 정리하고 분석해 보기 편하게 자료를 만드는 빅데이터 전문가.

빅데이터 전문가는 ◎기업의 비즈니스 요구사항을 확인 ◎필요한 데이터를 검색 · 준비하고

◎적절하게 데이터를 분석할 수 있는 모델을 구축 ◎모델링 검증작업을 거쳐 ◎실전에 활용하는 업무를 합니다.

빅데이터 전문가가 되기위해서는 기본적인 데이터 분석에 대한 이해뿐만 아니라 프로그래밍 실력과 서버와 네트워크에 대한 비즈니스 지식이 필요합니다.

◆하둡기술이 어디서 사용되죠?

뉴욕 증권거래소는 하루에만 1TB에 이르는 거래 데이터가 발생합니다.

페이스북엔 *30PB 가 넘는 사진 DB가 쌓여 있습니다.

이들이 대용량 데이터를 처리할 때 공통점이 있는데 바로 ‘하둡(Hadoop)’을 이용해 처리한다는 점입니다. 하둡은 국내외를 막론하고 빅데이터를 다루는 개발자들의 관심을 한몸에 받으며 모든 산업분야에 활용되고 있습니다.

*[1PB(페타바이트)는 1024TB(테라바이트)이고 1TB는 1024GB(기가바이트) 입니다.

참고로 현재까지 바이트단위는 엑사바이트(EB)까지 나와있고 이는 1EB = 1024PB 입니다]

◆하둡이 뭐죠?

하둡은 여러 개의 저렴한 컴퓨터를 마치 하나인 것처럼 묶어 대용량 데이터를 처리하는 기술입니다.

하둡은 수천대의 분산된 x86 장비에 대용량 파일을 저장할 수 있는 기능을 제공하는 분산파일 시스템과, 저장된 파일 데이터를 분산된 서버의 CPU와 메모리 자원을 이용해 쉽고 빠르게 분석할 수 있는 컴퓨팅 플랫폼인 맵리듀스로 구성되어 있습니다.

◆하둡이 왜 뜨고있죠?

어느 기술이더라도 값싸고 사용하기 편해야 소비자들이 사용한다는 점 기억하세요!

지금까지 상당수 기업들이 많은 비용을 지불하고 오라클이나 IBM이 개발한 데이터 분석 솔루션을 구축해 데이터를 분석했습니다.

하지만 비싼 비용을 지불하며 매번 솔루션을 도입하겠다는 기업은 드물었죠,

하지만 하둡은 저렴하면서도 방대한 데이터를 분석할 수 있게 도왔습니다. 또한 자사 데이터 시스템과의 호환 문제도 손쉽게 해결한다는 장점이 있었습니다.

기존 슈퍼컴퓨터를 며칠씩 돌려야 했던 데이터도 하둡을 이용하면 x86 서버로 실시한 분석이 가능해져 하둡은 빅데이터 처리와 분석을 위한 플랫폼 시장에서 사실상 표준으로 자리잡았습니다.

기업은 하둡을 통해 PC를 병렬로 연결해 빅데이터를 분산 처리하는데 이용하기 시작하죠.

◆R프로그래밍은 뭐죠?

하둡을 이용해 대용량 데이터를 분석, 처리를 했다면 이를 활용하는 방법과 다양한 그래프를 활용해 시물레이션 화 시키는게 R프로그래밍입니다.

패키지 개발이 용이하여 통계학자들 사이에서도 가장 많이 사용되고 있는 통계 프로그래밍 입니다.

쉽게 설명드려 모레알에서 원석을 발견하는게 하둡, 원석을 보석으로 가공하는 단계를 R프로그래밍이다 라고 이해하시면 쉬우실것 같습니다.

즉, 가치창출 할 수 있는 데이터를 통계와 분석을 통해 그래프와 시물레이션으로 시각화하는 통계 소프트웨어가 R프로그래밍 입니다.

★빅데이터 전문가가 되려면?

하둡과 R프로그래밍을 아셔야 겠죠?!

R프로그래밍은 하둡을 아셔야 하겠고,

하둡 *클러스터 구축은 리눅스 환경에서 구성이 되기 때문에 리눅스 시스템에 대한 충분한 이해가 필요하며, 클러스터는 네트워크 환경에서 구축되므로

네트워크 기초 과정을 이해하셔야 합니다. 하둡은 프로그래밍 언어인데 이는

JAVA와 JSP 기반입니다. 따라서 프로그래밍 언어로는 JAVA와 JSP를 이해하셔야 하고, 기초자시라면 C언어 문법과 프로그래밍 기초인 알고리즘 지식이 있으셔야 합니다.

* [클러스터란? 여러대의 서버를 하나 서버처럼 구현하는 기술입니다]

정리하자면

[기초자: C언어 -> 알고리즘] JAVA -> JSP[Java Server Page] -> 네트워크기초 ->

리눅스시스템 -> 하둡프로그래밍 -> R프로그래밍 순서도가 됩니다.

빅데이터 전문가가 목표이신 분들은 국내 유일 빅데이터 교과정진행,

단기간 체계적 학습, 국비취업반을 통한 취업연계까지 진행하고 있는

빅데이터 교육문의 ☞바로가기 를 통해

평일/주말반 준비계획에 대해 상담받아보시기 바랍니다.