빅데이터

빅데이터(Big Data)란 단어의 뜻은 글자 그대로 규모가 큰 데이터라는 말입니다. 그렇다면 어느 정도 큰 것을 말할까요? 이 것은 상대적인 개념이어서 문맥이나 상황 시대에 따라 다르게 쓰일 것 같습니다. 대략 기존 방식으로는 저장하고 분석하고 다루기 힘들 정도록 큰 규모를 말합니다. 그래서 빅데이터 규모의 데이터를 처리하기 위해서는 새로운 기술과 방법이 필요합니다.

빅데이터란 말을 사용할 때 처리와 분석의 대상인 데이터만을 의미하지 않고 빅데이터를 다루는 방법과 기술을 함께 포함하는 경우가 많습니다. 또한 빅데이터란 단어와 함께 '빅데이터 분석'이란 용어도 많이 사용됩니다.

빅데이터란 개념이 등장하고 핵심 키워드로 주목 받게된 동기는 IT와 인터넷의 발전과 함께 대규모의 소셜미디어 등을 통하여 엄청난 양의 데이터가 발생된 것이라고 볼 수 있습니다. 여기에 사물인터넷(IoT)을 기반으로 한 센서 기술의 발달이 이 전에 경험하지 못했던 규모의 데이터를 발생시킵니다. 이렇게 데이터가 넘처나게 되자 데이터 안에 숨어 있는 인사이트를 찾고 활용하기 위한 많은 기술들이 도입되었습니다. 이러한 기술에는 전통적인 통계학적이 방법부터 IT에서 발전해온 데이터 처리 기술과 데이터 마이닝 기술 그리고 기계학습과 딥러닝 기술과 같은 인공지능 기술 등이 포함되어 있습니다.

그래서 빅데이터라는 용어와 개념은 인공지능(AI)과 사용 기술을 공유하고 원하는 목표를 달성하기 위해 서로 보완적인 역할을 하면서 발전해 왔고 많은 부분들이 겹치므로 때로는 조금 혼동하여 사용되기도 합니다.

조금 단순화해서 정리해 보면 빅데이터 기술은  인공지능이나 다른 분야와 많은 부분이 기술적으로 겹치거나 함께 사용되지만 대규모의 데이터를 저장하고 처리하고 분석하는 역할에 좀더 집중하는 기술이라고 생각하는 것이 좋을 것 같습니다. 

빅데이터 기술

빅데이터 기술은 다음의 기능을 포함합니다.

• 생성
• 수집
• 분석
• 표현

 이 중 생성과 수집은 IT 전문가의 영역이라고 할 수 있고, 분석과 표현은 데이터 과학자(Data Scientest) 영역이라고 볼 수 있습니다. 물론 빅데이터 분석 전문가라면 전체 영역에 대한 이해와 처리 능력을 가지고 있어야 할 것 입니다.