[0] 빅데이터 분석 개요

0) 개요

1. Big Data 개요

• 정의: 빅데이터란 기존의 일반적인 기술 (예를 들어 관계형 데이터베이스)로 관리하기 곤란한 대량의 데이터 군
• 빅데이터를 실시간으로 분석하여 기업의 경쟁력 제고 (RDB만으로는 데이터를 분석하기 힘들다.)
  • 로그 데이터를 분석하여 이용자가 스스로 제공하지 않는 정보까지 분석하여 매출 증대 및 경쟁력 제고
• Big Data 특징: 3V (Volume, Variety, Velocity)
• RDBMS 특징: ACID(Atomicity, Consistency, Isolation, Durability)

구조화데이터: RDB

비구조화: text, video, ..

하둡: 데이터 로드, 머신러닝, 딥러닝,

인재, 조직

2. Big Data 특징

• 비즈니스 인텔리전스와 빅데이터의 교차
  • 과거의 가시화를 통한 미래 예측
• 빅데이터 분석의 기원
  • 하라즈 엔터테인먼트: 라스베거스에 거점을 둔 세계의 최대의 카지노 운영사
  • 확산은 아마존이 시킴

3. Big Data 기반 기술

• 하둡: Big Data Platform, 데이터 관리 (Oracle ⇒ hadoop)

         - hadoop→ Text 데이터를 받음

• NoSQL 데이터베이스
• 분석적 데이터베이스: Massive Parallel Processing Architecture, Shared Nothing Architecture, 칼럼 지향, 데이터 압축 기능, 범용 하둡에서 동작 가능, 어플라이언스로서의 기능, 하둡 지원
• 스트림 데이터 처리
• 다양한 분석 기술: machine learning, data minig, clustering, neural network, ⭐regression, ⭐decisition tree, association analysis 등
• 자연어 처리 등: 자연어 처리, 시멘틱 검색, 링크 마이닝, A/B 테스트 등 정의

4. HADOOP 아키텍처

5. 제4차 산업혁명

4차 산업혁명 기술은 인공지능, 빅데이터, 사물인터넷 IoT, 로봇 공학, 자율 주행, 블록체인, 가상 현실, 증강 현실 등이 포함되며, 이러한 기술들은 디지털 혁신을 이루어 새로운 비즈니스 모델을 창출하고 생산성을 증대시키는 등 다양한 분야에서 혁신적인 변화를 가져오고 있다.

- 플랫폼 기업의 도래 → 디지털 기술을 기반으로 한 중개 플랫폼

이들은 가입자들의 데이터 분석을 바탕으로 고객의 욕구를 예측하고 만족시키며 수익을 올리고 있다.

- 플랫폼 기업은 빅데이터가 경쟁력의 핵심이므로 데이터 수집 기본

- 이용자들도 빅데이터 이용 가능: open API를 이용해 (Portal, SNS, 증권회사 등..)

 

STM(딥러닝)<ARIMA(빅데이터소프트웨어)..