1. 빅 데이터
ㅇ 전통적인 데이터 처리 S/W로는 허용 시간 내에 저장,검색,처리,추출 할 수 없는
대용량 데이터 집합
ㅇ 빅데이터 특징
- 데이터 양이 방대함
- 데이터 형식이 비정형
- 데이터 종류가 매우 다양함
ㅇ 빅데이터 해석 기술의 특징
- 고성능, 대용량 병렬 처리를 위한 데이터 플랫폼 및 고급 분석 기술 들이 필요함
- 현재 기억장치가 저렴해지는 추세이므로 점점더 각광을 받음
2. [참고사항]
ㅇ 대규모 데이터 처리를 위한 프레임워크들 例
- Apache Hadoop : 다수 컴퓨터의 디스크에 데이터 저장하고 그 데이터를 추상화하여 연산 처리
- Apache Spark : 인메모리 처리(In-memory processing) 위주
. 데이터를 디스크가 아닌 주기억 장치에 불러모아 그곳에서 직접 처리하는 방식에 의함
ㅇ 하둡 (Hadoop)
- 대규모 데이터 세트를 분산 저장하고 처리하기 위한 오픈 소스 프레임워크
. Apache Software Foundation에서 개발 및 유지 관리
- 데이터를 추상화하여 연산 처리
- 확장성,비용 효율성 때문에 빅데이터 처리에 널리 사용됨
- 핵심 구성 요소 : HDFS, MapReduce, YARN, Hadoop Common