1과목. 데이터 이해
1장. 데이터의 이해
데이터의 특성
- 존재적 특성: 있는 그대로의 객관적 사실 (예: 수학 80점, 영어 100점)
- 당위적 특성: 추론·예측·전망·추정의 근거 (예: 평균 90점)
데이터 유형
| 구분 | 설명 | 예시 |
|---|---|---|
| 정성적 | 언어, 문자 | 설문 서술, 인터뷰 |
| 정량적 | 수치, 도형, 기호 | 점수, 매출액 |
| 정형 | 고정된 틀 O, 연산 가능 | CSV, 엑셀 |
| 비정형 | 고정된 틀 X, 연산 X | SNS, 댓글, 영상, 음성 |
| 반정형 | 형태는 있으나 연산 X | XML, JSON, 센서 데이터 |
암묵지와 형식지
- 암묵지: 학습·체험으로 개인에게 쌓인, 겉으로 드러나지 않는 지식
- 형식지: 문서·매뉴얼처럼 외부로 표출되어 공유 가능한 지식
- 암묵지가 형식지로 표출되고 연결되면 지식이 형성됨
- 조직 지식으로 공통화하려면 표출화 → 연결 → 내면화 필요
DIKW 피라미드
| 단계 | 의미 | 예시 |
|---|---|---|
| Data | 의미보다 객관적 사실 | A 사과 100원, B 사과 200원 |
| Information | 가공·연관으로 의미 도출 | A가 더 저렴하다 |
| Knowledge | 경험과 결합해 내재화 | 더 싼 A에서 사야겠다 |
| Wisdom | 축적·아이디어의 창의적 산물 | A의 다른 물건도 저렴할 것이다 |
데이터 단위
- 티페지 (TPEZY)
데이터베이스의 특징
- 통합된 데이터: 동일 내용 중복 X
- 저장된 데이터: 컴퓨터가 접근 가능한 매체에 저장
- 공용 데이터: 여러 사용자가 서로 다른 목적으로 공동 이용
- 변화하는 데이터: 삽입·삭제·갱신으로 항상 정확한 상태 유지
데이터베이스의 활용 측면
- 정보관리: 질서·구조에 따라 정리·저장·검색, 추가·갱신 용이
- 정보기술 발전: 다양한 정보 신속 획득, 정확·경제적 검색
- 경제·산업: 정보 인프라로 경제·산업·사회 활동 효율성 제고
- 축적·전달: 기계 가독성, 검색 가능성, 원격 조작성
트랜잭션 특성 (ACID)
| 특성 | 의미 |
|---|---|
| 원자성 (Atomicity) | 전부 적용되거나 전부 미적용 |
| 일관성 (Consistency) | 결과는 항상 일관됨 |
| 고립성 (Isolation) | 다른 트랜잭션에 영향 주지 않음 |
| 지속성 (Durability) | 결과는 영구적 |
처리 방식·시스템·DB 유형
- OLTP: 데이터 공유·거래 처리 / OLAP: 수집·공유 + 분석
- CRM(고객 관계 관리) · SCM(공급망 관리) · ERP(경영 자원 통합 관리) · KMS(지식 경영 시스템) · BI(의사결정 지원)
- RDB: 관계형 (Oracle, MySQL, MSSQL) / NoSQL: 비관계형·비정형 (MongoDB, DynamoDB)
SQL 언어 구분
- DDL(정의) · DML(조작) · DCL(제어) · TCL(트랜잭션 제어)
2장. 데이터의 가치와 미래
빅데이터의 특징 (5V)
- Volume(양) · Variety(유형) · Velocity(속도) · Value(가치) · Veracity(정확성)
빅데이터 역할 비유
- 산업혁명의 석탄·철 / 21세기의 원유 / 렌즈 / 플랫폼
빅데이터가 만드는 변화 (암기: 후-전-양-상)
| From | To |
|---|---|
| 사전처리 | 후처리 |
| 표본조사 | 전수조사 |
| 질 | 양 |
| 인과관계 | 상관관계 |
빅데이터 가치 산정이 어려운 이유
- 데이터 활용 방식: 데이터가 일반화됨
- 가치 창출 방식: 새로운 가치 창출
- 분석 기술의 발전: 가치가 계속 변화함
빅데이터 활용 기본 테크닉 7가지
- 연관규칙 학습 · 유형분석 · 유전 알고리즘 · 머신러닝 · 회귀분석 · 감정분석 · 소셜 네트워크 분석
위기요인과 통제방안
| 위기 | 통제 |
|---|---|
| 사생활 침해 | ‘동의’ → ‘책임’ |
| 책임 원칙 훼손 | 결과 기반 책임 원칙 고수 |
| 데이터 오용 | 알고리즘 접근 허용 |
- 알고리즈미스트: 알고리즘을 해석해 피해를 방지·구제하는 전문인력
개인정보 비식별 기술
- 데이터 마스킹 · 가명 처리 · 총계 처리 · 데이터 값 삭제 · 데이터 범주화
3장. 가치 창조를 위한 데이터 사이언스와 전략
일차원적 분석 예시
| 분야 | 예시 |
|---|---|
| 금융 | 신용점수, 사기 탐지, 가격 책정 |
| 에너지 | 트레이딩, 공급/수요 예측 |
| 병원 | 가격 책정, 고객 로열티, 수익 관리 |
| 정부 | 사기 탐지, 사례 관리, 범죄 방지 |
데이터 사이언스 구성 요소 (세 역량 모두 필요)
- Analytics: 수학, 확률 모델, 머신러닝, 분석학, 패턴인식
- IT: 시그널 프로세싱, 프로그래밍, 데이터 엔지니어링
- 비즈니스 분석: 커뮤니케이션, 프레젠테이션, 스토리텔링
외부 환경에서 본 인문학 열풍 (자주 출제)
| 외부 환경 | 변화 |
|---|---|
| 컨버전스 → 디버전스 | 단순 세계화 → 복잡 세계화 |
| 생산 → 서비스 | 제품 생산 → 서비스 |
| 생산 → 시장 창조 | 기술 경쟁 → 무형 자산 경쟁 |
패러다임
- 패러다임 = 고정관념 (용어 의미만 기억)
- 서비스가 패러다임과 맞아떨어져야 성공
가치 패러다임의 변화
- 디지털화 → 연결 → 에이전시