LITTLE BY LITTLE

2025년 한 해 정리하기

위나 — Tue, 30 Dec 2025 22:08:08 +0900

☃️목차

1. 운영시스템과 분석시스템의 구분(2025 ver.)
(1) OLTP와 OLAP의 이해: 트랜잭션에서 분석 데이터로의 전환
- 데이터 흐름의 가시성과 일관성
(2) ETL 관점에서의 데이터 파이프라인 설계
- 최적화 원칙
(3) 데이터 레이어 아키텍처의 이해
- 3-Layer 아키텍처
- 테이블 유형별 특성
- Fact와 Dimension의 분리 (스타 스키마 설계)

2. ERP 시스템 운영과 개선
(1) 문제가 생기지 않는 시스템 만들기
- 비즈니스 프로세스 분석
- 시스템 로직 분석 (abap)
(2) 사후 조치에서 사전 예방으로
(3) 암묵지의 형식지화 (2026~)

1. 운영시스템과 분석시스템의 구분
(1) OLTP와 OLAP의 이해: 트랜잭션에서 분석 데이터로의 전환

운영 시스템(ERP)의 트랜잭션 데이터를 분석 리포트로 재현하기 위해서는 원천 시스템에 대한 깊이 있는 이해가 필요하고
개발 방식에 대한 지식보다는, 데이터가 어떤 테이블에서 어떤 조건과 로직을 거쳐 집계되는지 파악하는 것이 중요하다고 느꼈다.

올해에는 작년에 중요하다고 생각했던 두 가지 원칙을 구체화해볼 수 있었다.

데이터 흐름의 1) 가시성, 2) 일관성이 OLAP 시스템의 핵심 (2024)
1) 가시성
- 사용자가 목적에 맞는 데이터를 쉽고 빠르게 조회할 수 있도록 구조 설계
- 요구사항 구체화 과정에서 더 나은 리포트 구조를 지속적으로 제안&협의
2) 일관성
- 원천 시스템과 동일한 값이 보여져야 함
- 값 검증을 반복하고, 불일치할 경우 로직이 차이나는 부분을 추적
- 데이터 모델링 구조를 정리하여 어느 단계에서 로직 오류가 발생했는지 파악
→ 모델링 구조를 체계적으로 정리하고, 분산된 데이터 속 오류 원인을 찾는 작업

1. 운영시스템과 분석시스템의 구분
(2) ETL 관점에서의 데이터 파이프라인 설계

리포트 구축 작업을 트랜잭션 데이터를 분석 목적에 맞게 전처리하는 ETL 관점으로 이해하게 되었다.

1. Extract 어떻게 가져올 것인지

원천 시스템에서 필요한 데이터만 효율적으로 가져오기 위해 적재용 뷰를 별도로 생성
해당 뷰에서 필터를 적용하여 필요한 데이터만 추출하여 테이블에 적재

2. Transform 트랜잭션 로직의 재구성

운영 시스템 프로그램에 적용된 필터, 조인, 예외 처리 로직 파악
목표 리포트 구현을 위해 어떤 로직을 선별적으로 적용해야 하는지에 대한 전체적인 이해 필요
전체를 아는 사람이 없기에, 분산된 정보를 수집하고 '조합'하는 능력이 중요
이를 위해 값을 맞춰보며 역으로 로직을 추적하는 방식으로 접근함

3. Load 성능 최적화를 고려한 적재 전략

리포트 모델링은 실제 테이블이 아닌 여러 단계의 가상의 뷰를 쌓아 만드는 구조이기 때문에, 성능과 시스템 부하를 고려한 설계가 필요함
뷰만 계속 쌓을 경우 조인 단계가 복잡해지고, 필터링 전 대용량 데이터를 매번 읽어야 하기 때문에 시스템 부하가 발생함

✅ 최적화 원칙

SELECT 중첩 횟수 최소화
필요 시 일부 연산을 물리화하여 테이블에 적재

1. 운영시스템과 분석시스템의 구분
(3) 데이터 레이어 아키텍처의 이해

복잡해서 내가 이해한 부분만 박스 표시 ..

작년에는 단순히 oltp는 운영 시스템, olap는 분석 시스템 정도로 구분하는 수준이었다면, 올해는 olap 구조를 직접 구축하며 레이어 개념에서 구체화한 모습으로 정리가 되었다

✅ 3-Layer 아키텍처
1) Inbound Layer

:운영 시스템에서 전달된 원천 데이터를 복제해오는 영역

2) Propagation Layer(통합 레이어)
: 여러 소스의 데이터를 조인 및 정제하여 분석용 Fact/Dimension 구조로 통합하는 공간

데이터 전파 단계로, 중앙에서 생성한 표준 모델을 셀프서비스 영역으로 공유
현업의 파워유저가 직접 모델을 생성하는 self-service 구조 지원

- 사용자 친화적인 gui 도구의 발전으로, 모델링 작업 자체가 self-bi 영역으로 확장되고 있다는 점이 인상깊었다.중앙에서 생성한 표준 모델을 propagation layer에서 공유하면, self-service modeller가 이를 기반으로 reporting layer의 모델을 파생시킬 수 있다
- 왼쪽 아래 “self service maturity model of business functions”를 보면, self service modellers는 성숙도의 중간 단계에 위치한다. 위로 올라갈수록 자율성, 권한, 책임이 증가하는 구조로, 이를 통해 조직이 나아가야 할 방향성을 생각해볼 수 있다

3) Reporting Layer
: 최종적으로 사용자가 데이터를 소비하는 공간으로 sac, power bi 와 같은 리포팅 도구에서 분석 및 시각화 수행

✅ 테이블 유형별 특성
: 데이터 적재 방식에 따라 세 가지 유형으로 구분할 수 있다

Remote Table: 원천 시스템을 직접 조회하는 테이블
Delta Table: CDC(Change Data Capture)로 변경분만 적재하는 구조
Local Table: 필터링 및 집계된 결과를 물리적으로 저장하여 매번 원천을 읽지 않아도 되도록 최적화

✅ Fact와 Dimension의 분리 (스타 스키마 설계)
: 운영 시스템에서 표시되는 값을 '어떤 fact에 어떤 dimension을 연결하여, 어떤 조건과 기준으로 집계된 값인지'라는 관점으로 재정의

Fact: 트랜잭션 데이터
Dimension: 기준정보 (분석 기준)
Association: fact와 dimension을 느슨하게 연결하는 관계

리포트를 설계하는 과정에서 sqld 공부할 때 이론적으로 학습했던 스타 스키마 개념이 떠오름

[Dimension 분리 기준]

1) 집계 및 필터의 기준이 되는 속성인가?
→ 요구사항에서 집계 기준으로 사용되는 모든 차원은 분리 필요

2) 두 개 이상 Fact에서 공통으로 사용되는가?
→ 공통 차원은 분리해야 리포트 간 정의 일관성 확보

3) 마스터 속성인가, 트랜잭션 속성인가? (자주 바뀌는지)

'변경 빈도'를 두 가지 관점으로 구분하면,
a. 트랜잭션마다 값이 달라지는 속성

주문번호나 상태는 Fact 레코드마다 다른 값을 지님, 공통 차원이 아닌 팩트에 두는 게 자연스러움

b. 매핑 테이블로 유지보수되는 마스터 속성

dimension으로 분리하지 않으면 기준 변경 시 fact 전체를 업데이트 해야 함 (+변경에 대한 이력 관리도 되지 않음)
분리하면 dimension만 업데이트하여 모든 fact가 자동으로 새로운 기준으로 집계됨
비즈니스 규칙(기준 변경)을 fact를 건드리지 않고 dimension에서 통제 가능

⚠️ 예외
사용자마다 다르게 정의되거나, 매일 바뀌는 임시 그룹은 고정 dimension이 아닌, 리포팅 툴의 사용자 정의 그룹 또는 파라미터로 처리하는 편이 낫다.

4) 계층구조를 갖고 있는가?

부모-자식 관계(ex.센터코드-창고번호)를 가진 속성
한 자식은 하나의 부모만 가지는 구조
계층구조로 설계하면, 사용자 입장에서 더 직관적인 분석 가능

당연히 계층구조인 차원을 제외하고, 계층이라는 것을 인지 못하고 있던 속성들이 있었다. 이런 경우 계층으로 설계하면 사용자 입장에서 더 편리할 것 같다.

5) 이해하기 쉬운가?

Dimension을 과도하게 분리하면 쿼리가 복잡해지고 현업에서는 헷갈릴 수 있음 (ex. 날짜 차원을 두 개 이상으로 쪼갠 경우 어떤 차원을 가져다 써야하는지 헷갈림)
반대로 과소 분리하면 한 dimension에 과다한 속성이 포함되어 의미가 불분명해지고, 재사용성이 떨어짐

2. ERP 시스템 운영과 개선
(1) 문제가 생기지 않는 시스템 만들기

어쩌다가 운영 업무를 맡게 되었다. 그나마 운이 좋게도, 시스템 개선 권한을 함께 부여받았다. 초기에는 시스템과 프로세스의 구멍을 메우는 작업에 많은 시간을 들였고, 흥미도 느꼈다.
운영자로서 문제를 임시방편으로 해결하기보다는, 설계자로서 문제가 발생하지 않는 구조를 만들었고, 그 결과 단순 운영업무는 사라지고 시스템 개선이라는 가치있는 업무로 전환되었다

[기존]

오류 발생 시 사후 수정 방식으로 대응
근본 원인은 방치되고 동일 오류 반복 발생
운영 업무 과부하

[현재]

오류가 발생하지 않는 시스템 구조 구축
단순 반복 업무를 시스템 개선 업무로 재정의
불필요한 운영 업무 감소

✅ 접근 방식
1. 문제와 연관된 전체 구조 이해
2. 문제의 시작점 찾기
3. 구조 재설계하기

그리고 위 접근 방법은 크게 두 가지 측면으로 나뉜다.
1) 비즈니스 프로세스 분석

품질 서버 환경에서 오류 재현 및 가설 검증
설계 및 개발 과정의 예외 상황 점검 (=설계/개발 과정에 구멍이 없는지 확인하기)
프로세스 흐름 상의 구조적 문제점 파악

2) 시스템 로직 분석

기존 구현 로직의 abap 코드 레벨 검토
비즈니스 요구사항과 시스템 구현 간 불일치 식별
개선 가능 지점 도출

두 작업의 본질은 '흩어진 데이터 속에서 원인을 추적하는 일'이다. 데이터 리포트 개발에서도 오류 지점을 찾아 로직을 바로잡는 과정이 가장 재미있었다

2. ERP 시스템 운영과 개선
(2) 사후 조치에서 사전 예방으로

✅ 개선 방향
사후 수정이 아닌, 최초 생성 시점부터 정확한 데이터가 입력되도록 시스템 및 프로세스 개선

✅ 개선 사례
case 1) 속성 간 동기화 로직개선
[문제]

특정 관리 단위의 상태 변경 시 연관 속성이 강제 동기화
독립적 관리가 필요한 상황에서도 수정 불가
주기적으로 상태를 원복하는 비효율 발생

[해결]

기본 동기화 유지하되, 필요 시 독립 수정 가능하도록 프로그램 수정
담당 부서에 예외 상황 처리 가이드 제공

case 2) 반복 패턴 기반 자동화
[문제]

변경 이력 분석 결과, 특정 속성이 신규 생성 시마다 수동 수정됨
명확한 패턴 존재했기에 자동화 가능하다고 판단

[해결]

패턴 기반 초기값 자동 설정 로직 구현
수동 개입 제거

case 3) 책임 소재 명확화

[문제]

요청자의 부정확한 정보 입력 → 관리자의 사후 검토 및 수정
동일 오류 반복 발생

[해결]

재작업을 요청하는 기능을 도입하여 요청자 책임 강화
관리자 업무 부담 감소 및 정합성 관리 주체 이동

✅ 향후 과제

통제와 편의성의 균형: 중앙 통제는 업무 신속성을 저해하나, 과도한 분권화는 정합성을 저해함
근본적 프로세스 개선: 검증 체계는 오입력을 방지할 수 있으나, 입력 시점에 정확한 정보를 확보할 수 없는 구조적 한계는 여전히 존재함

2. ERP 시스템 운영과 개선
(3) 암묵지의 형식지화 (2026~)

[배경]
- 기존: 중앙 통제(승인) 방식
- 목표: 표준 운영절차 기반 거버넌스 체계 확립

✅ 기준정보 속성에 대해 생성 로직과 영향도를 분석하고 정책을 문서화하여 체계적인 거버넌스 프레임워크를 구축하는 것이 목표

역할 및 책임 체계 정리
- 속성별 생성 및 변경 책임 주체 명확화
정책 및 절차 정리
- 속성 간 종속성 및 타 시스템과의 연관관계 파악
- 종속성 기반 업무 영향도 분석
- 속성 중 대부분은 독립적이 아닌 상호 의존적 구조
분석 프레임워크: Data - Rule - Impact 각 속성을 다음 세 가지 관점에서 체계적으로 분석
- Data: 데이터 정의
- Rule: 생성 및 변경 규칙
- Impact: 오류 시 영향 범위

[예시]
사례: 기준정보 속성 변경의 적시성 관리

Data: 변경 내용 적용일자
Rule: 요청일 기준 +n일
Impact: 규칙 미준수 시
- 계획 단계: 수동 수정 발생 → 운영 효율 저하
- 실행 단계: 잘못된 자재 투입 → 품질 이슈
- 수급 단계: 발주 지연 → 생산 차질

→ 이처럼 단일 규칙이 계획-실행-수급 프로세스 전반에 영향을 미친다.

✅ 적시성(Timeliness) 확보

업무 프로세스 실행 이전에 모든 기준정보가 정확히 반영되어야 함
종속 관계에 있으나 동기화되지 않는 속성 식별 및 개선

올해 잘한 일
1. 나에 대해 알게된 사실이 꽤 많음
- 보고 나서 생각하게 만드는 열린 결말 스토리를 좋아함 (feat. 파이 이야기)
- 미래를 상상하고 기대하는 게 내가 살아가는 원동력
- 정리하는 걸 좋아한다 = 학습하는 걸 좋아한다
- 아늑한 공간과 분위기를 (아주) 좋아함
2. 재테크 포트폴리오 정비
3. 자신있는 도메인이 생김 (작년 계획 2번)

내년 계획
1. 기록 부지런히 하기,,
2. 운동 꾸준히 하기
3. 출근 전/퇴근 후 루틴 만들기
4. 내 공간 정리정돈하기, 물건 최소화하기
5. 책!!!!!

Nelson Rules(1~4번) 파이썬으로 구현하기

위나 — Sun, 9 Feb 2025 17:13:48 +0900

사전 작업) 중심선, 상한선, 하한선 설정

조건문 (if-elif-else)

통계적 공정 관리 (SPC, Statistical Process Control) 개념

일반적으로는 평균,표준편차+=3시그마를 각각 중앙선, 상한선, 하한선으로 설정하나, 고정된 값(중앙선과 관리 한계값)을 사용해야하는 경우 다르게 설정하고, 그렇지 않은 경우에는 평균과 표준편차를 활용하여 동적으로 계산

def calculate_limits(group):
    type = group.name  # 그룹의 이름을 가져옴
	if type == 'A1':
        central_line = 75
        ucl = 80
        lcl = 70
    elif type == 'A2':
        central_line = group['value'].mean()
        std_dev = group['value'].std()
        ucl = central_line + 3 * std_dev
        lcl = central_line - 3 * std_dev
    elif type == 'B1':
        central_line = 142
        ucl = 146
        lcl = 138
    elif type == 'B2':
        central_line = 142
        ucl = 146
        lcl = 138
    elif type == 'B3':
        central_line = 25
        ucl = 30
        lcl = 20
    elif type in ['C1', 'C2']:
        central_line = group['value'].mean()
        std_dev = group['value'].std()
        ucl = central_line + 3 * std_dev
        lcl = central_line - 3 * std_dev
    else:
        central_line = group['value'].mean()
        std_dev = group['value'].std()
        ucl = central_line + 3 * std_dev
        lcl = central_line - 3 * std_dev
    group['central_line'] = central_line
    group['ucl'] = ucl
    group['lcl'] = lcl
    return group

규칙 1번) 상/하한선 초과

: 상한선을 초과하거나, 하한선을 초과한 인덱스를 가진 행 반환

rule_1_indices = group[(group['value'] > ucl) | (group['value'] < lcl)].index
for timestamp in rule_1_indices:
    rules.append((timestamp, timestamp, 1, 'Rule_1', tagname))

.index 속성

group[(조건)].index → 조건을 만족하는 행들의 인덱스만 추출

append()

rules 리스트에 새로운 튜플 (timestamp, timestamp, 1, 'Rule_1', tagname) 추가

for 반복문을 활용한 리스트 생성

관리 한계(UCL, LCL)를 초과하거나 미달하는 값의 인덱스만 가져옴 (=규칙 1번에 해당하는 경우의 값)
해당하는, rule_1_indices에 저장된 인덱스를 하나씩 가져와 rules.append() 결과df인 rules에 붙임

규칙 2번) 9개 연속 같은 쪽

: 연속적으로 관측된 9개 이상의 점이 중심선 위/아래 에만 존재할 경우.

즉, 9번 이상 평균과 상한선, 혹은 평균과 하한선 사이에 값이 존재하는 경우

*2번 부터는 슬라이딩 윈도우 적용

### 1)
def check_same_side(window, central_line):
    above = window > central_line
    below = window < central_line
    return np.all(above) or np.all(below)
### 2)   
for i in range(len(group) - 8):
    window = group['value'].iloc[i:i+9]
    if check_same_side(window, central_line):
        if start_index is None:
            start_index = i
        end_index = i + 8
    else:
    ### 3)
        if start_index is not None and end_index is not None:
            rules.append((group.index[start_index], group.index[end_index], end_index - start_index + 1, 'Rule_2', tagname))
        start_index = None
        end_index = None

슬라이딩 윈도우

데이터를 작은 구간으로 나누고, 그 구간을 한 칸씩 이동하면서 반복적으로 검사하는 방식
목적: 데이터를 구간별로 나누어 특정 패턴을 확인
예를 들어 윈도우 크기를 3으로 설정한다면, 3초씩 구간이 나뉘고 + 3초 간의 연속된 데이터가 조건을 만족하는지 검사

numpy 배열 및 boolean 연산

np.all(above) : 모든 값이 중앙선 위에 있음 → 모두 True → True 반환

슬라이싱 / iloc - 슬라이딩 윈도우 가져오기

range(len(group) - 8) : 9개씩 데이터를 가져옴
iloc[i:i+9] i부터 i+8까지 9개의 데이터를 추출하여 window 변수에 저장 (*iloc[start:end]에서 end값은 포함되지 않음)

for 반복문을 활용한 윈도우 이동

for i in range(len(group) - 8): 한 루프 당 9개씩 묶어서 비교
check_same_side(window, central_line)로 window(9개의 데이터)가 모두 중앙선 위 또는 아래에 위치하는지 검사

연속된 인덱스 찾기 (start_index, end_index)

연속된 패턴이 처음 발견되면 start_index에 저장
연속된 패턴이 유지되면 end_index를 갱신하여 end_index 업데이트
check_same_side()가 False가 되면 패턴이 종료
패턴 종료 시, 결과 리스트에 추가
이후 start_index = None, end_index = None으로 리셋

규칙 3번) 추세 - 9개 연속 증가/감소

: 여섯 개 이상의 점이 연속적으로 증가하거나 감소하는 경우 (=추세 존재)

*시계열 데이터에서도 추세가 존재하면 추세를 제거하고 모델링을 진행해야 하듯이, 여기에서도 추세가 존재하면 불량 패턴으로 의심해볼 수 있음

### 1)
def check_increasing_or_decreasing(window):
    increasing = np.all(np.diff(window) > 0)
    decreasing = np.all(np.diff(window) < 0)
    return increasing or decreasing

### 2)
for i in range(len(group) - 5):
    window = group['value'].iloc[i:i+6]
    if check_increasing_or_decreasing(window):
        if start_index is None:
            start_index = i
        end_index = i + 5
    else:
    ### 3)
        if start_index is not None and end_index is not None:
            rules.append((group.index[start_index], group.index[end_index], end_index - start_index + 1, 'Rule_3', tagname))
        start_index = None
        end_index = None

np.diff()를 활용한 증가/감소 판별

np.diff()로 연속된 요소의 차이(증가/감소) 계산
- np.diff(window)를 사용해 연속된 값들의 차이를 계산
- 증가 = 차이가 모두 양수 / 감소 = 차이가 모두 음수

슬라이딩 윈도우를 활용한 증가/감소 탐지

for 루프를 이용해 데이터에서 9개씩 묶어서 검사

연속된 증가/감소 구간 찾기

처음 감지되었을 때 (start_index is None인 경우) start_index = i 설정
패턴이 계속 유지되는 동안 end_index를 업데이트하여 가장 끝의 인덱스 저장
패턴이 더 이상 유지되지 않는 경우(else 실행)

규칙 4번) 교대 패턴 - 14개가 교대로 변동

: 연속적으로 관측된 14개 이상의 점이 번갈아가며 나타나는 경우

### 1)
def check_alternating(window):
    diffs = np.diff(window)
    signs = np.sign(diffs)
    alternating = np.all(signs[1:] != signs[:-1])
    return alternating
    
### 2)
for i in range(len(group) - 13):
    window = group['value'].iloc[i:i+14]
    if check_alternating(window):
        if start_index is None:
            start_index = i
        end_index = i + 13
    else:

### 3)
        if start_index is not None and end_index is not None:
            rules.append((group.index[start_index], group.index[end_index], end_index - start_index + 1, 'Rule_4', tagname))
        start_index = None
        end_index = None

np.diff()와 np.sign()을 활용한 증가/감소 방향 판별

np.diff로 연속된 차이를 계산하고, np.sign으로 차이값의 부호(+1,-1,0)을 반환해서, 부호가 교대로 변동하는지 확인
np.sign() 양수(1), 음수(-1), 0(0) 로 변환하는 함수 활용 - 값이 증가하면 1, 감소하면 -1
signs[1:] : 2번째 값부터 끝(14번째)까지 가져옴 = 현재 부호를 나타냄
signs[:-1] : 1번째 값부터 마지막 이전(13번째)까지 가져옴 = 이전 부호를 나타냄
np.all(signs[1:] != signs[:-1]) : 모든 연속된 두 값의 부호가 교대하는지 검사, 모두 다른 경우 true로만 구성된 배열 반환

슬라이딩 윈도우를 활용한 교대 패턴 탐지

for 루프를 이용해 데이터에서 14개씩 묶어서 검사

연속된 교대 패턴 구간 찾기

처음 감지되었을 때(start_index is None인 경우) start_index = i 설정
패턴이 계속 유지되는 동안 end_index를 업데이트하여 가장 끝의 인덱스를 저장

✅ 추가적으로 고려해볼 항목

예외 처리: 위의 함수는 비어 있는 데이터나, 중앙선과 정확히 일치하는 값에 대해 어떻게 동작할지 명확하지 않음
- 데이터에 NaN이 포함된 경우 어떻게 처리할까?
- check_same_side() 함수에서 같은 값(central_line과 정확히 같은 값)이 포함된 경우는 어떻게 처리할까?
최적화 및 성능 개선
- for 문을 사용한 슬라이딩 윈도우는 반복문을 직접 수행하기 때문에 속도가 느릴 수 있음
- 벡터 연산을 활용하여 Pandas의 .rolling() 메서드를 사용하면 훨씬 빠르게 연산할 수 있을 것

2024년 한 해 정리하기

위나 — Wed, 25 Dec 2024 16:59:21 +0900

1. 운영시스템과 분석시스템의 구분
2. 공부 방향성
(1) 기술
(2) 도메인
3. 데이터 기반 업무 방향성
(1) PI: 기존 업무 방식의 효율화
(2) 인과추론 입문: 실무에 필요한 데이터 사고
(3) 비즈니스 분석: 데이터로 가치를 만드는 과정
4. 총정리

1. 운영시스템과 분석시스템의 구분

참고( ▼ )
https://gibles-deepmind.tistory.com/entry/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%A7%88%ED%8A%B8%EC%97%90%EC%84%9C%EB%8A%94-%EB%AD%98-%ED%8C%8C%EB%82%98%EC%9A%94

데이터 마트에서는 뭘 파나요?(feat. OLTP, OLAP)

자~데이터 담으러 가자(feat.안내상님, 송곳) - 들뜬 마음으로 마트에 방문한 A씨. - 어라? 그런데 구매하려고 했던 바나나가 없다. - 바나나 다 팔렸나요? 질문을 남긴 안씨. 직원C씨는 알아 보고 오

gibles-deepmind.tistory.com

OLTP(Online Transaction Processing)와 OLAP(Online Analytics Processing)
: 지금 우리 회사는 OLAP 환경을 새롭게 구성하고 있다. OLTP 시스템이 일상적인 기업의 운영을 지원하는 반면, OLAP 시스템은 기업의 방향을 설정하는 역할을 한다.

OLTP(운영 시스템)
: 운영 시스템은 조직에서 사용하는 기존의 트랜잭션 처리 시스템이나 애플리케이션을 의미 (ex.ERP) 운영 시스템에서 데이터를 추출하여 데이터 웨어하우스로 전달

OLTP는 사용자가 데이터를 생성, 수정, 삭제와 같은 트랜잭션을 빠르게 처리할 수 있도록 설계됨
사용자가 입력한 데이터를 저장하거나 처리한 후, 필요한 데이터가 "데이터 추출" 과정을 통해 데이터 웨어하우스로 전달됨

OLAP(활용)
: 대량의 데이터를 기반으로 분석 작업을 수행하는 시스템을 의미

OLAP는 데이터의 다차원 분석, 보고, 의사결정을 지원하기 위해 설계됨
대규모 데이터를 분석 및 요약
데이터를 기반으로 통찰력과 패턴을 발견하는 데 중점을 둠
데이터베이스 설계는 비정규화된 구조로, 분석 속도를 향상시킴
데이터를 다차원적으로 분석하여 사용자가 인사이트를 도출하도록 지원하고, 이를 위해 데이터는 "데이터 웨어하우스"나 "데이터마트"에서 수집됨

OLAP 환경 - 기존 VS To-Be

	As-Is	To-Be
배포 방식	온프레미스 또는 클라우드(특히 SAP BW/4HANA) 기반	완전한 클라우드 네이티브 솔루션 * 데이터를 저장, 처리, 관리, 분석하는 모든 과정을 클라우드 상에서 실행 *온프레미스(내부 서버)에 설치할 필요가 없음
사용자 접근성	기술적인 설정 및 유지보수가 필요하며 주로 IT 전문가가 사용	직관적인 인터페이스로 비즈니스 사용자와 IT 사용자가 함께 작업 가능
데이터 저장	데이터가 로컬 데이터베이스(특히 HANA DB)에 저장됨	데이터 가상화 지원: 원본 데이터를 클라우드로 복사하지 않고도 분석 가능 데이터 가상화: 데이터를 가상 레이어(중간 계층)에서 연결해 가져와, 원본 데이터를 이동하지 않고도 접근 및 분석 가능 데이터가 여러 시스템(ex. SAP ERP, 다양한 DB)에 분산되어 있어도 데이터를 복사해서 하나로 모으지 않고, 각 시스템에 연결하여 필요한 데이터를 실시간으로 가져와 분석 (→ 항상 최신 데이터를 사용할 수 있음)
데이터 통합	데이터 (복사 및) 적재를 통해 통합된 데이터 웨어하우스 * 데이터는 웨어하우스에 정적인 형태로 저장됨 * 일반적으로 배치(batch) 처리 방식으로 일정 시간 간격마다 데이터를 업데이트하여 실시간 데이터 반영이 어려움	데이터 가상화 및 실시간 통합 기능 (ETL 없이도 원본 시스템에서 데이터 분석 가능)
확장성	온프레미스 환경에서는 확장에 제약이 있을 수 있음	클라우드 기반으로 유연한 확장 가능 * 시스템이 사용자나 데이터 처리량의 변화에 따라 자동으로 확장(Scale-out)하거나 축소(Scale-in)
유지보수	정교한 유지보수가 필요하며 IT 리소스가 많이 요구됨	클라우드 기반으로 유지보수 부담이 적음
분석 방식	주로 사전 정의된 데이터 모델(큐브, InfoObject 등)을 사용	셀프서비스 데이터 모델링 및 다차원 분석을 지원
혁신 수준	기존 OLAP 기능 중심의 전통적인 데이터 웨어하우스	클라우드 네이티브 기능으로, 최신 데이터 관리 및 분석 트렌드를 반영

OLAP
① 모든 영역이 데이터를 통해 모두 연결되어 있어, 영역 간 데이터가 불일치하면 연결된 다른 영역에서 오류를 발생시킬 수 있음
② 데이터 흐름의 1) 가시성, 2) 일관성이 OLAP 시스템의 핵심
③ 새로운 tobe 시스템이 데이터 가상화를 지원하기에 항상 최신 데이터를 조회할 수 있고, 실시간 데이터 조회는 데이터가 즉시 의사결정에 반영될 수 있게 하여 큰 비즈니스 가치를 창출할 수 있음

운영 측면에서 어떤 것들을 고민해볼 수 있을까?
기존 리포트를 비즈니스 중요도(예. KPI와의 연관성, 의사결정 기여도)에 따라 우선순위를 정하고, 해당하지 않는 리포트는 축소하거나, 재구성한다.
의사결정자와 주기적으로 논의하며 리포트의 구조와 활용 방식을 점검하는 과정 필요

2. 공부 방향성 (1) 기술

양치기로 공부 X 직관적인 이해를 바탕으로 공부하자

이론/기술을 '직관적으로' 이해하기
: 분석 방법론에 대한 공부는 복잡한 수식을 알려고 노력하는 것이 아니라, 분석 방법이나 파라미터 조정 방법등을 이해해서 새로운, 혹은 적합한 분석과 모델링을 위한 '영감'을 갖는 것이 목적 (공부할 때 기계적으로 지식을 집어넣고 이해만 하는 데에서 끝나는 것이 아니라, 어떻게 적용될 수 있을지 생각해봤어야 했다..)
예시 1.
회귀에서 Lasso 회귀는 L1규제라고 불리는 파라미터 값을 조정하면서 대다수의 변수가 무의미하다고 단정짓고, 유의미한 변수 몇 가지를 선택하는 방법론이다. 훈련 모델의 정확도가 떨어질 수 있는 리스크가 있지만, 모델의 복잡도를 낮추고 일반화된 모델의 성능을 높일 수 있다.

즉, L1규제는 '수많은 변수 중 많은 것들을 털어내고 몇 가지 확실한 변수만 골라낼 수 있는 방법
사례) 매주 발송되는 광고지면에 어떤 제품 카테고리를 비중 있게 싣는 게 좋을까? 라는 문제에 대해서, Lasso 회귀를 적용하여 전단광고에 반응하는 고객의 방문율과 구매금액에 미치는 요인이 '계절 과일', '유제품' 두 가지임을 알 수 있었고, 결과를 현장에 실험적으로 적용하여 기존에 100가지 넘는 다양한 카테고리를 표시했던 광고에서 유의미한 두 가지 카테고리 게절 과일과 유제품만 상세하게 실은 결과, 매출이 증가하였다.

그저 선형 회귀의 단점을 보완해 범용성을 부여하기 위한 방법이라고만 생각했었는데, 이게 어떤 상황에 적용될 수 있을까에 대한 고민을 깊게 해보지 않았었다는 것을 깨달았다.

예시 2. 회귀계수는 X,Y의 공분산을 X의 분산으로 나눈 값이다.분자 X,Y의 공분산의 의미는, '두 변수 X와 Y가 어떻게 함께 변하는지' → 즉 분자가 크면 X와 Y가 '함께' 많이 변한다는 의미, 기울기(회귀계수)가 커짐

분모인 X의 분산의 의미: 'Y의 변동성 중 X로 설명할 수 있는 부분'
- X의 분산이 크다.
  - X 값들이 넓게 퍼져있다.
  - 회귀분석에서는 변동이 큰 X를 선호한다, 그래야 Y의 변동을 더 잘 추정할 수 있고, 효과가 더 분명해지기 때문
  - Y를 예측하는 데 더 많은 정보가 있다.
  - 표준오차가 감소함 (*표준오차: 표본의 평균이 모집단 평균을 얼마나 정확하게 추정하는지=표본 평균들의 변동성)
    - x의 분산이 크면, 데이터가 x축에서 넓게 퍼져 있는 것이고, 더 많은 정보를 제공하면, 회귀계수의 불확실성이 줄어들어 표준오차가 감소하는 것
- 회귀식에서 절편의 의미: 베이스라인(기준 값)
  - 독립변수가 모두 0일 때의 결괏값으로, 다른 모든 요인이 없었을 때의 값이므로 기준 값으로 이해할 수 있다.
  - *MMM(마케팅 믹스 모델링): Y가 매출일 때 절편은 '기준 매출(성과)'가 된다. 모든 마케팅 활동이 이루어지지 않았을 때 기본적으로 기대할 수 있는 매출 [= 브랜드 충성도, 제품의 자연스러운 수요, 시장에서의 기본적인 위치를 통해 얻어지는 매출) (회귀계수는 마케팅 활동 변수(X1, X2,...)의 기여도를 나타내는 계수)

+추가

편향-분산 트레이드오프: f(x)가 복잡할 수록 더 많은 데이터를 캐치할 수 있어 편향은 작아지나, 더 많은 데이터를 캐치하기 위해서 더 많이 이동해야 하므로 분산은 커지게 된다.
- 예) 포화(회귀)모델: 모든 설명 가능한 변수와의 교호작용을 포함시킨 모델로, 데이터에 너무 완벽하게 맞추려고 하는 모델이다 보니, 데이터의 모든 세부적인 패턴과 노이즈까지 과도하게 반영이 된다. 훈련 데이터에서는 높은 성능을 보이지만, 테스트 데이터에서는 낮은 성능을 보이게 되는 전형적인 편향-분산 트레이드오프의 사례

2. 공부 방향성 (2) 도메인

도메인 지식의 중요성

매일 보는 데이터에 대한 이해 = 비즈니스에 대한 지식

데이터가 어떤 맥락에서 생성되고, 어떻게 활용되는지에 대한 깊이 있는 이해가 필요
데이터는 그 자체로 완전한 정보를 제공하지 않음, 데이터가 생성된 비즈니스 프로세스와 배경을 알아야 함. 예를 들어 DC율에 대한 데이터라면, 다음과 같은 질문을 던질 수 있어야 함
- DC율은 어떤 기준으로 설정되는가? 어떤 부서에서 어떤 목표를 기준으로 설정하는지?
- 매출 목표를 달성하기 위해 할인율을 조정한 것인지, 사후정산으로 산정된 것인지? 중간에 조정 가능한지?
  - 만약 사후정산 방식으로 산정된다면, 얼마나 효율적이었는지 평가할 수 있는 지표는 무엇일지
- 채널/제품별 DC율의 차이가 영업 전략에 어떤 영향을 미치는가?
- 만약 배경을 모른다면, 데이터 패턴을 잘못 해석하거나 중요한 변수 간의 관계를 간과할 가능성이 높다.
- 분석 결과 전달 시에도 현업 업무를 알고 있다면 비즈니스 니즈에 맞추어 전달할 수 있을 것

3-1. PI(Process Innovation): 기존 업무 방식의 효율화

※ PI: 기존 프로세스를 분석하고 병목현상, 비효율성을 찾아내어 개선 방안을 설계하는 업무로, 그 과정에서 핵심 시스템을 업그레이드하는 등 디지털 기반의 업무 환경을 구축하고, 업무 자동화를 추진한다.결과적으로 생산성을 높이고 운영 비용을 줄이는 전략을 실행함

데이터 분석 자체로 뭔가를 바꿀 수는 없다. 뭔가 바꿔야한다는 생각을 갖게 해주는 터닝포인트가 될 수는 있지만, 분석 과제 결과가 바로 업무 방식을 바꾸기는 힘들다.

모호했던 현상이 데이터를 통해서 구체적으로 정의되는 과정을 통해서 변화가 일어난다고 생각했는데, 그 과정 하나하나에 큰 의미를 두지 않는 느낌? 이 중간 과정에서 발생하는 인사이트, 새로운 지표같은 것들이 PI 관점에서는 중요하게 여겨지지 않는 것 같은 생각이 든다.. 근데 또 한편으로는 액션을 취할 수 없는 데이터 분석은 무의미하다는 말에 공감이 되기도 함

기술은 단순히 도구일 뿐이다
- 행사 계획을 세울 때 시뮬레이션을 해볼 수 있도록 대시보드에서 '직접 값을 입력했을 때 수식 결괏값이 바뀌는 기능'의 수요가 높았다.
- 매개변수라는 기능을 알게 되어서 제품별로 한 가지 값을 입력하면 연결된 산식 결괏값이 바뀌는 화면을 만들었는데, 요구사항 자체가 애초에 잘못되었다는 것을 깨달았다. 엑셀에서도 수식으로 시뮬레이션해볼 수 있고, 그 수단만 다를뿐 아무것도 바뀌지 않았다.
- 엑셀로 수식을 걸어 하던 작업을 대시보드에서 보다 ~~간단히~~ 할 수 있지 않을까? (X)
- 간단하다는 건 지금보다 수작업이 덜 들어가는 것일텐데, '값을 입력해서 결과를 확인하는 일'은 처음부터 끝까지 사람의 판단이 들어가기에 간단해질 수 없다. 사람의 판단이 들어가는 일은 수작업이 불가피하다.

상대방의 요구사항을 듣고 1) 구체화해보고, 2) 내가 구체화한 것의 의미가 상대방이 원했던 것과 동일한지 확인하고, 3) 기술적으로 가능한지 여부를 판단하고, 4) 안된다면 대안이 될 수 있는 방법은 무엇일지 단순히 제시하는 게 아니라, 데이터↔비즈니스 지식을 주고받음으로써 연결점을 찾으려고 노력하며 함께 찾아가는 과정이 중요하고, 내가 흥미있는 영역이라고 느껴졌다.

3-2. 인과추론 입문: 실무에 필요한 데이터 사고

머신러닝의 한계와 인과추론
: 머신러닝은 '만약' 값이 이렇게 바뀐다면 결과가 어떻게 될까?와 같은 질문에 답을 주지 못한다. 일부 변수들을 통제하면서 특정 변수의 효과를 확인하고 싶을 때, 원인과 결과 변수를 해석하는 데 관심이 있을 때에는 인과추론이 필요하다.
→ 현재 회사에서 필요한 답을 줄 수 있는 분석 방법론이 무엇인지 고민하던 와중, 인과추론을 위한 데이터 과학 책 서문에서 위와 같은 내용을 읽으며 내가 찾던 답이 여기에 있을 거라는 확신이 들었었었다.
→ 하지만 공부하면 할수록 너무나 많은 시간과 노력이 들어가는 것에 비해, 결과가 지엽적이라고 해야하나 .. 일반화하기 어려워 활용하기 위해서는 더욱 더 많은 시간이 필요할 것 같다는 생각이 들었다.

예) 추천시스템을 도입했을 때 기업 성과에 긍정적인 영향을 주는가?

위와 같은 질문에 대한 답을 내려면, 추천시스템을 도입할지 말지, 실제 서비스에 적용할지 말지에 대한 결정은 인과추론 문제가 된다.
위의 사진에서 보면 추천시스템을 통해서 상품을 구입한 액션의 75%는 추천 시스템이 없었어도 일어났을 것이라는 사실을 알아냈고, 그렇다면 나머지 25%(추천시스템을 통해 발생한 매출)가 추천시스템을 도입한 비용을 상쇄하는지, 회수할 수 있는지 확인해볼 필요가 있다. ~~"추천시스템의 정확도를 높인다 = 추가 매출이 발생한다"~~ 가 성립하지 않는다는 사실을 인지해야 한다.

→ 학부 시절에는 내가 분석한 결과가 얼마나 큰 비즈니스 임팩트가 있을지에 대한 고민은 해보지 않았다. 기술 자체에 초점을 맞춰 평가 결과가 높으면 좋은 것이었겠지만, 기업에서는 그래서 그 분석이 얼마나 기업의 성과에 영향을 주었는지가 더 중요하다.
→ 특히 회사에서는 분석 결과가 Actionable 한지, 성과에 기여할 수 있도록 뭔가를 바꿀 수 있는지 여부를 중요하게 여긴다. 그걸 판단하면서 분석 과제를 기획하고 수행해야하는데, 그게 제일 어려운 것 같다.

3-3. 비즈니스 분석: 데이터로 가치를 만드는 과정

업무에서 내가 좋아하는 영역 찾기

BA와 DA의 차이는 뭘까?
내가 느끼기에는 데이터 분석의 전반적인 과정을 쪼갰을 때, 비즈니스 분석은
1) 과제를 기획할 때 분석 결과가 비즈니스 임팩트가 큰지 고려하는 과정,
2) 결과가 활용 가능하고 actionable하도록 결과를 다듬는 과정
즉, 맨 첫 단계와 맨 마지막 단계에 집중하는 것 같고, 데이터 분석은 분석 과정 자체에 더 집중하는 느낌

내 생각을 기반으로 GPT가 그려준 그림(▼)

✅ 비즈니스 분석가(BA)

중점 영역: 비즈니스 문제 정의와 솔루션 설계
주요 역할
1. 문제 정의: 분석을 통해 해결하고자 하는 비즈니스 문제 정의
2. 가설 설정: 데이터 분석을 통해 검증할 가설과 목표 설정
3. 전략적 의사결정: 분석 결과를 바탕으로 Actionable 한 인사이트를 제안
4. 비즈니스 임팩트 평가(고려): 결과가 실제 비즈니스 목표(매출 증가, 비용 절감)에 미칠 영향을 평가
주요 질문
1. 왜 분석해야 하는가?
2. 어떤 방식으로 비즈니스 가치를 창출할 것인가?
3. 이 문제를 해결하면 비즈니스에 어떤 가치를 줄 수 있는가?
4. 분석 결과를 어떻게 활용하고 의사결정에 반영할 것인가?
고민 영역
1. 조직의 자원을 어떻게 효율적으로 활용할 수 있을까?
2. 어디에 우선순위를 두어야 할까?
3. 목표를 어떻게 설정해야할까?

✅ 데이터 분석가(DA)

중점 영역: 데이터를 기반으로 한 분석 수행/모델링
주요 역할
1. 데이터 수집 및 정제: 분석에 적합한 데이터 수집/클렌징
2. 분석 및 시각화: 데이터를 분석하고, 트렌드와 패턴을 도출
3. 모델링: 머신러닝, 통계적 모델링 등 심화 분석 수
4. 결과 해석: 분석 결과를 기반으로 데이터 중심의 인사이트 제공 (~~이 결과를 현업 담당자에게 다이렉트로 전달할 경우 그래서 뭐?라는 반응을 보일 수 있음,,~~)

→ 데이터에 대한 지식 + BA
: 데이터 기반 가설설정 / Actioanble Insight 강화

비즈니스 문제 정의 시, 실제 데이터의 구조와 가능성을 염두에 두고 실행 가능한 가설 설정 가능 (비즈니스에 대한 지식만 있는 현업이 데이터 과제를 기획한다고 하면, 데이터를 아예 모르는 경우 어떤 분석이 가능할지에 대한 감 조차 오지 않기 때문에 비현실적인 과제가 되어버림)
분석 결과가 실제 비즈니스에서 실행으로 이어질 수 있도분석의 '한계'를 이해하고 현실적인 적용 방안 설계 가능

→ 비즈니스에 대한 도메인 지식이 부족해서 활용가능하지 않아 분석 결과로 아무런 조치를 취할 수 없는 과제를 수행한 경험이 있다. 행사 진행/미진행 시 성과 차이로 베이스라인을 구해서 특정 채널의 특정 행사에 대한 효과를 제품별로 도출했는데, 알고보니 이 채널에서는 우리가 을이라서 행사 진행 대상 제품에 대한 결정권이 없었다. 그래서 해당 채널에 특정 제품을 행사 대상으로 넣어달라고 제안은 할 수 있겠지만 영향력이 크지 않으니 차라리 우리에게 결정권이 있는 유형의 행사를 분석하는 게 나았을 것이다. 분석 방법은 되게 복잡해서 시간이 많이 소요됐는데 활용하기 힘든 결과가 되어 현업 반응이 매우 부정적이었다. 이 경험을 통해서 도메인 지식의 중요성을 느끼고 해당 부분을 사전에 고려하지 못한 내 부족함에 앞으로의 업무 방향성에 대한 고민을 해보게 되었다.

✅ 비즈니스 분석에서 관심 있는 두 단계

1) 기획 단계
: 분석 결과가 비즈니스 임팩트를 최대화할 수 있도록 목표와 방향성을 설정하고 과제를 정의하는 과정

2) 결과 전달 단계
: 분석 결과를 실질적으로 활용 가능하고 Actionable하게 다듬어 의사결정과 실행으로 연결하는 과정
ex. '행사 영향도'를 도출했다면, 그대로 현업에 전달하는 게 아니라, 그래서 행사 할인율을 몇 %로 해야 하는지, 몇 개를 판매하는 것을 목표로 설정해야 행사 효과가 극대화되는지, 비용이 효율적으로 투입되는지에 대한 값을 도출하기 위한 계산식을 만들어서 행사를 계획하고 실행하는 주체인 현업이 액션을 취할 수 있는 결과를 전달하는 것 (실제로 결과를 현업에 보여줬을 때 활용 가능하려면 이러한 정보가 되면 더 좋을 것 같다는 의견에 내가 도출한 결과를 한 번 더 계산하여 새로운 산출식을 통해서 더 나은 결과물로 만들어진 경험이 있어서,이 마지막 과정의 중요성을 체감하였다.)

✅ BA의 핵심 역량과 목표

3-3-1. 가설 설정
" [개입(액션)]을 구현하면, [특정한 행동 논리]로 인하여 [목표 지표]를 기반으로 측정한 [비즈니스 목표]를 달성할 수 있다."

특정한 행동논리: 구현한 개입(기술)이 Actionable한지?
목표 지표: 성과 지표가 Measurable한지? 즉, 측정 가능한 목표 지표는 '중간 목표'라고 생각할 수 있음
비즈니스 목표: 성과 지표가 비즈니스 목표로 연결되는지?

ex)
" [구매 7일 후 리뷰 알림톡]을 구현하면, [재방문에 대한 동기 부여]로 인하여 [리텐션 지표 개선]을 기반으로 측정한 [ms 극대화]를 달성할 수 있다."
ex2)
" [지역별 차별화된 가격 정책]을 구현하면, [ 소비자의 가격 민감도를 낮추고 자사 제품에 대한 가치를 재인식시키는 효과]로 인하여 [MS 개선]을 기반으로 측정한 [시장 점유율 극대화]를 달성할 수 있다."

3-3-2. 조직의 의사결정 수준을 높이는 일

모든 구성원이 비즈니스 문제를 해결하기 위한 데이터를 활용할 수 있는 환경을 만듦
현재의 비즈니스 상황, 필요한 정보를 직관적으로 확인할 수 있는 대시보드를 만듦

※ 높은 의사결정 수준이란?

투입된 input 대비 output이 높아지도록 만드는 일
의사결정이 필요한 영역(예시)
1. 프로모션 할인율을 20%로 하는 것이 좋을지, 30%로 하는 것이 좋을지
2. 새벽배송 주문 마감 시간을 22시로 하는 것이 좋을지, 01시로 하는 것이 좋을지
위와 같은 의사결정을 하기 어려운 이유는, 수많은 '매개변수'가 포함되기 때문
1. 프로모션이 각각 20%, 30%일 때의 매출을 정확하게 예측할 수 있다면, 매출과 이익이 극대화되는 지점을 선택할 수 있을 것
2. 하지만 현실에서는 경쟁사 프로모션, 소비 심리 등 매출에 영향을 미치지만, 측정/수집이 불가능한 요소가 무수히 많음
3. 이러한 요소들을 최대한 모아서 예측 모델로 의사결정을 하는 게 최선은 아닐 것
4. 즉, 예측 모델의 정확도를 1% 올리는 데 많은 시간을 쏟기보다는, 도메인에 대한 이해를 높여서 의사결정을 하는 것이 나을 것

3-3-3. E2E(End-to-End) 프로세스의 이해와 최적화

: E2E 프로세스란, 비즈니스의 시작부터 종료 단계까지 전 과정을 이해하고 연결하는 프로세스로, 개별 작업이나 부서의 역할에 국한되지 않고 전체적인 관점에서 업무 흐름을 이해하고 최적화하는 데 초점이 맞춰져 있음

ex. 제조업의 E2E 프로세스 예시

수요 예측 및 계획(S&OP) *S&OP: Sales&Operation Planning, 판매 및 생산 계획
생산 계획 (생산)
자재 발주 (구매)
제품 출고 및 배송 (물류)
매출 마감 및 수익성 분석 (재무)

연계 분석/개선 기회 발굴
- E2E 프로세스의 각 단계에서 생성되는 데이터를 어떻게 엮어서 함께 분석해야할지 알 수 있음
- 마지막 재무 및 KPI 분석에 대한 지식은 매출, 비용, 수익성 등 비즈니스 지표와 연결하여 분석 결과의 가치를 극대화할 수 있
- 영역별 프로세스 이해를 통한 개선 기회 발견 가능
- 전체 업무 흐름을 이해함으로써 병목 현상, 비효율적인 단계를 식별할 수 있다.
- 프로세스 내에서 불필요한 작업, 반복적인 단계를 제거하거나 자동화할 수 있는 기회를 발견할 수 있다.
데이터 기반 과제 기획
- 프로세스 전반에서 발생하는 주요 데이터(수요, 생산량, 재고 수준)를 파악하여 분석에 필요한 핵심 데이터를 효율적으로 수집할 수 있다.(어느 영역에서 발생하는 데이터인지 알기 때문에)
- 비즈니스 임팩트 예측 가능: 특정 프로세스를 개선하게 되면 다른 단계에 어떤 영향을 미치는지 알고 있기 때문에 비즈니스적으로 어떤 영향을 미칠지 인지하고 어떤 문제를 방지할 수 있는지 판단할 수 있음
부서 간 협업 측면
- 공통 언어 습득: 각 부서 간의 요구와 우선순위를 이해하여 더 원활한 협업 가능
- 책임 소재 명확화: 프로세스 단계별로 각 부서의 역할과 책임을 명확히 이해하면, 문제 발생 시 더 빠르게 해결책 제안 가능

프로젝트 개선 프로젝트의 실행력 증대
- 비즈니스 임팩트가 큰 과제 식별
- 성과 추적 가능: 개선된 프로세스가 실제로 비즈니스 임팩트를 얼마나 주었는지 측정 가능

습득한 지식을 바탕으로 수행할 수 있는 프로젝트에는 무엇이 있을까
① 프로세스 개선: ex.생산 및 물류 프로세스에서 병목 구간을 파악하여 개선
② 비용 시뮬레이션: 비용 변화가 수익성에 미치는 영향 분석
③ 패턴 분석: 비효율적이거나 반복적인 패턴 발견 (비효율적인 패턴이라는 사실을 현업이 아닌 내가 알 수 있을까?.?)
④ 프로세스 자동화: 자동화될 수 있는 프로세스가 있다면 자동화하여 업무 효율 개선
⑤ 재고 최적화: 안전 재고 관리(적합한 수준 설정), 재고 이동 최적화, 실시간 재고 모니터링
⑥ 위험 감지 대시보드 운영: 리스크 요인을 실시간으로 감지해 조기 대응 가능
~~그 와 KPI 관련된 현황 분석(비용 절감, 클레임 데이터 ,,)도 있지만 그렇게 흥미로워 보이지는 않는다~~

접근 방식의 전환
알고 있는 분석 방법론이 한정적이고, 이론은 많지만 비즈니스에 적용할 수 있는 방법이 적다고 느껴짐
→ 비즈니스 문제 원인에 대한 해결책을 제시할 수 있는 인과추론에 대한 학습을 해보았으나, 실험 환경을 설계되어 있어야(혹은 설계해야)한다는 점에서 어려움을 겪음 → 비즈니스의 맥락과 문제 해결 중심으로 접근 방식을 전환해야 한다. 문제해결 중심의 학습 방법론에는 뭐가 있을까? 에 대한 답을 얻는 게 내년 목표 ,,

4. 총정리

✅ 내 성향&흥미&적성

GPT랑 정리하기
: 전체를 설계하고 구조화하며, 전략적으로 접근하는 거시적 사고 유형으로, 조직의 리더십, 프로젝트 매니지먼트, 프로세스 설계, 비즈니스 전략과 같은 역할에서 빛을 발할 수 있다고 한다..~~

시스템적 사고
- 여러 요소들이 어떻게 상호작용하여 전체 시스템을 구성하는지 이해
- 복잡한 프로세스를 단순화하고, 추상적인 현상이나 정의되지 않은 개념을 체계적으로 풀어내서 큰 그림에서 문제를 파악하여 개선점을 찾는 일
- 그리고 그 개념을 누구나 이해할 수 있도록 구체화하는 역량
- E2E 프로세스처럼 여러 부서와 단계가 얽힌 복잡한 과정을 체계적으로 이해하고 구조화
- 복잡한 데이터와 현상을 단순화하여 조직 내 이해관계자들에게 전달
전략적 사고
- 세부적인 디테일보다는 전체적인 목표를 설정하고, 이를 달성하기 위한 거시적인 방향을 설계하는 데 집중
- 프로세스 전반에서 '어떤 단계가 전체 비즈니스에 가장 큰 영향을 미칠까?'를 고민하고 최적화 방안을 설계
넓고 얕은 분석 성향
- 여러 주제를 폭넓게 다룰 수 있지만, 특정 문제를 깊게 파고드는 데서는 어려움을 느낌
- 여러 문제를 연결하고 맥락을 통합하는 데 강점, 세부적인 문제보다는 여러 문제 간의 관계를 파악해 통합적이니 해결책을 제시
조율자
- 다양한 이해관계자 간의 커뮤니케이션을 조율하고, 전체적인 방향성을 맞추는 데 능숙
- 협업과 통합적인 접근 방식을 통해 조직 내 조화를 이끌어 냄
논리적으로 정리하고 설득하기
- 데이터를 통해 자신의 생각을 검증하고, 논리적으로 정리하여 타인을 설득하는 영역에 흥미를 느낌
- 데이터 인사이트를 바탕으로 전략을 수립하고, 의사결정권자들을 설득하는 역할
- 분석 결과를 시각화하거나, 서사적으로 풀어내어 비즈니스 임팩트 도출

✅ 성향을 기반으로 보완할 점

세부적인 디테일 보완
- 분석을 심화할 때 협업을 통해 디테일을 보강
- 특정 문제에 집중하는 습관 기르기 - 문제를 세분화하고, 각각의 세부적인 원인을 탐구하는 연습
깊이 있는 분석 훈련
- 특정 영역을 깊이 파고드는 연습을 통해 세부적인 통찰력 키우기
- 하나의 문제를 설정하고, '왜?'를 반복적으로 질문하며 근본적인 원인을 탐구하는 연습

✅ 올해 아쉬운 점 - 데이터 기반 실험과 검증과정의 부재 (대시보드의 한계)

A. 대시보드만 제공한 경우
: 특정 지역의 매출이 낮다는 사실을 대시보드로 보고했다면, '매출이 낮은 지역에 프로모션을 강화해야하나?'라고 추측하고, 실행으로 이어질 수 없음

B. 실험 설계를 추가한 경우

분석 결과: 특정 지역의 매출이 낮음을 발견
가설 설정: 프로모션 강화가 매출 증가로 이어질 것이다
실험 설계: 해당 지역 매장의 일부에 할인 쿠폰을 제공하고, 나머지는 그대로 유지
결과 검증: 할인 쿠폰 제공 매장에서 매출이 15% 증가한 것을 데이터로 확인
확장: 프로모션 전략을 모든 매장으로 확대 적용

< 가설 도출 → 실험 설계 → 결과 분석 → 확장 및 최적화>로 이어지는 프로세스의 체계화 필요
→ 시각화한 대시보드만 던져주고 데이터 기반 의사결정을 해라, 업무 방식을 바꾸라고 하면 당연히 현업에서의 활용도가 낮을 것
→ 대시보드와 실험 결과를 연결하는 단계가 필요하다.

※ 실험이 중요한 이유

데이터 분석이 유의미함을 검증하여 결과의 신뢰성을 확보할 수 있음 (기존 방식의 변화를 이끌어낼 수 있음)
비즈니스 리스크를 최소화할 수 있음 (분석의 신뢰성이 확보되지 않은 상태에서 전사적으로 바로 도입하는 것은 불가능)
의사결정 지원: 의사결정권자에게 구체적인 데이터와 "결과"를 제공하여 실행 가능성을 높임

※ 비즈니스 딜레마
: 비즈니스 효과를 측정하려면 실행해야 하지만, 실행 전에 그 효과를 확신할 수 없다는 딜레마는 데이터 기반 의사결정 과정에서 매우 일반적인 상황
→ 이러한 상황에서 실험 및 검증 과정이 중요한 역할을 할 수 있다. 실행을 먼저 하되, 국소적으로 실험을 진행하여 실행의 리스크를 를 제한된 범위로 축소하여 안전하게 새로운 방안을 테스트할 수 있고, 효과의 신뢰성을 데이터로 입증할 수 있음
→ 즉, 실험은 분석 결과를 실행 가능한 형태로 구체화하고, 성과로 이어지는 중간다리 역할을 한다.

ex. 실험 및 검증 과정이 추가된 프레임워크

목표 정의: 실험을 통해 해결하려는 비즈니스 문제 설정
가설 설정: 데이터 기반 가설 수립
실험군/통제군 설정: 실험군(새로운 방식 적용)과 통제군(기존 방식 적용)을 나눔 (ex. 특정 고객 그룹만 할인 적용)
KPI 및 측정 방법 설정: 실험 결과를 평가할 수 있는 KPI 정의
실행 방안 검증 & 결과의 지속적인 개선
성공사례 확산

올해 잘한 일
1. 스터디 한 것
: SQL은 다 까먹은 것 같긴하지만..^^ 인과추론을 경험해봐서 좋았다
2. 운동 시작한 것
: 재미도 적당히 있고 성취감도 있고 꾸준히 할 수 있는 운동인 것 같아 계속 꾸준히 하려고 한다
3. 하고 있는 일의 의미를 이해하려고 노력한 것 (뭐든 생각하기 나름~)
:주입식 교육의 폐해인지 뭔지 효율을 중시하는 기계적인 업무 성향을 가지고 있다는 것을 깨닫고(..) 최대한 주어진 일에 주인 의식을 가지고 주도적으로 하려고 노력 중..~~
4. 답답할 때 일기 쓴 것
: 내가 왜 답답했는지, 어떤 점에서 그런 감정을 느꼈는지 알 수 있어서 비슷한 일이 생겼을 때 대처하는 방식이 조금이나마 나아지는 것 같아 앞으로도 종종 쓰려고 한다. 역시 기록하지 않으면 남는 게 없다

내년 계획
1. 기록 부지런히 하기 (특히 생각) (월 1회)
: 연초에 호기롭게 매일 매일 업무한 것, 느낀 점 등을 기록하려고 하다가 주 단위로 줄였다가, 월 단위로 기록하다가 흐지부지 됐는데 이번엔 월 1회만 꾸준히 하는걸로~.~
2. 현업 업무 용어/프로세스 이해
: 내가 깊게 파고들고 싶은 영역이 어디인지 찾을 수 있었으면 좋겠다. 지금은 전체적으로 얕게만 알고 있어서 나만의 전문 도메인 영역(?)이 내년 말에 기록할 때 즈음에는 있었으면~
3. 업무적으로 하고 싶은 프로젝트 구체적으로 생각해보기 (가능하면 수행까지..!)
: 예를 들어 데이터 기반 실험과 검증 과정을 업무에 도입하고 싶다면, 스스로 작은 실험을 진행하고 성과를 입증하여 제안을 해볼 수 있을텐데, 그 제안이 구체적이려면 혼자서 생각을 많이 해봐야 할 것 같다
4. 운동 꾸준히 하기 (주 3-4회)
5. 재테크 공부 주기적으로 하기 (월 1-2회)

[1~2] 비즈니스 분석 강의 리뷰

위나 — Sat, 12 Oct 2024 15:00:39 +0900

비즈니스 분석의 역할과 가치

분석을 하지 않는 회사의 공통점

유저 수는 늘어나지만, 이익은 늘어나지 않음
프로젝트 수는 늘어나지만, 손익이 개선되지 않음
매출 증감의 이유를 모름 (특히 증가하는 이유를 찾지 않음)
회사의 중단기 목표를 숫자로 표현하지 못함
신규 프로젝트의 정량적 목표를 세우지 못함

→ 이익, 손익, 매출, 정량적 목표(KPI) .. 회계에 대한 지식이 없다.

비즈니스를 이해하는 법
: 예를 들어 제조업에서 장비 대여 ▶ 재료 준비 ▶ 환경 세팅 ▶ 제작 ▶ 판매 ▶ 결제 등과 같은 순서를 구조화하면, 각각의 단계에서 도출되는 관리 항목, KPI를 알 수 있다.

✅전략 방향성 이해

예를 들어 제품 단가를 올리는 전략을 세운다면,

1.
원가/ARPU(유저 1인당 평균 수익) 상승
▶ 유저 수 줄어듦
▶ 매출은 유사함
▶ 왜..? 이유를 찾지 못함 (Bottom Up, X)

2.
고급화 전략을 취했을 때에는 원가/ARPU가 상승하고, 유저수는 떨어지니까
▶ △P가 △Q보다 크면 (가격 증가분보다 판매수량 증가분이 더 크면) 매출은 늘어나겠다고 생각할 수 있다. (Top Down, O)

✅사업구조를 이해하는 순서

ⓐ 사업구조 → ⓑ 매출
ⓑ 매출 ↔ 비용
ⓑ 매출 → ⓓ 마진
ⓒ 유저 → ⓑ 매출

비즈니스 모델 캔버스
: 사업 구성 9요소를 통해 비즈니스 모델을 분석하는 방법

ex. 배달의 민족

1. 고객 세그먼트 [전화 주문을 불편해하는, 모바일 환경에 친숙한 사람]
2. 가치제안 (차별화 포인트) [온라인에서 보고 주문할 수 있는 전단지]
3. 채널: 고객과의 접점, 내 서비스를 판매하는 공간 [app]
4. 고객관계: 고객과의 관계를 위해 추가로 하는 활동 (브랜딩, SNS) [굿즈, 이벤트]
5. 수익원 (수익창출방법) [거래 수수료/광고 매출/배달 매출]
6. 핵심자원 [식당/배달원]
7. 핵심활동 [식당/프랜차이즈/맛집, 배달 서비스]
8. 핵심 파트너십 [식당 확보/빠른 배달 서비스]
9. 비용구조 (주된 비용) [식당 정산비용/배달 비용]

※ 린 캔버스
: 비즈니스 캔버스와 유사하나, 스타트업의 문제해결에 최적화된 방법으로, 문제, 고객 세그먼트, 가치 제안, 해결책, 경쟁 우위, 수익 흐름, 비용 구조, 주요 지표, 채널로 구성

✅ 비즈니스 캔버스 2)가치 제안의 유형

기능적 가치
- Bundled - 쿠팡 와우(+쿠팡 이츠, 쿠팡 플레이) [리텐션 ↑]
- Unbundled(=디커플링) - 토스 초기 송금 기능과 같이 니치시장으로 시작하여 확대해가는 것, 스타트업에서 주로 진행
- Bait & Hook(면도기&면도날) - 소모품, 캡슐커피와 같이 지속적 변동비가 발생하는 구조
- 커스텀 - 개인 맞춤 서비스 제공
경제적 가치
- 최소화 - 부가서비스 판매로 수익 형성 (ex.저가 항공)
- 멤버십 - 손익관리를 잘해야 함 (ex.코스트코)
- Pay By Others - 이용자가 아닌 사람이 비용 지불 (ex. 입시학원)
- 광고모델 (ex.유튜브)
- Freemium - 기본상품 무료, 추가기능 유료 (ex.스포티파이)
- Flat Rate Subscription - 정해진 요금만 내면 무제한 이용
- Pay Per Use (VOD, 종량제) - 이용한만큼 지불, 주로 시장이 확대하여 light-user가 증가할 때
심미적 가치
- 캐릭터(ex.카카오뱅크), 스토리텔링 ..
사회적 가치 (ESG)
- 기부모델, 업사이클 (ex.프라이탁), 공정무역 (ex.스타벅스)

비즈니스 분석을 위한 서비스 뜯어보기

✅ 유저 플로우 차트

: 서비스의 디테일한 흐름을 파악하는 도구 (→ 단순화한 것이 AARRR)

→ 디테일한 지표 도출

*비즈니스 모델 도식화 - 관리 Point 도출

ex. Funnel 분석

1. 인입 → 약관동의 → 본인인증 → 추가정보 기입 → 신규회원(#)

ⓐ [약관 동의~추가정보 기입] 까지의 퍼널 간소화

: by UI/UX 개선, 간편가입

ⓑ 신규회원 단계 날리기 (ex. 네이버페이)

: Acquisition 단계를 버리고 최종 Goal인 Revenue에 집중

* 회계는 제조기반 기업을 이해하기에 적합하고, 데이터는 이커머스 중심 기업을 이해하기에 적합함

매출/비용 구조의 이해를 통한 실적 분석

관리회계의 기본 개념

: 회사 내부에서 사람들이 쉽게 이해하고 직관적으로 바라볼 수 있게끔 변형한 개념

사업의 수익성 판단

매출과 영업이익 기반으로는 사업의 수익성(매출이 증가했을 때 흑자 전환 가능여부)을 알 수 없음
매출원가, 인건비, 월세 등의 정보가 같이 주어진다면 알 수 있음 (=관리회계)

✅ 관리회계의 유일한 규칙

: 비용 = 변동비와 고정비 / 공헌이익 = 매출-변동비

변동비: 매출의 증감에 따라 같이 증감 (*매출을 만들어내는 데 직접적으로 들어가는 비용)

ex. 원재료, 포장 운반비, 각종 수수료

고정비: 매출의 증감과 관계없이 발생

ex. 인원 연동, 사무실 관련, 인프라 관련 비용

→ 변동비는 비즈니스 모델에 따라 구성요쇼가 조금씩 바뀐다.

공헌이익, 변동비와 고정비

공헌이익
: 고정비를 회수하는 데 공헌하는 이익

공헌이익 = 사업의 결과
→ 매출 - 변동비 = 공헌이익

영업이익 = 회사 운영의 결과
공헌이익 - 고정비 = 영업이익
→ 즉, 영업이익이 +가 되려면 공헌이익 > 고정비가 되어야 함

✅ 다양한 산업에서의 변동비 구성

[이커머스(생산/사입)]
매출 ▶ 매출원가 ▶ 포장비 ▶배송비 ▶ 수수료
변동비: 재고 생산(구매) 비용, 포장비, 운반비, 결제수수료, 판매수수료

[이커머스(중개)]
변동비: 판매 정산비, 포장비, 운반비, 결제 수수료

[컨텐츠 플랫폼]
매출 ▶ 매출원가(=저작권료=지급수수료) ▶ 수수료
변동비: 컨텐츠 이용료, 결제 수수료

[테크회사] ex.당근마켓
매출 ▶ 수수료
변동비가 없는 경우 多

변동비 Base
ex. OTT

수익 = 컨텐츠 시청 시간/전체 시청 시간 : 시청 시간에 비례해서 금액을 정산 (RS, Revenue Share계약)
매출이 늘어남에 따라 같은 비율로 계속 비용이 나감
마진율이 개선되지 않는다는 단점
초기 자본이 필요없다는 장점

고정비 Base
ex. OTT

합의한 비용을 초기 1회 지급 (FLAT 계약)
매출이 증가해도 추가 비용 없음
판매가 많아질수록 마진율이 개선된다는 장점
초기에 투자해야할 자본이 필요하다는 단점

변동비 유형 - 매출 연동형 VS 주문수 연동형

매출 연동형: 매출 금액에 비례하여 발생하는 비용 (판매수수료, PG수수료, 저작권료, 로열티)
주문수 연동형: 주문수에 비례하여 발생하는 비용 (포장비, ,배송비, SMS 전송비)

✅ AOV (평균주문금액)
: 일정 기간동안 발생한 모든 고객 주문의 평균 금액

원가가 증가하면(비싼 물건이 판매되면) → AOV(평균주문금액)가 증가하고, → 그에 따른 결제 수수료가 증가함
배송비/포장비는 주문수 연동형이기에 원가가 증가해도 변동이 없음

→ 즉, 원가 & AOV & 공헌이익(매출-변동비) 함께 증가

✅마케팅 비용(ME)은 변동비?고정비?

→ 케바케

[퍼포먼스]
: 집행 비용이 매출과 직결, 매출 증가 시 예산 확대
(→ 변동비 성격)

※ 퍼포먼스 마케팅의 성과 분석이 원활하지 않다면, 고정비로 구분하는 게 분석이 용이

[브랜딩]
: 집행 비용이 매출과 직결되지 않음, 고정 예산 수립 후 집행
(→ 고정비 성격)

손익분기점(BEP) 계산

Q1. 매출이 10배가 되면, 흑자로 전환될 수 있을까?

→ 비용이 변동비/고정비로 구분되어 있지 않아 위 내용만으로 사업의 수익성을 판단할 수 없다.

→ 공헌이익 = 1,000 - 900 = 100

→ 영업이익 = 100 - 1600 = -1500

✅ Steps
ⓐ 비용을 고정비와 변동비로 나눈다.
ⓑ 공헌이익과 공헌 이익율을 계산한다.
ⓒ 매출 * 10 > 공헌이익
→ 1,000 * 10 - 900 * 10 = 1,000
ⓓ 공헌이익 - 고정비 > 0
→ 1,000 - 1600 = -600 (적자)

※ 매출에서 변동비를 뺀 공헌이익(사업의 수익성)이 고정비보다 높을 때 수익성이 생긴다.

Q2. BEP 판매량과 영업이익 300만원의 판매량은?

→ 공헌이익 = 1,000 * Q - 400 * Q = 600 * Q
→ 영업이익 = 공헌이익 - 600,000(고정비) = 0 이 되려면, 공헌이익이 600,000이 되어야 하므로, Q = 1000개
→ 영업이익 = 3,000,000 이 되려면, 공헌이익이 3,600,000원이 되어야 하므로, Q = 6000개

Q3. BEP 매출은?

▶ 433,417,329 / 13.95% = X, 고정비 = 3조
▶ 매출을 1조 더 벌면, BEP를 달성할 수 있음

P&L (Profit&Loss) 개선점 도출

ⓐ 관리회계 포맷으로 정리, 변동비와 고정비로 구분

ⓑ 갭이 큰 항목 확인

변동비는 매출증감과 비교: 변동비 中 매출 증감율보다 너무 크거나 작은 항목
고정비는 전년대비 증감액이 크거나 작은 항목 (증감율보다는 금액으로)

※ %로 보면, % 변동은 큰데, 전체 금액은 미미한 경우가 있기 때문에 금액 위주로 파악

① 무신사

✅ 매출: 3가지 BM(Business Model, 수익 모델)

상품매출: 사입해서 판매하는 걸 상품매출이라 부름
제품매출: 제품을 제조해서 판매하는 것 (무신사 스탠다드)
수수료매출: 오픈마켓 형태에서 판매수수료를 걷어가는 것 (거래액에서 떼가는 수수료)

✅ 변동비: 재고를 사거나 만들 때 들어가는 비용

재고자산매입
지급수수료
운반비(택배비)

✅ 체크 포인트

상품 매출 (▲62.26%) - 플랫폼의 규모를 크게 보이도록 하는 노력 (브랜드를 확장하는 과정에서 많은 사입을 한 것)
변동비>재고자산매입 (▲52.65% ) / 변동비>운반비 (▲310.61%) - 오픈마켓은 재고자산을 팔 필요도, 배송할 필요도 없기 때문에 상품/제품에 대해서만 재고자산매입, 운반비가 발생
공헌이익률 (▲62.26%) - 사입해서 판매한 상품이 많다보니, 마진율(공헌이익률)은 소폭 감소함
고정비>인건복리비 (▲38.13%) - 아직도 규모를 키워가는 중임을 알 수 있음
고정비>광고선전비 (▼-1.73%) - 역성장, 즉 더 이상 마케팅을 과하게 할 필요가 없어졌다.
영업이익 (▼-39.99%) - 규모를 키우기 위해서 한시적으로 나가는 비용이 컸을 것으로 파악이 되어, 영업이익이 감소하였다.

※ 연결된 개념: 상품/제품 ↔ 재고자산,운반비/포장비 (수수료 매출과 무관)
※ 수수료 매출은 비용이 발생하지 않기에, 매출이 그대로 이익으로 꽂히는 구조

② 오늘의집

상품매출 (▲8.10%) / 광고매출(▲100.23%) - 무신사와 반대로 수수료/광고 매출이 많이 증가하고, 상품 매출이 크게 성장하지 않아, 재고자산,운반비,지급수수료와 같은 변동비 증감도 크지 않음
운반비 (▼8.10%) - 운반비는 상품 금액과 관계 없기에, 고가의 상품이 많이 팔리다보니, 운반비가 감소되는 것처럼 보여질 수 있다.
인건비 (▲38.05%) - 인건비가 증가하고 있다 → 회사 규모가 커지고 있다.
마케팅비 (▼30.54%) - 마케팅비가 감소하고 있다 → 플랫폼 규모를 키웠기에 불필요한 마케팅비를 지출할 필요가 없어졌다.

→ 내가 파는 게 아니라, 남이 들어와서 파는 게 커지다보니, 오늘의집은 광고매출로써 매출을 올릴 수 있는 구조로 바뀌어가고 있다. (무신사와의 제일 큰 차이점, 무신사는 직접 사입하거나, 직접 만드는 매출을 크게 키워나가고 있는 상황)

③-1 마켓컬리 (2020-2021)

매출 (▲63.83%) / 변동비>포장비 (▼ -13.87%) - 매출은 60%이상 증가했는데, 포장비는 오히려 감소
→ 일회용품이 아니라, 컬리 퍼플 박스로 대체하여 포장비가 save되고 공헌이익이 개선됨
고정비>인건복리비 (▲167.26%) - 성장하고 있는 회사

③-2 마켓컬리 (2021-2022)

변동비>운반 및 임차료 (▲16.01%) - 물류센터가 효율적으로 운영되기 시작하면서 불필요한 비용을 줄일 수 있었다. 매출(30%)에 비해 적게 증가(16%)
고정비>인건복리비 (▲38.90%) - 성장하고 있다

③-3 마켓컬리 (2022-2023)

매출 (▲1.97%) - 매출이 거의 성장하지 않음
변동비 (▼-0.34%) - 대부분 역성장, 운반 및 임차료가 증가한 건 물류센터 관련 이슈로 판단됨
고정비 - 대부분 역성장

→ 구조를 오픈마켓(3PL, Third Party Logistics, 제3자 물류)의 형태로 바꿔나가고 있다

✅ P&L 개선 팁

매출이 적으면, 손익 개선이 의미가 없으니, 유의미한 매출을 만드는 게 더 중요
컨트롤 할 수 있는, 협상력 있는 부분을 공략
가격을 올리는 것이 가장 효과적인 손익 개선법 (=가격 올리는 건 프로모션을 줄이는 것과 같은 효과)
고정비 중 가장 줄이기 힘든 고정비는 인건비이기에, 채용에 신중해야 함

음악 플랫폼의 P&L 개선 사례

[커머스]
매출 ▶ 상품원가 ▶ 포장비 ▶ 물류비 ▶ 수수료

[음악 플랫폼]
매출 ▶ ~~음원비용~~(저작권법,컨트롤불가) ▶ ~~포장비~~ ▶ ~~물류비~~ ▶ 수수료 → 유일한 Loss
→ P&L개선을 위해서는 결제수수료를 줄여야 함

1. 수수료 현황 파악

간편 결제(2-3%) > 카드 결제(2-3%) > 휴대폰 결제(6-8%) > 인앱 결제(15-30%) 순으로 수수료 높음
휴대폰 결제 수수료율이 타 방식에 비해 2~3배 높음 (사용률은 더 낮음)

→ 결제 수수료를 줄이기 위해서 휴대폰 결제를 없애기로 판단하고, 없애기 위해서,

2. 휴대폰 결제 수단 삭제

간편결제 수단을 최대한 추가해서 간편결제 유도 (카카오페이, 네이버페이, 토스페이 연동)
UI개선(간편,카드결제 상단 노출, 기본 설정값)

3. 결과

: 결제 수수료율 1%p 이상 감소

GMV(Gross Merchandise Value, 총 상품 가치, 누적 거래액)

GMV를 보는 비즈니스의 특징

사입X, 오픈마켓과 같은 단순 중개 플랫폼
매출을 여러 기간에 나눠서 인식
계약의 성사와 매출 인식의 시간 차이가 크다.

GMV를 보면서,

특정 기간의 사업 성과에 대한 직관적인 판단을 내릴 수 있고,
시장 점유율을 파악할 수 있고,
매출의 선행 지표로 활용할 수 있다.

① 정가 기준 GMV

목적: 할인 규모 파악
실무적 활용도 ↓
판매자가 설정한 할인은 정산에 반영됨

- 판매자 할인 금액

-------------------------------

② 정산 기준 GMV

목적: 할인 규모 파악 / 정산 수수료 예측
플랫폼에서 자체 진행한 할인은 정산 시 제외

- 플랫폼 할인 금액

-------------------------------

③ Net GMV

실제로 고객이 지불한 금액의 합
정산기준 GMV 바탕으로 수수료 계산
정산 수수료는 일반적으로 5~30%

- 판매자 정산 수수료

-------------------------------

= 매출(Net Revenue)

✅ 9월에서 11월 사이 GMV가 약 10배 성장했다고 했을 때,

기간 이슈는 없는지?
- 10배 성장의 기준점이 10-11월 누적 GMV인지, 11월 GMV인지, 21년 전체 GMV인지
- 기간을 모호하게 표기했을 수 있다.
지속성 이슈는 없는지?
- 프로모션 진행 여부 및 기간 확인.
  - 파격적인 할인을 통해 오더 수를 과하게 늘리고,
  - 정산 수수료를 낮추거나, 프로모션 지원금을 늘려서 상품 가격을 인위적으로 낮췄을 수 있다
- 재구매율 확인
지표 이슈는 없는지 확인해야 한다.
- 할인/취소 금액도 포함되어있는 것은 아닌지 등

[알고리즘] 정렬 - K번째 수

위나 — Sat, 7 Sep 2024 16:54:53 +0900

https://school.programmers.co.kr/learn/courses/30/lessons/42748

프로그래머스

코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요.

programmers.co.kr

array가 [1,5,2,6,3,7,4] 이고, 매개변수인 commands가 [i,j,k] = [2, 5, 3]일 때
array를 2~5번째까지 자르고, 자른 배열 [5,2,6,3] 을 정렬하고(2,3,5,6), 3번째 수를 return → 5
[제한] array의 길이는 1~100, 원소는 1~100, commands의 길이는 1~50 원소의 길이는 3

1. 자르고 → 슬라이싱 활용 list[start:end]

array[i:j]

2. 정렬 → 리스트 정렬 sorted(array) 활용

sorted_array = sorted(array)

3. n번째 값 반환 → 인덱싱 활용 array[n]

sorted_array[k]

✅ 반복(for)문 사용

: 여러 개(i,j,k)의 형태로 주어지는 commands 처리

for command in commands:
	i,j,k = command

✅ 유효성 검사

: slicing하기 위해 i<=j 조건 필요 (j가 더 작을 경우 순서 바꿔주기)

if i>j : i,j=j,i

✅ 리스트 초기화(result=[ ])와 저장공간 할당(result.append())

: commands가 여러 개 들어올 수 있기 때문에 ([i,j,k],[i,j,k]...) 반복적으로 처리하고 연산 결과를 누적해서 저장하기 위함

정답

# slicing -> sorted -> indexing 
def solution(array, commands):
    result = []
    for command in commands:
        i,j,k=command
        if i>j:
            i,j = j,i
        sorted_array = sorted(array[i-1:j]) # j-1(x) , 슬라이싱은 끝 범위를 포함하지 않음
        result.append(sorted_array[k-1]) # k(x)
    return result  # return은 for문 밖에

→ 슬라이싱/인덱싱 순서 주의

답변 비교

https://school.programmers.co.kr/learn/courses/30/lessons/42748/questions

프로그래머스

programmers.co.kr

[알고리즘] 해시 - 완주하지 못한 선수

위나 — Mon, 2 Sep 2024 20:37:14 +0900

https://school.programmers.co.kr/learn/courses/30/lessons/42576

프로그래머스

programmers.co.kr

Q.
# 참가자, 완주자 2개의 array가 주어짐
# 참여자 수는 1<N<100,000
# 1명을 제외하고 모든 선수가 완주
# 이름은 1<n<20 알파벳 소문자
# 동명이인 존재할 수 있음
# 완주하지 못한 선수 이름 출력

필요한 개념/메소드
collections.Counter

: 주어진 iterable한 요소들이 각각 몇번 등장했는지 세어주는 도구

*딕셔너리와 유사하나, 특정 작업을 더 편리하게 수행할 수 있는 유용한 기능을 제공함

from collections import Counter

participants = ['john', 'doe', 'john', 'jane']
counter = Counter(participants)

# 딕셔너리와 유사한 형태
print(counter)
> Counter({'john':2,'doe':1,'jane':1})

# 대응되는 값 출력
print(counter('john'))
> 2

most_common() 메소드

print(counter.most_common(1))
> [('john', 2)]

subtract() 메소드

competers = ['john', 'jane']
counter.subtract(completers)

print(counter)
> Counter({'john':1, 'doe':1, 'jane':0})

연산

counter1 = Counter(['a','b','c','a'])
counter2 = Counter(['a','c','d'])

print(counter1 + counter2) 
> Counter({'a':3, 'c':2, 'b':1, 'd':1})

문제를 간단히 정리하면, “참가자와 완주자 리스트를 비교해서 없는 것 하나만 찾는 문제“

✅ 조건 정의

참가자의 Counter 생성
완주자의 리스트를 순회하며 Counter 값 차감
남아있는 참가자 이름 중 값이 0이 아닌 이름 출력

A1.

from collections import Counter

def solution(participant, completer):
    participant_counter = Counter(participant)
    for person in completer:
        participant_counter[person] -= 1
    for participant, count in participant_counter.items():
        if count > 0:
            return participant

A2. Counter객체 간의 차이 활용

participant와 completion의 Counter를 구하고, 둘의 차를 구한 후 남아있는 Counter(완주하지 못한 선수)의 key값을 반환

import collections

def solution(participant, completion):
    answer = collections.Counter(participant) - collections.Counter(completion)
    return list(answer.keys())[0]

A3. sort/loop를 사용한 방법

: 리스트를 정렬한 후, 같은 위치의 값들을 비교하는 방식 (인덱스가 일치하지 않을 경우, 완주하지 못한 선수)

*메모리 사용량이 적고, 직관적인 방식이나, 상대적으로 느릴 수 있음 (Counter 방식의 해시맵은 추가적인 메모리를 사용)

participant, compeletion 리스트를 정렬 .sort()
for 반복문을 통해 participant[i]와 completion[i]가 일치하는지 확인 (*completion 완주자의 len만큼 반복)

def solution(participant, completion):
    participant.sort()
    completion.sort()
    for i in range(len(completion)):
        if participant[i] != completion[i]:
            return participant[i]
    return participant[-1]

✅ 예외처리 (마지막 return문)
: 위의 코드는 완주자 기준이어서,

위와 같이 시작했을 경우, 완주자를 다 돌아도 완주하지 못한 선수를 찾을 수 없다.
→ 이를 위해 마지막에 participant[-1]을 반환하도록 수정

A4. 해시를 이용한 방법

participant의 해시값을 딕셔너리에 저장하고, 합을 계산 (처음에 초기화 필요)
- hash(part): 각 참가자의 이름을 hash값으로 변환
- hashdict(hash(part) = part): hash값과 이름을 딕셔너리로 저장
- sumhash += hash(part): 참가자들의 hash총합 계산
앞서 구한 합에서 completion의 해시 값을 차감
남은 해시 값의 key를 완주하지 못한 선수로 return

def solution(participant, completion):
    hashDict = {}
    sumHash = 0
    for part in participant:
        hashDict[hash(part)] = part
        sumHash += hash(part)
    for comp in completion:
        sumHash -= hash(comp)
    return hashDict[sumHash]

답변 비교

https://school.programmers.co.kr/learn/courses/30/lessons/42576/questions

프로그래머스

programmers.co.kr

[알고리즘] 해시 - 폰켓몬

위나 — Sun, 1 Sep 2024 17:03:52 +0900

https://school.programmers.co.kr/learn/courses/30/lessons/1845

프로그래머스

programmers.co.kr

# N마리 중 N/2마리 선택
# 2마리가 같은 번호이면 따로 카운트 X
# 최대한 다른 종류 선택 (3123번 존재 시, 33 선택을 지양)
# input: 값 종류 nums array
# output: 종류 nums

✅ 조건 정의

n/2 개를 선택가능
n/2 개 선택 중 종을 가장 다양하게 선택
그렇다면 n/2가 종의 수보다 크면 종의 수만큼 선택
아니라면 n/2가 종의 수보다 작다면 n/2를 출력

A1.

def solution(nums):
    size_count = {} # 폰켓몬 종류 nums array 초기화
    for size in nums:
        if size in size_count: # 새로운 종류 num이 기존에 존재하는지 확인
            size_count[size]+=1 # 존재하면 size를 1 증가시킴
        else:
            size_count[size]=1 # 없으면 추가하고 size를 1로 설정
    sorted_counts = sorted(size_count.values(), reverse=True) # N:폰켓몬 종류별 개수(size) N 저장
    
    
    return answer

test input

: [3,1,2,3]

solution([3, 1, 2, 3])

size_count = {} # 폰켓몬 종류 nums array 초기화
 for size in nums:
  if size in size_count: # 새로운 종류 num이 기존에 존재하는지 확인
   size_count[size]+=1 # 존재하면 size를 1 증가시킴
  else:
   size_count[size]=1 # 없으면 추가하고 size를 1로 설정         
>> {3: 2, 1: 1, 2: 1}

sorted_counts = sorted(size_count.values(), reverse=True) # N:폰켓몬 종류별 개수(size) N 저장
>> [2, 1, 1]

you_take = int(sum(sorted_counts)/2) # 선택 가능한 개수 N/2 저장, int로 변환
>> 2

✅ 최대 선택 가능한 폰켓몬의 개수는 서로 다른 종류의 포켓몬(sorted_counts) 개수의 max이어야 하지만, you_take로 제한된다. (=N/2보다 클 수 없음) → min() 활용

answer = min(len(sorted_counts),you_take) # 최대한 다른 종류를 선택하기 위해 min(N/2) 출력
>> 2

A2.

: len()으로 입력된 선택 가능한 폰켓몬 수 구하고, set()으로 고유값(=서로 다른 종류 폰켓몬 수) 구함

def solution(nums):
    N = len(nums) // 2 # //는 정수형으로 나눈 몫을 출력함
    uniq = list(set(nums))
    return min(len(uniq), N)

A3.

def solution(nums):
    return min(len(set(nums)), len(nums)/2)

답변 비교

https://school.programmers.co.kr/learn/courses/30/lessons/1845/questions

프로그래머스

programmers.co.kr

[2] 프로그래머스 - SQL

위나 — Mon, 12 Aug 2024 21:25:54 +0900

Q1.

동물 보호소에 가장 먼저 들어온 동물의 이름을 조회하는 SQL 문을 작성해주세요.

# RANK() OVER

# LIMIT

# ORDER

1. MIN(DATETIME) 활용

(오답)

-- '가장 먼저'의 정의
SELECT NAME
FROM(
	SELECT
    	NAME,
        DATETIME,
        MIN(DATETIME)
 	FROM
    	ANIMAL_INS
 ) AS TEMP;
 
 > sugar(오답)

→ MIN을 같이 SELECT하는 것일 뿐, MIN인 NAME을 찾을 수 없음

(정답)

SELECT NAME
FROM ANIMAL_INS
WHERE DATETIME = (SELECT MIN(DATETIME) FROM ANIMAL_INS)

2. RANK() OVER, WHERE 조건절 활용

WITH TEMP AS(
	SELECT
		NAME,
    	RANK() OVER(
    	ORDER BY DATETIME ASC) AS rnk
    FROM ANIMAL_INS)
SELECT NAME
FROM TEMP
WHERE rnk=1;

(주의) '정렬'과 '조건' 순서

(X)

WHERE 조건절 → ORDER BY() 정렬

SELECT NAME
FROM ANIMAL_INS
ORDER BY DATETIME
WHERE ROWNUM = 1

→ WHERE 조건절이 정렬보다 먼저 적용됨

→ 서브쿼리로 정렬 후 조건절을 걸면 된다.

(O)

ORDER BY() 정렬 → WHERE 조건절

SELECT NAME
FROM (
SELECT NAME
FROM ANIMAL_INS
ORDER BY DATETIME
)
WHERE ROWNUM = 1

→ 서브쿼리 내에서 적용된 후 조건절이 제대로 적용됨

※ ROWNUM은 Oracle에만 있고, 동일한 기능을 하는 함수로는 MySQL에는 LIMIT이 있다.

ORDER BY() 정렬→ LIMIT조건절

(O)

SELECT
NAME
FROM ANIMAL_INS
ORDER BY DATETIME ASC
LIMIT 1;

Q2.

DOCTOR 테이블에서 진료과가 흉부외과(CS)이거나 일반외과(GS)인 의사의 이름, 의사ID, 진료과, 고용일자를 조회하는 SQL문을 작성해주세요. 이때 결과는 고용일자를 기준으로 내림차순 정렬하고, 고용일자가 같다면 이름을 기준으로 오름차순 정렬해주세요.

# DATE_FORMAT

# IN ()

SELECT DR_NAME,DR_ID,MCDP_CD,
DATE_FORMAT(HIRE_YMD, "%Y-%m-%d") AS HIRE_YMD FROM DOCTOR
WHERE MCDP_CD = 'CS' OR MCDP_CD = 'GS' # = IN ('CS','GS')
ORDER BY HIRE_YMD DESC, DR_NAME ASC;

※ 참고로 날짜 형식에서 소문자y는 2021에서 21로, 2자리만 나옴

Q3.

상반기 아이스크림 총주문량(T1)이 3,000보다 높으면서 아이스크림의 주 성분(T2)이 과일인 아이스크림의 맛을 총주문량이 큰 순서대로 조회하는 SQL 문을 작성해주세요.

# JOIN

# ORDER

총 주문량이 있는 FIRST_HALF

아이스크림 주 성분이 있는 ICECREAM_INFO

SELECT
A.FLAVOR
FROM FIRST_HALF A
JOIN ICECREAM_INFO B
ON A.FLAVOR = B.FLAVOR
WHERE A.TOTAL_ORDER >3000
AND B.INGREDIENT_TYPE = 'fruit_based'
ORDER BY A.TOTAL_ORDER DESC;

Q4.

아이템의 희귀도가 'RARE'인 아이템(T1)들의 모든 다음 업그레이드 아이템(T2)의 아이템 ID, 아이템 명, 아이템의 희귀도를 출력하는 SQL 문을 작성해 주세요. 이때 결과는 아이템 ID를 기준으로 내림차순 정렬해주세요.

PARENT_ITEM: ITEM A가 B로 업그레이드 되었으면, B의 PARENT_ITEM은 A이다. (업그레이드 되기 이전 아이템)
ROOT_ITEM: 업그레이드가 시작되는 아이템으로, 이전 아이템이 존재하지 않는(PARENT_ITEM이 존재하지 않는) 아이템
즉, T2에서 부모 아이템이 RARE인 아이템을 T1에서 조회하는 문제

# JOIN

# IN()

ITEM_INFO (T1)

ITEM_TREE (T2)

JOIN~WHERE~IN()

SELECT
	B.ITEM_ID,
	A.ITEM_NAME,
	A.RARITY 
FROM
	ITEM_INFO A
JOIN
	ITEM_TREE B
	ON A.ITEM_ID = B.ITEM_ID
WHERE
	B.PARENT_ITEM_ID IN (
    SELECT ITEM_ID 
    FROM ITEM_INFO
    WHERE RARITY='RARE')
ORDER BY
	A.ITEM_ID DESC;

JOIN 2번 활용

1번 조인으로 T1에 T2의 PARENT_ITEM_ID 정보를 가져옴
2번 조인으로 추가한 T1의 PARENT_ITEM_ID가 T2의 ITEM_ID와 동일하고, RARITY=''RARE"인 값 필터링

SELECT 
	A.ITEM_ID,
	A.ITEM_NAME,
	A.RARITY
FROM
	ITEM_INFO AS A
JOIN
	ITEM_TREE AS B
	ON A.ITEM_ID = B.ITEM_ID
JOIN
	ITEM_INFO AS C
	ON C.ITEM_ID = B.PARENT_ITEM_ID
WHERE
	C.RARITY='RARE'
ORDER BY
	A.ITEM_ID DESC;

JOIN 없이 WHERE조건절 & 서브쿼리 활용

SELECT
    ITEM_ID,
    ITEM_NAME,
    RARITY
FROM ITEM_INFO
WHERE ITEM_ID IN(
    SELECT ITEM_ID
    FROM ITEM_TREE
    WHERE PARENT_ITEM_ID IN (
        SELECT ITEM_ID
        FROM ITEM_INFO
        WHERE RARITY='RARE'))
ORDER BY ITEM_ID DESC;

Q6.

DEVELOPERS 테이블에서 Python이나 C# 스킬을 가진 개발자의 정보를 조회하려 합니다. 조건에 맞는 개발자의 ID, 이메일, 이름, 성을 조회하는 SQL 문을 작성해주세요. 결과는 ID를 기준으로 오름차순 정렬해 주세요.

# 비트 연산자

# JOIN~ON~&

DEVELOPERS (T1)

SKILL_CODE (T2)

T1에서Jerami의 경우, SKILL_CODE가 400 = 256 + 128 + 16 으로 Python, Java, JavaScript 스킬을 보유하고 있는 것
T1의 SKILL_CODE는 T2의 CODE의 합계로 이루어져 있기에, 단순 조인

SELECT
A.ID, A.EMAIL, A.FIRST_NAME, A.LAST_NAME
FROM DEVELOPERS A
JOIN SKILLCODES B
ON A.SKILL_CODE & B.CODE
WHERE B.NAME IN ('C#','Python')
ORDER BY A.ID ASC;

해석

Python은 128 = 2^7 = 10000000
C#은 2 = 2^1 = 00000010
두 값을 합산하면 130 = 10000010이 된다.
A.SKILL_CODE는 스킬을 2진수로 표현했을 때의 합을, B_CODE는 2진수로 표현된 하나의 비트 값을 의미한다.
A.SKILL_CODE & B.CODE로 SKILL_CODE에 특정 스킬(B.CODE)이 포함되어 있는지 확인
C#혹은 Python이 SKILL_CODE 에 포함되어 있으면 0이 아닌 값을 반환하기에, WHERE절에서 조건이 True로 평가

✅ 비트 연산자(Bitwise Operator)

먼저 10진수와 2진수의 개념에 대해 알아야 한다.

10진수 : 우리가 일상에서 사용하는 숫자 체계(0~9)로, 각 자리의 값은 10의 제곱수로 증가함
- 321 = 3 * 10^2 + 2 * 10 + 1 = 321
2진수 : 컴퓨터가 사용하는 숫자 체계 (0,1)로, 각 자리의 값은 2의 제곱수로 증가함
- 1011 = 1*2^3 + 0 + 1*2 + 1 = 11

Operator	Description	Example
&	AND 연산, 둘다 참일 때만 만족	a & b = 12	0000 1100
\|	OR 연산, 둘 중 하나만 참이여도 만족	a \| b = 61	0011 1101
^	XOR 연산, 둘 중 하나만 참일 때 만족	a^b = 49	0011 0001
~	보수 연산	~a = -61	1100 0011
<<	변수의 값을 왼쪽으로 지정된 비트 수만큼 이동	a << 2 = 240	1111 0000
>>	변수의 값을 오른쪽으로 지정된 비트 수만큼 이동	a >> 2 = 15	0000 1111

[1] 프로그래머스 - SQL

위나 — Thu, 8 Aug 2024 21:43:53 +0900

Q1.

대장균들의 자식 수 구하기

# Self Join
https://school.programmers.co.kr/learn/courses/30/lessons/299305

프로그래머스

programmers.co.kr

Q.
대장균 개체의 ID(ID)와 자식의 수(CHILD_COUNT)를 출력하는 SQL 문을 작성해주세요. 자식이 없다면 자식의 수는 0으로 출력해주세요. 이때 결과는 개체의 ID 에 대해 오름차순 정렬해주세요.

→ 문제가 헷갈리지만, 자식(ID) 기준으로 같은 부모를 가진 개체가 몇명인지 (사람으로 치면 형제가 몇명인지..) 구하는 것

1. 자식(ID) 기준으로 부모(Parent ID)가 나와있는 형태이기에 부모(Parent ID) 기준 자식(ID)이 보여지도록 변경 필요
2. 자식(ID) 기준으로 부모가 같은 자식 수(=형제) 구하기

PARENT_ID 기준으로 자식의 수를 구해야하므로,
SELF JOIN을 활용해서 현재 ID기준 PARENT_ID → PARENT_ID 기준 ID 출력하기

SELECT *
FROM ECOLI_DATA A
LEFT JOIN ECOLI_DATA B ON A.ID = B.PARENT_ID

→ A.ID와 PARENT_ID로 SELF JOIN하되, 문제에서 자식이 없어도 출력하라고 되어있었기에 LEFT JOIN (ID기준) 해주기

기존 ID기준 부모 ID

셀프 조인 후 PARENT_ID 기준 ID

→ ID는 1~6 모두 존재했지만, PARNET_ID는 1,2,4으로 3개이기에 부모 기준이니까 나머지에 해당하는(부모가 없는) ID는 null로 나옴

2. 최종 쿼리

SELECT DISTINCT A.ID, COUNT(DISTINCT B.ID) AS CHILD_COUNT
FROM ECOLI_DATA A
LEFT JOIN ECOLI_DATA B ON A.ID = B.PARENT_ID
GROUP BY A.ID;

✅ 셀프 조인 예제
customer_id를 기준으로 작성된 테이블에서, customer_id에 매핑된 spouse_id 배우자의 성과 이름을 보고자 한다.

원본 테이블

셀프 조인한 테이블

→ id=1인 John의 spouse인 id=2 Mary의 이름도 나온 모습

SELECT
 cust.customer_id,
 cust.firstname,
 cust.lastname,
 cust.birthdate,
 cust.spouse_id,
 spouse.firstname AS spouse_firstname,
 spouse_lastname AS spouse_lastname
FROM customer AS cust
INNER JOIN customer AS spouse
   ON cust.spouse_id = spouse.customer_id

Q2.

재구매가 일어난 상품과 회원 리스트 구하기
# WHERE과 HAVING 차이 인지

※ 참고

ONLINE_SALE 테이블에서 동일한 회원이 동일한 상품을 재구매한 데이터를 구하여, 재구매한 회원 ID와 재구매한 상품 ID를 출력하는 SQL문을 작성해주세요. 결과는 회원 ID를 기준으로 오름차순 정렬해주시고 회원 ID가 같다면 상품 ID를 기준으로 내림차순 정렬해주세요.

-- 재구매의 정의: CNT>1
SELECT user_id, product_id
FROM ONLINE_SALE
GROUP BY user_id, product_id
HAVING COUNT(online_sale_id)>1
ORDER BY user_id ASC, product_id DESC

[11] 실무로 통하는 인과추론 with 파이썬 - 11장. 불응과 도구변수

위나 — Tue, 23 Jul 2024 22:30:17 +0900

목차
Part 5. 대안적 실험 설계
<11장. 불응과 도구변수>

11.1 불응
11.2 잠재적 결과 확장
11.3 도구변수 식별 가정
11.4 1단계
11.5 2단계
11.6 2단계 최소제곱법
11.7 표준오차
11.8 통제변수와 도구변수 추가
11.8.1 2SLS 직접 구현
11.8.2 행렬 구현
11.9 불연속 설계
11.9.1 불연속 설계 가정
11.9.2 처치 의도 효과
11.9.3 도구변수 추정값
11.9.4 밀도 불연속 테스트
11.10 요약

11장. 불응과 도구변수

서비스의 영향을 추론하기 어려운 이유는, 서비스를 고객이 '선택'하는 경우가 많기 때문이다.
참여 여부는 고객의 선택에 달려있음
제공 여부를 무작위로 결정하더라도, 고객에게 이를 받아들이도록 강요할 수는 없다.
이를 '불응'이라 하며, 처치를 배정받은 모든 사람이 처치 받지는 않음을 의미

불응 문제가 있는 실험을 설계할 때 어떤 점을 고려해야할까?

11.1 불응

처치 배정과 처치 적용

순응자(complier): 자신에게 배정된 처치를 받는 사람
항시 참여자(always-taker): 배정과 관계없이 항상 처치 받는 사람
항시 불참자(never-taker): 배정과 관계없이 처치를 한 번도 받지 않은 사람
반항자(defier): 배정된 처치와 반대되는 처치 받는 사람

여기서 문제는 각 그룹에 누가 속해 있는지 모른다는 점
불응을 DAG 형태로 나타내보면,

Z가 무작위 처치배정일 때, 숨겨진 요인(U)이 처치(T)에 영향을 준다.
Z는 도구변수(IV)의 역할을 하여,
1. 교란 없이 처치(T)에 영향을 주고,
2. 처치(T)를 거치지 않으면 결과(Y)에 영향을 미치지 않음
U를 순응 그룹을 유발하는 미지의 요인으로 생각할 수도 있음
U를 통과하는 열린 뒷문 경로때문에 T가 Y에 미치는 영향을 식별할 수 없음

10,000명의 고객을 대상으로 프라임 신용카드 이용 가능 여부를 무작위로 배정하는 실험 데이터

구매금액 = pv (Y)
프라임 신용카드 보유 여부 = prime_card(T)
프라임 신용카드 사용 가능여부 = prime_elegible(Z)

11.2 잠재적 결과 확장

잠재적 처치(potential treatment) Tz
: Z가 T의 원인일 때, 잠재적 결과는 도구변수 Z에 대한 새로운 반사실 Yz,t를 가짐

처치의도효과(ITTE, Intent-To-Treatment Effect)
: 도구변수 Z가 결과 Y에 미치는 영향으로, 여기에서는 프라임 신용카드 사용 가능 여부가 구매 금액에 미치는 영향

처치의도효과(ITTE)를 단순회귀로 추정해보자

m = smf.ols("pv~prime_elegible", data=df).fit()
m.summary().tables[1]

ITTE는 프라임 신용카드의 구매 금액에 대한 제공 영향이자,
은행에서 프라임 신용카드를 사용함으로써 기대할 수 있는 고객당 추가 구매금액(PV)를 나타냄( ≠ 처치효과)
- 은행의 주요 목표는, "프라임 카드의 혜택이 그 비용을 상회하는가?" = 처치효과가 필요
이 사례에서는 프라임 카드를 사용 가능한 (Z)사람만이 보유 여부(T)를 선택할 수 있도록 통제되어있다.
- 이를 단방향 불응(one-sided non-compliance)이라 한다.
- 따라서 순응그룹이 4개가 아닌, 항시 참여자(always-taker) = 순응자(complier),
- 반항자(defier) = 항시 불참자(never-taker) 총 2가지로 분류

ITTE를 프라임 카드 효과의 대리변수로 사용할 수 있을까?

바로 사용할 수 없다. ITTE 추정값은 ATE 추정값보다 0에 가깝게 편향될 수 있다.
실험군인데에도 일부가 처치를 받지 않을 수 있기에 실험-대조군 간의 차이가 줄어들기 때문

처치 받은 대상은 '항시 불참자'를 포함하고 있기에, 원래 효과보다 실험-대조군 차이가 미미하게 나옴

반대로 실험군-대조군 간의 단순평균 비교를 하면, 관심있는 효과 추정값을 대체해서 사용할 수 있는지 확인

m = smf.ols("pv~prime_card", data=df).fit()
m.summary().tables[1]

이 경우에는 항시 불참자(eligible 하지만 보유 X)가 빠져있고 대조군에 있어서, 대조군 Y0가 더 낮아져 효과에 상향편향이 존재한다.
불응 상태에서는 처치 선택이 무작위가 아니므로,

ATE를 식별할 수 없고,
ITTE는 ATE에 대한 편향 추정값이 어려운 상황

11.3 도구변수 식별 가정

도구변수 식별 가정에 필요한 가정을 정리해보면,

독립성
- 도구변수(Z)와 처치(T)는 독립
- 도구변수(Z)와 결과(Y)는 독립
배제 제약: 처치(T)를 통하지 않고는, 도구변수(Z)에서 결과(Y)로 가는 경로가 없어야 함
연관성: 도구변수(Z)가 처치(T)가 영향을 미쳐야 함
단조성: 도구변수(Z)가 처치(T)를 한 방향으로만 영향 주는 것
- 처치 받을 확률이 증가하는 경우, 반항자가 없다고 가정
- 처치 받을 확률이 감소하는 경우, 순응자가 없다고 가정

ITTE를 시작점으로 삼고, 위의 가정을 만족하는 ITTE를 ATE로 정의

배제 제약 → Yz,t의 도구변수 첨자 제거

독립성 가정 → 두 기댓값 묶기

식을 단순화하면,

단조성 가정을 사용하여, 가능한 경우인 T1>T0과 T1=T0으로 확장

T1=T0일 때에는 T1-T0이 0이 되므로 첫 번째 항만 남음

T1>T0은 순응자 (자신에게 배정된 처치를 받는 사람)
- 카드를 사용 가능 여부가 미소유 → 소유 로 전환하는 집단
- 즉, 카드를 사용 가능하면, 무조건 카드를 보유하는 집단
즉, 도구변수(Z)가 결과(Y)에 미치는 영향(가정을 만족한 ITTE) = 순응자의 처치효과(E(Y1-Y0|T1>T0])에 순응률(P(T1>T0))을 곱한 값

→ P(T1>T0)만 추정할 수 있으면, 이전 추정량을 보정할 수 있음

※ 순응률: 도구변수(Z)가 처치(T)에 미치는 영향

순응률을 구하기 위해 단조성 가정을 활용해보면, 순응자이면 T1-T0=1이고, 그렇지 않으면 0이기에 이 효과의 기댓값은 순응률이다.

T1-T0=1 : 순응자는, 카드를 사용 가능하지 않을 때(T0) 카드를 보유하는 사람(T1) = 0 이니까..?

→ E[T1-T0] = P(T1>T0)
→ 도구변수(Z)가 결과(Y)에 미치는 영향을, 도구변수(Z)가 처치(T)에 미치는 영향인 "순응률"로 조정함으로써, 순응자들에 대한 평균 처치효과를 식별할 수 있음

(순응률이 0~1 사이이므로 ATE * 순응률 = ITTE가 하향편향되어 나왔던 것)

하지만 여전히 ITTE * 순응률도 ATE라 할 수 없고, LATE(Local Average Treatment Effect, 국지적 평균 처치효과)만 구할 수 있게 된다.

LATE는 프라임 카드를 사용가능할 때(Z), 보유(T)한 사람들의 효과
추가로 더 알고 싶은 건, 고객당 추가 구매금액(Y)의 효과가 프라임 카드의 비용을 상회하는지 여부
- 위 값은 모두 프라임 카드를 선택한 사람들에게만 발생하기에, ATE가 아닌 LATE만 구해도 충분하다. (은행은 카드를 선택하지 않을 사람들의 효과에는 신경 쓰지 X)

11.4 1단계

도구변수 분석의 첫 단계를 1단계 회귀라 부른다.

1단계 회귀
: 처치(T)를 도구변수(Z)에 회귀하는 단계로, 연관성 가정(Z가 T에 영향을 미쳐야함)을 확인하는 과정

first_stage = smf.ols("prime_card ~ prime_elegible", data=df).fit()
first_stage.summary().tables[1]

순응률은 약 42%로 추정되며, 유의하다.

이 예제에서는 실제 순응률을 알고 있기에 확인해보면, 실제 순응률과 일치함

df.groupby("categ").size()/len(df)
> categ
complier       0.4269
never-taker    0.5731
dtype: float64

11.5 2단계

2단계(축약형)
: 결과(Y)를 도구변수(Z)에 회귀하여 처치의도효과(ITTE)를 추정

red_form = smf.ols("pv ~ prime_elegible", data=df).fit()
red_form.summary().tables[1]

1단계 회귀의 매개변수 추정값으로 나누면 LATE에 대한 추정값을 얻을 수 있다.

late = (red_form.params["prime_elegible"] /
        first_stage.params["prime_elegible"])
late
> 757.6973795343938

이 예제에서는 실제 순응자에 대한 효과를 계산할 수 있기에 구한 LATE 추정값이 실제값에 근접한지 확인

df.groupby("categ")["tau"].mean()
> categ
complier       700.0
never-taker    200.0
Name: tau, dtype: float64

완전히 일치하지는 않는다.
도구변수 추정값의 표준오차를 계산할 수 있는, LATE를 추정하는 다른 방법인 2단계 최소제곱법을 살펴보자

11.6 2단계 최소제곱법

처치(T)의 원인은 두 가지 변수이다.

랜덤화된 도구변수(Z)
교란편향이 발생하는 U변수

앞서 살펴본 1단계 회귀(T~Z) 단계는 본질적으로 경로 Z→T를 추정하는 것을 의미함
- 1단계에서의 예측값인 T햇을 편향이 제거된 T로 볼 수 있다.
그리고 2단계 축약형(Y~Z) 단계는 Y를 편향이 제거된 T에 회귀하여 이전과 같은 도구변수 추정값을 얻게 됨

코드로 확인해보면,

iv_regr = smf.ols(
    "pv ~ prime_card",
    data=df.assign(prime_card=first_stage.fittedvalues)).fit()

iv_regr.summary().tables[1]

위 접근법을 2단계 최소제곱법(two-stage least square, 2SLS)라 한다.
위 접근법이 더 유용한 이유는,
1. 표준오차를 적절하게 계산할 수 있고,
2. 회귀 모델에서 변수를 추가할 때만큼 쉽게 도구변수(Z),공변량을 더 추가할 수 있기 때문

두 가지 이유에 대해 더 살펴보자.

11.7 표준오차

2단계 축약형(Y~Z) 단계 예측의 잔차는 다음과 같이 정의된다.

여기에서 T는 예측된 T햇이 아니라, 기존의 처치를 사용
위의 잔차로 도구변수(Z) 추정값에 대한 표준오차를 계산하면,

βz,lst 는 1단계 회귀 단계에서 얻은 예상 순응률을 의미

Z = df["prime_elegible"]
T = df["prime_card"]
n = len(df)

잔차(e_iv) 구하기 (표준오차의 분자)

# iv_regr.resid 와 다름에 유의 (T햇이 아닌 T를 사용)
e_iv = df["pv"] - iv_regr.predict(df)

순응률 구하기

compliance = np.cov(T, Z)[0, 1]/Z.var()

표준오차(se) 구하기

se = np.std(e_iv)/(compliance*np.std(Z)*np.sqrt(n))

print("SE IV:", se)
print("95% CI:", [late - 2*se, late + 2*se])

> SE IV: 80.52861026141942
95% CI: [596.6401590115549, 918.7546000572327]

패키지(IV2SLS)를 이용해서 LATE 추정값과 표준오차 구하기

from linearmodels import IV2SLS
# 1단계 회귀(T~Z)를 공식 안에 넣고
formula = 'pv ~ 1 + [prime_card ~ prime_elegible]'
# 도구변수 모델 적합
iv_model = IV2SLS.from_formula(formula, df).fit(cov_type="unadjusted")

iv_model.summary.tables[1]

표준오차 공식을 다시 보면,

분모에 순응률 βz,lst이라는 추가 항이 생겨서

만약 순응률이 100%인 경우, Z=T, βz,lst=1이 되고 OLS 표준오차를 다시 얻게될 것이고,
순응률이 50%라면, 분모에있는 βz,lst=0.5가 되어 도구변수 표준오차는 OLS때보다 2배 커짐
- 따라서 순응률이 50%인 실험에 필요한 표본 크기는 순응률이 100%인 경우의 4배가 된다.

예상 순응률을 가정하여 LATE 매개변수 추정값에 대한 신뢰구간 크기를 비교해보면,

순응률이 커질 수록 신뢰구간은 좁아지고, 필요한 표본의 수는 줄어든다.
→ 실제 사례에서는 카드를 선택하는(Z) 고객이 일부이기에, 순응률이 50%만큼 높기 쉽지 않아 LATE를 추정하기 어려움
→ 순응률이 낮으면 큰 표본이 필요하기 때문에 큰 표본을 수집하는 것도 비현실적이다.

위와 같은 문제가 있을 때, 도구변수 표준오차를 낮출 수 있는 방법이 있다.

11.8 통제변수와 도구변수 추가

프라임 신용카드 데이터에 세 가지 공변량(소득, 나이, 신용점수)이 있었다.

소득: 결과(Y) 예측력이 높지만, 순응 여부(Z→T) 는 예측하지 못함
신용점수: 순응 여부(Z→T)는 예측하지만, 결과(Y)는 예측하지 못함
나이: 순응 여부(Z→T) 와 결과(Y)에 모두 영향을 미치는 교란 요인

→ 여기서 신용점수는 도구변수(Z)처럼 3가지 가정을 만족하며, 추가적으로 단조성만 가정하면 추가 도구변수로 취급할 수 있다.

formula = 'pv ~ 1 + [prime_card ~ prime_elegible + credit_score]'
iv_model = IV2SLS.from_formula(formula, df).fit()

iv_model.summary.tables[1]

두 가지 문제가 생긴다.

신용점수를 도구변수로 취급하는 대신, 조건부로 두고 2번째(축약형, Y~Z) 단계에도 추가하면, 오차가 증가한다.
- 결과(Y)가 아닌, 처치(T)의 원인을 조건으로 두면 추정값의 분산이 증가한다.(4장)
도구변수(Z) 배정 메커니즘을 알지 못하면, 배제 제약이 위배되는지 알기 어려움
- 배제 제약: 처치(T)를 통하지 않고는, 도구변수(Z)에서 결과(Y)로 가는 경로가 없어야 함
- 이 예제에서는 신용점수가 Y에 미치지 않는다고 가정했지만, 현실에서는 찾기 어려움(나이 처럼 Y와 순응 모두에 영향 주는 경우가 多)

결과(Y, 구매 금액)를 잘 예측할 통제변수(고객 소득, 나이)를 포함해서 도구변수 추정값의 분산을 줄여보자.

formula = '''pv ~ 1 
+ [prime_card ~ prime_elegible + credit_score]
+ income + age'''

iv_model = IV2SLS.from_formula(formula, df).fit(cov_type="unadjusted")

iv_model.summary.tables[1]

→ 하지만, 나이는 순응과 결과 모두에 영향을 미쳐 순응에 더 큰 영향을 미친다면(처치에 대한 설명력이 더 높다면) 분산이 커질 수 있다.

11.8.1 2SLS 직접 구현

1단계: T ~ Z + X
2단계: Y ~ T_hat + X

formula_1st = "prime_card ~ prime_elegible + credit_score + income+age"
first_stage = smf.ols(formula_1st, data=df).fit()

iv_model = smf.ols(
    "pv ~ prime_card + income + age",
    data=df.assign(prime_card=first_stage.fittedvalues)).fit()

11.8.2 행렬 구현

위와 같이 구하면 linearmodels 사용했을 때와 표준오차가 달라지는데, 이는 표준오차 행렬로 구할 수 있음

Z = df[["prime_elegible", "credit_score", "income", "age"]].values
X = df[["prime_card", "income", "age"]].values
Y = df[["pv"]].values

처치 행렬과 도구변수 행렬 모두에 추가 공변량을 두어야 한다.

def add_intercept(x):
    return np.concatenate([np.ones((x.shape[0], 1)), x], axis=1)

Z_ = add_intercept(Z)
X_ = add_intercept(X)

# Z_.dot(...) 는 사전에 곱해야 함
# NxN matrix 생성
X_hat = Z_.dot(np.linalg.inv(Z_.T.dot(Z_)).dot(Z_.T).dot(X_))

b_iv = np.linalg.inv(X_hat.T.dot(X_hat)).dot(X_hat.T).dot(Y)
b_iv[1]
> array([693.12072518])

얻게 된 계수(b_iv)로 도구변수의 잔차와 분산 계산

e_hat_iv = (Y - X_.dot(b_iv))
var = e_hat_iv.var()*np.diag(np.linalg.inv(X_hat.T.dot(X_hat)))
np.sqrt(var[1])
> 12.164694395033125

추가 공변량 없이 이전과 유사한 표준오차 값을 구할 수 있다.

t_tilde = smf.ols("prime_card ~ income + age", data=df).fit().resid
e_hat_iv.std()/(t_tilde.std()*np.sqrt(n*first_stage.rsquared))
> 12.156252763192523

위 표준오차 공식을 통해 표본 크기를 늘리는 방법 이외에 표준오차를 줄이는 방법을 3가지 알 수 있다.

1단계의 R^2 증가시키기 - 순응을 잘 예측하는 강력한 도구변수 찾기
T에 대한 예측력이 높은 변수를 제거하기
Y에 대한 예측력이 높은 변수를 찾아서 2단계 잔차 줄이기 (가장 현실적)

11.9 불연속 설계

회귀 불연속 설계(RDD, Regression Discontinuity Design)
: 처치배정에 인위적인 불연속성을 활용하여 처치효과를 식별하는 방법

적용 사례

소득이 $50 미만인 빈곤층 가정만 혜택을 받을 수 있는 상황
- $50에서 프로그램 배정에 불연속성을 만듦
- 두 그룹이 유사하다는 전제하에, 연구자가 임곗값 바로 위/아래에 있는 가정을 비교하여 프로그램의 효과를 측정할 수 있게 함
대학 입시의 영향을 구하고자할 때: 합격 기준선 바로 위/아래에서 점수를 받은 학생들을 비교
여성이 정치에 미치는 영향을 평가할 때: 여성 후보가 소수점 차이로 패배한 도시와 승리한 도시를 비교

※ 학계에서는 널리 사용되지만, 실전에서 적용이 제한적이다.

임곗값을 하나의 '도구변수'로 이해

은행이 모든 고객에게 신용카드를 제공하되, 잔고가 $5000 이하인 고객에게 수수료를 부과한다면,
카드 제공 방식에 불연속성이 만들어져 잔액이 임곗값 이상인 고객은 프라임 카드를 선택할 가능성이 높고, 이하인 고객은 낮음
따라서 임곗값을 초과하는 고객과 그렇지 않은 고객의 특성이 비슷하다면, 회귀 불연속 설계를 활용할 수 있음

✅ 회귀 불연속 설계와 도구변수의 관계

불연속 설계에서의 도구변수

Z = 계좌 잔고(임곗값, $5,000)
처치(프라임 카드)를 받을 확률을 높임 - 임곗값을 넘으면 P(T=1)이 급증함

1. 불연속 설계에서 잠재적 결과 Y

실선 - 관측값, 점선 - 반사실 (X축은 계좌 잔고, 세로 선은 $5,000)

도구변수(계좌 잔고)로 인한 처치(T) 확률의 변화가 결과(Y)에 미치는 영향을 보여줌
임곗값 바로 위/아래가 불연속 - 잔고 $5,000 기준으로 결과(Y)에 차이가 난다.

2. 불연속 설계에서 잠재적 처치 T

실선 - 관측값, 점선 - 반사실

계좌 잔고(도구변수)에 따른 반사실 처치를 보여줌
도구변수는 $5,000을 임곗값으로 잔고가 $5,000 미만일 때 T0 (임곗값 아래일 때 , 그렇지 않으면 T1을 관측할 수 있음

❗임곗값에서의 처치효과는 실제보다 작게 보인다.

임곗값을 초과하더라도 처치 확률이 1보다 작으면 관측한 결과(Y)가 실제 잠재적 결과 Y1보다 작아짐
임곗값 아래에서 관측한 결과는 실제 잠재적 결과 Y0보다 높음
→ 도구변수를 사용해서 이를 보정해야 한다.

11.9.1 불연속 설계 가정

도구 변수 가정 이외에 추가 가정이 필요
: 잠재적 결과 및 잠재적 처치 함수의 평활도에 대한 추가 가정

1. 처치 확률이 임곗값 R=c에서 불연속 함수가 되도록 배정 변수 R(running variable)을 정의하고자 함

R: 계좌 잔고
c: 5,000

❗불연속 지점인 R=c에서 잠재적 결과 Yt와 잠재적 처치 Tz는 왼쪽에서 접근하든(r→c-) 오른쪽에서 접근하든(r→c+) 동일

위 가정을 바탕으로 회귀 불연속 설계에 대한 LATE 추정량을 유도하면,

회귀 불연속 설계에 대한 LATE

위 추정량은 두 가지 의미에서 국소적

임곗값 R=c에서만 처치효과를 줌
순응자의 처치효과만 추정함

11.9.2 처치 의도 효과

배정 변수(R)인 balance(잔고)가 추가된 프라임 카드 데이터

배정 변수인 잔고를 중심으로 조정하여 임곗값을 0으로 옮겨주기 (+해석도 더 쉬워짐)
- 불연속 지점($5,000)을 배정변수에서 빼줌
임곗값 위에 있는지 여부를 나타내는 더미변수 l(ri>0) 와, 상호작용하는 중심이 조정된 배정변수 R을 사용하여 결과변수에 대한 회귀분석을 진행(R>0)
- l(ri>0) = 1 : ri가 0보다 클 때
- l(ri>0) = 0 : ri가 0보다 작거나 같 때

: r가 0보다 클 때 추가적으로 영향을 미치는 상수적인 요소
β3: 가 0보다 클 때 와 상호작용하여 종속 변수 에 미치는 추가적인 영향
- 임곗값 전후 기울기가 동일해서, 불연속 점프만을 포착하고자 한다면, 필요하지 않은 부분 ?

→ 여기에서 임곗값을 초과하는 것과 관련된 매개변수 추정값인 β2을 처치 의도 효과로 해석할 수 있음

① 값을 5,000만큼 뺀 balance 값을 생성하고, ② balance가 0보다 큰지 여부를 나타내는 더미 변수와, ③ 더미 변수와의 상호작용 항을 포함한 회귀 모델 정의하기

m = smf.ols(f"pv~balance*I(balance>0)",
            df_dd.assign(balance = lambda d: d["balance"] - 5000)).fit()
m.summary().tables[1]

→ 위 식은 임곗값 위아래 두 개의 회귀선을 추정함
→ 여기에서 순응률이 100%라면, ITTE는 ATE가 된다. (앞서 증명함)

11.9.3 도구변수 추정값

하지만 순응률이 100%가 아니기 때문에, ITTE를 순응률로 나누어야 ATE를 구할 수 있다.

불연속 설계에서의 순응률
: 임곗값을 넘을 때 처치(T) 확률이 얼마나 변하는지
→ 순응률을 구하기 위해서는, 이전 과정을 반복하되, 결과(Y) pv를 처치(T) prime_card로 대체하면 됨

불연속 설계에서 ITTE와 순응률을 추정하여 도구변수 추정값(ITTE/순응률)을 계산하는 함수 정의하기

def rdd_iv(data, y, t, r, cutoff):
    # cutoff($5,000)을 빼서 중앙정렬
    centered_df = data.assign(**{r: data[r]-cutoff})
    # 순응률 - 결과변수가 T인 회귀모델 적합
    compliance = smf.ols(f"{t}~{r}*I({r}>0)", centered_df).fit()
    # ITTE - 결과변수가 Y인 회귀모델 적합
    itte = smf.ols(f"{y}~{r}*I({r}>0)", centered_df).fit()
    
    param = f"I({r} > 0)[T.True]"
    # ITTE를 순응률로 나누기
    return itte.params[param]/compliance.params[param]

rdd_iv(df_dd, y="pv", t="prime_card", r="balance", cutoff=5000)
> 732.8534752298891

balance=5000이고 categ가 'complier'(순응자)인 행만 필터링

(df_dd
 .round({"balance":-2}) # round to nearest hundred
 .query("balance==5000 & categ=='complier'")["tau"].mean())
 > 700.0

11.9.4 밀도 불연속 테스트

불연속 설계에 대한 식별의 잠재적 문제
: 고객들이 배정변수(잔고)를 조작할 수 있다면, 스스로 실험군에 포함시킬 수 있다.

예시에서 고객이 프라임 카드를 무료로 받기 위해 계좌 잔고를 $5,000까지 늘린다면, 임곗값 바로 위/아래 사람들을 비교할 수 없게 됨(평활도 가정 위배)

임곗값 주변의 밀도를 그래프로 나타내서 원인을 시각적으로 확인해보면,

뭉침(bunching, 집군) 현상: 임곗값($5,000)에서 밀도가 증가하는 현상
→ 이 데이터에서는 해당 현상이 나타나지 않음

11.10 요약

많은 회사들은 고객이 직접 선택할 수 있는 제품/서비스를 제공하기에, 불응은 흔하게 발생하는 일
이러한 상황에서는 처치를 무작위 배정하더라도, 고객의 선택이 교란으로 작용함

도구변수 Z
: ① 교란 없이 처치에 영향을 주고, ② 처치를 거치지 않으면 결과에 영향을 미치지 않는 변수

도구변수가 한 방향으로만 처치를 준다고 가정하면(단조성 가정), 순응률을 곱해 순응자의 ATE를 구할 수 있음

→ 처치 의도 효과(ITTE)를 순응률로 정규화해서 ATE 파악

순응률이 낮은 경우, 분산이 커지는 문제를 해결하기 위해서 더 많은 표본이 필요하지만, 부족한 경우 결과(Y)를 잘 예측하는 공변량을 찾는 방법이 있음

불연속성을 도구변수로 취급하여 LATE를 식별할 수 있음

✅ 도구변수를 활용한 실제 사례

학교 교육(T)이 소득(Y)에 미치는 영향을 식별하고자 출생 분기(Z)를 도구변수로 활용

마지막 분기에 태어나면 학교를 더 오래 다닐 가능성이 높음 (처치에 영향)
출생분기는 수입에 직접적인 영향을 미치지 않음 (처치를 거치지 않으면 무작위 배정된 것처럼 보임)
이를 활용해서 교육 기간(T)이 1년 늘어날 때마다 평균 8.5%의 임금 상승(Y)을 기대할 수 있다고 추정하였다.

LITTLE BY LITTLE

2025년 한 해 정리하기

☃️목차

Nelson Rules(1~4번) 파이썬으로 구현하기

2024년 한 해 정리하기

목차

1. 운영시스템과 분석시스템의 구분

2. 공부 방향성 (1) 기술

2. 공부 방향성 (2) 도메인

3-1. PI(Process Innovation): 기존 업무 방식의 효율화

3-2. 인과추론 입문: 실무에 필요한 데이터 사고

3-3. 비즈니스 분석: 데이터로 가치를 만드는 과정

4. 총정리

[1~2] 비즈니스 분석 강의 리뷰

비즈니스 분석의 역할과 가치

비즈니스 모델 캔버스: 사업 구성 9요소를 통해 비즈니스 모델을 분석하는 방법

비즈니스 분석을 위한 서비스 뜯어보기

매출/비용 구조의 이해를 통한 실적 분석

공헌이익, 변동비와 고정비

손익분기점(BEP) 계산

P&L (Profit&Loss) 개선점 도출

① 무신사

③-1 마켓컬리 (2020-2021)

③-2 마켓컬리 (2021-2022)

③-3 마켓컬리 (2022-2023)

음악 플랫폼의 P&L 개선 사례

GMV(Gross Merchandise Value, 총 상품 가치, 누적 거래액)

[알고리즘] 정렬 - K번째 수

[알고리즘] 해시 - 완주하지 못한 선수

[알고리즘] 해시 - 폰켓몬

A1.

A2.

A3.

[2] 프로그래머스 - SQL

Q1.

Q2.

Q3.

Q4.

Q6.

[1] 프로그래머스 - SQL

대장균들의 자식 수 구하기

Q2.

[11] 실무로 통하는 인과추론 with 파이썬 - 11장. 불응과 도구변수

비즈니스 모델 캔버스
: 사업 구성 9요소를 통해 비즈니스 모델을 분석하는 방법