인턴일기 - 12일차(웹데이터 수집, API호출, 데이터정제 및 가공, PostgreSQL저장, pg_dump, 쿼리,Fiddler)

📋 오늘 작업 요약🟡 1. 웹 데이터 수집 (웹 크롤링 & API 호출)Fiddler를 이용해 웹사이트 요청 분석Request Header와 API URL을 분석해서 requests 라이브러리로 자동 호출certiMst 리스트 API → seqNo로 상세 API 호출총 67페이지(=670건)의 게시글 상세 정보 수집✅ 결과: 전체 데이터를 자동으로 수집하는 Python 코드 작성 완료💼 분석 업무 분류:🔍 데이터 수집(ETL)→ 웹에서 비정형 API 데이터를 분석 목적으로 정형화🟡 2. 데이터 정제 및 가공상세 API에서 필요한 필드만 추출하는 함수 extract_data 작성결과를 리스트로 모은 후 pandas.DataFrame으로 변환열 순서 바꾸기, 인덱스 재설정, 모든 컬럼을 소문자·sn..

2025.04.15