인턴일기 - 23일차(인증정보 정비 완료 & 통합크롤러 수정)

오늘의 업무

인증정보 및 인증사별 서비스 데이터 업데이트

통화 크롤러 기능 고도화

 

1. 인증정보 및 인증사별 서비스 업데이트

기존 10개의 인증정보에서 79개를 추가하여 총 89개의 인증 정보리스트를 완성했다. 

인증사별 서비스 정보도 총 1148건으로 정리되었다.

✅ 주요 작업 내용

• DB에 인증 정보와 서비스 정보 동기화
• 작업 완료 후 JSON 파일로 결과 저장 및 공유
• 인증번호, 명칭, 설명, 인증범위 등 필드를 통일된 형식으로 구성

최종 정리된 결과테이블 결과

 

2. JavaScript 기반 웹사이트까지 대응 가능하도록 크롤러 코드 수정

 

메뉴 클릭이 onclick 이벤트로 구성된 페이지는 단순 HTML 파싱으로 텍스트를 수집 할 수없어서 Selenium을 통한 이벤트 트리거 후 본문 파싱이 필요하다.

JavaScript 렌더링 대기, 가상 클릭처리, 동적 로딩 여부 확인등의 요소를 고려해서 코드를 수정해야한다.

 

Onclick 속성을 가진 메뉴 항목을 탐지하고 driver.execute_script 등을 통해 수동으로 클릭하고 페이지가 갱신되었는지 확인하는 구조로 크롤링하도록 수정했다.

 

React/Next.js 기반의 클라이언트 사이드 렌더링 페이지가 문제인데.. 일단 모두 가능하도록 해야한다!