인턴일기 - 11일차(통합크롤러 문제해결)
오늘의 업무통합 크롤러 설계 및 문제 해결1) frame set 사이트 서브메뉴 미수집 이슈해결2)동적페이지와 정적페이지 구분 방법 고안3)수집방식 차이에 따른 수집데이터 차이확인 지난주에 이어서 오늘은 만들어놓은 통합크롤러를 검증하는 과정을 이어서 하기로한다 지난주 발생한 문제1) Frameset 사이트의 데이터 수집시 일부 메뉴만 수집되는 문제 원래의 코드와 비슷하게 다시 정리해서 맞췄다맞춘 결과 이전과 동일하게 서브메뉴 3 까지는 수집 되는 것을 확인메뉴4부터 다시 오류가 발생하는데 왜 발생하는건지 찾아야하긴 하겠지만...일단은 수집목표 데이터만큼 수집이 되기도 했고 다른 것도 봐야하기 때문에 일단은 넘어간다 다음에는 오류난 부분에 대해서 좀더 상세히 적어보기로한다 이제 그다음 문제 2) 4개의 크..
2025.04.15