2주차는 한마디로 요약하면 "요약의 요약"이었다. 텍스트 요약의 정답은 없다는 사실을 매번 실험을 통해 확인했고, 그만큼 끊임없는 테스트와 튜닝이 반복되었다. ✅ 프롬프트 구조와 파라미터 조정 실험Llama4-scout-17b 모델을 대상으로 프롬프트 길이, 포맷, 파라미터(batch size, temperature, top_p 등) 를 바꿔가며 요약 성능을 비교했다.프롬프트가 길면 오히려 요약이 아니라 다른 청크 내용을 생성하는 경우가 생김batch size를 30에서 100으로 늘리니 처리 시간 대폭 단축 (5분 → 1분대)프롬프트에 "내용을 1/3로 요약하라"는 요청을 넣어 DeepSeek 입력 가능 토큰 수에 맞춤 (약 95,000자)포맷을 system/user/assistant 구조로 세분화해 ..

운좋게도 회사측에서 한번더 인턴할 생각이 있냐고 하셔서 같은 곳에서 2번째 인턴을 하게 되었다.매일 매일 배움과 도전이 가득했던 밀도높은 시간들이라 감사한 마음으로 수락했다. 이번주에는 기업홈페이지 자동크롤링 후 수집한 텍스트를 요약하는 시스템을 직접 구현하고 테스트하는 과정을 거쳤다. ✅ 코드 자산 정리 및 Github 업로드 먼저 지난주까지 했던 업무들에 대해서 Github 업로드에 업로드 했다.RAG 기반 챗봇, 뉴스수집기, ISO 인증정보 크롤러, 기업정보 요약 모듈 등 전체 코드와 산출물을 리뷰해볼 수 있는 시간을 가졌다. JupyterNotebook, 엑셀, PPT, Word 자료까지 일괄 정리하면서 Github 사용법도 익히고 집에있는 내.. 프로젝트 파일도 생각났다. (눈감아 내파일) ..

오늘의 업무DeepSeek 기반 RAG 챗봇에 대화 히스토리 반영기능 추가프롬프트 작성 방식을 단순 텍스트 -> role, content 구조로 전환반복 질문/답변 오류 개선 테스트 진행 오늘은 RAG 챗봇 기능을 한 단계 끌어올리기 위해, 이전 대화 내용을 반영하는 대화 지속 기능을 구현했다.또한 DeepSeek API 구조에 맞춰 프롬프트 구성을 보다 명확하게 개선하여,모델이 상황을 이해하고 자연스럽게 맥락있는 답변을 이어갈 수 있도록 했다. 🧩 1. 프롬프트 구조 개선 – role & content 방식 적용기존에는 단순 텍스트 형태의 프롬프트를 전송했지만,이는 대화 흐름 유지나 역할 구분이 어려워 질문/답변이 혼동되거나 반복 생성되는 문제가 있었다.이를 해결하기 위해 role (user, as..

오늘의 업무DeepSeek 기반 스트리밍 챗봇구현콘솔 어플리케이션 형태로 실시간 대화 구현 오늘은 RAG 기반 문서 검색 시스템과 DeepSeek LLM을 결합해실제 사용자와 대화가 가능한 콘솔 챗봇 형태로 구현하는 작업을 진행했다.특히 스트리밍 방식으로 구현함으로써, 대화가 입력되자마자 응답이 조금씩 출력되는 자연스러운 대화 흐름을 실현하고자 했다. 💬 1. 스트리밍 챗봇 구현 (콘솔 기반)DeepSeek API의 스트리밍 응답 기능을 활용하여,콘솔 화면에서 질문을 입력하면 실시간으로 모델의 응답을 받아 출력되도록 구성했다.🔧 주요 구현 포인트:DeepSeek API의 stream=True 옵션 활용chunk 단위로 응답을 받아서 출력 → 대기 시간 최소화사용자 입력 → 검색 → 응답 생성을 하나의..

오늘의 업무DeepSeek Bedrock 호출 코드 수정 및 토큰 수 재계산 로직 개선Claude 3.7과 DeepSeek R1 챗봇 성능 및 비교 보고서 작성Postman 툴 활용 학습 오늘은 LLM 성능 분석의 마지막 진짜 진짜 마지막 최종 토큰 단위 사용량을 정확하게 측정해보았다.DeepSeek모델의 응답 토큰 수를 보다 정확하게 계산 할 수 있도록 API호출방식과 출력구조를 개선했고 이를 기반으로 비용산출을 다시 했다.🛠 1. DeepSeek 호출 구조 및 토큰 계산 로직 수정기존에는 DeepSeek 응답에서 출력된 텍스트만 가지고 Auto Tokenizer로 토큰 수를 유추하는 방식으로 계산을 했다.계산결과가 Claude랑 별차이가 없어서 DeepSeek가 가격적인 메리트가 없는 것으로 보여졌..

오늘의 업무DeepSeekR1과 Claude 기반 RAG성능 비교LLM 응답별 토큰 수 계산 및 비용 산출성능 평가 결과 워드 문서화 진행 오늘은 두가지 LLM 모델인 DeepSeek와 Claude를 동일한 RAG 파이프라인 환경에서 비교하고,각 응답의 토큰 수와 그에 따른 API호출 비용을 분석하는 작업을 진행했다. 🧠 1. Claude 응답 토큰 수 계산 로직 구현Claude의 응답 구조는 기본적으로 API 응답에 토큰 정보가 포함되지 않기 때문에,별도로 응답 토큰 수를 계산할 수 있는 로직을 코드에 삽입했다. (과금방지)🤖 2. DeepSeek 응답 토큰 계산 – AutoTokenizer 적용DeepSeek 모델은 HuggingFace 기반 토크나이저를 통해 AutoTokenizer를 사용할 수..