요즘 당근 AI 개발

요즘 당근 AI 개발

요즘 당근 AI 개발 책을 요약한 내용입니다.

PART 1. AI 활용 첫걸음

당신과 함께 해서 행복했던 일형 올림

#LLM #거래후기 #중고거래 #프롬프트엔지니어링

	내용
서비스 소개	시용자가 물건을 중고로 판매했을 때, 판매한 물건이 사용자(판매자)에게 마지막 인사가 담긴 편지를 보내기 시작하는 경험을 제공
목표	- 거래 경험 개선 및 활성화 - 후기 작성 동기 부여 - AI 기술 활용 검증
적용 기술	LLLM(Large Language Model) 물품의 특징과 거래 전후의 맥락을 이해하고, 이를 바탕으로 사용자가 마치 물품과 정서적으로 연결되어 있다는 느낌을 받을 수 있도록 프롬프트를 작성하여 편지를 생성
효과	거래 후기 작성률이 크게 증가

AI 글쓰기 서비스

	내용
서비스 소개	사용자가 글쓰기에서 느끼는 어려움과 번거로움을 해소하기 위해 시작된 AI 글쓰기 서비스
목표	중고거래 시 물품을 빠르고 편리하게 판매할 수 있도록 돕는 것
적용 기술	LLM(Large Language Model) - 1단계 (사전 분석): 사진에서 핵심 정보(물품명, 브랜드, 크기, 사용감 등)를 추출하여 추론 - 2단계 (본문 작성): 추출된 정보를 바탕으로 중고거래 규칙에 맞게 본문을 생성 - 3단계 (오류 처리 및 상세 정보): 오류 처리 및 사용자에게 필요한 상세 설명을 포함하여 마무리
효과	- 글쓰기 완료율 향상: 사용자가 글 작성 단계에서 이탈하는 비율이 줄어들었음을 시사 - 사용자 만족도 증대: "조금 수정만 했을 뿐인데도 도움이 되네요," 또는 "나보다 잘 쓴다" 등 긍정적인 반응. 특히 상품에 대한 디테일을 스스로 작성할 수 있어서 편리하다는 평가 - 번거로움 및 노력 감소: 사용자들의 번거로움을 줄여 더 쉽게 판매할 수 있도록 돕고, 사진만 있으면 곧바로 판매를 시작할 수 있는 효과 - 판매 성과 개선: 사용자들이 더 편하게 중고거래 글을 올리고, 판매도 더 잘 이루어지는 성과

PART 2. AI 기반 운영 자동화 및 시스템 연동기

리뷰 자동화 시스템 구축기

	내용
서비스 소개	매일 쏟아지는 리뷰를 사람이 일일이 확인하고 분류하는 과정에서 발생하는 비효율성과 한계를 극복하고자 진행된 서비스
목표	- 사용자 의견 누락 방지 및 신속한 반영: 매일 쏟아지는 리뷰 속에서 더 빠르고 깊이 있게 서비스에 반영 - 업무 효율성 극대화: 운영팀 구성원들이 반복적이고 수작업에 많은 시간을 소모하는 리뷰 확인 및 분류 작업에서 벗어나, 더 창의적이고 본질적인 문제 해결에 집중할 수 있도록 하는 것 - 서비스 강점 강화: 긍정적인 피드백을 분석하여 서비스의 강점을 강화하는 방안을 모색하고, 특정 유형의 리뷰가 급증할 때 이를 이상 징후로 감지하여 미리 알려주는 고도화된 시스템을 구상
적용 기술	GPT, Zapier - GPT 기반 리뷰 요약 및 분류 (라벨링): Zapier + GPT의 조합을 통해 리뷰 요약 기능을 구현. 이후, GPT에게 정확한 라벨링 기준을 프롬프트로 정의하여 리뷰를 '서비스', '유형', '요약' 등으로 자동 분류하는 시스템을 생성 - 리뷰 라벨링: GPT가 리뷰 내용을 기반으로 서비스(예: 중고거래, 동네생활, 페이), 유형(예: 오류, 개선 제안, 고객센터) 등을 식별하여 명시적인 방식으로 이루어짐 - GPT 임베딩(Embedding) 및 벡터 데이터베이스: 정확도를 높이기 위해, 수집된 리뷰 데이터와 수동으로 라벨링한 샘플 데이터를 GPT 임베딩을 사용하여 벡터 데이터베이스에 저장. 신규 리뷰가 들어오면 이 데이터베이스에서 유사한 샘플을 추출하여 GPT에게 전달함으로써, 별도의 모델 학습 없이도 일관된 결과를 얻을 수 있도록 - 인사이트 도출 및 보고서 자동 생성: 라벨링된 데이터를 기반으로, GPT를 사용하여 정형화된 VoC(Voice of Customer) 분석 리포트를 생성. 이 리포트는 '서비스', '이슈', '개선 사항' 등을 요약하여 실무에 바로 적용할 수 있는 형태 - 워크플로우 자동화 (Zapier & Slack): 리뷰가 수신되면 Zapier가 메시지를 감지하고, GPT를 통해 분류 및 요약된 결과를 Slack 채널로 자동 전달하는 워크플로우를 구축
효과	- 획기적인 시간 절약(업무 효율성 증대): 수작업 대비 최대 70~80%의 시간을 절약 - 정확도 및 일관성 향상: GPT 기반의 자동화 라벨링을 통해 수동 작업 시 발생할 수 있는 오차를 줄이고, 정확도와 일관성이 향상된 라벨링 결과를 확보 - 본질적인 업무 집중 및 인사이트 도출: 단순 반복 작업이 줄어들면서, 반복적 업무에서 벗어나 더 정교한 인사이트를 도출하고 개선 방향을 기획하는 데 집중 - 활용 범위 확장 가능성: 구축된 자동화 시스템은 리뷰뿐만 아니라 고객센터 문의, 신고 등 다양한 피드백 소스에도 적용 가능하여 높은 확장성

LLM을 활용한 당근 중고거래 운영 자동화 전환기

	내용
서비스 소개	- 운영 업무의 특성: 운영팀은 매일 사기 신고, 이상 게시글 처리, 반복되는 고객 응대 등의 문제를 해결하며, 이로 인해 중요한 전략 기획이나 사용자 경험 개선에 할애할 시간이 부족 - 플랫폼 환경: 실시간으로 수천 개의 게시글이 올라오고, 개인 및 단체 간의 이해관계가 복잡하며, 사기 유형이 빠르게 진화하기 때문에 운영자는 이 모든 것을 실시간으로 감지하고 대응하며 정책을 개선해야 함 - 운영의 지속적 순환 사이클: 중고거래 플랫폼의 운영 업무는 신고 접수, 검토, 판단, 필요시 정책 반영, 사유 작성, 제재로 이어지는 '지속적 순환 사이클'을 반복
목표	- 반복 업무 해소: 업무 중 상당 부분이 반복되면서 지치고, 운영의 단순한 판단을 넘어 문제 해결 및 대응을 위한 에너지를 쏟아야 하는 상황을 개선 - 핵심 업무 자동화: 매일 반복적으로 수행하는 중고거래 플랫폼의 핵심 업무를 자동화하는 방법을 모색 - 운영자의 도구 제작: 비개발자도 현장의 문제를 해결하기 위한 AI 도구를 직접 만들 수 있음을 증명하고, 운영자가 복잡한 반복 업무를 해결할 수 있도록 지원
적용 기술	LLM(Large Language Model), FastAPI, Cursor AI, Claude, GPT-4 - Regex Maker 도구: 사용자가 입력한 내용을 바탕으로 백엔드에서 GPT API를 호출하여 정규식을 생성해 주는 도구 개발 - 프롬프트 엔지니어링: 운영팀의 요구사항을 명확히 반영하여, GPT가 구체적이고 누락 없는 정규식을 출력하도록 프롬프트를 조정
효과	운영팀은 반복 업무 부담을 크게 줄이고 효율을 높이는 데 성공 - 정규식 작성 시간 감소: 기존 평균 90~120분에서 10~20분으로 약 80% 감소 - 동일 신고 유형 응대 시간 감소

작은 팀, LLM으로 큰 업무효율 내기

	내용
서비스 소개	- 신규 가입자 지표봇 슬랙 메시지 - 에러 박사 슬랙 댓글
목표	- 생산성 향상 및 개발 집중: 팀 리소스의 20%를 잡아먹던 반복적인 온콜 업무를 해결하고, 팀원 모두가 개발에만 집중할 수 있는 환경을 만드는 것 - 문제 대응 시간 단축: 문제 대응 시간을 기존 1시간에서 10분으로 단축하는 것 - 운영 정책 자동화 및 개선: 운영 정책이 고여 있지 않고 자동으로 업데이트되는 구조를 만들고, 실제 대응 기록을 LLM 학습에 활용하여 정책 문장 개선 제안까지 자동화
적용 기술	LLM, MCP, n8n
효과	- 업무 시간 및 개발 집중도 확보: 팀 업무 시간의 20%를 차지했던 온콜 업무가 해결되었으며, 이제 팀은 대부분의 시간을 기능 개발에 투자 - 커뮤니케이션 비용 감소: 과거 PM이나 개발자를 통해서만 알 수 있었던 정보가 MCP를 통해 직접 파악 가능해지면서 커뮤니케이션 비용이 크게 감소 - 에러 분석 및 대응 시간 단축 (에러박사 사례): 에러 분석 시작 이후 시간이 1시간에서 10분 이내로 단축. 에러가 긴급 대응이 필요한지 새벽에도 즉시 확인할 수 있게 되어 불필요한 대응 감소 - 정확한 정보 제공: 에러박사가 분석한 결과는 센트리 메시지에 대한 댓글로 제공되어, 담당자가 별도의 로그북을 열지 않고도 에러의 심도와 대응 방안을 확인 - 반복 작업 자동화 및 인사이트 도출 (국가별 가입자 분석 리포트 사례): 매일 아침 수동으로 SQL을 조회하고 지표를 계산하던 30분 분량의 반복 작업이 자동화 및 LLM이 데이터를 해석하여 의미 있는 인사이트 제공

구축된 MCP 서버 및 기능 LLM이 실제 업무를 처리할 수 있도록, 5가지 기능을 수행하는 MCP 서버들을 구축

1. gRPC (실시간 정보 조회): 사용자의 계정 상태 같은 실시간 정보를 안전하게 조회하며, 계정 권한 제어와 같은 데이터 변경 작업도 안전하게 구현 가능

2. BigQuery (데이터 기반 분석 쿼리): 데이터베이스의 맥락을 이해하고 스스로 적절한 쿼리를 작성 및 실행하여 결과를 요약

3. Sentry (에러 상황 신속 파악): 예기치 못한 에러 발생 시, 해당 에러의 상세 정보를 MCP로 가져와 LLM이 원인 분석 및 해결 방법을 제시

4. GitHub (코드 레벨 분석): 에러가 발생한 위치(스택 트레이스)를 기반으로 해당 파일 및 라인 번호의 실제 코드를 가져와 LLM의 원인 분석을 지원

5. Datadog (서비스 간 연관 파악): 마이크로 서비스 환경에서 에러 요청의 전체 흐름을 추적하여, 에러와 연관된 다른 서비스와의 관계를 파악하도록 지원