뉴스 요약 결과 재사용을 위한 캐싱 설계 OpenAI API를 연동해 뉴스를 요약해주는 기능을 구현하다 보니, 같은 기사를 반복 요청하는 경우가 자주 발생했다. 처음엔 단순하게 매 요청마다 API를 호출했지만, 비용과 응답 속도 측면에서 비효율이 느껴졌다.“같은 기사에 같은 프롬프트로 요청했다면, 이전에 요약했던 결과를 재사용할 수 없을까?” 이런 고민에서 시작된 캐싱 구조를 정리해본다. 문제 인식 OpenAI API는 호출 횟수에 따라 비용이 발생한다.또, 뉴스 요약은 길이에 따라 평균 3초 이상의 응답 지연이 발생하는 경우도 많다.같은 기사에 대해 여러 번 요약을 요청하는 구조는 비효율적이었고,결국 캐싱을 고려하게 되었다. 설계 방향 요약 결과를 캐싱하려면, “어떤 기사”에 “어떤 프롬프트로” ..
