AI 챗봇 자동응답 시스템 설계와 운영
2026년 5월 19일 공유
회의 정보
- 날짜: 5월 19일(화)
- 참석자: 동주, 지오, 레오, 제이드
안건
-
-
-
논의 내용
- 제일도 지고 오면 시작할까요? 네, 좋습니다.
- 아, 제이저가요? 네, 좋아요. 네, 틀립니다.
- 아, 그 제이저에 지오가 얘기하는 게 하나 있는데 페이북 공연이 되어 있어서 보면 되고 요청한 내용이 이제 유지가 질문 초초로 하고
- 그거에 대해서 꼬기 질문을 했을 때 두 가지가 있는 것 같은데, 첫 번째는 AI가 처리하고, 나머지는 운영진이 처리하도록 할 수 있는 형태를 생각하면 될 것 같아. 두 번째는 운영진이 필요한 경우라면 운영진에게 '격장 해줘'라고 문의가 갈 텐데, 그때는 어떻게 할지 논의가 필요합니다. 또한, 공개인지 개인인지에 따라 접근 방식이 달라질 수 있겠다는 점도 고려해야 합니다. DM으로 묻든 문양으로 묻든, 담당자에게 운영진이 어떤 형태로 대응할지 논의가 필요합니다. 지금 DM창에 다시 질문을 하면 자동 답변이 나오지 않고 문진한테만 알게돼 있을 거라서, 나는 그게 계속 됐으면 좋겠다고 제 얘기해준 거고, 제이든 그 과정에서 어색하다고 하는 게 있다는 거지? 담당자 문의를 통해서 했는데, 그 후에 이 질문을 다시 받을 때 다시 가질 못해서 AI 답변을 하게 하는 거라는 거. 두 번째 질문 답변이 연결된 거냐 아니냐를 판단할 수 있어야 되는데 제 생각에는 제이드가 각각 독립적으로 구해지지 않았을까? 아닌가? 6시간 이내면 다 같은 거로 보나? 아마 6시간 이내면 같은 걸로 작업을 했을 거예요.
- 수강생의 모든 메시지를 한 번에 보고 싶어하는 니지가 있는 것 같아요. 현재는 담당자의 문의를 요청하기 직전의 메시지만 확인할 수 있고, 전체 맥락을 알아야 답변이 적절히 이루어질 것이라고 정했습니다. 이해가 맞나요?
- 잠시만요.
- 좋아요.
- 네.
- 보여 드려도 괜찮으실까요?
- 아니면 제가 테스트를 한번 해가지고.
- 한지를 좀 봐야 될 것 같은데.
- 제가 프리콜스 프로야 하나요? 문의학에서 이렇게 질문을 하면은 교육들의 DNA 답변을 나오잖아요.
- 수강생이 추가 질문이 있을 경우 어떻게 처리할지 논의 필요.
- 네오가 말한 두 가지 요구사항 중 첫 번째(전자?)가 없어지는 것인지? 그리고 모든 문의 내용을 볼 수 있는지?
- 지금 약간 헷갈리는 게
- 맞나요, 제이든?
- 그래서 아마 주는 거를 바꾸는 건 어렵진 않을 것 같아요.
- 왜냐하면 하나의 세션에 역을 상담 답변이 묶여 있을 거거든요.
- 지호가 말한 형태로 작업은 할 수 있을 것 같아요.
- 지호가 말한 것은 이전에 AI가 답변한 모든 내용을 한 번에 문의로 보내는 것이라고 이해했습니다.
- 이 문맥을 통해서 뭔가 주제를 구분하고 하는 것은 조금 굉장히 버그가 많을 것 같은 느낌이 들고 일단은. 그리고 만약에 그걸 안 하고 그냥 해결됐어요 전까지 모든 것에 대한 문의 사항을 다 한 거를 누르면 다 보내는 거는 이제 가능한데 아까 전에 레오가 얘기했던 문의한 후에 다시 얘가 AI 답변을 원하는, 답변을 해야 되는 부분을 조금 확인을 해 봐야 될 것 같아요. 이게 가능한지 안하고. 그러니까 지금 레오 말은
- 그 다음에 내가 또 질문을 할 수 있지. 그거와 관련됐든 아니든.
- 근데 그러면은 사실 좀 지금 생각해 보니까 관련된 질문을 할 거면은 처음부터 담당자가 답변할 수 밖에 없는 문이면 다시 질문을 계속 담당자가 받는 게 맞는 것 같고.
- 프레퀘스 이후 개강 후에는 LMS 이용할 수 없나요?
- 어떤 걸 가져온다는 걸?
- 만약에 세션이 종료가 안됐다면 해당 세션에 있는 내용만이라도 가져올 수 있는 건 안될까요?
- 6시간 지나면 자동으로 세션이 종료된다고 들은 것 같은데...
- 지호가 세션을 없애자는 아이디어를 제안했다.
- 내용에 따라서 구분하는 게 어려울 것 같아요.
- 여기가 어떤 걸 말씀하시는 거예요?
- 이 전의 모든 질문들이 이미 여기 들어가 있는 거 아니에요?
- 어차피 담당자 문의 쪽으로 오니까
- 사실 이게 담당자 문의가 필요한 질문이면
- 안 들어줘도 되는데.
- 안 들어줘도 되는데.
- 사실 이게 담당자 문의가 필요한 질문이면
- 어차피 담당자 문의 쪽으로 오니까
- 이 전의 모든 질문들이 이미 여기 들어가 있는 거 아니에요?
- 여기가 어떤 걸 말씀하시는 거예요?
- 지금 시나리오를 보면 시나리오를 좀 체크를 해야 될 것 같은데 담당자 문의가 필요 없는 질문 답변을 다 하고 나서 후에 이것처럼 담당자 문의가 필요할 때 이것에 대한 문의 쓰레드인 모든 글이 이미 여기에 들어가 있는 거 아닌가 해가지고 제가 이해한 게 맞으면은 제가 테스트 했을 때는 마지막에 질문 한 것만 이제 운영진 문이 들어올 때 나올 걸? 이게 바뀐다 이거지? 바꿀 거긴 한데 어떻게 바꿀 건지에 대해서
- 그렇게 하면 되는지 누가 본 거야? 그걸 원한 것 같은데? 내가 말한 이해한 지효의 의도는? 맞지 않나요? 6시간 내에 그냥 발사한 거면 그냥 뭐 AI로 답변 됐든 안 됐든 그 내용 다 넣어주면 안 되냐고 얘기한 것 같아.
- 동기간 내에 서로 다른 질문을 했음: 프리코스 A → 출석 인정 A → 슈가 관련 질문. 6시간 이내에 슈가 답변만 필요하지만, 불필요한 히스토리까지 보이는 문제.
- 6시간 이내에 가능할 것으로 예상됩니다.
- AI 답변 후 ‘추가 질문’ 버튼을 만들어서, 버튼을 누르면 해당 질문에 대해 맹각을 유지하도록 구현할 예정입니다.
- ABC에 대한 정보를 모두 보여주면 지오도 운영하기 편할 것입니다.
- 프리코스 A, B, C 질문이 있었으며, C 질문은 담당자 문의가 필요합니다.
- 보여주는 방법도 있는 것 같다는 생각. 이거는 개막이 되는지, 아니면 또 이걸 했을 때 구현 난이도나 공수를 생각해보긴 해야 할 것 같아요. 사용자 입장에서는 조금 복잡할 것 같은 느낌인데. 아 사용자 입장에서는 그냥
- 지호가 말씀하신 대로, 담당자 문의가 필요해지는 시점부터는 주제와 상관없이 모든 문의가 담당자에게 전달됩니다.
- 회의가 많아질 것 같아서, 한 번 불러주시는 게 좋을 것 같기도 하네요. 저희는 어쨌든 큰 테마는 알았고, 세부적인 정책은 정해지겠지만 큰 틀에서는…
- 지효가 생각하는 이상적인 시나리오가 있으면, 방금 얘기한 플로우를 다시 짜서 그걸 커버하도록 한 번 더 튜닝해야 할 것 같습니다.
- 담당자가 답변을 보낸 뒤 수강생이 ‘해결됐어요’ 버튼을 누르기 전까지는 스레드에 계속 쌓이게 됩니다. 세션이 종료되지 않으면 계속 쌓일 것 같습니다.
- 지금 카드코딩이 6시간 돼 있는 거죠. 혹시 이거 시나리오랑 이런 것들이 적혀져 있는 문서가 있을까요? 구체적인 대화 시나리오는 이 정도 수준으로 제가 만들지 않았어서 상황이 예측하지 못해서.
- 기본 시나리오: 단일 응답 설계만 진행했으며, Discord 스레드나 DMO를 계속 문의하는 상황은 전제하지 않았음.
- 수강생이 담당자 답변을 기다리는 동안 AI 답변이 가능한 질문을 다시 하면 혼란이 생길 수 있다. 특히 담당자 답변에 20초 정도 걸리면, 수강생이 AI 답변을 기다리지 못하고 다시 질문을 던질 가능성이 있다.
- 그때는 입력 못하게 하면 안 돼요? 운영진도 사실상 그것도 생각해봐야 되지 않을까? 수강생이 여러 개 질문하는 건 어쩔 수 없다고 치는데 운영진이 답해야 할 것들이 바로 앞에 있는데 이거를 AI 답변까지 기다리고 나서 하는 게 조금 시간이 많이 걸리고 실시간성이 떨어지지 않나 하는 생각이 들었거든요. 근데 AI 답변은 일단 빨리 나오지 않아? 담당자 문의할 때 그거 담당자 문의가 필요한 답변이면 AI가
- 사용자에게서 들어온 질문에 맞는 답변을 찾고 판단하느라 느린 거고. 판단하면 빨리...
- 자료를 찾아서 답변을 할 수 있는 이유가 보통은 데이터베이스에 없는 운영진이 확인이 필요한 문의들이어서, 저도 해봐야 알 것 같긴 한데 큰 불편함은 느끼지 않을 것 같아요.
- 가? 원식값인지 아니면 AI 판단 후 점수인지 좀 궁금합니다.
- 사실 이런 구체적인 세션 규칙들 같은 거를 조금 고민을 좀 더 해봐야 될 것 같아가지고 아까 그때 말씀을 드린 거였거든요. 근데 사실 제가 이런 시나비오나 로직에 대한 권한을 온전히 수지나 지니한테 받은 게 아니어가지고
- 운영진이 실시간으로 진행하기 어려운 유저 상담 플로우이며, 채팅이 아닌 장문으로 한 번에 보내는 방식이 필요하다.
- 담당자가 DM 상담 시 시간이 더 필요하면 미리 알려드리고, 확인 후 연락드리겠습니다.
- 운영진이 3일 6시간이 지나도 아직 메시지가 남아있고, 내가 답변을 하면…
- 현재 시스템은 단일 질문에 대해 단일 답변만 제공하도록 설계되어 있으며, AI 환각을 방지하기 위해 셀렉트 형태로 구현되어 있다. 두 개 이상의 질문에 대해 각각 답변을 제공하는 기능은 아직 구현되지 않았다.
- 수강생 입장에서는 6시간이 지난 후 답변을 받더라도, 이전 질문을 함께 보여주면 맥락을 파악할 수 있어 크게 불편하지 않음.
- 만족도 측정 버튼이 현재 설정되어 있지 않으며, 가중치가 적용되지 않은 상태입니다. 현재 모델에서는 가중치 계산이 필요 없다고 생각하지만, AI가 답변한 질문이 만족스럽거나 불만족스러운지 판단하고 싶습니다. 이 버튼은 해당 질문에 대한 답변을 파악하기 위한 용도이며, 실시간으로 점수를 받아 가중치에 반영하는 로직은 아닙니다.
- 운영 쪽이 사람을 직접 대하는 분야라 예측하기 어려운 예외사항이 많다. 정보와 플로우를 만족스럽게 준비해도 챗봇을 전 과정에 바로 도입하면 예외가 발생할 수 있다.
- 수지와 지니가 테스트 기술을 먼저 정하고 조정해보면 어떨까? 전 과정 대상으로 해야 되는 이유가 따로 있는가?
- 버그 4번에 C 한번 봐주실 수 있나요?
- 그런가요? 괜찮습니다 그럼 조금 질문을 세세하게 아 그럼 얘기해 아 네 궁금한 게 너무 많아가지고 아 일단은 네 너무 개발해 주셔서 너무 감사하고요 그거 외에도 뭔가 좀 세세하게 질문을 드리면 어 만족도 측정 버튼에 따라서 그 가중치가 되는 것 같더라고요
- 경영님은 유사도 체크(스토어 이용) 관련 이론만 알고 있으며, 실무 경험은 없다고 답변했습니다.
결정 사항
- 작업하면 될 것 같아.
- 근데 그냥 생각인데... 시간으로 유의미하면...
- 그러니까 6시간이라는 시간 단위가... 이제 이렇게 하자고 하고 우리가 합의를 하는 이유는 그 시간 내에 문의한 거는 사실 좀 비슷한 내용에 대한 문의라고 가정을 하는 거일 거 아니야.
- 결론적으로 시나리오의 큰 부분을 이해했고, 그 부분에 대한 테스트를 의도하지 않았습니다. 운영진이 어떻게 처리할지 모르고, 어떤 로직을 원하는지 모르지만, 이제는 알았습니다.
- 전과정 대상 체포 TV 완성 기간이 어느 정도인지 물어봐 주셨고, 정확한 정보를 차주 초까지 기입할 수 있을 것 같다고 언급했습니다.
- 페이지 1-4를 나누어, 페이지 1에서는 전체 문의의 약 60%를, 페이지 2에서는 30% 정도를 응대할 수 있도록 계획.
- 1차 기준을 설정하고, 기준 충족 시 2차 기준을 적용하며, 추가 요청 시 일정 재산정. 타임라인 마이스톤을 도입.
- 지효가 페이지 1까지만 진행하고 추가 진행 여부를 결정한다.
- 테스트 기수 운영 기간을 28일로 설정하고, 운영 기간 종료 후 1, 2번(준?)을 검토한다. 테스트 기수 수는 아직 결정되지 않음.
- 수백 개가 늘어나는 것이 Q&A 구조 때문인지, 아니면 내용 자체가 늘어나서인지 논의 중.
- AI 답변 방식을 이미 정해 개발을 진행하고, 미팅에서 개선 가능하면 개선된 상태로 가져가겠습니다. 동주가 남긴 모든 항목은 답변이 완료되고 버그가 수정된 상태입니다.
- 데이터베이스 전달이 가능한 날짜는 차주 초이며, 사용성에 초점을 두고 진행할 예정입니다.
- 페이지 1 형태에 대한 추천: 현재 작업한 것을 사용하도록 권장. 사전 프로포트는 100M 정도까지 가능하며, 더 늘어나면 OpenAI 활용을 고려합니다.
- 페이지 4에 대한 노션 페이지가 존재하며, 회의 노트와 PRD 의사결정 미팅이 첨부되어 있습니다.
알겠습니다. 뭔가 최대한 수강생이 단일 질문을 할 수 있도록 하는 게 좋을 것 같긴 한데 어떻게 할지도 감이 안 잡히네요. 근데 뭐 사실 AI 책 보시면 그런 상황을 강제하는 것도 좀 웃기긴 하고 봐야 될 것 같아요.
감사합니다. 감사합니다. 아니, 왜 이렇게 저희도 저희가 픽을 해서 한 거여서. 진짜 신기해. 난 열심히 했어, 이거. 이런 거 첫내가 저희도 고생 많이 했으니까 잘 이용해 주세요.
후속 조치
- 진, 수지, 혜와 논의해보기
- 지혜를 초대해볼게요
- 이 요구사항이 해결되면 수지와 진과의 논의가 필요 없을 수 있음.
- 이 스레드는 '해결됐어요' 버튼이 눌릴 때만 해지된다.
- 수강생과 운영진이 트레드를 완료할 수 있도록 기능 검토
- 미팅 날짜를 정해 연락드릴 것
- 운영해보고 질문 답변 개선 및 프로 전달 후 수정 예정
- 전 과정 언제 내보낼지 일정 확인 필요
- 미팅 시간을 4시까지로 조정 가능 여부 확인
- 동주 먼저 top3부터 진행
- 테스트 결과를 첨부한 새 페이지를 확인해 주세요.
- DB를 보니 두 가지 질문 유형이 존재하는 상황이 있을 수 있음을 확인했으며, 그때 어떻게 답변을 해야 할지 아직 구체적인 방안이 없으므로 논의가 필요합니다.
- 각각의 질문에 대해 코사인 유사도를 계산하는 방식을 사용하고, 내부적으로 AI의 LNM 형태로 판단한다. 현재 64개 항목 중 답변 가능한 것만 답변 가능하도록 설정되어 있다.
- 페이지 4까지 구현 가능 여부 확인
- 성공 기준이 엄격해야 한다.
- 개인정보가 포함되므로 보안 기준이 엄격해져야 한다.
- 페이지 3 개발은 페이지 1 구조를 바꾸지 않고 독립적인 차원에서 진행된다.
- 이수증 요청 시 해당 질문에 맞는 답변을 제공하고, 응답값에서 개인정보를 찾아 이수증을 생성한다.
- 페이지 1에서 적절한 질문을 잘 고르고 할 수 있으면.
- 버그 내용 확인
- AI 판단 메모가 한글/영어로 나오는 버그 확인
- 두 개 항목에 대해 프롬프트를 테스트하고 결과를 판단해 주세요.
- 각각의 답변을 제대로 추적하고 구분하도록 시스템을 개선한다.
- 우선 이 이슈에 대해 확실히 확인한 뒤 대응 방안을 논의할 것
- 개발 운영 타임라인 공유 요청
- 타임라인 기록 방안 검토 및 수지진과 논의 진행
- 테스트 기술 월요일에 제출, 수요일까지 요청, 목요일에 수신
- 수요일이나 목요일에 회의 일정 확정
- 데이터베이스에 있는 질문 답변 검증을 테스트 기수 담당자에게 요청
- DB 일정은 EX팀이 관리하고, 저희는 최소 준비된 답변을 제공한다.
- DB 답변 미검토 항목 중 가장 우선순위가 높은 것들을 EXT에서 검토하고, 결과를 공유해 주시면 일정에 맞춰 진행합니다.
- QA 노트리 공유 및 작성 위치 확인
- 슬랙에 QA 시트가 있어, 양식을 옮길 예정입니다.
- 지효가 눌러봐 주시면 좋겠습니다.
- 자유 테스트 영역에 동주가 했던 것들을 기록하고 멘션하기
- EX팀이 최신 기술을 공유함.
- 공유는 된 것 같고 지니, 수지에게 QA 링크 공유. 디스코드와 DB 모두 접근 가능.
- 제이드와 함께 미팅을 잡아주고 정책 논의 필요