이제 Alli는 응답이 완성될 때까지 기다리지 않습니다. 토큰이 생성되는 즉시 화면에 표시되어 첫 글자가 나타나기까지의 시간이 대폭 줄어듭니다.
Alli에 실시간 스트리밍 응답이 도입됐습니다. 기존에는 응답이 일정량 생성된 후 한꺼번에 표시되는 방식이었지만, 이제는 토큰이 만들어지는 즉시 화면에 나타납니다.
이전 방식에서는 응답이 내부적으로 버퍼에 쌓인 뒤 청크 단위로 전달됐습니다. 그 결과 사용자는 첫 응답이 나타날 때까지 기다려야 했고, 전체 응답이 완성되기 전까지 체감 대기 시간이 길었습니다.
이번 업데이트로 두 가지가 개선됐습니다.
실제 응답 생성 속도가 바뀐 것은 아닙니다. 하지만 사용자가 느끼는 속도는 완전히 다릅니다. 텍스트가 한 글자씩 흘러나오는 방식은 대기하는 느낌 자체를 없애줍니다. AI와 대화할 때의 리듬감이 달라집니다.
궁금한 점은 문의 페이지에서 연락해 주세요.
