o1은 전통적인 “대화형 모델(Chat Model)”이 아니라, “리포트 생성(report generator)형 모델”에 가깝다.

 

아래 내용은   https://www.latent.space/p/o1-skill-issue   “o1 isn’t a chat model (and that’s the point). How Ben Hylak turned from ol pro skeptic to fan by overcoming his skill issue.”  을 핵심적인 맥락 중심으로 정리한 것입니다.

• wyx & Alessio: AI 관련 팟캐스트/블로그 운영자
• Ben Hylak: Apple VisionOS 관련 작업을 해왔고, “Dawn Analytics”를 창업. 초기에는 o1(및 o1 pro)에 대해 매우 회의적이었으나, 실제 사용 과정을 거치면서 매일 사용하게 됨.

핵심 요약

• o1은 "채팅형" 모델이 아님
• 사용 시 “10배 이상의 맥락” 제공 및 “명확한 목표(Output)” 제시가 성패의 열쇠
• 월 200달러 비용: 적절히 쓰면 엔지니어 몇 시간치 비용 절감 가능
• 응답 지연(최대 수 분 ~ 수십 분) 감수: 장문의 보고서·복합 파일 등을 한꺼번에 정확히 출력
• 한계: 문체·스타일 재현은 미약, “전체 SaaS 구축”은 아직 무리

o1(및 o1 pro)은 “길고 복잡한 컨텍스트와 요구사항을 한 번에 주면, 매우 정밀하고 방대한 결과물(코드·설계안·분석 리포트 등)을 ‘단번에’ 생산하는 역량”이 뛰어남. 하지만 대화형으로 빠르게 물어보며 점진적으로 조정하기에는 적합하지 않으며, 고비용·고지연이라는 특성상 한 번의 요청을 충분히 준비해야 함. 이를 전제로 제대로 사용하면, 엔지니어링 생산성과 전문 영역 적용에서 탁월한 가치를 발휘할 수 있다는 것이 글의 핵심 요지임 

 

• 주요 논지:
  • o1은 전통적인 “대화형 모델(Chat Model)”이 아니라, “리포트 생성(report generator)형 모델”에 가깝다.
  • 기존 대화형 모델과 다른 접근법이 필요하며, 적절히 사용하면 높은 비용(월 200달러 이상)과 긴 지연 시간(5분 이상)에도 불구하고 가치가 충분함.
  • 고급 AI 모델은 “엔지니어 비용 몇 시간을 절감”할 수 있다면 경제성이 있다고 평가.

---

o1의 특징과 사용 방식

1) “리포트 생성” 접근

• 핵심 개념:
  • o1은 사용자의 추가 질문이나 유도 없이 스스로 논리를 전개한다.
  • 즉, “사용자가 원하는 컨텍스트와 목표물을 한꺼번에 대량으로 넣어두고 → 모델이 처음부터 ‘완성된 보고서’나 ‘완성된 파일’을 생성” 한다.
  • 기존 대화형 모델(Claude, ChatGPT 등)처럼 ‘묻고 답하기’나 ‘미세 조정하는 채팅’이 기본 전제인 도구가 아님.
• “10배 많은 맥락”의 중요성:
  • o1은 질문 과정에서 필요한 정보를 자동으로 추가로 요구하지 않는다.
  • 스스로 필요한 맥락을 찾지 않으므로, 처음부터 사용자가 최대한 많은 배경지식·구현사항·시나리오(회사 구조, DB 스키마, 시도해본 방법 등)를 제공해야 한다.
  • 개발 맥락 예시: 이미 시도했던 해결책, 실패 사례, 구체적인 DB 테이블 구조, 회사 내부 용어 정의 등.

2) 목표(What) 제시, 방법(How)은 맡긴다

• 목표 지향적 프롬프트: 여러 개 파일을 한 번에, 혹은 하나의 파일을 완성도 높게 생성

• 1. hallucination 감소: SQL이 아닌 ClickHouse 전용 질의문 등에 대해 비교적 정확하게 처리하는 등 
  2. 의료 분야 사례: 피부과 진단(사진 기반)을 예로 들며, 실제 전문의가 볼 때 꽤 높은 정확도를 보였음(약 3/5 수준으로 “차선책” 혹은 “유력한 진단 후보”를 잘 제시).
  3. 개념 설명/보고서 능력: 복잡한 기술 아키텍처 등을 체계적으로 정리해줌.
• o1의 약점:
  1. 문체/스타일 변주가 어려움: 보고서·논문 같은 단정하고 딱딱한 문체를 선호하는 경향이 강해, 창의적인 문체나 특정 작가의 스타일로 변환하기 어려움.
  2. 대규모 애플리케이션 전면 구축: “한 번에 SaaS를 다 만들기” 같은 과제는 아직은 무리. 다만, 프런트엔드나 간단한 백엔드 기능을 ‘파일 단위’로 구현하는 데에는 유리.

---

실제 사용 경험 및 사례

1) 구독 비용과 효용

• 월 200달러(o1 pro) 지불 사례:
  • Ben Hylak은 “엔지니어 1~2시간 비용 절감” 가능성만 있다면 충분히 가치 있다고 판단.
• 월 2000달러짜리 버전 루머
  • OpenAI가 $2000/월 수준의 “에이전트형” 제품을 출시한다는 소문이 있으며, 실제로 고가라도 수요가 있을 것으로 추정.
• 비용 폭탄 주의
  • o1은 한 번 호출할 때마다 많은 연산량이 필요해, 대규모 반복 호출 시 수천 달러 단위 비용 발생 위험이 있음.

2) 긴 지연 시간(최대 5분 이상)

• 중요한 특성:
  • 모델이 스스로 아주 많은 “추론 단계를 내부적으로 수행”하므로, 응답 시간이 길어질 수 있음(몇 분 소요).
  • 짧은 질의응답보다, 준비된 대용량 요청 → 한 번에 완성형 답변이 더 효율적.
• UX 고려 필요:
  • Ben은 “o1은 이메일 같은 느린 커뮤니케이션”에 가깝다고 평가.
  • 즉각 대답(채팅)은 Claude나 ChatGPT가 적합하고, o1은 “보고서성 대규모 작업”용으로 최적화.

3) 인터페이스 개선 제안

• 긴 응답문을 체계적으로 구조화:
  • 목차 생성, 접이식/섹션 구분, 별도 Attachment 형태 표시 등.
• 맥락 관리 기능:
  • 긴 텍스트나 파일을 한 번에 붙여넣을 때, Claude UI처럼 ‘첨부’ 개념을 명확히 표시해주면 좋을 것.
• 스트리밍 응답:
  • 긴 지연 시간을 줄이는 느낌을 주는 실시간 스트리밍 기능이 필요하지만, 아직 공식 지원이 미흡.

---

결론 및 전망

1. o1의 포지션 재정의
   • 채팅 모델이 아니라 “배경지식+목표”를 토대로 단발성·보고서형 결과를 산출하는 모델.
   • 잘 쓰면 정확하고 긴밀한 산출물(코드 파일, 분석 보고서)을 빠르게(한 번에) 제공.
2. 사용자를 기다리게 해도 될 만한 가치
   • 복잡한 백엔드 아키텍처 설계, 의학적 2차 소견, 대규모 데이터 분석 결과물 등 “몇 분~수십 분” 기다릴 가치가 충분한 영역에서 채택 전망.
3. 고비용, 저빈도 사용의 모델
   • 월 200달러 또는 2,000달러 구독비를 감수하더라도, 엔지니어링 인력 절감이나 높은 정확도/정교함으로 인해 수익성 확보가 가능하다는 시각.
   • 비용 관리(긴 요청, 대량 요청 시 과금 폭주 주의)와 UX 개선이 과제.
4. 제품 개발 시 시사점
   • “보고서 생성”에 특화된 UI/UX 필요.
   • 긴 대기 시간을 허용하는 대신, 더 대규모·정밀한 결과물을 얻게 하는 설계가 유리.
   • o1 mini, o1 preview 등 파생 모델도 존재하지만, 완전한 시스템 프롬프트나 구조적 생성, 스트리밍 지원 여부 등은 제한적이므로 용도에 맞게 선택 필요.

---