Trace 구조 분석, 컨텍스트 압축, 파인튜닝 데이터 준비를 활용한 Microsoft OpenMementos 구현
A Coding Implementation on Microsoft’s OpenMementos with Trace Structure Analysis, Context Compression, and Fine-Tuning Data Preparation
TL;DR AI
1분핵심 요약
튜토리얼은 Microsoft의 OpenMementos 데이터셋을 분석해 추론 흔적을 블록 토큰과 요약 토큰으로 파싱합니다.
샘플과 도메인별 압축률을 측정하고, 긴 블록과 더 짧은 memento의 패턴을 시각화합니다.
스트리밍된 데이터와 전체 서브셋을 정렬해 보고, 추론 시점의 컨텍스트 압축도 모의합니다.
또한 예시를 지도 미세조정용 형식으로 변환해, 긴 추론 데이터를 효율적인 학습 입력으로 바꾸는 방법을 보여줍니다.