목차
영상 업로드, 클립 선택, TTS 대본, 음성, 정밀 자막, 피사체 추적, FFmpeg 합성을 한 프로젝트 흐름으로 묶은 개인 제작 도구입니다. 최신 버전은 단어 단위 자막 생성과 세로 크롭용 피사체 자동 추적을 합성 단계에 붙였습니다.
휴대폰을 잠깐 떠나도 작업을 잃지 않도록
휴대폰에서 AI 생성이나 영상 합성을 실행한 뒤 다른 앱에 다녀오면 실패로 표시됐습니다. 합성 중에는 사이트 자체가 잠시 응답하지 않았고, 화면에서 끈 설정이 결과 영상에 남는 문제도 있었습니다.
이 현상을 실제 사용 흐름으로 제보하고, 새 기능을 늘리기 전에 진행 중인 작업과 저장한 설정을 믿을 수 있게 만드는 방향을 정했습니다. 상품 링크 제작처럼 다른 제품으로 넓어지는 제안은 제외했습니다.
Codex와 긴 요청을 작업 시작·상태 조회로 나누고, 서버에 작업 상태를 남겨 화면 복귀 시 결과를 다시 읽도록 바꿨습니다. 합성 처리는 요청 처리 흐름을 막지 않게 분리하고, 후킹·자막 설정을 서버에 저장하도록 보완했습니다.
현재 소스는 분석·제목·합성 작업을 파일에 기록하고 단계별 소요 시간을 제공합니다. 워터마크만 사용하는 경로에서는 전체 재인코딩 한 번을 줄였습니다. 서버 재시작 시 중단된 작업은 오류로 식별하며, 자동으로 이어 렌더링한다고 보장하지 않습니다.
브라우저 연결이 끊긴 것과 서버 작업이 실패한 것은 다릅니다. 작업 상태, 결과물, 재시도 기준을 따로 다루는 구조로 발전했습니다.
Snapshot
| 구분 | 내용 |
|---|---|
| 상태 | In progress, private repository |
| 문제 | 숏폼 제작 과정에서 파일 관리, 대본 생성, 자막 처리, 렌더링 단계가 분리되어 반복 비용이 큼 |
| 접근 | 프로젝트 단위로 원본, 클립, 대본, 자막, 피사체 추적 좌표, 출력물을 관리하고 LLM API와 FFmpeg 처리를 연결 |
| 기술 | FastAPI, Python, LLM API, Whisper, FFmpeg, yt-dlp, Docker |
| 실행 | Docker 기반 실행과 로컬 업로드/출력 디렉터리 분리를 고려 |
2026.09.30에 개발 기록과 main 소스를 대조했습니다. 최신 커밋은 2026.07.23으로, 기존 소개 이후 새 기능 커밋은 없습니다. 프로젝트·편집·정밀 자막·피사체 추적·TTS 대본·TTS 음성·내보내기의 기존 웹·모바일 캡처를 유지했습니다.
자막은 인식된 단어 시간을 클립의 출력 구간으로 다시 매핑합니다. TTS 음성에서 단어 시간을 얻지 못한 경우에는 대본 길이 기반 배분으로 돌아갑니다. 이 대체 결과를 단어 단위 인식 결과와 같은 정확도로 설명하지 않습니다. 이번 소스 확인에서 유료 음성 생성이나 전체 영상 렌더링을 다시 실행하지는 않았습니다.
Latest Console
샘플 제작 데이터
공개용 샘플값입니다. 실제 화면 구조와 처리 상태를 설명하기 위해 만든 예시입니다.
원본 영상에서 필요한 구간을 고르고, 클립별 시작/종료 시각과 메모를 프로젝트 상태로 저장합니다.
Whisper 단어 시간과 TTS 대본을 맞춰 자막 단위를 만들고, 합성 전 수정값을 바로 저장합니다.
9
세로 크롭, 음량, 자막 스타일, 피사체 추적 좌표를 확인한 뒤 최종 FFmpeg 합성으로 넘깁니다.탭별 화면 설명
프로젝트 목록
작업 중인 제작 건을 모아 보는 첫 화면입니다. 클립 수, 저장 시각, 편집 상태를 먼저 보여줘 중단했던 작업을 다시 찾기 쉽게 했습니다.
- 샘플 상태: 편집 중 2건, 렌더링 완료 1건
- 확인 포인트: 작업명, 마지막 수정 시각, 다음으로 들어갈 탭
소스 영상과 클립 편집
원본 영상, AI 분석 메모, 선택 클립을 같은 화면에 둡니다. 데스크톱에서는 비교하면서 조정하고, 모바일에서는 한 단계씩 내려가며 확인합니다.
- 샘플 상태: 클립 6개 중 4개 활성
- 확인 포인트: 컷 순서, 구간 메모, 저장 액션
대본 생성과 버전 선택
클립 길이에 맞춰 여러 톤의 대본을 만들고, 선택한 대본을 편집합니다. 이후 음성 생성과 자막 타임라인의 기준이 됩니다.
- 샘플 상태: 담백한 설명형, 빠른 리뷰형, 질문형 버전
- 확인 포인트: 길이, 톤, 클립별 문장 배치
TTS 음성과 업로드
생성한 대본을 음성으로 만들거나 외부에서 만든 음성을 올립니다. 합성 단계에서 음성 파일과 자막 타이밍이 맞는지 다시 확인합니다.
- 샘플 상태: TTS 음성 1개 연결
- 확인 포인트: 음성 선택, 품질 옵션, 업로드 상태
단어 단위 정밀 자막
영상 음성 또는 TTS 대본을 기준으로 자막을 생성합니다. 너무 긴 문장은 끊고, 빠르게 지나가는 단어는 합성 전에 수정할 수 있게 했습니다.
- 샘플 상태: 자막 8줄, 스타일 수정 가능
- 확인 포인트: 시작/종료 시간, 줄바꿈, 강조 색상
피사체 추적과 최종 합성
세로 영상에서 인물이 화면 밖으로 밀리지 않도록 crop 위치를 추적합니다. 미리보기 결과를 확인한 뒤 같은 좌표를 최종 합성에 사용합니다.
- 샘플 상태: subject tracking 완료, final compose 대기
- 확인 포인트: crop 비율, 추적 부드러움, 렌더링 결과
Recent Build Notes
Precise captions Whisper 단어 시간, TTS 대본, 편집 완료 타임라인을 맞춰 자막 항목을 생성하고 수정 내용을 즉시 저장합니다.
Subject tracking AI가 프레임 샘플에서 주 피사체 좌표를 잡고, FFmpeg crop filter가 시간에 따라 위치를 보간합니다.
AI edit plans 여러 편집안을 만들고, 무음 구간과 제목/미리보기 품질을 합성 전에 점검하는 흐름을 강화했습니다.
What It Does
- 제작 작업을 프로젝트 단위로 만들고 상태를 관리합니다.
- 업로드 파일과 출력물을 분리해 작업 단계를 추적합니다.
- 데스크톱과 모바일에서 같은 제작 단계를 이어서 볼 수 있는 탭형 UI를 제공합니다.
- AI 편집안, 스마트 무음 정리, TTS 대본 생성, TTS 음성 생성/업로드, 정밀 자막, 피사체 추적, FFmpeg 합성 흐름을 파이프라인에 포함합니다.
- Docker 실행 환경으로 로컬 실행 조건을 일정하게 맞춥니다.
데스크톱/모바일 화면
단계별 탭 화면
화면으로 보는 기능
프로젝트 단위 작업
업로드 파일, 클립, 대본, 출력물을 하나의 프로젝트 상태로 묶어 작업 흐름을 추적합니다.
AI 편집안과 무음 정리
활성 클립과 분석 메모를 바탕으로 편집안을 만들고, 무음 구간을 기준으로 컷을 정리합니다.
정밀 자막 생성
영상 음성 또는 TTS 대본을 기준으로 읽기 좋은 자막 구간을 만들고 합성에 바로 반영합니다.
피사체 추적 합성
주 피사체 좌표를 추적해 세로 크롭 위치를 조정하고, 최종 FFmpeg 합성에 연결합니다.
동작 흐름
제작 단위를 만들고 입력 파일을 분리해 저장합니다.
원본, 선택 구간, 출력 조건을 작업 상태로 관리합니다.
LLM API로 숏폼용 대본과 자막 초안을 만듭니다.
FFmpeg 결과물을 output 영역에서 검토합니다.
작업 상태 관리
업로드한 원본, 편집 구간, 자막, 추적 좌표와 출력 파일을 프로젝트 단위로 관리합니다. 긴 작업은 job 상태로 조회하며, 페이지를 다시 열어 진행 상태를 확인하는 경로가 있습니다.
Implementation Notes
- FastAPI를 사용해 업로드, 프로젝트 조회, 상태 변경, 렌더링 요청을 API로 분리했습니다.
uploads와outputs디렉터리를 분리해 원본과 결과물을 명확히 관리합니다.- 긴 작업은 job 상태로 추적해 자막, 추적, 미리보기, 합성 진행 상태를 UI에서 재개할 수 있게 했습니다.
- Dockerfile에서 FFmpeg와 폰트 의존성을 함께 구성해 렌더링 환경 차이를 줄였습니다.
- API key는 환경변수로 분리해 repository에 저장하지 않는 구조를 전제로 합니다.
Next
- 긴 작업의 진행률, 실패 원인, 재시도 상태를 더 명확히 노출
- 대본 버전 관리와 렌더링 설정 변경 이력을 정리
- README와 실행 문서를 보강해 프로젝트 설명 가능성 개선