03254f8196
- 新增 app/core/cache_paths.py：HF_HOME / tiktoken 缓存统一指向 <repo>/.cache， 本地与 Docker 路径一致，离线部署打包 .cache 即可 - Dockerfile.backend 的 tiktoken 词表改用官方 SHA 文件名，避免运行时回退重建 - 修复 layout_hybrid 路径不运行 detect_pdf_document_noise 的缺陷： needs_pdf_noise 不再与 needs_layout_raw 互斥，PDF 智能预处理在版面切分下也生效 - 新增 layout_noise.py：识别跨页重复的页眉表格标签组并按行剔除， 解决 docling layout 模型把中文企业 PDF 页眉识别成普通 Table 导致清不掉的问题 - 回收 HybridChunker 丢弃的末尾孤立标题，找回章节标题内容
27 lines
1.0 KiB
Docker
27 lines
1.0 KiB
Docker
FROM python:3.12-slim
|
||
|
||
ENV PYTHONDONTWRITEBYTECODE=1 \
|
||
PYTHONUNBUFFERED=1 \
|
||
PIP_NO_CACHE_DIR=1 \
|
||
TIKTOKEN_CACHE_DIR=/opt/tiktoken_cache
|
||
|
||
WORKDIR /app
|
||
|
||
COPY backend/requirements.txt /tmp/requirements.txt
|
||
RUN pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple \
|
||
&& pip install -r /tmp/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple \
|
||
&& rm -f /tmp/requirements.txt
|
||
|
||
RUN python -c "import fastapi, uvicorn, psycopg, psycopg_pool, sqlalchemy, redis, jwt, passlib, httpx, minio, alembic; print('backend dependency check ok')"
|
||
|
||
RUN mkdir -p /opt/yg-ft/logs/backend /data/yg-ft /opt/tiktoken_cache \
|
||
&& chmod -R 0775 /opt/yg-ft /data/yg-ft /opt/tiktoken_cache
|
||
|
||
# 离线打包 tiktoken cl100k_base 词表（与运行时 TIKTOKEN_CACHE_DIR 对齐），
|
||
# 文件名采用官方 SHA，避免代码走 fallback 重建 Encoding 的分支。
|
||
COPY docker/app/tiktoken/9b5ad71b2ce5302211f9c61530b329a4922fc6a4 /opt/tiktoken_cache/
|
||
|
||
EXPOSE 8000
|
||
|
||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000"]
|