ShortGPT: An Artificial Intelligence Framework for Automatic Short Video Generation

ShortGPT 是一个开源的人工智能框架，用于自动化创建视频内容。 它的主要功能是简化视频制作的整个流程，包括脚本撰写、素材搜集、语音合成、字幕生成和视频剪辑。 该框架通过大型语言模型（LLM）来理解和执行编辑指令，能自动从互联网上寻找图片和视频素材，并整合类似 ElevenLabs 或微软 EdgeTTS 的技术生成听起来很自然的旁白。 ShortGPT 的设计目标是帮助内容创作者，特别是那些在 YouTube 和 TikTok 等平台上运营自动化频道的人，能够快速、高效地批量生产视频。 它提供了为短视频和长视频设计的不同工作引擎，还有一个专门用来翻译和配音现有视频的功能模块。

Function List

• 自动化剪辑框架: 使用面向大型语言模型（LLM）的视频编辑语言，简化视频创作流程。
• multilingual dubbing: 集成了 ElevenLabs 和微软 EdgeTTS，支持超过30种语言的语音合成，可以生成听起来很自然的旁白。
• 在线素材获取: 能自动从 Pexels 等网站获取视频素材，或从必应图片搜索图片，为视频内容提供视觉材料。
• Automatic generation of subtitles: 为制作的视频自动生成和添加字幕。
• 视频翻译和配音: 提供了一个专门的翻译引擎，可以将一个视频（通过文件或YouTube链接）的内容转录、翻译，并用目标语言重新配音，最后生成一个全新的多语言版本视频。
• 脚本和提示词: 框架内置了多种脚本和提示词，可以直接用于不同的自动化视频编辑任务。
• 定制化选项: 用户可以根据自己的需求进行定制，比如选择配音语言或在视频中添加自己的水印。
• Data persistence: 使用 TinyDB 确保自动化编辑过程中的变量和设置能够长期保存。

Using Help

ShortGPT 是一个功能强大的AI视频自动化框架，你可以通过两种主要方式来使用它：在Google Colab上运行或在本地通过Docker环境运行。对于初学者或不想在自己电脑上配置复杂环境的用户，官方推荐使用Google Colab。

方法一：使用 Google Colab (推荐)

这是最简单快捷的方式，不需要在本地安装任何依赖。

1. 打开Colab笔记本: 首先，你需要一个Google账号。然后直接访问官方提供的Google Colab链接：https://colab.research.google.com/drive/1_2UKdpFqxCqWaAcZb3rwMVQqtbisdE?usp=sharingThe
2. 按顺序执行代码单元: 打开页面后，你会看到一系列的代码单元格。你只需要从上到下依次运行每一个单元格。点击每个单元格左侧的“播放”按钮，或者选中单元格后使用快捷键 Shift+Enter 来执行。
3. Configuring the API Key: 在执行过程中，程序会要求你输入一些API密钥，例如OpenAI、ElevenLabs等。你需要提前注册这些服务的账号并获取密钥，然后填入对应的输入框中。
4. 启动Web界面: 当所有单元格都成功运行后，会生成一个Gradio界面的公开链接。点击这个链接，就可以在浏览器中使用ShortGPT的图形化操作界面了。

方法二：在本地使用 Docker 运行

如果你希望在自己的电脑上运行ShortGPT，并拥有更高的控制权，可以使用Docker。这种方法需要你对命令行和Docker有基本的了解。

1. Installing Docker: 首先，确保你的电脑上已经安装了Docker。你可以从Docker官网下载适合你操作系统（Windows, macOS, 或 Linux）的版本并完成安装。
2. 下载ShortGPT项目文件:
   • 打开命令行工具（终端）。
   • 使用git克隆项目仓库：

     git clone https://github.com/RayVentura/ShortGPT.git
     

   • Go to the project catalog:

     cd ShortGPT
     

3. Configuring Environment Variables:
   • 在项目根目录下，找到一个名为 .env.example of the document.
   • 将这个文件复制一份并重命名为 .envThe
   • show (a ticket) .env 文件，在里面填入你自己的API密钥，例如 OPENAI_API_KEY cap (a poem) ELEVENLABS_API_KEYThe
4. Build and run Docker containers:
   • 在项目根目录下，执行以下命令来构建Docker镜像。这个过程可能会花费一些时间，因为它需要下载和安装所有依赖。

     docker build -t short_gpt_docker:latest .
     

   • 构建完成后，使用以下命令来运行容器：

     docker run -p 31415:31415 --env-file .env short_gpt_docker:latest
     

5. Accessing the Web Interface: 容器成功运行后，打开你的浏览器，访问 http://localhost:31415。你就可以看到和Colab版本一样的Gradio操作界面，并开始创作视频了。

Core Function Operation Flow

ShortGPT将不同的视频创作任务划分成了三个主要引擎：

• ContentShortEngine (短视频引擎): 专为制作YouTube Shorts或TikTok风格的短视频设计。它的工作流程通常是：接收一个主题或脚本 -> 生成旁白音频 -> 自动搜寻匹配的背景视频片段或图片 -> 将素材和音频合成为一个短视频 -> 自动添加字幕 -> 最后甚至可以生成视频的标题和描述等元数据。
• ContentVideoEngine (长视频引擎): 用于制作标准时长的视频。它的流程和短视频引擎类似，但更侧重于处理更长的脚本、生成更长的音频、以及在更长的时间线上对齐视频素材和字幕。
• ContentTranslationEngine (视频翻译引擎): 这是一个非常有特色的功能。你可以提供一个已有的视频文件或YouTube链接，它会自动识别视频中的语音内容，将其转换成文字，然后将文字翻译成你选择的目标语言，再用该语言合成新的配音，并最终生成一个带有新配音和翻译字幕的视频版本。

在Web界面中，你可以根据自己的需求选择使用哪个引擎，并根据提示输入相应的信息（如视频主题、语言、配音风格等），然后启动任务，等待AI完成视频的制作。

application scenario

1. 自动化社交媒体内容
   对于需要在YouTube Shorts、TikTok或Instagram Reels等平台持续发布短视频的用户，可以使用ShortGPT设定一个主题，让它自动完成脚本生成、素材搜集、配音和剪辑的全部流程，实现内容的自动化生产，大大节省时间和人力。
2. 多语言内容分发
   如果一个视频创作者希望将自己的内容推广到不同语言的地区，可以使用视频翻译引擎（ContentTranslationEngine）。只需要提供原始视频的链接，ShortGPT就能自动生成例如西班牙语、法语或日语等多个语言版本的视频，并配上相应的配音和字幕，快速扩大观众范围。
3. 快速制作信息类视频
   对于需要制作大量知识讲解、产品介绍或新闻播报类视频的场景，创作者可以只提供文字稿，利用ShortGPT自动为其匹配视觉素材并生成旁白，快速将文本内容转化为信息丰富的视频。
4. 视频内容的本地化
   企业或教育机构在进行全球化推广时，常常需要将培训材料或宣传视频进行本地化。ShortGPT可以作为一个高效的工具，将这些视频资料翻译并配上目标市场的语言，降低本地化的成本和复杂度。

QA

1. ShortGPT是免费的吗？
   ShortGPT本身是一个开源框架，所以使用该软件是免费的。 但是，它在运行过程中需要调用一些第三方的API服务，例如用于生成脚本的OpenAI (GPT模型)和用于语音合成的ElevenLabs，这些服务可能会收取费用。不过，它也支持使用微软免费的EdgeTTS语音服务。
2. 我需要会编程才能使用ShortGPT吗？
   不一定。如果你使用官方推荐的Google Colab方式，基本上不需要编写代码，只需要按照顺序点击运行并填写一些必要的信息即可。 如果你选择在本地通过Docker安装，则需要一些基础的命令行操作知识。
3. ShortGPT支持哪些语言？
   它支持非常广泛的语言。借助ElevenLabs和EdgeTTS等语音合成服务，ShortGPT支持包括英语、西班牙语、法语、德语、中文、日语、韩语、印地语等在内的超过30种语言的配音和内容创作。
4. 生成的视频素材有版权问题吗？
   ShortGPT主要从Pexels等提供免费素材的网站获取视频和图片。这些平台上的内容通常允许商业和非商业使用，但建议用户在使用前还是自行确认具体素材的授权协议，以避免潜在的版权风险。