http://127.0.0.1:1313/post/2022/2022-2-7-go-vue-mp4/

todo 7 srs推流转码

  • 云SRS是开源的音视频方案，它组合了SRS、FFmpeg、WebRTC，使用Redis、Nodejs和React来实现必要的业务功能，可以直接用在生产环境中

练习06 ：短视频管理平台

练习05 ：直播管理平台

练习04 ：ai 主播

4.1 基础理论

4.2 产品

  • PaddleBoBo

4.3 使用教程

4.3.1 PaddleBoBo

运行环境

  • 飞桨AIStudio在线运行 (强烈推荐，Tesla V100冲！！！)【开发思路 任何软件都提供 在线可视化操作】

自建本地环境

  • Windows 10 Python 3.7+ PaddlePaddle >= 2.2.1 Nvidia显卡 显存16G+（没测试过，希望有显卡的土豪大佬们反馈下）
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55


https://github.com/wangcy6/PaddleBoBo

## 1.下载项目代码
git clone git@github.com:wangcy6/PaddleBoBo.git -b develop
     https://gitee.com/wang_cyi/PaddleBoBo

##  2. 安装PaddleGAN和PaddleSpeech依赖
## 百度飞桨PaddleSpeech
##paddegan为开发者提供经典和SOTA生成对抗网络的高性能实现，并支持开发者快速构建、训练和部署用于学术、娱乐和工业用途的GANs

C:\Users\wangchuanyi\AppData\Local\Microsoft\WindowsApps\PythonSoftwareFoundation.Python.3.10_qbz5n2kfra8p0\python.exe -m pip install --upgrade pip
pip -V
pip 22.0.3 


pip install wheel
Successfully installed wheel-0.37.1
pip install numpy
Successfully installed numpy-1.22.2
pip install numba




pip install ppgan paddlespeech
百度PaddlePaddle
python -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple

wget https://paddlespeech.bj.bcebos.com/Parakeet/tools/nltk_data.tar.gz
tar zxvf nltk_data.tar.gz

##  3. 静态图像转虚拟主播动画
cd PaddleBoBo
D:\money\zhibo\PaddleBoBo

python create_virtual_human.py --config default.yaml

## 4. 让虚拟主播说话

python general_demo.py \
    --human ./file/input/test.mp4 \
    --output output.mp4 \
    --text 各位开发者大家好，欢迎使用飞桨。 

参数	参数说明
human	第3步生成的人脸视频路径
output	生成虚拟主播视频的输出路径
text	虚拟主播语音文本


https://github.com/PaddlePaddle/PaddleSpeech
https://paddlespeech.readthedocs.io/en/latest/demo_video.html
https://blog.csdn.net/zhiweihongyan1/article/details/122326644

遇到的错误

  • python pip 国内镜像
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

阿里云：http://mirrors.aliyun.com/pypi/simple/

pip install numpy  -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
https://www.cnblogs.com/mini-monkey/p/11175485.html

C:\Users\wangchuanyi\AppData\Roaming\pip\pip.ini
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com

 WARNING: The wheel package is not available.
        
          WARNING: The script wheel.exe is installed in 'C:\Users\wangchuanyi\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.10_qbz5n2kfra8p0\LocalCache\local-packages\Python310\Scripts' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.


ERROR: Could not build wheels for numpy, which is required to install pyproject.toml-based projects
为Python项目启用poetry和pyproject.tom
pip install poetry

4.4 引用

练习03 ：obs 绿幕直播

  • vMix 25 预览版（25.0.0.10 测试版）来了！https://www.vmix.com.cn/vmix-25-preview-released.html

练习02 ：obs 虚拟主播方案

基础理论

  • 目前虚拟主播形象模型分为2D和3D。2D的实现方式多数为Live2D，本质上是将人物图片分图层组件化

  • 捕捉方式分为通过专业设备捕捉和通过摄像头捕捉

    。专业设备捕捉多数为全身动捕，需要专业软件支

    。摄像头捕捉为现在最常见的捕捉方式

    一般采用的动捕方式为Live2D+Facerig，或者通过手机APP动捕将画面传输至电脑直播产品

产品

  • 虚拟主播神器Facerig

​ Facerig就是可以让你的上半身变成虚拟主播的软件，它是一个steam独占的软件，所以首先你要有个steam账号。

动手操作

  • VTmini：针对日常直播，同时支持面部捕捉与动作捕捉，兼容多种设备，多种版本可以选择，有免费版本，

    https://www.vtmini.cn/

2.2 live2dviewerex电脑版 （方案卡在注册上）

  1. 安装steam

    https://store.steampowered.com/app/616720/Live2DViewerEX/

    Live2DViewerEX是一款在steam上爆火的动态壁纸软件

    注册不了

  2. 使用手册

    Live2DViewerEX OBS Vtuber Tutorial

    https://www.youtube.com/watch?v=ydvHLYaZw7g

    Live2DViewerEX 在OBS中使用Live2D模型作为虚拟形象

window 下载不了

2.3 app custom cast（定制虚拟偶像）这款APP进行模型制作和动捕

https://www.66152.com/article/202106/259675.html

2.4 window：Vtuber Live2D+Facerig

2.5 免费的VTuber软件–VUP

准备：只需要一个普通电脑摄像头

练习01 ：用网页播放视频

环境配置

http://bilibili.github.io/flv.js/demo/

代码地址：

https://gitee.com/wang_cyi/go_mp4 mac：

/Users/wangchuanyi/code/src/gitee.com/wang_cyi/go_mp4

window： D:\money\golang\src\gitee\wang_cyi\go_mp4

理论1.2 编解码

1

ffplay -i D:\mp4\keep\1.mp4

引用

​