Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

基于musetalk的+webrtc的推理有时候会出现声音结束了,但是嘴型还没有停止的情况 #366

Open
kkkwjr opened this issue Feb 7, 2025 · 13 comments

Comments

@kkkwjr
Copy link

kkkwjr commented Feb 7, 2025

想知道这属于是推理的问题,还是网络时延的问题,另外一点怎么样能调整使嘴型和音频更加同步呢

@lipku
Copy link
Owner

lipku commented Feb 7, 2025

final fps多少,需要达到25才行

@kkkwjr
Copy link
Author

kkkwjr commented Feb 7, 2025

final fps多少,需要达到25才行

这个大概在25fps左右波动,有时会低一些,这个要怎么提高fps呢

@lipku
Copy link
Owner

lipku commented Feb 7, 2025

提高显卡性能

@kkkwjr
Copy link
Author

kkkwjr commented Feb 7, 2025

提高显卡性能

感谢,还有一个问题,就是如果显卡性能不够的话是否会造成人物嘴型与音频轻微不同步的情况呢,就是感官上没有那么自然?

@lipku
Copy link
Owner

lipku commented Feb 7, 2025

是的,会不同步。infer fps要25以上

@kkkwjr
Copy link
Author

kkkwjr commented Feb 7, 2025

好的好的,万分感谢!!!!

@kkkwjr
Copy link
Author

kkkwjr commented Feb 17, 2025

是的,会不同步。infer fps要25以上

就是有一个问题现在我的final fps 在15左右,然后infer fps在55左右,会造成严重的不同步。为啥final fps会和infer fps差这么多呢

@xing-xing448
Copy link

是的,会不同步。infer fps要25以上

就是有一个问题现在我的final fps 在15左右,然后infer fps在55左右,会造成严重的不同步。为啥final fps会和infer fps差这么多呢
应该时CPU频率太低了吧???

@kkkwjr
Copy link
Author

kkkwjr commented Feb 17, 2025

是的,会不同步。infer fps要25以上

就是有一个问题现在我的final fps 在15左右,然后infer fps在55左右,会造成严重的不同步。为啥final fps会和infer fps差这么多呢
应该时CPU频率太低了吧???

就是我换成25帧的数字人视频,那个推理的 infer fps会维持到25帧以上,以下是我的推理视频:
1.数字人视频分辨率2760 × 2160,30.055帧

20250217-095301.mp4

Image

2.数字人视频分辨率810 × 1440,25.066帧

20250217-111719.mp4

Image

还是有点不太明白就是infer fps可以到50多(是不是说明性能还行)那为啥 final fps就只能14左右呢。如果是cpu的原因,那么为啥之前的25帧的数字人视频的final fps就可以维持在25呢

@xing-xing448
Copy link

是的,会不同步。infer fps要25以上

就是有一个问题现在我的final fps 在15左右,然后infer fps在55左右,会造成严重的不同步。为啥final fps会和infer fps差这么多呢
应该时CPU频率太低了吧???

是的,会不同步。infer fps要25以上

就是有一个问题现在我的final fps 在15左右,然后infer fps在55左右,会造成严重的不同步。为啥final fps会和infer fps差这么多呢
应该时CPU频率太低了吧???

就是我换成25帧的数字人视频,那个推理的 infer fps会维持到25帧以上,以下是我的推理视频: 1.数字人视频分辨率2760 × 2160,30.055帧

20250217-095301.mp4
Image

2.数字人视频分辨率810 × 1440,25.066帧

20250217-111719.mp4
Image

还是有点不太明白就是infer fps可以到50多(是不是说明性能还行)那为啥 final fps就只能14左右呢。如果是cpu的原因,那么为啥之前的25帧的数字人视频的final fps就可以维持在25呢

你是1s中生成了30张图片用于推流吗?我没细看这个项目,不知道对不对,这个项目应该是1s中只能推25张图片吧,你这还剩下5张图片得等着下一秒来推,累积下来就显得推的慢了???
你把视频转成25HZ的看看,要不就是视频分辨率太大,CPU压缩不过来,但是可能性不太大,4Ghz的cpu处理起来应该没问题,如果你的CPU时2Ghz的可能是这个问题

@kkkwjr
Copy link
Author

kkkwjr commented Feb 17, 2025

是的,会不同步。infer fps要25以上

就是有一个问题现在我的final fps 在15左右,然后infer fps在55左右,会造成严重的不同步。为啥final fps会和infer fps差这么多呢
应该时CPU频率太低了吧???

是的,会不同步。infer fps要25以上

就是有一个问题现在我的final fps 在15左右,然后infer fps在55左右,会造成严重的不同步。为啥final fps会和infer fps差这么多呢
应该时CPU频率太低了吧???

就是我换成25帧的数字人视频,那个推理的 infer fps会维持到25帧以上,以下是我的推理视频: 1.数字人视频分辨率2760 × 2160,30.055帧
20250217-095301.mp4
Image
2.数字人视频分辨率810 × 1440,25.066帧
20250217-111719.mp4
Image
还是有点不太明白就是infer fps可以到50多(是不是说明性能还行)那为啥 final fps就只能14左右呢。如果是cpu的原因,那么为啥之前的25帧的数字人视频的final fps就可以维持在25呢

你是1s中生成了30张图片用于推流吗?我没细看这个项目,不知道对不对,这个项目应该是1s中只能推25张图片吧,你这还剩下5张图片得等着下一秒来推,累积下来就显得推的慢了??? 你把视频转成25HZ的看看,要不就是视频分辨率太大,CPU压缩不过来,但是可能性不太大,4Ghz的cpu处理起来应该没问题,如果你的CPU时2Ghz的可能是这个问题

感谢感谢,我把视频分辨率降低了然后就没有不同步的现象了。

@lipku
Copy link
Owner

lipku commented Feb 17, 2025

视频分辨率越大,视频压缩需要的cpu性能更高

@kkkwjr
Copy link
Author

kkkwjr commented Feb 17, 2025

视频分辨率越大,视频压缩需要的cpu性能更高

感谢感谢,还是得提高设备性能。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants