Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

运行时间长 #1

Open
auger1 opened this issue Sep 23, 2020 · 6 comments
Open

运行时间长 #1

auger1 opened this issue Sep 23, 2020 · 6 comments

Comments

@auger1
Copy link

auger1 commented Sep 23, 2020

这个代码在运行时,GPU的内存占用率很低,每次迭代的时间要耗费一分钟左右。请问您运行时,有没有遇到这种问题?期待您的答复。

@flamehaze1115
Copy link
Owner

这个代码太久远了。我记得应该只是用了简单的3D U-NET。应该是cropping的操作比较占用时间。我建议你统计一下哪一部分的code是时间瓶颈。

@auger1
Copy link
Author

auger1 commented Sep 23, 2020

非常感谢您的答复。对,这个代码就只是用了简单的3D U-Net模型。在训练模型时,输入一个Batch,之后的train_step.run(feed_dict=feed_dict_train)这一步耗费时间较长,大概63秒左右。我试了一下,输入一个数据,处理的时间是5秒左右,而一个batch包含10个数据,所以处理一个batch就是一分钟左右。但是train_step.run(feed_dict=feed_dict_train)这一步的运行时间为什么这么长,还不知道,,,您说的crop操作应该是数据预处理部分,这是训练之前需要做的步骤,我已经完成。现在就是对模型进行训练,只涉及到GetData_new.py文件和U_net_3D_multiLabels.py文件。
如果您还能记起当时有没有这种情况的出现,很期待您的答复。

@flamehaze1115
Copy link
Owner

如果说运行一个step就需要一分钟,你可以查看一下是否在使用GPU。因为我记得应该不会跑这么久,就一个step

@auger1
Copy link
Author

auger1 commented Sep 23, 2020

服务器上GPU的显存是10989MiB,但是程序运行时,只占用了166MiB。一直查不出问题在哪,,,

@flamehaze1115
Copy link
Owner

服务器上GPU的显存是10989MiB,但是程序运行时,只占用了166MiB。一直查不出问题在哪,,,

没有GPU占用 就说明是在CPU上运行的。

@auger1
Copy link
Author

auger1 commented Sep 25, 2020

服务器上GPU的显存是10989MiB,但是程序运行时,只占用了166MiB。一直查不出问题在哪,,,

没有GPU占用 就说明是在CPU上运行的。

很感谢博士您的答复!是的,这个问题终于解决了。是自己的环境方面的问题,tensorflow代码没有调用GPU,而是调用的CPU。后来将CPU版本的tensorflow删除后(pip uninstall tensorflow),只剩下GPU版本的tensorflow。程序运行就快了起来,迭代一次0.75秒左右。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants