请问怎么在windows11+4090下跑通 int4的版本？

[xwbmotor]

运行模型简介的Quick Start的代码
1）发现这个Quick Start的代码依赖以下几个组件。请问版本是多少呢？
modelscope
pillow
mkl==2021.4.0
transformers
xformers
accelerate
2）另外，还依赖triton，没法pip安装，只能从网上下载whl安装。
triton-2.0.0-cp310-cp310-win_amd64.whl
但是这个版本的triton好像不可直接用，要改Lib\site-packages\triton\runtime\jit.py的288行，才能运行起来。
def init(self, fn, version=None, do_not_specialize=None):
改成
def init(self, fn, version=None, do_not_specialize=None,debug=False):
3）总算能运行起来了，又提示如下。
Unused kwargs: ['_load_in_4bit', '_load_in_8bit', 'quant_method']. These kwargs are not used in <class 'transformers.utils.quantization_config.BitsAndBytesConfig'>.
4）输入图片地址和human问题之后，提示错误如下，看来还是triton的问题。请问咋办？
File "C:\Users\excel\miniconda3\envs\CogVLM2\lib\site-packages\triton\compiler.py", line 1093, in default_cache_dir
return os.path.join(os.environ["HOME"], ".triton", "cache")
File "C:\Users\excel\miniconda3\envs\CogVLM2\lib\os.py", line 680, in getitem
raise KeyError(key) from None
KeyError: 'HOME'

安装过程如下：

一、安装环境
conda create --name CogVLM2 python=3.10
conda activate CogVLM2
conda install cudatoolkit
conda install cudnn
conda install pytorch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 pytorch-cuda=12.1 -c pytorch -c nvidia

二、安装模型
git clone https://github.com/THUDM/CogVLM2
cd CogVLM2
md models
cd models
git clone https://www.modelscope.cn/ZhipuAI/cogvlm2-llama3-chat-19B-int4.git
git clone https://www.modelscope.cn/ZhipuAI/cogvlm2-llama3-chinese-chat-19B-int4.git

三、安装依赖
cd basic_demo
python.exe -m pip install triton-2.0.0-cp310-cp310-win_amd64.whl
pip install -r requirements.txt

四、修改triton的源文件（才能成功运行）
C:\Users\excel\miniconda3\envs\CogVLM2\Lib\site-packages\triton\runtime\jit.py
288行
def init(self, fn, version=None, do_not_specialize=None):
改成
def init(self, fn, version=None, do_not_specialize=None,debug=False):

[zRzRzRzRzRzRzR]

好像int4模型依赖这个量化库还是需要linux？我没有windows环境，但是windows推理问题很多，需要自己探索了。

[dr-gary]

Windows下建议使用docker，我在docker中跑通了，只是int4对很多文件都报图片太模糊，识别不了