Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

我已经将openai/clip-vit-large-patch14下载到服务器ComfyUI/models/clip中,但是当运行的时候,仍然会从huggingface.co或hrhuggingface.co中获取clip-vit-large-patch14,因为网络问题,最终导致失败,请问该如何处理,感谢 #27

Open
natie20210522 opened this issue Nov 15, 2024 · 11 comments

Comments

@natie20210522
Copy link

natie20210522 commented Nov 15, 2024

我已经将openai/clip-vit-large-patch14下载到服务器ComfyUI/models/clip中,但是当运行的时候,仍然会从huggingface.co或hrhuggingface.co中获取clip-vit-large-patch14,因为网络问题,最终导致失败,请问该如何处理,感谢

@natie20210522 natie20210522 changed the title 我已经将openai/clip-vit-large-patch14下载到服务器ComfyUI/models/clip中,但是当运行的时候,仍然会从huggingface.co或hrhuggingface.co中获取clip-vit-large-patch14,因为网络问题,最终导致保持,请问该如何处理,感谢 我已经将openai/clip-vit-large-patch14下载到服务器ComfyUI/models/clip中,但是当运行的时候,仍然会从huggingface.co或hrhuggingface.co中获取clip-vit-large-patch14,因为网络问题,最终导致失败,请问该如何处理,感谢 Nov 15, 2024
@smthemex
Copy link
Owner

在clip的地址栏填写你下载好的,包含模型和config文件的绝对地址,如果插件的clip栏里是openai/clip-vit-large-patch14 这样的repo id,插件识别到openai/clip-vit-large-patch14,如果缓存里没有,自然会自动下载

@natie20210522
Copy link
Author

1731738172919
非常感谢您的回复,但是我从自己的云端,还是有报错,但是我在kaggle就可以跑的通,不知道什么问题,感谢

@natie20210522
Copy link
Author

1731738600720
这是kaggle的表现

@smthemex
Copy link
Owner

还是路径的问题,地址栏就没有正确指向本地clip模型路径,所以自动下载,而如果梯子卡了下载不了,就会报错

@yiyabo
Copy link

yiyabo commented Nov 18, 2024

有没有人尝试在代码中直接修改加载地址呢?让代码去某一个地址加载模型,而不是去huggingface下载,或者去检测缓存。

@smthemex
Copy link
Owner

你填写的地址就是自定义啊, 如果是openai/clip-vit-large-patch14就检查缓存或者自动下载,如果是X:/XXX/XX/clip-vit-large-patch14 就加载这个路径的模型,这么简单了还要啥?

@yiyabo
Copy link

yiyabo commented Nov 18, 2024

    刚刚看了下,修改了一下模型的导入。我这边情况有点特殊,不大方便直接进行地址更改😂。
    from transformers import CLIPTextModel, CLIPTokenizer

    # 加载本地的 text_encoder 和 tokenizer 模型
    text_encoder = CLIPTextModel.from_pretrained("/xxxxxxx/openai/clip-vit-large-patch14")
    tokenizer = CLIPTokenizer.from_pretrained("/xxxxxxx/openai/clip-vit-large-patch14")

    # 使用 from_single_file 加载 StableDiffusionPipeline,并手动指定 text_encoder 和 tokenizer
    pipe = StableDiffusionPipeline.from_single_file(
        ckpt_path,
        original_config=original_config_file,
        text_encoder=text_encoder,
        tokenizer=tokenizer
    )

@yiyabo
Copy link

yiyabo commented Nov 18, 2024

    刚刚看了下,修改了一下模型的导入。我这边情况有点特殊,不大方便直接进行地址更改😂。
    from transformers import CLIPTextModel, CLIPTokenizer

    # 加载本地的 text_encoder 和 tokenizer 模型
    text_encoder = CLIPTextModel.from_pretrained("/xxxxxxx/openai/clip-vit-large-patch14")
    tokenizer = CLIPTokenizer.from_pretrained("/xxxxxxx/openai/clip-vit-large-patch14")

    # 使用 from_single_file 加载 StableDiffusionPipeline,并手动指定 text_encoder 和 tokenizer
    pipe = StableDiffusionPipeline.from_single_file(
        ckpt_path,
        original_config=original_config_file,
        text_encoder=text_encoder,
        tokenizer=tokenizer
    )

补充一下,还需要指定一下clip
clip = "/root/models/openai/clip-vit-large-patch14"
makeup_encoder = detail_encoder(Unet, clip, "cuda", dtype=torch.float32)

@smthemex
Copy link
Owner

你直接在repo填写"/root/models/openai/clip-vit-large-patch14" 不行吗?

@yiyabo
Copy link

yiyabo commented Nov 18, 2024

你直接在repo填写"/root/models/openai/clip-vit-large-patch14" 不行吗?

就是因为不行😂,所以才需要从代码层次进行更改

@natie20210522
Copy link
Author

哈哈,有这么多回复了啊,其实我也知道改地址,但是我把能放的文件夹都放了clip-vit-large-patch14,包括models,clip,节点文件夹也放了,然后在工作流里把地址改了个遍,也没成功,看来还是技术不过关,插件没问题,表现很好,我测试了比cosxl表现要好,暂时先不弄了,如果有需要就去kaggle生成一下就行了,感谢回复

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants