本地部署copilot Crabyao 2024-11-29 14 想用云的copilot,但是顾虑到安全性和费用的问题,想着看以下有没有本地部署的可能性。 目前找到的star最多的开源工具是使用ollama(本地跑大模型的框架)和twinny(vscode上的插件,可以对接本地ollama,或者使用云端的算力),这两个工具结合起来就可以实现本地模型的部署。 但是奈何没有显卡,问答场景还可以,但是一旦跑代码补全就性能严重不够。(木有显卡,直接跑在cpu上,调用了以下avx指令) 暂时不折腾这个了