点击蓝字 关注我们

关注并星标

从此不迷路

计算机视觉研究院


公众号ID计算机视觉研究院

学习群扫码在主页获取加入方式

参考地址:https://github.com/ultralytics/ultralytics

计算机视觉研究院专栏

Column of Computer Vision Institute

现在的ChatGPT都是输入文字、图片或者语音,那如果将检测网络或者更上层一点的东西,把视觉与ChatGPT对接,会不会有不一样的火花?



01

简介



ChatGPT(全名:Chat Generative Pre-trained Transformer),是OpenAI研发的聊天机器人程序,于2022年11月30日发布。ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过理解和学习人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本文案翻译代码,写论文等任务。

现在的ChatGPT都是输入文字、图片或者语音,那如果将检测网络或者更上层一点的东西,把视觉与ChatGPT对接,会不会有不一样的火花?

02

尝试与设计



注册OpenAI账号并创建API密钥:首先需要注册OpenAI账号,并在Dashboard中创建API密钥以便后续使用。

安装OpenAIPythonSDK:

可以通过pipinstallopenai命令来安装OpenAIPythonSDK,这样就可以在Python代码中使用ChatGPT进行对话了。

调用API进行对话:可以使用SDK中提供的completions方法来调用API进行对话,需要传入API密钥和输入文本,API会返回生成的回复文本。

集成到应用中:可以将ChatGPT集成到应用中,例如网站或移动应用程序,使用户可以与ChatGPT进行对话。集成方式有很多种,可以根据具体应用场景选择合适的方式。

需要注意的是,ChatGPT是基于大规模的语言模型训练而成的,对话过程中可能会出现一些不准确或不恰当的回复。因此,在实际应用中需要谨慎评估ChatGPT的表现,并根据实际情况进行调整和优化。

YoloV8搭建

下载库——ultralytics

 pip install ultralytics

运行测试

yolo predict model=yolov8n.pt source='https://ultralytics.com/images/bus.jpg'

接下来就是打通视觉模型和ChatGPT的交流,先看一个例子!首先从网上下载一段视频,然后开始进行Sao操作:

准备好素材就开始表演!

先进入搭建好的系统中,进行启动:

然后就开始进入新的世界了

然后接入视频并启动Yolov8实时检测:

然后这边我对其说:

Lock the area on the right for real-time detection

此时一直在实时检测中:

然后输入有一个屏幕被打开,进行了检测可视化展示:

前面感觉检测的效果不是很好,就重新输入一段指令:

Direct detection of fire extinguishing stages


由于整体检测网络没有怎么优化训练,直接检测,效果不理想,但是与ChatGPT的联动还是有效果,这种有没有联想到流浪地球的MOSE。

这种能力如果全面打开,是不是在现实生活中,实时视频中,和ChatGPT对话,比如看中视频中的一键衣服,是不是GPT就可以自己去网上搜索,给出最优惠价格的链接(GPT帮用户去比价),然后把链接推送给用户。这些都是一种可能,也是GPT真正应该落地的应用。

© THE END 

转载请联系本公众号获得授权


计算机视觉研究院学习群等你加入!


ABOUT

计算机视觉研究院

计算机视觉研究院主要涉及深度学习领域,主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架,提供论文一键下载,并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程,让大家真正体会摆脱理论的真实场景,培养爱动手编程爱动脑思考的习惯!


 往期推荐 

🔗

内容中包含的图片若涉及版权问题,请及时与我们联系删除