OhBot ChatGPT 圖像分析

除了對話外 , OhBot 還能進行圖像分析再以說話的形式呈現解研出的結果

OhBot 的圖像分析可分為 :

1)給予鏡頭實時圖像分析

2)給予圖片連結

鏡頭實時圖像分析 :

你可使用 OhBot 的 Camera  或電腦自帶的鏡頭進行實時的圖像分析 。

如何在 OhBot 設定鏡頭?

1. 將 USB Camera 接駁至電腦

2. 在工具欄的「Settings」中選擇「Sensor」

3. 勾選「Camera On」 , 並在「Video Device」中選擇相應的鏡頭 ,

假如在接駁 Camera 後在 OhBot 找不到該 Device , 請重啟 OhBot App

完成設定後 , Virtual Ohbot 的下方會出現 Camera 的實時內容。

簡單編程 :

取出「gpt gpt-4o」 , 然後放進「say .... until done」

同時更改成 「gpt-4o-vision」 , 這是一個分析圖像的 command

然後在「gpt-4o-vision」後輸入「what is this」讓 OhBot / GPT 進行分析

OhBot / GPT 會就看到的內容分析並得出答案 ,

但 ChatGPT 因 privacy 問題只能夠分析並描述圖像的內容但不會辨識該人物是誰

使用圖片連結 :

示範的圖片連結 : https://www.ikea.com.hk/dairyfarm/hk/images/162/0916298_PE785100_S4.jpg

利用圖片連結的編程會複雜一點 , 將會用到多個 variable 接下來會逐一說明

編程教學 :

先將這次的核心編程積木「gpturl gpt-4o-vision」取出 ,

積木的後方有2個空格代表需放入另外2個編程積木才能完成編程。

在「Data」中取出3個「set .... to 0」, 將3個 variable 分別改成 「prompt」 ,「 url」 , 「content」

這些 variable 均為 default variable , 可以在 「Data」 block 直接找到

一樣加入「set voice」以及 key pressed 作為編程的開始及設定語調功能 ,

set prompt 的意思是給予 AI 模型(如ChatGPT)的輸入指令,用來引導它生成特定回應(例如寫文章、回答問題)

輸入「what is this」來讓 Ohbot / ChatGPT 分析圖片連結。

複製圖片連結至 set url to 「....」的裡面 , 圖片連結建議為 .jpg 、.png 等常用 file type

你可任意更改圖片連結來讓 OhBot 分析不同圖片。

先將「gpturl」command加至「content」 , 目的是將內容寫成 gpt 分析出的答案。

將「prompt」及「url」依照序入至 「gpturl」 的後方

即 what is this "image.jpg" 從而分析圖片

最後加入「say content until done」來說出分析內容。