Challenge 1 - Image-To-Poem Performer

我們已經學習過如何利用鏡頭/圖片配合 ChatGPT 分析圖像 ,

這次將加入創作詩歌(POEM)元素豐富專題的趣味性。

設定 OhBot 的動作 :

從 Multiblock 取出 OhBot 的身體部份 , 按下「綠色旗仔」便會自我行動。

詳細教學按此

編程教學 : (使用鏡頭部份)

如何設定鏡頭可查看 : 按此

在「Speech」取出「set voice .....」並加至 when key pressed 的下方來設定語言及語腔 ;

這次的語言設定十分重要 , OhBot 會因應設定的語言來創作相應語言的詩歌。

在「Data」中取出2個「set .... to 0」, 將2個 variable 分別改成 「prompt」 , 「content」

這些 variable 均為 default variable , 可以在 「Data」 block 直接找到

建議勾選 「content」來顯示 GPT / OhBot 回答的內容

把「set prompt」加入至「set voice」的下方 , 這次的任務是 : 「make a short 8 lines poem for this」

意思是為鏡頭看到的東西創作一篇 8 行的短詩。

加入「gpt gpt-4o」並改成「gpt-4o-vision」來取得鏡頭的實時影像

在「Data」找回「prompt」這個variable , 目的是讓 GPT 分析完圖像後做出「prompt」的任務 i.e. make a poem

最後加入「say content」until done 來演繹詩歌

以小熊公仔創作詩歌的例子 :

影片示範 :

首先將語言改成「中文 (繁體),香港特別行政區」

set prompt 的內文亦請用中文輸入 i.e. 「為它作一首短詩」

你也可以給予它其他任務 , 例如 : 說一個笑話 等等...

加入「set url ....」 圖片連結建議為 .jpg 、.png 等常用 file type

下文將提供圖片及詩句的示例

在「AI」取出「gpturl gpt-4o-vision」 , coding block 有2個空格代表需放入另外2個編程積木才能完成編程。

將「prompt」及「url」依照序入至 「gpturl」 的後方

即為它("image.jpg")作一首短詩

並且加上「say content until done」讓 OhBot 朗讀短詩

完成編程後按「spacebar」來啟動編程

影片示範 :