Vertex AI 和 Workbench 語言模組實戰，打造有人性的客服小幫手

2024/01/04

隨著科技發展，企業與客戶的互動日益頻繁，提供良好的客戶服務變得至關重要。傳統的客服方式往往需要人工處理，不僅成本高，也難以快速應對大量的客戶需求；近年來，隨著人工智慧（AI）技術的發展，機器人客服逐漸成為一種新的趨勢。

機器人客服可以 24 小時不間斷地提供服務，並根據客戶的需求進行學習和調整，提高服務的質量和效率。在本專欄中，我們將介紹如何使用 Google Cloud Platform（GCP）的 Vertex 語言模型與 Workbench 建立一個小客服。

甚麼是 Vertex 呢？

Vertex 語言模型是一種大型語言模型，可以生成文字、翻譯語言、編寫不同類型的創意內容，並以信息豐富的方式回答您的問題。Workbench 是一個可視化的 notebook 環境，可以讓您輕鬆地使用 GCP 的各種服務和工具。

在本專欄中，我們將透過簡單的通訊錄與GCP AI模型做互動，結合 GCP Vertex AI語言模型以及Workbench建立notebook完成佈署實作小客服，而在文末也會說明關於GCP所使用的語言模型 PaLM2 以及在模型中所可以調整的參數值分別作用為何。

希望本專欄能幫助您快速上手GCP AI 服務，為您的服務開創無限可能！

本次實作步驟如下：

【一】使用Vertex AI左側點選Workbench並建立新的執行個體

【二】使用Vertex AI語言模組提取python程式

【三】將Vertex AI語言程式碼鍵入notebook中並微調

【四】測試成果

【五】實作完成後的聊聊天

【一】使用Vertex AI左側點選Workbench並建立新的執行個體

- 登入GCP->搜尋Vertex AI-> 點選Vertex AI

點選Vertex AI

- GCP->Vertex->Workbench->建立notebook

建立notebook

- 開啟 JUPYTERLAB

開啟 JUPYTERLAB

- 開啟 Terminal

開啟 Terminal

Terminal 預設為白底黑字，可點選設定改成熟悉的黑底白字。

Settings -> Terminal Theme -> Dark

Dark

Dark Terminal

【二】於Vertex AI語言模組提取 python 程式

- Vertex AI -> 語言 -> 文字即時通訊

文字即時通訊

- 點選進入情境 -> 點選右上方的查看程式碼

查看程式碼

- 程式碼如下，複製以下程式碼準備接貼進我們剛剛所創建的 notebook 中

程式碼

【三】將Vertex AI語言程式碼鍵入notebook中並微調

- vi lab.py #新增一個名為 lab 的 python 檔案

vi lab.py

- 將程式碼貼入 lab.py 檔案中

程式碼貼入lab.py

- 修改程式提示以及回應變數

原程式碼：

原程式碼

調整後：

調整後1

調整後2

【四】測試成果

- 使用 python3 執行檔案測試問與答

測試成果

【五】實作完成後的聊聊天

透過以上範例，我們發現件有趣的事情：它所回覆的蔡依林資訊並非我們所給予的資料，其實是Google AI的PaLM2 大型語言模型，PaLM 2 模型提供多種尺寸應用於不同使用情境等。

從官方給予的說明為，由小到大分別是 Gecko -> Otter -> Bison -> Unicorn

由小到大分別

而實作面您會在 Vertex AI 語言模型中，可以選取相關模型名稱判斷攜帶級距。

前面的實作中我們這次所使用的模型為 code-bison@001

所使用的模型

選取完模型後，您會發現在相同位置處，有多個參數可調整：

參數可調整

Temperature：是控制生成的文本的創意程度的一個參數。值越高，生成的文本就越有創意。因此若您希望您的 Vertex AI 回覆得更有創意，可以將溫度值調高。

但是，您需要注意，溫度值越高，生成的文本就越有可能出錯。因此，您需要根據需要調整最適切的溫度值。

以下是一些使用溫度值來控制生成文本創意程度的示例：

溫度值為 0：生成的文本將非常保守，並且不會有任何創意。

溫度值為 0.5：生成的文本將有一定的創意，但仍然很有可能是正確的。

溫度值為 0.8：生成的文本將非常有創意，但也有可能出錯。

Token limit：控制生成文本長度的一個參數。值越高，生成的文字就越長。

具體來說，token 是指文本中的一個字母、數字或符號。例如，單詞 "hello" 由 5 個 token 組成："h"、"e"、"l"、"l" 和 "o"。

因此，token limit 值表示生成文本的最大 token 數量。例如，token limit 值為 1024 表示生成的文本最多可以包含 1024 個 token。當 token limit 值達到時，Vertex AI 將停止生成。

Top K 是指生成文字時要考慮的候選詞彙數量。例如，Top K 值為 40 表示生成文字時將考慮 40 個候選詞彙。Vertex AI 將從候選詞彙中選擇概率最高的字詞作為下一個字詞。當 Top K 值達到時，Vertex AI 將停止生成文字。

Top P 是指生成文字時要考慮的候選詞彙機率的下限。例如，Top P 值為 0.8 表示生成文字時將只考慮機率至少為 0.8 的候選詞彙。Vertex AI 將從候選詞彙中選擇機率最高的字詞作為下一個字詞，只要該字詞的機率至少為 0.8。當 Top P 值達到時，Vertex AI 將停止生成文字。

值得注意的是，Top K 和 Top P 都是控制生成文字多樣性的參數，但它們有不同的方法來實現這一點。具體差異如下：

Top K 的值越高，生成的文字就越多樣化，但也越有可能出錯；

Top P 的值越高，生成的文字就越準確，但也越有可能不夠有創意。

綜上所述，您可以透過實作來找到最適合您需求的參數值，Google Cloud 提供多種基礎語言模型供大家使用，大家一起客製化專屬於您的 AI 幫手！

參考連結: https://cloud.google.com/vertex-ai/docs/generative-ai/learn/models?_ga=2.174367202.-1504715318.1696217381&hl=zh-cn

其他訊息

產業訊息

Vertex AI 和 Workbench 語言模組實戰，打造有人性的客服小幫手

其他訊息

全新登場！阿里雲 CAPTCHA 服務，給您頂級安全防護與用戶體驗

什麼是DDoS攻擊？一次教你如何做好DDoS防護，保護你的網站！

如何提升網站效能優化？推薦5個改善網站速度的方法一次看！

雲端遷移成功關鍵因素

SOC它到底是什麼?它對資安有什麼作用?對於SOC資訊安全監控的功能與優勢有哪些?

精準運維，一站監控：探索騰訊雲可觀測平台的強大功能

Page Speed網頁速度如何加快？四種方法教你如何改善網站速度！

果核 2024 首發 Hacker Talk 論壇， 破解資安求職與無人機資安盲點

如何定義開源軟體＆套件？3分鐘快速搞懂第三方套件的授權模式！

雜貨店也能數位轉型？食品零售商如何透過公有雲優化商務呢

騰訊雲CCN雲聯網 手把手配置 高效穩定企業跨境全球互聯

【2024最新】公司企業的3款最佳Devops工具，成功案例一次看！

使用CDN安全嗎？CDN如何達到基本防護功能呢?

我用的APP安全嗎？會被竊個資嗎？3分鐘快速檢查手機APP資安！

如何確保做好企業資訊安全？這4大DDoS防護方法，推薦學起來！

發現手機被追蹤怎麼辦？注意 這十大被駭徵兆，手機資安恐不 保！

如何加快網站速度?影響網速的要件及升級指南

Vertex AI 和 Workbench 語言模組實戰，打造有人性的客服小幫手

我的 AWS實例啟用失敗，應該怎麼做？

果核 2023 最終場駭客論壇，探討網站風險、原碼檢測盲點與 Crypto 黑暗面

DDOS流量清洗是什麼？可以阻擋攻擊嗎？DDOS防禦方法一次看！

Devops是什麼？推薦企業一次看懂Devops定義、流程及優缺點！

如何做好資安防護？3個APP資安檢測工具、費用及功能一次看！

CDN廠商怎麼選？中華電信CDN、Cloudflare及Multi CDN大評比！

如何檢測iOS、Android手機資安？4招檢測方法預防詐騙＆駭客！

Google Cloud 引領潮流，擴大企業級生成式 AI的應用範疇，開創無限可能！

果核邀請專家獻策，破解惡意後門與車載資安盲點

企業為什麼要上雲？用途為何？盤點上雲5大優勢和費用解析！

可自建CDN嗎？和供應商差在哪？兩者優缺點和供應商挑選一次懂！

優化數據處理體驗：探索騰訊雲 EdgeOne 邊緣計算新境界

我該如何選擇最適合 AWS EC2 實例?

企業如何挑選合適的雲端服務？公有雲、私有雲差異比較總整理

技術專欄_運用AWS Network Firewall控制 Workspaces

弱點掃描工具有哪些？5款免費、付費弱點掃描工具優缺點分析！

如何設定網站CDN？推薦公司企業使用CDN加速的4大原因！

如何應對邊緣節點的網路攻擊？在 CDN 邊緣節點建立防護系統！

如何測試網站安全？OWASP工具測試弱點掃描的功能服務解析！

如何防禦DDoS攻擊？推薦這4大DDoS防護方法，避免網站被駭！

Google Cloud 初學者指南：我該將服務運行在哪呢？

果核串聯執法機關、資安廠商與風險顧問引導企業降低遇駭危機

企業需要SOC資安監控嗎？如何評估？看懂SOC監控的5大功能！

Multi CDN是什麼？為什麼要融合CDN？其應用方法與原理一次知！

如何利用CDN內容傳遞網路讓網站加速？4大優勢與趨勢分析！

DDoS攻擊怎麼防禦？DDoS攻擊手法與資安供應商挑選一次搞懂！

為什麼網站速度慢？和網頁設計有關嗎？速度慢會造成什麼影響？

如何提升企業雲端防護力-Cloud Armor

果核 2023 首發論壇，揭示藍隊能力升級、 開發／資安磨合的奧妙心法

2021 OWASP Top 10 A09資安紀錄與監控失效

2021 OWASP Top 10 A10伺服器請求偽造

安全防護：Web Application Firewall 設定教學

主動追蹤 AWS 「資源用量」，避免配額用盡造成任務失敗

我的網站慢嗎？如何檢測讓網站加速？新手必知 5 項網站優化指南！

阿里雲訪問控制與權限設置教學

該怎麼選擇 GCP Disk ?

AWS-WorkSpaces雲端桌面服務 (下集)

SOC 是什麼？SOC 資訊安全監控 v.s NOC 網路操作中心的差異？

2021 OWASP Top 10 A08軟體及資料完整性失效

OWASP前10大A07認證及驗證機制失效，瞭解如何修補及預防！

2022 果核 Hacker Talk 漂亮收尾， 解構開發模式、弱點檢測之安全盲點

CDN 內容傳遞網路是什麼？其運作的原理及用途為何？

SOC 資訊安全監控中心是什麼？4 項功能服務與優勢一次知！

如何提高網站的速度，為中國用戶提供可靠的體驗?

如果AWS訪問密鑰暴露怎麼辦？記住這4步驟一定要先做起來！

快速上手打造專屬直播平台

2021 OWASP Top 10 A06易受攻擊和已淘汰的組件

果核Hacker Talk傳授企業資安設計要訣，並探索IoT資安風險化解之道

HACKER TALK - 常被遺漏的開發測試環境如何面對駭客迎擊? 弱點掃描是否足夠阻擋駭客攻擊? 今年最後一場論壇，精彩議程不容錯過!

資安弱點掃描v.s滲透測試，差異在哪？3分鐘看優缺點與流程！

智慧戰情室能夠帶給企業什麼好處？一次瞭解其功能與特點！

我該如何選擇最適合的阿里雲 ECS 實例?

收到 AWS Abuse Report，該怎麼辦?

AWS-WorkSpaces雲端桌面服務 (上集)

公司網站速度慢怎麼辦？4 大網站速度慢原因，與自我檢測方法一次看

智慧戰情室能夠帶給企業什麼好處？一次瞭解其功能與特點！

什麼是公有雲？公有雲安全嗎？適合哪種企業使用？

2021 OWASP Top 10 A05 Security Misconfiguration 安全設定缺陷

2021 OWASP Top 10 A04 不安全設計

果核 2024 首發 Hacker Talk 論壇，破解資安求職與無人機資安盲點

騰訊雲CCN雲聯網手把手配置高效穩定企業跨境全球互聯

發現手機被追蹤怎麼辦？注意這十大被駭徵兆，手機資安恐不保！

果核 2023 首發論壇，揭示藍隊能力升級、開發／資安磨合的奧妙心法

2022 果核 Hacker Talk 漂亮收尾，解構開發模式、弱點檢測之安全盲點

如何提升網站速度及效能？推薦先搞懂動態v.s靜態網站的差異！

從零基礎學破解的駭客工具 Magisk Root，看懂駭客攻擊如何操作！

嚇！手遊資安危機　數小時恐喪失上億營收

從Google Play下載App保證安全!？資安業者：超過100款惡意程式會偷資料、點擊詐騙

網銀App漏洞金管會關注