Building applications in the Gemini API family.

Transcript

1. Building applications in the Gemini API family.

2. Evan Lin Engineering Director of LINE Taiwan Developer Relations Go

   & Cloud AI GDE LINE Platform Evangelist TECH FRESH People Manager

3. P A R T 0 1 Gemini API 2026 重點更新。

   重點不是模型又變強了。重點是——Google 終於把 Gemini API 「從一個 endpoint 做 成一個應用平台」這件事認真做了。

4. C A P A B I L I T Y

   MA P Gemini API 家族 —— 全景圖。 模型是引擎，工具才是讓你能蓋出產品的鋼骨。 MODELS Gemini 3.5 GENERATION 文字 · 圖像 · 多模態 generateContent Function calling Structured output RETRIEVAL 把外部資料拉進來 File Search （managed RAG） Grounding with Google Search URL Context AGENT + ASYNC 長任務 · 多步驟 Agents API (managed loop) Webhook delivery 非同步回推 Deep Research agent MCP server 整合 INFRASTRUCTURE 支撐應用的基礎能力 · Context caching（命中率高、價格 1 折） · Batch API（離線任務 5 折） · Live API（語音／視訊串流） · Safety filters & usage controls Building applications in the Gemini API family

5. P A R T 0 2 三個會改變你 架構的工具。 下面這三件事不是「另一個 feature」——他們改了你「怎麼設計系統」本身：

   File Search、Agents API、Webhook delivery。

6. T O O L 01 · R E T R

   I E V A L File Search —— Managed RAG。 Building applications in the Gemini API family SUP PORTS 支援的格式與規格 PDF、DOCX、TXT、JSON、常見程式碼檔 單一 store 建議 < 20 GB 內建 citation 標註來源段落 raw file 48 小時清掉、store 內 embedding 永久保留 支援 Gemini 3.5 Pro / Flash / Flash-Lite 目前不能與 Grounding with Google Search 在同一次 call 並 用。

7. T O O L 01 · W H A T

   ' S N E W A T I / O 20 2 6 File Search —— 三個 May 2026 更新。 從「文件搜尋」往「企業級檢索層」靠攏。 01 · MULTIMODAL 圖文同一個語意空間 Gemini Embedding 2 讓圖片與文字共用同 一個 embedding 空間。 上傳一份含截圖、 圖表的 PDF，bot 可以「看懂」圖再回答。 支援 PNG / JPEG、最大 4K × 4K、單次 query 最多 6 張。 02 · METADATA Custom filter，先過濾再檢 索 每份檔案打標籤——department、 status、 lang —— query 時可指定範圍，精準度與權 限隔離一次解決。 最常見的用法：分租戶（multi-tenant）、分 部門權限。 03 · PAGE CITATIONS 引用標到第幾頁 回應裡的 grounding metadata 會精確指出 「答案出自哪份檔案的第幾頁」。 對企業客 服、法規查詢場景的可信度是巨大提升。 在 LINE 端可以直接 reformat 成 Flex Message 的引用卡片。 Building applications in the Gemini API family

8. T O O L 01 · W H A T

   ' S N E W A T I / O 20 2 6 多模態檔案搜尋範例 Building applications in the Gemini API family WH A T IS N EW 多模態檔案搜尋 可以輸入 PDF (內包括圖片) ，並且可以透過直接 上傳圖片來搜尋相關資料。

9. T O O L 02 · A GE N T

   Agents API —— 讓 Google 幫你跑 loop。 不是「更聰明的 generateContent」，是一個「長期任務服務」——你的架構要掌握這 個轉變。 舊 自己維護 agent loop tool call → 觀察 → 規劃 → tool call…… 狀態、retry、超時、中斷復原 ，每一段都是坐在你的伺服器上燒你的邏輯。 新 Interaction 是一個 first-class 物件 你 POST 一份 interaction、拿到 interaction_id 。Google 負責跑（可 達 20 分鐘、100+ 次工具呼叫），你負責「等他來」。 內建 Deep Research · Deep Research Max 直接用支撐 NotebookLM 與 Gemini App 的同一條研究 pipeline，自 動產出含引用的完整報告。 ARCHITECTURE SHIFT 你的架構必須接受三件事 請求出去以後不是等 response 回來 任務狀態是一個可查詢的 ID，你要存 結果透過 webhook「推」回來（下一頁） 認識這個型態很重要——這是 payment / job queue 同一套思維， 不是 LLM API 這五年你熟的「同步 RPC」。 Building applications in the Gemini API family

10. T O O L 0 2 · A G E

    N T Agents API —— 讓 Google 幫你跑 loop。 Building applications in the Gemini API family

11. TOOL 02 · AGENT Agents API 範例 Building applications in

    the Gemini API family 範例 說明 研究小幫手 建立四個 Tools: - code_execution 準備網頁應用 - Filesystem 報告寫入檔案 - google_search 搜尋與抓取網頁 - url_context 抓取網址

12. T O O L 03 · A S Y N

    C D E L I V E R Y Webhook —— 換 Google 來 call 你。 Agents API 的同胞雙生。不要 polling、不要長連接——agent 跑完，Gemini 主動 POST 結果進來。 01 · KICK OFF 建立 interaction 你的 server 呼叫 Agents API，帶 上 webhookUrl 與 metadata。 立刻拿到 interaction_id。 → 0 2 · G O O GL E W O R K S Agent 背景跑任務 幾秒到幾分鐘。你的 server 不用 等、不用連著。 → 03 · C ALLBACK Gemini POST 到你的 webhook 帶 interaction_id、status、完整 結果。HMAC 簽章 + timestamp ，你負責驗。 → 04 · FAN-OUT 推回使用者 查 interaction_id 跟蹤的 user， 用 LINE Push API 送結果。 WHY WEBHOOK, NOT POLLING 低延遲 × 低成本 不用輪詢、不用 keep-alive 長連接 At-least-once delivery——設計冪等 handler 適合上百、上千個並行任務 ARCHITECTURAL PATTERN Webhook In · Webhook Out 入口：LINE webhook 送使用者訊息進來 出口：Gemini webhook 送 agent 結果進來 中間不 block，server = event handler。 Building applications in the Gemini API family

13. A R C H I T E C T U

    R E D E C I S I O N 不是「丟給 LLM」， 是「query 該走哪一條路徑」。 架構師的工作：在 LLM 之前設一個快、便宜、可預測的 routing 層。 INPUT User message 使用者在 LINE 傳訊息進來 → ROUTE Intent router （Flash-Lite ） 用便宜小模型判斷分類；幾十毫 秒、幾乎免費。 → BRANC H 三條路徑 · 快問快答 → generateContent · 查公司資料 → File Search · 長任 務 → Agents API → DELIVE RY 同步 reply / 非同步 webhook 快問題用 LINE reply token 同步 回；長任務等 Gemini webhook 進來再 push。 Routing 層是「你設計的」那一黚，不是 Google 給你的。 這是你從 「call API」 變成 「architect」 的關鍵動作——準確、可觀測、成本可控。 Building applications in the Gemini API family

14. P A R T 0 3 從「call API」 到「architect apps

    」。

15. B E FO R E 經典的 LINE Bot 架構。 核心流程：Webhook

    進、Reply 出。 01 · USER 使用者傳訊息 在 LINE App 輸入文字、貼圖、圖 片、語音。 → 02 · P LATFORM LINE Messaging Platform 把 event POST 到你設定的 webhook URL，附 X-Line- Signature 簽章。 → 03 · YOUR SE RVE R Webhook handler 驗章 → 業務邏輯（通常是 keyword match / if-else）→ 組 回應。 → 04 · RE PLY Reply / Push API 用 replyToken 回（限 1 次）或 push（隨時、有額度）。 便宜、可預測、但擴充很痛——新的需求都要寫新的 if 。 語意理解幾乎為零，使用者多打一個錯字就 fallback 到 default reply。 Building applications in the Gemini API family

16. A F T E R 加入 Gemini 後的新架構。 中間那段「業務邏輯」，換成 router

    + 三個工具。 CHANNEL Messaging Platform 收訊息、回訊息 簽章驗證 LIFF / Rich Menu 前端入口、權限授權 Push API 非同步任務完成回推 YOUR WE BHOOK SER VER 1 · 驗章 & parse 驗 X-Line-Signature、抽出 message text + user_id 2 · Intent Router Flash-Lite 結構化輸出，分類到三條路徑之一 3 · Tool dispatch 呼叫對應的 Gemini API，組成回應 4 · Format & reply 把 citation 轉成 Flex Message，呼叫 LINE Reply GEMI NI API generateContent + File Search 私有資料、需要 citation generateContent + Grounding 即時公開資訊 Agents API + Webhook 長任務、Deep Research File Search Store 公司知識庫、預先 index 好 Building applications in the Gemini API family

17. P A R T 0 4 Demo —— 知識庫 客服

    Bot。

18. T H E S C E N E 場景 ——

    一個內部知識庫客服。 員工或客戶在 LINE 用自然語言問問題，bot 從上千份文件找答案、附引用。 需求 1 100+ 份 PDF、操作手冊、簡報 用自然語言問問題，跨檔案找答案。 需求 2 回答附上引用 必須說明「出自哪份檔案、第幾頁」，可點擊跳到原文。 需求 3 部門權限隔離 HR 員工不能查到財務檔案；多租戶場景同理。 需求 4 回應 < 5 秒 LINE 場景的硬性 UX 紅線。 KB 內部知識庫小幫手 差勤系統怎麼申請補休？ 依《HR-差勤辦法 v3.2》第 12 頁：員工於假日加班後，可在 三個月內向直屬主管申請補休，補休時數依加班核定為準。 來源：HR-差勤辦法 v3.2 · 第 12 頁 那如果是 RD 部門的人？ RD 部門另適用《RD-工時管理補充規定》第 4 頁…… 來源：RD-工時管理補充規定 · 第 4 頁 Building applications in the Gemini API family

19. T A K E AW A Y S 你不是補一個 LLM。

    你是架構一個系統。 01 在 LLM 之前設「router」。 不要把所有 query 交給同一個 prompt。用 Flash-Lite 做 intent router，分到 generateContent、File Search、Agents API— —這是你「能控制、能觀測、能控成本」的起點 。 02 長任務 = Agents API + Webhook。 不要 polling、不要長連接、不要在 LINE webhook 裡等。「fire → 」「、 Google 跑 → 」「webhook 推回來 → 」「push 給使用者」是 個 4-stage pipeline，學会他。 03 File Search 取代一條 pipeline 。 你不再需要 Pinecone + chunking + LangChain 。留下的時間，幫你把「上線後要面對的事」做好 ：metadata 權限、citation UX、cost monitoring。 Building applications in the Gemini API family
20. None