谷歌推出全新的設備端 GenAI API，將 Gemini Nano 引入 ML Kit

ML Kit 新加入的 GenAI API 使開發者能夠在 Android 應用中使用 Gemini Nano 進行本地推理，支持諸如總結、校對、改寫和圖像描述等功能。

例如，你可以對長達 3000 個英文單詞的文件進行總結，可以讓文本風格更加正式或更加隨性，還可以生成標題、元數據或替代圖像描述。

在本地運行意味著所有數據，包括輸入、推理和輸出，都不會離開本地設備，並且不會產生任何雲端成本。 谷歌表示，GenAI API 的設計注重易於集成和使用，提供了與其他 ML Kit API 類似的高級抽象。

這意味著你可以直接獲得高質量的結果，無需額外進行提示詞工程或針對特定用例進行微調。

這是通過將每個專門的 API 構建為一個元件棧來實現的，以 Gemini Nano 作為共同基礎。 Nano 上面是一個小型的、特定於 API 的 LoRA 適配器模型，用於提高性能，接著是一層定義優化推理參數（如提示詞、溫度、top-K 和批次大小）的層。 最後，評估管道結合了自動化評估器、統計指標和人工評估器，以進一步改進生成的回應。

採用這種方法實現的性能提升通過基準分數來衡量，這些基準分數是為每個 API 定製的，考慮了特定屬性，例如文本總結中的事實一致性。 這些基準表明所有 API 的性能都有了一致的提升，如下圖所示。

ML Kit GenAI API 支援流式和非流式工作流程。 流式工作流特別適合需要較長回應的場景，因為它能夠在不等待整個回應生成完成的情況下逐步輸出內容。

在使用 GenAI API 時，ML Kit 會自動下載 Gemini Nano 和任何所需的特定於 API 的模型。 開發者也可以控制這個過程，並選擇提前下載模型。 假設所有所需的模型都已下載，下面的代碼片段演示了總結 API 的工作流程：

val articleToSummarize = ...
val summarizerOptions = SummarizerOptions.builder(context)    .setInputType(InputType.ARTICLE)    .setOutputType(OutputType.ONE_BULLET)    .setLanguage(Language.ENGLISH)    .build()val summarizer = Summarization.getClient(summarizerOptions)
val summarizationRequest = SummarizationRequest.builder(text).build()summarizer.runInference(summarizationRequest) { newText ->    // Show new text in UI}

為了確保所有所需功能都可在本地使用，開發者可以調用 summarizer.checkFeatureStatus 方法。

借助 AICore ，ML Kit GenAI API 在搭載了優化的聯發科天璣、高通驍龍和谷歌 Tensor 平臺的 Android 設備上可用。 支援的設備包括 Pixel 9 系列、三星 Galaxy 25、小米 15、摩托羅拉 Razr 60 Ultra 等。

對於有意向開始使用 ML Kit GenAI API 的開發者來說，可以將官方的 ML Kit GenAI API 演示應用作為入手點，它演示了所有新功能，還搭配了官方文檔 ，為開發者提供了更深入的指導。

【聲明：本文由 InfoQ 翻譯，未經許可禁止轉載。 】

查看英文原文：https://www.infoq.com/news/2025/06/google-mlkit-genai-gemini-nano/