エッジAI実践ガイド - Small Language Modelsのデバイス展開

FP32 (32bit浮動小数点) → FP16 (16bit) → INT8 (8bit整数) → INT4 (4bit整数)

# モデルのダウンロード
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

# INT4量子化の実行
./quantize models/phi-3-mini-4k-instruct-f16.gguf \
             models/phi-3-mini-4k-instruct-q4_0.gguf \
             q4_0

# メモリ使用量の確認
ls -lh models/*.gguf
# phi-3-mini-4k-instruct-f16.gguf: 7.2GB
# phi-3-mini-4k-instruct-q4_0.gguf: 2.3GB

import com.google.mediapipe.tasks.genai.llminference.LlmInference

class EdgeAIActivity : AppCompatActivity() {
    private lateinit var llmInference: LlmInference
    
    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        
        // SLMモデルの初期化
        val options = LlmInference.LlmInferenceOptions.builder()
            .setModelPath("/sdcard/models/gemma-2b-it-q4_0.bin")
            .setMaxTokens(1024)
            .setTemperature(0.7f)
            .setTopK(40)
            .build()
        
        llmInference = LlmInference.createFromOptions(this, options)
    }
    
    // 推論実行
    fun generateText(prompt: String): String {
        val result = llmInference.generateResponse(prompt)
        return result
    }
    
    override fun onDestroy() {
        llmInference.close()
        super.onDestroy()
    }
}

import CoreML

class EdgeAIModel {
    private var model: MLModel?
    
    func loadModel() {
        do {
            let config = MLModelConfiguration()
            config.computeUnits = .cpuAndNeuralEngine
            
            model = try phi_3_mini_4k_instruct(configuration: config).model
        } catch {
            print("Model loading failed: \\(error)")
        }
    }
    
    func generateText(prompt: String) -> String {
        guard let model = model else { return "Model not loaded" }
        
        let input = phi_3_mini_4k_instructInput(prompt: prompt)
        let output = try? model.prediction(from: input)
        
        return output?.generated_text ?? "Error"
    }
}

from llama_cpp import Llama

# SLMモデルの読み込み
llm = Llama(
    model_path="models/phi-3-mini-4k-instruct-q4_0.gguf",
    n_ctx=4096,  # コンテキスト長
    n_threads=4,  # CPU スレッド数
    n_gpu_layers=0  # Raspberry PiはCPUのみ
)

# 推論実行
def generate_response(prompt: str) -> str:
    output = llm(
        prompt,
        max_tokens=256,
        temperature=0.7,
        top_p=0.95,
        stop=["User:", "\n\n"]
    )
    return output['choices'][0]['text']

# 使用例
prompt = "量子コンピュータの仕組みを簡潔に説明してください。"
response = generate_response(prompt)
print(response)

# デバイス性能に応じたモデル選択
def select_optimal_model(device_ram_gb: int) -> str:
    if device_ram_gb >= 8:
        return "qwen2-7b-instruct-q4_0.gguf"  # 高性能
    elif device_ram_gb >= 4:
        return "phi-3-mini-4k-instruct-q4_0.gguf"  # バランス
    else:
        return "gemma-2b-it-q4_0.gguf"  # 軽量

# 複数プロンプトを一括処理
def batch_inference(prompts: list[str]) -> list[str]:
    return [llm(prompt, max_tokens=128) for prompt in prompts]

# 会話履歴をキャッシュして高速化
llm = Llama(
    model_path="model.gguf",
    n_ctx=4096,
    use_mlock=True,  # メモリロック（スワップ防止）
    use_mmap=True    # メモリマップドファイル
)

import whisper
from llama_cpp import Llama

# 音声認識 + SLM推論
def offline_voice_assistant(audio_file: str) -> str:
    # Whisperで音声→テキスト
    model = whisper.load_model("base")
    result = model.transcribe(audio_file, language="ja")
    user_text = result["text"]
    
    # SLMで応答生成
    llm = Llama(model_path="phi-3-mini-q4_0.gguf")
    response = llm(
        f"ユーザー: {user_text}\nアシスタント:",
        max_tokens=256
    )
    
    return response['choices'][0]['text']

# 医療情報など機密性の高いデータ処理
def privacy_safe_chatbot(patient_query: str) -> str:
    # データはデバイス内で完結、クラウド送信なし
    llm = Llama(model_path="medical-llm-q4_0.gguf")
    
    prompt = f"""あなたは医療相談AIアシスタントです。
患者の質問: {patient_query}

専門的かつ分かりやすい回答:"""
    
    return llm(prompt, max_tokens=512)['choices'][0]['text']

# センサーデータの異常検知
def anomaly_detection(sensor_data: dict) -> str:
    llm = Llama(model_path="tiny-llm-q4_0.gguf", n_ctx=512)
    
    prompt = f"""センサーデータ分析:
温度: {sensor_data['temperature']}°C
振動: {sensor_data['vibration']} Hz
圧力: {sensor_data['pressure']} kPa

異常の有無と推奨アクション:"""
    
    return llm(prompt, max_tokens=128)['choices'][0]['text']