無料ツール｜印刷用チェックリスト
AI機能のレスポンスが遅いチェックリスト
手を入れる前と、入れた後にさっと確認します。全部に○が要るわけではなく、**気になる所だけ**で十分です。
測る
- 最初の一文字が返るまでの時間を記録しているか
- 全部出終わるまでの時間を記録しているか
- 平均だけでなく、遅かったほうの回も見ているか
- 機能ごと・画面ごとに分けて見られるか
ストリーミングを入れる前の見極め
- 人が読む、ある程度の長さの文章を返す機能か
- 出力を検証してから使う機能ではないか（そちらは完成を待つ）
- 入れるだけの効果がある長さか（数行なら見送ってよい）
ストリーミングの実装
- 手前のプロキシ・ロードバランサのバッファリングを外したか
- 圧縮設定で溜め込まれていないか
- 経路のタイムアウトを、想定する最長の応答に合わせたか
- 途中で止めるボタンがあるか
- 止めたとき、サーバー側からAIへの呼び出しも打ち切っているか
- 途中で切れたことが利用者に分かるか
- 途中までの文章を保存・後続処理に渡していないか
待たせ方
- 先に確定するもの（参照資料など）を先に出しているか
- いま何をしているかが分かる表示があるか
- 押した瞬間の反応があるか
- 数分かかる処理を、その場で待たせていないか
実時間を縮める
- 出力の長さに上限や指示をかけたか
- 同じ問い合わせの繰り返しがないか確認したか
- 用途に対してモデルが過剰でないか見直したか
- 毎回送っている入力に、削れる部分がないか
- 独立した呼び出しを順番に投げていないか
この内容は記事「AI機能のレスポンスが遅い｜ストリーミングで体感速度を上げる」のチェックリストです。印刷してそのままお使いいただけます。 ／ 無料ツール一覧へ