NO KEY / FOUR DECISIONS
Jev 初心者の実践問題:安全な判断を四段階で設計する
解説を見る前に、アプリが次に何をするか選んでください。数値は教育用の仮定で、Jev API の実行結果ではありません。
問題はブラウザー内で動き、Jev を呼び出しません。進捗はこのブラウザーだけに保存します。
01 / STATE
✓配達済みの荷物が届かない。まず何を state に入れる?
顧客は荷物がないと言います。アプリは注文者と配送記録をまだ確認していません。
自動振り分けの前にコードは何をすべきですか。
確認できる事実はアプリで確認します。不明な受領者は unknown のままにします。Jev は担当選択を助けますが、注文記録を作ったり返金を許可したりできません。
注文者を確認できなければ、推測せず追加情報か人の確認へ進めます。
事実取得と権限確認はコード、与えられた state への判断は Jev の役割です。
02 / QUESTION
✓最初の担当部署を選ぶ
配送、請求、技術、確認の四つから最初の担当を一つ選びます。
どの質問型が合いますか。
有限の候補から一つ選ぶので Choice が適切です。候補の範囲と確認経路を定義します。緊急性は同じ state で別の Noul として聞けます。
担当と緊急性の両方が必要なら、二つの原子的な質問を一度のリクエストで送ります。
Jev は型付きの判断を返し、コードはキーを実際の担当へ対応させます。
03 / ACTION
✓配送担当という答えです。自動で割り当ててよい?
教育用の仮定:Choice の shipping の confidence は 0.62。別の正解付きデータで仮に決めたしきい値は 0.80。注文者は確認済みです。
この仮定の規則では次に何をしますか。
0.62 は仮のしきい値より低いため、人の確認へ進めます。confidence は実測正解率ではありません。しきい値は正解付きデータで調整し、未使用データで評価します。
confidence が 0.91 でも、取り消せない操作には権限規則が必要です。この例で許せるのは取り消せる振り分けだけです。
Jev は判断信号を返し、しきい値、権限、失敗時の処理と記録はコードが担います。
04 / EVIDENCE
✓RAG の資料が関連している。もう回答できる?
利用者は返金の到着時期を質問。見つかった資料は返金を申請できるとだけ書き、所要時間を示しません。
関連性を根拠と混同しない方法はどれですか。
関連する資料だけでは具体的な時期を裏付けられません。回答と引用の前に、その主張が資料にあるか確かめます。
後で時期を示す規則を見つけた場合も、地域、発効日、注文への適用を確認します。
Jev は資料の選別を助けます。検索、回答、引用の検査は別々の段階です。
次に学ぶ
モデルとコードの役割:state → question → code policy → evaluation.