- להניח שהמודל יכול לטעות.
- לצמצם הקשר לפני שמנסים “לנסח Prompt בטוח”.
- לתת לסוכן המטופל פחות כלים ממנהל הקליניקה.
- להשאיר כללים בלתי הפיכים מחוץ למודל.
להתחיל מהנחה שהמודל יכול לטעות
LLM הוא רכיב הסתברותי. בטיחות טובה אינה תלויה בכך שהוא תמיד יבין נכון, אלא בכך שטעות בפרשנות לא תהפוך אוטומטית לפעולה מסוכנת.
לצמצם הקשר לפני שמצמצמים שפה
הסוכן לא צריך את כל תיק המטופל לכל שאלה. הוא צריך את המינימום שנדרש למשימה. פחות הקשר = פחות חשיפה ופחות עובדות לא רלוונטיות שהמודל יכול לערבב.
לתת לסוכן המטופל פחות כלים ממנהל הקליניקה
איש צוות יכול להיות מורשה לעדכן שירות, מחיר או רשומה. שיחת מטופל לא צריכה לרשת את אותן יכולות רק כי משתמשים באותו מודל בסיס.
המודל יכול לנצל רק יכולות שנתתם לו.
סט כלים צר ומוגדר הוא בקרת בטיחות חזקה יותר מפסקה שאומרת “אל תעשה שום דבר מסוכן”.
להשאיר חוקים בלתי הפיכים מחוץ למודל
האפליקציה צריכה להיות סמכותית לזמינות, הרשאות, זהות מטופל, Persistence ומצב של רשומה חתומה. אם המודל מבקש פעולה לא חוקית, הפעולה צריכה להיכשל.
ידע רפואי אינו סמכות רפואית
מטופל יכול לשאול אם סימפטום מסוכן או אם להפסיק תרופה. גם אם מודל הבסיס מכיר את הנושא, במערכת אוטונומית צריך להבדיל בין עובדת קליניקה מותרת לבין שיקול דעת שאינו בסמכותו.
כשל כלי צריך להיראות כמו כשל
אם קריאת הקביעה נכשלה, אסור להסיק הצלחה מהכוונה. צריך לאמת את המצב או לומר שהפעולה לא אושרה. משפט בטוח בעצמו אינו Audit trail.
מודל הבטיחות של Menaela
Menaela מפרידה בין reasoning לבין הפעולות הסמכותיות של הקליניקה. ההקשר קשור ל-Tenant ולזהות, הכלים תלויי תפקיד, החוקים נאכפים באפליקציה ושיקול דעת לא נתמך מוסלם.
