AI יכול לטעות. המוצר צריך להיות מתוכנן לזה.
Menaela בנויה מתוך הנחה שמודלי שפה יכולים לא להבין, להמציא, לקבל הקשר חלקי או לבחור כלי לא נכון. הבטיחות מגיעה מהדרך שבה מכילים את הכשלים — לא מהעמדת פנים שהם לא יקרו.
המודל יכול לפרש את הבקשה ולבחור יכולת מותרת. אפליקציית הקליניקה עדיין מחליטה אילו נתונים הוא יכול לראות, איזו פעולה תקפה והאם היא באמת קרתה.
אלה לא קטגוריות תיאורטיות של “אתיקה ב-AI”. אלה כשלים רגילים שמופיעים כשמחברים סוכן שיחתי לפעולות אמיתיות.
ה-AI ממציא עובדה על הקליניקה
דוגמה: מטופל שואל מחיר, הוראת הכנה או פרט שירות שלא מוגדר.
איך Menaela מטפלת בזה: Menaela עונה על עובדות קליניקה מתוך הקשר מוגדר וכלים. אם אין מידע אמין, התוצאה התקפה היא לומר שלא ניתן לאשר ולהעביר לצוות — לא להשלים מהידע הכללי.
ה-AI מציע שעה שכבר נתפסה
דוגמה: 16:00 הופיע בשיחה, אבל תור אחר נתפס לפני האישור.
איך Menaela מטפלת בזה: המודל אינו בעל הזמינות. שכבת היומן הדטרמיניסטית בודקת מחדש את השעה המדויקת לפני קביעה או שינוי.
המטופל שואל שאלה רפואית שהסוכן לא צריך לענות עליה
דוגמה: “זה מסוכן?”, “להפסיק את התרופה?”, “מה אומרת התוצאה?”
איך Menaela מטפלת בזה: אבחנה, טיפול, תרופות, סיכון, פירוש תוצאות והתאמה אישית אינם חלק מהאוטומציה למטופל ומועברים לצוות.
נעשה שימוש בהקשר של המטופל הלא נכון
דוגמה: שיחה מכילה שם של אדם אחר והמודל מנסה לעבור אליו.
איך Menaela מטפלת בזה: זהות מטופל וקליניקה קשורה בצד השרת. טקסט חופשי אינו יכול להחליף את ההקשר הסמכותי.
בקשה עמומה מובנת לא נכון
דוגמה: “תעבירי אותי לשישי” כשיש יותר מתור אחד.
איך Menaela מטפלת בזה: עמימות נחשבת מידע חסר. Menaela מבקשת הבהרה ממוקדת לפני פעולה משמעותית.
כלי או אינטגרציה נכשלים באמצע
דוגמה: WhatsApp עובד אבל פעולת הקביעה נכשלת.
איך Menaela מטפלת בזה: כשל כלי מוצג ככשל. Menaela לא אמורה לטעון שתור נקבע או הודעה נשלחה בלי אישור מהאפליקציה.
טיוטת תיעוד AI שגויה
דוגמה: התמלול חסר או שהטיוטה כוללת פרשנות שגויה.
איך Menaela מטפלת בזה: פלט Scribe נשאר טיוטה. המטפל בודק, עורך וחותם; המודל אינו הופך טקסט שנוצר אוטומטית לרשומה חתומה.
WhatsApp אישי כולל שיחות שה-AI לא צריך לגעת בהן
דוגמה: רופא עצמאי מחבר את המספר שבו כותבים גם מטופלים וגם חברים ומשפחה.
איך Menaela מטפלת בזה: אפשר להגביל אוטונומיה ב-WhatsApp למטופלים מוכרים בלבד. הזהות נבדקת לפני הפעלת הסוכן; אנשי קשר לא מוכרים לא מקבלים תגובת AI ולא הופכים אוטומטית ללידים. שימוש ידני נשאר זמין.
ל-AI יש יותר כוח ממה שהמשטח דורש
דוגמה: סוכן WhatsApp למטופל לא צריך סמכויות של מנהל קליניקה מחובר.
איך Menaela מטפלת בזה: אוטונומיה מוגבלת לפי משטח. מטופלים מקבלים קטלוג כלים והקשר מצומצמים יותר מצוות פנימי.
Prompt אחד אינו מערכת בטיחות. הבקרות מפוזרות בין זהות, Retrieval, כלים, לוגיקה דטרמיניסטית והסלמה לאדם.
1. לקשור זהות לפני המודל
קליניקה, משתמש ומטופל נקבעים בצד השרת לפני שהמודל פועל.
2. לשלוף רק את ההקשר הדרוש
המודל מקבל את הנתונים הנחוצים לבקשה ולא הרשאה כללית לכל הקליניקה.
3. לחשוף רק פעולות מותרות
כל Execution Surface מקבל קטלוג כלים מצומצם.
4. לאכוף כללים באפליקציה
זמינות, הרשאות, זהות וחתימה נשארות דטרמיניסטיות.
5. להסלים שיקול דעת
שיקול דעת רפואי, חריגי מדיניות ומקרים לא ודאיים עוברים לצוות.
6. לשמור Audit
אפשר לעקוב אחר פעולה שמקורה בסוכן לפי משתמש, קליניקה, כלי ומטרה.
- תשובות על הקליניקה דורשות מידע מוגדר.
- אבחנה, טיפול, תרופות, סיכון ופירוש תוצאות אישיים עוברים לצוות.
- מסרים דמויי חירום מקבלים הנחיית פנייה דחופה קצרה בנוסף להסלמה.
- כלי מטופל לא יורשים סמכויות בלתי-מוגבלות של צוות.
- אפשר להפעיל אוטונומיה בנפרד לכל מקור; WhatsApp יכול להיות מוגבל למטופלים מוכרים לפני שהמודל מופעל.
בטיחות עוסקת במה קורה כשה-AI לא בטוח, טועה או מתבקש לעשות משהו מחוץ לסמכות. אבטחה עוסקת ב-Tenancy, הרשאות וגישת נתונים. לאבטחה וארכיטקטורה ←
רוצים לבדוק את הגבולות?
תביאו את המקרים הלא-נוחים: קביעה עמומה, מידע חסר, שאלה רפואית, זהות לא ברורה או כשל בכלי.
לדבר איתנו