הבקרה הנדרשת - בינה מלאכותית

היום פגשתי קולגה ושוחחנו על שימוש בבינה מלאכותית לפיתוח שיטות אנליטיות, בין השאר. במקביל עלו לא מעט פוסטים כאן במרחב באותו הענין. לפני כשנתיים השתתפתי בכנס והם קצת התאכזבו מאותה התשובה שניסחתי אז וגם היום. מאז ועד היום אני עוד כל הזמן חושבת, במה לא דייקתי בזמנו את ההסבר. ואולי עוד כל כך התרגשן מהענין ולא היו פנויים להבין שפשוט, אין חדש תחת השמש. כל עוד מדובר במערך ממוחשב שתומך בתהליך מדעי, דרישות הבקרה נשארות אותן דרישות שאנחנו מכירים כבר שנים. ומה זה אומר בפועל? 🔹 הגדרת Intended Use – מה הכלי אמור לעשות, ומה הוא לא יכול להחליף. 🔹 הערכת סיכונים (CSA/CSV) – מה עלול להיפגע ומה הבקרות שמגנות עלינו. 🔹 ALCOA+ ונתונים מהימנים – המודל חייב להישען על מידע איכותי, עקיב ומהימן. 🔹 בקרות אנוש או אוטומטיות ברורות – מומחה אנליטי תמיד בוחן, מאשר ומאמת. 🔹 בדיקות יציבות ועקביות – לא מחפשים תוצאה זהה, אלא מתודולוגיה יציבה. 🔹 מגבלות שימוש – הגדרה ברורה מה מותר ומה אסור למודל להציע. 🔹 Verification לנקודות קריטיות – כל רעיון של AI עדיין עובר בדיקות ופיתוח כמו כל שיטה חדשה. 🔹 תיעוד ו-Audit Trail לפי Part 11 ו-Annex 11 – עקיבות מלאה של input, גרסת מודל, והחלטות. וכאן מגיעה השאלה שאוהבים לשאול: איך עומדים בדרישת Attributable אם ה-AI “מייצר את התשובה”? התשובה פשוטה: ה-AI הוא כלי, לא בעל תפקיד. ה-Attributable מתייחס לא למי "כתב" את הפלט — אלא למי: ✔ הפיק את הפעולה ✔ הזין את הנתונים ✔ ביקש את החישוב ✔ בחן את התוצאה ✔ ואישר להשתמש בה כל הפעולות האלה הן אנושיות — ולכן עומדות לחלוטין בדרישות ה־ALCOA+. בסוף, הבינה המלאכותית אינה מחליםה מומחה אנליטי. הוא רק מייצר רעיונות חכמים יותר ומהר יותר — ובמסגרת הבקרה הנכונה, הוא פשוט עוד כלי איכותי בארגז הכלים המדעי. וכמובן התשובה שלי תקפה לכל ענין לא רק אנליטי. אלא בכל תחום. בסוף היום, זו עוד מערכת מידע, מתוחכמת ככל שתהיה, חכמה באלפי מונים וכל סופרלטיב אחר שיוענק לו. ואני לא מורידה מכבודה. אני חיה ונושמת את הענין 24/7 ולא יודעת איך לחזור אחורה. אפרופו הנפילה שקרתה היום (18.11.25). זה לא קשור. כעובדה התמודדנו עם אקסלים ולכן נתמודד גם עם זה. ויש לי סוד השיטה יחסית, הפתרון דומה אך במערך שונה. הבינה המלאכותית היתה כאן כבר לא מעט שנים בהרבה מאוד כלים. היום יש לה יותר כוח היא יותר חכמה, ומשתנה שזה אולי החלק המבלבל אבל החוקים, ההיערכות ובעיקר התהליך עצמו לא השתנה. והדבר הכי חשוב, אם אנחנו כבר פה כדי לדאוג לאמן את הכלי כדי שיתאים לפעילויות שאליו אנחנו מכוונים אותו, כדי שהאימון יתבסס על מידע מהימן. כי כמו שאני אומרת תמיד ועל כל ענין, כל החלטה המבוצעת על בסיס דאטה המוצג חשוב שיתבצע בהתבסס על מידע מהימן. נכון בעולם אנליטי, ובכל תחום גם בחיים. ומי שהקפיד בעבר על חוקי הניהול כדי לעמוד בדרישות העוסקות במהימנות נתונים והקפיד על הבקרות כך שהוא יכול לסמוך על המידע, חייו הרבה יותר פשוטים. ומי שלא כנראה שמצבו פחות פשוט. מה דעתכם?