چرا رفتار ایجنت‌های هوش مصنوعی همیشه قابل پیش‌بینی نیست؟

ساعات پیش از ظهر یک روز معمولی است. ایجنتی که مسئول هماهنگی جلسات و مدیریت کارهای روزمره شده، ناگهان چند ایمیل مهم را نادیده می‌گیرد و روی درخواست‌هایی تمرکز می‌کند که اهمیت کمتری دارند. مدیر پروژه از این رفتار تعجب می‌کند؛ نه به این دلیل که ایجنت خطایی آشکار انجام داده، بلکه چون ترتیب اقدامات آن با انتظاری که انسان از یک تصمیم منطقی دارد، همخوان نیست. همین‌جا یک پرسش مهم شکل می‌گیرد: چه عواملی در فاصله میان دستور کاربر و اقدام نهایی ایجنت قرار دارند؟

پیشنهاد مطالعه: آیا ایجنت‌های هوش مصنوعی تعاملات انسانی را بازتعریف می‌کنند؟

لایه‌های پنهان تصمیم‌گیری در رفتار ایجنت‌ها

ایجنت‌های هوش مصنوعی صرفاً مجری دستورهای از پیش تعیین‌شده نیستند. آن‌ها بر اساس مدل زبانی، دستورالعمل‌های سیستم، زمینه مکالمه، ابزارهای در دسترس، حافظه یا داده‌های ذخیره‌شده و قواعدی که برای اجرای وظایف تعریف شده‌اند، درباره گام بعدی تصمیم می‌گیرند. همین ترکیب چندلایه باعث می‌شود یک درخواست یکسان، در شرایط متفاوت الزاماً به یک مسیر اجرایی کاملاً مشابه منجر نشود.

این موضوع به معنی وجود یک «ذهن پنهان» یا اراده مستقل در ایجنت نیست. آنچه در عمل رخ می‌دهد، حاصل تعامل میان مدل، داده ورودی، دستورالعمل‌ها، ابزارها و محدودیت‌های فنی سیستم است. بنابراین، برای درک رفتار یک ایجنت باید به جای تمرکز صرف بر پاسخ نهایی، کل زنجیره اجرای وظیفه را بررسی کرد.

ریشه تصمیم‌ها کجا شکل می‌گیرد؟

پیش از تولید پاسخ یا اجرای یک اقدام، ایجنت باید درخواست را تفسیر کند و بر اساس زمینه موجود، مسیر مناسبی برای انجام کار پیدا کند. دستورهای سیستمی، الگوهای درخواست، زمینه مکالمه، ابزارهای متصل، حافظه و سیاست‌های اجرایی همگی می‌توانند بر این مسیر اثر بگذارند.

برای مثال، وقتی حجم زیادی از اطلاعات در اختیار سیستم قرار می‌گیرد، ممکن است بخشی از این اطلاعات خلاصه، فشرده یا از زمینه فعال خارج شود. در چنین شرایطی، ایجنت ممکن است تصمیمی متفاوت از زمانی بگیرد که تمام جزئیات در دسترس آن بوده است. این الزاماً یک خطای نرم‌افزاری نیست، اما نشان می‌دهد که طراحی زمینه و مدیریت اطلاعات تا چه اندازه برای عملکرد ایجنت اهمیت دارد.

خطاهای ناخواسته در زنجیره تصمیم‌گیری

فرض کنید ایجنتی قرار است فروش سه ماه اخیر یک فروشگاه اینترنتی را تحلیل کند. سیستم ابتدا داده‌ها را جمع‌آوری می‌کند، سپس الگوهای موجود را بررسی کرده و در نهایت گزارشی ارائه می‌دهد. اگر بخشی از داده‌ها ناقص، مبهم یا ناسازگار باشند، مدل ممکن است به جای توقف و درخواست اطلاعات بیشتر، بر اساس الگوهای موجود یک تفسیر احتمالی ارائه کند.

مشکل دقیقاً از همین‌جا آغاز می‌شود. یک پاسخ می‌تواند از نظر زبانی کاملاً روان و قانع‌کننده باشد، اما بخشی از آن بر پایه فرضی شکل گرفته باشد که در داده‌های واقعی وجود نداشته است. به همین دلیل، ایجنت‌های مورد استفاده در فرآیندهای حساس باید بتوانند در شرایط ابهام، عدم قطعیت را اعلام کنند و در صورت نیاز از کاربر یا سامانه منبع اطلاعاتی بیشتری بخواهند.

اعتماد یا توهم کنترل؟

سرعت و روان بودن خروجی ایجنت می‌تواند این تصور را ایجاد کند که سیستم دقیقاً همان مسیری را طی کرده که کاربر در ذهن داشته است. در حالی که خروجی نهایی حاصل مجموعه‌ای از پردازش‌ها و تصمیم‌های میانی است که همیشه برای کاربر قابل مشاهده نیستند.

بنابراین، اعتماد به ایجنت نباید فقط بر اساس چند پاسخ موفق شکل بگیرد. برای وظایف مهم، باید مشخص باشد که سیستم از چه داده‌هایی استفاده می‌کند، چه ابزارهایی در اختیار دارد، چه محدودیت‌هایی برای آن تعریف شده و در چه شرایطی اجازه اجرای خودکار یک اقدام را خواهد داشت. برای آشنایی بیشتر با راهکارهای عملی این حوزه می‌توانید مطالب مرتبط با خرید ایجنت هوش مصنوعی را نیز بررسی کنید.

اهمیت پایش پس از استقرار

یکی از اشتباهات رایج این است که پس از راه‌اندازی ایجنت، عملکرد آن ثابت فرض شود. در بسیاری از سامانه‌ها، تغییر داده‌های ورودی، به‌روزرسانی مدل، تغییر دستورهای سیستمی، تغییر ابزارهای متصل یا حتی تغییر فرآیند کسب‌وکار می‌تواند نتیجه خروجی را تغییر دهد.

البته این به معنی آن نیست که هر ایجنت با هر تعامل جدید، وزن‌های مدل خود را تغییر می‌دهد. در اغلب سامانه‌های عملی، رفتار سیستم بیشتر تحت تأثیر تغییر زمینه، حافظه، داده‌ها، تنظیمات و نسخه مدل قرار می‌گیرد. به همین دلیل، پایش دوره‌ای باید این متغیرها را نیز در نظر بگیرد.

شکاف میان عملکرد مستقل و مسئولیت حقوقی

زمانی که ایجنت از پاسخ‌گویی ساده عبور می‌کند و می‌تواند ایمیل ارسال کند، خرید انجام دهد، قرارداد را برای تأیید آماده کند یا یک فرآیند سازمانی را بدون دخالت مستقیم انسان پیش ببرد، مسئله مسئولیت جدی‌تر می‌شود. اگر تصمیمی اشتباه باعث خسارت شود، باید مشخص باشد چه کسی سیستم را طراحی کرده، چه کسی آن را پیکربندی کرده، چه اختیاراتی به آن داده شده و چه کنترل‌هایی برای جلوگیری از خطا در نظر گرفته شده است.

زنجیره مسئولیت در اکوسیستم ایجنت‌ها

مسئولیت در یک سامانه ایجنتی معمولاً به یک بازیگر واحد محدود نمی‌شود. توسعه‌دهنده مدل، سازنده نرم‌افزار، یکپارچه‌کننده سامانه، مدیر سازمان و کاربری که سطح دسترسی ایجنت را تعیین کرده است، ممکن است هرکدام بخشی از این زنجیره را تشکیل دهند.

خود ایجنت نیز در معنای حقوقی معمول، جایگزین یک شخص یا شرکت مسئول نمی‌شود. بنابراین سازمان‌ها نباید صرفاً به این دلیل که «سیستم خودش تصمیم گرفته»، مسئولیت انسانی و سازمانی را کنار بگذارند. تعیین حدود اختیار، ثبت اقدامات و مشخص کردن نقاط تأیید انسانی باید از ابتدا در معماری سیستم در نظر گرفته شود.

سناریوی واقعی‌نما؛ تصمیم خودکار در خرید سازمانی

فرض کنید ایجنتی در یک شرکت تولیدی وظیفه دارد سفارش مواد اولیه را بر اساس موجودی، سابقه مصرف و پیش‌بینی تقاضا پیشنهاد کند. اگر ناگهان قیمت جهانی مواد اولیه تغییر کند و داده‌های مورد استفاده ایجنت به‌روز نباشند، ممکن است سفارش پیشنهادی دیگر با شرایط واقعی بازار سازگار نباشد.

اگر این سیستم فقط پیشنهاددهنده باشد، مدیر می‌تواند تصمیم نهایی را بررسی کند. اما اگر ایجنت مستقیماً اجازه ثبت سفارش داشته باشد، همان خطای تحلیلی می‌تواند به یک خسارت واقعی تبدیل شود. تفاوت اصلی میان این دو وضعیت، فقط کیفیت مدل نیست؛ بلکه سطح اختیاری است که سازمان برای سیستم تعریف کرده است.

خلأهای مقرراتی و هزینه انتظار

چارچوب‌های حقوقی مربوط به استفاده از سامانه‌های هوش مصنوعی و ایجنت‌های خودکار در بسیاری از حوزه‌ها هنوز در حال توسعه هستند. با این حال، سازمان‌ها برای شروع استفاده از این فناوری الزاماً نباید منتظر یک قانون جامع بمانند. می‌توان از همین حالا مسئولیت‌ها، حدود دسترسی، فرآیند تأیید انسانی، نحوه ثبت رویدادها و شیوه رسیدگی به خطا را در قراردادها و سیاست‌های داخلی مشخص کرد.

بررسی این موضوعات و نمونه‌های کاربردی مرتبط را می‌توانید در مقالات هوش مصنوعی و ایجنت‌ها دنبال کنید.

قراردادها باید رفتار واقعی ایجنت را پوشش دهند

قرارداد میان سازمان و ارائه‌دهنده یک ایجنت نباید فقط درباره مدت پشتیبانی یا امکانات فنی صحبت کند. مواردی مانند سطح دسترسی، مالکیت داده، نحوه نگهداری لاگ‌ها، مسئولیت خطا، شرایط توقف سرویس، تغییر نسخه مدل و نحوه برخورد با رخدادهای امنیتی نیز باید مشخص باشند.

هرچه اختیارات ایجنت بیشتر باشد، اهمیت این موارد نیز افزایش پیدا می‌کند. یک ایجنتی که فقط گزارش تولید می‌کند با سامانه‌ای که امکان پرداخت، خرید یا تغییر اطلاعات مشتری را دارد، از نظر سطح ریسک یکسان نیست.

معمای شفافیت در اکوسیستم‌های تجاری

وقتی چند سازمان برای اجرای یک فرآیند مشترک از ایجنت‌های مختلف استفاده می‌کنند، پیدا کردن منشأ یک خطا دشوارتر می‌شود. ممکن است ایجنت اول داده‌ای را تولید کند، ایجنت دوم آن را تفسیر کند و سامانه سوم بر اساس نتیجه، یک اقدام عملی انجام دهد. اگر خروجی نهایی اشتباه باشد، بدون ثبت دقیق رویدادها مشخص نیست مشکل در کدام مرحله شکل گرفته است.

بار پنهان نظارت در ارتباطات بین‌سازمانی

ارتباط میان ایجنت‌ها نیازمند قراردادهای روشن برای داده و رفتار است. هر سیستم باید بداند چه اطلاعاتی را دریافت می‌کند، چه قالبی را معتبر می‌داند و در چه شرایطی باید درخواست را متوقف یا برای بررسی انسانی ارسال کند.

این مسئله در همکاری میان شرکت‌ها اهمیت بیشتری پیدا می‌کند؛ زیرا یک سازمان ممکن است به جزئیات داخلی ایجنت طرف مقابل دسترسی نداشته باشد. در نتیجه، گزارش رویدادها، قراردادهای رابط، شناسه درخواست‌ها و ثبت تغییرات نسخه می‌توانند بخش مهمی از زنجیره اعتماد را تشکیل دهند.

سناریوی عملیاتی؛ اختلال در زنجیره تأمین

فرض کنید یک شرکت تولیدکننده قطعات الکترونیکی سه ایجنت برای مدیریت سفارش مواد اولیه، پیش‌بینی تقاضا و انتخاب تأمین‌کننده دارد. ایجنت اول حجم خرید را محاسبه می‌کند، دومی قیمت‌های بازار را بررسی می‌کند و سومی اطلاعات تأمین‌کنندگان را تحلیل می‌کند.

اگر یکی از این سامانه‌ها بدون ثبت تغییرات، نسخه جدیدی دریافت کند و معیارهای ارزیابی آن تغییر کند، خروجی نهایی ممکن است با نتایج قبلی تفاوت چشمگیری داشته باشد. اگر نسخه مدل، داده ورودی، تنظیمات و تصمیم‌های هر مرحله ثبت نشده باشند، پیدا کردن علت تغییر دشوار خواهد بود.

چگونه قابل اعتماد بودن تصمیمات را اندازه‌گیری کنیم؟

سرعت پاسخ‌گویی یا درصد موفقیت در انجام وظایف به‌تنهایی معیار کافی برای ارزیابی یک ایجنت نیست. باید مشخص شود سیستم در چه شرایطی خطا می‌کند، در برابر داده ناقص چه واکنشی دارد، چند بار به مداخله انسانی نیاز پیدا می‌کند و آیا تصمیم‌های آن با سیاست‌های سازمان سازگار هستند یا خیر.

• نبود استاندارد واحد برای ثبت و مستندسازی فرآیندهای تصمیم‌گیری ایجنت‌ها

• دشواری تعیین سطح توضیح‌پذیری مورد نیاز برای هر نوع تصمیم

• تفاوت معیارهای ارزیابی میان تیم فنی، مدیریت و واحد کنترل کیفیت

• پیچیدگی رهگیری ایجنت‌هایی که از چند مدل، ابزار و سرویس مختلف استفاده می‌کنند

هزینه پنهان سیستم‌های غیرقابل‌ردیابی

ثبت ورودی و خروجی به‌تنهایی برای بررسی یک رخداد کافی نیست. در سامانه‌های حساس، بهتر است اطلاعاتی مانند نسخه مدل، ابزار استفاده‌شده، زمان اجرای عملیات، شناسه درخواست، سطح دسترسی و اقدام انجام‌شده نیز ثبت شود. این داده‌ها کمک می‌کنند تیم فنی بتواند مسیر وقوع خطا را بازسازی کند.

البته ثبت همه اطلاعات بدون توجه به حریم خصوصی و امنیت نیز راه‌حل مناسبی نیست. لاگ‌ها باید به اندازه کافی برای بررسی رخداد مفید باشند، اما اطلاعات حساس و شخصی باید مطابق سیاست‌های امنیتی و الزامات قانونی محافظت شوند.

تعادل میان بهره‌وری و قابلیت بررسی

هرچه یک سامانه ایجنتی پیچیده‌تر شود، بررسی عملکرد آن نیز دشوارتر می‌شود. راه‌حل لزوماً نمایش تمام جزئیات محاسبات داخلی مدل نیست؛ بلکه ایجاد قابلیت مشاهده مناسب در سطح سیستم است. سازمان باید بتواند بفهمد چه داده‌ای وارد شده، چه ابزارهایی فراخوانی شده، چه تصمیم عملیاتی گرفته شده و در نهایت چه اقدامی انجام شده است.

این رویکرد در بسیاری از کاربردها عملی‌تر از تلاش برای مشاهده یا ذخیره تمام فرآیندهای داخلی مدل است و امکان دیباگ و ممیزی را بدون وابستگی کامل به جزئیات درونی مدل فراهم می‌کند.

ضرورت بازنگری در نظارت و حکمرانی ایجنت‌ها

نظارت بر ایجنت‌ها نباید فقط به بررسی نتیجه نهایی محدود شود. اگر سیستم اجازه انجام اقدامات واقعی را داشته باشد، سازمان باید در نقاط حساس کنترل‌های مشخصی قرار دهد تا بتواند قبل از اجرای یک اقدام پرریسک، آن را متوقف یا برای تأیید انسانی ارسال کند.

این کنترل‌ها می‌توانند شامل محدودیت مبلغ، فهرست اقدامات مجاز، تأیید دومرحله‌ای برای عملیات حساس، محدودیت دسترسی به داده‌ها و امکان توقف فوری ایجنت باشند. به این ترتیب، خودکارسازی به معنی حذف کامل انسان از حلقه تصمیم‌گیری نخواهد بود.

گذار از نظارت واکنشی به نظارت پیش‌فعال

نظارت واکنشی زمانی آغاز می‌شود که مشکل رخ داده است. در مقابل، نظارت پیش‌فعال تلاش می‌کند نشانه‌های خطر را پیش از تبدیل شدن به حادثه شناسایی کند. افزایش غیرعادی نرخ خطا، تغییر ناگهانی در نوع درخواست‌ها، استفاده غیرمعمول از ابزارها یا افزایش تعداد اقداماتی که نیازمند مداخله انسانی هستند، می‌توانند به‌عنوان شاخص‌های هشدار استفاده شوند.

یکی از مهم‌ترین ابزارها در این مدل، «توقف امن» است. اگر ایجنت با شرایطی روبه‌رو شود که خارج از محدوده تعریف‌شده قرار دارد، بهتر است به جای حدس زدن یا اجرای خودکار، فرآیند را متوقف و تصمیم را به اپراتور انسانی منتقل کند.

توضیح‌پذیری در تصمیم‌های حساس

توضیح‌پذیری به این معنی نیست که سازمان باید همیشه به تمام فرآیندهای داخلی مدل دسترسی داشته باشد. در بسیاری از کاربردها، ثبت داده‌های مورد استفاده، سیاست اعمال‌شده، ابزارهای فراخوانی‌شده و دلایل عملیاتی تصمیم برای ممیزی کافی‌تر و کاربردی‌تر است.

در تصمیم‌های حساس، اگر ایجنت نتواند نتیجه‌ای را در چارچوب سیاست‌های تعریف‌شده توجیه کند یا داده کافی در اختیار نداشته باشد، باید امکان توقف یا ارجاع به انسان وجود داشته باشد. این سازوکار، مرز مناسبی میان خودکارسازی و کنترل انسانی ایجاد می‌کند.

بومی‌سازی چارچوب‌های حکمرانی

چارچوب‌های حکمرانی هوش مصنوعی در کشورهای مختلف ممکن است تفاوت‌هایی با یکدیگر داشته باشند و هر سازمان نیز باید الزامات صنعت، قوانین محل فعالیت و نوع داده‌های مورد استفاده خود را در نظر بگیرد. برای یک ایجنت تولیدکننده محتوا، ریسک‌های اصلی ممکن است با سامانه‌ای که در امور مالی، منابع انسانی یا خرید سازمانی فعالیت می‌کند، کاملاً متفاوت باشد.

به همین دلیل، حکمرانی ایجنت‌ها بهتر است بر اساس سطح ریسک و نوع کاربرد طراحی شود، نه صرفاً بر اساس یک مجموعه قواعد یکسان برای تمام سیستم‌ها. برای بررسی نمونه‌ها و راهکارهای کاربردی می‌توانید مقالات هوش مصنوعی و ایجنت‌ها را نیز دنبال کنید.

چالش نظارت بر ایجنت‌های خودکار و تطبیقی

تصور کنید ایجنتی مسئول تنظیم قیمت محصولات دیجیتال است و بر اساس داده‌های بازار، قیمت پیشنهادی ارائه می‌کند. اگر این سیستم به داده‌های جدید، ابزارهای خارجی یا سیاست‌های تغییرپذیر وابسته باشد، عملکرد آن می‌تواند در طول زمان تغییر کند؛ حتی اگر مدل اصلی ثابت مانده باشد.

به همین دلیل، سازمان باید تغییرات مدل، تنظیمات، منابع داده و ابزارهای متصل را ثبت کند و عملکرد سیستم را در برابر شاخص‌های مشخص به‌صورت دوره‌ای ارزیابی نماید. «خوداصلاح‌گری» واقعی در سطح مدل موضوعی تخصصی است و نباید با تغییر رفتار ناشی از تغییر داده یا زمینه اشتباه گرفته شود.

هزینه شفافیت در رقابت تجاری

شفافیت بیشتر همیشه به معنی انتشار تمام جزئیات فنی نیست. شرکت‌ها باید میان قابلیت ممیزی و حفاظت از اسرار تجاری تعادل برقرار کنند. می‌توان اطلاعات لازم برای بررسی یک تصمیم را در اختیار ناظر قرار داد، بدون اینکه جزئیات کامل معماری، داده‌های محرمانه یا روش‌های اختصاصی شرکت افشا شود.

• استقرار سامانه‌های پایش برای شناسایی تغییرات غیرعادی در عملکرد ایجنت

• تعریف آستانه‌های مشخص برای توقف یا ارجاع خودکار تصمیم‌های حساس به انسان

• مستندسازی سطح دسترسی، ابزارها، داده‌ها و مسئولیت‌های مرتبط با هر ایجنت

• ایجاد فرآیند مشترک میان تیم‌های فنی، حقوقی، امنیتی و کسب‌وکار

آینده ایجنت‌ها به اعتماد آگاهانه وابسته است؛ اعتمادی که نه از ظاهر روان خروجی، بلکه از قابلیت ارزیابی، کنترل و بازبینی سیستم به دست می‌آید. هرچه اختیار ایجنت بیشتر شود، اهمیت این لایه‌های نظارتی نیز افزایش پیدا می‌کند.

چه زمانی باید برای کنترل ایجنت اقدام کرد؟

یکی از پرسش‌های مهم مدیران این است که چه زمانی باید برای افزایش سطح نظارت اقدام کرد. پاسخ را نمی‌توان با یک عدد ثابت مانند سه ماه یا شصت روز برای همه سیستم‌ها مشخص کرد. مدت مناسب به نوع کاربرد، سطح دسترسی، میزان ریسک، حجم تعاملات، تغییرات داده و حساسیت تصمیم‌ها بستگی دارد.

یک ایجنت تولیدکننده متن که هیچ دسترسی به سامانه‌های عملیاتی ندارد، با ایجنتی که می‌تواند پرداخت انجام دهد یا اطلاعات مشتری را تغییر دهد، شرایط یکسانی ندارد. بنابراین سطح نظارت باید متناسب با اثر احتمالی خطای سیستم تعیین شود.

نشانه‌های هشدار برای شروع اقدام عملی

تغییر ناگهانی در نرخ خطا، افزایش درخواست‌های ارجاع‌شده به انسان، کاهش کیفیت خروجی، استفاده غیرعادی از ابزارها، افزایش موارد نقض سیاست‌های داخلی یا تغییر قابل توجه در داده‌های ورودی، می‌توانند نشانه‌هایی برای بازبینی سیستم باشند.

هیچ‌کدام از این شاخص‌ها به‌تنهایی ثابت نمی‌کنند که ایجنت دچار مشکل شده است؛ اما ترکیب چند علامت می‌تواند دلیل مناسبی برای بررسی دقیق‌تر باشد. مهم این است که سازمان پیش از رسیدن سیستم به یک نقطه بحرانی، معیارهای پایش را از قبل تعریف کرده باشد.

هزینه تأخیر در برابر شتاب‌زدگی نظارتی

اعمال محدودیت‌های بیش از حد می‌تواند بخش زیادی از مزیت خودکارسازی را از بین ببرد، اما واگذاری اختیار کامل به یک سیستم نیز ریسک غیرضروری ایجاد می‌کند. راهکار عملی، استفاده از کنترل‌های متناسب با سطح ریسک است؛ به‌گونه‌ای که اقدامات کم‌خطر خودکار باشند و عملیات حساس نیازمند تأیید یا امکان توقف انسانی باشند.

• تعیین آستانه‌های کمی برای افزایش یا کاهش سطح نظارت

• آزمایش ایجنت در محیط شبیه‌سازی‌شده پیش از استقرار کامل

• بازبینی دوره‌ای عملکرد با حضور متخصصان فنی و کسب‌وکار

• تعریف سازوکار توقف اضطراری و انتقال کنترل به اپراتور انسانی

یکی از خطرات مهم، عادی شدن خطاهای کوچک است. اگر تیم‌ها به مرور زمان به اشتباهات جزئی عادت کنند و آن‌ها را بخشی طبیعی از عملکرد سیستم بدانند، ممکن است یک الگوی مشکل‌دار دیر شناسایی شود. ثبت و بررسی همین خطاهای کوچک می‌تواند از تبدیل شدن آن‌ها به یک مسئله بزرگ‌تر جلوگیری کند.

جمع‌بندی و نتیجه‌گیری

مدیریت ایجنت‌های هوش مصنوعی فقط به انتخاب یک مدل قدرتمند یا نوشتن یک دستور خوب محدود نمی‌شود. هر ایجنت مجموعه‌ای از مدل، زمینه، داده، ابزار، حافظه، سیاست‌های اجرایی و سطح دسترسی است و رفتار نهایی آن از تعامل همین اجزا شکل می‌گیرد.

به همین دلیل، سازمان‌ها باید به جای انتظار برای وقوع یک بحران، از ابتدا سازوکارهای پایش، ثبت رویداد، محدودیت دسترسی، تأیید انسانی و توقف امن را در معماری سیستم قرار دهند. در مقابل، نظارت بیش از حد نیز می‌تواند مزیت خودکارسازی را کاهش دهد. راهکار مناسب، ایجاد تعادلی متناسب با سطح ریسک و اختیار ایجنت است.

در نهایت، مسئله اصلی آینده ایجنت‌ها این نیست که آیا می‌توانند مستقل‌تر عمل کنند یا نه؛ بلکه این است که چگونه می‌توان این استقلال را در محدوده‌ای قابل کنترل، قابل ممیزی و قابل اعتماد نگه داشت. هرچه ایجنت‌ها وارد فرآیندهای مهم‌تر سازمانی شوند، پاسخ به همین پرسش اهمیت بیشتری پیدا خواهد کرد.