ایمنی
با مجموعه‌ها، منظم بمانید
ذخیره و طبقه‌بندی محتوا براساس اولویت‌های شما.
ایمنی هوش مصنوعی شامل مجموعه‌ای از تکنیک‌های طراحی و عملیاتی است که باید دنبال کرد تا از اقداماتی که می‌توانند به‌طور عمدی یا غیرعمدی آسیب وارد کنند، اجتناب شود و شامل آن شود. به عنوان مثال، آیا سیستم‌های هوش مصنوعی، حتی در مواجهه با نقض امنیت یا حمله هدفمند، آنطور که در نظر گرفته شده است، رفتار می‌کنند؟ آیا سیستم هوش مصنوعی به اندازه‌ای قوی است که حتی در هنگام آشفتگی، ایمن عمل کند؟ چگونه از قبل برای پیشگیری یا اجتناب از خطرات برنامه ریزی می کنید؟ آیا سیستم هوش مصنوعی تحت فشار قابل اعتماد و پایدار است؟
یکی از این تکنیک‌های ایمنی، تست خصومت‌آمیز یا تمرین تلاش برای "شکستن" برنامه خود برای یادگیری نحوه رفتار آن در صورت ارائه ورودی مخرب یا سهوا مضر است. جعبه ابزار هوش مصنوعی مولد مسئولیت پذیر بیشتر در مورد ارزیابی های ایمنی، از جمله تست های خصمانه توضیح می دهد. درباره کار Google در این زمینه و درس‌های آموخته‌شده در پست وبلاگ کلیدواژه، تیم قرمز هوش مصنوعی Google: هکرهای اخلاقی که هوش مصنوعی را ایمن‌تر می‌کنند یا در SAIF: Google's Guide to Secure AI بیشتر بیاموزید.
جز در مواردی که غیر از این ذکر شده باشد،محتوای این صفحه تحت مجوز Creative Commons Attribution 4.0 License است. نمونه کدها نیز دارای مجوز Apache 2.0 License است. برای اطلاع از جزئیات، به خطمشیهای سایت Google Developers مراجعه کنید. جاوا علامت تجاری ثبتشده Oracle و/یا شرکتهای وابسته به آن است.
تاریخ آخرین بهروزرسانی 2025-07-29 بهوقت ساعت هماهنگ جهانی.
[null,null,["تاریخ آخرین بهروزرسانی 2025-07-29 بهوقت ساعت هماهنگ جهانی."],[[["\u003cp\u003eAI safety encompasses design and operational techniques to prevent harm, ensuring AI systems behave as intended, even under pressure or attack.\u003c/p\u003e\n"],["\u003cp\u003eAdversarial testing is a key safety technique where AI systems are intentionally challenged with malicious or harmful input to assess their robustness.\u003c/p\u003e\n"],["\u003cp\u003eGoogle's Responsible AI Practices provide recommendations for protecting AI systems, including methods for adversarial testing and safeguarding against attacks.\u003c/p\u003e\n"]]],[],null,["# Safety\n\n\u003cbr /\u003e\n\nAI **safety** includes a set of design and operational techniques to follow to\navoid and contain actions that can cause harm, intentionally or unintentionally.\nFor example, do AI systems behave as intended, even in the face of a security\nbreach or targeted attack? Is the AI system robust enough to operate safely\neven when perturbed? How do you plan ahead to prevent or avoid risks? Is the AI\nsystem reliable and stable under pressure?\n\nOne such safety technique is [adversarial testing](/machine-learning/guides/adv-testing),\nor the practice of trying to \"break\" your own application to learn how it\nbehaves when provided with malicious or inadvertently harmful input. The\n[Responsible Generative AI Toolkit](https://ai.google.dev/responsible/docs/evaluation)\nexplains more about safety evaluations, including adversarial testing. Learn\nmore about Google's work in this area and lessons\nlearned in the Keyword blog post, [Google's AI Red Team: the ethical hackers\nmaking AI\nsafer](https://blog.google/technology/safety-security/googles-ai-red-team-the-ethical-hackers-making-ai-safer/)\nor at [SAIF: Google's Guide to Secure AI](https://saif.google/)."]]
