چهار غول هوش مصنوعی از استانداردی مشترک حمایت کردند که به مدیران سایتها اجازه میدهد با استفاده از فایل robots.txt، مانع استفاده از محتوای خود برای آموزش مدلهای هوش مصنوعی شوند.
توافق چهار غول هوش مصنوعی برای جلوگیری از استفاده از محتوای سایتها در آموزش AI
چهار شرکت بزرگ دنیای هوش مصنوعی، یعنی OpenAI، Google، Microsoft و Anthropic، از یک سازوکار مشترک برای اعلام مخالفت وبسایتها با استفاده از محتوایشان در آموزش مدلهای هوش مصنوعی حمایت کردهاند.
این تغییر میتواند کار مدیران وبسایتها را برای مدیریت دسترسی شرکتهای هوش مصنوعی به محتوای سایت سادهتر کند.
ماجرا از چه قراره؟
تا پیش از این، مدیران سایتها برای جلوگیری از استفاده محتوای خود در آموزش مدلهای هوش مصنوعی، باید قوانین جداگانهای برای خزندهها و ابزارهای مختلف هر شرکت تعریف میکردند.
اما حالا پیشنهاد جدیدی مطرح شده که به وبسایتها اجازه میدهد با استفاده از یک دستور مشترک در فایل robots.txt اعلام کنند که اجازه استفاده از محتوایشان برای آموزش هوش مصنوعی را نمیدهند.
برای این کار کافی است کد زیر را به فایل robots.txt سایت اضافه کنند:
با اضافه کردن این دو خط، مدیر سایت اعلام میکند که با استفاده از محتوای تمام صفحات سایت برای آموزش مدلهای هوش مصنوعی موافق نیست.
آیا با این کار سایت از نتایج جستوجو حذف میشود؟
نکته مهم اینجاست که این دستور به معنی ممنوعیت خزیدن (Crawling) یا ایندکس شدن صفحات سایت نیست!
در واقع، هدف این سازوکار تفکیک دو موضوع متفاوت است:
بنابراین، یک وبسایت میتواند با آموزش مدلهای هوش مصنوعی از محتوایش مخالفت کند، اما همچنان تمایل داشته باشد در نتایج جستوجو یا پاسخهای مبتنی بر جستوجوی هوش مصنوعی نمایش داده شود.
آیا این قانون از همین الان اجرایی شده؟
نکتهای که باید به آن توجه کرد این است که این سازوکار در قالب یک پیشنویس استاندارد اینترنتی (IETF Internet-Draft) مطرح شده و اجرای آن توسط شرکتها بهصورت مرحلهای انجام میشود. گوگل پشتیبانی از آن را برای سال ۲۰۲۷ هدفگذاری کرده و مایکروسافت نیز تاریخ اول فوریه ۲۰۲۷ را برای آغاز اجرای آن اعلام کرده است.
البته یک نکته مهم وجود دارد: فایل robots.txt بیشتر یک درخواست و اعلام ترجیح به خزندههاست و بهتنهایی تضمین فنی یا حقوقی برای جلوگیری از استفاده غیرمجاز از محتوا محسوب نمیشود.
در نهایت، این تغییر برای سایتهای ایرانی هم کاربرد دارد؟
از نظر فنی، بله! هر وبسایتی میتواند از این سازوکار استفاده کند؛ اما میزان تأثیرگذاری آن به این بستگی دارد که شرکتهای هوش مصنوعی تا چه اندازه به این دستور پایبند باشند.
البته شاید برای بعضی از سایتهای ایرانی چندان کاربردی نباشد؛ چون بخش قابلتوجهی از محتوای وب فارسی خودش بازنشر یا کپی محتوای سایتهای دیگر است!
توافق چهار غول هوش مصنوعی برای جلوگیری از استفاده از محتوای سایتها در آموزش AI
چهار شرکت بزرگ دنیای هوش مصنوعی، یعنی OpenAI، Google، Microsoft و Anthropic، از یک سازوکار مشترک برای اعلام مخالفت وبسایتها با استفاده از محتوایشان در آموزش مدلهای هوش مصنوعی حمایت کردهاند.
این تغییر میتواند کار مدیران وبسایتها را برای مدیریت دسترسی شرکتهای هوش مصنوعی به محتوای سایت سادهتر کند.
ماجرا از چه قراره؟
تا پیش از این، مدیران سایتها برای جلوگیری از استفاده محتوای خود در آموزش مدلهای هوش مصنوعی، باید قوانین جداگانهای برای خزندهها و ابزارهای مختلف هر شرکت تعریف میکردند.
اما حالا پیشنهاد جدیدی مطرح شده که به وبسایتها اجازه میدهد با استفاده از یک دستور مشترک در فایل robots.txt اعلام کنند که اجازه استفاده از محتوایشان برای آموزش هوش مصنوعی را نمیدهند.
برای این کار کافی است کد زیر را به فایل robots.txt سایت اضافه کنند:
کد:
User-Agent: __usage_ai-training Disallow: /
با اضافه کردن این دو خط، مدیر سایت اعلام میکند که با استفاده از محتوای تمام صفحات سایت برای آموزش مدلهای هوش مصنوعی موافق نیست.
آیا با این کار سایت از نتایج جستوجو حذف میشود؟
نکته مهم اینجاست که این دستور به معنی ممنوعیت خزیدن (Crawling) یا ایندکس شدن صفحات سایت نیست!
در واقع، هدف این سازوکار تفکیک دو موضوع متفاوت است:
- استفاده از محتوای سایت برای آموزش مدلهای هوش مصنوعی (AI Training)
- دسترسی خزندهها به صفحات سایت برای جستوجو و نمایش محتوا (Crawling)
بنابراین، یک وبسایت میتواند با آموزش مدلهای هوش مصنوعی از محتوایش مخالفت کند، اما همچنان تمایل داشته باشد در نتایج جستوجو یا پاسخهای مبتنی بر جستوجوی هوش مصنوعی نمایش داده شود.
آیا این قانون از همین الان اجرایی شده؟
نکتهای که باید به آن توجه کرد این است که این سازوکار در قالب یک پیشنویس استاندارد اینترنتی (IETF Internet-Draft) مطرح شده و اجرای آن توسط شرکتها بهصورت مرحلهای انجام میشود. گوگل پشتیبانی از آن را برای سال ۲۰۲۷ هدفگذاری کرده و مایکروسافت نیز تاریخ اول فوریه ۲۰۲۷ را برای آغاز اجرای آن اعلام کرده است.
البته یک نکته مهم وجود دارد: فایل robots.txt بیشتر یک درخواست و اعلام ترجیح به خزندههاست و بهتنهایی تضمین فنی یا حقوقی برای جلوگیری از استفاده غیرمجاز از محتوا محسوب نمیشود.
در نهایت، این تغییر برای سایتهای ایرانی هم کاربرد دارد؟
از نظر فنی، بله! هر وبسایتی میتواند از این سازوکار استفاده کند؛ اما میزان تأثیرگذاری آن به این بستگی دارد که شرکتهای هوش مصنوعی تا چه اندازه به این دستور پایبند باشند.
البته شاید برای بعضی از سایتهای ایرانی چندان کاربردی نباشد؛ چون بخش قابلتوجهی از محتوای وب فارسی خودش بازنشر یا کپی محتوای سایتهای دیگر است!



