گوگل بهطور واضح اعلام کرد که برای دیده شدن سایت شما در نتایج جستجو و بخشهای هوش مصنوعی، اصلاً نیازی به ساختن فایلهای متنی خاص، کدهای مخصوص ماشین یا فایلهای مارکداون (مثل همین llms.txt) نیست؛ چرا که برای موفقیت در این بخش باید اصول اصلی راهنمای سئو برای AI Overview را رعایت کنید، چون سیستم جستجوی گوگل اصلاً کاری با این فایلها ندارد و از آنها استفاده نمیکند.
تکلیف شما برای ساخت این فایل کاملاً مشخص است:
- سایتهای معمولی (فروشگاهی، خبری، شرکتی): اصلاً نیازی به ساخت این فایل ندارید و نداشتن آن هیچ ضرری به سئوی شما نمیزند؛ پس وقت خود را روی محتوا و سئوی فنی بگذارید.
- سایتهای فنی (مستندات API و ابزارهای برنامهنویسی): ساختن آن مفید است، زیرا به ایجنتهای هوش مصنوعیِ کدنویسی کمک میکند ساختار محتوای شما را راحتتر درک کنند.
LLMs.txt اصلاً چیست؟
فایل llms.txt یک فایل متنی ساده با فرمت Markdown است که درست مثل فایل معروف robots.txt در پوشه اصلی (root) سایت قرار میگیرد.
هدف از ساختن این فایل این است که یک خلاصه و نقشه راه راحت از محتوای سایت را در اختیار هوش مصنوعیها (مثل ChatGPT، کلود و جمینای) بگذارد تا آنها بتوانند خیلی سریعتر و راحتتر بفهمند سایت شما درباره چیست.
این ایده اول بار در شهریور ۱۴۰۳ (سپتامبر ۲۰۲۴) توسط یک محقق هوش مصنوعی به نام «جرمی هاوارد» مطرح شد. بعد از آن، خیلی از سایتهای فنی و بزرگ مثل شرکت آنتروپیک (سازنده کلود) و ابزار کدنویسی کرسر (Cursor) شروع به استفاده از آن کردند. اما نکته اصلی اینجاست: هیچکدام از شرکتهای بزرگ هوش مصنوعی هنوز به طور رسمی قول ندادهاند که حتماً از این فایل استفاده میکنند.
وقتی Lighthouse (لایت هاوس) حرف گوگل را نقض میکند: شروع یک سرگیجه جدید
درست در همان زمان، ابزار لایت هاوس گوگل (نسخه ۱۳.۳) یک بخش جدید به نام «مرور مبتنی بر ایجنت» را فعال کرد. این ویژگی جدید بررسی میکند که آیا سایت شما فایل llms.txt دارد یا خیر. این همزمانی باعث شد خیلیها فکر کنند گوگل دارد پنهانی از این فایل برای رتبهبندی سایتها استفاده میکند، در حالی که در ظاهر خلاف آن را میگفت.
اما نکته اصلی اینجاست: ابزار لایت هاوس اصلاً کاری به رتبهبندی سایت در گوگل ندارد. این ابزار فقط بررسی میکند که صفحه شما چقدر برای کار کردن با «ایجنتها یا دستیارهای هوش مصنوعی» آماده است. به زبان ساده، آماده بودن سایت برای هوش مصنوعی، یک موضوع کاملاً جدا از گرفتن رتبه بهتر در نتایج جستجوی گوگل است.
شفافسازی رسمی گوگل
یک ماه بعد، گوگل بخش جدیدی را برای پاسخ به سوالات به مستندات خود اضافه کرد تا به شایعات و اطلاعات اشتباهی که پخش شده بود پایان دهد.
جمله دقیق گوگل این بود:
«شما نیازی به ساخت فایلهای متنی هوش مصنوعی یا فایلهای مارکداون برای دیدهشدن در جستوجوی گوگل و بخش هوش مصنوعی آن ندارید، چون خودِ جستوجوی گوگل اصلاً از اینها استفاده نمیکند.»
گوگل برای کسانی که دوست دارند این فایل را داشته باشند هم گفت:
«اگر تصمیم دارید فایل llms.txt را برای سرویسها و سیستمهای دیگر بسازید، هیچ اشکالی ندارد؛ اما این کار به دیدهشدن یا رتبه شما در گوگل هیچ سود یا زیانی نمیرساند، چون گوگل کلاً آن را نادیده میگیرد.»
در واقع، گوگل قانون جدیدی نگذاشت؛ چون هیچوقت از این فایل برای رتبهبندی استفاده نکرده بود. این بهروزرسانی صرفاً برای این بود که برداشت غلط برخی افراد را اصلاح کند که این فایل را به عنوان یک «بایدِ اجباری» برای سئو معرفی میکردند.
جالب اینجاست که چند روز بعد، گوگل لحن خودش را کمی نرمتر کرد. طبق گزارش رسانههای معتبر سئو، گوگل این راهنما را بهروزرسانی کرد تا آن لحن تند و قاطع قبلی را ملایمتر کند.
با این تغییر، گوگل بهطور واضح مشخص کرد که وقتی میگوید «به این فایلها نیازی نیست»، منظورش فقط و فقط «سیستم جستجوی گوگل و بخش هوش مصنوعیِ گوگل» است، نه کل ابزارها و سیستمهای هوش مصنوعی دنیا.
حتی وقتی از «جان مولر» (یکی از مدیران سرشناس گوگل) پرسیدند که چرا روی بعضی از سایتهای خودِ گوگل این فایل وجود دارد و آیا این نشانهی تایید آن است؟ خیلی ساده جواب داد: «نه، ربطی ندارد.»
فایل LLMs.txt در یک نگاه: از شایعه تا واقعیت گوگل
این جدول به خوبی نشان میدهد که کل این جنجال، حاصل یک سوءتفاهم بزرگ است. در واقع جستجوی گوگل کلاً این فایل را نادیده میگیرد و هیچ پاداش یا جریمهای برای سئو ندارد؛ اما ابزارهای دیگر گوگل (مثل لایت هاوس) آن را صرفاً برای ارزیابی آمادگی سایت در مواجهه با دستیارهای هوشمند بررسی میکنند. به زبان ساده، این فایل برای سئو بیفایده است، اما برای تعامل با ابزارهای هوش مصنوعیِ غیر گوگلی میتواند کاربردی باشد.
| موضوع / بخش | موضع و رفتار گوگل | نتیجهگیری به زبان ساده |
|---|---|---|
| هسته جستجوی گوگل (Search) | این فایل را کاملاً نادیده میگیرد و هیچ اثری روی رتبه سئو ندارد. | برای رتبه گرفتن در گوگل نیازی به این فایل ندارید. |
| بخش هوش مصنوعی گوگل (AI Overviews) | برای حضور در پاسخهای هوش مصنوعی گوگل، نیازی به این فایل نیست. | گوگل خودِ صفحات وب را میخواند، نه این فایل خلاصه را. |
| ابزار لایت هاوس (Lighthouse v13.3) | در بخش «مرور مبتنی بر ایجنت» وجود این فایل را چک میکند. | لایت هاوس رتبه سئو را نمیسنجد؛ فقط آمادگی سایت برای رباتها را چک میکند. |
| سایر ابزارهای هوش مصنوعی (غیر گوگل) | گوگل لحن خود را ملایم کرد تا بگوید این فایل ممکن است برای بقیه هوش مصنوعیها مفید باشد. | اگر مخاطب شما دستیارهای هوشمند (مثل ابزارهای کدنویسی) هستند، ساخت آن مفید است. |
| وجود فایل در سایتهای خودِ گوگل | جان مولر اعلام کرد وجود این فایل روی برخی سایتهای گوگل به معنی تأیید رسمی آن نیست. | یک اقدام داخلی توسط برخی تیمهای گوگل بوده و ارزش سئویی ندارد. |