Guide

llms.txt, robots.txt e crawler AI: cosa serve davvero

Un file non rende automaticamente un sito visibile nelle risposte AI. Occorre distinguere ricerca, addestramento, azioni richieste dagli utenti, annunci e accesso tecnico prima di decidere cosa consentire o bloccare.

In breve

robots.txt governa il crawling dei bot che lo rispettano; noindex controlla l’indicizzazione quando il crawler può leggere la pagina; sitemap.xml aiuta la scoperta; llms.txt è una proposta facoltativa e Google dichiara di non usarla per Search o funzioni AI. OpenAI separa OAI-SearchBot, GPTBot, ChatGPT-User e OAI-AdsBot: vanno configurati in base all’obiettivo, non tutti allo stesso modo.

Gian Luca Partengo
Sviluppatore web dal 1995 · siti su misura · Aggiornato 5 agosto 2026

Non esiste un interruttore unico chiamato “visibilità AI”

La decisione corretta nasce da quattro domande separate. Saltarne una produce configurazioni contraddittorie.

01Vuoi comparire nei risultati e nelle citazioni?
02Vuoi escludere il contenuto dall’addestramento?
03Vuoi consentire azioni richieste da una persona?
04La pagina è davvero raggiungibile oltre robots.txt?

Ricerca, training, azioni e accesso infrastrutturale sono livelli distinti. La stessa risposta non vale automaticamente per tutti.

robots.txt, noindex, sitemap, schema, llms.txt e WAF non fanno lo stesso lavoro

I nomi vengono spesso mescolati, ma ciascun livello risponde a una domanda differente.

Strumento	A cosa serve	Cosa non garantisce	Quando usarlo
robots.txt	Dichiara quali percorsi un crawler conforme può richiedere.	Non è un controllo di accesso e non impedisce sempre che un URL venga conosciuto.	Gestire crawling e scopi distinti per user-agent.
noindex	Chiede ai motori di non mostrare una risorsa nei risultati.	Deve essere letto: se la pagina è bloccata al crawler, la regola può non essere vista.	Escludere pagine pubblicamente raggiungibili dall’indice.
sitemap.xml	Elenca URL canonici e date utili alla scoperta e al ricrawl.	Non forza scansione, indicizzazione, ranking o citazione.	Segnalare in modo coerente le pagine che contano.
Dati strutturati	Descrivono entità e proprietà in un vocabolario machine-readable.	Non concedono accesso e non esiste uno schema speciale che garantisca visibilità AI.	Esplicitare informazioni già presenti e coerenti nel contenuto.
llms.txt	Propone un indice Markdown curato per strumenti e modelli al momento dell’uso.	Non è una direttiva di crawling, un ranking factor o uno standard adottato universalmente.	Contesti documentali complessi, se esiste un consumatore reale e manutenzione.
WAF, CDN e autenticazione	Consentono o negano tecnicamente una richiesta e proteggono risorse private.	Una regola troppo aggressiva può bloccare anche crawler legittimi.	Sicurezza, rate limit, verifica dei bot e protezione effettiva.

Una configurazione professionale coordina questi livelli: non sceglie un file da usare al posto degli altri.

llms.txt è una proposta utile in alcuni contesti, non il nuovo robots.txt

La specifica pubblicata da Jeremy Howard nel 2024 propone un file Markdown alla radice del sito con sintesi, istruzioni e collegamenti selezionati.

L’idea nasce da un problema reale: pagine complesse, navigazioni, script e grandi quantità di documentazione sono difficili da condensare dentro il contesto di un modello. Un indice breve può indicare le risorse più autorevoli e le relative versioni Markdown.

Il file può essere sensato per documentazione tecnica, API, università o knowledge base in cui utenti e strumenti sanno esplicitamente di doverlo leggere. Può anche diventare un artefatto interno per testare come un assistente recupera informazioni curate.

Non autorizza né vieta l’accesso. Non sostituisce robots.txt, sitemap, canonical, dati strutturati, HTML leggibile o contenuti completi. Soprattutto, la sola presenza del file non dimostra che un determinato motore lo consumi.

Aggiungerlo costa poco; mantenerlo corretto costa attenzione. Un indice vecchio o in conflitto con il sito crea un’altra fonte di ambiguità.

2024

Proposta aperta

La pagina ufficiale la presenta come proposta di standardizzazione, non come protocollo web universale.

OPT

Implementazione facoltativa

Ha valore soltanto se descrive fonti vere, stabili e mantenute e se il sistema destinatario lo usa.

0

Vantaggio dichiarato su Google

Google afferma che Search ignora llms.txt: non aiuta e non penalizza ranking o funzioni generative.

La mia posizione pratica

Non lo vendo come scorciatoia SEO o GEO. Lo valuto come livello documentale opzionale dopo aver sistemato contenuti, HTML, linking, sitemap, metadata, accessibilità e accesso dei crawler realmente pertinenti.

Per Google Search e AI Mode conta ancora Googlebot, non llms.txt

La documentazione Google è esplicita: per AI Overviews e AI Mode valgono requisiti e controlli della ricerca tradizionale.

Indicazione ufficiale

La SEO tecnica resta la base della visibilità generativa

Per essere idonea alle funzioni AI di Google, una pagina deve essere indicizzata, poter comparire con uno snippet e rispettare i normali requisiti di Search. Non servono file AI o markup speciali.

Google usa Googlebot per il crawling della ricerca. Google-Extended è invece un token separato per gestire alcuni usi di training e grounding di Gemini e non influenza inclusione o ranking in Google Search.

Googlebot

Gestisce l’accesso ai contenuti per Search, comprese le funzionalità generative integrate nella ricerca.

Snippet idoneo

nosnippet, data-nosnippet e max-snippet controllano quanta parte della pagina può essere mostrata o usata direttamente nelle funzioni AI di Search.

Google-Extended

Consente di esprimere una scelta su training e grounding di alcuni prodotti Gemini senza uscire da Google Search.

Nessuna garanzia

Crawlability, indicizzazione e conformità rendono una pagina idonea; non garantiscono scansione, ranking, citazione o traffico.

Per contenuti citabili, autorevolezza e struttura editoriale consulta anche come apparire su ChatGPT e nelle AI.

OpenAI usa crawler differenti perché gli scopi sono differenti

La distinzione consente, per esempio, di partecipare alla ricerca ChatGPT e contemporaneamente indicare che i contenuti non siano usati per addestrare i modelli fondamentali.

OAI-SearchBot

Ricerca e citazioni

Serve a mostrare siti nei risultati delle funzioni Search di ChatGPT. Se viene escluso, il sito non entra nelle risposte di ricerca, pur potendo apparire come semplice collegamento navigazionale.

GPTBot

Potenziale addestramento

Scansiona contenuti che possono essere usati per rendere più utili e sicuri i modelli generativi fondamentali. Può essere bloccato indipendentemente da OAI-SearchBot.

ChatGPT-User

Azione richiesta dall’utente

Può visitare una pagina quando una persona o un GPT personalizzato lo richiede. Non esegue crawling automatico e, trattandosi di un’azione dell’utente, robots.txt può non applicarsi.

OAI-AdsBot

Validazione degli annunci

Visita le landing page presentate come destinazioni pubblicitarie, ne verifica la sicurezza e può valutarne la pertinenza. I dati raccolti non vengono usati per addestrare i modelli fondamentali.

robots.txt non è noindex e nessuno dei due rende privata una pagina

Prima si definisce il risultato desiderato, poi si sceglie il controllo capace di produrlo.

Obiettivo	Controllo	Effetto atteso	Attenzione
Ridurre o vietare il crawling	Disallow in robots.txt per user-agent e percorso.	Il crawler conforme non richiede il contenuto vietato.	L’URL può essere scoperto altrove e il protocollo non protegge da bot non conformi.
Non comparire nei risultati	meta robots noindex o X-Robots-Tag.	Il motore rimuove o non mostra la risorsa dopo aver letto la regola.	Non bloccare contemporaneamente il crawler che deve leggere noindex.
Limitare estratti e input diretti	nosnippet, data-nosnippet o max-snippet dove supportati.	Riduce o esclude parti utilizzabili nella presentazione del risultato.	Il supporto e l’effetto sono specifici del motore e possono ridurre la visibilità.
Rendere il contenuto realmente privato	Autenticazione, autorizzazione e controllo server-side.	La risorsa non viene consegnata senza credenziali valide.	robots.txt è pubblico e non deve mai contenere percorsi segreti confidando che restino nascosti.

L’errore più pericoloso

Mettere Disallow e noindex sulla stessa pagina pensando di rafforzare il blocco: il crawler non entra e quindi può non leggere il noindex. Per informazioni riservate la soluzione resta non pubblicarle senza autenticazione.

Quattro configurazioni di partenza, da adattare al sito reale

Sono esempi leggibili, non frammenti da copiare alla cieca: precedenze, gruppi esistenti, CDN e obiettivi del progetto vanno verificati.

robots.txt

Ricerca aperta, training escluso

Consente OAI-SearchBot, esclude GPTBot e Google-Extended e segnala la sitemap. Googlebot resta consentito in assenza di un divieto applicabile.

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://example.com/sitemap.xml

HTML

Pagina raggiungibile ma fuori dall’indice

Il crawler deve poter ricevere l’HTML e leggere la direttiva. Per file non HTML si può usare X-Robots-Tag nella risposta HTTP.

<meta name="robots" content="noindex">

HTML

Anteprima controllata, non azzerata

Limita la lunghezza testuale e consente un’anteprima immagine ampia. È un compromesso editoriale da testare, non un miglioramento automatico.

<meta name="robots" content="max-snippet:160, max-image-preview:large">

robots.txt

Landing page raggiungibile per ChatGPT Ads

Consente i crawler pertinenti sul percorso pubblicitario. La pagina deve comunque superare firewall, CAPTCHA, geoblocchi, autenticazione e rate limit.

User-agent: OAI-AdsBot
Allow: /landing-page/

User-agent: OAI-SearchBot
Allow: /landing-page/

Controllare ricerca, snippet, training e segnali emergenti senza confonderli

Ogni piattaforma documenta controlli propri. Una scelta editoriale sensata valuta vantaggio di visibilità, riuso del contenuto e conseguenze commerciali.

nosnippet

Per Google impedisce lo snippet e l’uso del contenuto come input diretto per AI Overviews e AI Mode. Può quindi ridurre in modo sostanziale la presenza ottenibile.

max-snippet

Limita il numero di caratteri dell’estratto. Non indica quale passaggio scegliere e non è un controllo universale per tutte le AI.

data-nosnippet

Esclude porzioni specifiche dalla presentazione Google lasciando il resto della pagina disponibile, utile per elementi sensibili ma non privati.

Google-Extended e GPTBot

Esprimono preferenze sul potenziale uso per addestramento o grounding senza obbligare a rinunciare rispettivamente a Google Search o ChatGPT Search.

Standard in evoluzione

I Content Signals non sono ancora un lucchetto universale

Cloudflare propone direttive come search, ai-input e ai-train per esprimere finalità consentite. Possono aggiungere chiarezza contrattuale o operativa nel relativo ecosistema.

La stessa Cloudflare precisa che i segnali esprimono preferenze e non costituiscono enforcement tecnico: un crawler può ignorarli. Vanno trattati come livello emergente, non come sostituto di accesso server-side e accordi applicabili.

Un crawler può essere consentito in robots.txt e bloccato comunque

Il percorso reale attraversa DNS, rete, CDN, firewall, applicazione e rendering. Basta un solo livello incoerente per restituire una pagina vuota o un errore.

01

WAF e bot management

Regole anti-bot possono classificare una richiesta legittima come automazione ostile e restituire 403.

02

CAPTCHA e challenge JavaScript

Un browser umano supera la verifica; un crawler può ricevere soltanto la pagina di sfida.

03

Rate limit

Soglie troppo rigide o picchi di scansione producono 429 e interrompono il recupero delle risorse.

04

Geoblocchi e IP

La pagina funziona dall’Italia ma non dalle reti pubblicate dal provider del crawler.

05

Redirect e autenticazione

Catene, login, deep link o destinazioni condizionali impediscono di raggiungere il contenuto finale.

06

HTML dipendente dagli script

La risposta iniziale contiene poco contenuto e richiede esecuzione, interazioni o API che il crawler non completa.

Allow non significa accesso riuscito

La verifica deve osservare stato HTTP, redirect, HTML ricevuto, risorse, log di sicurezza e IP ufficiali. Fidarsi del solo user-agent è rischioso perché può essere falsificato.

Come verificare cosa può leggere davvero un motore o un’AI

Un controllo serio produce evidenze ripetibili e separa il comportamento dichiarato dal comportamento osservato.

01
Apri robots.txt
Controlla risposta 200, formato testuale, gruppi, percorsi, sitemap e regole generate automaticamente.
02
Testa gli URL canonici
Verifica homepage, pagine di servizio, guide, schede prodotto e landing, non soltanto un indirizzo campione.
03
Leggi header e redirect
Registra stato HTTP, Location, content-type, X-Robots-Tag, canonical e destinazione finale.
04
Ispeziona l’HTML iniziale
Titolo, contenuto principale, link e dati essenziali devono esistere senza dipendere da un’interazione umana.
05
Controlla i log
Cerca richieste, frequenza, status, URL, tempi e blocchi WAF associati ai crawler interessati.
06
Verifica l’identità del bot
Confronta IP o procedure ufficiali del provider: la stringa user-agent da sola può essere copiata da chiunque.
07
Usa gli strumenti del motore
Search Console e URL Inspection aiutano a capire cosa riceve Google e quali direttive riconosce.
08
Monitora risultati e referral
Osserva citazioni, traffico con utm_source=chatgpt.com, pagine di ingresso e conversioni senza attribuire causalità a llms.txt.

Nessun file speciale sostituisce un sito comprensibile

I crawler possono raggiungere la pagina; poi devono ancora trovarvi informazioni utili, coerenti, verificabili e collegate.

La gerarchia corretta

Prima il documento web, poi gli indici accessori

Un buon sito espone nel suo HTML contenuti completi, titoli descrittivi, sezioni ordinate, link reali, entità coerenti, date e responsabilità editoriale. Sitemap e dati strutturati rafforzano questa base.

llms.txt può indicare le risorse più importanti, ma se quelle risorse sono generiche, contraddittorie o invisibili senza JavaScript non crea autorevolezza né comprensione al loro posto.

HTML leggibile

Informazioni principali presenti nella risposta, struttura semantica e collegamenti con href reali.

Contenuto non intercambiabile

Esperienza, dati, casi, limiti e posizione editoriale che aggiungono qualcosa rispetto a un riassunto generico.

Coerenza delle entità

Nomi, servizi, prezzi, località e proprietà coincidono tra testo, schema, feed, profili e pagine collegate.

Prestazioni e accessibilità

Persone, tecnologie assistive e agenti trovano e usano le stesse informazioni senza ostacoli evitabili.

Approfondisci la visibilità con la guida SEO e GEO e l’interazione con la guida ai siti pronti per gli agenti AI.

Otto errori che trasformano la configurazione in marketing vuoto

Il problema non è sperimentare: è attribuire a un file un effetto che la piattaforma non dichiara o che non è stato misurato.

“llms.txt fa salire su Google”

Google dichiara di ignorarlo per visibilità e ranking, comprese le funzioni generative di Search.

Copiare un file generato e dimenticarlo

URL rimossi, offerte cambiate e descrizioni obsolete creano un indice parallelo inaffidabile.

Bloccare tutti i bot AI insieme

Ricerca, training, azioni utente e annunci hanno finalità e controlli distinti.

Usare robots.txt per nascondere segreti

Il file è pubblico, volontario e può perfino rivelare i percorsi che si volevano tenere nascosti.

Combinare Disallow e noindex senza pensarci

Il divieto di scansione può impedire al motore di leggere proprio la direttiva di esclusione.

Consentire il bot ma bloccarlo nel WAF

La dichiarazione è corretta, ma la richiesta reale termina con 403, 429 o una challenge.

Fidarsi del solo user-agent

La stringa può essere falsificata: allowlist e diagnosi devono usare procedure e intervalli ufficiali.

Confondere idoneità e garanzia

Una configurazione corretta evita blocchi tecnici; non compra ranking, citazioni o conversioni.

Checklist prima di pubblicare o modificare le regole

Dieci verifiche che collegano obiettivo aziendale, contenuto, infrastruttura e misurazione.

01
Definisci gli obiettivi
Scrivi separatamente le scelte per ricerca, training, azioni utente, annunci e contenuti privati.
02
Inventaria i crawler
Usa nomi e documentazione ufficiali e annota data, scopo e pagina fonte.
03
Mappa gli URL
Distingui aree pubbliche, indicizzabili, escluse, transazionali e riservate.
04
Revisiona robots.txt
Controlla precedenze, gruppi duplicati, wildcard, sitemap e istruzioni create da terzi.
05
Revisiona meta e header
Verifica robots meta, X-Robots-Tag, canonical e controlli snippet su ogni template coinvolto.
06
Decidi su llms.txt
Implementalo soltanto con scopo, proprietario, fonti canoniche e procedura di aggiornamento definiti.
07
Allinea CDN e WAF
Confronta le regole dichiarate con firewall, challenge, geoblocchi, rate limit e IP ufficiali.
08
Testa da fuori
Controlla status, redirect e HTML dalla rete, non soltanto nel browser autenticato dello sviluppatore.
09
Raccogli evidenze
Conserva output dei test, log, data della verifica e configurazione pubblicata.
10
Pianifica la manutenzione
Ricontrolla quando cambiano motori, prodotti, CDN, struttura URL, contenuti o finalità aziendali.

Su un sito su misura questi controlli fanno parte dell’architettura, non di un plugin

Il vantaggio non è scrivere robots.txt a mano: è conoscere tutto il percorso tra contenuto, routing, header, sicurezza e misurazione.

Metodo di progetto

Una sola realtà, espressa in tutti i livelli

Quando realizzo o revisiono un sito, le direttive non vengono aggiunte in fondo come decorazione GEO. Derivano dalle pagine che devono essere pubbliche, dagli obiettivi commerciali e dagli strumenti effettivamente usati.

Routing e URL canonici controllati
HTML completo e semantico
Sitemap e metadata coerenti
Crawler distinti per finalità
WAF e header verificati
Test, log e manutenzione

Fonti primarie e documentazione aggiornata

Crawler e prodotti AI cambiano rapidamente. Questa guida separa protocolli, dichiarazioni ufficiali, proposte comunitarie e valutazioni progettuali.

llms.txt — proposta originale
Scopo, formato Markdown, relazione con sitemap e robots.txt e stato di proposta aperta.

Apri la fonte
Google — Ottimizzare per le funzioni AI generative
SEO tecnica, contenuti, AI Mode, miti e dichiarazione esplicita sull’irrilevanza di llms.txt per Google Search.

Apri la fonte
Google — Funzioni AI e sito web
Googlebot, idoneità, controlli degli snippet, noindex e rapporto con Google-Extended.

Apri la fonte
Google — Introduzione a robots.txt
Scopo del file, limiti, URL disallowed e differenza tra gestione del crawling e rimozione dall’indice.

Apri la fonte
Google — Robots meta e X-Robots-Tag
noindex, nosnippet, data-nosnippet, max-snippet e requisito che il crawler possa leggere le direttive.

Apri la fonte
Google — Google-Extended
Token per training e grounding di prodotti Gemini, separato da Google Search e non usato come segnale di ranking.

Apri la fonte
IETF — Robots Exclusion Protocol RFC 9309
Specifiche tecniche del protocollo, matching, gruppi, accesso al file e comportamento dei crawler conformi.

Apri la fonte
OpenAI — Panoramica dei crawler
OAI-SearchBot, GPTBot, ChatGPT-User, OAI-AdsBot, finalità, stringhe user-agent e intervalli IP pubblicati.

Apri la fonte
OpenAI — FAQ per publisher e sviluppatori
Ricerca ChatGPT, noindex, OAI-SearchBot, GPTBot e misurazione dei referral con utm_source=chatgpt.com.

Apri la fonte
OpenAI — Accesso dei crawler pubblicitari
OAI-AdsBot, OAI-SearchBot, WAF, CDN, CAPTCHA, rate limit, 403, 429 e verifica tramite IP ufficiali.

Apri la fonte
Cloudflare — Content Signals Policy
Proposta di segnali search, ai-input e ai-train e chiarimento sui limiti di enforcement tecnico.

Apri la fonte

Fonti controllate il 5 agosto 2026. Nomi dei crawler, prodotti, intervalli IP e supporto delle direttive possono cambiare: prima di intervenire ricontrolla sempre la documentazione ufficiale.

Domande frequenti

Risposte dirette per distinguere ciò che è documentato da ciò che viene venduto come scorciatoia.

llms.txt migliora il posizionamento su Google?

No. Google dichiara esplicitamente che Search non usa llms.txt e che il file non aiuta né danneggia visibilità e ranking, comprese le funzioni generative della ricerca.

Allora llms.txt è inutile?

Non necessariamente. Può essere utile come indice Markdown per documentazione o strumenti che dichiarano di usarlo. Deve però avere un consumatore reale, fonti canoniche e manutenzione; non va presentato come requisito SEO o GEO universale.

robots.txt impedisce che una pagina venga indicizzata?

Non in modo affidabile. Gestisce il crawling e un URL bloccato può essere scoperto tramite altri collegamenti. Per escludere una pagina dai risultati si usa noindex lasciandola accessibile al crawler che deve leggere la direttiva.

Posso usare robots.txt per proteggere dati riservati?

No. Il file è pubblico e le direttive vengono rispettate volontariamente dai crawler conformi. I contenuti riservati richiedono autenticazione, autorizzazione e controlli server-side.

Posso comparire su ChatGPT Search senza consentire il training?

Sì secondo la documentazione OpenAI: consenti OAI-SearchBot e impedisci GPTBot. Le due impostazioni sono indipendenti.

ChatGPT-User rispetta robots.txt?

OpenAI spiega che ChatGPT-User agisce su richiesta dell’utente e non esegue crawling automatico; per questo robots.txt può non applicarsi. Non viene usato per stabilire la presenza in Search.

Che differenza c’è tra GPTBot e OAI-SearchBot?

GPTBot riguarda contenuti che possono contribuire all’addestramento dei modelli fondamentali; OAI-SearchBot serve alle funzioni di ricerca e citazione di ChatGPT.

Che cos’è Google-Extended?

È un token robots.txt per gestire alcuni usi di training e grounding nei prodotti Gemini. Google precisa che non influisce su inclusione o ranking in Google Search.

Bloccare Google-Extended elimina il sito da AI Overviews?

No. Le funzioni AI integrate in Google Search usano i controlli di Googlebot e degli snippet. Google-Extended è separato da Search.

Perché il bot riceve 403 se robots.txt lo consente?

Perché WAF, CDN, bot management, CAPTCHA, autenticazione, geoblocchi o rate limit possono negare la richiesta dopo la valutazione di robots.txt.

I dati strutturati sostituiscono llms.txt?

No: hanno scopi diversi. I dati strutturati descrivono entità e proprietà presenti nella pagina; llms.txt propone un indice curato di risorse. Nessuno dei due concede accesso o garantisce citazioni.

Come capisco se la configurazione funziona?

Testa URL e user-agent, controlla status, redirect, header, HTML e log, verifica gli IP ufficiali e osserva Search Console e referral. Il controllo va ripetuto quando cambiano sito, CDN o documentazione dei provider.