¿como habilitar Web Crawling?

Hola buenas tardes, quisiera pedir ayuda a que alguien me pueda explicar un poco mejor lo de WebCrawling en las aplicaciones de vaadin, nuestro objetivo es poner un catalogo de productos disponibles en nuestra aplicacion en buscadores por ejemplo:

http://myapp.com/market#!market-item/12345
http://myapp.com/market#!market-item/12346
http://myapp.com/market#!market-item/12347

Al entrar a una de estas ligas, redirigir a la descripcion del producto, esa parte casi la tengo funcionando, la parte que no entiendo muy bien es el webcrawling, entiendo lo que hacen los robots de los buscadores, pero no entiendo muy bien es, ¿que es lo que debo hacer yo, para que los productos los encuentre google por ejemplo?

Por lo que entiendo del libro de vaadin (https://vaadin.com/docs/-/part/framework/advanced/advanced-urifu.html)
debo habilitar en mi VaadinServlet el método service(), y regresar informacion al robot del buscador usando una variable o fragmento de url, y además de la informacion del producto agregar una lista de links de mi aplicacion, ¿eso incluye todos los productos y otras ligas de mi aplicación?

ej:
http://myapp.com/market?idproduct=12345

Aqui va una breve descripcion del producto con id 12345,

Index of all content:

¿Es esto correcto? o ¿he entendido esto mal?

[b]


ACTUALIZACIÓN
Este artículo resolvió muchas de mis dudas:
https://www.smashingmagazine.com/2011/09/searchable-dynamic-content-with-ajax-crawling/
[/b]