MetadataParser — это модуль Python для извлечения метаданных из веб-документов.

Для парсинга требуется BeautifulSoup. Для получения удаленных документов требуется Requests. Для парсинга доменов используется tldextract, но его можно отключить, задав переменную среды.

Этот проект используется в продакшене уже много лет и успешно обработал миллиарды документов.

Github Community