Последнее время стал замечать, что мои ссылки, добавленные когда-то…
Последнее время стал замечать, что мои ссылки, добавленные когда-то давно в закладки, уже бесполезны. Сайты либо выключены, либо заблокированы, либо ещё что-то случилось, но контента нет. Иногда в таких случаях я прибегаю к помощи web.archive.org. Но ему как-будто тоже поплохело последнее время. Работает медленно, плохо, нужных сайтов там чаще всего нет. А иногда вообще не открывается.
На днях на глаза попался self-hosted сервис для локального сохранения ссылок - Linkwarden и самих данных. Понял, что мне это надо, запомнил и буквально вчера развернул сервис, попробовал. Основное, что он умеет:
◽️ Сохраняет сами ссылки и содержимое, которое за ними скрывается, в формате jpeg, pdf, html с картинками или только текст.
◽️ Есть группировка по папкам, тэгам.
◽️ Многопользовательский режим, интеграция с внешними системами аутентификации.
◽️ Есть расширение для браузера и мобильное приложение.
◽️ Экспорт всех закладок.
◽️ API
Я развернул чисто для себя, поэтому вопросы аутентификации не разбирал вообще. Установил на виртуалку в 2Gb памяти и 1CPU. Мне этого хватило для нормальной работы. Назначил доменное имя и настроил проксирование через Angie.
В целом, работает нормально. Но некоторые сайты может некорректно сохранять. Основные причины этого две:
1️⃣ У части сайтов стоит какая-то защита, которая понимает, что данные забирает не человек, а робот, и отдаёт заглушку или ошибку. Самое простое частичное решение проблемы - использовать расширение браузера. Через него можно забирать контент непосредственно с открытой страницы. К сожалению, это относится только к формату в виде картинки. Не знаю, почему для остальных не оставили такой возможности.
2️⃣ Некоторые сайты с подгрузкой контента через JS не позволяют нормально автоматически сделать ту или иную версию копии. То pdf не создаётся, то jpeg. Частично эту проблему решил настройкой
В целом, система простенькая, ничего особенного в ней нет. Свою задачу по мере возможностей выполняет. Я буду пользоваться. Развернул в качестве личного сервиса у себя дома. Из аналогов видел Karakeep. При внешнем сравнении Linkwarden понравился больше, поэтому выбрал его.
Про установку и настройки ничего не рассказываю. Там всё очень просто - обычный docker-compose.yml. В сети много обзоров. Вот официальная инструкция.
#linux
На днях на глаза попался self-hosted сервис для локального сохранения ссылок - Linkwarden и самих данных. Понял, что мне это надо, запомнил и буквально вчера развернул сервис, попробовал. Основное, что он умеет:
◽️ Сохраняет сами ссылки и содержимое, которое за ними скрывается, в формате jpeg, pdf, html с картинками или только текст.
◽️ Есть группировка по папкам, тэгам.
◽️ Многопользовательский режим, интеграция с внешними системами аутентификации.
◽️ Есть расширение для браузера и мобильное приложение.
◽️ Экспорт всех закладок.
◽️ API
Я развернул чисто для себя, поэтому вопросы аутентификации не разбирал вообще. Установил на виртуалку в 2Gb памяти и 1CPU. Мне этого хватило для нормальной работы. Назначил доменное имя и настроил проксирование через Angie.
В целом, работает нормально. Но некоторые сайты может некорректно сохранять. Основные причины этого две:
1️⃣ У части сайтов стоит какая-то защита, которая понимает, что данные забирает не человек, а робот, и отдаёт заглушку или ошибку. Самое простое частичное решение проблемы - использовать расширение браузера. Через него можно забирать контент непосредственно с открытой страницы. К сожалению, это относится только к формату в виде картинки. Не знаю, почему для остальных не оставили такой возможности.
2️⃣ Некоторые сайты с подгрузкой контента через JS не позволяют нормально автоматически сделать ту или иную версию копии. То pdf не создаётся, то jpeg. Частично эту проблему решил настройкой
AUTOSCROLL_TIMEOUT=2 вместо дефолтного 30. Те страницы, где были ошибки, нормально спарсились. Это chatgpt помог. Он мне сразу и патч написал для решения указанных ему ошибок, но я не стал заморачиваться и проверять.В целом, система простенькая, ничего особенного в ней нет. Свою задачу по мере возможностей выполняет. Я буду пользоваться. Развернул в качестве личного сервиса у себя дома. Из аналогов видел Karakeep. При внешнем сравнении Linkwarden понравился больше, поэтому выбрал его.
Про установку и настройки ничего не рассказываю. Там всё очень просто - обычный docker-compose.yml. В сети много обзоров. Вот официальная инструкция.
#linux