Новое Распределяем каналы MAX по категориям и территориям. Читать новость
Аналитика MAXканалы, чаты и посты

Аналитика

MAX
Сборщики информацииbrain-pro.ru Маркировка иноагентовagent-mark.ru
Открытый канал ID 77409780836416

flora_35

Любительский проект карты охраняемых видов Вологодской области. Вопросы, предложения принимаются и рассматриваются. Хулиганы банятся навсегда.

Вологодская областьРоссия
Открыть в MAX

Публикации за период

По реакциям

Поиск и вся лента — после бесплатной регистрации. Свои даты — по подписке; владелец канала видит их бесплатно. Сортировка по реакциям — по подписке. Зарегистрироваться

Загрузка…

Загружаем изображение…
На прошлой неделе не было деплоя по простой причине:
производительность в браузере уперлась в потолок. Скорость работы кода JS весьма ограничена в достаточно сложных операциях с десятками и сотнями тысяч точек. В какой-то момент браузер упрется в потолок потребления памяти и ресурсов.

Выход? Перенести проект на более эффективный код. Например, на Python, вынести все расчеты в приложение, хранить данные в нормальной SQLite, чтобы они не занимали много места, но при этом гораздо быстрее обрабатывались.

Поэтому сейчас код не без помощи нейросетей транслируется на python в виде десктоп-приложения. Если всё получится, то через некоторое время появится программа, которая будет работать быстрее, но сохранит весь функционал веб-проекта.
6
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Загружаем изображение…
Загружаем изображение…
jsrooky.github.io/flora35/

Пятничная версия

Скорее всего, мы постепенно пришли к версии 1.0. Так и запишем.
В этой версии включены практически все функции, которые планировались. Есть достаточно много статистик, которые работают с загружаемыми данными.

Напоминаем, что загружаемые данные – это не основное, на что нацелен проект. Мы начинали его как приложение для ваших собственных данных и их анализа.

С этой версии мы переходим преимущественно проработке того, что уже сделано. Новые функции будут появляться только после того, как уже существующие будут работать на 100% от ожидания.

Ну, а в этой версии открыты инструменты сравнения наборов данных (загруженных во временные слои) и некоторые статистики по данным.
Как мы выяснили, в общедоступных базах данные очень разнородные и далеко не всегда качественные. Для первичной фильтрации таких «лениво расположенных» точек мы уже сделали поиск плотных групп и их разбор.

Дальше мы будем учиться фильтровать вообще все данные, которые не получится использовать в работе. А мы, напомним, рассчитываем, что наш проект хоть как-то и хоть чем-то поможет именно в научной работе.
И, конечно же, будем дописывать Руководство пользователя.

И как всегда: будем рады отзывам.
16
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
vk.ru/@bernddasbrott-reliz-v-pyatnicu

Наш деплой в пятницу. В основном здесь только оптимизация отображения данных, но есть и некоторые другие новости.

Написали в виде статьи, так как это удобнее для чтения и восприятия.
26
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Загружаем изображение…
Загружаем изображение…
Загружаем изображение…
https://jsrooky.github.io/flora35/

Вот и деплой в пятницу. В этой версии у нас:

1. Самое красивое – регионы России. Пока только в превью и потыкать. Можно красиво раскрасить. Сейчас остальные функции для них заблокированы. Но их можно добавить во временные слои.

2. Временные слои – самое сложное, что удалось реализовать. Из внешних баз данных можно выгрузить как все точки данных, так и выборочно – то, что нужно. И разместить эти точки во временных слоях.

Временный слой сохраняется у вас на компьютере и доступен всегда, пока вы его не удалите. Слой можно перенести в архив (см. картинку 2).

А еще слою можно добавить собственный цвет маркеров (см. картинку 3). А можно переименовать слой, которому по умолчанию дается имя по дате создания + случайный трехзначный номер (надеемся, что создать за сутки 1000 слоев вы не успеете).

3. Архив слоев. Любой временный слой можно перенести в архив (см. картинку 4). Архив тоже хранится у вас на компьютере, но при этом слои не раздувают палитру временных слоев.

В любое время слои из архива могут быть перенесены обратно во временные и обратно. Никаких ограничений нет.

Планами на дальнейшую разработку поделимся ближе к понедельнику.

https://jsrooky.github.io/flora35/

Будем очень благодарны за обратную связь.
32
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Загружаем изображение…
После пятничного деплоя работаем над функцией временных слоев. Что это такое:

Временный слой может содержать любые данные, но при этом он отображается отдельно от основного слоя внешней базы данных, если она выгружена.

Во временный слой можно сохранить выборочную загрузку точек отдельного вида, рода, семейства.

Во временный слой можно превратить фильтры, которые сейчас применены к данным на карте. Таким образом можно зафиксировать состояние.

Все временные слои хранятся на компьютере пользователя и не занимают место в удаленной базе. Они будут храниться столько времени, сколько потребуется.

Если слов слишком много, их можно переместить в архив или удалить. Из архива, соответственно, слои можно восстановить во временные.
34
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Деплой прошел не очень гладко. Но он прошел.

Что нового? Нового много.

Во-первых, подключили импорт из GBIF и iNaturalist. Можно выбирать регионы страны для загрузки. Можно выбирать категории загрузки. Обновления данных инкрементальные (только новые точки, а не база целиком).

Кстати, выгружается всё на локальный компьютер и на нем же обрабатывается. При этом нашли модуль обработки загрузки сумели оптимизировать загрузку, чтобы она шла параллельно и данные сохранялись в более компактном виде.

Добавили обработку плотных групп (когда куча точек с одинаковыми координатами). И спрединг точек, лежащих друг на друге.

Добавили ассоциацию с редкими видами (можно искать целым списком, а результаты сразу уходят в отдельный слой в удаленной базе данных).

Добавили целый большой набор инструментов для добавления новых находок. Они уходят в отдельную базу данных и доступны в меню выбора слоев данных как "Пользовательские".

А, да, еще добавили анализ сезонности находок с фильтром по широте и долготе.

В общем, вот. Надеюсь, мы двигаемся к какому-то определенному результату.


https://jsrooky.github.io/flora35/
43
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Сделали загрузку данных по регионам страны (регион определяется на основании данных из GBIF). И выяснили, что при загрузке сотен тысяч точек проекту становится плохо. Работаем над исправлением этого дефекта и возможным переводом хранения данных в другой формат.
В пятничном деплое будет только одна область, чтобы не уложить ваши компьютеры и интернет-соединения, если попробуете новые функции.
46
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Вот такие красивые штуки получаются, если выгружать данные из GBIF.

Происходит это потому, что пользователь напихал координаты для кучи находок в одно место. Точки, стало быть, располагаются вообще вместе, друг на друге.

Хорошо, что в API есть функция

dedupeFeaturesByCoordinates

которая чуть-чуть раскидывает точки, не меняя их координат. Она и рисует такие красивые "цветочки". Для геоинструментов точка остается на месте.
54
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Нам кажется, что геоинформационный инструментарий нашего проекта расширяется вполне последовательно. Но ему не хватает фактических данных для тестирования функций и работы.

Отсюда следует логичный шаг – получать эти данные откуда-то. Ну, а поскольку ничего уникального в нашем проекте нет, то и умничать мы тут не будем и обратимся к классикам и первоисточникам.

В первую очередь посмотрели в сторону базы GBIF, как максимально доступной с точки зрения API.

И именно включение загрузки данных из этой базы делаем целью на следующий деплой. Кроме собственно загрузки нужно будет как-то подружить ее данные с инструментами проекта.

Вот такой план.
51
Перейти в пост Открыть в MAX Сообщить о неточности
Вся лента — после бесплатной регистрации
ВКонтакте Телеграм Одноклассники
Избранное в datool.ru

Следите за каналом в личном кабинете

Зарегистрируйтесь в datool.ru, чтобы добавить канал «flora_35» в избранное и отслеживать его показатели.

Зарегистрироваться Для владельцев каналов

Подтвердите свой канал

Войдите или зарегистрируйтесь в datool.ru, затем добавьте нашего бота в канал по инструкции в личном кабинете. После проверки владения замок исчезнет и вам станет доступно управление каналом.

Войти или зарегистрироваться

Сообщить о неточности

Опишите, что нужно исправить. Если есть источник, добавьте ссылку.

Вы покидаете datool.ru

Ссылка ведёт на внешний сайт. datool.ru не отвечает за его содержимое — проверьте адрес, прежде чем вводить пароли или платёжные данные.

Переход через 10 с

Перейти