зеркало из
https://github.com/iharh/notes.git
synced 2025-10-30 05:06:05 +02:00
m
Этот коммит содержится в:
родитель
d0ebe22e2f
Коммит
cd455d066c
80
db/nosql/vector/integration/vector-es.txt
Обычный файл
80
db/nosql/vector/integration/vector-es.txt
Обычный файл
@ -0,0 +1,80 @@
|
|||||||
|
https://vector.dev/docs/reference/configuration/sinks/elasticsearch/
|
||||||
|
|
||||||
|
|
||||||
|
Для того, чтобы начать собирать логи в Elasticsearch не обязательно поднимать полный ELK stack. Я сейчас кратко покажу, как быстро запустить сбор логов из Nginx в Elasticsearch помощью Vector (https://vector.dev/). А в качестве веб интерфейса для работы с еластиком буду использовать легковесный Elasticvue (https://elasticvue.com/).
|
||||||
|
|
||||||
|
Elasticsearch я запущу в Docker, отключив HTTPS и аутентификацию. То есть это будет тестовая установка. В проде отключать не надо. Там не намного сложнее настройка, просто я не смогу уместить её в одну заметку, если не отключу их. Нужно будет сделать больше настроек.
|
||||||
|
|
||||||
|
Запускаем Elasticsearch:
|
||||||
|
|
||||||
|
# docker run -d -p 9200:9200 -p 9300:9300 \
|
||||||
|
-e "http.cors.enabled=true" \
|
||||||
|
-e "http.cors.allow-origin=http://172.30.245.222:8080" \
|
||||||
|
-e "discovery.type=single-node" \
|
||||||
|
--name elastic \
|
||||||
|
elasticsearch:8.13.0
|
||||||
|
|
||||||
|
Здесь 172.30.245.222 - это IP адрес сервера, на котором будет запущен веб интерфейс Elasticvue. В моём случае это та же машина, где запускается еластик. Дожидаемся запуска контейнера и забираем из него конфиг службы:
|
||||||
|
|
||||||
|
# docker cp elastic:/usr/share/elasticsearch/config/elasticsearch.yml ~/
|
||||||
|
|
||||||
|
Всё, что касается настроек xpack.security заменяем true на false. Возвращаем изменённый конфиг:
|
||||||
|
|
||||||
|
# docker cp ~/elasticsearch.yml elastic:/usr/share/elasticsearch/config/elasticsearch.yml
|
||||||
|
|
||||||
|
Перезапускаем контейнер:
|
||||||
|
|
||||||
|
# docker restart elastic
|
||||||
|
|
||||||
|
Дожидаемся запуска и проверяем работу:
|
||||||
|
|
||||||
|
curl http://172.30.245.222:9200
|
||||||
|
|
||||||
|
Должны увидеть информацию о кластере elasticsearch. Его имя будет docker-cluster. Запускаем тут же в докере веб интерфейс:
|
||||||
|
|
||||||
|
# docker run -d -p 8080:8080 --name elasticvue cars10/elasticvue
|
||||||
|
|
||||||
|
Этот веб интерфейс может работать как приложение на десктопе или плагин браузера. Интересная штука, кто не знаком, посмотрите описание на сайте.
|
||||||
|
|
||||||
|
Идём в веб интерфейс по IP адресу сервера и порт 8080. Настраиваем подключение к кластеру. Указываем настройки:
|
||||||
|
◽️No authorization
|
||||||
|
◽️docker-cluster
|
||||||
|
◽️http://172.30.245.222:9200
|
||||||
|
|
||||||
|
Убеждаемся, что всё работает.
|
||||||
|
|
||||||
|
Теперь ставим Vector, который будет отправлять логи Nginx в кластер. Он, соответственно, должен быть установлен на веб сервере. Для Debian установка из пакетов такая:
|
||||||
|
|
||||||
|
# bash -c "$(curl -L https://setup.vector.dev)"
|
||||||
|
# apt install vector
|
||||||
|
|
||||||
|
Открываем конфиг /etc/vector/vector.yaml и приводим к такому виду:
|
||||||
|
|
||||||
|
sources:
|
||||||
|
nginx_access_logs:
|
||||||
|
type: file
|
||||||
|
include:
|
||||||
|
- /var/log/nginx/access.log
|
||||||
|
sinks:
|
||||||
|
elastic:
|
||||||
|
type: elasticsearch
|
||||||
|
inputs:
|
||||||
|
- nginx_access_logs
|
||||||
|
endpoints:
|
||||||
|
- http://172.30.245.222:9200
|
||||||
|
|
||||||
|
Следите за форматированием файла yaml. При копировании в пост она ломается. У вектора очень хорошая документация. Там есть все примеры использования (https://vector.dev/docs/reference/configuration/sinks/elasticsearch/). Можно у меня заметки на канале посмотреть. Было несколько штук с его настройкой. Очень приятная и легковесная программа. Я последнее время почти всегда вектором собираю логи.
|
||||||
|
|
||||||
|
Перезапускаем вектор:
|
||||||
|
|
||||||
|
# systemctl restart vector
|
||||||
|
|
||||||
|
По умолчанию, он пишет логи в системный syslog. Проверьте на всякий случай, что он запустился и начал отправлять логи в elastic. Идём в его веб интерфейс. Там должен появиться индекс вида vector-2024.04.22, в нём строки из лога Nginx.
|
||||||
|
|
||||||
|
Простейшие действия по управлению кластером Elasticsearch можно делать в Elasticvue. Можно обойтись и без Kibana. Вот такая простая и быстрая настройка. Если вы не отключите HTTPS и аутентификацию, то вам придётся дополнительно сделать следующее:
|
||||||
|
|
||||||
|
◽️Создать пароль для пользователя elastic через команду внутри контейнера /bin/elasticsearch-reset-password.
|
||||||
|
◽️Соответственно во всех запросах использовать basic аутентификацию с этой учёткой.
|
||||||
|
◽️Для работы Elasticvue вам нужно будет забрать сертификат Elasticsearch из /usr/share/elasticsearch/config/certs/http_ca.crt и добавить его в доверенные CA в том браузере, где вы его будете запускать. Далее нужно будет посмотреть, какие имена хоста указаны в сертификате сервера и добавить их в hosts, чтобы браузер не ругался на несоответствие имени в сертификате и адресной строке.
|
||||||
|
|
||||||
|
Я всё это настраиваю, если надо, но занимает чуть больше времени, поэтому упростил руководство.
|
||||||
@ -1,3 +1,5 @@
|
|||||||
|
2024
|
||||||
|
https://habr.com/ru/companies/tensor/articles/808931/
|
||||||
2018
|
2018
|
||||||
PGCon - Dmitry Melnik: JIT-Compiling SQL Queries in PostgreSQL Using LLVM - PGCon 2017 of 51:06
|
PGCon - Dmitry Melnik: JIT-Compiling SQL Queries in PostgreSQL Using LLVM - PGCon 2017 of 51:06
|
||||||
https://www.youtube.com/watch?v=ZNTeVt8V6PU
|
https://www.youtube.com/watch?v=ZNTeVt8V6PU
|
||||||
|
|||||||
9
messanger/telegram/bots/java/avandy-news.txt
Обычный файл
9
messanger/telegram/bots/java/avandy-news.txt
Обычный файл
@ -0,0 +1,9 @@
|
|||||||
|
https://avandy-news.ru/
|
||||||
|
|
||||||
|
https://github.com/mrprogre/avandy-news
|
||||||
|
https://github.com/mrprogre/avandy-news-console
|
||||||
|
|
||||||
|
https://t.me/AvandyNewsBot
|
||||||
|
|
||||||
|
2024
|
||||||
|
https://habr.com/ru/articles/788042/
|
||||||
1
messanger/telegram/bots/java/presentations.txt
Обычный файл
1
messanger/telegram/bots/java/presentations.txt
Обычный файл
@ -0,0 +1 @@
|
|||||||
|
https://www.youtube.com/playlist?list=PL7ZzXmLk6CYUl4exDW4S_2sQbYpQNswfR
|
||||||
@ -1,3 +1,3 @@
|
|||||||
2024
|
2024
|
||||||
PointOfGather - Rychkov - Ageev - Imitation Game 2:00 of 1:30:05
|
PointOfGather - Rychkov - Ageev - Imitation Game 20:00 of 1:30:05
|
||||||
https://www.youtube.com/watch?v=awbzAj8qXmg
|
https://www.youtube.com/watch?v=awbzAj8qXmg
|
||||||
|
|||||||
@ -59,6 +59,12 @@ DayCenter - SecretSocietiesAndVatican - Lection 11 - Intelligence of Vatican 36:
|
|||||||
! These days Vatican became a member of Interpol
|
! These days Vatican became a member of Interpol
|
||||||
! Fight with wikipedia
|
! Fight with wikipedia
|
||||||
! Opus Dei - financial int of Vatican
|
! Opus Dei - financial int of Vatican
|
||||||
|
! ProDeo - +economical int, roots -> 3rd reich
|
||||||
|
! !!!! Killing of Vilhelm Oransky by Comitee 300
|
||||||
|
! Holly Alliance works via Black Order and ...
|
||||||
|
! Piy XI scribed imperian concordat
|
||||||
|
! AI gasa -> q from shmon-mataim 8200
|
||||||
|
! Priman mezhdunarodnogo prava priznavala only Germany
|
||||||
ENRUAnalytics - By Shelves of 45:34
|
ENRUAnalytics - By Shelves of 45:34
|
||||||
https://www.youtube.com/watch?v=w0IKLK8s8Nk
|
https://www.youtube.com/watch?v=w0IKLK8s8Nk
|
||||||
! Livan Milliarder - Hikvat (), 1988
|
! Livan Milliarder - Hikvat (), 1988
|
||||||
|
|||||||
@ -1,3 +1,3 @@
|
|||||||
2024
|
2024
|
||||||
Faib - Scientology 3:00 of 54:16
|
Faib - Scientology 28:00 of 54:16
|
||||||
https://www.youtube.com/watch?v=rkj9w9mO3MM
|
https://www.youtube.com/watch?v=rkj9w9mO3MM
|
||||||
|
|||||||
@ -1,3 +1,3 @@
|
|||||||
2024
|
2024
|
||||||
Geopolitburo - Kokorev - Karmanov - ZH Corruption 5:00 of 1:14:32
|
Geopolitburo - Kokorev - Karmanov - ZH Corruption 35:00 of 1:14:32
|
||||||
https://www.youtube.com/watch?v=gVew-3kgFpU
|
https://www.youtube.com/watch?v=gVew-3kgFpU
|
||||||
|
|||||||
@ -1,5 +1,8 @@
|
|||||||
|
2024
|
||||||
|
https://www.manning.com/books/contract-testing-in-action
|
||||||
2023
|
2023
|
||||||
https://www.manning.com/books/azure-security-2
|
https://www.manning.com/books/azure-security-2
|
||||||
|
https://www.manning.com/books/optimization-algorithms
|
||||||
2022
|
2022
|
||||||
live
|
live
|
||||||
https://www.manning.com/liveproject/hands-on-with-cplusplus20-ranges-coroutines-concepts-modules
|
https://www.manning.com/liveproject/hands-on-with-cplusplus20-ranges-coroutines-concepts-modules
|
||||||
|
|||||||
5
pl/cross/search/es/tools/ui/elasticvue.txt
Обычный файл
5
pl/cross/search/es/tools/ui/elasticvue.txt
Обычный файл
@ -0,0 +1,5 @@
|
|||||||
|
https://elasticvue.com/
|
||||||
|
https://github.com/cars10/elasticvue
|
||||||
|
|
||||||
|
https://elasticvue.com/usage
|
||||||
|
https://elasticvue.com/features
|
||||||
@ -1,4 +1,5 @@
|
|||||||
2024
|
2024
|
||||||
|
https://foojay.io/today/spring-internals-of-restclient/
|
||||||
DanVega - Spring MVC Http Interfaces - How to Create a Rest Client with almost no code! 0:00 of 17:56
|
DanVega - Spring MVC Http Interfaces - How to Create a Rest Client with almost no code! 0:00 of 17:56
|
||||||
https://www.youtube.com/watch?v=aR580OCEp7w
|
https://www.youtube.com/watch?v=aR580OCEp7w
|
||||||
2023
|
2023
|
||||||
|
|||||||
@ -1,3 +1,3 @@
|
|||||||
2024
|
2024
|
||||||
EngSpock - Arlazarov - Kaissa 9:00 of 1:08:24
|
EngSpock - Arlazarov - Kaissa 28:00 of 1:08:24
|
||||||
https://www.youtube.com/watch?v=1VGeze1AgzI
|
https://www.youtube.com/watch?v=1VGeze1AgzI
|
||||||
|
|||||||
Загрузка…
x
Ссылка в новой задаче
Block a user