Как мы строили мониторинг на Prometheus, Clickhouse и ELK

1 месяц 3 недели ago

Меня зовут Антон Бадерин. Я работаю в Центре Высоких Технологий и занимаюсь системным администрированием. Месяц назад завершилась наша корпоративная конференция, где мы делились накопленным опытом с IT-сообществом нашего города. Я рассказывал про мониторинг веб-приложений. Материал предназначался для уровня junior или middle, которые не выстраивали этот процесс с нуля.


image


Краеугольный камень, лежащий в основе любой системы мониторинга — решение задач бизнеса. Мониторинг ради мониторинга никому не интересен. А чего хочет бизнес? Чтобы все работало быстро и без ошибок. Бизнес хочет проактивности, чтобы мы сами выявляли проблемы в работе сервиса и максимально быстро их устраняли. Это, по сути, и есть задачи, которые я решал весь прошлый год на проекте одного из наших заказчиков.

Читать дальше →
htc-cs

Импортозамещение на практике. Часть 3. Операционные системы

1 месяц 3 недели ago
image

Продолжаем наш цикл статей про импортозамещение. В предыдущих публикациях были рассмотрены варианты замещения развернутых систем на «отечественные», и конкретно гипервизоры «отечественного производства».

Теперь настала очередь поговорить об «отечественных» операционных системах, входящих в реестр Минкомсвязи на настоящий момент. Читать дальше →
Snow_Bars

[Перевод] KlusterKit

1 месяц 3 недели ago
KlusterKit: набор инструментов с открытым исходным кодом для упрощения деплоев Kubernetes и работы в физически изолированных локальных средах


Сегодня мы с радостью объявляем, что Platform9 открывает исходные коды Klusterkit, набора из трех инструментов, по лицензии Apache v2.0 на GitHub.


Наши клиенты выкатывают ПО в частных дата-центрах, которые часто не подключены к интернету (по соображениям безопасности или по другим причинам). Эти крупные компании хотят использовать преимущества Kubernetes и модернизировать свои приложения и при этом выкатывать их в разных дата-центрах, у которых нередко нет связи с внешним миром. И тут на помощь приходит Klusterkit, который упрощает поставку и управление кластерами K8s в физически изолированных средах.


В Klusterkit входит три независимых инструмента, которые можно использовать вместе или по отдельности для управления жизненным циклом production-кластера Kubernetes:


  1. etcdadm, CLI для упрощенного управления кластером etcd.
  2. nodeadm, CLI для администрирования нод, который дополняет kubeadm и развертывает зависимости, нужные kubeadm.
  3. cctl, инструмент управления жизненным циклом кластера, который принимает Cluster API из сообщества Kubernetes и использует nodeadm и etcdadm, чтобы без лишних хлопот поставлять и поддерживать высокодоступные кластеры Kubernetes в локальных и в том числе физически изолированных средах.

Вместе эти три инструмента выполняют следующие задачи:

Читать дальше →
nAbdullin

10 способов сэкономить на IT-инфраструктуре для всех

1 месяц 3 недели ago
Это был 2013 год. Я пришёл работать в одну из компаний-разработчиков, создающих ПО для частных пользователей. Мне говорили разное, но меньше всего я ожидал увидеть то, что увидел: 32 непогашенных виртуалки на арендованном тогда ещё неприлично дорогом VDS, три «свободных» лицензии Photoshop, 2 Corel, оплаченная и неиспользуемая мощность IP-телефонии и прочее по мелочи. В первый месяц я «удешевил» инфраструктуру на 230 тысяч рублей, во второй почти на 150 (тысяч), потом геройство закончилось, начались оптимизации и в итоге мы наэкономили полмиллиона за полгода.

Опыт нас вдохновил и мы стали искать новые пути экономии. Сейчас я работаю в другом месте (угадайте, где), поэтому с чистой совестью могу поведать о своём опыте миру. И вы делитесь, давайте делать IT-инфраструктуру дешевле и эффективнее!


«Последнюю шерсть ощипали с вашими затратами на сервера, лицензии, ИТ-активы и аутсорсинг», — ворчал финансовый директор и требовал планирования и бюджетирования
Читать дальше →
ru_vds

Наводим порядок в SMB или встречайте обновленный и улучшенный HPE ProLiant DL180 Gen10

1 месяц 3 недели ago
Развивая направление серверов уровня Mission Critical, компания Hewlett Packard Enterprise не забывает про потребности заказчиков малого и среднего бизнеса.

Часто, хоть и не всегда, процесс поиска вычислительных мощностей под новые задачи сложно прогнозируемый: растут потребности, спонтанно появляются новые срочные задачи, все это сопровождается попыткой разобраться в получившейся архитектуре, а вопросы покупки новых мощностей — из разряда покупки нового роллс-ройса. Но все ли так страшно?


Чья-то серверная, возможно, наши дни.

Давайте порассуждаем: какой сервер ждут наши SMB заказчики и может ли он быть доступным?
Читать дальше →
Effi3

Operating Systems: Three Easy Pieces. Part 4: Введение в планировщик (перевод)

1 месяц 4 недели ago
Введение в операционные системы
Привет, Хабр! Хочу представить вашему вниманию серию статей-переводов одной интересной на мой взгляд литературы — OSTEP. В этом материале рассматривается достаточно глубоко работа unix-подобных операционных систем, а именно — работа с процессами, различными планировщиками, памятью и прочиими подобными компонентами, которые составляют современную ОС. Оригинал всех материалов вы можете посмотреть вот тут. Прошу учесть, что перевод выполнен непрофессионально (достаточно вольно), но надеюсь общий смысл я сохранил.

Лабораторные работы по данному предмету можно найти вот тут:


Другие части:


А еще можете заглядывать ко мне на канал в телеграм =)
Читать дальше →
bykvaadm

Новое в сертификации средств защиты информации

1 месяц 4 недели ago


Около года назад, 3 апреля 2018-го года ФСТЭК России опубликовал приказ №55. Он утвердил Положение о системе сертификации средств защиты информации.

Это определило, кто является участником системы сертификации. Также оно уточнило организацию и порядок сертификации продукции, которая используется для защиты конфиденциальных сведений, представляющих государственную тайну, средства для защиты которой тоже необходимо сертифицировать через указанную систему.

Итак, что именно Положение относит к продукции, которую необходимо сертифицировать?
Читать дальше →
Cloud4Y

Настройка IPSec Site-to-Site VPN на оборудовании Palo Alto Networks

1 месяц 4 недели ago
image

Данная статья представляет собой продолжение предыдущего материала, посвященного особенностям настройки оборудования Palo Alto Networks . Здесь мы хотим рассказать о настройке IPSec Site-to-Site VPN на оборудовании Palo Alto Networks и о возможном варианте конфигурации подключения нескольких интернет-провайдеров.
Читать дальше →
DmitryCross

Linux Backup от Veeam на ОС «Эльбрус». Импортозамещение ['?' | '.' | '!']

1 месяц 4 недели ago
Всем привет.

Недавние статьи на Хабре Импортозамещение на практике. Часть 1. Варианты и Не долго музыка играла… или как ОС Эльбрус так и не стала свободной не оставили меня равнодушным. Я решил поизучать этот вопрос в ключе задачи резервного копирования. Тем более, что в этой статье продукты Veeam Software упоминаются, а значит, вопрос может быть актуальным именно в ключе импортозамещения.

image
первоисточник изображения

Первым делом я решил скачать ОС «Эльбрус», а точнее — только доступный дистрибутив для архитектуры x86_64, посмотреть, как он устроен, и попробовать поставить на него Veeam Agent for Linux. Желающих узнать, что из этого получилось, прошу под кат.
Читать дальше →
CodeImp

Из жизни с Kubernetes: Как HTTP-сервер испанцев не жаловал

2 месяца ago


Представитель нашего клиента, стек приложений которого обитает в облаке от Microsoft (Azure), обратился с проблемой: с недавнего времени часть запросов некоторых клиентов из Европы стала завершаться ошибкой 400 (Bad Request). Все приложения написаны на .NET, развёрнуты в Kubernetes… Читать дальше →
bmar

[Перевод] Результаты бенчмарка сетевых плагинов Kubernetes (CNI) по сети 10 Гбит/с (обновлено: апрель 2019)

2 месяца ago


Это обновление моего предыдущего бенчмарка, который теперь работает на Kubernetes 1.14 с актуальной версией CNI на апрель 2019 года.


Во-первых, хочу поблагодарить команду Cilium: ребята помогли мне проверить и исправить скрипты мониторинга метрик.


Что изменилось с ноября 2018

Вот что изменилось с тех пор (если интересно):


Flannel остается самым быстрым и простым интерфейсом CNI, но все еще не поддерживает сетевые политики и шифрование.


Romana больше не поддерживается, так что мы удалили ее из бенчмарка.


WeaveNet теперь поддерживает сетевые политики для Ingress и Egress! Но производительность снизилась.


В Calico все еще нужно вручную настраивать максимальный размер пакета (MTU) для лучшей производительности. Calico предлагает два варианта установки CNI, так что можно обойтись без отдельного хранилища ETCD:

Читать дальше →
tarasoff

Мандатная модель распределения прав в FreeBSD

2 месяца ago
Введение
Для обеспечения дополнительного уровня безопасности сервера можно использовать мандатную модель распределения доступа. В данной публикации будет описано каким образом можно запускать apache в jail с доступом только к тем компонентам, к которым необходим доступ для корректной работы apache и php. По данному принципу можно ограничивать не только apache, а также любой другой стэк.
Читать дальше →
Nemets85

Страх и ненависть DevSecOps

2 месяца ago
У нас было 2 анализатора кода, 4 инструмента для динамического тестирования, свои поделки и 250 скриптов. Не то, чтобы это всё было нужно в текущем процессе, но раз начал внедрять DevSecOps, то надо иди до конца.



Источник. Авторы персонажей: Джастин Ройланд и Дэн Хармон.

Что такое SecDevOps? А DevSecOps? В чем отличия? Application Security — о чём это? Почему классический подход больше не работает? На все эти вопросы знает ответ Юрий Шабалин из Swordfish Security. Юрий подробно на всё ответит и разберет проблемы перехода от классической модели Application Security к процессу DevSecOps: как правильно подойти к встраиванию процесса безопасной разработки в процесс DevOps и ничего не сломать при этом, как пройти основные этапы тестирования на безопасность, какие инструменты можно применять, чем они отличаются и как их правильно настроить, чтобы избежать подводных камней.
Читать дальше →
osminog

[Из песочницы] ProLiant 100й серии – «потерянный младший брат»

2 месяца ago
Начало второго квартала 2019 года ознаменовалось обновлением серверного портфеля Hewlett Packard Enterprise. При этом это обновление возвращает к нам «потерянного младшего брата» — серию серверов HPE ProLiant DL100. Так как за прошедшие годы многие успели забыть о ее существовании, то предлагаю в этой небольшой статье освежить наши воспоминания.


Читать дальше →
kuzz

Бесплатный VPN сервис Wireguard на AWS

2 месяца ago
Для чего?

С ростом цензурирования интернета авторитарными режимами, блокируются все большее количество полезных интернет ресурсов и сайтов. В том числе с технической информацией.
Таким образом, становиться невозможно полноценно пользоваться интернетом и нарушается фундаментальное право на свободу слова, закрепленное во Всеобщей декларации прав человека.


Статья 19
Каждый человек имеет право на свободу убеждений и на свободное выражение их; это право включает свободу беспрепятственно придерживаться своих убеждений и свободу искать, получать и распространять информацию и идеи любыми средствами и независимо от государственных границ

В данном руководстве мы за 6 этапов развернем свой собственный бесплатный* VPN сервис на базе технологии Wireguard, в облачной инфраструктуре Amazon Web Services (AWS), с помощью бесплатного аккаунта (на 12 месяцев), на инстансе (виртуальной машине) под управлением Ubuntu Server 18.04 LTS.


Я старался сделать это пошаговое руководство как можно более дружественным к людям, далеким от ИТ. Единственное что требуется — это усидчивость в повторении описанных ниже шагов.

Читать дальше →
pprometey

[Из песочницы] Расширяем функционал WDS: добавление возможности загрузки в UEFI

2 месяца ago

Всем привет!


В данной статье, описаны шаги которые необходимо выполнить, для добавления к вашему WDS, возможности загрузки в режиме UEFI.


Т.е. инструкция в данной статье, предполагает, что у вас уже имеется, примерно следующая конфигурация:


1. Windows Server 2012R2 (или новее) 2. Полностью настроенный DHCP для работы с WDS 3. Собственно сам WDS 4. IIS 5. Виртуальная машина или ПК с Ubuntu

Так же, здесь описаны действия, которые не принесли мне должного результата.
Описал я их, для облегчения поиска и экономии вашего времени.


Предисловие

Сделал как-то на работе WDS с множеством плюшек, т.к. устал постоянно бегать с кучей флешек и перезаписывать их.


Помогли мне кстати тогда вот эти статьи:
Добавляем WDS универсальности
Загрузочное меню PXE с System Center Configuration Manager

Читать дальше →
BlackFIlms

[Перевод] Метод CASE: гуманный мониторинг

2 месяца ago


Дзииииииинь! На часах 3 утра, вы смотрите чудесный сон, и вдруг — звонок. На этой неделе вы дежурите, и, видимо, что-то случилось. Автоматизированная система зовет разобраться, в чем дело. Это важный момент управления современными компьютерными системами, но давайте посмотрим, как сделать уведомления удобнее для людей.


Знакомьтесь с философией мониторинга, родившейся за несколько десятилетий моих дежурств в разных командах по мониторингу. На нее во многом повлияла настоящая библия от Роба Еващука My Philosophy on Alerting (Моя философия уведомлений), включенная в книгу по Google SRE, и книга Джона Олспо Considerations for Alert Design (Замечания по настройке оповещений).


Келли Данн, Ариджит Мукхерьи и Максим Петаццони — спасибо за помощь в редактировании поста.


Что такое CASE?

Я решил придумать красивую аббревиатуру, как у метода USE Брендана Грегга или метода RED Тома Уилки. Я зову это метод CASE. Он описывает четыре момента, на которые нужно обратить внимание при работе с автоматическим мониторингом:

Читать дальше →
nAbdullin

Kubernetes tips & tricks: о локальной разработке и Telepresence

2 месяца ago


Нас все чаще спрашивают про разработку микросервисов в Kubernetes. Разработчики, особенно интерпретируемых языков, хотят быстро поправить код в любимой IDE и без ожидания сборки/деплоя увидеть результат — по простому нажатию на F5. И когда речь шла про монолитное приложение, достаточно было локально поднять базу данных и веб-сервер (в Docker, VirtualBox…), после чего — сразу же наслаждаться разработкой. С распиливанием монолитов на микросервисы и приходом Kubernetes, с появлением зависимостей друг от друга, всё стало немного сложнее. Чем больше этих микросервисов, тем больше проблем. Чтобы вновь насладиться разработкой, нужно поднять уже не один и не два Docker-контейнера, а иногда — даже не один десяток… В общем, на всё это может уходить достаточно много времени, поскольку требуется ещё и поддерживать в актуальном состоянии. Читать дальше →
artzcom

[Из песочницы] Netplan и как его правильно приготовить

2 месяца ago
Ubuntu потрясающая операционная система, давно не работал с Ubuntu server а обновлять свой Desktop со стабильной версии не было смысла. И вот не давно пришлось столкнутся со свеженьким релизом Ubuntu server 18.04, моему удивлению не было предела, когда я понял что я бесконечно отстал от жизни и не могу настроить сеть т.к старая добрая система настройки сетевых интерфейсов по средствам редактирования файла /etc/network/interfaces канула в лепту. А что же пришло ей на смену? что то ужасное и на первый взгляд совершенно не понятное, встречайте «Netplan».

Читать дальше →
WADAPSK

[Из песочницы] Небольшой бэкдор на Flask или как управлять компьютером в локальной сети

2 месяца ago
Привет, Хабр!

Недавно я посмотрел скачанную версию стрима по программированию «Как создать свое веб-приложение на Flask». И решил закрепить свои знания в каком-нибудь проекте. Долго не знал, что написать и мне пришла идея: «А почему бы не сделать мини-бэкдор на Flask?».

В голове тут же появились первые варианты реализаций и возможностей бэкдора. Но я решил сразу составить список возможностей бэкдора:

  1. Уметь открывать сайты
  2. Иметь доступ к командной строке
  3. Уметь открывать программы, фото, видео

Итак, первый пункт крайне легко реализовать при помощи модуля webbrowser. Второй пункт я решил реализовать при помощи модуля os. И третий – тоже через модуль os, но я буду использовать «ссылки»(об этом позже). Читать дальше →
robotd4
Выбранный
8 часов 1 минута ago
habrahabr.ru/hub/sys_admin/
Системное администрирование – Лишь бы юзер был доволен
Подписаться на лента habrahabr.ru/hub/sys_admin/