Переход с Redshift на ClickHouse

1 месяц 4 недели ago


Долгое время в iFunny использовался Redshift в качестве базы данных для событий, которые происходят в сервисах бэкенда и мобильных приложениях. Его выбрали потому, что на момент внедрения, по большому счёту, не было альтернатив, сравнимых по стоимости и удобству.

Однако всё изменилось после публичного релиза ClickHouse. Мы долго его изучали, сравнивали стоимость, прикидывали примерную архитектуру и вот, наконец, этим летом решились посмотреть, насколько он нам полезен. Из этой статьи вы узнаете о том, какую проблему нам помогал решить Redshift, и как мы перенесли это решение на ClickHouse.
Читать дальше →
kubus

[Перевод] Проверки работоспособности и постепенная деградация распределенных систем

2 месяца ago

Как всегда, спасибо Фреду Хеберту и Саргуну Дхиллону за то, что прочли черновик этой статьи и предложили нескольких бесценных советов.


В своем докладе о скорости Тамар Берковичи из Box подчеркнула важность проверок работоспособности при автоматическом аварийном переключении баз данных. В частности, она отметила, что мониторинг времени выполнения сквозных запросов, как метод определения работоспособности базы данных, — лучше, чем простое эхо-тестирование (пингирование).


... перебрасывая трафик на другую ноду (реплику), чтобы устранить бездействие, надо построить средства защиты от дребезга и других пограничных ситуаций. Это не сложно. Фокус при организации эффективной работы в том, чтобы знать, когда перевести базу данных в первую позицию, т.е. надо быть в состоянии правильно оценить работоспособность базы данных. Сейчас многие параметры, на которые мы привыкли обращать внимание, — например, загрузка процессора, время ожидания блокировки, частота ошибок, — являются вторичными сигналами. Ни один из этих параметров на самом деле не говорит о способности базы данных к обработке клиентского трафика. Поэтому, если используете их для принятия решения о переключении, можете получить как ложноположительные, так и ложноотрицательные результаты. Наше устройство проверки работоспособности фактически выполняет простые запросы к узлам базы данных и использует данные о выполненных и невыполненных запросах для более точной оценки работоспособности базы данных.

Я обсудила это с другом, и он предположил, что проверки работоспособности должны быть предельно простыми, и что реальный трафик — это лучший критерий для оценки работоспособности процесса.

Читать дальше →
nAbdullin

Zabbix Review: как организовать code review для конфигурации мониторинга

2 месяца ago

Code review — инженерная практика в терминах гибкой методологии разработки. Это анализ (инспекция) кода с целью выявления ошибок, недочетов, расхождения в стиле написания кода и понимания, решает ли код поставленную задачу.



Сегодня расскажу о том, как мы организовали процесс review для конфигурации мониторинга в Zabbix. Статья будет полезна тем, кто работает с системой мониторинга Zabbix, как в большой команде, так в одиночку, даже если у вас «десять хостов, что там ревьюить».

Читать дальше →
allburov

Перенос конфигурации АТС в сервис 3CX PBX Express

2 месяца ago
В этой статье мы расскажем, как в сервисе 3CX PBX Express восстанавливать резервные копии существующих инсталляций АТС. Возможность восстановления конфигурации позволяет, например, переместить локальный сервер в облако, сменить хостинг или восстановить АТС в облаке после серьезного локального сбоя. Единственное требование при перемещении конфигурации — опция «Данные лицензии и FQDN имени» в резервной копии должна быть включена.

Перед перемещением вашей АТС в сервис PBX Express обратите внимание на следующее: Читать дальше →
snezhko

[Из песочницы] OpenVPN c расширенной аутентификацией и авторизацией

2 месяца ago
В статье рассматривается настройка OpenVPN c дополнительными фичами:

  • сертификаты на токенах для первичной аутентификации (на примере Rutoken)
  • LDAP-бекенд для вторичной аутентификации (на примере ActiveDirectory)
  • фильтрация внутренних ресурсов, доступных для пользователяx (через iptables)

Так же описана настройка клиентов под Linux, Windows и MacOS.
Читать дальше →
teksisto

Пакеты и пакетные менеджеры для k8s

2 месяца ago
Все мы пользуемся каким-либо видом пакетных менеджеров, включая уборщицу тетю Галю, у которой в кармане прямо сейчас обновляется айфон. Но общего соглашения о функциях пакетных менеджеров нет, и стандартные для ОС rpm и dpkg, и системы сборки называют пакетными менеджерами. Предлагаем поразмышлять на тему их функций — что это такое и для чего они нужны в современном мире. А потом будем копать в сторону Kubernetes и внимательно рассмотрим Helm с точки зрения этих функций.


Разберемся, почему на этой схеме только функция шаблонизатора выделена зеленым, и в чем проблемы со сборкой и пакетированием, автоматизацией окружения и прочим. Но не беспокойтесь, статья не закончится на том, что все плохо. Сообщество не могло с этим смириться и предлагает альтернативные инструменты и решения — разберемся и с ними.

Помог нам в этом Иван Глушков (gli) своим докладом на РИТ++, видео и текстовая версия этого подробного и обстоятельного выступления ниже.

Видеозаписи этого и других выступлений по DevOps на РИТ++ опубликованы и открыты для свободного просмотра на нашем youtube-канале — заходите в поисках ответов на свои рабочие вопросы.
Читать дальше →
osminog

Быстрая настройка СХД Аэродиск Engine

2 месяца ago


Мы продолжаем вас знакомить с российскими системами хранения данных AERODISK ENGINE N-серии. Предыдущая – вводная – статья находится здесь. Также у ребят появился свой YouTube канал с обучающими видео по настройке и работе с системой. А еще перед новым годом Аэродиск запустил промо-программу, в рамках которой можно купить СХД со скидкой до 60%! Предложение, на наш взгляд, отличное.

В этот раз Аэродиск нам предоставил систему хранения ENGINE N2 в All-flash конфигурации для самостоятельного изучения и настройки, и мы поделимся этим опытом.
В рамках знакомства с ENGINE мы сделаем цикл из 3-х статей:

  1. Базовая настройка
  2. Краш тесты
  3. Нагрузочные тесты

В рамках этой статьи мы выполним базовую настройку СХД: презентуем LUN-ы и файловые шары хосту, а также оценим юзабилити интерфейса управления. До этого мы прошли однодневный курс обучения по работе с системой и почитали документацию. Читать дальше →
LeonidPanasenko

[Перевод] Как мы две недели охотились на баг NFS в ядре Linux

2 месяца ago
Подробное описание поисков бага из задачи GitLab, которые привели к патчу для ядра Linux

14 сентября служба поддержки GitLab сообщила о критической проблеме, которая возникла у одного из наших клиентов: сначала GitLab работает нормально, а потом у пользователей возникает ошибка. Они пытались клонировать некоторые репозитории через Git, и вдруг появлялось непонятное сообщение об устаревшем файле: Stale file error. Ошибка сохранялась надолго и не давала работать, пока системный администратор вручную не запускал ls в самом каталоге.


Пришлось изучать внутренние механизмы Git и сетевой файловой системы NFS. В итоге мы нашли баг в клиенте Linux v4.0 NFS, Тронд Мюклебуст (Trond Myklebust) написал патч для ядра, и с 26 октября этот патч входит в основное ядро Linux.


В этом посте я расскажу, как мы изучали проблему, в каком направлении думали и какие инструменты использовали, чтобы отследить баг. Мы вдохновлялись отличной детективной работой Олега Дашевского, описанной в посте «Как я две недели охотился за утечкой памяти в Ruby».


Читать дальше →
nAbdullin

Нужна ли вам SD-WAN?

2 месяца 1 неделя ago

Если раньше большинство корпоративных сетей не выходили за пределы офиса компании, то сегодня они расширяются на дата-центры, сервис-провайдеров и облака. Облака становятся популярным местом размещения ИТ-ресурсов, приложений и сервисов. По данным аналитических исследований, почти у 90% компаний по крайней мере некоторые из приложений или часть ИТ-инфраструктуры перенесены в облака. Вместе с тем увеличивается зависимость бизнеса от надежных сетевых соединений, растут потребности в гибкости, масштабируемости и эффективности глобальных сетей (WAN), необходимых для функционирования компаний с распределенной структурой. По прогнозам аналитиков, к 2025 году 80% компаний откроют новые филиалы, и их бизнес будет еще больше зависеть от облаков. Компаниям требуется WAN, работающая так же быстро и надежно, как локальная сеть.
Читать дальше →
Zyxel_Russia

Kubernetes tips & tricks: о выделении узлов и о нагрузках на веб-приложение

2 месяца 1 неделя ago


В продолжение наших статей с практическими инструкциями о том, как облегчить жизнь в повседневной работе с Kubernetes, рассказываем о двух историях из мира эксплуатации: выделении отдельных узлов под конкретные задачи и конфигурации php-fpm (или другого сервера приложений) под большие нагрузки. Как и прежде, описанные здесь решения не претендуют на идеал, а предлагаются как отправная точка для ваших конкретных случаев и почва для размышлений. Вопросы и улучшения в комментариях — приветствуются! Читать дальше →
Wimbo

Чек-лист по настройкам безопасности Check Point

2 месяца 1 неделя ago


Относительно недавно мы опубликовали в открытый доступ мини-курс "Check Point на максимум". Там мы попытались вкратце и с примерами рассмотреть самые частые ошибки в конфигурации Check Point с точки зрения ИБ. По сути мы рассказали чем плохи настройки по умолчанию и каким образом «закрутить гайки». Курс (неожиданно для нас) получил довольно хорошие отзывы. После чего, к нам поступило несколько запросов на краткую «выжимку» этого материала — чек-лист по настройкам безопасности. Мы решили, что это неплохая идея, в связи с чем и публикуем эту статью.

Перед началом мне хотелось бы сделать акцент на двух вещах:

  1. Данный чек-лист не является самодостаточным документом или руководством. Это лишь необходимый минимум проверок, которые желательно сделать. Дополнительные (расширенные) рекомендации можно получить только после детального обследования инфраструктуры.
  2. Чек-лист будет актуален не только для владельцев Check Point. Аналогичные проблемы с дефолтными настройками наблюдаются и у других вендоров: Fortigate, PaloAlto, Cisco FirePower, Kerio, Sophos и т.д.

А теперь сам чек-лист с небольшими комментариями по каждому пункту: Читать дальше →
cooper051

WireGuard — прекрасный VPN будущего?

2 месяца 1 неделя ago

Наступило время, когда VPN уже не является каким-то экзотическим инструментом бородатых сисадминов. Задачи у пользователей разные, но факт в том, что VPN стал нужен вообще всем.


Проблема текущих VPN решений в том, что их тяжело правильно настроить, дорого обслуживать, а так же в них полно legacy кода сомнительного качества.


Несколько лет назад канадский специалист по информационной безопасности Jason A. Donenfeld решил, что хватит это терпеть, и начал работу над WireGuard. Сейчас WireGuard готовится к включению в состав ядра Linux, он даже получил похвалы от Линуса Торвальдса и в американском сенате.


Заявленные преимущества WireGuard над другими VPN решениями:


  • Простой в использовании.
  • Использует современную криптографию: Noise protocol framework, Curve25519, ChaCha20, Poly1305, BLAKE2, SipHash24, HKDF и т.д.
  • Компактный читаемый код, проще исследовать на уязвимости.
  • Высокая производительность.
  • Четкая и проработанная спецификация.

Неужели найдена серебрянная пуля? OpenVPN и IPSec пора закапывать? Я решил с этим разобраться, а заодно сделал скрипт для автоматической установки личного VPN сервера.

Читать дальше →
supervillain

[Перевод] Секреты сборки и пересылка SSH в Docker 18.09

2 месяца 1 неделя ago
image

Используя Dockerfile, всегда было сложно получить доступ к частным ресурсам. Хорошего решения просто не было. Использовать переменные среды или просто удалять секретные файлы после использования не годится: они остаются в метаданных образа. Пользователи порой шли на ухищрения: создавали многоступенчатые сборки, однако все равно приходилось соблюдать крайнюю осторожность, чтобы на финальном этапе не было секретных значений, а секретные файлы до отсечения хранились в локальном кэше сборки.


Команда сборки Docker 18.09 включает множество обновлений. Основная особенность — в том, что появился абсолютно новый вариант реализации серверной части, он предлагается в рамках проекта Moby BuildKit. Серверное приложение BuildKit обзавелось новыми функциями, среди которых — поддержка секретов сборки Dockerfile.

Читать дальше →
nAbdullin

[Из песочницы] Простое управление сетевыми портами

2 месяца 1 неделя ago
Всем привет!
Я представляю небольшой отдел инфраструктуры одного очень большого государственного центра.

У нас накопилось много интересных решений, во всяком случае нам так кажется и мы решили завести блог, возможно кому то наши наработки будут полезны.

Итак, поехали! Читать дальше →
overdigital

Представляем 3CX v16 Alpha и обновленный 3CX WebMeeting

2 месяца 1 неделя ago
Обзор новой версии 3CX v16 Alpha
Перед началом новогодних каникул мы напряженно работаем над новейшей версией нашей АТС 3CX v16. В ней мы представим как новые интересные возможности, так и улучшения старых. А сейчас предлагаем обзор новой системы и Alpha-версию для тестирования! Читать дальше →
snezhko

mRemoteNG снова торт

2 месяца 1 неделя ago
Если вы администратор нескольких десятков Windows и Linux серверов, пачки коммутаторов и маршрутизаторов, то без менеджера удаленных подключений можно быстро и надёжно сойти с ума.

TL;DR. mRemote, разработка которой была давным-давно заброшена, обрела новую жизнь. Если вы пользуетесь RDCMan или Remote Desktop free от Devolutions — попробуйте mRemoteNG!
Читать дальше →
gotch

Kubernetes 1.13: обзор основных новшеств

2 месяца 1 неделя ago


В начале этой недели состоялся очередной релиз Kubernetes, который окрестили «ангельским», — 1.13. Такое название связано с числом 113, которое считается «ангельским» и, со слов разработчиков Kubernetes, символизирует «новые начинания, трансформацию и конец одной главы перед открытием новых». Не вдаваясь в дальнейший анализ символизма происходящего, по уже сложившейся для нашего блога традиции, мы в седьмой раз расскажем о ключевых изменениях в новой версии Kubernetes, что призваны порадовать DevOps-/SRE-инженеров, работающих с этим продуктом.

В качестве источников информации мы оперировали данными из таблицы Kubernetes enhancements tracking, CHANGELOG-1.13 и сооветствующих issues, pull requests, Kubernetes Enhancement Proposals (KEP). Читать дальше →
distol

Storage Class Memory в СХД — если вам нужно еще побыстрее

2 месяца 1 неделя ago
Картинка не выражает позицию компании и является личным видением автора, не обязательно связанным с темой данного текста, аминьКак вы наверное помните, НРЕ давно вкладывается в тему новых типов хранилищ данных (конечно, The Machine) и в оптимизацию доступа к хранилищам (наше членство в консорциуме Gen-Z).

Цель этого движения — ускорить работу приложений наших заказчиков. Причем движение это многоуровневое: пока куется совершенно новая архитектура вычислительных систем The Machine (т.н. памяте-центричная архитектура), мы понимаем, что ускоряться нужно уже сейчас. Давайте посмотрим что можно сделать сегодня, и что появится у HPE завтра. Подсказка — речь пойдет о сильном ускорении наших СХД 3PAR и Nimble с помощью умного и относительно бюджетного кэширования на Storage Class Memory (SCM) в форме Intel Optane.
Если вам интересно а что же еще тут можно добавить, то пройдемте
Tigger

Изменение глобальных настроек на локальных серверах команд в инфраструктуре используя Gitlab CI и Ansible [Концепт]

2 месяца 1 неделя ago

В этой статье описывается возможность/идея/концепт изменения глобальных настроек на локальных серверах команд в большой инфраструктуре используя Gitlab CI и Ansible.


Допустим у вас имеются 20 команд разработчиков и 1 команда админов/DevOps. Как менять на всех серверах пароли админов? Как добавить корневой сертификат Предприятия на все сервера? И т.д.

Читать дальше →
chemtech

Базы данных и Kubernetes (обзор и видео доклада)

2 месяца 1 неделя ago
8 ноября в главном зале конференции HighLoad++ 2018, в рамках секции «DevOps и эксплуатация», прозвучал доклад «Базы данных и Kubernetes». В нём рассказывается о высокой доступности баз данных и подходах к отказоустойчивости до Kubernetes и вместе с ним, а также практических вариантах размещения СУБД в кластерах Kubernetes и существующие для этого решения (включая Stolon для PostgreSQL).



По традиции рады представить видео с докладом (около часа, гораздо информативнее статьи) и основную выжимку в текстовом виде. Поехали! Читать дальше →
distol
Выбранный
7 часов 39 минут ago
habrahabr.ru/hub/sys_admin/
Системное администрирование – Лишь бы юзер был доволен
Подписаться на лента habrahabr.ru/hub/sys_admin/