Mikrotik QOS в распределенных системах или умные шейперы

5 лет 1 месяц ago
А что бы вы со своей стороны могли предложить?
— Да что тут предлагать… А то пишут, пишут… конгресс, немцы какие-то… Голова пухнет. Взять все, да и поделить.
— Так я и думал, — воскликнул Филипп Филиппович, шлепнув ладонью по скатерти, — именно так и полагал.
М. Булгаков, «Собачье сердце»


image Про разделение скорости, приоритезацию, работу шейпера и всего остального уже много всего написано и нарисовано. Есть множество статей, мануалов, схем и прочего, в том числе и написанных мной материалов. Но судя по возрастающим потокам писем и сообщений, пересматривая предыдущие материалы, я понял — что часть информации изложена не так подробно как это необходимо, другая часть просто морально устарела и просто путает новичков. На самом деле QOS на микротике не так сложен, как кажется, а кажется он сложным из-за большого количества взаимосвязанных нюансов. Кроме этого можно подчеркнуть, что крайне тяжело освоить данную тему руководствуясь только теорией, только практикой и только прочтением теории и примеров. Основным костылем в этом деле является отсутствие в Mikrotik визуального представления того, что происходит внутри очереди PCQ, а то, что нельзя увидеть и пощупать приходится вообразить. Но воображение у всех развито индивидуально в той или иной степени.
Читать дальше →
Inlarion

Чем Fault Tolerant серверы отличаются от «бытового» ширпотреба на конкретном примере

5 лет 1 месяц ago

«Зеркальный» кластер с синхронными вычислительными процессами, вид спереди

Пока тут весь интернет кричит про наш отечественный жёсткий диск на целых 50 Мегабайт массой 25 килограмм, не очень-то понимая, что эта штука может пережить две ядерных войны на дне бассейна, расскажу про серьёзные отказоустойчивые серверы и их отличия от обычного железа. К счастью, к нам как раз поступили на тестирование такие, и была возможность хорошенько над ними поиздеваться.

Эти решения особенно интересны для админов. Дело в том, что они защищены не физически — кожухами, отказоустойчивыми интерфейсами или чем-то ещё, а на уровне именно архитектуры вычислений.

Нам в руки попал флагман ftServer 6800 от Stratus. Это корпус с двумя идентичными вычислительными узлами, объединёнными в один кластер, причем обе его половинки работают синхронно и делают одно и то же «зеркально». Это старая добрая «космическая» архитектура, когда вычислительный процесс проходит сразу два независимых аппаратных пути. Если где-то возникнет баг (не связанный с кривостью кода), то один из результатов точно достигнет цели. Это важно для критичных систем в самых разных областях от банкинга до медицины, и это очень важно там, где есть «тихая потеря данных». То есть там, где во весь рост встают баги процессоров, связанные с тем, что кристаллы всё же уникальные и двух одинаковых машин не бывает в природе. Обычно это не проявляется, но на ответственных задачах требуется защититься от случайного влияния помех и возможных более явных проблем. Поэтому вот так и сделано. Читать дальше →
GMogilev

Бюджетный «датацентр» на Nutanix CE

5 лет 1 месяц ago


Читающие наш блог не первый месяц знают, что год назад мы выпустили специальную версию ПО Nutanix, Nutanix Community Edition, который, в отличие от наших «взрослых» систем, продающихся вместе с аппаратной платформой, и стоящих довольно увесистых денег, можно скачать бесплатно, установить на свое железо подходящей конфигурации, и пользоваться. Да, на получившееся нет нашей классной (и даже русскоязычной!) поддержки (только наш англоязычный community-форум, впрочем, довольно активный и помогабельный), зато бесплатно, Карл! И хотя изначально мы планировали, что CE будет применяться в качестве учебной лабы, для экспериментов, знакомства с продуктом, и тому подобного, не секрет, что есть немало пользователей, которые решили взять CE и применить его в продакшне. Что-ж, это возможно, мы понимаем, времена для IT бюджетов в стране тяжелые, глупо было бы отказываться от такой возможности.
Но остается вопрос: как и из чего построить «идеальную платформу» под Nutanix CE, да так, чтобы и денег зря не потратить, и получить на выходе то, на что будет не страшно поставить продакшновые задачи. Поэтому в этой статье я попробую спроектировать такую dream-платформу под Nutanix CE с прикидкой на использование ее не в домашней лабе (о таком варианте я уже недавно писал в своем блоге), а для более или менее «боевых» задач.

Что-ж, начнем. Строить нашу «боевую» платформу под Nutanix CE мы будем вокруг материнской платы хорошо известной «в узких кругах» серверных сборщиков компании SuperMicro, наверное, самого именитого и популярного из вендоров Tier-2 разработчика серверных платформ.
Читать дальше →
nutanix

Как один админ зоопарк укрощал

5 лет 1 месяц ago

День добрый, уважаемые Хабраюзеры!


Я готовил этот пост ко Дню сисадмина, но не успел и упустил момент. Так что, дорогие наши сисадмины, с прошедшим вас праздником, эта показательная история, наверняка, будет знакома каждому из вас.


Итак, рассказ записан со слов сисадмина, внезапно ставшего владельцем целого «зоопарка».


Читать дальше →
aflex

[Из песочницы] 15 вещей, которые вы должны знать об Ansible

5 лет 1 месяц ago
Предлагаю читателям «Хабрахабра» перевод опубликованной на codeheaven.io статьи «15 Things You Should Know About Ansible» за авторством Marlon Bernardes.

В последнее время я много работал с Ansible и решил поделиться некоторыми вещами, которые выучил по пути. Ниже вы найдете список из 15 вещей, которые, как я думаю, вы должны знать об Ansible. Что-то пропустил? Просто оставьте комментарий и поделитесь вашими личными советами.
Читать дальше →
greatehop

Как мы ускорили PHP-проекты в 40 раз с помощью кэширования

5 лет 1 месяц ago


Вопросы SEO-оптимизации и улучшения User eXperience, которые в определенный момент встали перед командой Wrike, потребовали значительного увеличения скорости работы наших веб-проектов. На тот момент их было порядка десяти (основной сайт, блог, справочный центр и т. д.). Решение по ускорению проектов было выполнено на основе связки Nginx + fastcgi cache + LUA + LSYNC.

Читать дальше →
wrike_ops

Стоечный KVM для экономных

5 лет 1 месяц ago
Благодаря нашему ОпСоСу (оператору сотовой связи), поставившему к нам в офис 2G/3G базовую станцию, у нас наконец-то сделалась нормальная связь. Кроме того, вместе со станцией мы обрели новую стойку. Была договорённость, что в эту стойку мы перебросим еще и своё оборудование, потому что места было немного и третья стойка сильно мешала. И если серверное железо поместилось без проблем, то пристроить монитор было затруднительно. В стойке оставалось где-то 5U свободного места, что для полки с монитором недостаточно.

Вообще-то, мы очень любим стоечные KVM — максимум функционала при 1U размера, но совершенно не нравятся цены. 80 тыс.руб за то, что нас бы устроило.

А что если понищебродить попытаться сделать нечто подобное самостоятельно? После проверки склада, мы обнаружили что:

Читать дальше →
las68

Как не хранить секреты где придётся, или зачем нам Hashicorp Vault

5 лет 1 месяц ago

Vault header 


Задайте себе вопрос — как правильно хранить пароль от базы данных, которая используется вашим сервисом? В отдельном репозитории с секретами? В репозитории приложения? В системе деплоя (Jenkins, Teamcity, etc)? В системе управления конфигурациями? Только на личном компьютере? Только на серверах, на которых работает ваш сервис? В некоем хранилище секретов?
Зачем об этом думать? Чтобы минимизировать риски безопасности вашей инфраструктуры.
Начнём исследование вопроса с определения требований к хранению секретов.


Читать дальше →
bhavenger

Автоматизация установки обновлений на клиентскую машину с отсевом ошибочных обновлений

5 лет 1 месяц ago
Раз в год выходит обновление ломающее привычную работу. Windows пытается поставить его 3 раза, и если 3 раза был откат то она загружается без установки. Пользователи с утра начинают звонить. Если ничего не предпринять то на следующее утро ситуация повторится.
  • На WSUS сервере нет смысла перемещать его в Unapproved т.к. патч уже скачан на клиенскую машину и находится в папке SoftwareDistribution, надо удалять вручную
  • глючных патчей может быть много
  • через пол годика админ может по запарке его снова одобрить
  • если одобряем раз в полгода-год, отсев плохих от хороших займет до 1 дня работы на 1 машину (класс машин)
  • обновления одной конфигурации могут не подходить для другой конфигурации даже если ОС одна
  • состояние обновления скрытое будет сброшено если удалить SoftwareDistribution
  • SoftwareDistribution надо скидывать если глюкнула база, слишком долго идет поиск, а лучше делать это периодически

Это все неудобно, поэтому админ почти всегда сделает одно и то же — он отключит обновления на проблемной машине. А через годик или два он начнет накатывать обновления и столконется с этой же проблемой.

Т.к. глюк обновлений вызывает аварийный режим, жрет неимоверное количество времени персонала на абсолютно бессмысленную фигню, и с целью преехода к умной инфраструктуре было решено попробовать автоматизировать этот процесс. Попутно был получен скрипт который может установить все обновления на свежеустановленую машину в автоматическом режиме.

Сразу оговорюсь — данный скрипт не умеет ремонтировать систему которая не загружается вообще, он умеет сам ставить обновления, в автоматическом режиме выкидывать обновы вызывающих циклическую перезагрузку, имеет возможность вручную добавить плохие обноления в список и сигнализировать админу о возникших неполадках с установкой.
Читать дальше →
pak-nikolai

[Перевод] Мифы о FreeBSD

5 лет 1 месяц ago


FreeBSD хороша для серверов, но не для настольных компьютеров
У FreeBSD есть полнофункциональная звуковая подсистема c низкой задержкой, а смешивание в ядре позволяет нескольким приложениям воспроизводить звуки одновременно (с независимыми настройками громкости) без дополнительных настроек. Дефолтные настройки включают в себя X.org и настройки рабочего стола, такие как KDE или GNOME, это так же просто как выбрать метапакет в зависимости от того, какой вы предпочитаете. Читать дальше →
habit

Представляем 3CX Phone System v15 SP1 и тестируем систему на мини ПК вместо сервера

5 лет 1 месяц ago
Прежде всего, поздравляем всех читателей нашего блога с прошедшим Днем системного администратора! Особенно приятно отметить, что современный системный администратор выполняет и функцию связиста, которую традиционно выполняли отдельные сотрудники, особенно в крупных организациях. Это подтверждает истину о том, что сисадмин еще не скоро останется без работы. С другой стороны, наша система 3CX проектируется по принципу Zero Admin, что означает следующее — зарплата будет та же, а работы будет меньше.

По случаю праздника мы приготовили для вас два интересных подарка: выпуск 3CX v15 SP1 и обзор работы нашей системы на мини ПК, размером с небольшую книгу. Читать дальше →
snezhko

Распределение ресурсов в больших кластерах высокой производительности. Лекция в Яндексе

5 лет 1 месяц ago
Большинство сложных задач с данными требуют немалого количества ресурсов. Поэтому почти у каждого дата-центра в мире не один, а множество клиентов — даже если все они выступают под общим брендом. Компаниям нужны мощности под самые разные сервисы и цели, да и в процессе достижения какой-нибудь одной из них приходится иметь дело с целым набором подзадач. Как дата-центру справиться с потоком желающих что-нибудь проанализировать или посчитать? Поступающие заказы на вычисления нужно выполнять в некотором порядке, стараясь никого не обделить ресурсами. Эта лекция — об основных методах распределения реальных задач на большом кластере. Способ, о котором рассказал Игнат Колесниченко, применяется для обслуживания почти всех сервисов Яндекса.

Игнат — руководитель одной из групп в нашей службе технологий распределенных вычислений. Окончил мехмат МГУ и Школу анализа данных, в Яндексе с 2009 года.



Под катом — подробная расшифровка лекции и слайды.
Читать дальше →
Leono

Экспресс-офис PRO от MegaFon — офисная телефония за пару часов

5 лет 1 месяц ago
На новоселье в квартиру или дом первой принято пускать кошку. В офисной жизни есть своя верная примета — в офис первыми должны входить телефония и интернет. Объяснение этому очень простое: записать данные о сделке можно на бумажке, посидеть — на коробках с вещами, а вот не ответить на звонок или сообщение означает потерять клиента, а в условиях высокой конкуренции — просто отдать противнику. Не секрет, что офисная телефония требует затрат, причём не только денежных — от решения начать работать до первого звонка нередко проходит непозволительно много времени. Я тоже так думал (что греха таить, и делал), пока мне в руки не попал комплект «Экспресс-офис PRO», анонсированный Мегафоном как комплексное решение для организации связи в офисе. Знакомство оказалось приятным. Читать далее
megapost

Вечер 31 декабря

5 лет 1 месяц ago


Админ: А давайте прошивки роутеров обновим.
CIO: Пятница 31 декабря, вечер. Конечно, давай, что может случиться?
Админ: Вот видишь, всё нормально работает. А ты пяяятница, вееечер…
CIO: Иди сюда.
Админ: Чего?
CIO: Иди-иди. Читай.
Админ: Коннекшн фаулт. Ну, отвалилось чего-то. Это чья консоль?
CIO: Это – продакшн-сервера.
Читать дальше →
Jmp3r

Фишинг на новом уровне: Cloudflare + Protonmail + Unvalidated Redirects – набор юного фишера

5 лет 1 месяц ago
«… ты приходишь и просишь что-то у меня, но ты просишь без уважения …»
Вито Корлеоне
Фишинг все еще самый популярный и самый успешный тип хакерских атак. Все просто, атакуются не софт, не сервера, не сети, а самые уязвимые компоненты информационных систем – пользователи. Я часто встречаюсь с фишингом, как единичными, направленным на личные адреса, так и массовыми атаками. В большинстве случаев это неумело составленные письма и коряво сварганенные фишинг страницы. До недавнего времени большинство таких атак срывалось уже на уровне пользователей: письма или сразу игнорировались (так как признаки фишинга были очень явными) или, в худшем случае, письма перенаправлялись в службу поддержки с вопросом «безопасно ли вводить пароль на этой странице?». Конечно, какая-то часть пользователей все-таки попадалась, но в процентном соотношении это был реально минимум. Но буквально на прошлой неделе я столкнулся с фишинг атакой, уровень которой меня удивил. Я провел небольшой анализ, и выяснил как именно она была организована и какие инструменты были при этом использованы.
Читать дальше →
EminH

Как мы переделали сеть «Аэроэкспресса»: интересный пример скачка на уровень вверх

5 лет 1 месяц ago


«Аэроэкспресс» — молодая компания. Пару лет назад, когда мы начали реализовывать проект по модернизации сети передачи данных, компания очень быстро развивалась. Настолько быстро, что их внутренний ИТ-отдел в какой-то момент понял: пора переделывать сеть, потому что пунктов продажи билетов и других терминалов стало слишком много и ручные процедуры настройки сети уже давно пора заменять. Это логический этап в эволюции любой компании. На этом этапе заказчик продумал правильную архитектуру и начал оптимизировать инфраструктуру с учётом запаса прочности при дальнейшем масштабировании мощностей. Цель — сделать всё и с первого раза, чтобы избежать возможных проблем в будущем.

Основная задача заключалась в разделении корпоративной сети, в одной из которых находятся пользователи и терминалы касс, а в другой осуществляются непосредственно денежные транзакции. Пересекаться они ни в коем случае не должны. Идеальный выход в данной ситуации — физически разграничить сети, то есть построить две независимых. Однако это довольно дорого. Поэтому почти идеальным решением стал правильный выбор и настройка сетевого оборудования. В нашем случае это были аппаратные фаерволы.

Следующей задачей стало обеспечение возможности продавать билеты, даже если метеориты попадут в два любых случайных объекта инфраструктуры (включая дата-центр «Аэроэкспресса» и коммутаторы ядра М9).

И ещё — сделать IP-телефонию внутри компании, способной работать даже при физическом отключении от интернета.

Параллельно мы подняли Ethernet поверх IP (MAC по IP) и сделали ещё пару забавных и полезных фич. Читать дальше →
AVrublev

С днем системного администратора

5 лет 1 месяц ago
Поздравляю всех с праздником. С днем системного администратора, коллеги!

Желаю долгого аптайма, безглючного железа, стабильного коннекта, адекватных пользователей и пряморуких электриков!

XogN

[Из песочницы] Full Disk Encryption (FDE)

5 лет 1 месяц ago
В большинстве случаев шифрование диска является излишним или даже вредным. Однако, когда дело касается ноутбука, паранойя не помешает. Получив в руки новый ноутбук, именно шифрованием диска я первым делом и озаботился.

На данный момент во многих дистрибутивах уже из коробки предоставляется возможность создавать шифрованные разделы. Однако, все те варианты, что мне попадались, предусматривают нешифрованный /boot. Не критичное, но неприятное упущение. Информация о том, как сделать полностью шифрованный диск, ищется в интернете достаточно легко, но подавляющая её часть на английском языке и некоторые подводные камни всё же не описаны. Я постараюсь наиболее кратко, понятно и по шагам объединить эту информацию в одном тексте.
Читать дальше →
Innominatus

Docker Volume plugin для Nutanix в AOS 4.7

5 лет 1 месяц ago


Я уже кратко упоминал о том, что в июльском релизе в Nutanix появилась фича, которую мы назвали Acropolis Container Services, и первое ее применение — поддержка инфраструктуры Docker на кластере Nutanix, в нашем собственно бесплатном гипервизоре AHV (Acropolis Hypervisor, форк и глубокая модификация KVM).
О том, что такое Docker я рассказывать не буду, на Хабре есть хорошая статья. А то, почему Nutanix занялся контейнерной виртуализацией лучше тысячи слов скажет одна картинка, которую я, пока писал эту статью, сделал в Google Trends.
Читать дальше →
nutanix

[Из песочницы] Универсальный https c использованием ГОСТ сертификата

5 лет 1 месяц ago
При попытках организовать https-соединения для различных web-сервисов с использованием ГОСТ-шифрования всегда оставались вопросы с посетителями, браузеры которых не поддерживают ГОСТ-алгоритмы. Логичным казалось решение при установке https-соединения отдавать клиенту сертификат в зависимости от поддерживаемых его системой алгоритмов, но до недавнего времени практические реализации такого подхода мне не встречались.
Читать дальше →
mrdoger
Checked
7 часов 37 минут ago
habrahabr.ru/hub/sys_admin/
Системное администрирование – Лишь бы юзер был доволен
Подписаться на лента habrahabr.ru/hub/sys_admin/