Шейпер для Linux в пользовательском пространстве (NFQUEUE-based)

1 год 10 месяцев ago
Времена узких интернет-каналов постепенно уходят в прошлое, но иногда еще бывает нужно шейпить сетевой трафик. В Linux для этого есть соответствующие механизмы ядра и утилиты для управления механизмами. Все это хозяйство довольно сложно устроено, обычно постижение шейпинга занимает не один день. Хотя, в простых случаях можно накопипастить заклинания tc из статей или найти скрипт, который эти заклинания генерирует.

Как человеку любознательному, всегда было интересно, можно ли сделать процесс настройки шейпинга для небольших сетей проще? Можно ли хотя бы грубо детектировать важный трафик и отделять его от неважного без DPI и сигнатурного анализа? Можно ли шейпить трафик в любых направлениях без создания псевдо-интерфейсов или добавления модулей в ядро? И вот, после некоторых размышлений и гуглежа, решил написать простой шейпер в userspace. Чтоб попробовать ответить на вопросы экспериментом.
Читать дальше →
vmx

Как мы неделю чинили compaction в Cassandra

1 год 10 месяцев ago

Основным хранилищем метрик у нас является cassandra, мы используем её уже более трех лет. Для всех предыдущих проблем мы успешно находили решение, используя встроенные средства диагностики кассандры.


В кассандре достаточно информативное логгирование (особенно на уровне DEBUG, который можно включить на лету), подробные метрики, доступные через JMX и богатый набор утилит (nodetool, sstable*).


Но недавно мы столкнулись с одной достаточно интересной проблемой, и нам пришлось серьезно поломать голову, почитать исходный код кассандры, чтобы разобраться, что происходит.

Читать дальше →
NikolaySivko

[Из песочницы] Исследование и доработка IP-видеосервера на базе Orange Pi PC

1 год 10 месяцев ago


Около полугода назад мне достался миниатюрный видеосервер, применение которому я нашёл в арендуемом для мотоцикла гараже, где он всё это время благополучно работал в связке с двумя китайскими NoName IP-камерами, худо-бедно поддерживающими ONVIF, и 3G-модемом, что позволяло мне удалённо посмотреть видео с камер при оповещениях о детекции движения, к счастью совпадавшими пока только с моим приходом в гараж. Не дал этому микросерверу спокойно работать дальше я сам, так как, ещё когда только получил его в руки, из любопытства разобрал и неожиданно для себя обнаружил, что построен он на одноплатнике Orange Pi PC, который незадолго до этого, благодаря низкой цене, широко освещался в интернете, в том числе и на Geektimes, поэтому я примерно представлял его возможности.

Собственно, спустя полгода использования, в дополнение к основным функциям видеосервера мне захотелось задействовать гребёнку GPIO на его борту для подключения датчика дыма, датчика открытия двери и реле для включения сирены. Самым интересным и, на мой взгляд, сложным этапом этого хобби-проекта, я решил поделиться с сообществом, надеясь получить советы по дальнейшему развитию. Внимание: описанные дальше действия, скорее всего, лишили меня гарантии на устройство, я производил их на свой страх и риск и привожу лишь как пищу для ума, но не руководство к действию. Читать дальше →
motorcycle

Вышел Zabbix 3.2

1 год 10 месяцев ago


Хотим сообщить о выходе новой версии open source системы мониторинга Zabbix. Релиз несет принципиально новые возможности такие как:

  • Дополнительные поля событий (тэги)
  • Ручное закрытие проблем
  • Корреляцию событий
  • Вложенные группы узлов сети
  • Определение отдельных условий для создания аварий и их восстановления
  • Non-strict расчет триггерных выражений
  • Интерфейс в подгружаемых модулях для репликации исторических данных во внешнее хранилище

…и многое другое. Под катом кратко расскажем о некоторых нововведениях
Читать дальше →
wabbit

[Из песочницы] Как мы помогли вернуть клиенту 60 тысяч долларов, начисленных за международную связь

1 год 10 месяцев ago
История эта приключилась с одним крупным брендом, работающий на внутреннем рынке не самой маленькой южной страны бывшего СССР, назовём его просто — БРЕНД.

— Сеть построена на Cisco с небольшими вкраплениями из свичей и серверов от HP. VPNы до штаб-квартиры и удалённых офисов;
— Интернет по собственному оптоволокну от одного из ведущих провайдеров столицы;
— ISDN-телефония от другой тоже весьма известной международной компании. На эти номера привязана реклама, так что отказаться от них нельзя!
— Собственный штат IT-специалистов у БРЕНДа небольшой и постоянно задействован в решении текущих задач, поэтому активно пользуется услугами IT-аутсорсинга;
— Ежемесячные траты БРЕНДа только на услуги связи составляют около 3000$, что является у нас весьма неплохим показателем и выводит в VIP, и вроде бы всё было хорошо, но вдруг приходит счёт сначала на 20K$, а потом еще на 40К$.
Читать дальше →
Technounit

Как получить много сервера за мало денег: варианты земные и облачные

1 год 10 месяцев ago

image alt text


В комментариях к одной из прошлых статей про выбор сервера 1С подняли любопытный вопрос рациональности конфигурации "на вырост". Я решил осветить этот вопрос подробнее, с учетом нескольких вариантов приобретения сервера и аренды ресурсов в публичном облаке. Постараемся потратить бюджет с максимальной пользой для дела.

Читать дальше →
dimskiy

Azure Active Directory теперь и в новом ARM портале

1 год 10 месяцев ago
Последние недели очень богаты на приятные новости по инфраструктурным службам Microsoft Azure. Это и новый функционал peering для виртуальных сетей и улучшения связанные с управлением службой резервного копирования. Вчера появилась очередная новость, которой пользователи Azure ждут уже, пожалуй, последние пол года.

Управление Azure Active Directory теперь доступно в новом ARM портале. Правда пока только в preview и для некоторых задач вам придётся вернуться на Classic портал, но разработчики чётко обозначили свою позицию — новый функционал будет появляться только в ARM портале и весь функционал старого будет в скором времени перенесён сюда же. Некоторые подробности под катом.
Читать дальше →
Aivendil

[Из песочницы] Настраиваем автоматическое получение пароля для VPN на Mikrotik

1 год 10 месяцев ago
Предыстория
В связи с введением в нашей стране блокировок некоторых ресурсов (не будем показывать пальцем), понадобилось мне реализовать к ним доступ через VPN. К слову говоря, пользуюсь я этими ресурсами не так часто, но пользуюсь. И казалось бы, что проще. Есть сегодня целая куча различных сервисов предоставляющих VPN доступ.

Однако платить за сервис несколько десятков долларов и пользоваться им несколько раз в месяц я посчитал нецелесообразно. Тогда мой выбор пал на бесплатные VPN. Одним из таких является сервис vpnbook. Для моих требований его предостаточно, но вот незадача — пароль для доступа к VPN по PPTP периодически меняется. И при каждой его смене заходить на сайт копировать его и настраивать соединение на роутере — честно говоря лень. А говорят, что «лень – двигатель прогресса». В моем случае это так. Надо что-то делать…
Читать дальше →
12pz21

[Перевод] Сине-зеленый деплой

1 год 10 месяцев ago

Я и мои коллеги всегда склоняем своих клиентов полностью автоматизировать процесс деплоя. Автоматизация помогает сократить количество конфликтов и задержек, которые возникают в процессе между "завершением" работы над программой и введением в эксплуатацию. Дэйв Фарли (Dave Farley) и Джез Хамбл (Jez Humble) заканчивают книгу "Непрерывная доставка" (Continuous Delivery) на эту тему. Она основывается на множестве идей, которые в целом связаны с непрерывной интеграцией и подталкивают к возможности быстро пустить софт в работу. Глава о сине-зеленом деплое привлекла мое внимание, потому что это один из малоиспользуемых методов, и я решил кратко его осветить.

Читать дальше →
freetonik

Терабайты и тебибайты, тарификация трафика, последствия непонимания различия и как сэкономить на видео-онлайн проекте

1 год 10 месяцев ago
Не так давно у нас случился интересный инцидент, который действительно требует отдельного освещения и поможет избежать возможных недоразумений в будущем. Случай в своем роде уникальный, ведь клиентка, с которой мы успешно сотрудничали практически со дня своего официального открытия (2009-го года, 7 лет работы!), обвинила нас в мошенничестве и весьма странном учете трафика.

И тут причина была не только в недостаточной осведомленности клиентки, но и администраторов, которые банально не заметили разницы, либо также не осознавали её. Именно по этой причине мы решили разобрать данный случай.
Читать дальше →
HostingManager

Как обезопасить Linux-систему: 10 советов

1 год 10 месяцев ago
На ежегодной конференции LinuxCon в 2015 году создатель ядра GNU/Linux Линус Торвальдс поделился своим мнением по поводу безопасности системы. Он подчеркнул необходимость смягчения эффекта от наличия тех или иных багов грамотной защитой, чтобы при нарушении работы одного компонента следующий слой перекрывал проблему.

В этом материале мы постараемся раскрыть эту тему с практической точки зрения:



/ фото Dave Allen CC
Читать дальше →
1cloud

[Из песочницы] PowerShell. Пользовательские функции для пользователей

1 год 10 месяцев ago
Привет! Довольно часто в своей работе приходиться пользоваться самостоятельно написанными функциями и таскать куски кода между разными скриптами. На Хабре уже есть довольно хорошая статья про Повторное использование кода от Mroff, но была необходимость пойти немного дальше, задокументировать и как-то описать свои функции. Как оказалось, поиск выдавал довольно сухую информацию в основном по общей структуре функции и не более того. Упорство было вознаграждено, и я решил поделиться полученной информацией. Добро пожаловать под кат, где мы научимся вносить в свои функции информацию для потомков и коллег.
Читать дальше →
skazi_premiere

Создаем локализованное системное голосовое меню в 3CX

1 год 10 месяцев ago

3CX поставляется в набором системных голосовых сообщений для наиболее распространенных языков. Но если вы хотите локализовать голосовой набор для языка, которого нет в системе, либо в соответствии с корпоративным стилем вашей компании, рекомендуем ознакомиться с этой статьей.

Читать дальше →
snezhko

Мониторинг сетевого стека linux

1 год 10 месяцев ago

Часто мониторинг сетевой подсистемы операционной системы заканчивается на счетчиках пакетов, октетов и ошибок сетевых интерфейсах. Но это только 2й уровень модели OSI!
С одной стороны большинство проблем с сетью возникают как раз на физическом и канальном уровнях, но с другой стороны приложения, работающие с сетью оперируют на уровне TCP сессий и не видят, что происходит на более низких уровнях.


Я расскажу, как достаточно простые метрики TCP/IP стека могут помочь разобраться с различными проблемами в распределенных системах.

Читать дальше →
NikolaySivko

Как создавать работающие правила и инструкции, не наживая себе врагов

1 год 10 месяцев ago

Разбавим череду сугубо технических материалов вопросом борьбы с пользовательским противодействием. Если ваши инструкции тоже читают невнимательно и не следуют банальным правилам информационной гигиены, то обязательно присоединяйтесь к обсуждению.


Нет такого системного администратора, которому не приходилось бы разрабатывать инструкции по использованию корпоративных систем и участвовать во внедрении местной ИТ-политики. Но стремления упорядочить работу пользователей и избежать массы проблем для администратора порой наталкиваются на стену непонимания и молчаливого (или бурного) протеста. Инструкции читаются редко, а исполняются еще реже. Сотрудники используют анонимайзеры для обхода блокировок социальных сетей, наклеивают на монитор стикеры с паролями и в остальном делают по-своему.

Читать дальше →
dimskiy

Черный ящик для дома: собираем NAS своими руками, часть 1

1 год 10 месяцев ago
Будь я работником макаронной фабрики, то сейчас ломал бы голову над тем, куда девать этак 500 упаковок макарон по полкило штука. К счастью, когда начальство решает премировать сисадмина “натурой”, получение в подарок фургона сухого пайка не грозит, хотя имеются неплохие шансы стать обладателем нескольких десятков килограмм откровенного лома. Однако в этот раз мне повезло – в качестве корпоративного подарка я получил пару новеньких WD Re 2004FBYZ на 2 терабайта каждый, и блок питания Thermaltake Smart DPS G 750W. Вот только что делать с дисками? Ставить в домашний комп – слишком расточительно даже для меня, все-таки Enterprise Class, да и нужды особой нет. Куда практичнее на их основе собрать NAS. Разумеется, не какую-нибудь файлопомойку, а высоконадежное хранилище – эдакий “черный ящик” для критически важных данных. Плюс к этому, можно совместить приятное с полезным – раз уж принято решение целиком перевести инфраструктуру на “умные” БП (а именно так Thermaltake позиционирует линейку Smart DPS), неплохо бы воочию увидеть, как это работает.

Но есть одна загвоздка – на данный момент фирменное приложение существует только под Windows. Для корпоративного ЦОДа эта операционная система хороша, но для домашнего файлового хранилища ужасна и крайне нерентабельна. Посему, я решил сделать два поста. В этом мы поднимем NAS на основе Windows Server 2008 r2 (убедившись, что “окошки” и “домашний NAS” – понятия несовместимые), и посмотрим, на что способна DPS G App 2.0. Во втором же соберем бюджетный NAS на основе NAS4Free, создав по-настоящему надежную систему.
Читать дальше →
Joseph_D

[Из песочницы] Как подружить Zabbix и Observium

1 год 10 месяцев ago
Не так давно наткнулся на интересную систему мониторинга Observium, в которой заинтересовало хранение конфигов сетевых железок и еще несколько фишек которые описаны в статье.

У меня уже используются Zabbix и полностью переходить на новый мониторинг даже не хочется, так же как и добавлять новые хосты сразу в два тоже лениво, поэтому пришла в голову идея забирать хосты из забикса скриптом через API и добавлять их на Observium.
Читать дальше →
MukhTonio

Оптимизация передачи multicast-трафика в локальной сети с помощью IGMP snooping

1 год 10 месяцев ago


Всем привет! Сегодня хотел бы затронуть тему передачи multicast-трафика в локальной корпоративной сети, а именно работу технологии IGMP snooping на коммутаторах. Так получилось, что за последнюю неделю ко мне обратилось несколько человек с вопросами по этой технологии. И я решил подготовить небольшую статью с описанием данной технологии. Но в процессе подготовки, выяснилось, что краткостью здесь не отделаешься, так как есть о чём написать. Кому интересен вопрос работы IGMP snooping, добро пожаловать под кат. Читать дальше →
ksg222

Притча про синхронную репликацию и том, как от неё избавиться

1 год 10 месяцев ago
Вводная
Предположим, что мы настроили асинхронную репликацию на двух хостах с PostgreSQL. С какой проблемой могут столкнуться потенциальные пользователи? На мой взгляд самой очевидной является отставание реплики от ведущего мастера. Не страшно, если юзер (или его клиентское приложение) открыло BEGIN. В этот момент может разорваться соединение, и все незакомиченные изменения будут откачены.
Но возможна ситуация, когда ведущая СУБД выдаст пользователю COMMIT, резко упадёт, а на слейв не успеет дойти подтверждение транзакции. Тогда при восстановлении реплики эти данные попадут под ROLLBACK (так как на самом деле на ведомую ноду передаются не конечные данные, а вся последовательность действий), а пользователь будет ошибочно считать, что его данные были успешно сохранены.
Читать дальше →
postgrez4ik

А вот и IoT

1 год 10 месяцев ago
У каждой компании-разработчика настаёт такой период в жизненном цикле, когда приходит понимание того, что будущее уже здесь. И нужно срочно определить, ты уже в будущем, ты безнадёжно отстал или тебе его ещё можно догнать и встроиться в него. Мы много лет занимаемся системами мониторинга сети и управления ИТ-инфраструктурой. Ну то есть ITIL, SAM, ITSM — наше всё. В последнее время на конференциях, семинарах и конгрессах мы всё чаще сталкиваемся с понятием IoT (интернет вещей). Нам интересно, что ждёт нашу компанию в контексте этих процессов, как вообще IoT влияет на бизнес и как дальше жить. Мы изучили проблему, ответили на свои же вопросы и сегодня готовы поделиться рассуждениями с вами. Всё получилось не так визионерски и фантастически, как мы это предполагали. Проза жизни, проза технологий, и немного паники.


Читать дальше →
ArsenyMeshkov
Выбранный
8 часов 23 минуты ago
habrahabr.ru/hub/sys_admin/
Подписаться на лента habrahabr.ru/hub/sys_admin/