Распределение ресурсов в больших кластерах высокой производительности. Лекция в Яндексе

3 года 6 месяцев ago
Большинство сложных задач с данными требуют немалого количества ресурсов. Поэтому почти у каждого дата-центра в мире не один, а множество клиентов — даже если все они выступают под общим брендом. Компаниям нужны мощности под самые разные сервисы и цели, да и в процессе достижения какой-нибудь одной из них приходится иметь дело с целым набором подзадач. Как дата-центру справиться с потоком желающих что-нибудь проанализировать или посчитать? Поступающие заказы на вычисления нужно выполнять в некотором порядке, стараясь никого не обделить ресурсами. Эта лекция — об основных методах распределения реальных задач на большом кластере. Способ, о котором рассказал Игнат Колесниченко, применяется для обслуживания почти всех сервисов Яндекса.

Игнат — руководитель одной из групп в нашей службе технологий распределенных вычислений. Окончил мехмат МГУ и Школу анализа данных, в Яндексе с 2009 года.



Под катом — подробная расшифровка лекции и слайды.
Читать дальше →
Leono

Экспресс-офис PRO от MegaFon — офисная телефония за пару часов

3 года 6 месяцев ago
На новоселье в квартиру или дом первой принято пускать кошку. В офисной жизни есть своя верная примета — в офис первыми должны входить телефония и интернет. Объяснение этому очень простое: записать данные о сделке можно на бумажке, посидеть — на коробках с вещами, а вот не ответить на звонок или сообщение означает потерять клиента, а в условиях высокой конкуренции — просто отдать противнику. Не секрет, что офисная телефония требует затрат, причём не только денежных — от решения начать работать до первого звонка нередко проходит непозволительно много времени. Я тоже так думал (что греха таить, и делал), пока мне в руки не попал комплект «Экспресс-офис PRO», анонсированный Мегафоном как комплексное решение для организации связи в офисе. Знакомство оказалось приятным. Читать далее
megapost

Вечер 31 декабря

3 года 6 месяцев ago


Админ: А давайте прошивки роутеров обновим.
CIO: Пятница 31 декабря, вечер. Конечно, давай, что может случиться?
Админ: Вот видишь, всё нормально работает. А ты пяяятница, вееечер…
CIO: Иди сюда.
Админ: Чего?
CIO: Иди-иди. Читай.
Админ: Коннекшн фаулт. Ну, отвалилось чего-то. Это чья консоль?
CIO: Это – продакшн-сервера.
Читать дальше →
Jmp3r

Фишинг на новом уровне: Cloudflare + Protonmail + Unvalidated Redirects – набор юного фишера

3 года 6 месяцев ago
«… ты приходишь и просишь что-то у меня, но ты просишь без уважения …»
Вито Корлеоне
Фишинг все еще самый популярный и самый успешный тип хакерских атак. Все просто, атакуются не софт, не сервера, не сети, а самые уязвимые компоненты информационных систем – пользователи. Я часто встречаюсь с фишингом, как единичными, направленным на личные адреса, так и массовыми атаками. В большинстве случаев это неумело составленные письма и коряво сварганенные фишинг страницы. До недавнего времени большинство таких атак срывалось уже на уровне пользователей: письма или сразу игнорировались (так как признаки фишинга были очень явными) или, в худшем случае, письма перенаправлялись в службу поддержки с вопросом «безопасно ли вводить пароль на этой странице?». Конечно, какая-то часть пользователей все-таки попадалась, но в процентном соотношении это был реально минимум. Но буквально на прошлой неделе я столкнулся с фишинг атакой, уровень которой меня удивил. Я провел небольшой анализ, и выяснил как именно она была организована и какие инструменты были при этом использованы.
Читать дальше →
EminH

Как мы переделали сеть «Аэроэкспресса»: интересный пример скачка на уровень вверх

3 года 6 месяцев ago


«Аэроэкспресс» — молодая компания. Пару лет назад, когда мы начали реализовывать проект по модернизации сети передачи данных, компания очень быстро развивалась. Настолько быстро, что их внутренний ИТ-отдел в какой-то момент понял: пора переделывать сеть, потому что пунктов продажи билетов и других терминалов стало слишком много и ручные процедуры настройки сети уже давно пора заменять. Это логический этап в эволюции любой компании. На этом этапе заказчик продумал правильную архитектуру и начал оптимизировать инфраструктуру с учётом запаса прочности при дальнейшем масштабировании мощностей. Цель — сделать всё и с первого раза, чтобы избежать возможных проблем в будущем.

Основная задача заключалась в разделении корпоративной сети, в одной из которых находятся пользователи и терминалы касс, а в другой осуществляются непосредственно денежные транзакции. Пересекаться они ни в коем случае не должны. Идеальный выход в данной ситуации — физически разграничить сети, то есть построить две независимых. Однако это довольно дорого. Поэтому почти идеальным решением стал правильный выбор и настройка сетевого оборудования. В нашем случае это были аппаратные фаерволы.

Следующей задачей стало обеспечение возможности продавать билеты, даже если метеориты попадут в два любых случайных объекта инфраструктуры (включая дата-центр «Аэроэкспресса» и коммутаторы ядра М9).

И ещё — сделать IP-телефонию внутри компании, способной работать даже при физическом отключении от интернета.

Параллельно мы подняли Ethernet поверх IP (MAC по IP) и сделали ещё пару забавных и полезных фич. Читать дальше →
AVrublev

С днем системного администратора

3 года 6 месяцев ago
Поздравляю всех с праздником. С днем системного администратора, коллеги!

Желаю долгого аптайма, безглючного железа, стабильного коннекта, адекватных пользователей и пряморуких электриков!

XogN

[Из песочницы] Full Disk Encryption (FDE)

3 года 6 месяцев ago
В большинстве случаев шифрование диска является излишним или даже вредным. Однако, когда дело касается ноутбука, паранойя не помешает. Получив в руки новый ноутбук, именно шифрованием диска я первым делом и озаботился.

На данный момент во многих дистрибутивах уже из коробки предоставляется возможность создавать шифрованные разделы. Однако, все те варианты, что мне попадались, предусматривают нешифрованный /boot. Не критичное, но неприятное упущение. Информация о том, как сделать полностью шифрованный диск, ищется в интернете достаточно легко, но подавляющая её часть на английском языке и некоторые подводные камни всё же не описаны. Я постараюсь наиболее кратко, понятно и по шагам объединить эту информацию в одном тексте.
Читать дальше →
Innominatus

Docker Volume plugin для Nutanix в AOS 4.7

3 года 6 месяцев ago


Я уже кратко упоминал о том, что в июльском релизе в Nutanix появилась фича, которую мы назвали Acropolis Container Services, и первое ее применение — поддержка инфраструктуры Docker на кластере Nutanix, в нашем собственно бесплатном гипервизоре AHV (Acropolis Hypervisor, форк и глубокая модификация KVM).
О том, что такое Docker я рассказывать не буду, на Хабре есть хорошая статья. А то, почему Nutanix занялся контейнерной виртуализацией лучше тысячи слов скажет одна картинка, которую я, пока писал эту статью, сделал в Google Trends.
Читать дальше →
nutanix

[Из песочницы] Универсальный https c использованием ГОСТ сертификата

3 года 6 месяцев ago
При попытках организовать https-соединения для различных web-сервисов с использованием ГОСТ-шифрования всегда оставались вопросы с посетителями, браузеры которых не поддерживают ГОСТ-алгоритмы. Логичным казалось решение при установке https-соединения отдавать клиенту сертификат в зависимости от поддерживаемых его системой алгоритмов, но до недавнего времени практические реализации такого подхода мне не встречались.
Читать дальше →
mrdoger

Откуда появился День Сисадмина и почему важно его отмечать

3 года 6 месяцев ago
Традиционно День сисадмина празднуется в последнюю пятницу июля. Эта традиция популярна во всем мире, а в последние годы набирает обороты и в России. Немного истории. «Отцом» данного праздника является американский системный администратор с 20-летним стажем Тед Кекатос, увидевший журнальную рекламу Hewlett-Packard, в которой установившего новые принтеры системного администратора благодарные пользователи одаривают цветами и корзинками фруктов. Кекатос, недавно установивший несколько принтеров той же модели, решил создать специальный день, посвященный профессии системного администратора. Первый такой день, устроенный Кекатосом, пришелся на пятницу 28 июля 2000 года. Это был просто пикник на природе на окраине Чикаго, в котором приняли участие члены небольшой софтверной компании. С тех пор праздник принято отмечать в последнюю пятницу июля.

2006 года начал отмечаться «Всемирный день информационного общества» (с 2007 года Всемирный день электросвязи и информационного общества), который закреплён за 17 мая. Провозглашённый Генеральной Ассамблеей ООН, этот памятный день имеет официальный статус, и, видимо, может заменить собой день системного администратора. Читать дальше →
ArtX

[Из песочницы] Windows и SSH. Продолжение

3 года 6 месяцев ago
Недавно решил поковыряться в Insider Preview Windows 10 (10.0.14393.3) на предмет того, как там работает Bash подсистема и вспомнил публикацию kekekeks «Поддержка SSH в Windows силами Microsoft». И из чистого любопытства вбил в консоли Bash «ssh localhost» и слегка удивился, что он предложил сохранить ключ.


Читать дальше →
sayrys

Ansible-container: новый шаг в управление контейнерами

3 года 6 месяцев ago


Недавно разработчики Ansible анонсировали новый проект Ansible Container. Проект нас очень сильно заинтриговал, и мы решили рассмотреть его поближе.
Ansible уже давно стал незаменимым инструментом в вопросах создания, сборки, деплоя образов docker-контейнеров и самих docker-контейнеров, благодаря соответствующему модулю.
Ранее для провиженинга docker-контейнеров с помощью Ansible необходим был запущенный в контейнере sshd, но в версии 2.1 в Ansible был добавлен Docker connection plugin, благодаря которому стало возможно запускать плейбуки не только на физических/виртуальных машинах, но и внутри docker-контейнеров и отпала необходимость использования sshd внутри docker-контейнера.

Читать дальше →
olemskoi

Настройка ssh callback на сервере в связке с Ansible

3 года 6 месяцев ago
Всем известно, что с помощью ssh можно делать перенаправление портов (создавать туннели). Еще из мануала по ssh вы могли узнать, что OpenSSH умеет динамически открывать порты для удаленного перенаправления и выполнять строго определенные команды. Также всем известно, что для Ansible (не считая Tower) нет такого понятия как сервер и клиент (в смысле ansible-server/ansible-agent) — есть сценарий (playbook) который можно выполнить как локально, так и удаленно через ssh-соединение. Еще есть Ansible-pull, это скрипт который проверяет git-репозиторий с вашими плейбуками и при наличии изменений запускает плейбук для применения обновлений. Там где нельзя пушить в большинстве случаев можно использовать pull, но бывают исключения.

В статье я попробую рассказать о том как можно использовать динамическое выделение портов для ssh-туннелей в реализации подобия функции provisioning-callback для бедных на любом сервере с OpenSSH и Ansible, и как я до этого дошел.
Читать дальше →
1it

Используем пакеты на основе OpenWRT в рутерах ZyXel Keenetic

3 года 6 месяцев ago
image

Не так давно компания ZyXel с помощью модуля открытых пакетов поддержала OPKG — пакеты из популярной ОС OpenWRT, предназначенной для домашних маршрутизаторов. Это значит, что часть из них теперь можно ставить на ZyXel Keenetic. В этой статье я опишу процесс включения пакета, настройки репозитория Entware с тысячами пакетов, а также настройки рутера как OpenVPN клиента.

Читать дальше →
crypby

Перспективы коммерческого использования IPv6 в России (год 2016)

3 года 6 месяцев ago
Поигравшись с разнообразными решениями IPv6 на стендах и оценив все их прелести, задумался я как-то и над коммерческой эксплуатацией. Конечно, в виде dual stack, а не как «IPv6-only».

Саму методику оценки было решено разделить на 2 части: использование IPv6 при реализации сервисов и использование IPv6 конечными пользователями. Над большими проектами эксперементировать, естественно, не стал. А вот результатом исследования мелочевки готов поделиться с сообществом.
Читать дальше →
Vedga

Поглаживаем ящерицу или сетевое нагрузочное тестирование с cisco trex

3 года 6 месяцев ago


Тему нагрузочного тестирования сетевого оборудования принято как-то обходить стороной, обычно упоминается вскользь в разрезе жутко дорогого специализированного железа. Не нашел информации про данный open-source продукт на русском языке так что позволю себе слегка популяризировать. В статье опишу небольшой HOWTO с целью познакомить людей с софтварными трафик генераторами.
Читать дальше →
avonar

Посетить 4 ЦОДа за день и не жалеть о потраченном времени

3 года 6 месяцев ago
Уже в третий раз в Санкт-Петербурге под эгидой провайдера “Комфортел” проводится экскурсия Data Center Expedition PRO. Суть мероприятия — в течении одного дня получить максимально широкое представление о рынке дата-центров Санкт-Петербурга. В этот раз на экскурсию удалось просочиться и нам, бойцам Linkmeup.

Но просто так тратить целый день на созерцание серверных полей — занятие скучное, поэтому на этот раз поездка была более тематической. Четыре дата-центра, каждый был создан для решения определённых задач, нацелен на определённую аудиторию клиентов и наделён своими специфическими инженерными решениями.


Читать дальше →
Loxmatiymamont

Планы развития системы 3CX Phone System v15

3 года 6 месяцев ago
Изменение внутренней архитектуры 3CX v15 потребовало серьезного объема работы. Мы сделали новую версию очень гибкой и расширяемой. Поэтому, несмотря на то, что в первоначальном релизе функционал системы не сильно отличался от v14, мы добавим множество новых интересных возможностей в ближайшие месяцы.

Чтобы вы лучше представляли будущие возможности системы, мы делимся планами по развитию. Заметим, что не всегда возможно гарантировать точные сроки выпуска, потому что некоторые функции требуют участия сторонних компаний. Но мы можем с уверенностью сказать, что реализуем приведенные ниже функции в указанные сроки.
Читать дальше →
snezhko

Мониторинг проектов с помощью месенджера на примере Nagios и Telegram, с разбором факапов из жизни Highload 24x7

3 года 6 месяцев ago

Рисунок: Маргарита Закиева


Что будет под катом:

  • Базовые настройки Nagios в связке с Telegram.
  • Общая концепция нашего с коллегами мониторинга проектов.
  • Разбор граблей, на которые мы успели наступить при работе с этой системой.

Наша статья будет полезна для тех, кто:

  • Недоволен информативностью своего текущего мониторинга.
  • Испытывает ежедневную боль ниже спины с оповещениями о проблемах.

Читать дальше →
Zeka13

[recovery mode] “А шо эта ваш бэкап такой уставший?”*

3 года 6 месяцев ago
* А что это ваш бэкап такой несвежий? (Одесск.)



Даже самые дорогие системы, выполняющие периодическое резервное копирование (например, каждую ночь), обладают одним существенным ограничением: всё, что было сделано на компьютере после последнего резервного копирования, никак не защищено, и будет безвозвратно потеряно, если компьютер выйдет из строя.

Пусть, например, вчера была написана первая часть «Мёртвых Душ», и ночью сделана резервная копия. А сегодня написана вторая часть, и в эмоциональном порыве уничтожена ещё до того, как настало время очередного резервного копирования.

Бороться с такими ситуациями призвана технология непрерывного резервного копирования (Continuous Data Protection, CDP). Всё, что записывается на диск, одновременно отправляется в резервную копию.

Рассмотрим подробнее, как это делается в продукте Arcserve RHA (Replication and High Availability) на реальных примерах в средах Windows и Linux.
Читать дальше →
MikhailMitroshin
Checked
8 часов 30 минут ago
habrahabr.ru/hub/sys_admin/
Системное администрирование – Лишь бы юзер был доволен
Подписаться на лента habrahabr.ru/hub/sys_admin/