[Из песочницы] Запускаем полноценный кластер на Kubernetes с нуля на Ubuntu 16.04

1 неделя 5 дней ago
Уже довольно много написано статей, по установке и запуску Kubernetes, однако, не всё так гладко (я потратил несколько суток на запуск своего кластера).

Данная статья призвана дать исчерпывающую информацию не только по установке k8s, но и объяснить каждый шаг: зачем и почему мы делаем именно так, как написано (это очень важно для успешного запуска).

Что нужно знать
Серверы:
Кластер подразумевает, что у Вас более одного физического сервера, между которыми и будут распределятся ресурсы. Серверы называются нодами (nodes).

Диски:
Обычные харды в k8s не поддерживаются. Работа с дисками происходит по средствам распределенных файловых хранилищ. Это необходимо для того, чтобы k8s мог «перемещать» контейнеры docker на другие ноды в случае необходимости, без потери данных (файлов).

Начинать создание кластера нужно именно с создания своего распределенного файлового хранилища. Если вы уверены, что диски вам никогда не понадобятся, то этот шаг можно пропустить.
Я выбрал Ceph. А еще рекомендую почитать эту замечательную статью.

Минимальное разумное количество серверов для Ceph — 3 (можно построить и на одном, но в этом мало смысла из-за высокой вероятности потерять данные).

Сеть:
Нам понадобится Flannel — он позволяет организовать программно определяемую сеть (Software Defined Network, SDN). Именно SDN позволяет всем нашим контейнерам общаться с друг другом внутри кластера (установка Flannel производится вместе с k8s и описана ниже).

Подготовка серверов
В нашем примере мы используем 3 физических сервера. Установите Ubuntu 16.04 на все сервера. Не создавайте swap партиции (требование k8s).

Предусмотрите в каждом сервере как минимум один диск (или партицию) для Ceph.

Не включайте поддержку SELinux (в Ubuntu 16.04 он выключен по-умолчанию).

Мы назвали сервера так: kub01 kub02 kub03. Партиция sda2 на каждом сервере создана для Ceph (форматировать не обязательно).
Читать дальше →
danuk

[Перевод] Масштабируем Kubernetes до 2500 нод

1 неделя 6 дней ago
Всем добра!

Ну что ж. Первый поток курса DevOps выпущен, второй обучается вовсю и вот на подходе третий. Курс усовершенствуется, проект тоже, остаётся неизменным пока что одно: интересные статьи, которые мы пока что только переводим для вас, но на носу уже и срывы покровов с тех вещей, что у нас просили :)

Поехали!

Мы используем Kubernetes для исследования в области deep learning уже более двух лет. В то время, как наши самые масштабные нагрузки управляют облачными ВМ напрямую, Kubernetes обеспечивает быстрый итерационный цикл и масштабируемость, что делает его идеальным для наших экспериментов. Сейчас мы управляем несколькими Kubernetes кластерами (как облачными, так и на физическом оборудовании), самый крупный из них состоит из более 2500 нод — это кластер в Azure на комбинации виртуальных машин D15v2 и NC24.

Многие системные компоненты отказывали в процессе масштабирования, включая etcd, Kube мастеров, загрузки образов Docker, сети, KubeDNS и даже ARP кэши наших машин. Поэтому мы решили, что будет полезным поделиться, с какими проблемами мы столкнулись и как с ними справились.

Читать дальше →
MaxRokatansky

Рынок систем охлаждения для дата-центров на пороге значительных перемен

1 неделя 6 дней ago


Охлаждение дата-центров всегда дорого обходится владельцам центров обработки данных. Отчет от Global Market Insights свидетельствует, что мировой рынок систем охлаждения для дата-центров к 2024 году достигнет 20 млрд. долларов. Это огромный скачок, так как в 2016 году отметка варьировалась около 8 млрд. долларов. Кроме того, данные в отчете свидетельствуют, что на системы охлаждения приходится в среднем примерно 40 процентов от общего потребления энергии.
Читать дальше →
vps-house

[Перевод] В защиту swap'а [в Linux]: распространенные заблуждения

1 неделя 6 дней ago
Прим. перев.: Эта увлекательная статья, в подробностях раскрывающая предназначение swap в Linux и отвечающая на распространённое заблуждение на этот счёт, написана Chris Down — SRE из Facebook, который, в частности, занимается разработкой новых метрик в ядре, помогающих анализировать нагрузку на оперативную память. И начинает он своё повествование с лаконичного TL;DR…

Читать дальше →
zuzzas

[Из песочницы] Freeswitch: по пути наименьшего сопротивления

2 недели 1 день ago
Немного лирики
Сколько помню себя в кресле системного администратора (а общий стаж приближается уже годам к 15), столько вопросы офисной телефонии воспринимались мной строчкой из Californication калифорнийских же RHCP: hard core soft porn. Телефония всегда казалась параллельным измерением, в ее администрирование и настройку я старался не лезть. Точнее, вообще обходить все эти телефоновопросы по широкой дуге, скидывая все подобные задачи на «специально обученных людей».
Читать дальше →
LazyFao

Безопасность технологий: виртуальные машины против контейнеров

2 недели 1 день ago
Какая технология является более безопасной? Многие думают, что виртуальные машины во многом преобладают данными качествами. В теории да, но на практике…есть сомнения.

Зачастую мы слышим такие громкие заявления вроде «HTTPS хорошо защищенный», или «HTTP не защищенный». Но что на самом деле мы подразумеваем под этими фразами? «HTTPS сложно отследить и произвести атаки «человек посередине» или «у моей бабушки нет никаких проблем отследить HTTP».

В данном вопросе нельзя кидаться такими фразами, ведь и HTTPS можно взломать (и бывали случаи), и HTTP в некоторых случаях достаточно безопасен. Кроме того, если при обнаружении уязвимости, связанной с эксплуатацией в общей реализации, поддерживающей HTTPS (имеется ввиду OpenSSL и Heartbleed), то этот самый HTTPS может стать хакерским шлюзом, пока вся система не будет исправлена.

HTTP и HTTPS — это протоколы, определенные Инженерным советом Интернета (IETF) в документах RFC под номерами 7230-7237 и 2828. Изначально появился HTTP, а уже в 2000 году был разработан HTTPS как более защищенный аналог HTTP. Однако, нельзя заявлять, что HTTPS является безопасным, а HTTP нет, т.к. существуют и исключения.
Читать дальше →
vps-house

Анонс Moscow Kubernetes Online: мы собрали подводные камни k8s

2 недели 1 день ago

Всем привет! Хотим анонсировать панельную дискуссию, посвященную Kubernetes, которая пройдет 13 февраля в режиме онлайн на нашем youtube-канале. Эксперты из компаний Флант, Рокетбанк, Axept Global и, конечно, Avito соберутся вместе и обсудят те подводные камни Kubernetes, которые им удалось собрать, поделятся опытом использования инструмента, расскажут о решении нетривиальных прикладных задач.


Под катом — примерная программа дискуссии, вопросы, которые мы планируем обсуждать, а также пароли и явки для тех, кто захочет присоединиться к нам онлайн. В комментариях можно дополнять список вопросов к обсуждению, обязательно постараемся осветить. Добавляйте пост в закладки: после того, как мы проведём эту встречу, апдейтнем его и выложим видео.


Читать дальше →
rafinirovannoe

Новые отраслевые требования: Удостоверяющие Центры прекращают выпускать 3-летние SSL-сертификаты с 1 марта 2018 года

2 недели 2 дня ago
С 1 марта 2018 года Certification Authority/Browser Forum (CA/B Forum) вводит новые требования для всех Удостоверяющих Центров: максимальный срок действия всех типов SSL-сертификатов не должен превышать 825 дней (27 месяцев). 

Решение было принято на голосовании 193. Единогласно – за высказались 24 Центра Сертификации: GlobalSign, DigiCert, Entrust Datacard, Certum, Comodo, SymantecTurkTrust, Izenpe, Certinomis, Amazon, CNNIC, HARICA, GDCA, Disig, Trustwave, Let’s Encrypt, Quo Vadis, SHECA, CFCA, OATI, Buypass, Logius PKIoverheid, Cisco, SwissSign), а также 5 браузеров  – за: Apple, Qihoo 360, Microsoft, Opera, Google и 1 «воздержался» Mozilla

Данные меры будут направлены на повышение уровня безопасности при проверке организаций и доменов. Все Центры Сертификации обязаны следовать новому отраслевому стандарту. 

Следуя новым требованиям, с 26 февраля 2018 года, GlobalSign перестанет выпускать 3-летние доверенные сертификаты SSL. Начиная с указанной даты, SSL-сертификаты могут быть выпущены с максимальным сроком действия - 2 года.

До 26 февраля мы предлагаем приобрести SSL-сертификат на 3 года, что позволит вам: 

  • избежать лишних хлопот с оформлением или продлением, увеличив интервал между заказами сертификатов;
  • сэкономить деньги, приобретая SSL сразу на несколько лет.

Читать дальше →
GlobalSign_admin

Большая миграция: как мы частное облако на RISC поднимали

2 недели 2 дня ago
В одном из предыдущих постов мы начали рассказ о своем частном облаке. В крупных компаниях проекты подобного масштаба — это легаси и неожиданные сюрпризы в процессе миграции. Сегодня мы хотим поделиться своим опытом миграции разных систем и показать небольшой кусочек нашей инфраструктуры, густо усеянный грифами «ДСП» и всевозможными NDA.


Читать дальше →
VTB

[Перевод] Как легко начать писать на PowerShell или несложная автоматизация для управления Active Directory

2 недели 2 дня ago
image

Изучить основы PowerShell
Данная статья представляет собой текстовую версию урока из нашего бесплатного видеокурса PowerShell и Основы Active Directory (для получения полного доступа используйте секретное слово «blog»).

Данный видеокурс оказался необычайно популярным по всему миру и он проведет вас по всем ступеням для создания полного набора инструментов по управлению службой каталогов Active Directory начиная с самых азов.
Читать дальше →
Alexandra_Varonis

[recovery mode] 3CX v15.5 SP3 Beta: обновление конференций, улучшения в хостинге и новая ценовая политика

2 недели 3 дня ago
v15.5 SP3 Beta: обновление конференций и улучшения в хостинге
В свежем билде 3CX SP3 Beta мы реализовали много изменений в ядре системы, обеспечивших заметное увеличение производительности, снижение потребления системных ресурсов, поддержку протокола IPv6 и включенный TLS по умолчанию. Читать дальше →
snezhko

Тестирование производительности гиперконвергентных систем и SDS своими руками

2 недели 5 дней ago
— Штурман, приборы!
— 36!
— Что 36?
— А что приборы?

Примерно так на сегодня выглядит большинство синтетических тестов систем хранения данных. Почему так?

До относительно недавнего времени большинство СХД были плоскими с равномерным доступом. Что это означает?

Общее доступное дисковое пространство было собрано из дисков с одинаковыми характеристиками. Например 300 дисков 15k. И производительность была одинаковой по всему пространству. С появлением технологии многоуровневого хранения, СХД стали неплоскими — производительность различается внутри одного дискового пространства. Причем не просто различается, а еще и непредсказуемо, в зависимости от алгоритмов и возможностей конкретной модели СХД.

И все было бы не так интересно, не появись гиперконвергентные системы с локализацией данных. Помимо неравномерности самого дискового пространства появляется еще и неравномерность доступа к нему — в зависимости от того, на локальных дисках узла лежит одна из копий данных или за ней необходимо обращаться по сети.

Привычные синтетические тесты резко дают маху, цифры от этих нагрузок потеряли практический смысл. Единственный способ всерьез оценить подходит ли система — это пилотная инсталляция с перенесением продуктива. Но что делать, если на перенос продуктива не дает добро безопасность или это просто слишком долго / трудоемко. Есть ли способ оценки?
Читать дальше →
AntonVirtual

R как спасательный круг для системного администратора

2 недели 5 дней ago

Мотивом для этой публикации послужил доклад «Using the R Software for Log File Analysis» на конференции USENIX, который был обнаружен в интернете при поиске ответов на очередные вопросы. Поскольку была написана целая печатная статья, логично предположить, что тема обладает актуальность. Поэтому решил поделиться примерами решения подобного рода задач, решению которых не придавалось такого значения. Фактически, «заметки на полях».
R, действительно, очень хорошо подходит для подобных задач.


Является продолжением предыдущих публикаций.


Читать дальше →
i_shutov

Как добавить свой счетчик в PRTG. И кратенько о форматах датчиков с примерами на powershell

2 недели 6 дней ago
Почему бы не добавлять в систему мониторинга показатели работы из 1С (да и вообще чего угодно)? По мере изучения оказалось что вывести можно из скриптов, батников, VB скриптов, исполняемых файлов, по SSH, прямым исполнением sql запросов и еще куча способов. Чтобы не получилась огромная простыня в этой статье будет только минимум того что нужно чтобы прикрутить счетчики к PRTG с примерами на powershell.



На самом деле, все очень просто.
Читать дальше →
pak-nikolai

Внимание, обновите Firefox до версии 58.0.1 для закрытия критической уязвимости

2 недели 6 дней ago
image

Mozilla выпустила важное обновление веб-браузера Firefox для исправления критической уязвимости, которая позволяет злоумышленникам удаленно выполнять вредоносный код на компьютерах, на которых установлена ​​уязвимая версия браузера.

Критическая уязвимость (CVE-2018-5124) может привести к выполнению кода в системе при открытии определённым образом подготовленных HTML-фрагментов, в которых используются дополнительные атрибуты управления интерфейсом. Суть уязвимости в возможности inline-подстановки JavaScript-кода через данные элементы, который будет выполнены на привилегированном уровне, отвечающем за формирование интерфейса браузера (chrome-privileged).
«Успешное использование уязвимости может позволить злоумышленнику выполнить произвольный код с привилегиями пользователя. Если пользователь имеет повышенные привилегии, злоумышленник может полностью скомпрометировать систему», — говорится в рекомендациях по безопасности от компании Cisco.Злоумышленник может получить возможность устанавливать программы, создавать новые учетные записи с полными правами пользователя, просматривать, изменять или удалять данные. Читать дальше →
Cloud4Y_user

Как мы адаптировали стек ELK для мониторинга и анализа ошибок на Java и .NET проектах

2 недели 6 дней ago

Пациент приходит к врачу и жалуется на боль в животе. «Срочно на операцию! — отвечает врач. — Сейчас мы вас разрежем, покопаемся и постараемся зашить как было».


Когда пользователи ругались на работу системы, называя программистов негодяями, мы поднимали журнал событий и смотрели, что пошло не так. А потом перешли на ELK. Теперь мы мониторим ошибки в моменте, не тормозя работу сервисов.


В этой статье мы расскажем, как адаптируем и применяем стек ELK на Java и .Net-проектах и находим ошибки в онлайн режиме без вскрытия или малоинвазивными методами. Да, мы разобрались и поняли, что не очень важно, Microsoft ли сделал это решение или Open Source — всё одинаково можно настроить под свои нужды.


Читать дальше →
eastbanctech

«Ура, нас зафичерили!» или Как сменить дата-центр под нагрузкой и без даунтаймов, когда всё летит к чертям

2 недели 6 дней ago


Пару лет назад мы располагались в самом cost-effective (читай: «дешевом») дата-центре в Германии. Чтобы вы понимали условия — роутинг мог сбоить от стойки к стойке или внутри неё; свитч в стойке перегружался или зависал; сам дата-центр постоянно ддосили; жесткие диски выходили из строя; материнские платы и сетевые карты сгорали; сервера произвольно выключались, перезагружались, а сетевые кабели выпадали как осенние листья во время урагана.

Периодически, когда приходило время скейлиться горизонтально, в ДЦ еще и место заканчивалось, и нам предлагали другую локацию, в другом городе, что для наших условий (ограничения схемы данных, топология кластера и критичность времени ожидания клиента) было неприемлемо.

Наступила точка кипения и мы решили переезжать. Хотя в какой-то момент даже казалось, что дешевле нанять больше обслуживающего персонала, чтобы менеджерить ситуации в вышеупомянутом ДЦ. Но в итоге, чтобы «стало более лучше жить» — мы выбрали стабильность.
Выбор остановился на дата-центре в Голландии, в Амстердаме. А вот тут самое интересное: к тому времени у игры уже был приличный DAU, переезд нужно было осуществить онлайн, без даунтаймов, одновременно на обе платформы (Android и iOS). Мало того, мы получили фичеринг на Google Play, маркетинг еще и запустил рекламную кампанию. Как понимаете, дополнительного трафика стало очень и очень много.

В общем, задачка не самая обыденная и вот как мы с ней справлялись. Читать дальше →
igorskikh

Rook — «самообслуживаемое» хранилище данных для Kubernetes

2 недели 6 дней ago


29 января технический комитет организации CNCF (Cloud Native Computing Foundation), стоящей за Kubernetes, Prometheus и другими Open Source-продуктами из мира контейнеров и cloud native, объявил о принятии проекта Rook в свои ряды. Отличный повод познакомиться поближе с этим «оркестровщиком систем распределённого хранения данных в Kubernetes». Читать дальше →
shurup

Как я качество работы техподдержки измерял

2 недели 6 дней ago
И что из этого вышло, а что не вышло...

Кадр из сериала “The IT Crowd (Компьютерщики)”

Чем занимается техническая поддержка, и насколько эффективно она работает? — чем дальше в своей работе я отдалялся от задач техподдержки, тем сильнее беспокоил меня этот вопрос, пока в 2013 году я окончательно не осознал, что совершенно не представляю, чем занимаются эти “бездельники”. Нет, я не сомневался, что парни в технической поддержке ответственно относятся к своей работе (и это подтверждали отзывы клиентов), но вот повышается ли качество наших услуг со временем или уменьшается, какие задачи возникают в технической поддержке и в каких количествах, кто делает львиную долю работы — этого я не понимал. Моим попыткам разобраться в положении дел в техподдержке и посвящена данная статья. Но для начала небольшой экскурс в историю: Читать дальше →
ikormachev

И так сойдёт… или Дыра как средство защиты

3 недели ago


По мотивам "И так сойдёт… или как данные 14 миллионов россиян оказались у меня в руках"...


Статья, которую вы сейчас читаете, вовсе не ответ на вышеозвученный пост. Это будет скорее попытка показать что уже сейчас иногда делается, и что вообще можно сделать в области информационной безопасности, если немного отойти от общепринятых канонов при защите систем.


И чтобы расставить все точки над E, — я вовсе не пытаюсь оценить или как-то обелить "ответственные" лица, что с одной, что с другой стороны.


Я скорее просто попробую объяснить другой (возможно новый для некоторых читателей) концептуальный подход на примерах, в том числе и касающихся той статьи.


Кстати, то что в ней не всё или скорей всего возможно не совсем всё правда, "реальному хакеру" видно невооруженным глазом.


Например прочитав "Утащил базу весом 5 Гб… сколько времени это качалось. Вы думаете, кто-то заметил?" я лишь усмехнулся и продолжил чтение (ибо ИМХО некоторое преувеличение допускается в такого рода статьях).


Хотя автор и сам признал что он немного лгунишка апдейтом в конце статьи.


конечно же, никакой базы у меня нет, на протяжении 3-х дней я эмулировал скачивание ...

Теперь почему это очевидно/вероятно (даже не принимая другие типовые ограничения во внимание):

Читать дальше →
sebres
Выбранный
3 часа 14 минут ago
habrahabr.ru/hub/sys_admin/
Подписаться на лента habrahabr.ru/hub/sys_admin/