Выявляем процессы с дисковой активностью в Linux

2 часа 49 минут ago
TL;DR: статья рассказывает об удобном, быстром и надежном способе определения Linux-программ, записывающих данные на диск, что помогает в выявлении большой или аномально частой нагрузки на дисковую подсистему, а также позволяет оценить накладные расходы файловой системы. Это особенно актуально для SSD в ПК, EMMC и Flash-памяти в одноплатных компьютерах.
В ходе написания статьи обнаружилось, что запись нескольких килобайт данных на файловую систему BTRFS приводит к записи 3 мегабайт реальных данных на диск.

Введение«Ой, ерунда, ячейки памяти на современных SSD выйдут из строя через десятки лет обычного использования, не стоит об этом беспокоиться, и уж тем более переносить swap, виртуальные машины и папку профиля браузера на HDD» — типичный ответ на вопрос о надежности твердотельных накопителей c гарантированными ≈150 TBW. Если прикинуть, сколько типичное ПО может писать данных, то кажется, что 10-20 ГБ в сутки — уже большая цифра, пусть будет максимум 40 ГБ, куда уж больше. При таких цифрах ответ вполне разумен — нужно 10 лет, чтобы достичь гарантированных значений по количеству перезаписи ячеек, при 40 ГБ записанных данных ежедневно.
Однако за 6 лет я пользуюсь уже третьим SSD: у первого вышел из строя контроллер, а второй начал перемещать данные между ячейками несколько раз в день, что оборачивалось 30-секундными задержками в обслуживании записи.

После 7 месяцев использования нового SSD я решил проверить количество записанных данных, как их сообщает сам диск через SMART.
19.7 ТБ.
Всего за 7 месяцев я использовал 13% от гарантированного количества записанных данных, притом, что он настроен в соответствии с рекомендациями по выравниваю разделов и настройке ФС, swap у меня почти не используется, диски виртуальных машин размещены на HDD! Читать дальше →
ValdikSS

Собираем в rpm WireMock — утилиту для создания заглушек над веб-сервисами в Fedora COPR аналоге PPA в Ubuntu

22 часа 42 минуты ago

WireMock — утилита, библиотека на java для создания заглушек над веб-сервисами. Он создает HTTP-сервер, к которому мы могли бы подключиться, как к реальному веб-сервису.


Fedora COPR — это бесплатный хостинг для размещения пользовательских репозиториев (аналог AUR в Arch Linux или PPA в Ubuntu). Из особенностей встроенная возможность собирать rpm пакеты указав имя PIP и RubyGems.


В этом посте напишу как собирать rpm из вашего репозитория по коммиту в Fedora COPR.

Читать дальше →
chemtech

[Из песочницы] Самый беззащитный — это Сапсан

3 дня 13 часов ago
image

Был я как-то на ZeroNights, это очередная конференция по информационной безопасности, которая в этом году была совсем шлаком.

Там я хотел как всегда что-либо поломать, получить за это приз, и т.д., но как я выяснил — интересных задач там не было, и пришлось развлекать себя самому.

Что происходило там — особой смысловой нагрузки не несёт, а вот что началось потом — это что-то.

Как закончилась конференция, все её участники взяли билеты на сапсан, последний сапсан Санкт-Петербург — Москва выезжает в 21:00, и я на него успевал…
Читать дальше →
keklick1337

Бойтесь уязвимостей, воркэраунды приносящих. Часть 1: FragmentSmack/SegmentSmack

5 дней 1 час ago


Всем привет! Меня зовут Дмитрий Самсонов, я работаю ведущим системным администратором в «Одноклассниках». У нас более 7 тыс. физических серверов, 11 тыс. контейнеров в нашем облаке и 200 приложений, которые в различной конфигурации формируют 700 различных кластеров. Подавляющее большинство серверов работают под управлением CentOS 7.
14 августа 2018 г. была опубликована информация об уязвимости FragmentSmack
(CVE-2018-5391) и SegmentSmack (CVE-2018-5390). Это уязвимости с сетевым вектором атаки и достаточно высокой оценкой (7.5), которая грозит отказом в обслуживании (DoS) из-за исчерпания ресурсов (CPU). Фикс в ядре для FragmentSmack на тот момент предложен не был, более того, он вышел значительно позже публикации информации об уязвимости. Для устранения SegmentSmack предлагалось обновить ядро. Сам пакет с обновлением был выпущен в тот же день, оставалось только установить его.
Нет, мы совсем не против обновления ядра! Однако есть нюансы…
Читать дальше →
dmitrysamsonov

5 способов полезного использования Raspberry Pi. Часть третья

6 дней 9 часов ago
Привет, Хабр.

Во второй части были рассмотрены 5 способов использования Raspberry Pi. И как оказывается, этот микрокомпьютер способен ещё на большее. Сейчас мы рассмотрим еще 5, надеюсь, не менее интересных возможностей Raspberry Pi.



Как и в предыдущей части, будут рассмотрены способы, не требующие программирования.
Продолжение под катом. Читать дальше →
DmitrySpb79

Установка CentOS 8 на VDS 256

1 неделя 1 день ago
CentOS 8 наконец-то увидела свет и, хотим мы этого или нет но, в ближайшей перспективе адептам корпоративной операционной системы от коммьюнити придется с ней подружиться.

Решив испытать восьмерку в «дикой природе», я обнаружил, что мои хостинг провайдеры не спешат с изготовлением образа виртуального сервера на CentOS 8. А идея с «собственным ISO» и «VNC консолью» не вселяла уверенности из-за скромных характеристик VDS и прожорливости современной анаконды (anaconda).

Оставалось скопировать развернутый образ новой CentOS сразу на жесткий диск VDS, загрузив сервер «по сети». Способ не блещет новизной, однако найти подробную и законченную инструкцию по его реализации я, например, не смог. Поэтому захотелось поскорее восполнить этот пробел и рассказать об установке CentOS 8 на такой VDS:
KVM, 256MB RAM, 2GB HDD, без консоли и ISO

Читать дальше →
aliend

5 способов полезного использования Raspberry Pi. Часть вторая

1 неделя 2 дня ago
Привет, Хабр.

В первой части были рассмотрены 5 способов использования Raspberry Pi. Тема оказалась достаточно интересной, и сегодня я рассмотрю еще несколько вариантов того, как можно с пользой использовать этот микрокомпьютер.


Фото с сайта learn.adafruit.com

Как и в предыдущей части, я рассмотрю те способы, которые не требуют программирования.
Для тех кому интересно, продолжение под катом. Читать дальше →
DmitrySpb79

Muttная история

1 неделя 6 дней ago
Мой коллега обратился ко мне за помощью. Разговор получился примерно следующий:

— Посмотри, мне клиентский линуксовый сервер надо срочно в мониторинг добавить. Доступы дали.
— И в чём проблема? Не можешь подключиться? Или прав в системе недостаточно?
— Нет, подключаюсь я нормально. И права суперпользователя есть. Но там места почти нет. И постоянно на консоль лезет сообщение про почту.
— Так проверь эту почту.
— Как?! Сервер снаружи недоступен напрямую!
— Запусти клиент прямо на сервере. Если нет его, установи, права-то у тебя есть.
— Там и так места почти нет! И вообще полноценное приложение с графическим интерфейсом там не запустится.

Пришлось заглянуть к коллеге и продемонстрировать ему простой и эффективный способ решения проблемы. Способ, про который он точно знал, но никогда не использовал. А в стрессовой ситуации попросту не смог вспомнить.
Читать дальше →
Cloud4Y

[Перевод] Безопасность для Docker-контейнеров

2 недели 3 дня ago
Прим. перев.: Тема безопасности Docker, пожалуй, одна из вечных в современном мире IT. Поэтому без лишних объяснений представляем перевод очередной подборки соответствующих рекомендаций. Если вы уже интересовались этим вопросом, многие из них будут вам знакомы. А саму подборку мы дополнили списком из полезных утилит и несколькими ресурсами для дальнейшего изучения вопроса.



Предлагаю вниманию руководство по обеспечению безопасности Docker'а. Обратная связь приветствуется, так как это скорее сборник отрывков с разных ресурсов, и не все они были подвергнуты доскональной проверке. Рекомендации разделены на три категории:

  1. Необходимые меры внутри операционной системы хоста при работе с Docker'ом;
  2. Инструкции, относящиеся к файлу конфигурации сборки и созданию контейнеров;
  3. Инструменты для безопасности, которые могут интегрироваться со специфическими функциями Docker Enterprise.
Читать дальше →
Wimbo

Что не так с Copy-on-Write под Linux при копировании

2 недели 5 дней ago


Предупреждение: эта статья относится ко всем CoW файловым системам в Linux, поддерживающим reflink при копировании. В данный момент это: BTRFS, XFS и OCFS2.

Прошу воздержаться от холиваров о том, какая ФС лучше: Btrfs, XFS, Reiser4, NILFS2, ZFS или какая-то неупомянутая.

Читать дальше →
inetstar

[Из песочницы] Облагораживаем Wi-Fi роутер Phicomm K3C

2 недели 6 дней ago



1. Немного предыстории
2. Технические характеристики Phicomm K3C
3. Прошивка OpenWRT
4. Русифицируем интерфейс
5. Добавляем тёмные темы

Есть у китайской фирмы Phicomm в модельном ряду Wi-Fi роутеров устройство под названием K3C AC1900 Smart WLAN Router.

В устройстве использованы связка Intel AnyWAN SoC GRX350 и Intel Home Wi-Fi Chipset WAV500 (кстати, такое же железо использовано в ASUS Blue Cave: тот же процессор Intel PXB4583EL и Wi-Fi чипы Intel PSB83514M/PSB83524M вместо PSB83513M/PSB83523M).

Существует несколько версий этого роутера:

  • B1, B1G, B2 — для Китая;
  • A1, C1, S1(VIE1) — для остальных стран (мне достался — C1 с прошивкой v.34.1.7.30).

Чем меня заинтересовал этот роутер стандарта IEEE 802.11ac?

Тем что имеются: 4 гигабитных порта (1 WAN и 3 LAN), диапазон 5ГГц, поддержка MU-MIMO 3x3:3 и USB 3.0. Ну и не только.
Читать дальше →
Grey83

[Из песочницы] Контентная фильтрация в школе на основе Ubuntu 18.04 и прозрачного Squid, с интеграцией в сеть на MikroTik и не только

2 недели 6 дней ago


1. Введение
Тема контентной фильтрации в школах достаточно заезженная и по ней полно информации, но она уже достаточно устарела, в связи с переходом множества сайтов на защищенный протокол HTTPS, с которым не работает большинство предлагаемых решений. Поэтому я решил написать максимально полную статью от А до Я собрав воедино всю информацию, найденною мной на просторах Гугля. Статья рассчитана на базовые знания в сфере администрирования и подойдет для учителей информатики.

2. Техническое задание
Дано: 436-ФЗ и школа, в которой множество компьютеров, объединенных в сеть и подключенных к интернету через роутер MikroTik или любой другой.

Задача: сделать контентную фильтрацию HTTP и HTTPS по белому списку для всех, кроме себя любимого и управления школы.
Читать дальше →
blooddemon747

Работа в IT, управление проектами, регулирование ПД и разработка в облаке: мегадайджест от 1cloud.ru

3 недели 2 дня ago
Это — наши лучшие хабратопики. Здесь вы найдете материалы об истории Linux, обсуждение стоп-фраз для PM'ов и зарплат разработчиков плюс — большую фотоэкскурсию по нашему облаку.

Читать дальше →
1cloud

5 способов полезного использования Raspberry Pi

3 недели 2 дня ago
Привет Хабр.

Raspberry Pi наверное есть дома почти у каждого, и рискну предположить, что у многих она валяется без дела. А ведь Raspberry это не только ценный мех, но и вполне мощный fanless-компьютер с Linux. Сегодня мы рассмотрим полезные возможности Raspberry Pi, для использования которых код писать не придется совсем.

Для тех кому интересно, подробности под катом. Статья рассчитана для начинающих.
Читать дальше →
DmitrySpb79

Терминальный сервер для админа; Ни единого SSH-разрыва

3 недели 5 дней ago


Если ваша работа требует держать множество SSH-сессий к разным серверам, вы наверняка знаете, как они легко ломаются при переключении на другой Wi-Fi или при временной потере интернета. Но что, если я скажу вам, что все эти проблемы давно решены и можно забыть про сломанные сессии и постоянные переподключения?

Открывая крышку ноутбука, все мои десятки SSH-сессий сразу доступны и находятся в том же состоянии, в каком я их оставил. В статье описывается настройка терминального сервера для системного администратора. Использование такого сервера позволяет забыть о сломанных SSH-сессиях, постоянном переподключении и вводе паролей.

Читать дальше →
owlnagi

Свистать всех на Linux, гром и молния

4 недели 2 дня ago
Привет, Хабр! Сегодня я хочу рассказать о собственном опыте перевода рабочего места на Linux. Статья не претендует на 100% охват всех проблем и их решений, но кое-какие рецепты, позволяющие сделать жизнь лучше, тут все же будут. Также в статье будет некоторое количество флешбеков, и если вы хотите окунуться в воспоминания вместе со мной, то прошу под кат.

Вообще этот рассказ (а может и цикл статей, если получится) я сначала хотел озаглавить как «похождения айтишника в недружественной среде».
Читать дальше →
kish4ever

[Из песочницы] Заставляем работать MacBook Pro 2018 T2 c ArchLinux (dualboot)

1 месяц ago
Достаточно много было шумихи по поводу того, что из-за нового чипа T2 невозможно установить linux на новые MacBook 2018 года с тачбаром. Шло время, и под конец 2019 года стронними разработчиками был реализован ряд драйверов и патчей ядра для взаимодействия с чипом T2. Основной драйвер для MacBook моделей 2018 и новее реализует работу VHCI (работа тача/клавиатуры/и.т.д.), а также функционирование звука.

Проект mbp2018-bridge-drv разделен на 3 основных компонента:

  • BCE (Buffer Copy Engine) — устанавливает основной канал связи с T2. VHCI и Audio требуют этот компонент.
  • VHCI — это виртуальный хост-контроллер USB; клавиатура, мышь и другие компоненты системы предоставляются этим компонентом (другие драйверы используют этот хост-контроллер для обеспечения большей функциональности.
  • Audio — драйвер для аудиоинтерфейса T2, в настоящее время поддерживается только вывод звука через встроенные динамики MacBook
Читать дальше →
br0zer

[recovery mode] Использование NVME SSD как системного накопителя на компьютерах со старым BIOS и ОС Linux

1 месяц ago
image

При соответствующей настройке можно загружаться с накопителя NVME SSD даже на старых системах. Предполагается, что операционная система (ОС) умеет работать с NVME SSD. Рассматриваю именно загрузку ОС, поскольку при имеющихся в ОС драйверах NVME SSD виден в ОС после загрузки и может использоваться. Дополнительного программного обеспечения (ПО) для линукса не требуется. Для ОС семейства BSD и прочих юниксов способ скорее всего тоже подойдёт.
Читать дальше →
BD9

[Перевод] В двух словах о привилегиях Linux (capabilities)

1 месяц ago
Перевод статьи подготовлен специально для студентов курса «Администратор Linux».

Привилегии (capabilities) используются всё больше и больше во многом благодаря SystemD, Docker и оркестраторам, таким как Kubernetes. Но, как мне кажется, документация немного сложна для понимания и некоторые части реализации привилегий для меня оказались несколько запутанными, поэтому я и решил поделиться своими текущими знаниями в этой короткой статье.



Самая важная ссылка по привилегиям — это man-страница capabilities(7). Но она не очень хорошо подходит для первоначального знакомства. Читать дальше →
MaxRokatansky

Дружим RaspberryPi с TP-Link TL-WN727N

1 месяц ago
Привет, Хабр!

Задумал как-то я подключить свою малинку к интернету по воздуху.

Сказано-сделано, для этого был приобретен в ближайшем магазине usb wi-fi свисток небезызвестной фирмы TP-Link. Сразу скажу, что это не какой-то там нано usb модуль, а вполне себе габаритный девайс размером примерно с обычную флешку(ну или если вам будет угодно с указательный палец взрослого мужчины). Перед покупкой я немного изучил список поддерживаемых производителей свистков для RPI и TP-Link в списке был(правда как потом оказалось я не учел тонкостей, ведь дьявол как известно кроется в деталях). Итак, хладный сказ о моих злоключениях начинается, вашему вниманию предлагается детективная история в 3-х частях. Заинтересованных прошу под кат.

Статья Подключаем WiFi-адаптер WN727N к Ubuntu/Mint мне частично помогла, но обо всем по порядку.
Читать дальше →
kish4ever
Checked
1 час 7 минут ago
habrahabr.ru/linux/
Настройка Linux – Вечный кайф
Подписаться на лента habrahabr.ru/linux/