В разрезе: новостной агрегатор на Android с бэкендом. Система мониторинга и визуализации данных (InfluxDB, Grafana)

5 месяцев 3 недели ago
Вводная часть (со ссылками на все статьи)

Сложные системы (распределённые/крупные/со сложной логикой/сложной системой данных) – как живой организм: подвижный, изменчивый и самостоятельный. Всё это требует постоянного контроля со стороны разработчиков/администраторов/DevOps-инженеров.

К этому выводу я пришёл, когда система несколько раз «загибалась» в ходе её разработки, настройки сервера и эксплуатации. Это натолкнуло меня на мысль, что мониторинг должен осуществляться не только на этапе производственной эксплуатации, но и на этапе разработки.

Обо всём по порядку…
Читать дальше →
fedor_malyshkin

[Перевод] Linux: перенаправление

5 месяцев 3 недели ago
Если вы уже освоились с основами терминала, возможно, вы уже готовы к тому, чтобы комбинировать изученные команды. Иногда выполнения команд оболочки по одной вполне достаточно для решения некоей задачи, но в некоторых случаях вводить команду за командой слишком утомительно и нерационально. В подобной ситуации нам пригодятся некоторые особые символы, вроде угловых скобок.



Для оболочки, интерпретатора команд Linux, эти дополнительные символы — не пустая трата места на экране. Они — мощные команды, которые могут связывать воедино различные фрагменты информации, разделять то, что было до этого цельным, и делать ещё много всего. Одна из самых простых, и, в то же время, мощных и широко используемых возможностей оболочки — это перенаправление стандартных потоков ввода/вывода.
Читать дальше →
ru_vds

[Перевод] 10 приёмов работы в терминале Linux, о которых мало кто знает

5 месяцев 4 недели ago
Близкое знакомство с возможностями терминала — один из признаков человека, который хорошо разбирается в Linux. Хотя некоторые вещи запомнить сложно, есть довольно-таки простые, но эффективные приёмы, которые способны повысить качество и скорость работы в терминале. Пожалуй, каждый пользователь Linux рано или поздно обзаводится собственным списком ценных мелочей. Надеемся, некоторых из тех десяти приёмов работы в командной строке Linux, которыми мы хотим с вами поделиться, попадут в ваш личный список полезных команд.

Читать дальше →
ru_vds

[recovery mode] Установка и использование GNU/Linux вместо Chrome OS на Toshiba Chromebook 2

5 месяцев 4 недели ago
Привет всем! Некоторое время назад я приобрёл себе Chromebook модели Toshiba Chromebook 2 CB35-B3330 и заменил на нём Chrome OS на традиционный GNU/Linux. Это была не установка через crouton, а именно «чистая» установка с полным удалением Chrome OS. Борьба с плохой поддержкой Линуксом этого хромбука заняла неожиданно много времени (несколько вечеров), но в итоге все проблемы решились и хромбук стал полноценной рабочей машиной.

В итоге я решил написать статью, в которой:

  • Очень кратко описан сам хромбук и мои впечатления от железа.
  • Описаны основные проблемы по установке GNU/Linux на данную конкретную модель и пути их решения.
  • Очень кратко описано, каким образом я сам его использую после установки Линукса.
Читать дальше →
Cheater

Почему во время apt-get upgrade запускается игра Dwarf Fortress?

6 месяцев ago
Большую популярность на ресурсе Ask Ubuntu снискал весьма странный вопрос пользователя Linux-дистрибутива Ubuntu. По его словам, в некоторых случаях при обновлении системы с помощью sudo apt-get upgrade происходит то, чего он совсем не может ожидать: запуск игры «Dwarf Fortress». История оказалась поучительной…

Читать дальше →
shurup

[Перевод] Переосмысление PID 1. Часть 3

6 месяцев ago


Оглавление


Распараллеливание заданий файловой системы
Если вы посмотрите график загрузки текущих дистрибутивов, увидите больше точек синхронизации чем просто запуски демонов: больше всего времени отнимают задания, связанные с ФС: монтирование, проверка ФС на ошибки (fsck), квотирование. Сейчас, во время загрузки много времени тратится в ожидании, пока все диски, указанные в /etc/fstab не появятся в дереве устройств, а далее проверены на ошибки, примонтированы и применены квоты (если конечно они включены). Только после всего этого мы сможем пойти дальше и в действительности начнется загрузка служб.

Можем ли мы улучшить этот процесс? Выходит, что можем. Гарольд Хойер пришел с идеей использования достопочтенной autofs для улучшения процесса.
Читать дальше →
houk

Проброс реальной видеокарты в VM с ReactOS

6 месяцев ago
В рамках проходящего в Кёльне с 14 августа второго ReactOS-хакфеста было запланировано несколько выступлений разработчиков проекта с докладами. Первым выступил Колин Финк и рассказал о новом способе теcтирования видеокарт в ReactOS.



Колин собрал сервер для тестовых нужд, в котором воплощена идея использования реальной видеокарты в виртуальной машине. Этот способ упрощает сбор отладочной информации и позволят изолировать проблемы, связанные с работой настоящей видеокарты от других сопутствующих проблем на реальном оборудовании.

Кроме того, данный способ открывает возможности для удаленного тестирования и отладки физических устройств разработчикам из любой точки Мира. Более того, теперь тестирование ReactOS с реальными видеокартами будет проходить регулярно и автоматизировано.


Скачать PDF можно по ссылке
Читать дальше →
Jeditobe

В разрезе: новостной агрегатор на Android с бэкендом. Система контроля конфигураций (Puppet)

6 месяцев ago
Вводная часть (со ссылками на все статьи)

В ITIL (v3) среди описанных процессов есть 2 особенно интересных: «Процесс управления конфигурациями» и «Процесс управления изменениями», предназначенных для анализа и управления изменениями конфигураций систем. Для продолжения повествования нужно определиться, что такое «система». В это понятие входит огромное количество составляющих, влияющих (прямо или косвенно) на предоставление услуги:

  • серверы

    • настройки безопасности (пользователи, группы, права, межсетевые экраны);
    • установленные приложения и библиотеки;
    • настройки работы приложений (лимиты по дискрипторам, памяти, времени CPU и т.д.);
    • резервное копирование;

  • системы мониторинга за работой прикладного и системного ПО;
  • конфигурационные файлы самого продукта, его компонентов, вспомогательных системных и прикладных приложений
  • ...

Пытаться минимизировать контур системы вашего проекта (тип, резервное копирование не относится к функционированию системы) – значит рыть себе яму, в которую рано или поздно вы провалитесь.
Читать дальше →
fedor_malyshkin

[Перевод] Переосмысление PID 1. Часть 2

6 месяцев 1 неделя ago
В продолжение первой части…

Распараллеливание служб сокетов
Этот вид синхронизации при загрузке приводит к опоследовательности (последовательный запуск служб) существенной части процесса загрузки. Не было бы круто если бы мы могли избавиться от цены синхронизации и опоследовательности? Что ж, мы можем на самом деле избавиться. Для этого, нам необходимо понять, что на самом деле службы (демоны) требуют друг от друга, и почему их запуск откладывается. Для традиционных демонов (служб) Unix, есть только один ответ на этот вопрос: они ждут до тех пор, пока демон предоставляющий свои службы не будет готов принимать соединения. Обычно это AF_UNIX сокет в файловой системе, но это может также быть AF_INET сокет. Для примера: клиенты D-Bus ждут /var/run/dbus/system_bus_socket, чтобы сконнектиться к нему, клиенты syslog ждут /dev/log, клиенты CUPS ждут /var/run/cups/cups.sock и NFS точки монтирования ждут /var/run/rpcbind.sock и порт IP портмаппера и т.д. А теперь задумайтесь об этом, на самом деле есть только одна вещь чего ждут остальные.
Читать дальше →
houk

Разрушители легенд — Gentoo Linux

6 месяцев 1 неделя ago
Дочка Убунту прибежала к Дебиану и, весело смеясь, поцеловала его в лоб: "С днём рождения, папа!". Затем она окинула радостным взглядом сидящих за столом гостей и спросила своим звонким голосом:
— Папа, а где Gentoo, разве он ещё не пришёл?
— Нет, он ещё только собирается.

Среди прочих Linux дистрибутивов Gentoo выделяется тем, что его окружает множество мифов, светлой и темной окраски. Я его использую более 10 лет в качестве домашней и офисной рабочей станции и хочу с вами разоблачить несколько мифов и создать парочку новых.




Также хотелось бы рассказать о достоинствах и недостатках дистрибутива, дабы помочь сомневающимся и беженцам с systemd принять верное решение. Пользуясь случаем также хочу здесь разместить несколько полезных советов, которые помогут избежать многочасовых поисков в интернетах и повторной компиляции монструозных пакетов.

Читать дальше →
temujin

Мультипротокольный NAS-доступ к Netapp-ресурсам c ACLs

6 месяцев 1 неделя ago
imageНебольшое предисловие к статье.
Заказчик выставил требование организовать доступ по CIFS (SMB) к некоторым NFS-экспортам, которые лежат на NetApp. Звучит вроде бы несложно: нужно создать CIFS-шару на уже экспортированном qtree. Позже было выставлено требование, что нужно гранулярно управлять доступом на эти шары. Опять-таки задача выглядит решаемой: это можно контролировать и с NetApp и через оснастку Shared Folders (share permissions). Затем выяснилось, что нужно варьировать доступ к различным подпапкам на CIFS-шаре. Это уже оказалось нетривиальной задачей. Так как нужно было настроить списки контроля доступа (ACL) и для CIFS и для NFS к одним и тем же данным.

На первый взгляд, можно воспользоваться классическими правами доступа в Linux. У каждой папки и файла есть атрибуты владельца, группы владельца и others (все остальные). Ниже приведен пример классических прав доступа в Linux.

>$ ls -lrt drwxr-xr-x. 2 root root 4096 May 8 15:47 nfsv4_test
Но что делать, если нужно более гранулярно контролировать доступ? POSIX ACLs? Они не поддерживаются NetApp. В итоге единственным решением оказались NFSv4 ACLs.

В этой статье предлагаем описание того, как транслировать NFSv4 ACLs для Windows-пользователей. Будем проводить нашу настройку пошагово. Стиль будет максимально сжатый и емкий. Я не буду останавливаться на каждом пункте подробно, к тому же не буду приводить детального листинга всех команд. Итак, приступим. Читать дальше →
yakovasavr

[Из песочницы] Централизованное хранилище логов для Squid Proxy или как мы логи в базу заворачивали

6 месяцев 1 неделя ago
image
Привет %username%,

Сегодня я хотел бы рассказать про достаточно тривиальную задачу сбора логов с децентрализованных Squid proxy серверов и подводные камни с которыми мы столкнулись.

Что имеем:

  1. Squid-hq
  2. Squid-br1
  3. Squid-br2
  4. Squid-br3
  5. Squid-br4
  6. Squid-db
Читать дальше →
iRandom

Настройка основного и двух резервных операторов на Linux-роутере с NetGWM

6 месяцев 1 неделя ago
Задача резервирования основного шлюза — одна из самых популярных в сетевом администрировании. У нее есть целый ряд решений, которые реализуют механизмы приоритезации или балансировки исходящих каналов для абсолютного большинства современных маршрутизаторов, в том числе и маршрутизаторов на базе Linux.



В статье об отказоустойчивом роутере мы вскользь упоминали свой корпоративный стандарт для решения этой задачи — Open Source-продукт NetGWM — и обещали рассказать об этой утилите подробнее. Из этой статьи вы узнаете, как устроена утилита, какие «фишки» можно использовать в работе с ней и почему мы решили отказаться от использования альтернативных решений. Читать дальше →
gserge

Базовая фортификация Linux: выбираем ежи и учимся рыть траншеи

6 месяцев 1 неделя ago


Несмотря на то, что Linux по праву считается более защищенной системой, чем MS Windows, самого по себе этого факта мало.


Поэтому я хочу рассказать про базовую настройку безопасности в семействе Linux. Статья ориентирована на начинающих Linux-администраторов, но возможно и матерые специалисты почерпнут для себя что-нибудь интересное. В тексте не будет пошаговых инструкций – лишь базовое описание технологий и методов, а также несколько личных рекомендаций.

Читать дальше →
Tri-Edge

Как перенести сервер Zimbra на другой сервер

6 месяцев 2 недели ago
Очень много вопросов у системных администраторов вызывает миграция Zimbra Collaboration Suite с одного сервера на другой или миграция с версии на версию. Самый простой и эффективный способ это сделать — воспользоваться бесплатным инструментом Zextras Migration Tool.

image
Читать дальше →
levashove

[Перевод] Переосмысление PID 1. Часть 1

6 месяцев 2 недели ago
Если у Вас есть хорошие связи или вы хорошо читаете между строк, вы уже могли догадаться о чем этот блог-пост. Но тем не менее Вы можете найти эту историю интересной. Так что хватайте чашку кофе, садитесь поудобнее, и читайте, что грядет.

Это длинный блог-пост, несмотря даже на то, что я Вам порекомендую прочитать сей длинный блог-пост, вот вам однострочное саммари: мы экспериментируем с новой системой загрузки и это забавно.

Здесь код. А вот здесь история:
Читать дальше →
houk

Простенькая первичная авторизация с помощью iptables

6 месяцев 2 недели ago


Очень простой способ прикрыть от посторонних сканеров и брутфорсеров важные сетевые порты такие как:

  • SSH
  • RDP
  • ...

Например, я сталкивался с тем, что брутфорсеры постоянно блокировали учетки в домене windows, долбясь по RDP и передавая пары логин/пароль валидных пользователей. Разумеется, DC блокирует такие учетки, пресекая брутфорс.
Читать дальше →
AntonCheloshkin

Снапшоты GlusterFS

6 месяцев 2 недели ago
Установка GlusterFS не описывается. Чуть ниже ссылка на Quickstart. Что такое снапшоты надеюсь, известно. GlusterFS тоже, на Хабре можно почитать. Но вот интересная особенность, даже в оригинальном Quickstart (рекомендую коротко и ясно) или вот тут не написано, что эта конфигурация снапшоты не поддерживает. Поясню на примере (наш сервер srv1):

mkdir /tmp/1 mkdir /tmp/2 gluster gluster> v create vol-test replica 2 transport tcp srv1:/tmp/1 srv1:/tmp2 force volume create: vol-test: success: please start the volume to access data gluster> v start vol-test volume start: vol-test: success gluster> snapshot create snap-test vol-test snapshot create: failed: Snapshot is supported only for thin provisioned LV. Ensure that all bricks of vol-test are thinly provisioned LV. Snapshot command failed
Oops. А что же вы раньше не сказали? В документации далее это есть, намек что все прочитать надо?
Читать дальше →
zirf

[Из песочницы] Релиз Linux-дистрибутива openSUSE 42.3

6 месяцев 3 недели ago
Друзья, коллеги, единомышленники!

После приблизительно 9 месяцев от даты выхода предыдущей версии, состоялся выпуск третьей редакции выпуска популярного Linux-дистрибутива openSUSE Leap 42-й серии. Итак, встречаем — openSUSE Leap 42.3.



Дистрибутив openSUSE Leap, в отличии от openSUSE Tumbleweed (rolling-release, постоянно обновляемый дистрибутив в стиле Arch Linux), периодически выпускается и является регулярным, рекомендуется для начинающих и опытных пользователей Linux, разработчиков, администраторов и поставщиков программного обеспечения, так как в итоге получается удобный и пригодный к использованию дистрибутив и стабильная операционная система.
Читать дальше →
d3sdichado

[Из песочницы] Как ускорить сайт или факторы, влияющие на загрузку сайта

6 месяцев 3 недели ago
Цель: Дать базовые понятия о факторах, влияющих на скорость загрузки сайта. Разобрать каждый этап загрузки. Дать понятие о способах ускорения за счёт оптимизации каждого фактора загрузки, на который можно повлиять.

Сразу хочу пояснить, что не буду давать тут каких-либо конфигов и команд, статья предназначена для представления картины загрузки сайта в целом, а далее уже, обнаружив проблемное место, человек сможет хотя бы погуглить в нужном направлении.

Целевая аудитория: владельцы сайтов, web-студии, специалисты и любители. Постараюсь написать статью таким образом, чтобы она была доступна в понимании всем.

Причина написания статьи кроется в том, что я заметил, что многие даже не понимают истинных причин тормозов их сайтов и решил написать эту статью, чтобы человек сам смог прочитать и понять, чего же ему не хватает. На загрузку сайта влияет очень много факторов, на большую часть из них мы можем повлиять; остальные нам просто нужно учитывать.
Читать дальше →
castomi
Выбранный
6 часов 2 минуты ago
habrahabr.ru/linux/
Подписаться на лента habrahabr.ru/linux/