Доработка парсера логов Squid для корректного просмотра посещенных HTTPS ресурсов

3 года 9 месяцев ago
Всем привет! Я получал, и получаю множество писем от людей с вопросами по Squid, который работает на основе моей статьи. Наиболее часто возникает вопрос про просмотр логов Squid каким-либо парсером. Проблема в том, что версия Squid 3.5.8 с настроенным прозрачным проксированием HTTPS логирует посещаемые HTTPS ресурсы не в виде доменных имен, а в виде IP адресов с портами (прим. 164.16.43.56:443). Соответственно, при просмотре статистики посещений вместо человеческой информации проскакивают эти самые IP адреса. Собирать статистику с такими данными довольно сложно. Я связывался с разработчиками Squid по этому поводу, но внятного ответа так и не получил. Единственное, что я выяснил, нормальное логирование работает в более новых версиях Squid, но на них прозрачное проксирование лично у меня так и не заработало должным образом. Поэтому возник вопрос о том, как сделать резолв IP адресов в самом парсере логов.
Если интересно, идем под кат
nagibat0r

Сопроцессы: -что, -как, -зачем?

3 года 9 месяцев ago
Многие пользователи Bash знают о существании со-процессов, появившихся в 4-й версии Bash'a. Несколько меньшее количество знает о том, что сопроцессы в Bash не какая-то новая фича, а древний функционал KornShell'a появившийся ещё в реализации ksh88 в 1988 году. Ещё меньшее количество пользователей shell'ов умеющих сопроцессить знают синтаксис и помнят как это делать. Вероятно, я отношусь к четвёртой группе — знающих о сопроцессах, периодически умеющих ими пользоваться но так и не понимающих «зачем?». Я говорю «периодически», так как иногда я освежаю в голове их синтаксис, но к тому моменту, когда мне кажется что «вот тот случай когда можно применить co-proc» я уже напрочь забываю о том как это делать.

Этой заметкой я хочу свести воедино синтаксисы для разных шеллов чтобы на случай, если таки придумаю зачем они мне нужны, я если и не вспомню как это делать, то по крайней мере, буду знать где это записано.

В заголовке статьи у нас 3 вопроса. Пойдём по порядку.

Что?
Что же такое co-process? Со-процессинг — это одновременное выполнение двух процедур, одна из которых считывает вывод другой. Для его реализации необходимо предварительно запустить фоновый процесс выполняющий функционал канала. При запуске фонового процесса его stdin и stdout присваиваются каналам связанными с пользовательскими процессами. Соответственно, один канал для записи, второй для чтения. Пояснять это проще на примерах, поэтому сразу перейдём ко второму вопросу.
Читать дальше →
simpleadmin

Основы компьютерных сетей. Тема №1. Основные сетевые термины и сетевые модели

3 года 9 месяцев ago

Всем привет. На днях возникла идея написать статьи про основы компьютерных сетей, разобрать работу самых важных протоколов и как строятся сети простым языком. Заинтересовавшихся приглашаю под кат.



Читать дальше →
solid_93

IXIA ThreatARMOR: меньше атак, меньше алармов SIEM, лучше ROI

3 года 9 месяцев ago
Попалось нам в руки новое решение от компании IXIA – Threat Armor. И у нас получилось его протестировать и разобраться, что же это за «чудо», которое появилось в начале этого года и уже успело получить большое количество золотых наград на всевозможных выставках в разных концах мира.


Читать дальше →
artiusha

Установка любого программного обеспечения средствами WSUS — 2

3 года 9 месяцев ago
В продолжение первой части от yosemity я бы хотел представить логическое продолжение и развитие LUP — WSUS Package Publisher. В отличие от LUP, WSUSPP живет, развивается и поддерживает работу с Windows Server 2012. В данной инструкции будут рассмотрены только добавление обновлений, создание правил и описаний самого распространенного стороннего ПО. А именно:

1) Adobe Flash Player & Adobe Reader
2) 7-Zip
3) PDF24 Creator
4) X-Mouse Button Control
5) Adobe Acrobat Reader DC (обновление с Adobe Reader XI)

Внимание! Много картинок, ссылок и информации!
Читать дальше →
AcidVenom

[Из песочницы] Раскладка клавиатуры в Q4OS

3 года 9 месяцев ago
Зачем?
Скажем так, в одном месте решение не было найдено. Потратив время на рабочую компоновку решил поделится с собществом. Пригодится тем, кто предпочитает переключение языков на клавиатуре 'Ctrl+Shift', 'Alt+Shift'..., вместо 'Alt+Space' или 'Ctrl+Alt+K' по умолчанию.

Все началось с того, что понадобилась легкая и функциональная система для пользователей знакомых только с Windows со слабой хардварной составляющей. Q4OS удовлетворяла требованиям, но дефолтовое переключение языков многие не восприняли.
Читать дальше →
maestroweb

[Из песочницы] Поднимаем микромониторинг на icinga2 с минимальными затратами

3 года 9 месяцев ago
Иногда есть желание контролировать ситуацию в разнородных сетях, отдельных хостах за натом или просто мониторить компьютеры родителей или друзей, но ресурсов для этого почти нет. Будем искать решение с помощью icinga2. Сейчас у VDS провайдеров есть предложения VDS серверов в минимальных конфигурациях за смешные деньги. Что ж, воспользуемся этим.

Например, сервер с одним ядром, 512 Мб оперативной памяти и диском на 10 Гб обойдется всего в 90 рублей в месяц. Установим icinga2 на такой сервер. Но для экономии ресурсов не будем хранить данные и вместо стандартного веб-интерфейса (icingaweb2) сделаем свой который будет обращаться к API icinga2.
Читать дальше →
plsatin

[Из песочницы] Хранение конфига ssh в ansible проекте и решение проблемы с туннелями при использовании относительного пути

3 года 9 месяцев ago

Ansible — прекрасное средство управления серверами. Совместно с git он позволяет перейти в парадигму deploy as code со всеми вытекающими отсюда прелестями, такими как ревью кода, мердж (пулл) реквесты изменений и тому подобное. Особенно это актуально если над этим работает команда, а не единственный человек.


В этом свете становится очевидно удобным хранить настройки подключения к управляемым хостам прямо в этом же репозитории, помимо файла inventory/hosts (его вообще лучше вынести в какой-нибудь сервис вроде CMDBuild или похожие). То есть, если на хосте поменялся скажем порт подключения или IP адрес, остальные члены команды должны это получить при следующем подтягивании изменений из репозитория, а не вносили каждый изменения в свой файл ~/.ssh/config.


Причём большинство параметров будут работать должным образом без каких-то усилий, но не всё так просто если вы хотите использовать ssh-туннели.

Читать дальше →
Hubbitus

Миграция Xenserver 7 на linux raid

3 года 9 месяцев ago
Xenserver недавно обновился до седьмой версии и я, конечно же, не смог пройти мимо.

Среди бросающихся в глаза плюшек (помимо миграции на CentOS 7) — другая разбивка диска с монтируемым отдельно /var/log (наконец-то) и увеличенным до 20 гигов корнем (алиллуйя!).
Но вот делать при загрузке RAID любого уровня он так и не умеет. А значит, нужно опять мигрировать уже установленную систему.

image

Благо, если XenServer только-только установлен, то это не так страшно.

Читать дальше →
Night_Snake

Немного о VPN: Краткий обзор программных реализаций

3 года 9 месяцев ago


/ фото reynermedia CC

Неделю назад в нашем блоге мы затронули тему хранения данных, а точнее технологий, способных изменить наше с вами представление о дата-центрах. Сегодня мы хотим поговорить о технологиях, имеющих непосредственное отношение к передаче данных.
Читать дальше →
1cloud

Новые технологии CRM интеграции в 3CX v15

3 года 9 месяцев ago
Универсальная интеграция 3CX с любой CRM системой
Сегодня мы расскажем о том, как решить, пожалуй, самую актуальную проблему современной телефонии – интеграцию со сторонними информационными системами, прежде всего, CRM системами. Необходимо отметить, что сейчас существует много облачных сервисов телефонии, предлагающих, также, базовый функционал CRM. С другой стороны, многие производители CRM пытаются интегрировать базовые функции телефонии непосредственно в интерфейс пользователя. Также существуют готовые системы “два-в-одном”, в которых уже при проектировании закладывались коммуникационные возможности.

Одним словом, производители этих решений услышали требования пользователей и двигаются в правильном направлении. В целом, так оно и есть. Однако подход “два-в-одном” имеет ряд недостатков, самый главный из которых – неудовлетворительная гибкость. Согласитесь, создание функциональной системы объединенных коммуникаций и первоклассной CRM требует совершенно разных компетенций. В результате пользователь сталкивается либо с ограниченными коммуникационными возможностями, либо с бесполезной “обрезанной” CRM с неясными перспективами развития.

В системах, где CRM изначально объединена с телефонией, также существует ряд недостатков: Читать дальше →
snezhko

Mikrotik QOS в распределенных системах или умные шейперы

3 года 9 месяцев ago
А что бы вы со своей стороны могли предложить?
— Да что тут предлагать… А то пишут, пишут… конгресс, немцы какие-то… Голова пухнет. Взять все, да и поделить.
— Так я и думал, — воскликнул Филипп Филиппович, шлепнув ладонью по скатерти, — именно так и полагал.
М. Булгаков, «Собачье сердце»


image Про разделение скорости, приоритезацию, работу шейпера и всего остального уже много всего написано и нарисовано. Есть множество статей, мануалов, схем и прочего, в том числе и написанных мной материалов. Но судя по возрастающим потокам писем и сообщений, пересматривая предыдущие материалы, я понял — что часть информации изложена не так подробно как это необходимо, другая часть просто морально устарела и просто путает новичков. На самом деле QOS на микротике не так сложен, как кажется, а кажется он сложным из-за большого количества взаимосвязанных нюансов. Кроме этого можно подчеркнуть, что крайне тяжело освоить данную тему руководствуясь только теорией, только практикой и только прочтением теории и примеров. Основным костылем в этом деле является отсутствие в Mikrotik визуального представления того, что происходит внутри очереди PCQ, а то, что нельзя увидеть и пощупать приходится вообразить. Но воображение у всех развито индивидуально в той или иной степени.
Читать дальше →
Inlarion

Чем Fault Tolerant серверы отличаются от «бытового» ширпотреба на конкретном примере

3 года 9 месяцев ago

«Зеркальный» кластер с синхронными вычислительными процессами, вид спереди

Пока тут весь интернет кричит про наш отечественный жёсткий диск на целых 50 Мегабайт массой 25 килограмм, не очень-то понимая, что эта штука может пережить две ядерных войны на дне бассейна, расскажу про серьёзные отказоустойчивые серверы и их отличия от обычного железа. К счастью, к нам как раз поступили на тестирование такие, и была возможность хорошенько над ними поиздеваться.

Эти решения особенно интересны для админов. Дело в том, что они защищены не физически — кожухами, отказоустойчивыми интерфейсами или чем-то ещё, а на уровне именно архитектуры вычислений.

Нам в руки попал флагман ftServer 6800 от Stratus. Это корпус с двумя идентичными вычислительными узлами, объединёнными в один кластер, причем обе его половинки работают синхронно и делают одно и то же «зеркально». Это старая добрая «космическая» архитектура, когда вычислительный процесс проходит сразу два независимых аппаратных пути. Если где-то возникнет баг (не связанный с кривостью кода), то один из результатов точно достигнет цели. Это важно для критичных систем в самых разных областях от банкинга до медицины, и это очень важно там, где есть «тихая потеря данных». То есть там, где во весь рост встают баги процессоров, связанные с тем, что кристаллы всё же уникальные и двух одинаковых машин не бывает в природе. Обычно это не проявляется, но на ответственных задачах требуется защититься от случайного влияния помех и возможных более явных проблем. Поэтому вот так и сделано. Читать дальше →
GMogilev

Бюджетный «датацентр» на Nutanix CE

3 года 9 месяцев ago


Читающие наш блог не первый месяц знают, что год назад мы выпустили специальную версию ПО Nutanix, Nutanix Community Edition, который, в отличие от наших «взрослых» систем, продающихся вместе с аппаратной платформой, и стоящих довольно увесистых денег, можно скачать бесплатно, установить на свое железо подходящей конфигурации, и пользоваться. Да, на получившееся нет нашей классной (и даже русскоязычной!) поддержки (только наш англоязычный community-форум, впрочем, довольно активный и помогабельный), зато бесплатно, Карл! И хотя изначально мы планировали, что CE будет применяться в качестве учебной лабы, для экспериментов, знакомства с продуктом, и тому подобного, не секрет, что есть немало пользователей, которые решили взять CE и применить его в продакшне. Что-ж, это возможно, мы понимаем, времена для IT бюджетов в стране тяжелые, глупо было бы отказываться от такой возможности.
Но остается вопрос: как и из чего построить «идеальную платформу» под Nutanix CE, да так, чтобы и денег зря не потратить, и получить на выходе то, на что будет не страшно поставить продакшновые задачи. Поэтому в этой статье я попробую спроектировать такую dream-платформу под Nutanix CE с прикидкой на использование ее не в домашней лабе (о таком варианте я уже недавно писал в своем блоге), а для более или менее «боевых» задач.

Что-ж, начнем. Строить нашу «боевую» платформу под Nutanix CE мы будем вокруг материнской платы хорошо известной «в узких кругах» серверных сборщиков компании SuperMicro, наверное, самого именитого и популярного из вендоров Tier-2 разработчика серверных платформ.
Читать дальше →
nutanix

Как один админ зоопарк укрощал

3 года 9 месяцев ago

День добрый, уважаемые Хабраюзеры!


Я готовил этот пост ко Дню сисадмина, но не успел и упустил момент. Так что, дорогие наши сисадмины, с прошедшим вас праздником, эта показательная история, наверняка, будет знакома каждому из вас.


Итак, рассказ записан со слов сисадмина, внезапно ставшего владельцем целого «зоопарка».


Читать дальше →
aflex

[Из песочницы] 15 вещей, которые вы должны знать об Ansible

3 года 9 месяцев ago
Предлагаю читателям «Хабрахабра» перевод опубликованной на codeheaven.io статьи «15 Things You Should Know About Ansible» за авторством Marlon Bernardes.

В последнее время я много работал с Ansible и решил поделиться некоторыми вещами, которые выучил по пути. Ниже вы найдете список из 15 вещей, которые, как я думаю, вы должны знать об Ansible. Что-то пропустил? Просто оставьте комментарий и поделитесь вашими личными советами.
Читать дальше →
greatehop

Как мы ускорили PHP-проекты в 40 раз с помощью кэширования

3 года 9 месяцев ago


Вопросы SEO-оптимизации и улучшения User eXperience, которые в определенный момент встали перед командой Wrike, потребовали значительного увеличения скорости работы наших веб-проектов. На тот момент их было порядка десяти (основной сайт, блог, справочный центр и т. д.). Решение по ускорению проектов было выполнено на основе связки Nginx + fastcgi cache + LUA + LSYNC.

Читать дальше →
wrike_ops

Стоечный KVM для экономных

3 года 9 месяцев ago
Благодаря нашему ОпСоСу (оператору сотовой связи), поставившему к нам в офис 2G/3G базовую станцию, у нас наконец-то сделалась нормальная связь. Кроме того, вместе со станцией мы обрели новую стойку. Была договорённость, что в эту стойку мы перебросим еще и своё оборудование, потому что места было немного и третья стойка сильно мешала. И если серверное железо поместилось без проблем, то пристроить монитор было затруднительно. В стойке оставалось где-то 5U свободного места, что для полки с монитором недостаточно.

Вообще-то, мы очень любим стоечные KVM — максимум функционала при 1U размера, но совершенно не нравятся цены. 80 тыс.руб за то, что нас бы устроило.

А что если понищебродить попытаться сделать нечто подобное самостоятельно? После проверки склада, мы обнаружили что:

Читать дальше →
las68

Как не хранить секреты где придётся, или зачем нам Hashicorp Vault

3 года 9 месяцев ago

Vault header 


Задайте себе вопрос — как правильно хранить пароль от базы данных, которая используется вашим сервисом? В отдельном репозитории с секретами? В репозитории приложения? В системе деплоя (Jenkins, Teamcity, etc)? В системе управления конфигурациями? Только на личном компьютере? Только на серверах, на которых работает ваш сервис? В некоем хранилище секретов?
Зачем об этом думать? Чтобы минимизировать риски безопасности вашей инфраструктуры.
Начнём исследование вопроса с определения требований к хранению секретов.


Читать дальше →
bhavenger

Автоматизация установки обновлений на клиентскую машину с отсевом ошибочных обновлений

3 года 9 месяцев ago
Раз в год выходит обновление ломающее привычную работу. Windows пытается поставить его 3 раза, и если 3 раза был откат то она загружается без установки. Пользователи с утра начинают звонить. Если ничего не предпринять то на следующее утро ситуация повторится.
  • На WSUS сервере нет смысла перемещать его в Unapproved т.к. патч уже скачан на клиенскую машину и находится в папке SoftwareDistribution, надо удалять вручную
  • глючных патчей может быть много
  • через пол годика админ может по запарке его снова одобрить
  • если одобряем раз в полгода-год, отсев плохих от хороших займет до 1 дня работы на 1 машину (класс машин)
  • обновления одной конфигурации могут не подходить для другой конфигурации даже если ОС одна
  • состояние обновления скрытое будет сброшено если удалить SoftwareDistribution
  • SoftwareDistribution надо скидывать если глюкнула база, слишком долго идет поиск, а лучше делать это периодически

Это все неудобно, поэтому админ почти всегда сделает одно и то же — он отключит обновления на проблемной машине. А через годик или два он начнет накатывать обновления и столконется с этой же проблемой.

Т.к. глюк обновлений вызывает аварийный режим, жрет неимоверное количество времени персонала на абсолютно бессмысленную фигню, и с целью преехода к умной инфраструктуре было решено попробовать автоматизировать этот процесс. Попутно был получен скрипт который может установить все обновления на свежеустановленую машину в автоматическом режиме.

Сразу оговорюсь — данный скрипт не умеет ремонтировать систему которая не загружается вообще, он умеет сам ставить обновления, в автоматическом режиме выкидывать обновы вызывающих циклическую перезагрузку, имеет возможность вручную добавить плохие обноления в список и сигнализировать админу о возникших неполадках с установкой.
Читать дальше →
pak-nikolai
Checked
4 часа 4 минуты ago
habrahabr.ru/hub/sys_admin/
Системное администрирование – Лишь бы юзер был доволен
Подписаться на лента habrahabr.ru/hub/sys_admin/