|
Контент-фильтр средствами СПО
|
|
|
|
Дата: Пятница, 30.10.2015, 14:35 | Сообщение #71
|
|
iyugov
Владыка слова
Группа: Друзья
Сообщений: 1433
Статус: Отсутствует
|
zgbgr, прикрепить можно. Только это не список доменов, а именно регулярные выражения на URL. Вот часть белого списка для примера:
Код
^http[s]?://(([A-Za-z0-9\._-])*\.)?tofmal\.ru/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?tverobr\.ru/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?tver\.ru/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?tversu\.ru/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?ubuntu\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?ucoz\.net/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?uid\.me/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?usertrust\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?verisign\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?windows\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?windowsupdate\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?xubuntu\.org/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?yandex\.net/*
^http[s]?://ajax\.googleapis\.com/*
^http[s]?://an\.yandex\.ru/*
^http[s]?://api\-maps\.yandex\.ru/*
^http[s]?://api\.mixpanel\.com/*
^http[s]?://apis\.google\.com/*
^http[s]?://api\.yandex\.ru/*
^http[s]?://bar\.yandex\.ru/*
^http[s]?://bebras\.ru/*
^http[s]?://books\.yandex\.ru/*
Программное обеспечение должно уметь разбирать эти выражения, как grep или squid. Вы Squid настраиваете?
Почему не домены? Потому что объектом доступа (разрешить/запретить) является ресурс, а не весь домен. В пределах одного домена могут быть и открытые, и закрытые страницы.
Список составляю сам (скрипт помогает формировать регулярные выражения). В данный момент он охватывает лишь 267 сайтов - это почти ничто в масштабах интернета, но учебной работе не мешает. Сайты заносятся в белый список по просьбе учителей (и учащихся, если сайт правильный).
|
|
|
|
|
|
Дата: Пятница, 30.10.2015, 14:46 | Сообщение #72
|
|
zgbgr
Начинающий
Группа: Пользователи
Сообщений: 9
Статус: Отсутствует
|
вот написал товарищь, у вас наверное есть данная ссылка.
кое в чем сам помогал ему
http://www.sakryukin.ru/index.php?module=articles&c=articles&b=4&a=11
не рекламирую...
белый список может появится. так поделюсь тут.
а черный список, тоже есть, именно запрещенных сайтов от прокуратуры..
они же размещены в инете, только надо в текстовый файлы вставить
|
|
|
|
|
|
Дата: Пятница, 30.10.2015, 18:36 | Сообщение #73
|
|
iyugov
Владыка слова
Группа: Друзья
Сообщений: 1433
Статус: Отсутствует
|
Сайты, запрещённые судом, - это проблема провайдера. Он эти сайты должен блокировать для всех. Школа должна ограничивать доступ к тем ресурсам, которые в принципе не запрещены, но несовместимы с задачами образования.
Фильтр по URL может делать сам Squid, а фильтр по фразам в случае белого списка ничего не даёт. В чём цель использования Dansguardian? Не будет ли так, что сервер станет тратить свои ресурсы и занижать скорость обмена данными, занимаясь разбором всего трафика по фразам?
Как предлагается фильтровать HTTPS-трафик? От него нельзя отказаться - потеряем много хороших сайтов и автоматические обновления.
|
|
|
|
|
|
Дата: Пятница, 30.10.2015, 18:40 | Сообщение #74
|
|
zgbgr
Начинающий
Группа: Пользователи
Сообщений: 9
Статус: Отсутствует
|
согласен, но ведь описание настройки в конкретном случае просто замечательно...
по идее да будет жрать ресурсы... по логике этим провайдер должен заниматься, а не школа..
думаете что squid и squidguard вполне хватит?
Сообщение отредактировал zgbgr - Пятница, 30.10.2015, 18:40
|
|
|
|
|
|
Дата: Пятница, 30.10.2015, 20:57 | Сообщение #75
|
|
iyugov
Владыка слова
Группа: Друзья
Сообщений: 1433
Статус: Отсутствует
|
zgbgr, хватит iptables и squid. Имею в виду - для такой настройки, которой удовлетворится прокуратура при проверке.
Описание настройки важно, у меня тоже такое есть. Однако, не так много людей в школах могут пройти все эти наши квесты. Думал, как сделать виртаульную машину, в которой уже всё настроено и остаётся только поставить на физический сервер. Но везде своя существующая раздача адресов, сетевые интерфейсы, а сервер всё равно придётся админить - учитывать IP, добавлять сайты в белый список. Всё, что могу сделать, - это по мере сил спасать двух своих непосредственных работодателей.
И таки разломал я HTTPS-соединение: squid подменяет SSL-сертификат, расшифровывает трафик и фильтрует его по URL. Не работают только обновления Windows, но там особый случай. Ради обновлений меняю раздачу IP на нефильтруемый диапазон, перезагружаю клиентов, обновляю, потом возвращаю обратно.
Сообщение отредактировал iyugov - Пятница, 30.10.2015, 21:12
|
|
|
|
|
|
Дата: Суббота, 31.10.2015, 08:10 | Сообщение #76
|
|
zgbgr
Начинающий
Группа: Пользователи
Сообщений: 9
Статус: Отсутствует
|
iyugov, так тоже сделать подробное описание надо б..
сейчас после рухнувщего сервера буду по новой настраивать, быстро на коленке поднял им сервер для инета, что б работало, а тут время будет уже основательно сделаю. почему и говорю, ваше б описание подробное..
|
|
|
|
|
|
Дата: Суббота, 31.10.2015, 09:41 | Сообщение #77
|
|
iyugov
Владыка слова
Группа: Друзья
Сообщений: 1433
Статус: Отсутствует
|
zgbgr, описание есть в первом сообщении этой темы. Совсем до деталей не расписывал - ждал вопросов от конкретных настройщиков и не был уверен, что вообще пригодится. Теперь, через 4 года, ещё больше не уверен. Люди вроде как соглашаются, что вещь нужная, но тема не развивается.
Зачем на коленке, я вот сразу два сервера настроил. И ещё третий, на тестовой виртуальной машине. И ещё бэкапы всех конфигов на четвёртом.
А хотите полную инструкцию настройки моего сервера?
|
|
|
|
|
|
Дата: Суббота, 31.10.2015, 11:25 | Сообщение #78
|
|
zgbgr
Начинающий
Группа: Пользователи
Сообщений: 9
Статус: Отсутствует
|
Цитата iyugov (  ) А хотите полную инструкцию настройки моего сервера?
а так интересно было б.
хотелось бы сварганить нечто такое приличное... у вас что-то есть, есть у Константина...может у кого то еще есть. был вон сайт spohelp.ru что-то там было
P.S.
кое-что понравилось
Сообщение отредактировал zgbgr - Суббота, 31.10.2015, 14:43
|
|
|
|
|
|
Дата: Воскресенье, 01.11.2015, 19:25 | Сообщение #79
|
|
sakriukinkv
Начинающий
Группа: Пользователи
Сообщений: 2
Статус: Отсутствует
|
Доброго здоровья, всем!
iyugov, а акак свернули шею-то ssl?
Я тоже патчил сквид, чтобы https пропускал, но единственное, чего смог добиться - это отображение в логах https трафика.
Ну и не смог заставить Firefox под Linux перестать материться на не действительный сертификат. Т.е., на один сеанс можно понажимать софт-кнопачки, мол согласен, принимаю и т.д. А вот на всегда не выходит. Настройки в about:config положительного результата не приносят. Менять Firefox на Opera для меня не выход - нужны некоторые плагины огнелиса.
В итоге отказался от обработки https на squid-е, так с сентября провайдер сам завернул всё, на своего кальмара.
Но фильтрация интересная: https://yandex.ru работает, https://google.ru не работает, https://mail.ru есть, а gmail.org нет. В общем всё, что наше - есть, а всё, что зарубежное - отсутствует. В том, что стоит сквид у них я уверен, т.к. временами выдаёт ошибку прокси с соответствующим сообщением.
Так вот вопрос-то вот в чём:
что Вы делали для фильтрации https трафика и как себя вели браузеры после подмены сертификатаа?
Хотя реакция браузеров предсказуема.
|
|
|
|
|
|
Дата: Воскресенье, 01.11.2015, 20:10 | Сообщение #80
|
|
iyugov
Владыка слова
Группа: Друзья
Сообщений: 1433
Статус: Отсутствует
|
sakriukinkv, нормально себя ведут, если сертификат сквида в доверенные положить. В свойствах соединения Chrome иногда пишет, что "записи общедоступного аудита отсутствуют" или метод шифрования устаревший, но он и при обычных соединениях такое выдаёт. Squid фильтрует такой трафик, как и незашифрованный. Но сайты с HTTPS в компьютерных классах у нас используются редко, так что весь спектр проблем я, наверное, не испытывал.
Сервер у нас на Ubuntu, так что взял пакет sqild-ssl из одного PPA. Настроил в режим, который называется "SSL Bump с динамической генерацией сертификатов". iptables заворачивает обращения к 443-му порту на 3130-й. И вот часть squid.conf:
Код http_port 3128
http_port 3129 intercept
https_port 3130 intercept ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=16MB cert=/opt/squid/squid.pem key=/opt/squid/private.key
sslproxy_flags DONT_VERIFY_PEER
sslproxy_cert_error allow all
always_direct allow all
ssl_bump server-first all
Чего не удалось побороть - так это обновления Windows. Видимо, сертификаты для обновления куда-то так глубоко зашиты в систему, что пользовательские настройки их не перекрывают. Решаю проблему так: выделяю время, когда за компьютерами никто не работает, на сервере DHCP даю им IP-адреса из нефильтруемого диапазона, перезагружаю их, позволяю обновиться, возвращаю настройки адресов обратно, перезагружаю клиентов опять. Не автоматизировано, зато нет внезапных проблем типа "Подождите выключать, устанавливается обновление 1 из 219".
Сообщение отредактировал iyugov - Воскресенье, 01.11.2015, 21:12
|
|
|
|
