The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Настройка потокового аудиовещания при помощи Icecast2.3.3-kh5 в Chroot
Есть задачи:
Установка icecast2.3.3-kh5 на Centos 6 x64.
Настройка icecast на 80 порт.

Почему такой выбор продукта и операционной системы - сборка KH явно превосходит
по своей функциональности базовую. Дьявол кроется в деталях, погружаться в тему
можно на профильных форумах. CentOS - это сейчас стандарт де факто для Unix
серверов в нашей организации, поэтому опять же без обсуждения.

В репозиториях именно этой модификации icecast нет. Или я так и не смог найти.
В итоге, загрузил исходники с http://karlheyes.github.com/ , распаковал, собрал, поставил.

   yum install curl-devel libtheora-devel libvorbis-devel  libxslt-devel speex-devel 
   yum groupinstall 'Development Tools'
   tar xzf icecast2.3.3-kh5
   cd icecast-2.3.3-kh5
   ./configure
   make
   make install

не стал использовать rpmbuild - почему то не захотел собираться нормально.
  
Начал пытаться запускать. На 8000 порту всё взлетает, но как только меняешь на
80 всё останавливается и говорит, что под root на 80 никого не пущу. Ладно
будем chrootить, благо эта опция есть к конфигурационном файле. Вот на этом
месте начинается самое интересное.

1) Chroot сам по себе прост и банален, но приходиться давать массу прав на
массу директорий и дополнительных перенаправлений.

2) Конфигурацию выкладываю - она рабочая, не добавлены только точки
монтирования и всякие мелкие нужности - пароли и т.д.

  <blockquote>
  <icecast>
    <location>UK</location>
    <admin>webmaster@localhost</admin>

    <limits>
        <clients>100</clients>
        <sources>2</sources>
        <queue-size>524288</queue-size>
        <client-timeout>30</client-timeout>
        <header-timeout>15</header-timeout>
        <source-timeout>10</source-timeout>
        <!-- same as burst-on-connect, but this allows for being more
             specific on how much to burst. Most people won't need to
             change from the default 64k. Applies to all mountpoints  -->
        <burst-size>65535</burst-size>
        <!--
        <max-bandwidth>100M</max-bandwidth>
        -->
    </limits>

    <authentication>
        <!-- Sources log in with username 'source' -->
        <source-password>hackme</source-password>
        <!-- Relays log in username 'relay' -->
        <relay-password>hackme</relay-password>

        <!-- Admin logs in with the username given below -->
        <admin-user>admin</admin-user>
        <admin-password>hackme</admin-password>
    </authentication>

    <!-- Uncomment this if you want directory listings -->
    
    <directory>
        <yp-url-timeout>15</yp-url-timeout>
        <yp-url>http://dir.xiph.org/cgi-bin/yp-cgi<;/yp-url>
    </directory>
    

    <!-- This is the hostname other people will use to connect to your server.
    It affects mainly the urls generated by Icecast for playlists and yp
    listings. -->
    <hostname>localhost</hostname>

    <!-- set the mountpoint for a shoutcast source to use, the default if not
         specified is /stream but you can change it here if an alternative is
         wanted or an extension is required
    <shoutcast-mount>/live.nsv</shoutcast-mount>
    -->

    <!-- port to use when talking to YP etc -->
    <port>80</port>

    <!-- You may have multiple <listener> elements -->
    <listen-socket>
        <port>80</port>
        <!-- <bind-address>127.0.0.1</bind-address> -->
        <!-- use <shoutcast-mount> in here to implicitly define port n+1 -->
    </listen-socket>
    <!--
    <listen-socket>
        <port>8001</port>
        <ssl>1</ssl>
    </listen-socket>
    -->

    <!--<master-server>127.0.0.1</master-server>-->
    <!--<master-server-port>8001</master-server-port>-->
    <!--<master-update-interval>120</master-update-interval>-->

    <!--<master-username>hackme</master-username>-->
    <!--<master-password>hackme</master-password>-->

    <!-- issue above authentication for relays in slave setup -->
    <!--<master-relay-auth>1</master-relay-auth>-->

    <!-- setting this makes all relays on-demand unless overridden, this is
         useful for master relays which do not have <relay> definitions here.
         The default is 0 -->
    <!--<relays-on-demand>1</relays-on-demand>-->


    <!-- Request the master server to redirect new listeners to this slave
         the details passed are based on <hostname> and <port> -->
    <!--<master-redirect>1</master-redirect>-->

    <!-- The maximum nuber of slaves that can register for new listener redirection. -->
    <!--<max-redirect-slaves>10</max-redirect-slaves>-->

    <!-- Relays. State connection information, and by default 
         request inline metadata for mp3 streams if available.
         An on-demand relay will only retrieve the stream if
         there are listeners connected -->
    <!--
    <relay>
        <server>127.0.0.1</server>
        <port>8001</port>
        <mount>/example.ogg</mount>
        <local-mount>/different.ogg</local-mount>
        <on-demand>1</on-demand>
        <retry-delay>30</retry-delay>

        <relay-shoutcast-metadata>0</relay-shoutcast-metadata>
    </relay>
    -->
    <!-- Allow multiple master servers to be specified, tries each one in turn.
    <relay>
        <local-mount>/stream.mp3</local-mount>
        <server>a.b.c.d</server>
        <timeout>6</timeout>
        <master>
            <port>8000</port>
            <mount>/a</mount>
        </master>
        <master>
            <port>80</port>
            <mount>/</mount>
        </master>
    </relay>
    -->

    <!-- Only define a <mount> section if you want to use advanced options,
         like alternative usernames or passwords
         With a master/slave setup you need to define a mount in the master
         or else the server will assume that the stream is not to be made
         available to the slave.
    <mount>
        <mount-name>/*.ogg</mount-name>

        <username>othersource</username>
        <password>hackmemore</password>

        <max-listeners>1</max-listeners>
        <max-bandwidth>1000k</max-bandwidth>
        <file-seekable>0</file-seekable>
        <dump-file>/backup/live-%d-%b.ogg</dump-file>
        <burst-size>65536</burst-size>
        <fallback-mount>/example2.ogg</fallback-mount>
        <fallback-override>1</fallback-override>
        <fallback-when-full>1</fallback-when-full>
        <intro>/path/to/stream-intro.ogg</intro>
        <max-listener-duration>3600</max-listener-duration>
        <hidden>1</hidden>
        <authentication type="htpasswd">
                <option name="filename" value="myauth"/>
                <option name="allow_duplicate_users" value="0"/>
        </authentication>
        <on-connect>/home/icecast/bin/stream-start</on-connect>
        <on-disconnect>/home/icecast/bin/stream-stop</on-disconnect>
        <file-seekable>0</file-seekable>
    </mount>
    -->
    <!-- other auth possibilities include running a command
         to do the auth, mount, user and pass are passed via
         stdin to the program
    <mount>
    ....
        <authentication type="command">
             <option name="listener_add" value="auth_verify"/>
        </authentication>
        
        or 

        for url auth, the add url needs to return a "icecast-auth-user:" http
        header for a user to authenicate. URLs are sent params via POST.

        <authentication type="url">
             <option name="username" value="admin"/>
             <option name="password" value="hackme"/>
             <option name="handlers"        value="3" />
             <option name="stream_auth"    value="http://myauthserver.com/scripts/auth_mount.php"/>
             <option name="mount_add"    value="http://myauthserver.com/scripts/add_mount.php"/>
             <option name="mount_remove" value="http://myauthserver.com/scripts/del_mount.php"/>
             <option name="listener_add"    value="http://myauthserver.com/scripts/add_listener.php"/>
             <option name="listener_remove" value="http://myauthserver.com/scripts/del_listener.php"/>
        </authentication>
    </mount -->


    <fileserve>1</fileserve>

    <paths>
        <!-- basedir is only used if chroot is enabled -->
        <basedir>/usr/local/share/icecast</basedir>

        <!-- Note that if <chroot> is turned on below, these paths must both
             be relative to the new root, not the original root -->
        <logdir>/log</logdir>
        <webroot>/web</webroot>
        <adminroot>/admin</adminroot>
        <pidfile>/icecast.pid</pidfile>
        <!-- <ssl-certificate>/usr/local/share/icecast/icecast.pem</ssl-certificate> -->
        <!-- <deny-ip>/path/to/file-with-IPs</deny-ip> -->
        <!-- <allow-ip>/path/to/file-with-IPs</allow-ip> -->
        <!-- <deny-agents>/path/to/file-with-useragents</deny-agents> -->

        <!-- location of mime types files used for file serving -->
        <mime-types>/etc/mime.types</mime-types>

        <!-- Aliases: treat requests for 'source' path as being for 'dest' path
             May be made specific to a port or bound address using the "port"
             and "bind-address" attributes.
          -->
        <!--
        <alias source="/foo" dest="/bar"/>
          -->
        <!-- Aliases: can also be used for simple redirections as well,
             this example will redirect all requests for http://server:port/ to
             the status page
          -->
        <alias source="/" dest="/index.html"/>
    </paths>

    <logging>
        <accesslog>access.log</accesslog>
        <errorlog>error.log</errorlog>
        <!-- <accesslog_ip>1<accesslog_ip> -->
        <playlistlog>playlist.log</playlistlog>
 <loglevel>3</loglevel> <!-- 4 Debug, 3 Info, 2 Warn, 1 Error -->
       <logsize>10000</logsize> <!-- Max size of a logfile -->
        <!-- If logarchive is enabled (1), then when logsize is reached
             the logfile will be moved to [error|access|playlist].log.DATESTAMP,
             otherwise it will be moved to [error|access|playlist].log.old.
             Default is non-archive mode (i.e. overwrite)
        -->
        <!-- <logarchive>1</logarchive> -->
    </logging>

    <security>
        <chroot>1</chroot>
        
        <changeowner>
            <user>nobody</user>
            <group>nobody</group>
        </changeowner>
        
    </security>
  </icecast>
  </blockquote>


После этого всё заработало, но остаётся несколько вопросов:

1) Установка локального времени в логах icecast - при просто chroot он использует GMT.
Решение: создание в /usr/local/share/icecast папки etc и копирование в неё
файла /etc/mime.types и localtime


2) Автостарт и управление службой как положено - без костылей типа killall и
т.д. Т.е. нужен нормальный работающий скрипт в /etc/rc/d/init.d/.

Решение: скрипт был взят здесь http://lists.xiph.org/pipermail/icecast/2008-November/011358.html


3) Ротация логов средствами операционной системы.
Решение третьей проблемы - пока тестирую настроечный файл в /etc/logrotate.d/,
предварительно он вот такой

   /usr/local/shared/icecast/log/*.log {
       rotate 30
       daily
       compress
       postrotate
    /bin/kill -HUP `cat /usr/local/shared/icecast/icecast.pid 2> /dev/null` 2> /dev/null || true
       endscript
       }


4) Нормальная работа механизма резолвинга DNS имён самим icecast.
Решение: ldd `which icecast` и все что он выводит копируя раскладываем по
папочкам в chroot директории. Также нужно скопировать в chroot директорию из
/etc/ hosts, resolv.conf nsswitch.conf.

Также следуя рекомендации  сделал следующее - создал симлинк на
конфигурационный файл. Сам файл уложен в
/usr/local/shared/icecast/usr/local/etc/icecast.xml, а в основную директорию
где он по дефолту лежит (/usr/local/etc/) положен симлинк на него.

Ну и конечно не забудьте про iptables, или открываем 80 порт, или блокируем
его, это уже вам самим решать.

Дополнение: В процессе тестирования всплыли первые проблемы с конфигурацией.
Достигая 4 с небольшим тысяч подключения сервер впадал в коматозное состояние.
Старых клиентов держит, новых не принимает, административный интерфейс не
открывает, тормозит неимоверно и т.д. При этом нагрузка в целом на сервер
небольшая, на команды из консоли сервер реагирует нормально. Вывод - ищем
проблемы в самом icecast. Нашёл в логах запись - "too many open files".
Начинаем гуглить проблему - найдено здесь и здесь.
Решаем проблему.
Вписываем в /etc/security/limits.conf

   nobody - nofile 10000

Отправляем icecast в ребут (всю службу).
Проверяем cat /proc/@pid@/limits
Обращаем внимание на строку: Max open files

После проведения "боевого" тестирования получены следующие результаты:
Нагрузка до 4500 одновременных слушателей.
Генерируемый поток в пике - около 600Mb/s
Нагрузка на систему в целом - load average не превышает 0,4
Т.е. Ещё есть запас по всем параметрам. 
 
30.01.2013 , Автор: Grand piano , Источник: http://lists.xiph.org/pipermail/ice... (доп. ссылка 1)
Ключи: icecast, chroot
Раздел:    Корень / Пользователю / Запись и обработка звука

Обсуждение [ Линейный режим | Показать все | RSS ]
  • 1.1, Alexander (??), 18:30, 01/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Почему не использовать редирект порта через, скажем, xinetd?
     
  • 1.2, Аноним (-), 07:10, 02/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >CentOS - это сейчас стандарт де факто для Unix

    серверов в нашей организации

    оно не unix.

     
  • 1.3, ALex_hha (ok), 14:47, 02/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Почему такой выбор продукта и операционной системы - сборка KH явно превосходит по своей функциональности базовую

    можно хотя бы 5-7 + этой сборки? Сам использую версию из EPEL, что же есть такого особенного в сборке KH чего вам не хватало в EPEL сборке?

     
     
  • 2.5, Grand piano (?), 11:28, 04/02/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Давайте разберём по запчастям:
    Burst-size - закачка на клиента на максимально возможной скорости, в отличии от стандартного закачивающего на скорости точки монтирования. Т.е. клиент быстрее получает дополнительный буфер и быстрее начинает проигрывание материала. Плюс сервер быстрее "отстреливает" подобного клиента и переводит его в режим получения обычного потока, что позволяет снизить нагрузку на сервера в моменты большого притока новых слушателей. У меня динамика от тысячи до двух тысяч в час в утренние часы.
    Возможность перенаправления по условию на ВНЕШНИЕ точки монтирования, обычный icecast может перенаправлять только на внутренние точки монтирования. Эта фича позволяет более гибко и полноценно распределять нагрузку по ферме вещающих серверов.
    Возможность задавать максимальную полосу занимаемую icecast просто в конфиге.
    Возможность сбора мета данных в отдельный log файл.
    Встроенный механизм allow deny хостов.
    Встроенный механизм авторизации через auth.php скрипт.
    Встроенный механизм allow UA.
    intro, outtro файлы.
    + много мелких фич в admin интерфейсе удобных для администрирования и мониторинга.

    По вопросу от Александра
    Отвечу шуточно - не кошерно. Надеюсь поймёте правильно))

    По вопросам тёзки Михайлыча.
    rpmbuild - да отчасти вы правы - ЛЕНЬ (с другой стороны СРОКИ).
    Мусора за icecast КРАЙНЕ мало, если не сказать что вообще нет. ,бинарник один .usr/local/bin/icecast. Конфиг ОДИН /usr/local/etc/icecast.xml. Одна директория с админкой и мелочью /usr/local/share/icecast . И всё больше, по факту, ничего и никуда. Так что меня это не испугало. Хотя - "не кошерно" согласен.

    Надеюсь ответил понятно.

     

  • 1.4, mihalych (ok), 16:40, 02/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >   ./configure
    >   make
    >   make install

    И собственноручно превращаем систему в файлопомойку.

    >не стал использовать rpmbuild - почему то не захотел собираться нормально.

    А разобраться в проблеме было лень. Верно?

     
     
  • 2.7, Аноним (-), 22:19, 05/02/2013 [^] [^^] [^^^] [ответить]  
  • +/
    верно
     

  • 1.6, ALex_hha (ok), 12:43, 05/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Интересно, надо будет посмотреть
     
     
  • 2.9, Grand piano (ok), 16:21, 12/02/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Сегодня сервер проходил тестовую обкатку. За 3 часа набрал на себя 1800 клиентов и продолжает расти. Потоки 128,64 mp3; 56,48 aacv2+, Потоков много, потому как много радиостанций вещается в разном качестве.
    Пока полёт нормальный, допиливаются конфиги ротации логов, подключаются анализаторы и мониторинги. 1800 для него далеко не предел это уже понятно. HP ProLiant DL360 G4p, 2*2 Xeon 3.0 Ghz должен тянуть и больше.
     

  • 1.8, Аноним (-), 21:36, 09/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А что вещаем если не секрет?
     
  • 1.10, Grand piano (ok), 13:19, 18/02/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ну вот и первые косячки по конфигурации вылезают в процессе тестирования. Достигая 4 с небольшим тысяч подключения сервер впадал в коматозное состояние. Старых клиентов держим, новых не принимаем, админку не открываем, тупим неимоверно и т.д. При этом нагрузка в целом на сервер никакая, на команды из консоли сервер реагирует нормально. Вывод - ищем косяк в самом icecast. Нашёл в логах запись - too many open files. Начинаем гуглить проблему - найдено:
    http://lists.xiph.org/pipermail/icecast/2003-March/004547.html
    http://cherry.world.edoors.com/CPZKoGkpxfbQ

    Решаем проблему.
    Вписываем в /etc/security/limits.conf
    nobody    -     nofile    10000

    Отправляем icecast в ребут (всю службу).
    Проверяем cat /proc/@pid@/limits
    Обращаем внимание на строку: Max open files

    Если всё в порядке то в путь)))

     
  • 1.11, ALex_hha (ok), 14:09, 21/03/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ну и причем тут icecast?
     
  • 1.12, nur (?), 22:03, 24/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    лучше бы написали где нибудь, как ретранслировать радио, которое транслируют на флеше, типа 101.ru

    а то когда меня заставляют для прослушки радио запускать браузер, хочется взять и ... таких вещателей апстенку

     
     
  • 2.13, Grand piano (ok), 16:41, 17/05/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Ага аб стенку - предложите другую модель монетизации. Если не можете - пользуйте то что есть. Всегда удивляет любовь наших людей к тотальной халяве. Ой ща холивар понесётся, лучше бы в лужу пукнул)))
     
     
  • 3.14, джек полмолитвы (?), 23:52, 04/11/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Собственность и деньги должны быть отменены. Зачем что-то должно быть платным, если это может быть бесплатным? Все может быть бесплатным и все от этого только выиграют, если не станут накапливать это бесплатное добро свыше реальных непосредственных потребностей.
     


     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:




    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру