Как это работает?

• Административной части (backoffice) – отвечает за управление рекламными материалами
• Системы доставки рекламы (delivery engine) – отвечает за выборку нужного баннера, а также за ведение статистики.

• идентификатора рекламной зоны
• IP-адреса
• URL страницы и т.д.

Возникающие проблемы

Архитектура системы

1. Запросы пользователей к системе
2. Балансирующий реверсивный прокси сервер (reverse-proxy)
3. Сервера, обрабатывающие запросы пользователей (application servers)
4. Сервера базы данных (database servers)

Используемое ПО

Балансировщики

Application сервера

  CPU Athlon 64x2
  RAM 4Gb
  HDD 750 Gb SATA 100
  
  OS FeeBSD
  Apache 1.3 +mod_php+eAccelerator

Сервер базы данных

CPU Athlon 64x2
  RAM 4Gb
  HDD 2x750 Gb SATA 100 RAID 0
  OS FeeBSD
  MySQL: 5.1

Профайлинг - поиск узких мест

Обработка поступающих в систему запросов

1. Запросы на отдачу статических файлов: jpg, gif, swf
2. Запросы на отдачу динамического содержимого: генерируемая реклама, логирование показов, логирование кликов.

Ставим диагноз

• http-сервера - для nginx это модуль stub_status, для Apache это mod_status
• RAM - использование памяти (свободная память, память, выделенная приложению, и т.д.)
• CPU - load average
• HDD - загрузка диска, дисковые операции (особенно актуально для серверов баз данных)
  

Что означают эти данные?

• Reading - сколько соединений находится в состоянии чтения.
• Writing - сколько соединений находится в состоянии записи.
• Waiting - keep-alive соединения или же в состоянии обработки запроса.

Ищем бутылочное горлышко

• ajs.php - формирует JavaScript-код баннера
• lg.php - пишет лог запросов (показы, клики)

Избавляемся от MySQL при логировании запросов

• ускоряем работу наших application серверов;
• разгружаем MySQL-сервер (ему теперь не нужно делать единичные вставки, вставки делаются большими пачками).

\lib\OA\Dal\Delivery\mysql.php (~690 строка) функция OA_Dal_Delivery_logAction

apache_setenv('ENV_TYPE_'.strtoupper($table),    '1', true);
 
 /** plvs */
 apache_setenv('plv01',          $log_viewerId);
 apache_setenv('plv02',          '');
 apache_setenv('plv03',          $dateFunc('Y-m-d H:i:s'));
 apache_setenv('plv04',          $adId);
 apache_setenv('plv05',          $creativeId);
 apache_setenv('plv06',          $zoneId);
 apache_setenv('plv07',          isset($_GET['source']) ? MAX_commonDecrypt($_GET['source']) : '' );
 apache_setenv('plv08',          isset($zoneInfo['channel_ids']) ? $zoneInfo['channel_ids'] : '' );
 apache_setenv('plv09',          isset($_SERVER['HTTP_ACCEPT_LANGUAGE']) ? substr($_SERVER['HTTP_ACCEPT_LANGUAGE'], 0, 32) : '');
 apache_setenv('plv10',          $_SERVER['REMOTE_ADDR']);
 apache_setenv('plv11',          $_SERVER['REMOTE_HOST']);
 apache_setenv('plv12',          isset($geotargeting['country_code']) ? $geotargeting['country_code'] : ''); 
 apache_setenv('plv13',          isset($zoneInfo['scheme']) ? $zoneInfo['scheme'] : '');
 apache_setenv('plv14',          isset($zoneInfo['host']) ? $zoneInfo['host'] : '');
 apache_setenv('plv15',          isset($zoneInfo['path']) ? $zoneInfo['path'] : '');
 apache_setenv('plv16',          isset($zoneInfo['query']) ?  $zoneInfo['query'] : '');
 apache_setenv('plv17',          isset($_GET['referer']) ? $_GET['referer'] : '');
 apache_setenv('plv18',          isset($_SERVER['HTTP_USER_AGENT']) ? substr($_SERVER['HTTP_USER_AGENT'], 0, 255) : '');
 apache_setenv('plv19',          isset($userAgentInfo['os']) ? $userAgentInfo['os'] : '');
 apache_setenv('plv20',          isset($userAgentInfo['browser']) ? $userAgentInfo['browser'] : '');
 apache_setenv('plv21',          isset($geotargeting['region']) ? $geotargeting['region'] : '');
 apache_setenv('plv22',          isset($geotargeting['city']) ? $geotargeting['city'] : ''); 
 apache_setenv('plv23',          isset($geotargeting['postal_code']) ? $geotargeting['postal_code'] : '');
 apache_setenv('plv24',          isset($geotargeting['latitude']) ? $geotargeting['latitude'] : '');
 apache_setenv('plv25',          isset($geotargeting['longitude']) ? $geotargeting['longitude'] : '');
 apache_setenv('plv26',          isset($geotargeting['dma_code']) ? $geotargeting['dma_code'] : '');
 apache_setenv('plv27',          isset($geotargeting['area_code']) ? $geotargeting['area_code'] : '');
 apache_setenv('plv28',          isset($geotargeting['organisation']) ? $geotargeting['organisation'] : '');
 apache_setenv('plv29',          isset($geotargeting['netspeed']) ? $geotargeting['netspeed'] : '');
 apache_setenv('plv30',          isset($geotargeting['continent']) ? $geotargeting['continent'] : '');

# The following directives define some format nicknames for use with
 # a CustomLog directive (see below).
 #
 
 LogFormat "%{plv01}e\t%{plv02}e\t%{plv03}e\t%{plv04}e\t%{plv05}e\t%{plv06}e\t%{plv07}e\t%{plv08}e\t
%{plv09}e\t%{plv10}e\t%{plv11}e\t%{plv12}e\t%{plv13}e\t%{plv14}e\t%{plv15}e\t%{plv16}e\t%{plv17}e\t
%{plv18}e\t%{plv19}e\t%{plv20}e\t%{plv21}e\t%{plv22}e\t%{plv23}e\t%{plv24}e\t%{plv25}e\t%{plv26}e\t
%{plv27}e\t%{plv28}e\t%{plv29}e\t%{plv30}e" PHP_LOG
 
 #
 # The location and format of the access logfile (Common Logfile Format).
 # If you do not define any access logfiles within a <VirtualHost>
 # container, they will be logged here.  Contrariwise, if you *do*
 # define per-<VirtualHost> access logfiles, transactions will be
 # logged therein and *not* in this file.
 #
 CustomLog "| /usr/local/sbin/rotatelogs /var/log/apache/click.log 300" PHP_LOG env=ENV_TYPE_OA_DATA_RAW_AD_CLICK
 CustomLog "| /usr/local/sbin/rotatelogs /var/log/apache/impr.log 300" PHP_LOG env=ENV_TYPE_OA_DATA_RAW_AD_IMPRESSION

$sql = "LOAD DATA LOCAL INFILE '".LOG_DIR.$file."' INTO TABLE ".$table."  FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'";

$sql = "REPLACE INTO oa_parsers SET server='".$hostname."', update_time='".gmdate('U')."'";

Настройка MySQL

CREATE TABLE `oa_data_raw_ad_impression` (
`viewer_id` varchar(32) DEFAULT NULL,
`viewer_session_id` varchar(32) DEFAULT NULL,
`date_time` datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
`ad_id` int(10) UNSIGNED NOT NULL DEFAULT '0',
`creative_id` int(10) UNSIGNED NOT NULL DEFAULT '0',
`zone_id` int(10) UNSIGNED NOT NULL DEFAULT '0',
`channel` varchar(255) DEFAULT NULL,
`channel_ids` varchar(64) DEFAULT NULL,
`language` varchar(32) DEFAULT NULL,
`ip_address` varchar(16) DEFAULT NULL,
`host_name` varchar(255) DEFAULT NULL,
`country` varchar(2) DEFAULT NULL,
`https` tinyint(1) DEFAULT NULL,
`domain` varchar(255) DEFAULT NULL,
`page` varchar(255) DEFAULT NULL,
`query` varchar(255) DEFAULT NULL,
`referer` varchar(255) DEFAULT NULL,
`search_term` varchar(255) DEFAULT NULL,
`user_agent` varchar(255) DEFAULT NULL,
`os` varchar(32) DEFAULT NULL,
`browser` varchar(32) DEFAULT NULL,
`max_https` tinyint(1) DEFAULT NULL,
`geo_region` varchar(50) DEFAULT NULL,
`geo_city` varchar(50) DEFAULT NULL,
`geo_postal_code` varchar(10) DEFAULT NULL,
`geo_latitude` decimal(8,4) DEFAULT NULL,
`geo_longitude` decimal(8,4) DEFAULT NULL,
`geo_dma_code` varchar(50) DEFAULT NULL,
`geo_area_code` varchar(50) DEFAULT NULL,
`geo_organisation` varchar(50) DEFAULT NULL,
`geo_netspeed` varchar(20) DEFAULT NULL,
`geo_continent` varchar(13) DEFAULT NULL,
KEY `data_raw_ad_impression_viewer_id` (`viewer_id`),
KEY `data_raw_ad_impression_date_time` (`date_time`),
KEY `data_raw_ad_impression_ad_id` (`ad_id`),
KEY `data_raw_ad_impression_zone_id` (`zone_id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 MAX_ROWS=4294967295 AVG_ROW_LENGTH=50;

ALTER TABLE tbl_name MAX_ROWS=1000000000 AVG_ROW_LENGTH= nnn ;

IP-адрес

proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;

\plugins\geotargeting\GeoIP\GeoIP.delivery.php (83)

/**
*
* Get real ip addres from enviroment variables
*
*
*/
  if (!function_exists('Get_realIP')) {
 
 function Get_realIP(){
 
 $aHeaders = array(
 'HTTP_FORWARDED',
 'HTTP_FORWARDED_FOR',
 'HTTP_X_FORWARDED',
 'HTTP_X_FORWARDED_FOR',
 'HTTP_CLIENT_IP'
 );
 
 foreach ($aHeaders as $header) {
 if (!empty($_SERVER[$header])) {
 $ip = $_SERVER[$header];
 break;
 }
 }
 
 if (!empty($ip)) {
 // The "remote IP" may be a list, ensure that
 // only the last item is used in that case
 $ip = explode(',', $ip);
 $ip = trim($ip[count($ip) - 1]);
 
 // If the found address is not unknown or a private network address
 if (($ip != 'unknown') && (!MAX_remotehostPrivateAddress($ip))) {
 // Set the "real" remote IP address, and unset
 // the remote host (as it will be wrong for the
 // newly found IP address) and HTTP_VIA header
 // (so that we don't accidently do this twice)
 $_SERVER['REMOTE_ADDR'] = $ip;
 $_SERVER['REMOTE_HOST'] = '';
 $_SERVER['HTTP_VIA']    = '';
 }
 }
 
 return $ip;
 }
 }

function MAX_Geo_GeoIP_getInfo()
 {
 $conf = $GLOBALS['_MAX']['CONF'];
 if (isset($GLOBALS['_MAX']['GEO_IP'])) {
 $ip   = $GLOBALS['_MAX']['GEO_IP'];
 }elseif(isset($_SERVER['HTTP_X_FORWARDED_FOR'])){
 $ip = Get_realIP();
 } else {
 $ip = $_SERVER['REMOTE_ADDR'];
 }

Подводим итоги

День первый

День второй

День третий

Благодарности