Руководство по закупкам
Шрифт:
Практический вывод 5.
Если возможно, выбирайте оценщиков наугад из большой группы потенциальных оценщиков после того, как заявки поданы. Разумеется, всегда следует устанавливать, что оценщики не конфликтуют с прошлыми или настоящими обязательствами кого-либо из участников.
Следует также проанализировать распределение баллов за качество, чтобы выявить предубеждение в оценке отдельных оценщиков. Если оценщики согласны в отношении уровня качества, то маловероятно, что кто-то из них был подкуплен [472] . Если оценщик был подкуплен, то он представит оценку, искаженную в пользу своего клиента. В принципе, такое искажение может быть выявлено с помощью статистического теста. Однако на практике значимость этого теста будет незначительной, так как число оценщиков обычно невелико.
472
Конечно, это может означать, что все оценщики были подкуплены одним и тем же участником торгов, но это будет трудно установить, за исключением случая, когда возможно наблюдать за передачей взяток.
Есть простой способ сократить значение посторонних факторов. Обычно рассчитывают балл за качество как среднее арифметическое оценок всех оценщиков. «Среднее» означает, что баллу каждого оценщика придается одинаковое значение. Тем не менее мы придадим небольшое или не придадим вовсе никакого значения посторонним величинам.
Это можно сделать благодаря использованию метода усеченного среднего. Процент – усеченное среднее – это среднее, рассчитанное после исключения крайних верхних и нижних значений процента показаний, относящихся к наборам данных [473] . Например, простое x применение этой идеи заключается в том, чтобы исключить для каждого предложения наиболее высокий и наиболее низкий баллы за качество, данные всеми оценщиками, и затем рассчитать среднее от баллов остальных оценщиков.
473
См.: [Bryan, Cecchetti, 1994]. Авторы использовали эту идею для расчета инфляционных показателей, которые находятся под меньшим воздействием крайних ценовых колебаний отдельных товаров.
Можно пойти дальше и рассчитать медиану баллов за качество, данных всеми оценщиками. Эта медиана представляет балл за качество оценщика «в середине»: половина оценщиков выставляет более высокий балл, чем он, половина – более низкий. Но в отличие от среднего значения, медиана не учитывает посторонних факторов. Поэтому крайняя оценка отдельного необъективного оценщика (который, возможно, был подкуплен) не влияет на медиану.
Таблица 16.1 показывает действие этого альтернативного агрегированного метода. Есть три предложения и семь оценщиков. Оценщики не могут точно измерить объективное качество предложений, поэтому их баллы за качество не совсем точны. Мы моделируем эту ситуацию, добавляя шумы при моделировании баллов за качество, выставляемых оценщиками [474] . Как следует из истинных баллов за качество, предложение А обладает наиболее высоким качеством. Оно также самое дорогое, но оно же является предложением, которое, в соответствии с правилом начисления баллов, должно быть выбрано. Предложение В более низкого качества, но оно также и дешевле. В соответствии с правилом начисления баллов, оно становится вторым. В примере оценщик 1 был подкуплен поставщиками предложения В: он повышает свой балл за качество в отношении В и искажает свой балл за качество в отношении сильнейшего конкурента – предложения А с целью переломить решение в пользу В.
474
А именно, мы добавляем нормально распределенный шум к баллам оценщиков за качество, плюс немного необъективности в выставляемых баллах при сокращении баллов до интервала 0–100.
Средние баллы за качество трех предложений при применении среднего арифметического по всем семи оценщикам равны 56,1 для А, 58,1 для В и 48, 4 для С соответственно. Общие баллы равны 56,9, 60,0 и 58,7 соответственно, и, таким образом, выбрано предложение В. Необъективность оценщика 1 нарушила равновесие, достигнутое при оптимальном выборе А. Если бы, однако, агрегированный балл за качество рассчитывался по медиане, а не по среднему значению, то оценщик 1 не смог бы изменить результат, как это видно из таблицы. В этом случае агрегированные баллы за качество равны 58,0, 53,0 и 45,0 соответственно, и предложение А побеждает с общим баллом в 58,4 против 55,9 предложения В.
Таблица 16.1. Среднее агрегирование в сравнении с агрегированием по медиане на торгах с использованием баллов
Мы оценили надежность этого вывода с помощью моделирования методом Монте-Карло [475] . Нам удалось установить, что применительно к выбранным нами параметрам агрегирование баллов за качество с использование среднего арифметического правильно выбирает предложение А только с вероятностью в 23 %. Эта вероятность повысится до 47 % при использовании медианы [476] . Обратной стороной этого, однако, является то, что агрегирование по медиане также приводит с высокой вероятностью к выбору наименее привлекательного предложения С, что, разумеется, нежелательно [477] .
475
Мы провели 10 тыс. испытаний, применяя программу R. B. Myerson’s Sim Tools, см.:Таблица с данными о необъективности оценщиков и предполагаемых случайных ошибках доступна для скачивания на нашем сайте: http://home.uchicago.edu/~rmyerson/tools
Метод Монте-Карло (метод статистических испытаний) – численный метод решения различных задач при помощи моделирования случайных событий.
476
Но мы хотим предупредить, что не моделируем стратегические аспекты оценки оценщиков. Поведение коррумпированного оценщика может различаться в зависимости от того, используется ли среднее арифметическое или медиана для расчета балла за качество. Но в любом случае будет верным то, что медиана меньше подвержена влиянию крайних точек, чем среднее значение. Поскольку коррумпированные оценщики больше склонны к крайним (т. е. искаженным) оценкам, использование медианы уменьшает возможности коррумпированных оценщиков и таким образом снижает готовность участников торгов оплачивать коррупцию.
477
При среднем агрегировании вариант С выбирается с вероятностью в 4 %, при медиане же – в 10 %.
Практический вывод 6.
На торгах с использованием баллов (scoring auctions) рассмотрите возможность применения медианы баллов за качество, выставляемых оценщиками, а не обычного среднего.
Даже если статистический тест недоступен, изучение баллов в табл. 16.1 показывает, что оценщик 1 является подозрительным. В таких условиях очевидным вариантом действий является расследование обстоятельств. Кроме того, возможно запросить второе заключение у независимой группы оценщиков. Расследование может включать опрос оценщиков и, как вариант, проверку их последних банковских операций. Вызвав подозрение, оценщик должен быть занесен в черный список. Более того, второе заключение следует запрашивать произвольно, даже если нет признаков необъективности. Разумеется, в качестве сдерживающего средства следует информировать все вовлеченные стороны о применении такой политики.
Как оказывается, некоторые агентства не фиксируют баллы, выставленные отдельными оценщиками, и их оценочные комиссии сообщают только об общем балле. Разумеется, это скрывает важную информацию, что нецелесообразно.
Практический вывод 7.
Проверьте отдельные баллы за качество и посмотрите, нет ли признаков посторонних факторов. Если есть подозрение, что была проведена манипуляция, рассмотрите возможность обращения за вторым заключением или начала уголовного расследования. В качестве сдерживающего средства об этой политике также рекомендуется сообщить всем участвующим сторонам до открытия торгов.
16.4. Особый случай объективного измерения качества
В некоторых редких случаях относительное качество легко измеряется без проведения сложной оценочной процедуры. В этих случаях можно провести аукцион с использованием баллов по тому же принципу, что и стандартный аукцион с одним параметром, на котором аукционирование по баллам заменяет торги по цене, поэтому все вопросы и рекомендации, помещенные в разделе 16.2, применимы и здесь с небольшой корректировкой.
Примером этого может служить так называемое «предложение А + В» – процедура, применяемая федеральными управлениями и управлениями штатов по магистралям в США для отбора подрядчиков по ремонту магистралей [478] . В данных условиях основной проблемой является продолжительность строительных работ, которые влекут дорогостоящие задержки в транспортном сообщении.
478
Федеральное управление США по магистралям (Federal and State Highway Administrations, FSHA) запустило этот формат уже в 1990-е годы, и в настоящее время он успешно и широко применяется (см., например, оценку успешности его применения штатом Аризона в 1999 г.)
«Предложение А + В» требует от участников торгов представлять финансовые предложения (оценочную стоимость) и оценку срока окончания работ. При этом используется следующая линейная формула:
основанная на указанной единице времени окончания работ, после чего контракт присуждается участнику, предложение которого набирает наименьший общий балл за стоимость работ [479] .
479
Разумеется, это правило также устанавливает стимулы/пени за раннее/позднее окончание строительных работ.
На таких торгах подача предложений может (и фактически так и происходит) производиться по типу аукциона с одним параметром, когда каждый участник представляет определенный балл и выигрывает предложение с наименьшим баллом, но по тому принципу, однако, что победитель может свободно выбрать предпочтительное для него сочетание стоимости и времени для завершения работ, если оно представляет обещанный общий балл. Разумеется, предложение баллов может производиться как в закрытом формате, так и в открытом. И правило определения цены может основываться как на первом, так и на втором по порядку балле, причем «второй» означает, что победитель должен сравняться с наименьшим из всех общих проигравших баллов (обобщенное правило определения цены по Викри). Манипуляции в области оценки качества не представляют потенциальной угрозы, поэтому коррупция может принять форму только мошенничества с заявками, рассмотренную нами в разделе 16.2.