Newis: Интернет поиск 2.0

Ring nebula M57. Немного в далеке но видно что красиво. Кстати, расстояние составляет 2300ly, расположена в созвездии Лиры. Относиться к классу планетарных туманностей, которые длятся всего несколько десятков тысяч лет.

Телескоп на К.островах починили, но... облака. Фактически за неделю мониторинга трех телескопов на трех разных широтах я ни разу не смог провести наблюдения - "Missions offline due to clouds". Да, не в то время года я получил доступ...

Сейчас структура система представляет собой слоеный пирог и чем-то похожа на управленческую структуру любой организации.
Система состоит из слоев, на каждом слое распространяется сигнал между элементами данного слоя. Каждый элемент имеет родителя на верхнем слое. Действует простое правило распространения сигнала:
Релевантность элемента на своем слое состоит из трех слагаемых:
1. Релевантность активным элементам текущего слоя
2. Активность родителя
3. Расстояние до ближайшего элемента с активным родителем

Все просто: верхние слои определяют цели для нижних, нижние стремятся достигнуть данных целей, но не прыжком, а в рамках текущего контекста.

Возникает вопрос: а откуда берутся цели для самого верхнего слоя? На самом деле они статичны в рамках сеанса и могут задаваться:
1. Пользователем. Пользователь определил запрос и система начинает работать в его окрестностях.
2. Внешним источником. Наша система читает некоторый материал. Заголовок этого материала устанавливается в верхнюю цель, что мотивирует систему при анализе оставаться в рамках контекста.

Т.е. цель верхнего уровня есть некоторый сабж текущей работы системы.

internet research invited scholar at stanford university for wiwiw project personally by vint cerf co inventor tcp74 to continue begin let you into my heart why so sad when i look magazine contact cause

Астрономы регистрируют события, произошедшие недалеко от образования Вселенной, т.е. от 10 млрд лет, например, гамма-всплеск GRB 090423.произошедший около 13 миллиардов лет назад. При том что в то время размер Вселенной не превышал 1 млрд. А теперь представим себе задачку 3-го класса: из пункта А в пункт Б отправляется пучек фотонов. Расстояние между ними 1 млрд световых лет. Пучек движется со скоростью света и прибывает в пункт Б спустя 13 млрд лет. Вопрос - какая динамика расстояния между объектами А и Б?
Если нас правильно учили в начальных классах школы, то объекты А и Б должны начать удалятся друг от друга со скоростью света в течение 13 млрд лет (большую скорость развить Эйнштейн не разрешает), а потом неожиданно остановиться (или замедлится). Только тогда пучек фотонов с информацией о событиях будет нас догонять, догонять, и вдруг догнать. Либо другой вариант - начальное расстояние между А и Б было равным 13 млрд световых лет, но против этого выступает теория сингулярности.
А, кстати, в момент происхождения события в пункте А, пункте Б еще не было наблюдателей, они появились спустя (13 млрд-5 тыс лет).

Сегодня, в 22:00 по Москве, будет наблюдение двойного кластера NGC 869/884 с телескопа на Канарских островах. Попробую заснифить немного изображений.

 

Upd: На Канарах пока технические проблемы, следующая миссия – в Чили в 4 утра, недождусь. Может починят?

UPD2: Как говорит форум, на Канарских островах телескоп имеет механические повреждения и чинить его будут до 24.11. Оставшиеся работают утром и днем по Москве, значит удастся воспользоваться только на выходных. Вот только непонятно, зачем они исправно вывешивают поминутный график миссий на неисправном телескопе, да еще и ведут обратный отчет до их начала?

Зато нашел страничку со статусами всех телескопов http://www.slooh.com/status.php.

Интернет-телескоп slooh.com открыл бесплатный триал доступ, даже без информации о кредитной карте.
Сразу же зарегался, ближайшая миссия через 5 часов в Чили и 15 в Австралии. Пока доступен только вид на небо из Чили. Ждем...

 А что если развернуть формулу netCalc на 180 градусов? Математически обосновать я это вряд ли смогу, но руки чешутся попробовать...

Обнаружил у себя 20 инвайтов на Google wave, так что если кто еще не там – обращайтесь.

Принимает значение, равное тому, на сколько выросла активность элемента; сбрасывается следующим тактом, когда раздает свою активность по сети. Так защищаемся от положительной обратной связи. Т.е. dy равен тому, насколько выросла связь элемента на пред. такте.

         dy = f(s1-s0)

Говоря языком функционального анализа dy соответствует скорости изменения значения y, или же его производной. Вот именно это значение и может быть передано элементом связанным с ним элементам. Т.е. есть возбуждение элемента, а есть производная возбуждения, и именно производную мы ловим на выходе элемента.

Не в одном месте эти два термина встречал рядом, в книгах и даже одном фильме. Но только сейчас понял что вкладывали в это сопоставление авторы. А может и не вкладывали а ставили их рядом интуитивно, тогда сам вложу.

Согласно теории квантовых состояний текущее состояние Вселенной есть одна из реализованных вероятностей. Т.е. каждое квантовое состояние элементарной частицы характеризуется комплексной вероятностью  и наши наблюдения объективной действительности есть реализация этих вероятностей.

С другой стороны, при программировании сознания столкнулся с противоречием: активировать нужно сразу комплекс элементов (в той или иной степени), но все мы знаем что наше мышление и речь последовательны, т.е. нужен один элемент.

Так может активируется сразу некоторый слой элементов, а его озвучка есть реализация вероятностей квантового состояния? Последнее является суперпозицией, а в нашем случае это…

Вот например для исходного “Интернет” какие вероятности существуют. И только одно должно быть реализовано в озвучку.

Есть повод двигаться дальше. Первая версия нашей будущей поисковой системы обыгран в трех вариантах: веб, джабер, волна. Версия с одной стороны достаточно примитивная, с другой - закладывает концепт будущего поиска – диалог с системой.

Собственно пора начинать применять выработанные модели ИИ.

Готова первая версия поискового робота под волну: clisearch@appspot.com

Как всегда, начал с английского языка. Пока не поддерживается контекст волны – каждый блип рассматривается изолировано от его иерархии.

Принцип работы прост: добавляете робота в волну, и он рассматривает каждый новый блип как поисковый запрос. Вот и получается в рамках Google wave диалог с поисковой системой. Так что к популярному длинному, что убъет Google wave, можно добавить еще один пункт - Гугл (имеется ввиду конечно же поиск с разгребанием сниппетов и ссылок) – предложив замену – диалог с поисковой машиной.

Сегодня на несколько часов повесил ссылку на поискового агента. В результате 40 человек так заговорили бота, что он перестал отзываться на запросы. (Кстати, пишу здесь спасибо всем за оперативные фидбаки). Рекламный статус пришлось срочно снимать, сейчас займусь оптимизацией (а именно оптимизацией работы с БД), вон остальные мои боты с почти тысячей человек справляются и ничего.

Upd. Ага, вот откуда ноги растут http://juick.com/sandr1x/303022. Кстати, починил.

Вадим Барсуков дал инвайт на Google wave, так что теперь попробую адаптировать свои технологии к волне. Как мне кажется, из возможных интерфейсов чата с поисковой системой (IM, веб, волны) данный вариант будет самый удачный. Пока не ясно как там с БД, локальную базу знаний смогу формировать или нет, но даже робот, работающий целиком на онлайн результатах, будет интересным.

Развиваем поискового агента как применение текущих наработок на практике.

Ответ, который дает агент (если не Алиса а Гугл), сохраняется на почти равных условиях в базе знаний. Под “почти” кроются две оговорки, из-за которых сыр-бор и затеян:

1. Влияние на результаты в дальнейшем таких сниппетов для всех пользователей будет несколько выше чем остальных
2. Влияние на результаты данного пользователя таких сниппетов в дальнейшем будет очень сильным.

Пример, если вы спрашивали про автомобили, а потом задали вопрос про Ягуара, система поймет о чем речь. А по русски это называется “Сохранение контекста разговора”.

Крутбл?

Разбавил поискового агента Алисой, теперь она на себя забирает фразы типа “Хай”, а вопросы посложнее уже доверяются Гуглу. Получается диалог, сродни:

Me: hi
AI: Hello there.

Me: what is universe
AI: The ultimate fate of the universe is a topic in physical cosmology. Many possible fates are predicted by rival scientific theories, including futures of both finite and infinite duration.

Пока из горячих проблем – за 1.2 сек отрабатывает Гугл + локальная база знаний и за целых 2 секунды тянется информация с какого-либо сайта с информацией по сниппету. В результате ответ приходит через ~3 секунды. Надо с этим что-то делать.

Но зато, местами приятно общаться. База знаний не тормозит, значит можно учить и учить еще агента знаниям.

Пока разместил на JID: search@clisearch.net , но, возможно, переименуем. Можно было бы расширить агента agent@ чтобы в одном флаконе и TODO и поиск и остальное, но нет, хочется сразу позиционировать нового как бескомандного агента с общением на естественном языке.

Настучал сабж на клавиатуре и вот он результат:

Sfdfs Eftdgt is on Facebook. Join Facebook to connect with Sfdfs Eftdgt and others you may know. Facebook gives people the power to share and makes the…

И снова search wave. Подключил использование базы знаний (по сути результаты пред. запросов), перенес алгоритм в Java/jabber, теперь светит к запуску IM интерфейс, а точнее очередной Jabber агент. С помощью него можно будет пообщаться с Гуглом (поисковой машиной), пример:

Internet: The Internet is a global system of interconnected computer networks that use the standardized internet protocol suite (tcp/ip), serving billions of users ...

Использование БД позволило найти в недрах результата Гугла информацию о самой себе:

google: Google Inc. is an American public corporation, earning revenue from advertising related to its Internet search, e-mail, online mapping, office productivity, ...

Она была скрыта во втором или третьем десятке поисковых результатов.

Конечно запросы могут быть и по сложнее, типа как пройти в библиотеку или где раки зимуют.

А вот для запросов, неосвоенных в БД, ее использование только вредит:

universe: The universe component is a snapshot of the free, open source, and Linux world. ... The universe component includes thousands of pieces of software.

Два варианта: для запросов, не коррелирующих с базой знаний, отключать ее использование; либо как-то сосуществовать. Начну со второго, если не справлюсь – первый.

Upd: совладал со вторым:

Universe: The Universe comprises everything that physically exists: the entirety of space and time, all forms of matter, energy and momentum, and the physical laws ...

Дальше:

• Архитектурно: Постепенный перенос на VPS
• Структурно: сохранение контекста