Что такое OSINT и что интересного можно узнать с помощью инструмента веб-разведки FOCA

Что такое OSINT и что интересного можно узнать с помощью инструмента веб-разведки FOCA

Когда мы говорим о некой открытой информации, то обычно имеем ввиду веб-страницы или файлы, которые можно скачать с этих страниц по HTTP или FTP . Но если взглянуть на предмет несколько шире и глубже, к категории открытой информации можно будет отнести любые данные, которые лишь кажутся недоступными, но на самом деле к ним так же можно получить доступ, если правильно подойти к решению проблемы.

Для этого как раз существует такая дисциплина или, если хотите, набор знаний и инструментов как OSINT .

Что такое OSINT

OSINT или иначе Open source intelligence — это тот же поиск в интернете, но только более тщательный и глубокий. Он включает в себя не только те данные, которые лежат «на поверхности», но также невидимую невооруженным глазом информацию — метаданные, передаваемые по сети инкапсулированные пакеты трафика, расположенные на серверах файлы, цифровые следы и прочие данные, источником которых могут являться средства массовой информации, социальные сети, обычные сайты, конференции и так далее. Возможности OSINT включают проверку доступности email -адресов, автоматический поиск и сбор информации о человеке по опубликованным им данным в социальных сетях, сведений о сайтах (IP, провайдер, используемая CMS и прочее) , получение доступа к публичным IT-устройствам. Всё это и есть OSINT.

OSINT как средство анализа эффективности защиты

OSINT может применяться не только для поиска скрытой информации, но и для выявления потенциальных уязвимостей сайтов их владельцами. Проведя разведывательный анализ собственного ресурса, администратор получает исчерпывающую информацию о доступности данных, которые могут послужить лазейкой для проникновения. В свою очередь это позволяет администраторам разрабатывать эффективные методы противодействия злоумышленникам.

Что такое FOCA

Существует множество инструментов веб-разведки, среди которых наиболее популярным и функциональным является FOCA. Эта программа используется в основном для поиска метаданных в находящихся в свободном доступе документах. Программа производит анализ указанного сайта и ищет расположенные на нём PDF , DOCX , XLSX , PPTX и другие типы документов и извлекает из них скрытую информацию — метаданные. Это и цифровые подписи, и геоданные, и имя владельца, и прочее. А еще с помощью FOCA вы можете скачать все эти файлы к себе на компьютер.

Что нужно для работы с FOCA

В первую очередь сама FOCA, скачать которую можно с официального сайта github.com/ElevenPaths/FOCA. Работает программа с 64-рязрядными Windows 7, 8, 8.1 и 10. Также вам понадобятся компоненты Microsoft NET Framework 4.7.1, Visual C++ 2010 x64 или выше и SQL Server 2014 или выше (необязательно полный пакет, подойдет и Express) .

Все эти компоненты доступны для скачивания на официальном сайте компании. SQL Server устанавливаем с настройками по умолчанию, жмем «Далее», пока мастер не сообщит о завершении процедуры инсталляции.

Основы работы с FOCA

FOCA — инструмент портативный, просто распакуйте архив с программой и запустите исполняемый файл FOCA.exe .

Слева в меню выберите Project Name и введите справа произвольное имя проекта и URL -сайта, который будет сканироваться. Нажмите «Crеate».

Итак, проект создан, теперь нужно настроить параметры сканирования.

Выбираем в меню слева «Network» и указываем поисковую систему,

в данном примере Google ,

отмечаем галкой пункт «Web Search» и нажимаем «Start».

При этом в нижней области будут выведены поддомены.

Опять возвращаемся в меню и на этот раз выбираем в меню «Documents Analysis» и отмечаем справа типы документов, которые хотим найти. Не забываем также указать и поисковую систему, после чего нажимаем «Search All».

Через некоторое время в основной области окна FOCA будет выведен список файлов, если, конечно, таковые найдутся на сканируемом домене.

Нажмите в поле с найденными файлами правой кнопкой мыши и выберите в меню «Download All».

После того, как файлы будут загружены в папку проекта (Folder where to save documents) , в этом меню вам станет доступна опция «Extract All Metadata».

Выбрав ее, вы тем самым дадите программе команду извлечь из файлов все метаданные, которые только найдутся.

Чтобы изучить метаданные, выберите в меню слева пункт «Metadata Summary».

Так, нам удалось выяснить, что владельцами документов являются некие Aseem Kishore Mark Foeller, что в работе с файлами использовались принтеры «Canon MP495 series Printer», «ECOSYS M2035dn» и «Microsoft XPS Document Writer».

Также в подменю «Files» можно выбрать конкретный файл и изучить детальную о нём информацию.

Здесь уже смотрите сами, информации может быть много и притом очень разной.

Предостережения

К этому особенно склонен Google , который закрыл доступ FOCA с нашего IP -адреса уже после второго сканирования. Поэтому либо используйте динамический прокси, либо выждите некоторое время, пока Google «успокоится» и перестанет принимать вас за бота.

Разведка на основе открытых источников

С каждым годом количество пользователей интернета растет. К началу октября 2020 года 4.9 млрд людей, а это 63.2% жителей земли, пользуется интернетом. А размер данных в интернете достигал 2.7 Зеттабайт (1 ЗБ

10 12 ГБ). И каждый год —количество пользователей и устройств, подключенных к сети, увеличивается на 6% и 10% соответственно. Большая часть этой информации общедоступна. Источники, ссылающиеся на эти данные или на данные из газет, журналов, радио и телепередач, публичных отчетах правительства, называются открытыми. Поиск информации по таким источникам, выбор и сбор, а также дальнейший анализ – это разведывательная дисциплина, именуемая разведкой на основе открытых источников (OSINT).

https://www.internetworldstats.com/stats.htm

Разведка на основе открытых источников или OSINT

Нужно отличать OSINT (Open Source INTelligence) от «просто информации» (иногда именуемой OSIF, или Open Source InFormation), то есть данных и сведений, циркулирующих в свободно доступных медиаканалах. OSINT – это специфическая информации, собранная и особым образом структурированная ради ответа на конкретные вопросы. Сбор данных в OSINT принципиально отличается, от других направлений разведки, прежде всего от агентурной. Главной проблемой для агентурной разведки является получение информации из источников, в основном не желающих сотрудничать. А в OSINT главной трудностью является поиск содержательных и надежных источников среди изобилия общедоступной информации.

История развития

История OSINT начинается с формирования в декабре 1941 года Службы мониторинга зарубежных трансляций в США для сбора и изучения радио программ. Сотрудники записывали и переводили радио передачи, а затем отправляли в военные ведомства в виде еженедельных отчетов. Одним из примеров их работы исследования корреляции между стоимостью апельсинов в Париже и успешностью бомбардировок железнодорожных мостов. [iv]Следующем этапом можно назвать период с 2005 по 2009 год, когда в США был создан центр по анализу разведывательных материалов из открытых источников. Доступность интернета и начавшийся бурный рост социальных сетей в этот же период, увеличил кол-во общедоступной информации. С 2009 по 2016 продолжающиеся развитие социальных сетей и усиления их влияние на нашу жизнь, а также появления интернета вещей, вызвало бурный рост объема информации. И наконец последний период 2016-2019, когда OSINT начинает активно применяться бизнесами, политическими кампаниями, следователями, правоохранительными органами, инвесторами и службами безопасности в их деятельности.

Основные сферы использования

Разведка на основе открытых источников применяется не только государствами для защиты своих интересов. Рассмотрим несколько сценариев использования, не связанных с взаимодействием стран.

OSINT активно использует исследователями угроз и уязвимостей различного программного обеспечения. Они исследуют возможные пути распространения вредоносных программ и препятствуют этому. Одним из открытых источников, для проверки файлов или программ на наличие вредоносного функционала является virustotal.com. У пользователя есть возможность проверить файл по контрольной сумме или же загрузить его, и удостоверится в его безопасности.

Злоумышленники тоже используют OSINT. Предварительный анализ позволяет узнать информацию об целевой инфраструктуре, о работниках, о клиента, что позволяет лучше произвести атаку. Это одна из причин для того, чтобы ограничивать публичную информацию о компании.

Эта методика также используется в бизнесе для получения аналитики. Например, развития новых рынков, оценка рисков, мониторинг конкурентов, а также исследование целевой аудитории и клиентов для рекламных кампаний, что благоприятно влияет на успешность бизнеса.

Нельзя забыть о журналистах, которые используют открытые источники, как материалы для своих расследований. Например, фонд борьбы с коррупцией использует выписки из кадастра и информацию о полетах самолетов для своих расследований.

Еще одним полезным применением OSINT в жизни занимается сообщество любителей CTF. Они организовали компанию, которая занимается поиском информации об пропавших людях. Они проводят сбор разведывательных данных о пропавшем без вести лице и передают полученные сведения в правоохранительные органы. Они предоставляют обучающие курсы для желающих и помочь в поисках информации.

Трудности, с которыми сталкивается OSINT сегодня

Новые источники информации появляются очень быстро. На каждые 5 источников, которые пропадают, появляется еще 10 новых. Необходимо поддерживать актуальность данных, что увеличить их ценность при использовании. Большое количество источников исчезает из-за ужесточения норм компьютерной безопасности и конфиденциальности.

Еще одной трудностью является ограниченность функционала средств для поиска информации. В основном одной программы с открытым исходным кодом для поиска недостаточно, а также они не пригодны для масштабирования. А в корпоративных инструментах слишком много не настраиваемых компонентов. Для успешного поиска информации требуется знание различных инструментов и умение, поиска новых методов получения информации.

Как идентифицировать владельца Bitcoin кошелька

Появления криптовалют упрощает доступ к отслеживанию платежей. Дизайн блокчейна делает общедоступным информацию об транзакциях. Например, по адресу биткоина можно вычислить информацию об источнике или получателе перевода, его размере, количестве транзакций и времени их совершения, и связать с другими адресами биткоинов в том кошельке. Раньше для отслеживания информации об переводах и транзакциях требовалось обращаться в банк, что требовало достаточно много времени и основания для запроса.

Так как, зная только время, продавца и покупателя определить владельца кошелька. Простейшим методов получить информацию об IP адресе пользователя, если же пользователь использует анонимные сети, этот подход не дает результатов. Другой способ — объединение нескольких транзакций разных пользователей в одну с большим количество выходов, но все равно информация об этих сделках сохраняется. И уже появились инструменты для анализа и таких транзакций. Следующим этом в развитие, совершение сделки через посредников, но тут возникают другие сложности с реализацией. Сейчас в мире достаточно много компаний занимаются анализом транзакций биткоина, они принимают участия в поиске украденных биткоинов, как в случае взломом японской биткоин-биржи Bitpoint и вымогателя WonnaCry.

Основные этапы разведки

Рассмотрим процесс проведение разведки, приведенной в книге Майкла Баззелла.

1. Во-первых, необходимо составить план исследования или определить цель.

2. Подготовить оборудование и программы, необходимые для решения поставленной задачи.

3. Выполнить поиск по всем доступным идентификаторам.

4. Сбор информацию.

5. Анализ полученные данные.

6. Подготовка заключение и результатов.

7. Архивирование или очистка оборудования.

Заключение

Несмотря на длительную историю, разведка по открытым источникам только начинает своё развитие, в связи с бурным ростом объема информации. Данная область является востребованным видом исследования материалов. Для тех, кто её использует, открывают дополнительную информацию: для работников – возможность больше узнать о будущем работодателе, для бизнеса – анализ рынка и клиентов. Но с другой стороны, каждый человек должен понимать, какую информацию стоит сообщать публично и понимать, что может стать общедоступной информацией.

OSINT по-русски. Выбираем мощные и бесплатные сервисы для пробива и конкурентной разведки

OSINT (Open Source INTelligence) — это раз­ведка по откры­тым источни­кам, то есть поиск информа­ции о челове­ке или орга­низа­ции по базам дан­ных, которые дос­тупны всем. Этим занима­ются как спе­циаль­ные орга­низа­ции и служ­бы, так и ком­пании (что­бы про­верить сот­рудни­ков или узнать боль­ше о кон­курен­тах) и прос­то люди, ког­да хотят получ­ше узнать, с кем они обща­ются в интерне­те и не ока­жет­ся ли «сер­цеед888» мань­яком‑убий­цей.

Мы соб­рали спи­сок сер­висов, которые помогут в этом. Упор сде­лан на сай­ты, ори­енти­рован­ные на РФ, пос­коль­ку в раз­ных стра­нах фор­маты дан­ных отли­чают­ся и это зат­рудня­ет поиск.

warning

Не­сан­кци­они­рован­ный сбор пер­сональ­ной информа­ции — это наруше­ние закона «О пер­сональ­ных дан­ных» и дру­гих законов РФ. Так­же подоб­ные дей­ствия могут обра­зовать сос­тав прес­тупле­ния по статье 137 УК РФ «Наруше­ние неп­рикос­новен­ности час­тной жиз­ни». Ни автор, ни редак­ция не несут ответс­твен­ности за любые пос­ледс­твия исполь­зования при­веден­ных в этой пуб­ликации све­дений. Вся информа­ция пред­став­лена исклю­читель­но ради информи­рова­ния читате­ля.

На­деем­ся, эта под­борка поз­волит читате­лю накопать мно­го полез­ной информа­ции, а воз­можно, даже избе­жать проб­лем. Одна­ко, если у тебя воз­никнут сом­нения в закон­ности тво­их дей­ствий, пом­ни, что никог­да не поз­дно прек­ратить. В любом слу­чае ты дей­ству­ешь на свой страх и риск.

Поиск по email

Emailsherlock.com — авто­мати­чес­кий поиск по email-адре­су. Най­дет, к каким сай­там при­вязан адрес поч­ты.

Про­вер­ка по нес­коль­ким поч­там дала не так мно­го резуль­татов, как хотелось бы. Поиск огра­ничен толь­ко самыми популяр­ными сай­тами (соц­сети). Еще из минусов – сайт по‑чер­ному пиарит сто­рон­ние сер­висы, не все из которых даже живы, но поч­ти все про­сят денег.

Emailrep.io находит, на каких сай­тах зарегис­три­рова­ны акка­унты, исполь­зующие опре­делен­ную поч­ту.

Про­вер­ка репута­ции ящи­ка

До­пол­нитель­но на осно­ве про­вер­ки по спам‑базам, а так­же базам вре­донос­ной активнос­ти сер­вис про­веря­ет репута­цию акка­унта: в час­тнос­ти, не попадал­ся ли он в утеч­ках.

Поиск по никнейму

Час­то поиск по email не дает мно­го резуль­татов. В таких слу­чаях сто­ит поис­кать по ник­ней­му (часть до @ ) — обыч­но информа­ции ста­новит­ся в разы боль­ше.

WhatsMyName — это не прос­то сер­вис, а целый ком­байн, который ищет по 280 сер­висам!

WhatsMyName

Здесь мож­но сор­тировать сер­висы по катего­риям, а еще есть воз­можность экспор­тировать резуль­тат поис­ка (URL най­ден­ных про­филей) в нес­коль­ких фор­матах.

Сер­вис Usersearch.org пре­дос­тавля­ет поиск не толь­ко по популяр­ным соц­сетям, но и по темати­чес­ким форумам и сай­там зна­комств.

USERSEARCH.ORG

Вы­дача удоб­на тем, что ты не толь­ко получа­ешь спи­сок сер­висов со ссыл­кой на акка­унт, но и для каж­дого сер­виса есть ссыл­ка на стра­ницу уда­ления акка­унта, на слу­чай, если это вдруг твой акка­унт. Так­же сер­вис может допол­нитель­но искать по телефо­ну, email и про­бивать по базе HIBP.

SuIP.biz — пос­тоян­но обновля­емая и обширная база сер­висов с удоб­ной выдачей. Вре­мя про­вер­ки — где‑то одна‑две минуты. Минус — деления на катего­рии нет.

suIP.biz

По завер­шении поис­ка мож­но ска­чать отчет в фор­мате PDF.

Instant Username Search — сер­вис с быс­трой про­вер­кой по популяр­ным и не очень сер­висам. У него в базе встре­чают­ся инте­рес­ные темати­чес­кие сай­ты, вро­де MyAnimeList и Last.fm.

InstantUsernameSearch

Checkuser ищет по неболь­шому спис­ку сай­тов, а кро­ме того, поз­воля­ет про­верять занятость домен­ного име­ни.

На сам поиск ухо­дит при­мер­но минута. Еди­ный спи­сок ссы­лок из резуль­татов получить нель­зя.

Namechekup исполь­зует обширный спи­сок сер­висов для про­вер­ки, которая, кста­ти, не занима­ет мно­го вре­мени.

По­лучить все ссыл­ки разом здесь тоже нель­зя.

Спи­сок веб‑сер­висов у Namecheckr неболь­шой, но и про­вер­ка очень быс­трая. Сами сер­висы по боль­шей час­ти популяр­ные и не очень соц­сети. Про­веря­ет и некото­рые домены.

От­дель­но сущес­тву­ет сер­вис‑двой­ник под незамыс­ловатым наз­вани­ем Namech_k. Он про­верят упо­мина­ние кон­крет­ного юзер­ней­ма по десят­кам сай­тов. К тому же у сер­виса есть свой API, что­бы мож­но было вызывать из скрип­тов.

Namech_k

В репози­тории нашего сооте­чес­твен­ника (и авто­ра статьи в «Хакере») Soxoj есть боль­шой спи­сок про­верок, которые могут быть полез­ны для интернет‑розыс­ка, и сер­висов поис­ка по ник­ней­му — спа­сибо ему! Здесь соб­раны такие ути­литы, как Sherlock, Maigret, Snoop, sherlock-go и Investigo, каж­дая из которых зареко­мен­довала себя как неп­лохой инс­тру­мент для поис­ка и сбо­ра откры­тых дан­ных.

Чек‑лист Soxoj

От­дель­но хотелось бы выделить и упо­мянуть ути­литу Maigret.

Maigret

Она поз­воля­ет собирать досье на челове­ка по име­ни поль­зовате­ля, про­веряя наличие учет­ных записей на огромном количес­тве сай­тов (более 2300) и собирая всю информа­цию с дос­тупных стра­ниц. Не исполь­зует никаких клю­чей API. Это, кста­ти, форк дру­гой OSINT-ути­литы — Sherlock. Обра­ти вни­мание, что по умол­чанию поиск запус­кает­ся не по всем сай­там, а толь­ко по 500 самых популяр­ных.

Поиск по номеру телефона

SpravkaRU.Net — весь­ма объ­емный телефон­ный спра­воч­ник, который может искать так­же по ФИО.

К сожале­нию, домаш­ними телефо­нами уже мало кто поль­зует­ся, а телефон­ные спра­воч­ники по боль­шей час­ти ори­енти­рова­ны имен­но на них. Поэто­му объ­емы информа­ции не такие уж впе­чат­ляющие.

Microsoft поз­воля­ет про­верять при­вяз­ку номера к акка­унту на сай­те account.live.com. Этим мож­но поль­зовать­ся!

Email2phonenumber собира­ет дан­ные со стра­ниц вос­ста­нов­ления акка­унта во мно­жес­тве сер­висов и находит номер телефо­на.

По­мимо это­го, ути­лита может генери­ровать спи­сок номеров и переби­рать сер­висы на наличие номера телефо­на (где он ука­зан в про­филе).

Бот last4mailbot най­дет пос­ледние четыре циф­ры номера телефо­на кли­ента Сбер­банка.

last4mailbot

По­иск про­изво­дит­ся исклю­читель­но по email. Про­вер­ка нес­коль­ких почт, заведо­мо при­вязан­ных к Сбер­банку, показа­ла, что бот дей­стви­тель­но выда­ет вер­ные дан­ные.

Продолжение доступно только участникам

Вариант 1. Присоединись к сообществу «Xakep.ru», чтобы читать все материалы на сайте

Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее

🌎 🕵 Навыки OSINT(интернет-разведки) в кибербезопасности

OSINT (Open Source Intelligence) – сбор и анализ информации из публично доступных источников. В нынешних реалиях речь идет в основном про интернет-источники. От русскоязычных экспертов можно услышать термин «интернет-разведка», что по смыслу приравнивается к OSINT.

В рамках кибербезопасности OSINT используется для пентеста, форензики, реверсивной и социальной инженерии. Обучение информационной безопасности часто включает в себя раздел с изучением техник и инструментов OSINT.

Пентестеры используют OSINT для оптимизации первого этапа работы: разведки и сбора информации об определенном онлайн-объекте или субъекте. В этом случае OSINT необходим, чтобы наметить цели, которые нужно атаковывать, или понять, что ломать ничего не нужно – оно и так для всех доступно.

OSINT удобен тем, что :

1. подразумевает гораздо меньше рисков: вы не нарушаете чью-то приватность и законы;
2. дешевле – не нужно какое-то дополнительное оборудование и дорогой софт;
3. к такой информации легко получить доступ (зайти в интернет), и чаще всего она всегда свежая.

Есть два основных метода сбора информации :

1. Пассивный . В этом случае вы никак не выдаете себя и то, что вы ищите. Поиск ограничивается контентом на сайте объекта исследования, архивной или кешированной информацией, незащищенными файлами.

2. Активный . Этот метод используется для интернет-разведки гораздо реже. Для получения информации вы исследуете IT-инфраструктуру компании, активно взаимодействуете с компьютерами и машинами. Используются продвинутые техники для получение доступа к открытым портам, сканирование уязвимостей и серверных веб-приложений. В этом случае ваша разведка может быть легко распознана. Социальная инженерия тоже сюда относится.

Выбор метода зависит от того, на каких условиях вы собираете информацию, а также от того, какие данные вам нужны. Вы анализируете безопасность компании, подписали NDA и вам можно лезть куда хочешь? Или вас попросили добыть информацию о конкурентах?

Важно понимать , что не всегда то, к чему вы можете с легкостью получить доступ, – легально.

Например, через Shodan (поисковик по интернету вещей) нетрудно получить доступ к управлению какой-то из систем как личных, так и корпоративных. Сделать это можно в несколько кликов. Однако если вы начнете как-то с ней взаимодействовать, пробовать вводить разные пароли – это уже может быть засчитано как попытка взлома и переходит в активный сбор информации, где нужно разрешение владельца системы.

Почитать подробнее о правовых рамках и законодательстве России и зарубежных стран можно здесь .

Основные источники OSINT, которые используются в информационной безопасности

Любая информация в публичном доступе может оказаться опасной. Социальные сети, фотографии, данные из профилей и сайтов третьих сторон, публичная документация и т.д. Ведь в совокупности с другими данными она может рассказать хакерам то, что они ищут.

Остановимся на основных направлениях, которые специалисты по информационной безопасности исследуют на регулярной основе.

1. Метаданные файлов.

В них можно найти дату создания документа, имена пользователей, модели принтеров, ПО установленное на компьютерах, иногда геолокацию. Информация про установленные программы и их версии, например, даст возможность выбрать наиболее уязвимые и подобрать эксплойты. Имена пользователей, в свою очередь, станут потенциальными логинами в личные или корпоративные системы.

2. Конфиденциальная документация.

Даже в самых продвинутых компаниях и серьезных государственных структурах какой-то засекреченный документ может случайно оказаться в открытом доступе. Примеры, как искать такие документы, можно посмотреть в лекциях Андрея Масаловича . Конфиденциальная информация может включать в себя политику создания паролей, а также используемое ПО и сервисы.

3. Данные о домене.

Существует очень много инструментов, которые помогают собрать все данные с сайта (в том числе, которые не видны обычным пользователям). Например:

• е-мейлы,
• телефоны,
• факсы,
• технологии, на которых построен сайт,
• криптографические сертификаты, которые используются на конкретном домене.

После исследования основного домена стоит поизучать, как компания организует свои Интернет-ресурсы. Среди субдоменов обычно есть плохо защищенные сайты для тестирования новых технологий. Такие субдомены могут содержать какие-то важные документы, оставленные на сервере.

4. Серверные веб-приложения, интернет вещей. Индексироваться могут сервера, роутеры, камеры видеонаблюдения, вебкамеры, онлайн накопители и т.д. Кроме того, что к некоторым можно получить доступ просто пройдя по ссылке, эти девайсы содержат в себе техническую информацию. Геолокацию, открытые порты, запущенные сервисы, доменное имя, связанное с устройством, интернет провайдера, веб-технологии.

Обучение OSINT для использования в информационной безопасности

Чтобы на базовом уровне изучить OSINT и начать проводить небольшие исследования, вам хватит пары дней.

Для погружения в тему и изучения отдельных аспектов стоит почитать следующие книги:

, Александр Доронин;

, Michael Bazzell;

Развитие в OSINT делится примерно не следующие этапы:

1. Освоение базовых техник, вроде Google dorks (продвинутый поиск в Гугл). Для этого – читайте блоги специалистов или специализирующихся компаний. Например:

– в разделе «Разведнет» можно найти подборки разных инструментов. Кроме этого в блоге собираются видео, статьи, книги, фильмы по теме на русском; – еженедельные подборки с новыми техниками и инструментами; – кроме блога у них есть вебкаст, куда приглашают гостей и обсуждают новости; ;
• значительная тусовка собрана в Твиттере: i-intelligence , Dutch OSINT Guy , Henk van Ess . В этой подборке можно найти и других деятелей, на которых будет интересно подписаться.

2. Начинайте применять знания в деле. Ищите интересные подходы использования инструментов и техник и пробуйте писать об этом небольшие отчеты с визуализацией результатов. Своими инсайтами делитесь в Твиттере, добавляя соответствующие хэштеги или в комьюнити на Reddit .

Необходимые для разведки инструменты есть в подборках:

• Бот в Телеграме: @HowToFind_RU_bot; ; ; ; .

3. Станьте максимально анонимным . При изучении OSINT значительное время уделяется обеспечению своей безопасности при поиске. Это нужно, чтобы компания или человек не смогли распознать, что вы собираете какую-то информацию. Вот несколько практик:

• создание фейковых профилей;
• использование андроид-эмуляторов (вы заходите в мобильные приложения через специальную программу на компьютере);
• VPN;
• браузер Tor;
• правила, вроде того, что не стоит осуществлять разведку в одно и то же время дня. Это может выдать даже самых искусных хакеров.

В какой мере обеспечивать себя анонимностью зависит от того, что за цель перед вами стоит. Не нужно заводить множество аккаунтов в соцсетях, если вам не понадобиться проводить там исследования. Или устанавливать защитное ПО просто для того, чтобы поискать географические данные на карте.

Много материалов по этому поводу можно найти в выше описанных блогах и книгах. Вот один из них.

4. Изучайте более продвинутые инструменты , для которых необходимо знание:

• Kali Linux. Есть много инструментов OSINT, которые работают только на этой операционной системе.
• Python – работа с некоторыми инструментами требует знания синтаксиса языка.

5. Пробуйте самостоятельно писать на Python автоматизирующие инструменты по сбору и анализу информации.

Инструменты OSINT в информационной безопасности

1. Shodan – поисковик по устройствам, подключенным к сети (в т.ч. интернет вещей и веб-приложения). Раздел «Explore» поможет начать поиски, так как туда собираются запросы пользователей. Чтобы получить доступ к расширенному поиску, надо зарегистрироваться. В платных версиях у вас будет доступ к большему количеству устройств, а также неограниченное количество поисковых запросов в сутки. Руководство по Shodan на русском (ссылка для скачивания).

2. Maltego Maltego – ПО, которое собирает все данные вместе, помогает увидеть взаимосвязи и сделать выводы. Результат визуализируется в виде дерева, собирающего в единую систему IP-адреса, е-мейлы, телефоны, домены и т.д. Есть три версии клиента, но большинству специалистов будет достаточно бесплатной. Туториалы по Мальтего: на русском и английском (они разные).

3. Google Dorks – это запросы в Гугл с использованием специальных операторов. Вы наверняка слышали, что для поиска точного словосочетания нужно поставить слова в кавычки, а чтобы исключить какое-то слово из выдачи, необходимо поставить перед ним «-». Это как раз про Гугл доркинг. Здесь вы найдете базовые операторы, а здесь – огромное количество дорков для поиска уязвимостей.

4. Foca – программа, которая помогает с выгрузкой, классификацией и анализом файлов на удаленном веб-сервере. Для этого она сканирует определенный домен с помощью поисковиков Google, Bing, DuckDuckGo. ПО бесплатное и быстро устанавливается. В этом материале можно найти небольшую инструкцию, как пользоваться программой.

5. Spyse – поисковик по технической информации веб-сайтов. С его помощью вы найдете разнообразные данные, вроде уязвимостей, IP-адресов, субдоменов и SSL/TLS.

Заключение

OSINT поможет вам сократить время и деньги при поиске информации, а изученные инструменты и техники будут полезны и за пределами профессиональной деятельности.

Чтобы начать использовать базовый OSINT, достаточно на пару дней погрузиться в книги и туториалы по теме. Если же вы планируете выйти на более продвинутый уровень, скорее всего понадобятся курсы по информационной безопасности и помощь наставников. Например, на Факультете информационной безопасности образовательного портала GeekBrains вы сможете подробно изучить работу с Linux и Python. Также портал дает возможность полностью освоить профессию на практический кейсах.

Что такое технология информационной разведки, и как она может помочь вашей компании?

Эпоха цифровизации, big data, и социальных медиа заставила человека перенести свою жизнь в онлайн и жить по правилам всемирной сети. Кому-то это нравится, а кто-то пытается скрываться и не появляться ни в одной соцсети, удаляя все пароли и регистрации.Однако, как бы мы не старались, подтверждение того, что про каждого человека можно найти любую информацию с помощью OSINT технологии, нам впервые открыто подтвердили американские спецслужбы еще в далеких 50х годах ХХ века.

Краткая справка:

OSINT (англ. Open source intelligence) – сбор информации и анализ разведданных на основании открытых источников

OSINT позволяет проводить поиск не только на поверхности открытых данных, но и изучить ту информацию, которая могла быть когда-то «засвеченной» в сети. Главное различие между обычным поиском в сети и технологией OSINT в глубине подхода и доступности разных методов и алгоритмов, которые помогают нам реализовать любую поставленную задачу: обнаружить так называемый цифровой след пользователя в сети, выполнить расследование, проследить цепочки его цифровых связей.

Масштабы такого «цифрового следа» колоссальны: согласно статистике Domo Data Never Sleeps 5.0, вот такой объем информации генерируется каждую минуту только в социальных сетях:

— 527 760 фотографий публикуется в Snapchat

— 120 человек присоединяется к LinkedIn

— 4 146 600 видео смотрят пользователи YouTube

— 456 000 твитов отправляется в Twitter

— 46 740 новых фото появляется в Instagram

А еще есть электронная почта, online платежи, учетные записи, сотни приложений, облачные хранения, рабочие сайты и сервисы и многое многое другое, что дает нам безграничные возможности в поиске и обработке любой информации. А ведь мы еще не учитывали обращения к поисковикам, которых по последним данным во всем мире 5 миллиардов в день.

Для работы с OSINT, существует последовательность шагов, которая была проверена на эффективность на протяжении многих лет работы этой технологии. Ее можно применять в зависимости от задачи поиска и первоначальных данных, которые у вас есть:

• Определить какой исходной информацией Вы обладаете (фото, ФИО, адрес электронной почты и т.д.)
• Определить конечную цель, что хотите узнать
• С помощью определенных сервисов собрать информацию в сети
• Провести анализ и обратный просмотр полученной информации
• Вернуться к поиску с использованием новых полученных данных
• Подтвердить предположения или получить новые

Уже давно существуют десятки веб-сайтов, где можно найти информацию о людях или организациях. Расширенные поисковые запросы на Bing, Yandex и DuckDuckGo, Googl Doks и другие поисковые системы могут дать вам ошеломительные результаты. Есть веб-сайты, которые специализируются на поиске людей. Обычно эти сервисы, требуют нескольких данных, чтоб получить достоверную информацию. Но есть платформы, которые обладают возможностью одновременного поиска по всей сети, всего по одному критерию, например, просто по фото, или по адресу электронной почты или даже IP. И это всего в один клик. То есть, в одном месте доступен огромный арсенал структурированной информации из разных ресурсов. И это дает нам неограниченные возможности — искать по всей всемирной паутине одновременно. Таким образом, мы можем проверить человека или целую компания за 1 час работы, чтобы минимизировать риски сделки практически на 100%

В технологии OSINT нет единой методики и шаблонных алгоритмов для расследования, каждый случай уникален и требует индивидуальный подход. Именно поэтому в сети представлено такое многообразие сервисов для поиска данных.

Сервисы представляют из себя платформы, на которых можно сразу провести комплекс действий: и поиск информации, и анализ результатов, и мониторинг дальнейших изменений.

Получить уникальную информацию, которую просто так вам никто и никогда не предоставит: страницы, на которые подписан определенный человек, его лайки под постами, под фото и видео, его круг знакомств и социальных связей на предмет афиллированности с какими-то медийными персонами, лидерами общественного мнения, группами людей, которые находятся для компании в зоне риска. Или разобраться с бенефициарами компании для оценки риска сделки по покупке компании, формирования переговорной стратегии с собственниками и менеджерами — всё это позволяет работа с OSINT

Владельцам бизнеса и компаниям остается определиться с целью и выбрать подходящий сервис.