データの取得・更新
セールスブレインは、外部から閲覧できる求人ページを定期的に確認し、検索しやすい形式へ整えて企業情報と結び付けます。
取得から検索まで
- 公開求人の発見
求人媒体、採用管理ツール、新卒採用媒体などの公開ページから求人URLを確認します。
- 追加・削除の差分検知
前回のURL一覧と比較し、新しく公開された求人や掲載が終了した求人を検知します。
- 求人情報の取得
求人タイトル、企業名、勤務地、給与、職種、求人詳細など、ページ上で公開されている項目を取得します。
- 表記の整理
住所、勤務地、給与、職種などを、検索条件として扱えるよう正規化・分類します。
- 企業への紐付け
企業名や住所などを手掛かりに法人番号を解決し、企業マスタの属性を補います。
- 検索・集計への反映
Webアプリ、API、統計で利用できるデータへ反映し、更新されていない求人は継続的に掲載状況を確認します。
更新日を見分ける
| 日付 | 意味 |
|---|---|
| 求人取得日 | セールスブレインが求人情報を取得した日 |
| 募集開始日 | 求人元ページに掲載されている募集開始日。取得できない場合があります |
| 募集終了日 | 求人元ページに掲載された応募締切日。取得できない場合があります |
| 最新求人取得日 | 全収録データの中で最も新しい求人取得日 |
| 最終集計 | 公開ダッシュボードを集計した基準日 |
求人取得日は、求人元ページの公開日や更新日と同じとは限りません。
更新頻度
日次の差分検知を基本にしていますが、取得間隔や反映時刻は媒体によって異なります。媒体側の構成変更、アクセス状況、メンテナンスなどにより、取得が遅れる場合があります。
データ整備
- 媒体ごとに取得できる項目を管理し、必須項目の欠落を確認します
- 住所、給与、職種などを検索に利用できる形式へ整えます
- 企業集計は法人番号を基準に重複を抑えます
- 媒体別の取得開始日、最終取得日、更新状況を公開ダッシュボードで確認できます