Semalt:メタタグとRobots.txtファイルでサイトコンテンツへのアクセスをブロックする

SemaltカスタマーサクセスマネージャーであるJason Adlerは、データを安全に保ち、インターネット上で共有しない場合、Bing、Yahoo、およびGoogleと共有されているものを制御することが可能であると述べています。秘密にしておく必要のあるデータには、連絡先情報、PayPal ID、クレジットカードの詳細、ユーザー名、パスワードが含まれます。このタイプの情報がGoogleや他の検索エンジンでインデックスに登録されないようにブロックする必要があります。サイトのURLをブロックすることになると、Googleや他の検索エンジンが特定のページや記事をクロールしないようにすることができます。つまり、ユーザーが検索結果を確認しても、ブロックされたURLは表示されず、そこに移動しません。また、コンテンツにアクセスできなくなり、多くの記事がGoogleの検索結果に表示されないようにすることができます。ウェブサイトのコンテンツへのアクセスをブロックする方法は次のとおりです。

メタタグを使用して検索インデックス作成をブロックする:サイトのHTMLコードで非インデックスメタタグを使用すると、検索エンジンにページが表示されないように簡単にブロックできます。 Googlebotは、このメタタグを持たないページをクロールし、それが原因で特定のページを検索結果から削除します。ここで、このメタタグはrobots.txtファイルが変更されていない場合にのみ機能することをお伝えします。

robots.txtファイルでURLをブロックする: Robots.txtファイルはウェブサイトのルートにあり、検索エンジンのクローラーやスパイダーでインデックスを作成したくないウェブサイトの部分を示します。 Webクローラーがサイトにアクセスする場所と方法を示す一連のコマンドを含むプロトコルであるRobots Exclusion Standardを使用します。 robots.txtは、画像が検索結果に表示されないようにするのにも役立ちますが、ユーザーがサイトを自分のページにリンクすることを禁止しません。編集する前に、robots.txtファイルの制限と制限に留意してください。一部のメカニズムは、URLが適切にブロックされていることを確認します。 robots.txtの指示はディレクティブであり、Webクローラーの動作を強制することはできません。すべてのクローラーは独自の方法で構文を解釈し、robots.txtファイルは他のWebサイトからのリンクへの参照を防止できません。 Googleはrobots.txtファイルの指示に従うことをお勧めしますが、そのポリシーにより、検索エンジンがブロックされたWebサイトをインデックスに登録できない場合があります。

GoogleローカルとGoogleプロパティのオプトアウト:インデックスが作成されたら、コンテンツが別のGoogleプロパティに表示されないようにブロックできます。これには、Googleローカル、Googleフライト、Googleショッピング、Googleホテルが含まれます。これらすべてのアウトレットへの表示をオプトアウトすることを選択すると、クロールされたコンテンツはリストまたは更新されません。これらのプラットフォームのいずれかに表示される記事は、オプトアウト後30日で削除されます。

結論:

価値が低く有用なコンテンツを訪問者から隠すことが重要です。あなたのウェブサイトが複数の場所で同様のトピックを持っている場合、それは検索エンジンとあなたの訪問者に否定的な印象を残す可能性があります。そのため、これらのページをすべて非表示にし、検索エンジンにインデックスを作成させないでください。サードパーティからコンテンツを削除します。あなたは何としてもあなたのサイトにとって価値のないサードパーティのコンテンツを取り除く必要があります。サードパーティのコンテンツを共有していることをGoogleに知らせないでください。その場合、検索エンジンはあなたのサイトであまり価値を感じません。多数のサイトからコンテンツをコピーした場合、Googleはあなたにペナルティを課す可能性があり、重複する記事をブロックしてGoogleのランクを向上させることができます。

mass gmail