Yahoo! オークションの更新頻度調整について

いつも Feedeen のご利用ありがとうございます。運営者の伊藤です。

データ構造変更メンテナンスの準備や後始末のためにご報告が遅れてしまったのですが、今月（3月）初旬に Yahoo! オークションのフィードに対して更新頻度を下げる変更を適用しました。今回の投稿はその経緯のご説明と、更新頻度を改善するためのフィード整理のお願いです。とくに Yahoo! オークションのフィードをご購読の方は、ご一読いただければ幸いです。

更新頻度調整の経緯

以前の記事でもお知らせしましたが、従来より Yahoo! オークションのフィードは突出して登録数が多く、恒常的に更新頻度が低下する状態にありました。このため、継続的なエラーを避けられるギリギリの更新間隔で取得を行うように調整しておりました。

しかし、先月末あたりに Yahoo! オークション側のサーバーでなんらかの変更があった模様で、従来の更新間隔では常にリクエストエラーが発生してしまい、フィード内容がまったく取得できない状態になってしまいました（複数の方からご報告いただいて気づくことができました。ありがとうございます）。

この現象への対策として、更新間隔を概ね従来の 2/3 に落としたうえで、 IP アドレスを変更する措置を取りました。その後継続して状況を観察してまいりましたが、安定して取得できている模様です。

この措置の影響で、 Yahoo! オークションのフィード（ドメインが auctions.search.yahoo.co.jp のもの）の更新間隔が大きく低下しております。現在の登録数をもとに計算したところ、概ね1日に2回程度の更新頻度となっております。ご不便をおかけしますが、データの取得・更新を安定させるためということで、なにとぞご了承ください。

フィード整理のお願い

上記のとおり、現在 Yahoo! オークションのフィードの更新頻度は以前に比べても低下しております。今後の改善策としてフィード取得時のIPアドレスを複数に分散することも検討しておりますが、コスト的な制約もあり、更新頻度を大きく改善するのは困難と言わざるをえません。

ただ、更新頻度は同一ドメインのフィードの登録数に比例しますので、もし不要なフィードが登録されている場合、それらを削除していただければ、その分だけ更新頻度が改善されます。お手を煩わせることはまことに恐縮なのですが、ぜひともこの機会に Yahoo! オークションのフィードの見直しをお願い申しあげます。

また、検索文字列を工夫することで複数のフィードをひとつにまとめることができる場合もございます。例えば、以下の 3 つのキーワードでの検索結果を別々のフィードとして登録されている場合...

PlayStation4
Xbox
WiiU


すべてのキーワードを丸括弧で囲って検索することにより、ひとつにまとめることができます。

(PlayStation4 Xbox WiiU)

単純なキーワード検索のフィードを多数登録されているようでしたら、上記の方法でフィード数を削減できます。不要フィードの削除とあわせて、ご検討いただければ幸いです。

コメント

コメントを投稿

このブログの人気の投稿

Webページの変更を監視する「監視フィード」機能を追加しました

イメージ
いつもご利用ありがとうございます。Feedeen運営者の伊藤です。 本日Feedeenの新バージョンを公開し、「監視フィード」という機能を追加しました。Webページの指定箇所の内容を監視し、変更があれば通知するという機能です。開発に紆余曲折あって半年以上費やしましたが、以前から実現したかったものでもあり、なんとかリリースまで漕ぎ着けました。まだ荒削りな面も多いですが、お試しいただければ幸いです。 監視フィードの使い方 監視フィードを利用するには、まず監視したいWebページと監視したい箇所のCSSセレクタを登録します。例として、ヤフーの熱中症情報に掲載される明日の熱中症情報を監視してみましょう。 大田区の熱中症情報 - Yahoo!天気・災害 https://weather.yahoo.co.jp/weather/heatstroke/3/13/13111/ 監視フィードを登録するには、フィードリストの歯車メニューから「監視フィードの管理」を選択します。 「監視フィードの管理」を選択 監視フィードの管理画面（ダイアログ）が表示されますので、「監視フィードを追加する」をクリックしてください。 「監視フィードを追加する」をクリック 監視対象の情報を入力する画面になります。多くの項目がありますが、ここでは以下のとおり入力してください。それぞれの項目の意味は、青い（？）アイコンでポップアップする説明をご参照ください。 監視対象URL https://weather.yahoo.co.jp/weather/heatstroke/3/13/13111/ グループ名 li.heatstrokeForecast_day_item:last-child p.day 監視対象の要素・属性 名前: 警戒レベル セレクタ: li.heatstrokeForecast_day_item:last-child dt.heatstrokeLevel_label 監視対象の要素・属性（「監視対象を追加する」で項目を増やす） 名前: コメント セレクタ: li.heatstrokeForecast_day_item:last-child dd.heatstrokeLevel_detail p.comment 監視対象の情報を入力 すべて入力したら、「次へ」をクリックしてください。表示名やお知らせ投稿時
続きを読む

おすすめフィード機能を追加しました

イメージ
いつもFeedeenのご利用ありがとうございます。運営者の伊藤です。 本日のメンテナンスが無事終了したことをご報告させていただきます。今回はAWSの仕様変更に対応するためのサーバー構成変更が主な目的であるため、機能的な変更は「おすすめフィード」機能の追加のみですが、多くの皆様に有用な機能となっていますので、他の更新内容も含めてご紹介させていただきます。 購読を手軽にするおすすめフィード まずは新機能である「おすすめフィード」からご紹介します。従来、Feedeen上でフィードを購読するにはフィードのURLを指定する必要があり、フィードリーダーに慣れていない方にはとても使いづらいものでした。 そこで、運営者が（独断で）選定した各分野の代表的なWebサイト / フィードを購読ダイアログに表示し、簡単に購読できるようにしました。 おすすめフィードが追加された購読ダイアログ 左に列挙されたカテゴリのひとつを選択すると、そのカテゴリのフィードが一覧されます。その中から気に入ったフィードの「購読」ボタンを押すだけで、簡単に自分の購読リストに追加できます。また、「詳細」ボタンを使えばURLを入力したときと同じフローでグループを指定するなどして購読することもできます。 今回この機能を追加するにあたり、十分な数のフィードを収集できるか不安だったのですが、やってみると意外なほどのボリュームになり、RSS/Atomフィードの可能性を再認識しました。初心者の方はもちろん、すでに活用されている方でも意外な発見があるかもしれませんので、ぜひ興味のあるカテゴリを覗いてみてください。 なお、このおすすめフィードは運営者が手作業で収集・データ化したもので、皆様の購読データから生成されたものではありません（なので、とても大変でした...）。Feedeen上で購読したプライベートなフィードが勝手に表示されることはありませんので、ご安心ください。 サーバー構成の変更 機能的な変更ではありませんが、今回実施したサーバー構成の変更についても少しご説明させていただきます。 2/1（つまり本日）より、 AWSで課金仕様 の変更があり、自動割り当てのIPv4アドレスが有料になってしまいました。これまではメンテナンス等の都合上、すべてのサーバーがIPv4アドレスを持っていたのですが、このままでは運用コストが無視できない
続きを読む

Mastodonのフィード購読が便利になりました

イメージ
いつもFeedeenのご利用ありがとうございます。運営者の伊藤です。 本日ステルスでメンテナンスを実施し、Feedeenの新バージョンを公開しました。その更新内容のご報告です。 数ヶ月前ですが、MastodonのフィードをFeedeenで購読すると画像が表示されないというご報告をいただきました。恥ずかしながら知らなかったのですが、MastodonではユーザーごとのRSSフィードを生成できるんですね。さすがオープンソースで開発されているだけあって、どんどん閉鎖的になっていくプロプライエタリなSNSとはわけが違う 👍 そんなMastodonをサポートしないわけにはいかないので、原因を調査してメディアの表示に対応しました。その他、便利な機能もいくつか追加しましたので、まとめてご紹介させていただきます。 Mastodonのフィードの購読方法 新機能紹介の前に、まずは前提となるMastodonのフィードの購読方法をご説明します。と言っても方法は簡単で、Mastodon上で対象ユーザーのプロフィールを表示し、そのURLをFeedeenの購読ダイアログにコピペするだけです。 Mastodonフィードの購読方法 Feedeenの公式ブラウザ拡張をご利用でしたら、「このページを購読」でより簡単に購読できます。 拡張機能を使って購読 ユーザーのプロフィールページを表示するには、投稿や検索結果のプロフィール画像をクリックするのが簡単でしょう。他のインスタンスのユーザーであっても同じ方法で購読できるようです。 もしプロフィールページのURLで購読に失敗するときは、URLの最後に .rss の拡張子を付けると購読できる場合があります（ただしこの場合は、対象ユーザーが所属するインスタンスのプロフィールページでなければいけません）。Misskeyもこの方法で購読できるようです。 画像や動画などの閲覧 Mastodonのフィードを登録すると、そのユーザーの投稿をFeedeen上で閲覧、未読管理できます。これまではテキストのみでしたが、今回のアップデートで画像や動画などのメディアも本文の上部に表示されるようになりました。 画像を含むMastodonの投稿をFeedeenで表示したところ それぞれのメディアをクリックすると、ビュアーが表示されてFeedeen上で閲覧・再生ができます ( 注1 ) 。
続きを読む