ktphy

media journalism / physics / ML などのごった煮

ktphy

media journalism / physics / ML などのごった煮

マガジン

  • 広告とメディアについて- Pick Up Magazine

  • メディアとジャーナリズム

最近の記事

ubuntuでlogstashで固有のverをインストールする

下記tutorialが基本だが、verを指定する方法をここでは解説する。なおelasticsearchと異なりlogstashにはOpenJDKがバンドルされてないので、javaがインストールされてない場合はまずそれをインストールします。 wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -sudo apt-get install apt-transport-ht

    • Elasticsearch token filterの順番

      Token filterは順番に注意しないと意図通り動かないケースがあるため注意する必要がある。Synonym Graph Token Filterとlowercase token filterを利用するケースで具体的にみていく。 Synonym Graph Token Filter synonym_graph Token Filterを使用すると、analysisの過程で複数単語の同義語展開を簡単に処理できます。 Lowercase token filterトークンテキ

      • goのcollyというscraiping framework非常によい。UnmarshalHTMLとかめっちゃ便利じゃん。https://github.com/gocolly/colly/blob/master/unmarshal.go#L51

        • Elasticsearchで簡単に検索できるまでたどり着く方法

          精度はおいておいて検索できるようにしようまずES公式ページからzipでダウンロードします。Dockerのイメージでとってきたりもできますが、初心者むけなのでシンプルにいきます(※ver7.0を前提に以下を解説していきます)。 色々ありますが「とりあえず検索できる」ようになるだけならKibanaとElasticsearchだけあれば大丈夫です。検索するだけなら本当はElasticsearchだけでもいいのですが、ESだけだと本当に検索機能だけです。jsonでデータを投入して、

        ubuntuでlogstashで固有のverをインストールする

        • Elasticsearch token filterの順番

        • goのcollyというscraiping framework非常によい。UnmarshalHTMLとかめっちゃ便利じゃん。https://github.com/gocolly/colly/blob/master/unmarshal.go#L51

        • Elasticsearchで簡単に検索できるまでたどり着く方法

        マガジン

        • 広告とメディアについて- Pick Up Magazine
          4本
        • メディアとジャーナリズム
          12本

        記事

          Google spreadsheetで正規表現などでmatch groupを配列を取得したときcolumn nameを明示的につけてなくてもCol1 , Col2などでquery でselectするととれた

          Google spreadsheetで正規表現などでmatch groupを配列を取得したときcolumn nameを明示的につけてなくてもCol1 , Col2などでquery でselectするととれた

          xpath指定したデータをconsole上で確認する方法

          google chrome consoleを開いて $x("xpath") $$("cssselctor")

          xpath指定したデータをconsole上で確認する方法

          http://www.deskmag.com/ コワーキングスペース専門メディア

          http://www.deskmag.com/ コワーキングスペース専門メディア

          docker pullしてきたElasticsearchのデフォルト設定を変える方法

          dokcer pullでes社が提供するdocker imageを取得することができるがelasticsearch.yml を使いたくない場合がある。 例えばelasticsearchのデフォルトだとport 9200を使ってhttp通信を行うが、複数のESを立ち上げて検証したい場合などはデフォルトportと異なるものを使いたいことがるだろう。 Elasticsearch社の公式ドキュメントには A. docker runの環境変数として渡す B. dockerのbi

          docker pullしてきたElasticsearchのデフォルト設定を変える方法

          構造化データめも https://www.wikidata.org http://ja.dbpedia.org/

          構造化データめも https://www.wikidata.org http://ja.dbpedia.org/

          elasticsearchで記事をまとめ上げ

          elasticsearchでは類似記事のまとめあげ・クラスタリングはやってくれないので、API layerでやるかプラグインを利用するしかない。pluginで公式のissueなどで紹介されてるものとしてcarrot2のESバンドルがある。carrot2は複数のクラスタリングアルゴリズム(lingo,kmeansなど)をサポートするクラスタリングエンジンで、ESのプラグインとしても開発されている。(公式ドキュメントはこちら)以下はDocker上でelasticsearch6.4

          elasticsearchで記事をまとめ上げ

          MFA設定時のAWS SDK for JavaScriptのチュートリアル

          awsのドキュメント通りでやると以下のようなエラーが出て困った.   message: 'The specified bucket does not exist',  code: 'NoSuchBucket', エラーがわかりにくいが、これはpermission errorで、単純に管理者から権限を与えられてないかMFA設定してるため、apiアクセスがドキュメントにあるaccessKeyIdとsecretAccessKeyだけだとできない設定になっている場合などが考えられ

          MFA設定時のAWS SDK for JavaScriptのチュートリアル

          spotifyはラテンアメリカをほとんどリソースを割かずに攻略した。従業員はマイアミのweworkで働いてる数十人しかいないというが、購読者数全体の2割近くを占めるほどの成功を収めた https://www.ft.com/content/2b1b317a-f87b-11e8-8b7c-6fa24bd5409c

          spotifyはラテンアメリカをほとんどリソースを割かずに攻略した。従業員はマイアミのweworkで働いてる数十人しかいないというが、購読者数全体の2割近くを占めるほどの成功を収めた https://www.ft.com/content/2b1b317a-f87b-11e8-8b7c-6fa24bd5409c

          4つに分断されたインターネット。シリコンバレーの自由主義的をベースに発展してきた壁のない一つの自由なインターネットという「夢」が、4つに分裂しようとしている。CSの教授が論じた新しいインターネットの地政学を取り上げた記事。 https://www.ft.com/content/8a7c86c6-0435-11e9-9d01-cd4d49afbbe3

          4つに分断されたインターネット。シリコンバレーの自由主義的をベースに発展してきた壁のない一つの自由なインターネットという「夢」が、4つに分裂しようとしている。CSの教授が論じた新しいインターネットの地政学を取り上げた記事。 https://www.ft.com/content/8a7c86c6-0435-11e9-9d01-cd4d49afbbe3

          時に他国の法律に無頓着、時に敏感に反応するFANGたち。 サウジ批判の風刺コメディー番組、Netflixが同国のみ公開中止に http://www.afpbb.com/articles/-/3204802 Google、NZの裁判所の決定に反して、容疑者の実名配信 https://note.mu/ktphy/n/nb497a9664889

          時に他国の法律に無頓着、時に敏感に反応するFANGたち。 サウジ批判の風刺コメディー番組、Netflixが同国のみ公開中止に http://www.afpbb.com/articles/-/3204802 Google、NZの裁判所の決定に反して、容疑者の実名配信 https://note.mu/ktphy/n/nb497a9664889

          https://www.1843magazine.com/style/test-drive/i-tried-on-a-zozosuit-and-now-i-feel-used economistにzozoが取り上げられてたが、ネガティブな評価

          https://www.1843magazine.com/style/test-drive/i-tried-on-a-zozosuit-and-now-i-feel-used economistにzozoが取り上げられてたが、ネガティブな評価

          興味深いグラフ。scripted seriesの日本語訳ってなんだろ。直訳だと台本ありの番組だけど。ドラマとしてしまうと落ちてしまうものがある気がする。あとFX Networks Researchのレポートの原本がどこにあるかよくわからない。

          興味深いグラフ。scripted seriesの日本語訳ってなんだろ。直訳だと台本ありの番組だけど。ドラマとしてしまうと落ちてしまうものがある気がする。あとFX Networks Researchのレポートの原本がどこにあるかよくわからない。