wheeliechamp

wheeliechamp

マガジン

  • Rustと戯れる

  • AWSソリューションアーキテクト合格ノート

  • Androidで動くスクレイピングアプリ開発

    Android + Kotlin + WebView + Jsoup を使ってスクレイピングを行い、取得した情報をSlackに投稿するアプリを開発していきます。 スクレイピングをするためにパソコン使ったり、サーバー動かすのはコストもかかるので、手持ちのスマホでやっちゃえ!という発想が開発経緯です。

  • 情報処理安全確保支援士~合格ノート

  • ITエンジニアの転職〜もしかしてブラック?

    自身の転職実践記(直近2回の転職についての記録)。思い出しだら都度追加していく。

記事一覧

WSL + Rust 環境作成

UbuntuをインストールWindowsの機能の有効化で下記をチェック ⇒ 再起動 + Linux用Winodwsサブシステム + 仮想マシンプラットフォーム MicrosoftStore からUbuntuをイン…

wheeliechamp
2年前

AWS DynamoDB

+ NoSQL型 = ビッグデータ向け + KeyValue型、Document型 + JOIN/トランザクション/コミット/ロールバックは不可 + 詳細な検索や結合処理には不向き + 大量データの読み書…

wheeliechamp
2年前

5日目 / 解析結果をSlackに投稿

Slack側の設定①Slack画面の左メニューでユーザー名をクリック ②設定と管理 ⇒ アプリを管理する をクリック ③Incoming Webhook をインストール ④アプリの設定で、  ・…

wheeliechamp
2年前

4日目 / HTMLから情報を取得

気温、降水確率の情報を取得してみる JSoupを使う設定build.gradle(app) に追加 dependencies { implementation 'org.jsoup:jsoup:1.14.2' @JavascriptInterface にメ…

wheeliechamp
2年前
1

3日目 / WebページのHTMLを取得

WebViewに、Yahooのページを表示する実行結果 表示したページのHTMLコードを取得

wheeliechamp
2年前
1

2日目 / WebViewを追加

fragment に WebViewを追加するres/layout/main_fragment.xml を開いて、 ① <layout> でくくる。 ② <WebView> を追加する。 ③ DataBinding用に <data> を追加する。 bu…

wheeliechamp
2年前

AWS IAM (Identity and Access Management)

# IAM (Identity and Access Management)+ 利用者認証、アクセスポリシー設定、個人/グループに設定 # IAMポリシー+ リソースへのアクセスポリシー # IAMユーザ+ ルート…

wheeliechamp
2年前

AWS プロビジョニングサービス

# Elastic Beanstalk+ 定番インフラ構成を自動構築できる。 + Webサーバー構成(ELB + AutoScaling + EC2)。  ⇒ Webアプリ + Batchワーカー構成(SQS + AutoScaling + E…

wheeliechamp
2年前

AWS ストレージタイプ

# EFS (ElasticFileSystem)+ 容量無制限で複数EC2インスタンスから同時にアクセス可能。 + マウントターゲットを作成し、セキュリティグループを指定可能。 # Amazon FSx+…

wheeliechamp
2年前
2

CloudWatch

#CloudWatch (メトリクス監視)+ システムのモニタリング + 死活監視、性能監視、キャパシティ監視 ## 標準メトリクス + 5分間隔で取得 ## カスタムメトリクス(有料) …

wheeliechamp
2年前

1日目 / プロジェクト作成

開発環境Android Studio Arctic Fox | 2020.3.1 Patch 2Build #AI -203.7717.56.2031.7678000, built on August 27, 2021Runtime version: 11.0.10+0-b96-7249189 amd64VM: …

wheeliechamp
2年前

AWS セキュリティ

# AWS DirectoryService+ AcriveDirectory同等 + IDとアクセス管理 + アプリのアクセス制御 + SimpleAD → AWSに新規ディレクトリを作成 # ADConnector+ STS(SecurityToke…

wheeliechamp
2年前

リスク対策

# リスク移転+ 保険加入、アウトソーシングなど、他社とリスクを共有する。 # リスク回避+ リスクの発生元をなくす。 # リスク低減+ リスクの発生率、発生時の損失を低下…

wheeliechamp
2年前

情報セキュリティ用語

# Authentication / Auth + 認証。 + 利用者が本人であることを確認する。 + ユーザIDやパスワードによる本人確認。 # IDS(IntrusionDetectionSystem)+ 侵入検知システ…

wheeliechamp
2年前

AWS用語

# マネージド型+ 下記をAWS側でやってくれる + スケーリング + バックアップ + メンテナンス # AMI+ AmazonMachineImage + Linux、RedHat、Windowsなどのイメージ…

wheeliechamp
2年前

WSL + Rust 環境作成

UbuntuをインストールWindowsの機能の有効化で下記をチェック ⇒ 再起動

+ Linux用Winodwsサブシステム
+ 仮想マシンプラットフォーム

MicrosoftStore からUbuntuをインストール

+ インストールの過程でusername、password を設定
+ Ubuntuのインストール完了。いったんUbuntuを終了

WSL の保存先をDドライブに変更
/

もっとみる

AWS DynamoDB

+ NoSQL型 = ビッグデータ向け
+ KeyValue型、Document型
+ JOIN/トランザクション/コミット/ロールバックは不可
+ 詳細な検索や結合処理には不向き
+ 大量データの読み書きにはコストがかかる
+ IoTデータの収集・蓄積・分析に向いている
+ AmazonEMRと連携してビッグデータ処理が可能
+ ?テーブル (調べ中)
+ ?項目(調べ中)
+ ?属性(調べ中

もっとみる

5日目 / 解析結果をSlackに投稿

Slack側の設定①Slack画面の左メニューでユーザー名をクリック
②設定と管理 ⇒ アプリを管理する をクリック
③Incoming Webhook をインストール
④アプリの設定で、
 ・投稿するチャンネル(チャンネルへの投稿)
 ・URLを生成(Webhook URL)
 を設定する。
⑤URLをコピーしておく
※「Slack 外部 投稿」をキーワードに検索すると、方法解説したサイトがHI

もっとみる

4日目 / HTMLから情報を取得

気温、降水確率の情報を取得してみる

JSoupを使う設定build.gradle(app) に追加
dependencies {
implementation 'org.jsoup:jsoup:1.14.2'

@JavascriptInterface にメソッド呼び出しを追加​MainViewModel.kt に解析用メソッド追加ここまでを実行ログ出力はこんな感じ

最高気温 18 最低

もっとみる

3日目 / WebページのHTMLを取得

WebViewに、Yahooのページを表示する実行結果

表示したページのHTMLコードを取得

2日目 / WebViewを追加

fragment に WebViewを追加するres/layout/main_fragment.xml を開いて、
① <layout> でくくる。
② <WebView> を追加する。
③ DataBinding用に <data> を追加する。

build.gradle(app) を編集
databinding 設定を追加

AndroidManifest.xml にpermission追加

AWS IAM (Identity and Access Management)

# IAM (Identity and Access Management)+ 利用者認証、アクセスポリシー設定、個人/グループに設定

# IAMポリシー+ リソースへのアクセスポリシー

# IAMユーザ+ ルートユーザは全て権限あり
+ 管理者権限付与されたIAMユーザ、IAM権限あり
+ パワーユーザはIAM権限なし、これ以外は可能

# IAMグループ+ グループとして権限を設定し、ユー

もっとみる

AWS プロビジョニングサービス

# Elastic Beanstalk+ 定番インフラ構成を自動構築できる。
+ Webサーバー構成(ELB + AutoScaling + EC2)。
 ⇒ Webアプリ
+ Batchワーカー構成(SQS + AutoScaling + EC2)。
 ⇒ ワーカープロセス
+ アプリケーションデプロイのサポートもあり。
+ マネジメントコンソール、CLI、Eclipse、SDKから利用可能。

もっとみる

AWS ストレージタイプ

# EFS (ElasticFileSystem)+ 容量無制限で複数EC2インスタンスから同時にアクセス可能。
+ マウントターゲットを作成し、セキュリティグループを指定可能。

# Amazon FSx+ フルマネージドなファイルストレージ。
+ Windows系。

# EBS (ElasticBlockStore)+ EC2のOS領域として利用
+ 追加ボリュームをEC2にアタッチして利用

もっとみる

CloudWatch

#CloudWatch (メトリクス監視)+ システムのモニタリング
+ 死活監視、性能監視、キャパシティ監視
## 標準メトリクス
+ 5分間隔で取得
## カスタムメトリクス(有料)
+ 1~60秒でリアルタイムに取得
+ 標準メトリクス以上が取得可能
+ 取得メトリクスはCloudWatchLogsに保存

# CloudWatchLogs+ ログ解析

# CloudWatchE

もっとみる

1日目 / プロジェクト作成

開発環境Android Studio Arctic Fox | 2020.3.1 Patch 2Build #AI -203.7717.56.2031.7678000, built on August 27, 2021Runtime version: 11.0.10+0-b96-7249189 amd64VM: OpenJDK 64-Bit Server VM by Oracle Corporati

もっとみる

AWS セキュリティ

# AWS DirectoryService+ AcriveDirectory同等
+ IDとアクセス管理
+ アプリのアクセス制御
+ SimpleAD → AWSに新規ディレクトリを作成

# ADConnector+ STS(SecurityTokenService / 権限管理)
+ 一時的なセキュリティ認証情報サービス

# AmazonCognito+ サインアップ、サインイン、アクセ

もっとみる

リスク対策

# リスク移転+ 保険加入、アウトソーシングなど、他社とリスクを共有する。

# リスク回避+ リスクの発生元をなくす。

# リスク低減+ リスクの発生率、発生時の損失を低下させる。

# リスク受容+ あえて対策をとらない。発生率が低い場合有効。

情報セキュリティ用語

# Authentication / Auth
+ 認証。
+ 利用者が本人であることを確認する。
+ ユーザIDやパスワードによる本人確認。

# IDS(IntrusionDetectionSystem)+ 侵入検知システム

# IPS(IntrusionPreventionSyste)+ 侵入防止システム

# フェールソフト+ 故障箇所を切り離し、機能低下しても停止させずに処理を行う

もっとみる

AWS用語

# マネージド型+ 下記をAWS側でやってくれる
+ スケーリング
+ バックアップ
+ メンテナンス

# AMI+ AmazonMachineImage
+ Linux、RedHat、Windowsなどのイメージ使ってEC2作成する

# EBS(ElasticBlockStore)+ ブロックレベルのストレージ
+ EC2とは独立した管理
+ EC2を終了してもデータは保持

もっとみる