WPSによる分散処理
OSS 体験セミナー Hadoop の概要 高スケーラブルな分散管理基盤 2 つのコア機能 分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目 分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム (HDF
... Hadoop はデータベースのソフトウェアではありません。HDFS はデータベースの下のレイ ヤーに位置します。現在 HDFS 上にデータを格納するデータベースのソフトウェアとして、 NoSQL データベースの HBase が提供されています。 また、HDFS は共有ストレージとしての利用はできません。HDFS はシステム上、小さなフ ァイルの格納には向きません。ファイル数が増えるとメタデータが増大し、NameNode を圧迫 ...
23
情報処理学会研究報告 IPSJ SIG Technical Report Vol.2018-HPC-163 No /3/1 高柔軟性と高性能を提供するマルチノードマルチスレッドプログラム向け分散共有メモリシステム 緑川博子 1 北川健司 2 (1) 概要 : マルチノードに分散マップさ
... 通信には，古典的で単純な MPI 両側通信のみを用いてい る．理由は，MPI の内部実装レベルの差や制限などの影響 を受けにくく安定している，また片側通信と異なり，アク セス可能データ範囲制約がないからである．MPI スレッド サポートレベルは，最高位の Multiple を利用している．一 般に， Multiple 設定での複数スレッド通信は，単一スレッ ド（プロセス）通信よりも低性能と言われているが，機能 ...
9
Hadoopによる バッチ処理検証
... → iostatの結果から、HDFSへの書き込みがボトルネックになっており、ノード数を増やすことで負荷 分散が可能となったためと分析できる 4 中間データのsnappy圧縮により、中間データの転送量が少なくなり、reduceタ スクのコピーフェーズが大幅に時間短縮されることが確認 ...
41
第一原理格子不安定解析による酸化物分散強化機構の基礎的研究
... 本論文では，酸化物分散強化のメカニズムに関する知見を得るべく，16 原子よりな る bcc-Fe 8 格子を基に Y,Al,Ti,O 原子を添加した系について第一原理計算による格子 不安定性解析を行う．第 2 章では第一原理分子動力学法の基礎理論，および電子状態 計算の高速化手法について説明する．第 3 章では，格子不安定性解析の概要と，弾性 係数を用いた格子不安定性評価について説明する．第 4 ...
84
ネットワークの中立性:自立・分散・協調から、孤立・分散・闘争へ
... ックが多様化している。これに伴い、インターネットは、ステークホルダーが自ら整備する自律・ 分散・協調の「場」から、様々なステークホルダーがネットワークの維持費用や、混雑問題を巡 って利害関係の対立を起こす、孤立・分散・闘争の様相を呈して来ている。ネットワーク上にい る各ステークホルダーの間で、自律・分散・協調を理念として、電気通信事業の規制の外で自由 ...
10
プラズマ複合構造体の生成と超広帯域周波数分散特性による診断
... これまで研究されてきている固体材料の マルチスケール性は、例えば広周波数領域に わたる誘電率分散の変化に現れている。理想 的な結晶で考えると、光領域での電子振動、 赤外光域での結合振動、マイクロ波域での振 動と、結晶構造が電子・原子・原子間結合と いうマルチスケール性をもち、それぞれのレ ベルでの自由度が多彩な固体・材料物性とそ の応用分野の広がりをもたらしている。本研 究では、メタマテリアルのような離散的な空 ...
6
神経軸索上の分散関係によるフィルタ特性-香川大学学術情報リポジトリ
... 4 う変調機能を，パル久間隔系列に対するフ４ルタとし て定式化し，線形近似によりその特性を示した．その 本質は，式(4)の右辺を中央差分型にしたとき２階差分 項が出てくることからもおかるように，拡散型効巣で ある．モのため，伝達関数は非有理型(指数型)となり， 近似的にGauss型の周波数特性および相関特性を有す る． そして，Hodgkin･Huxley方程式による[r] ...
9
分散型エネルギーによる 発電システム 博士 ( 工学 ) 野呂康宏 著 コロナ社 コロナ社
... 技術者を念頭において執筆したものである。分散型エネルギーシステムにおけ るエネルギー変換および発電方法は多岐にわたり，熱力学，流体力学，化学， 物性などの専門領域に関連してくるが，極力本書のみで理解できるよう，各専 門領域の基礎も含めて説明するようにした。とは言え，大学での講義の時間配 分を想定していることや紙面の制約より，説明が十分でない箇所もあるかと思 ...
20
2C1-OS-06a-4 Deep Multiagent Autoencoderによる分散協調学習
... • 仮定 3: 重み（およびユニット固有のパラメータ）の変化 は、報酬ノードとの予測誤差の微分が伝搬する形で行わ れる。 仮定 1 に関しては、 Deep Learning では最初に入力データだけ で pretraining と呼ばれる処理を行い、次に教師データによっ て fine tuning と呼ばれる処理を行う。ただ、脳の中の神経回 路にとって、こうした複数のデータに区別はないはずであり、 ...
4
FPGA による画像処理演算器の設計
... 図７ WinDriver アーキテクチャー ４・２ 画像処理ソフト Windows からデバイスドライバにアクセスするソフト 開発に『Microsoft Visual C++Version6.0』を使用する。 取り扱う画像は BMP 画像ファイルである。BMP はヘッダ 部分と画像データ部分に分かれる。本設計ではヘッダ部分 の画像サイズを計算しループ回数を決定する。その後図― ―のようにヘッダ部分を切り取り画像データのみを ...
6
第一原理計算ならびに格子不安定解析による酸化物分散強化メカニズムの基礎的研究
... 4.2.3 弾性剛性係数成分と価電子密度の関係 図 4.8，4.9 に YTiO 3 添加モデル（Large モデル）の中で比較的エネルギーの低かっ た Tiocta1A および Tiocta2 の価電子密度分布を示す．ここで等高線は 0.07(eV/˚ A 3 ) ごとに表示し，図の上部は表示している面を模式的に示している．価電子密度が著し く低い個所が見られるが，この位置に Y または Ti が存在している．これは価電子数 ...
107
スパース表現による音響信号処理
... [24] G. J. Mysore, P. Smaragdis and B. Raj, “Non-negative hidden Markov modeling of audio with application to source separation,” in Proc. LVA/ICA 2010. pp.140-148, 2010. [25] 亀岡, 後藤, 嵯峨山, ...
81
PVMによる並列処理システム構成の試み
... PVM について紹介程度以上に書かれている 書籍は利用できなかった.使用した PVM のパージョンは PVM3. l別々に処理しであとからそれらを集めてまとめること が可能なもの 例えば，数値積分は区間を分割して積分しその和を 求めることにより最終結果を得る.また，ここで報告 する行列の積も，被乗算される行列を行に分割して分 害 1 ) すれば，並列処理された個々の結果[r] ...
3
要旨 1. 始めに PCA 2. 不偏分散, 分散, 共分散 N N 49
... の後自分で解かせるとよい。図8に Mathematica 3） を用いて，計算したようすを示す。ここで， D［expr, a］は偏微分を表す。Coefficient［expr, a］は，式 expr の中で変数 a の係数を求める関数 である。Simplify［expr］は式の簡素化を行う。 同様に，重回帰分析における公式の導出の際も数学ツールを用いると，式の変形が苦手な学 生の支援となる。図9は，回帰式を Y＝a 1 × x 1 ＋ a ...
15
PostgreSQLによる クラスタ運用および負荷分散術 SRA OSS, Inc. 日本支社 OSS事業本部 星合 拓馬
... ● ヘルスチェックでダウンと判定された場合 – ヘルスチェック： 各PostgreSQLノードの状態を監視するプロセス – 実行間隔、最大リトライ回数などを設定可能 ● failover_commandで実行する処理を設定 ...
32
最近の技術動向を観察すると 1. マルチプロセッサ型の計算機アーキテクチャの導入 分散処理 ( 機能分散 地理的分散 ) 2. キャッシュ (Proxy) 技術の導入 CDN(Contents Delivery Network) P2P(peer-to-Peer) など 3. 仮想化技術の導入 Vi
... コンテンツの抽象化 (by DHT) {ファイル名、ファイル拡張子、等} を隠蔽し、単 純な数値で表現。 (*) 仮想メモリ 仮想的なメモリ機構によって生成される、仮想的なメモリ 領域 (とても大きな記憶空間)。仮想メモリは、最終的には適当な物理 メモリにマップされる。 物理メモリ量を超える仮想メモリ 空間を 作り出したり、複数の仮想空間を作り出したりする。... DM[r] ...
34
情報処理学会研究報告 IPSJ SIG Technical Report Vol.2014-CSEC-67 No /12/5 秘密分散法における検証可能な分散情報の更新手法 神宮武志 1 古田英之 1 岩村惠市 1 本稿では, 秘密分散法の分散情報の更新手法について考える. 著者らは [
... 秘密分散法（secret sharing scheme）[2] は，一つの情報 を複数の異なる情報に変換し，そのうちの一定数以上が集 まれば元の情報が復元可能だが，その数未満では元の情報 は全く復元されないという手法である．これによって，サ ーバやネットワークの障害などによりデータの一部が使え なくても一定数以下ならば元の情報が復元でき，さらに一 定数以上の情報が漏洩しない限り情報漏洩は起こらないと ...
6
メカトロ教育のための分散処理システム
... そこで我々はこれまでに開発してきたレスキューロボッ ト(以下， UMRS-2010)のシステムに着目した 1) ．レスキュ ーロボットに用いられているシステムは，共有メモリを用 いた分散処理システム(以下， Marionette)であり，メンテナ ンス性を意識したものとなっている．そのため，各機能が モジュール化した独立プログラムとなっており，それぞれ の機能はいたってシンプルなものとなっている．またこれ ...
6
White Paper EMC DATA DOMAIN BOOST と SYMANTEC NETBACKUP の分散重複除外機能によるバックアップ処理の高速化 実機による検証結果の報告 要約 EMC Data Domain Boost for Symantec OpenStorage( 以下 DD
... ます。バックアップ世代間で重複除外効果が期待できるバックアップ対象であれば、 分散重複除外におけるデータ削減率も大きな値が期待できます。今回は、Hyper-V 環境の仮想マシンをバックアップしたため、世代間だけでなく同一世代内でも高い 重複除外効果が得られたため、さらに顕著な効果を確認することができました。 逆に、データベースにおけるトランザクション・ログをバックアップするケースな ...
17
MapReduce における RDF-DB処理に適したデータ分散格納方法の提案
... B）動的な問合せ・解析処理の最適化手法 → Pig/Hadoop での実装，実際的な評価 － 従来困難であった規模のデータ処理を可能にした － 分散ストレージと MapReduce を用いた先駆的な成果 ...
23